xpath 选择某元素之前的所有元素

maiyantao

需要选择 div 节点下的 p 节点，并且 p 节点需要在 h2 节点之前：

1. from parsel import Selector
   
2. 
   
3. # 假设html_content是你的HTML内容字符串
   
4. html_content = '''
   
5. <div>
   
6.     <p>应被选择的p1</p>
   
7.     <p>应被选择的p2</p>
   
8.     <h2>标题</h2>
   
9.     <p>不应被选择的p3</p>
   
10.     <p>不应被选择的p4</p>
    
11.     <h2>另一个标题</h2>
    
12.     <p>不应被选择的p5</p>
    
13.     <p>应被选择的p6</p>
    
14. </div>
    
15. '''
    
16. 
    
17. selector = Selector(text=html_content)
    
18. 
    
19. # 使用XPath表达式直接选取符合条件的p标签
    
20. selected_p_texts = selector.xpath('//div/p[not(preceding-sibling::h2)]/text()').getall()
    
21. 
    
22. # 输出符合条件的p标签文本
    
23. for text in selected_p_texts:
    
24.     print(text)
    

复制代码

这段代码中，XPath表达式//div/p[not(preceding-sibling::h2)]/text()的作用是选取所有div下的p元素，这些p元素之前不能有h2元素作为兄弟节点，然后提取这些p元素的文本内容。这样就直接通过XPath实现了你的需求，而无需额外的循环和条件判断。——通义千问

maiyantao

上面这种方法普适性可能不是很好，有些节点文本的选择不是很方便，最终采用下面的方式：

1.     @staticmethod
   
2.     def parse_re_desc_before_h2(job_resp: requests.Response) -> str:
   
3.         """
   
4.         解析位于 id=readingAidText 标签下所有的文本
   
5.         如果存在 <h2> 标签选择 <h2> 标签前面的元素文本
   
6.         采用正则的方式提取 h2 前面元素并重新构建 selector
   
7.         """
   
8.         reading_aid_text = re.findall('<div.*?id="readingAidText".*?>(.*?)<h2>', job_resp.text, re.S)
   
9.         reading_aid_text = reading_aid_text[0] if reading_aid_text else '<div></div>'
   
10. 
    
11.         selector = Selector(text=reading_aid_text)
    
12. 
    
13.         desc = selector.xpath('//text()').getall()
    
14. 
    
15.         return ' '.join(desc).strip()
    

复制代码