Python--Xpath详解

1.2 解析库的使用–XPath:

XPath(XML Path Language)是一门在XML文档中查找信息的语言。

XPath 可用来在XML文档中对元素和属性进行遍历。

XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

官方网址：http://lxml.de 官方文档：
http://lxml.de/api/index.html

python中如何安装使用XPath:

①: 安装 lxml 库。

②: from lxml import etree

③: Selector = etree.HTML(网页源代码)

④: Selector.xpath(一段神奇的符号)

1.2.1. 准备工作：

要使用XPath首先要先安装lxml库：

pip install lxml

谷歌浏览器配置XPath插件

配置参考链接
:https://jingyan.baidu.com/article/1e5468f94694ac484861b77d.html

如果安装报 包装包无效,解决办法
:https://www.cnblogs.com/ljxh/p/11222898.html

1.2.2. XPath选取节点规则

1.2.3. 解析案例

案例1:

• 根据视频,实现csdn官网一级分类和二级分类的提取.

案例2:

首先创建一个html文件：my.html 用于测试XPath的解析效果

• 我的常用链接

• • 百度
  • 京东
  • 搜狐
  • 新浪
  • 淘宝

使用XPath解析说明

• # 导入模块
• from lxml import etree
• # 读取html文件信息（在真实代码中是爬取的网页信息）
• f = open("./my.html",'r',encoding="utf-8")
• content = f.read()
• f.close()
• # 解析HTML文档，返回根节点对象
• html = etree.HTML(content)
• #print(html) #
• # 获取网页中所有标签并遍历输出标签名
• result = html.xpath("//*")
• for t in result:
• print(t.tag,end=" ")
• #[html head title body h3 ul li a li a ... ... td]
• print()
• # 获取节点
• result = html.xpath("//li") # 获取所有li节点
• result = html.xpath("//li/a") # 获取所有li节点下的所有直接a子节点
• result = html.xpath("//ul//a") # 效果同上（ul下所有子孙节点）
• result = html.xpath("//a/..") #获取所有a节点的父节点
• print(result)
• # 获取属性和文本内容
• result = html.xpath("//li/a/@href") #获取所有li下所有直接子a节点的href属性值
• result = html.xpath("//li/a/text()") #获取所有li下所有直接子a节点内的文本内容
• print(result) #['百度', '京东', '搜狐', '新浪', '淘宝']
• result = html.xpath("//li/a[@class]/text()") #获取所有li下所有直接含有class属性子a节点内的文本内容
• print(result) #['百度', '搜狐', '新浪']
• #获取所有li下所有直接含有class属性值为aa的子a节点内的文本内容
• result = html.xpath("//li/a[@class='aa']/text()")
• print(result) #['搜狐', '新浪']
• #获取class属性值中含有shop的li节点下所有直接a子节点内的文本内容
• result = html.xpath("//li[contains(@class,'shop')]/a/text()")
• print(result) #['搜狐', '新浪']
• # 按序选择
• result = html.xpath("//li[1]/a/text()") # 获取每组li中的第一个li节点里面的a的文本
• result = html.xpath("//li[last()]/a/text()") # 获取每组li中最后一个li节点里面的a的文本
• result = html.xpath("//li[position()<3]/a/text()") # 获取每组li中前两个li节点里面的a的文本
• result = html.xpath("//li[last()-2]/a/text()") # 获取每组li中倒数第三个li节点里面的a的文本
• print(result)
• print("--"*30)
• # 节点轴选择
• result = html.xpath("//li[1]/ancestor::*") # 获取li的所有祖先节点
• result = html.xpath("//li[1]/ancestor::ul") # 获取li的所有祖先中的ul节点
• result = html.xpath("//li[1]/a/attribute::*") # 获取li中a节点的所有属性值
• result = html.xpath("//li/child::a[@href='http://www.sohu.com']") #获取li子节点中属性href值的a节点
• result = html.xpath("//body/descendant::a") # 获取body中的所有子孙节点a
• print(result)
• result = html.xpath("//li[3]") #获取li中的第三个节点
• result = html.xpath("//li[3]/following::li") #获取第三个li节点之后所有li节点
• result = html.xpath("//li[3]/following-sibling::*") #获取第三个li节点之后所有同级li节点
• for v in result:
• print(v.find("a").text)

解析案例

• # 导入模块
• from lxml import etree
• # 读取html文件信息（在真实代码中是爬取的网页信息）
• f = open("./my.html",'r')
• content = f.read()
• f.close()
• # 解析HTML文档，返回根节点对象
• html = etree.HTML(content)
• # 1. 获取id属性为hid的h3节点中的文本内容
• print(html.xpath("//h3[@id='hid']/text()")) #['我的常用链接']
• # 2. 获取li中所有超级链接a的信息
• result = html.xpath("//li/a")
• for t in result:
• # 通过xapth()二次解析结果
• #print(t.xpath("text()")[0], ':', t.xpath("@href")[0])
• # 效果同上，使用节点对象属性方法解析
• print(t.text, ':', t.get("href"))
• '''
• #结果:
• 百度 : http://www.baidu.com
• 京东 : http://www.jd.com
• 搜狐 : http://www.sohu.com
• 新浪 : http://www.sina.com
• 淘宝 : http://www.taobao.com
• '''
• '''
• HTML元素的属性：
• tag：元素标签名
• text：标签中间的文本
• HTML元素的方法：
• find() 查找一个匹配的元素
• findall() 查找所有匹配的元素
• get(key, default=None) 获取指定属性值
• items（）获取元素属性，作为序列返回
• keys（）获取属性名称列表
• value是（）将元素属性值作为字符串序列
• '''