目录
lxml库（lxml安装可查看上一篇文章）
- python的HTML/XML的解析器
- 官方文档： http://lxml.de/index.html
- 功能：
- 解析HTML
- 文件读取
- etree和XPath的配合使用
围绕三个问题:
问题1：有一个XML文件，如何解析
问题2：解析后，如果查找、定位某个标签
问题3：定位后如何操作标签，比如访问属性、文本内容等
导入模块，该库常用的XML处理功能都在lxml.etree中
from lxml import etree Element类
Element是XML处理的核心类，Element对象可以直观的理解为XML的节点，大部分XML节点的处理都是围绕该类进行的。这部分包括三个内容：节点的操作、节点属性的操作、节点内文本的操作。
1、节点操作
1、创建Element对象
使用Element方法，参数即节点名称。
>>> root = etree.Element('root') >>> print(root)
2、获取节点名称
使用tag属性，获取节点的名称。
>>> print(root.tag) root 3、输出XML内容
使用tostring方法输出XML内容，参数为Element对象。
>>> print(etree.tostring(root)) b'
' 4、添加子节点
使用SubElement方法创建子节点，第一个参数为父节点（Element对象），第二个参数为子节点名称。
>>> child1 = etree.SubElement(root, 'child1') >>> child2 = etree.SubElement(root, 'child2') >>> child3 = etree.SubElement(root, 'child3') 5、删除子节点
使用remove方法删除指定节点，参数为Element对象。clear方法清空所有节点。
>>> root.remove(child1) # 删除指定子节点 >>> print(etree.tostring(root)) b'
' >>> root.clear() # 清除所有子节点 >>> print(etree.tostring(root)) b'
6、以列表的方式操作子节点
可以将Element对象的子节点视为列表进行各种操作：
>>> child = root[0] # 下标访问 >>> print(child.tag) child1 >>> print(len(root)) # 子节点数量 3 >>> root.index(child2) # 获取索引号 1 >>> for child in root: # 遍历 ... print(child.tag) child1 child2 child3 >>> root.insert(0, etree.Element('child0')) # 插入 >>> start = root[:1] # 切片 >>> end = root[-1:] >>> print(start[0].tag) child0 >>> print(end[0].tag) child3 >>> root.append( etree.Element('child4') ) # 尾部添加 >>> print(etree.tostring(root)) b'
' 7、获取父节点
使用getparent方法可以获取父节点。
>>> print(child1.getparent().tag) root2、属性操作
属性是以key-value的方式存储的，就像字典一样。 1、创建属性
可以在创建Element对象时同步创建属性，第二个参数即为属性名和属性值：
>>> root = etree.Element('root', interesting='totally') >>> print(etree.tostring(root)) b'
2、获取属性
属性是以key-value的方式存储的，就像字典一样。直接看例子
# get方法获得某一个属性值 >>> print(root.get('interesting')) totally # keys方法获取所有的属性名 >>> sorted(root.keys()) ['hello', 'interesting'] # items方法获取所有的键值对 >>> for name, value in sorted(root.items()): ... print('%s = %r' % (name, value)) hello = 'Huhu' interesting = 'totally' 也可以用attrib属性一次拿到所有的属性及属性值存于字典中：
>>> attributes = root.attrib >>> print(attributes) {'interesting': 'totally', 'hello': 'Huhu'} >>> attributes['good'] = 'Bye' # 字典的修改影响节点 >>> print(root.get('good')) Bye 3、文本操作
标签及标签的属性操作介绍完了，最后就剩下标签内的文本了。可以使用text和tail属性、或XPath的方式来访问文本内容。
1、text和tail属性
一般情况，可以用Element的text属性访问标签的文本。
>>> root = etree.Element('root') >>> root.text = 'Hello, World!' >>> print(root.text) Hello, World! >>> print(etree.tostring(root)) b'
Hello, World!
' XML的标签一般是成对出现的，有开有关，但像HTML则可能出现单一的标签，如下面这段代码中的`
` ` Text
Tail ` Element类提供了tail属性支持单一标签的文本获取。 python >>> html = etree.Element('html') >>> body = etree.SubElement(html, 'body') >>> body.text = 'Text' >>> print(etree.tostring(html)) b' Text ' >>> br = etree.SubElement(body, 'br') >>> print(etree.tostring(html)) b' Text
' # tail仅在该标签后面追加文本 >>> br.tail = 'Tail' >>> print(etree.tostring(br)) b'
Tail' >>> print(etree.tostring(html)) b' Text
Tail ' # tostring方法增加method参数，过滤单一标签，输出全部文本 >>> print(etree.tostring(html, method='text')) b'TextTail'2、XPath方式
# 方式一：过滤单一标签，返回文本
>>> print(html.xpath('string()'))
TextTail
# 方式二：返回列表，以单一标签为分隔
>>> print(html.xpath('//text()'))
['Text', 'Tail']
方法二获得的列表，每个元素都会带上它所属节点及文本类型信息，如下：
>>> texts = html.xpath('//text()'))
>>> print(texts[0])
Text
# 所属节点
>>> parent = texts[0].getparent()
>>> print(parent.tag)
body
>>> print(texts[1], texts[1].getparent().tag)
Tail br
# 文本类型：是普通文本还是tail文本
>>> print(texts[0].is_text)
True
>>> print(texts[1].is_text)
False
>>> print(texts[1].is_tail)
True
4、文件解析与输出
这部分讲述如何将XML文件解析为Element对象，以及如何将Element对象输出为XML文件。
1. 文件解析
文件解析常用的有fromstring、XML和HTML三个方法。接受的参数都是字符串。
>>> xml_data = '
data
' # fromstring方法 >>> root1 = etree.fromstring(xml_data) >>> print(root1.tag) root >>> print(etree.tostring(root1)) b'
data
' # XML方法，与fromstring方法基本一样 >>> root2 = etree.XML(xml_data) >>> print(root2.tag) root >>> print(etree.tostring(root2)) b'
data
'
# HTML方法，如果没有
和
标签，会自动补上 >>> root3 = etree.HTML(xml_data) >>> print(root3.tag) html >>> print(etree.tostring(root3)) b'
data
' 2. 输出
输出其实就是前面一直在用的tostring方法了，这里补充xml_declaration和encoding两个参数，前者是XML声明，后者是指定编码。
>>> root = etree.XML('
') >>> print(etree.tostring(root)) b'
' # XML声明 >>> print(etree.tostring(root, xml_declaration=True)) b"
\n
" # 指定编码 >>> print(etree.tostring(root, encoding='iso-8859-1')) b"
\n
" 5、ElementPath
讲ElementPath前，需要引入ElementTree类，一个ElementTree对象可理解为一个完整的XML树，每个节点都是一个Element对象。而ElementPath则相当于XML中的XPath。用于搜索和定位Element元素。
>>> root = etree.XML("
aText
") # 查找第一个b标签 >>> print(root.find('b')) None >>> print(root.find('a').tag) a # 查找所有b标签，返回Element对象组成的列表 >>> [ b.tag for b in root.findall('.//b') ] ['b', 'b'] # 根据属性查询 >>> print(root.findall('.//a[@x]')[0].tag) a >>> print(root.findall('.//a[@y]')) []以上内容大多来自此原文：Python lxml教程-SKYue
6、案例（尤其最后的一篇代码）
- 解析HTML,案例1.py
- 文件读取，案例2.html, 案例2.py
- etree和XPath的配合使用, 案例3.py
案例1.py
''' 安装lxml ''' from lxml import etree ''' 用lxml来解析HTML代码 ''' text = '''
'''
# 利用etree.HTML把字符串解析成HTML文档
html = etree.HTML(text)
s = etree.tostring(html)
print(s)案例2.html
Everyday Italian
Gidada De
2018
23
Python is Python
Food War
2008
83
Running
Klaus Kuka
2010
43
案例2.py
from lxml import etree
# 只能读取xml格式内容，html报错
html = etree.parse("./v30.html")
rst = etree.tostring(html, pretty_print=True)
print(rst)案例3.py
from lxml import etree
# 只能读取xml格式内容，html报错
html = etree.parse("./v30.html")
print(type(html))
rst = html.xpath('//book')
print(type(rst))
print(rst)
# xpath的意识是，查找带有category属性值为sport的book元素
rst = html.xpath('//book[@category="sport"]')
print(type(rst))
print(rst)
# xpath的意识是，查找带有category属性值为sport的book元素下的year元素
rst = html.xpath('//book[@category="sport"]/year')
rst = rst[0]
print(type(rst))
print(rst.tag)
print(rst.text)
目前有很多xml,html文档的parser,如标准库的xml.etree , beautifulsoup , 还有lxml. 都用下来感觉lxml不错,速度也还行,就他了.
围绕三个问题:
- 问题1：有一个XML文件，如何解析
- 问题2：解析后，如果查找、定位某个标签
- 问题3：定位后如何操作标签，比如访问属性、文本内容等
这些操作应该算是比较基础的,还可以自己在网上查找相关教程,官网更详细一点,进阶xpath语法,要在以后操作xml文件和html文件用上.
#!/usr/bin/python
# coding=utf-8
# __author__='dahu'
#
'''
Element是XML处理的核心类，
Element对象可以直观的理解为XML的节点，大部分XML节点的处理都是围绕该类进行的。
这部分包括三个内容：节点的操作、节点属性的操作、节点内文本的操作。
'''
from lxml import etree
# 1.创建element
root = etree.Element('root')
print root, root.tag
# 2.添加子节点
child1 = etree.SubElement(root, 'child1')
child2 = etree.SubElement(root, 'child2')
# 3.删除子节点
# root.remove(child2)
# 4.删除所有子节点
# root.clear()
# 5.以列表的方式操作子节点
print(len(root))
print root.index(child1) # 索引号
root.insert(0, etree.Element('child3')) # 按位置插入
root.append(etree.Element('child4')) # 尾部添加
# 6.获取父节点
print(child1.getparent().tag)
# print root[0].getparent().tag #用列表获取子节点,再获取父节点
'''以上都是节点操作'''
# 7.创建属性
# root.set('hello', 'dahu') #set(属性名,属性值)
# root.set('hi', 'qing')
# 8.获取属性
# print(root.get('hello')) #get方法
# print root.keys(),root.values(),root.items() #参考字典的操作
# print root.attrib #直接拿到属性存放的字典,节点的attrib,就是该节点的属性
'''以上是属性的操作'''
# 9.text和tail属性
# root.text = 'Hello, World!'
# print root.text
# 10.test,tail和text的结合
html = etree.Element('html')
html.text = 'html.text'
body = etree.SubElement(html, 'body')
body.text = 'wo ai ni'
child = etree.SubElement(body, 'child')
child.text='child.text' #一般情况下,如果一个节点的text没有内容,就只有符号,如果有内容,才会<>,都有
child.tail = 'tails' # tail是在标签后面追加文本
print(etree.tostring(html))
# print(etree.tostring(html, method='text')) # 只输出text和tail这种文本文档,输出的内容连在一起,不实用
#11.Xpath方式
# print(html.xpath('string()')) #这个和上面的方法一样,只返回文本的text和tail
print(html.xpath('//text()')) #这个比较好,按各个文本值存放在列表里面
tt=html.xpath('//text()')
print tt[0].getparent().tag #这个可以,首先我可以找到存放每个节点的text的列表,然后我再根据text找相应的节点
# for i in tt:
# print i,i.getparent().tag,'\t',
#12.判断文本类型
print tt[0].is_text,tt[-1].is_tail #判断是普通text文本,还是tail文本
'''以上都是文本的操作'''
#13.字符串解析,fromstring方式
xml_data = '
html.text
wo ai ni
child.text
tails ' root1=etree.fromstring(xml_data) #fromstring,字面意思,直接来源字符串 # print root1.tag # print etree.tostring(root1) #14.xml方式 root2 = etree.XML(xml_data) #和fromstring基本一样, print etree.tostring(root2) #15.文件类型解析 tree =etree.parse('text') #文件解析成元素树 root3 = tree.getroot() #获取元素树的根节点 print etree.tostring(root3,pretty_print=True) parser= etree.XMLParser(remove_blank_text=True) #去除xml文件里的空行 root = etree.XML("
",parser)
print etree.tostring(root)
#16.html方式
xml_data1='
data
'
root4 = etree.HTML(xml_data1)
print(etree.tostring(root4))#HTML方法，如果没有
和
标签，会自动补上 #注意,如果是需要补全的html格式:这样处理哦 with open("quotes-1.html",'r')as f: a=H.document_fromstring(f.read().decode("utf-8")) for i in a.xpath('//div[@class="quote"]/span[@class="text"]/text()'): print i #17.输出内容,输出xml格式 print etree.tostring(root) print(etree.tostring(root, xml_declaration=True,pretty_print=True,encoding='utf-8'))#指定xml声明和编码 '''以上是文件IO操作''' #18.findall方法 root = etree.XML("
aText
") print(root.findall('a')[0].text)#findall操作返回列表 print(root.find('.//a').text) #find操作就相当与找到了这个元素节点,返回匹配到的第一个元素 print(root.find('a').text) print [ b.text for b in root.findall('.//a') ] #配合列表解析,相当帅气! print(root.findall('.//a[@x]')[0].tag) #根据属性查询 '''以上是搜索和定位操作''' print(etree.iselement(root)) print root[0] is root[1].getprevious() #子节点之间的顺序 print root[1] is root[0].getnext() '''其他技能''' # 遍历元素数 root = etree.Element("root") etree.SubElement(root, "child").text = "Child 1" etree.SubElement(root, "child").text = "Child 2" etree.SubElement(root, "another").text = "Child 3" etree.SubElement(root[0], "childson").text = "son 1" # for i in root.iter(): #深度遍历 # for i in root.iter('child'): #只迭代目标值 # print i.tag,i.text # print etree.tostring(root,pretty_print=True)
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/213999.html原文链接：https://javaforall.net
