item_3
也就是说，etree.HTML()函数会补全html代码片段，给它们加上和
标签。使用lxml.html函数
lxml.html是lxml的子模块，它是对etree的封装，更适合解析html网页。用这个子模块生成DOM树的方法有多个：
lxml.html.document_fromstring()
lxml.html.fragment_fromstring()
lxml.html.fragments_fromstring()
lxml.html.fromstring()
它们的docstring可以在ipython里面查一下，这里就不再列举。通常，我们解析网页用最后一个fromstring()即可。这个fromstring()函数也会给我们的样例html代码最顶层的两个并列节点加一个父节点div。
上面三种方法介绍完，相信你自己已经有了选择，那必须是lxml.html。
因为它针对html做了封装，所以也多了写特有的方法:
比如我们要获得某个节点下包含所有子节点的文本内容时，通过etree得到的节点没办法，它的每个节点有个text属性只是该节点的，不包括子节点，必须要自己遍历获得子节点的文本。而lxml.html有一个text_content()方法可以方便的获取某节点内包含的所有文本。
再比如，好多网页的链接写的都是相对路径而不是完整url：，我们提取链接后还要自己手动拼接成完整的url。这个时候可以用lxml.html提供的make_links_absolute()方法，这个方法是节点对象Element的方法，etree的Element对象却没有。
使用xpath提取数据
我们还以下面这段html代码为例，来看看如何定位节点提取数据。
item_1
item_2
item_3
首先导入lxml.html模块，生成DOM树：
In [50]: import lxml.html as lh
In [51]: doc = lh.fromstring(html)
(1)通过标签属性定位节点
比如我们要获取
这节点：
In [52]: doc.xpath('//div[@class="2"]')
Out[52]: []
In [53]: print(lh.tostring(doc.xpath('//div[@class="2"]')[0]).decode())
item_3
(2)contains语法
html中有两个
标签的class含有item，如果我们要提取这两个
标签，则：
In [54]: doc.xpath('//p[contains(@class, "item")]')
Out[54]: [, ]
## 获取的文本：
In [55]: doc.xpath('//p[contains(@class, "item")]/text()')
Out[55]: ['item_1', 'item_2']
(3)starts-with语法
跟（2）一样的提取需求，两个
标签的class都是以p_开头的，所以：
In [60]: doc.xpath('//p[starts-with(@class, "p_")]')
Out[60]: [, ]
## 获取的文本：
In [61]: doc.xpath('//p[starts-with(@class, "p_")]/text()')
Out[61]: ['item_1', 'item_2']
(4)获取某一属性的值
比如，我们想提取网页中所有的链接：
In [63]: doc.xpath('//@href')
Out[63]: ['/go-p3']看完上述内容，你们对利用lxml从网页HTML/XML中提取数据有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。
网站栏目：利用lxml从网页HTML/XML中提取数据
URL标题：http://kswjz.com/article/pgipgc.html
扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
