Python爬虫之数据解析模块lxml基础(附:xpath和解析器介绍)-成都快上网建站

Python爬虫之数据解析模块lxml基础(附:xpath和解析器介绍)

介绍:

目前成都创新互联已为上千余家的企业提供了网站建设、域名、网页空间、网站托管维护、企业网站设计、杞县网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

最近在学Python爬虫,在这里对数据解析模块lxml做个学习笔记。

lxml、xpath及解析器介绍:

lxml是Python的一个解析库,支持HTML和XML的解析,支持xpath解析方式,而且解析效率非常高。xpath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索

xml文件/html文件结点关系:

父节点(Parent)

子节点(Children)

同胞节点(Sibling)

先辈节点(Ancestor)

后代节点(Descendant)

xpath语法:

nodename    选取此节点的所有子节点

//          从任意子节点中选取

/           从根节点选取

.           选取当前节点

..          选取当前节点的父节点

@        选取属性

解析器比较:

解析器         速度      难度

re                最快      难

BeautifulSoup 慢        非常简单

lxml                 快        简单

学习笔记:

# -*- coding: utf-8 -*-

from lxml import etree

html_doc = """

The Dormouse's story

The Dormouse's story

Once upon a time there were three little sisters; and their names were

Elsie,

Lacie and

Tillie;

and they lived at the bottom of a well.

...

"""

selector = etree.HTML(html_doc)   #创建一个对象

links = selector.xpath('//p[@class="story"]/a/@href')   # 取出页面内所有的链接

for link in links:

    print link

xml_test = """

   

        lizibin

        m

       

sjz

        28

       

            konigerwin@163.com

            135......

       

   

   

        wsq

        f

       

shanghai

        25

       

            konigerwiner@163.com

            135......

       

   

   

        liqian

        f

       

SH

        28

       

            konigerwinarry@163.com

            135......

       

   

   

        qiangli

        f

       

SH

        29

       

            konigerwinarry@163.com

            135......

       

   

   

        buzhidao

        f

       

SH

        999

       

            konigerwinarry@163.com

            135......

       

   

"""

#r = requests.get('http://xxx.com/abc.xml')   也可以请求远程服务器上的xml文件

#etree.HTML(r.text.encode('utf-8'))

xml_code = etree.HTML(xml_test)     #生成一个etree对象

#选取所有子节点的name(地址)

print xml_code.xpath('//name')

选取所有子节点的name值(数据)

print xml_code.xpath('//name/text()')

print ''

#以notebook以根节点选取所有数据

notebook = xml_code.xpath('//notebook')


#取出第一个节点的name值(数据)

print notebook[0].xpath('.//name/text()')[0]

addres = notebook[0].xpath('.//name')[0]

#取出和第一个节点同级的 address 值

print addres.xpath('../address/text()')

#选取属性值

print addres.xpath('../address/@lang')

#选取notebook下第一个user的name属性

print xml_code.xpath('//notebook/user[1]/name/text()')

#选取notebook下最后一个user的name属性

print xml_code.xpath('//notebook/user[last()]/name/text()')

#选取notebook下倒数第二个user的name属性

print xml_code.xpath('//notebook/user[last()-1]/name/text()')

#选取notebook下前两名user的address属性

print xml_code.xpath('//notebook/user[position()<3]/address/text()')

#选取所有分类为web的name

print xml_code.xpath('//notebook/user[@category="cb"]/name/text()')

#选取所有年龄小于30的人

print xml_code.xpath('//notebook/user[age<30]/name/text()')

#选取所有class属性中包含dba的class属性

print xml_code.xpath('//notebook/user[contains(@class,"dba")]/@class')

print xml_code.xpath('//notebook/user[contains(@class,"dba")]/name/text()')





文章题目:Python爬虫之数据解析模块lxml基础(附:xpath和解析器介绍)
分享链接:http://kswjz.com/article/gddedp.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流