扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章给大家介绍PyQuery怎么在Python中使用,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
我们提供的服务有:成都网站设计、成都网站制作、微信公众号开发、网站优化、网站认证、兴安ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的兴安网站制作公司安装
PyQuery库官方文档
初始化为PyQuery对象
常用的CCS选择器
伪类选择器
查找标签
获取标签信息
初始化为PyQuery对象
html = """ 简单好用的PyQuery
相当于BeautifulSoup库的初识化方法,将html转化为BeautifulSoup对象。
bsObj = BeautifulSoup(html, 'html.parser')
PyQuery库也要有自己的初始化。
1.1 将字符串初始化
from pyquery import PyQuery as pq #初始化为PyQuery对象 doc = pq(html) print(type(doc)) print(doc)
返回
PyQuery学习
1.2 将html文件初始化
#filename参数为html文件路径 test_html = pq(filename = 'test.html') print(type(test_html)) print(test_html)
返回
PyQuery学习
1.3 对网址响应进行初始化
response = pq(url = 'https://www.baidu.com') print(type(response)) print(response)
返回
©2017 Baidu 使ç�¨ç�¾åº¦å��å¿ è¯»
二、常用的CCS选择器
打印id为container的标签
print(doc('#container')) print(type(doc('#container')))
返回
打印class为object-1的标签
print(doc('.object-1'))
返回
打印标签名为body的标签
print(doc('body'))
返回
多种css选择器使用
print(doc('html #container'))
返回
三、伪类选择器
伪类nth
print(pseudo_doc('li:nth-child(2)')) #打印第一个li标签 print(pseudo_doc('li:first-child')) #打印最后一个标签 print(pseudo_doc('li:last-child'))
返回
contains
#找到含有Python的li标签 print(pseudo_doc("li:contains('Python')")) #找到含有好的li标签 print(pseudo_doc("li:contains('好')"))
返回
四、查找标签
按照条件在Pyquery对象中查找符合条件的标签,类似于BeautifulSoup中的find方法。
打印id=container的标签
print(doc.find('#container'))
返回
返回
4.2 子辈标签-children方法
#id=container的标签的子辈标签 container = doc.find('#container') print(container.children())
返回
4.3 父辈标签-parent方法
object_2 = doc.find('.object-2') print(object_2.parent())
返回
4.4 兄弟标签-siblings方法
object_2 = doc.find('.object-2') print(object_2.siblings())
返回
五、获取标签的信息
定位到目标标签后,我们需要标签内部的文本或者属性值,这时候需要进行提取文本或属性值操作
5.1 标签属性值的提取
.attr() 传入 标签的属性名,返回属性值
object_2 = doc.find('.object-2') print(object_2.attr('class'))
返回
object-2
5.2 标签内的文本
.text()
html_text = """ 简单好用的PyQuery
返回
简单好用的 PyQuery Hello World! Python 大法 好
object_1 = docs.find('.object-1') print(object_1.text()) container = docs.find('#container') print(container.text())
返回
Python Hello World! Python 大法 好
tips:如果我只想获得Hello World这个,不想得到其他的文本,可以使用remove方法将li标签去掉,然后再使用text方法
container = docs.find('#container') container.remove('li') print(container.text())
返回
Hello World!
pyquery一些自定义的用法
访问网址
PyQuery与BeautifulSoup对比,我们会发现PyQuery可以对网址发起请求。 比如
from pyquery import PyQuery PyQuery(url = 'https://www.baidu.com')
opener参数
这是PyQuery对百度网址进行请求,并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库,如果想使用selenium或者requests库,可以自定义PyQuery的opener参数。
opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。
from pyquery import PyQuery from selenium.webdriver import PhantomJS #用selenium访问url def selenium_opener(url): #我没有将Phantomjs放到环境变量,所以每次用都要放上路径 driver = PhantomJS(executable_path = 'phantomjs的路径') driver.get(url) html = driver.page_source driver.quit() return html #注意,使用时opener参数是函数名,没有括号的! PyQuery(url='https://www.baidu.com/', opener=selenium_opener)
这时候我们就能对PyQuery对象进行操作,提取有用的信息。具体请看上次的分享,如果想了解更多的功能,pyquery文档写的不怎么详细,好在基本跟jQuery功能吻合,我们如果想用好pyquery,需要查看jQuery文档。
cookies、headers
在requests用法中,一般为了访问网址更加真实,模仿成浏览器。一般我们需要传入headers,必要的时候还需要传入cookies参数。而pyquery库就有这功能,也能伪装浏览器。
from pyquery import PyQuery cookies = {'Cookie':'你的cookie'} headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'} PyQuery(url='https://www.baidu.com/',headers=headers,cookies=cookies)
让你的selenium带上pyquery功能
让driver访问的网址得到的网页直接变为PyQuery对象,更方便提取数据
from pyquery import PyQuery from selenium.webdriver import PhantomJS class Browser(PhantomJS): @property def dom(self): return PyQuery(self.page_source)""" 这部分property是装饰器,需要知道@property下面紧跟的函数,实现了类的属性功能。 这里browser.dom,就是browser的dom属性。 """ browser = Browser(executable_path='phantomjs的路径') browser.get(url='https://www.baidu.com/') print(type(browser.dom))
返回
关于PyQuery怎么在Python中使用就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流