beautifulsoup解析页面
from bs4 import BeautifulSoup
soup = BeautifulSoup(htmltxt, "lxml")
# 三种装载器
soup = BeautifulSoup("", "html.parser")
### 只有起始标签的会自动补全，只有结束标签的会自动忽略
### 结果为：
soup = BeautifulSoup("", "lxml")
### 结果为：
soup = BeautifulSoup("", "html5lib")
### html5lib则出现一般的标签都会自动补全
### 结果为：
# 根据标签名、id、class、属性等查找标签
### 根据class、id、以及属性alog-action的值和标签类别查询
soup.find("a",class_="title",id="t1",attrs={"alog-action": "qb-ask-uname"}))
### 查询标签内某属性的值
pubtime = soup.find("meta",attrs={"itemprop":"datePublished"}).attrs['content']
### 获取所有class为title的标签
for i in soup.find_all(class_="title"):
print(i.get_text())
### 获取特定数量的class为title的标签
for i in soup.find_all(class_="title",limit = 2):
print(i.get_text())
### 获取文本内容时可以指定不同标签之间的分隔符，也可以选择是否去掉前后的空白。
soup = BeautifulSoup(' The Dormouses story
The Dormouses story
', "html5lib")
soup.find(class_="title").get_text("|", strip=True)
#结果为：The Dormouses story|The Dormouses story
### 获取class为title的p标签的id
soup.find(class_="title").get("id")
### 对class名称正则：
soup.find_all(class_=re.compile("tit"))
### recursive参数，recursive=False时，只find当前标签的第一级子标签的数据
soup = BeautifulSoup('abc','lxml')
soup.html.find_all("title", recursive=False)</pre> <br>
分享文章：Python常用爬虫代码总结方便查询-创新互联 <br>
网页链接：<a href="http://kswjz.com/article/hoihh.html">http://kswjz.com/article/hoihh.html</a>
</div>
<div class="view-qrocde cl">
<div class="m z"><img src="/Public/Home/images/ew.jpg"/></div>
<div class="text">
<h6>扫二维码与项目经理沟通</h6>
<p>我们在微信上24小时期待你的声音</p>
<p>解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流</p>
</div>
</div>
<div class="othernews cl">
<h3>其他资讯</h3>
<ul>
<li><a href="/article/igijig.html">通过ASM反射实现IOC</a></li><li><a href="/article/igijjo.html">怎么在Java中启动JDBCUtils</a></li><li><a href="/article/igipdj.html">微信小程序如何实现上传word、txt、Excel、PPT等文件功能</a></li><li><a href="/article/igipds.html">Pyhon中如何读取文件</a></li><li><a href="/article/igipdg.html">python可以使用哪种数据库</a></li> </ul>
</div>
</div>
</div>
<div class="sidebar">
<div class="tuijian">
<a href="#">
<h2 class="cl"><span>行业动态</span></h2>
<h3>企业网站建设的重要性！</h3>
<p>现在虽然是移动互联网时代，但企业网站依然重要，包含PC站点，移动站。可以说企业网站关系企业的未来发展和前途，尤其对中小企业更是如此，一些中小企业老板，对自己的名片很在乎，因为这是个门面。...</p>
</a>
</div>
<div class="ser sidesub">
<h2>服务项目</h2>
<ul class="ebox">
<li class="sub sub-1">
<div>
<h3>网站建设</h3>
<p></p>
<a class="btn" href="/serve/website/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>移动端/APP</h3>
<p></p>
<a class="btn" href="/serve/moblie/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>微信/小程序</h3>
<p></p>
<a class="btn" href="/serve/small/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>技术支持</h3>
<p></p>
<a class="btn" href="/serve/tech/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>其它服务</h3>
<p></p>
<a class="btn" href="/serve/othe/">查看详情</a>
</div>
</li>
<li class="sub sub-5">
<div>
<h3>更多服务项目</h3>
<p> <a>用我们的专业和诚信赢得您的信赖，从PC到移动互联网均有您想要的服务！</a></p>
<a class="btn" href="/serve/">获取更多</a>
</div>
</li>
</ul>
</div>
<div class="contact" id="fix">
<h2 class="cl"> <span>联系吧</span> <a href="https://map.baidu.com/" class="ditu" rel="nofollow" target="_blank">在百度地图上找到我们</a> </h2>
<h3>电话：13518219792</h3>
<p>如遇占线或暂未接听请拨：136xxx98888</p>
<div class="qq"> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">业务咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">技术咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">售后服务</a> </div>
</div>
</div>
<script>
//固定滚动
(function () {
var oDiv = document.getElementById("fix");
var H = 120,
iE6;
var Y = oDiv;
while (Y) {
H += Y.offsetTop;
Y = Y.offsetParent
};
iE6 = window.ActiveXObject && !window.XMLHttpRequest;
if (!iE6) {
window.onscroll = function ()
{
var s = document.body.scrollTop || document.documentElement.scrollTop;
if (s > H) {
oDiv.className = "contact fixed";
if (iE6) {
oDiv.style.top = (s - H) + "px";
}
} else {
oDiv.className = "contact ";
}
};
}
})();
</script>
</div>
<div class="footer">
<div class="wp">
<div class="wpss cl">
<dl class="about">
<dt>网站设计</dt>
<dd><a href="http://chengdu.cdcxhl.cn/qiye/" target="_blank" title="企业网站设计">企业网站设计</a></dd><dd><a href="http://www.cxhljz.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="http://www.wjwzjz.com/" target="_blank" title="温江网站设计">温江网站设计</a></dd><dd><a href="http://www.cdxwcx.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd> </dl>
<dl class="about">
<dt>网站制作</dt>
<dd><a href="http://www.cdkjz.cn/" target="_blank" title="成都网站制作">成都网站制作</a></dd><dd><a href="http://www.mywzjz.com/" target="_blank" title="绵阳网站制作公司">绵阳网站制作公司</a></dd><dd><a href="http://www.cdxtjz.com/" target="_blank" title="网站制作">网站制作</a></dd><dd><a href="http://www.cxjianzhan.com/mobile/" target="_blank" title="wap网站制作">wap网站制作</a></dd> </dl>
<dl class="contact">
<dt>联系我们</dt>
<dd>电话：13518219792</dd>
<dd>邮箱：631063699@qq.com</dd>
<dd>地址：成都青羊区锦天国际1002号</dd>
<dd>网址：www.kswjz.com</dd>
</dl>
<dl class="about" style="margin-left:50px;width:235px;">
<dt>网站建设</dt>
<dd><a href="https://www.cdcxhl.com/h5.html" target="_blank" title="成都h5网站建设">成都h5网站建设</a></dd><dd><a href="https://www.cdxwcx.com/city/pengzhou/" target="_blank" title="彭州网站建设">彭州网站建设</a></dd><dd><a href="http://www.36103.cn/" target="_blank" title="成都网站建设">成都网站建设</a></dd><dd><a href="http://www.cdkjz.cn/develop/" target="_blank" title="电商网站建设">电商网站建设</a></dd> </dl>
<dl class="flow">
<dt></dt>
<div class="ma cl">
<div class="m"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</div>
</dl>
</div>
</div>
<div class="footer-link wp">
<ul class="wpss cl">
<li class="fisrt">友情链接</li>
<li><a href="https://www.cdcxhl.com/gaofang/" title="高防服务器租用" target="_blank">高防服务器租用</a></li><li><a href="https://www.cdcxhl.com/ruanwen/yingxiao" title="软文推广" target="_blank">软文推广</a></li><li><a href="http://www.pgwzsj.com/" title="普格博源建站" target="_blank">普格博源建站</a></li><li><a href="http://www.gswzjz.com/" title="工商财税" target="_blank">工商财税</a></li><li><a href="http://chengdu.cdweb.net/weixinkaifa/fuwuhao.html" title="微信服务号订阅号开发" target="_blank">微信服务号订阅号开发</a></li><li><a href="https://www.cdcxhl.com/" title="成都做网站" target="_blank">成都做网站</a></li><li><a href="http://www.cqcxhl.com/" title="重庆网站制作" target="_blank">重庆网站制作</a></li><li><a href="https://www.cdxwcx.com/jifang/yaan.html" title="雅安移动机房" target="_blank">雅安移动机房</a></li><li><a href="http://www.jrgmh.com/" title="成都全屋定制" target="_blank">成都全屋定制</a></li><li><a href="http://www.cdxwcx.cn/tuoguan/zuyong.html" title="成都服务器租赁" target="_blank">成都服务器租赁</a></li> </ul>
</div>
</div>
<div class="bot-footer">
<div class="wp">
<p class="wpss"> <em>Copyright © 2002-2023 www.kswjz.com 快上网建站品牌 QQ：244261566 版权所有</em> <em>备案号：<a href="http://beian.miit.gov.cn/" rel="external nofollow">蜀ICP备19037934号</a></em>
</p>
<p class="wpss" style="line-height:30px !important;"> </p>
</div>
</div>
<div class="footer-kefu">
<ul>
<li class="qq"><a href="https://wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes"><em></em>在线咨询</a>
</li>
<li class="tel"><a href="tel:13518219792" target="_blank"><em></em>13518219792</a></li>
<li class="wx"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</li>
<li class="m"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>移动版官网</p>
</div>
</li>
<li class="top"><em></em></li>
</ul>
</div>
<script src="/Public/Home/js/all.js"></script>
</body>
</html>
<script>
$(".cont img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>