C#.Net基于正则表达式抓取百度百家文章列表的方法示例
本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：
创新互联长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为让胡路企业提供专业的成都网站建设、成都网站制作，让胡路网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。
工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：
一、获取百度百家网页内容
public List GetUrl()
{
try
{
string url = "http://baijia.baidu.com/";
WebRequest webRequest = WebRequest.Create(url);
WebResponse webResponse = webRequest.GetResponse();
StreamReader reader = new StreamReader(webResponse.GetResponseStream());
string result = reader.ReadToEnd();
reader.Close();
webResponse.Close();
return AnalysisHtml(result);
}
catch (Exception ex)
{
throw ex;
}
}
二、通过正则表达式筛选
public List AnalysisHtml(string htmlContent)
{
List list = new List();
string strPattern = "(?[^<]+)</a></h4>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
if (regex.IsMatch(htmlContent))
{
MatchCollection matchCollection = regex.Matches(htmlContent);
foreach (Match match in matchCollection)
{
string[] str = new string[3];
str[0] = match.Groups[1].Value;//获取到的是列表数据的标题
str[1] = match.Groups[2].Value;//获取到的是内容
str[2] = match.Groups[3].Value;//获取到的是链接到的地址
list.Add(str);
}
}
return list;
}
</pre></div><p><strong>附：</strong>完整实例代码点击此处<strong>本站下载</strong>。</p><p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p><p><strong>JavaScript正则表达式在线测试工具：<br /></strong>http://tools.jb51.net/regex/javascript</p><p><strong>正则表达式在线生成工具：<br /></strong>http://tools.jb51.net/regex/create_reg</p><p>更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》</p><p>希望本文所述对大家C#程序设计有所帮助。</p>
<br>
当前题目：C#.Net基于正则表达式抓取百度百家文章列表的方法示例 <br>
文章来源：<a href="http://kswjz.com/article/gjpoog.html">http://kswjz.com/article/gjpoog.html</a>
</div>
<div class="view-qrocde cl">
<div class="m z"><img src="/Public/Home/images/ew.jpg"/></div>
<div class="text">
<h6>扫二维码与项目经理沟通</h6>
<p>我们在微信上24小时期待你的声音</p>
<p>解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流</p>
</div>
</div>
<div class="othernews cl">
<h3>其他资讯</h3>
<ul>
<li><a href="/article/hpsdip.html">windows10系统还原的简单介绍</a></li><li><a href="/article/hpsdig.html">怎么用打开mysql 怎么用打开空调</a></li><li><a href="/article/hpsdic.html">go语言学习入门 go语言基础教程</a></li><li><a href="/article/hpsdsp.html">python混合核函数 核函数 python</a></li><li><a href="/article/hpsdse.html">oracle负数怎么存 oracle number类型可以存负数吗</a></li> </ul>
</div>
</div>
</div>
<div class="sidebar">
<div class="tuijian">
<a href="#">
<h2 class="cl"><span>行业动态</span></h2>
<h3>企业网站建设的重要性！</h3>
<p>现在虽然是移动互联网时代，但企业网站依然重要，包含PC站点，移动站。可以说企业网站关系企业的未来发展和前途，尤其对中小企业更是如此，一些中小企业老板，对自己的名片很在乎，因为这是个门面。...</p>
</a>
</div>
<div class="ser sidesub">
<h2>服务项目</h2>
<ul class="ebox">
<li class="sub sub-1">
<div>
<h3>网站建设</h3>
<p></p>
<a class="btn" href="/serve/website/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>移动端/APP</h3>
<p></p>
<a class="btn" href="/serve/moblie/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>微信/小程序</h3>
<p></p>
<a class="btn" href="/serve/small/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>技术支持</h3>
<p></p>
<a class="btn" href="/serve/tech/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>其它服务</h3>
<p></p>
<a class="btn" href="/serve/othe/">查看详情</a>
</div>
</li>
<li class="sub sub-5">
<div>
<h3>更多服务项目</h3>
<p> <a>用我们的专业和诚信赢得您的信赖，从PC到移动互联网均有您想要的服务！</a></p>
<a class="btn" href="/serve/">获取更多</a>
</div>
</li>
</ul>
</div>
<div class="contact" id="fix">
<h2 class="cl"> <span>联系吧</span> <a href="https://map.baidu.com/" class="ditu" rel="nofollow" target="_blank">在百度地图上找到我们</a> </h2>
<h3>电话：13518219792</h3>
<p>如遇占线或暂未接听请拨：136xxx98888</p>
<div class="qq"> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">业务咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">技术咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">售后服务</a> </div>
</div>
</div>
<script>
//固定滚动
(function () {
var oDiv = document.getElementById("fix");
var H = 120,
iE6;
var Y = oDiv;
while (Y) {
H += Y.offsetTop;
Y = Y.offsetParent
};
iE6 = window.ActiveXObject && !window.XMLHttpRequest;
if (!iE6) {
window.onscroll = function ()
{
var s = document.body.scrollTop || document.documentElement.scrollTop;
if (s > H) {
oDiv.className = "contact fixed";
if (iE6) {
oDiv.style.top = (s - H) + "px";
}
} else {
oDiv.className = "contact ";
}
};
}
})();
</script>
</div>
<div class="footer">
<div class="wp">
<div class="wpss cl">
<dl class="about">
<dt>网站设计</dt>
<dd><a href="http://www.cxhljz.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="http://www.36103.cn/" target="_blank" title="成都网站设计">成都网站设计</a></dd><dd><a href="http://www.cdxwcx.cn/sheji/" target="_blank" title="企业网站设计">企业网站设计</a></dd><dd><a href="http://www.cxhljz.com/" target="_blank" title="网站设计制作">网站设计制作</a></dd> </dl>
<dl class="about">
<dt>网站制作</dt>
<dd><a href="https://www.cdcxhl.com/mobile.html" target="_blank" title="手机网站制作设计">手机网站制作设计</a></dd><dd><a href="http://www.cxjianzhan.com/mobile/" target="_blank" title="手机网站制作">手机网站制作</a></dd><dd><a href="http://www.cxjianzhan.com/mobile/" target="_blank" title="wap网站制作">wap网站制作</a></dd><dd><a href="http://www.cxjianzhan.com/" target="_blank" title="成都网站制作">成都网站制作</a></dd> </dl>
<dl class="contact">
<dt>联系我们</dt>
<dd>电话：13518219792</dd>
<dd>邮箱：631063699@qq.com</dd>
<dd>地址：成都青羊区锦天国际1002号</dd>
<dd>网址：www.kswjz.com</dd>
</dl>
<dl class="about" style="margin-left:50px;width:235px;">
<dt>网站建设</dt>
<dd><a href="http://www.cqcxhl.com/" target="_blank" title="重庆网站建设">重庆网站建设</a></dd><dd><a href="http://m.cdcxhl.cn/mobile/" target="_blank" title="网站建设公司">网站建设公司</a></dd><dd><a href="http://www.cxjianzhan.cn/" target="_blank" title="网站建设开发">网站建设开发</a></dd><dd><a href="http://chengdu.kswjz.com/" target="_blank" title="成都网站建设">成都网站建设</a></dd> </dl>
<dl class="flow">
<dt></dt>
<div class="ma cl">
<div class="m"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</div>
</dl>
</div>
</div>
<div class="footer-link wp">
<ul class="wpss cl">
<li class="fisrt">友情链接</li>
<li><a href="http://www.msbanjia.cn/" title="美美搬家" target="_blank">美美搬家</a></li><li><a href="http://www.jinhuajc.com/" title="橡塑保温管" target="_blank">橡塑保温管</a></li><li><a href="https://www.cdcxhl.com/link/" title="卖友情链接" target="_blank">卖友情链接</a></li><li><a href="http://www.shjinzhi.cn/" title="兴宏源活动板房" target="_blank">兴宏源活动板房</a></li><li><a href="http://www.cdwuji.cn/" title="成都网站建设" target="_blank">成都网站建设</a></li><li><a href="https://www.cdxwcx.com/wangzhan/applet.html" title="微信小程序开发" target="_blank">微信小程序开发</a></li><li><a href="https://www.xwcx.net/" title="服务器托管" target="_blank">服务器托管</a></li><li><a href="http://www.yunjinzhai.com/" title="云锦斋建筑" target="_blank">云锦斋建筑</a></li><li><a href="http://www.cdkjz.cn/fangan/" title="网站建设方案" target="_blank">网站建设方案</a></li><li><a href="http://www.esincecn.com/" title="益鑫餐饮" target="_blank">益鑫餐饮</a></li> </ul>
</div>
</div>
<div class="bot-footer">
<div class="wp">
<p class="wpss"> <em>Copyright © 2002-2023 www.kswjz.com 快上网建站品牌 QQ：244261566 版权所有</em> <em>备案号：<a href="http://beian.miit.gov.cn/" rel="external nofollow">蜀ICP备19037934号</a></em>
</p>
<p class="wpss" style="line-height:30px !important;"> </p>
</div>
</div>
<div class="footer-kefu">
<ul>
<li class="qq"><a href="https://wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes"><em></em>在线咨询</a>
</li>
<li class="tel"><a href="tel:13518219792" target="_blank"><em></em>13518219792</a></li>
<li class="wx"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</li>
<li class="m"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>移动版官网</p>
</div>
</li>
<li class="top"><em></em></li>
</ul>
</div>
<script src="/Public/Home/js/all.js"></script>
</body>
</html>
<script>
$(".cont img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>
