C#.Net基于正则表达式抓取百度百家文章列表的方法示例

本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：

创新互联长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为让胡路企业提供专业的成都网站建设、成都网站制作，让胡路网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：

一、获取百度百家网页内容

public List GetUrl()
{
  try
  {
    string url = "http://baijia.baidu.com/";
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse = webRequest.GetResponse();
    StreamReader reader = new StreamReader(webResponse.GetResponseStream());
    string result = reader.ReadToEnd();
    reader.Close();
    webResponse.Close();
    return AnalysisHtml(result);
  }
  catch (Exception ex)
  {
    throw ex;
  }
}

二、通过正则表达式筛选

public List AnalysisHtml(string htmlContent)
{
  List list = new List();
  string strPattern = "(?[^<]+)</a></h4>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
  Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
  if (regex.IsMatch(htmlContent))
  {
    MatchCollection matchCollection = regex.Matches(htmlContent);
    foreach (Match match in matchCollection)
    {
      string[] str = new string[3];
      str[0] = match.Groups[1].Value;//获取到的是列表数据的标题
      str[1] = match.Groups[2].Value;//获取到的是内容
      str[2] = match.Groups[3].Value;//获取到的是链接到的地址
      list.Add(str);
    }
  }
  return list;
}

</pre></div><p><strong>附：</strong>完整实例代码点击此处<strong>本站下载</strong>。</p><p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p><p><strong>JavaScript正则表达式在线测试工具：<br /></strong>http://tools.jb51.net/regex/javascript</p><p><strong>正则表达式在线生成工具：<br /></strong>http://tools.jb51.net/regex/create_reg</p><p>更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》</p><p>希望本文所述对大家C#程序设计有所帮助。</p>            
            
                        <br>
            本文题目：C#.Net基于正则表达式抓取百度百家文章列表的方法示例            <br>
            当前链接：<a href="http://www.ytofo.com/article/gjpoog.html">http://www.ytofo.com/article/gjpoog.html</a>
        </div>
    </div>
    <div class="other">
        <h3>其他资讯</h3>
        <ul>
            <li>
                    <a href="/article/dpjopid.html">怎么接国际专线？服务器移动专线添加电信</a>
                </li><li>
                    <a href="/article/dpjopdi.html">怎样设置单元格格式，Excel表格里的单元格格式怎么设置呀</a>
                </li><li>
                    <a href="/article/dpjopeh.html">python报错输出到文件</a>
                </li><li>
                    <a href="/article/dpjopio.html">Redis查找指定Key的方式（redis查指定key）</a>
                </li><li>
                    <a href="/article/dpjopso.html">利用LinuxUboot进行网络测试的简便方法(linuxuboot网络测试)</a>
                </li>        </ul>
    </div>
</div>
<footer>
    <div class="message">
        <div class="mess container">
            <p>免费获取网站设计制作与品牌网站建设策划方案报价</p>
            <span>网站设计 + 品牌建站，策划方案 + 精准报价，现在免费领！品牌要升级，官网先发力！免费领取网站设计制作方案 + 精准报价，专业团队帮你落地</span>
            <form action="">
                <input type="text" class="ipt1" placeholder="联系人">
                <input type="text" class="ipt2" placeholder="联系电话">
                <textarea name="" id=""  placeholder="内容描述：描述您的需求，如网站、微信、电商、APP等。"></textarea>
                <a href="">提交需求</a>
            </form>
        </div>
    </div>
    <div class="footA">
        <div class="footAs container">
            <ul>
                <h3>联系我们</h3>
                <b>18980820575</b>
                <li>手机：13518219792</li>
                <li>地址：湖北孝感市大悟城关镇鄂北物流城13栋125号</li>
                <li class="hr1"></li>
                <li>24小时服务热线：18982081108</li>
            </ul>
            <ul>
                <h3>网站建设服务</h3>
                <li>网页设计</li>
                <li>网站制作</li>
                <li>网站开发</li>
            </ul>
            <ul>
                <h3>网站推广服务</h3>
                <li>营销网站建设</li>
                <li>百度快速排名</li>
                <li>整站网站推广</li>
            </ul>
            <ul>
                <h3>网站运维服务</h3>
                <li>基础维护</li>
                <li>网站改版</li>
                <li>网站维护</li>
            </ul>
            <ul>
                <h3>FOLLOW US</h3>
                <li class="hr2"></li>
                <li>
                    <dd class="fl"><img src="/Public/Home/img/ewm.png" alt=""><p>微信二维码</p></dd>
                    <dd class="fr"><img src="/Public/Home/img/ewm.png" alt=""><p>微信二维码</p></dd>
                </li>
            </ul>
        </div>
        <div class="link container">
            友情链接：
            <a href="http://www.sqksh.com/" title="成都板状保温橡塑" target="_blank">成都板状保温橡塑</a>   <a href="http://www.cdhuace.com/fuwu.html" title="名片印刷厂" target="_blank">名片印刷厂</a>   <a href="http://www.jlruijie.cn/" title="数码快印" target="_blank">数码快印</a>   <a href="http://www.mfrvk.com/" title="宜宾发电机销售" target="_blank">宜宾发电机销售</a>   <a href="http://www.shuiguoy.cn/" title="四川成都做网站" target="_blank">四川成都做网站</a>   <a href="https://www.cdcxhl.com/gaiban/chengdu.html" title="成都网站改版" target="_blank">成都网站改版</a>   <a href="http://www.xcwzsj.com/" title="成都发光字制作" target="_blank">成都发光字制作</a>   <a href="http://www.dmvi.cn/ser/baozhuang/" title="产品包装设计" target="_blank">产品包装设计</a>   <a href="http://www.dmvi.cn/ser/huace/" title="企业画册设计制作" target="_blank">企业画册设计制作</a>   <a href="http://www.scbrznjsb.com/mobile/" title="手机APP开发" target="_blank">手机APP开发</a>           </div>
    </div>
    <div class="footB">
        <div class="container">
            <div class="fl">
                Copyright © 2025  湖北孝感网站建设公司     湖北孝感网站建设公司-选我们！湖北专业的孝感网站制作公司！
            </div>
            <div class="fr">
                All Rights Reserved 版权所有 <a href="https://beian.miit.gov.cn/" target="_blank" rel="nofollow">鄂ICP备2025125038号-8</a>
            </div>
        </div>
    </div>
</footer>
</body>
</html>
<script>
    $(".con img").each(function(){
        var src = $(this).attr("src");    //获取图片地址
        var str=new RegExp("http");
        var result=str.test(src);
        if(result==false){
            var url = "https://www.cdcxhl.com"+src;    //绝对路径
            $(this).attr("src",url);
        }
    });
    window.onload=function(){
        document.oncontextmenu=function(){
            return false;
        }
    }
</script>

网站建设知识

C#.Net基于正则表达式抓取百度百家文章列表的方法示例