Asp .Net Core网页数据爬取笔记

突然要用到地区数据,想到以前用python的Scrapy框架写过一个爬虫,于是打算直接去国家统计局把最新的地区数据抓取回来.本想只需要copy一下以前的代码,就可以得到新鲜出炉的数据,谁知打开以前的项目,脑子一片空白,一点印象都莫得.只恨当时没有做做笔记,写个博客啥的来加深一下影响.点子已经到这里来了,于是在.net core框架下再做了一点简单的爬取工作,并截取前面一部分,整理成文,方便以后回顾

 <tr class='provincetr'>

     <td><a href='11.html'>北京市<br /></a></td>

     <td><a href='12.html'>天津市<br /></a></td>

     <td><a href='13.html'>河北省<br /></a></td>

     <td><a href='14.html'>山西省<br /></a></td>

     <td><a href='15.html'>内蒙古自治区<br /></a></td>

     <td><a href='21.html'>辽宁省<br /></a></td>

     <td><a href='22.html'>吉林省<br /></a></td>

     <td><a href='23.html'>黑龙江省<br /></a></td>

 </tr>

 <tr class='provincetr'>

     <td><a href='31.html'>上海市<br /></a></td>

     <td><a href='32.html'>江苏省<br /></a></td>

     <td><a href='33.html'>浙江省<br /></a></td>

     <td><a href='34.html'>安徽省<br /></a></td>

     <td><a href='35.html'>福建省<br /></a></td>

     <td><a href='36.html'>江西省<br /></a></td>

     <td><a href='37.html'>山东省<br /></a></td>

     <td><a href='41.html'>河南省<br /></a></td>

 </tr>

 <tr class='provincetr'>

     <td><a href='42.html'>湖北省<br /></a></td>

     <td><a href='43.html'>湖南省<br /></a></td>

     <td><a href='44.html'>广东省<br /></a></td>

     <td><a href='45.html'>广西壮族自治区<br /></a></td>

     <td><a href='46.html'>海南省<br /></a></td>

     <td> <a href='50.html'>重庆市<br /></a></td>

     <td><a href='51.html'>四川省<br /></a></td>

     <td><a href='52.html'>贵州省<br /></a></td>

 </tr>

 <tr class='provincetr'>

     <td><a href='53.html'>云南省<br /></a></td>

     <td><a href='54.html'>西藏自治区<br /></a></td>

     <td><a href='61.html'>陕西省<br /></a></td>

     <td><a href='62.html'>甘肃省<br /></a></td>

     <td><a href='63.html'>青海省<br /></a></td>

     <td><a href='64.html'>宁夏回族自治区<br /></a></td>

     <td><a href='65.html'>新疆维吾尔自治区<br /></a></td>

 </tr>

     /// <summary>

     /// 爬虫辅助类

     /// </summary>

     public static class SpiderHelper

     {

         private static HtmlParser htmlParser = new HtmlParser();

         public static string GetHtml(string url)

         {

             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

             HttpWebResponse response = (HttpWebResponse)request.GetResponse();

             try

             {

                 Stream receive = response.GetResponseStream();

                 StreamReader readStream = new StreamReader(receive, Encoding.GetEncoding("GB2312"));

                 return readStream.ReadToEnd();

             }

             catch (Exception)

             {

                 return "";

             }

         }

         /// <summary>

         /// 获取省份

         /// </summary>

         private static List<AreaViewModel> GetProvinces()

         {

             string html = GetHtml("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html");

             List<AreaViewModel> data = new List<AreaViewModel>();

             if (string.IsNullOrEmpty(html)) return data;

             //网页整体dom

             var document = htmlParser.ParseDocument(html);

             //目标元素dom,class为provincetr的tr元素下的a标签

             var list = document.QuerySelectorAll("tr.provincetr a");

             foreach (var item in list)

             {

                 string name = item.TextContent;

                 string id = item.GetAttribute("href").Replace(".html", "");

                 data.Add(new AreaViewModel()

                 {

                     Id = id,

                     Name = name,

                     ParentId = "",

                     Type = ,

                     Zip = ""

                 });

             };

             return data;

         }

     }

文档信息

• 发表作者：  半路独行
• 发表出处：  博客园
• 原文地址：  https://www.cnblogs.com/banluduxing/p/10732827.html
• 版权信息： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。