联系QQ:3490313997
网站建设

火车采集器网站分页网址不变获取规则

时间:2021-12-01 09:21:41

  在采集列表分页内容的时候,会发现有的列表分页,点击第二页、第三页(或下一页)时,列表的页面信息有变化,但是浏览器上网址却不变。这种信息在页面是看不到的,一般要通过fiddler抓包工具抓包分析,即通过火车采集器post方式分页采集。

  以下用这个网址来测试http://www.yidianda.com/category/three/1-7-24.html 这个网址有3页,链接都是相同的。

  1、先通过源代码找到这个页面的开始标签和结束标签,页面开始是1/3页,结束是下一页>到第页。如下通过源代码可找到:

文章开始

 

  

结束文章

 

  

规则设置

 

  2、打开fiddler抓包工具,分别点击第2页和第3页,看看分别获取了哪些信息。当获取完一个页面后,先按下键盘F12暂停,提取信息。不然的话fiddler会继续抓取信息、信息多的话不好查找。

fiddler抓包1

 

  

fiddler抓包2

 

  由于图片比较不好查找,通过点击fiddler上的“View in Notepad”提取出来进行比较如下:

  ec_p=2&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  ec_p=3&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  从上可以知道ec_p的值就是分页。火车采集设置如下:

post设置分页

 

  注:以上规则设置完,记得点击保存哦。有的页面有id=这样的参数(有的会变,通过源代码查看),一般是[POST随机值x],这里不需要填也可以。

  fiddler下载地址http://pan.baidu.com/s/1gfPOgrL(中文版不用升级)最后链接测试采集如下

链接采集测试
最新收录
  • 启德教育

    启德教育为学子提供一站式出国留学服务,雄厚的国际教育资源优势,提供出国留学、海外留学咨询、留学签证服务、国际学校咨询等留学全产业链优质服务,致力成为”值得信赖的国际教育机构

  • 出国留学网

    出国留学网是中国教育门户网站。出国留学网下设留学、移民、签证、考试、范文、作文等频道,充分满足各类学生对不同类型资讯的需求。同时专注打造权威的工具箱及海内外院校库系统,为学生日常查询提供便利的服务

  • 出国易

    出国易提供留学移民资讯,涵盖留学预警、留学讲座信息、专家答疑、留学院校排名、留学签证指南、留学奖学金资讯、移民资讯、移民项目解读、移民百科、移民生活资讯等

  • 开心一刻笑话集

    开心一刻笑话集提供各种最新段子,经典笑话,幽默笑话,爆笑笑话,冷笑话,笑话大全,祝你开心快来每一天!

  • 吉他世界

    寻找曲谱网站吗?吉他世界汇集了各种风格的吉他谱、钢琴谱及简谱,精品吉他教程、吉他谱单曲速成视频教程,让您畅快地弹奏自己喜欢的歌曲

  • 漫本

    漫本提供精品在线漫画阅读、推荐、评论、排行榜和数据分析。漫本是古惑仔官方发行平台,拥有古惑仔电子版权,目前古惑仔已连载到89话。漫本是华人原创漫画发行平台,也是一个在线漫画的阅读平台。