联系QQ:3490313997
网站建设

火车采集器网站分页网址不变获取规则

时间:2021-12-01 09:21:41

  在采集列表分页内容的时候,会发现有的列表分页,点击第二页、第三页(或下一页)时,列表的页面信息有变化,但是浏览器上网址却不变。这种信息在页面是看不到的,一般要通过fiddler抓包工具抓包分析,即通过火车采集器post方式分页采集。

  以下用这个网址来测试http://www.yidianda.com/category/three/1-7-24.html 这个网址有3页,链接都是相同的。

  1、先通过源代码找到这个页面的开始标签和结束标签,页面开始是1/3页,结束是下一页>到第页。如下通过源代码可找到:

文章开始

 

  

结束文章

 

  

规则设置

 

  2、打开fiddler抓包工具,分别点击第2页和第3页,看看分别获取了哪些信息。当获取完一个页面后,先按下键盘F12暂停,提取信息。不然的话fiddler会继续抓取信息、信息多的话不好查找。

fiddler抓包1

 

  

fiddler抓包2

 

  由于图片比较不好查找,通过点击fiddler上的“View in Notepad”提取出来进行比较如下:

  ec_p=2&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  ec_p=3&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  从上可以知道ec_p的值就是分页。火车采集设置如下:

post设置分页

 

  注:以上规则设置完,记得点击保存哦。有的页面有id=这样的参数(有的会变,通过源代码查看),一般是[POST随机值x],这里不需要填也可以。

  fiddler下载地址http://pan.baidu.com/s/1gfPOgrL(中文版不用升级)最后链接测试采集如下

链接采集测试
最新收录
  • 麦田音乐网

    用音乐和文字温暖生活,微信公众号“麦音乐”。小众音乐、有声电台、独立音乐、民谣、摇滚、爵士、欧美音乐、轻音乐。推荐最好的音乐,不管它是什么类型

  • 中国人寿保险

    中国人寿保险集团公司是涵盖寿险,财产险,养老险,意外险,健康保险,旅游保险,资产管理,另类投资,海外业务等多个领域的国内最大商业保险集团

  • 清风DJ音乐网

    清风DJ音乐网精品DJ舞曲汇聚,每天更新快人一步,专业DJ团队精心制作好听的串烧,打造车载DJ舞曲,为DJ工作者收录国外DJ舞曲,提供高音质在线试听及MP3下载,全方位满足DJ工作者及音乐爱好者的需求

  • 爱给网

    中国最大的数字娱乐免费素材下载网站,免费提供免费的音效配乐|3D模型|视频|游戏素材资源下载

  • 慧算账

    慧算账工商财税服务平台,专业代理公司注册、代理记账及税收筹划。采用团队对1服务模式,为中小企业提供优质的公司注册、代理记账报税、纳税筹划及公司注销等公司发展全周期服务

  • 400电话

    400电话首选易号网(www.400.cn),企业400电话申请办理中心,三大运营商渠道专业受理,确保400电话开通迅速,售后服务完善。