联系QQ:3490313997
网站建设

火车采集器网站分页网址不变获取规则

时间:2021-12-01 09:21:41

  在采集列表分页内容的时候,会发现有的列表分页,点击第二页、第三页(或下一页)时,列表的页面信息有变化,但是浏览器上网址却不变。这种信息在页面是看不到的,一般要通过fiddler抓包工具抓包分析,即通过火车采集器post方式分页采集。

  以下用这个网址来测试http://www.yidianda.com/category/three/1-7-24.html 这个网址有3页,链接都是相同的。

  1、先通过源代码找到这个页面的开始标签和结束标签,页面开始是1/3页,结束是下一页>到第页。如下通过源代码可找到:

文章开始

 

  

结束文章

 

  

规则设置

 

  2、打开fiddler抓包工具,分别点击第2页和第3页,看看分别获取了哪些信息。当获取完一个页面后,先按下键盘F12暂停,提取信息。不然的话fiddler会继续抓取信息、信息多的话不好查找。

fiddler抓包1

 

  

fiddler抓包2

 

  由于图片比较不好查找,通过点击fiddler上的“View in Notepad”提取出来进行比较如下:

  ec_p=2&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  ec_p=3&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

  从上可以知道ec_p的值就是分页。火车采集设置如下:

post设置分页

 

  注:以上规则设置完,记得点击保存哦。有的页面有id=这样的参数(有的会变,通过源代码查看),一般是[POST随机值x],这里不需要填也可以。

  fiddler下载地址http://pan.baidu.com/s/1gfPOgrL(中文版不用升级)最后链接测试采集如下

链接采集测试
最新收录
  • 花木网-花木在线交易专业平台

    苗木网,花木网在线交易专业平台,致力于为花木行业从业者提供更真实的花木在线交易平台,让您没有买不到的,没有卖不掉的。

  • 苗木批发网

    【品种齐全】✔数百种品种供应✔各种规格应有尽有✔自营千亩基地【一站服务】✔可先装车后付款✔现场指树挖树✔签合同拒绝坐地起价【质量保障】✔确保成活率✔正规公司手续✔从业十年无一差评

  • 青青花木网

    青青花木网,网上花木市场,花卉苗木行业网络交易平台。提供绿化苗木基地、苗木求购信息、园林资讯、园林绿化工程招投标、园林苗木交流社区等,花木信息天天更新。

  • 优弗留学

    优弗留学提供本科美国留学咨询、研究生美国留学咨询、海外顾问文书创作,名校招生官把关且可随时预约视频;是第一家只专注美国前50名校申请的高端留学机构,是第一家筛选学生的美国留学中介。目前在中国只有北京和上海开设机构。

  • 广州朗阁教育

    广州朗阁教育专注雅思,托福,sat,gre,gmat等出国语言考试培训,更有国际留学等多种项目,新托福等海外考试的*,VIP1V1,口语,听力,阅读,写作等培训课程,全面*英语综合能力水平。

  • 新东方前途出国

    新东方前途出国是专业的出国留学中介机构,主要提供优质留学咨询服务,帮助有出国留学意向的学生及家长进行留学申请要求、择校、留学生活等留学全方位知识的了解.主要业务包括:名校申请、奖学金申请、国际合作、签证服务,涵盖传统留学咨询、职业规划、签证申请、海外培训等多项服务。