代理加盟 2019全新代理计划 赚钱+省钱双管齐下,独立平台,丰厚利润!

您现在的位置: 江西时时彩app下载 > 织梦大学 > ??椴寮?/a> >

时时开奖号码:火车头列表页分页采集获取案例

来源:未知 发布时间:2019-01-08热度: ℃我要评论
对于设置列表分页,下图设置是最常见也是最常用的。 现在教大家另外一个获取分页的办法,就是通过列表页分页采集获取功能来自动获取分页。 使用这个功能,起始页就只需要把首页地址添加进去就...

江西时时彩app下载 www.p42ci.com.cn

对于设置列表分页,下图设置是最常见也是最常用的。

clip_image004

现在教大家另外一个获取分页的办法,就是通过列表页分页采集获取功能来自动获取分页。

使用这个功能,起始页就只需要把首页地址添加进去就可以了如下图:

clip_image006

分页设置是在 “多级网址获取”里的“列表分页获取”如下图:

clip_image008

上图“从该区域中提取列表分页网址”这里就是找到源代码里面分页开始和结束,中间包含的地址就分页地址。

对于那种分页全部列出来的,设置好这一步就可以了,但是很多情况下分页都不是完全列出来的,中间会有省略号代替如下图:

clip_image010

现在针对全部列出,和不是全部列出这2种情况,做一个都适用的设置,我一直都是用这种方式获取,几乎解决所有的网站。

我们重要的是要找到当前页源代码的特点。我是用//news.qq.com/newsgn/zhxw/shizhengxinwen.htm 这个列表页来做说明的。

我们看下第一页分页源代码的情况如下图:

clip_image012

再看下第二页源代码的情况如下图:

clip_image014

然后我们不再一页一页看随便看一页,查看源代码我这里选第五页如下图:

clip_image016

通过红色标注,大家看到规律了没有?当前页都是<strong></strong>这个代码后面紧接着一个<a >就是下一页地址。

也就是说我们是要通过当前页获取下一页,这样一级一级的向下获取,直至把所有分页获取到。

那么放到采集器里面的表示就是从<div class="pageNav">开始,中间我不管是什么用(*)表示,然后遇到第一个<strong>(*)strong>,因为页码也是变化的所以中间我用(*)表示变化的。
然后到再到第一次出现</a> 做为结束,中间包含的就是下一页地址。

而且分页地址也有一个规律<a href="//news.qq.com/newsgn/zhxw/shizhengxinwen_6.htm"> 变化的是页码数字,变化的用参数来替代,其他是不变化的,那么我们只要获取变化

的就可以了。

原理就是这样,在我遇到的分页都是有这样的规律的,源代码肯定是不一样的,但是规律是一样的,大家要会举一反三,不要死脑筋。这里告诉的是方法?。。?!

写到采集器里面如下图:

clip_image018

我们可以通过上图“最多获取分页数”来设置要获取多少页,0为全部获取。

右侧“组合生成列表页分页”我们做了设置的,上图的“自动识别分页”就不需要勾选了。最好不要勾选,有时候会出错。

我上面的截图都是勾选上的,默认是勾选的,设置好规则了,就把这个勾选取消。

本文地址://www.p42ci.com.cn/dedecms_mk/1068.html

    相关阅读

    发表评论

    评论列表(条)

    • “2018时光音乐节”落地青岛莱西 胶东半岛最大规模音乐嘉年华 有限公司 莱西 2019-05-25
    • 今年民歌节预计将有8000人前往 周边停车泊位有限 2019-05-25
    • 致父亲——习近平与父亲的家国情 2019-05-24
    • 中央纪委紧盯节点 4年来通报曝光问题近4000起 2019-05-24
    • 历时16年,12名四川专家踏遍川陕甘寻大熊猫野生种群复壮密码 2019-05-24
    • “我和党报党网有个约会”在线征集活动作品要求 2019-05-24
    • 日媒称“森友丑闻”持续发酵 打乱安倍长期执政设想 2019-05-23
    • 看你这么可怜,再提示你一下:你重孙算1,父母为2,父母的父母为4,父母的父母的父母为8…… 2019-05-23
    • 阿富汗:巴基斯坦塔利班头目死于美军空袭 2019-05-23
    • 【新时代 新作为 新篇章】构建全域旅游新格局 2019-05-22
    • 和顺“四个不放过”严查隐患 2019-05-22
    • 朱永新:民进尽最大努力参与到脱贫攻坚的伟大实践中 2019-05-22
    • 浦东新区:探索人民调解专业化 2019-05-21
    • 这个帖子,本人已经驳斥多次了。共产主义不是不能实行按劳分配,而是不需要实行按劳分配。共产主义时代,产品极大丰富,所以实行按劳分配是多余的,好比脱裤子放屁!... 2019-05-21
    • 【学习时刻】韩振峰:继续写好中国特色社会主义这篇“大文章” 2019-05-21
    • 133| 650| 784| 964| 978| 359| 932| 339| 369| 26|