火车头采集器多页规则怎么写

1.如何写火车头采集器的采集规则,采集页面上图片内的文字

不得不说火车头是有一定用处,但是个人觉得不怎么好用,光是写那些采集规则,设定什么的就一大堆不明不白的东西。拿钱购买嘛,一开始那客服还很热情的为你解答,一交完钱买下来了,写规则,好了,有问题要找客服解决,结果一拖再拖,弄了一个多月还没弄好,整个网站的工作进程全拖慢了,还不如自己辛苦点自己手动写文章,还采集啥啊~

言归正传,火车头使用:新建站点—>;新建任务—>;填写你要采集的网站文章列表—>;点下面的开始测试网址—>;如果有采集到很多文章,看各个地址相同部分(如system/2012/03/07),点返回修改,把system/2012/03/07这部分加到“文章内容必须包含”那里,再测试一下,就可以采集到3月7日的文章地址了—>;前面准备好网址后接下来就是第二步的采集内容规则了,点第二步,设定标签,一般采集包括标题<title></title>;、关键字<meta name=keyword。>;、内容<div>。</div>;,这些设置从你要采集的网站代码上可以找到相应的——>;采集页面上的图片,在第四步,“文件保存及高级设置”,选择所有文件本地保存文件夹(这里是从页面下载图片存放的位置),然后下面有个FTP同步文件上传的,填好服务器、用户名、密码什么的,文件上传根目录就是你网站服务器放置图片的文件夹位置,你可以在服务器新建一个文件夹试试看,OK!到此为止,不过有一些网站写了反采集代码,有可能会被封IP,整体来说,个人不提倡使用火车头采集器,还不如个人手动来得实在,就算一天少发点也行,只要保证每天更新量、伪原创和原创,一样有很大效果。

2.飞飞火车头采集器怎么写发布规则

1 首先讲一讲网站结构,通常网站结构为树形结构,一个网站主要包以下几种页面:首页、栏目页、文章页,其结构如下图。

其次讲一讲火车头采集原理,火车头的运行需要一套规则来指定该如何采集所需数据,即需要编写火车头采集规则,编写采集规则也是新手最头痛的问题。火车头采集器通常通过网址抓取网站返回的源代码,然后在源代码中提取需要的信息。

因此,采集数据需要先采集网址,然后再采集数据。2 下面开始编写采集规则:运行LocoyPlatform.exe3 在左侧“任务列表树”选择一个分组点击右键,选择“新建任务”弹出新建任务对话框。

填写任务名,网站编码一般选择自动即可。添加起始网址 填写“第一步:采集网址规则”这里需要按照网站的树形结构逐级获取下一级结构的网址,直至获取到内容页的网址。

先填写起始网址,通常为目标站首页地址。点击“添加”,在单条网址处填上火车头博客的首页地址,然后依次点击“添加” ->“完成”。

编写“多级网址获取”规则 这里需要先在起始地址页面找到所有需要采集的栏目页的代码区域,先查看起始页地址的源码,找到如图所示代码区域:点击右侧“添加”按钮打开“添加多级网址采集规则”,选择“从页面自动分析得到地址链接”单选按钮,在下面“从该选定区域中提取网址”,“从”(左侧)文本框填上栏目地址代码区域开始之前的标志性代码(要保证其在该页的唯一性),“到”右侧文本框填上栏目地址代码区域结束之后的标志性代码,在“结果网址过滤”的“必须包含”和“不得包含”文本框填上相应代码,如果该区域没有多余的链接不需要过滤,可以不填,这里的栏目页网址必须包含“category-”。然后点击“保存”返回。

现在需要获取内容页的地址。先打开栏目页查看源码,查找内容页地址存在的区域及地址规律。

按照上一步的方法先填写内容页所在区域的起始和结束标志性代码,然后分析这个区域中包含的链接与我们说需要的内容页地址链接规律,添加过滤代码。这里起始代码为“<!--显示-->”,结束代码为“page" style="float:right">”过滤代码为必须包含“read-”不得包含“#”。

如图:需要注意的是这里文章比较多会有很多分页,所以需要填写“列表分页获取”规则。通常只需要指定分页代码的区域,如有必要可以填写“组合生成列表页分页”规则。

这里的列表分页规则其实代码为“

  • ”,结束代码为“title="下一页">”。如果勾选“自动识别分页”的话,会自动提取a标签的href属性,如果不勾选自动识别的话,需要填写组合生成列表页分页”规则。

    然后保存返回,可以通过“测试网址采集”来测试规则是否正确,不正确可以返回修改规则,正确的话可以开始编写“第二步采集内容规则”。编写“第二步采集内容规则” 先打开内容页以及内容页的源码,找到需要提取的信息的前后代码特征。

    以提取标题和内容为例。首先复制文章标题,然后在源码中查看该标题出现的几处地方,找一处前后代码在每一篇文章都一样的地方,该例共出现了3处,第二处的代码没有其他干扰代码。

    点击“添加”,标签名填“标题”,提取数据方式选择前后截取,前后代码分别为“

    ”和“

    ”。如果采集的内容需要作进一步处理(如替换删除编码转换过滤html等),在下方“数据处理”点击添加填写相应规则。

    再添加一个标签,标签名为“内容”,按照上述方法填写内容的前后代码片段,需要注意的是,前后代码片段最好不要出现不完整的标签(如:“”,一个完整的标签应该是以“<”开始,以“>”结束,如果<>之间的内容在各个内容页有一部分不一样,将不一样的部分用(*)代替即可),否则提取的内容会包含部分不完整的标签。通常正文包含的HTML会比较多,可以添加HTML过滤功能,建议仅保留段落(p)、图片(img)、换行(br)等标签。

    测试内容采集规则 保存规则后返回采集内容规则页面,在右侧“规则测试”的典型页面文本框填上一个内容页的地址,然后点击测试,如果下面显示到的内容符合预期说明可以了,如果未获取到内容或者获取到内容不正确,返回检查并修改规则。开始采集 选择要采集的任务规则,勾选“采网址”和“采内容”复选框,点击工具栏“开始”按钮。

    后续工作 采集到的数据保存在数据库,可以通过在任务名上点右键,选择“打开DATA下任务文件夹”打开数据库所在位置,该数据库可以通过ACCESS打开和编辑。如果想要重新采集,需要通过右键选择“清空该任务网址库”和“清空任务所有采集数据”。

    3.火车头采集规则,如果在列表页里面有多个参数,应该如何设置开始

    试了下,火车头确实不行,因为它起始网址的参数就一个*,没法对两个动态的数据描述。

    那不妨换个角度来思考,为什么不把这些网址变成1级网址让火车头以采集的方式把它采集出来呢。比如//i.html?_pgn=2&_skc=50&rt=nc把这个设置为起始网址(0级网址),那么你在设置采集网址的1级网址。而//i.html?_pgn=2&_skc=50&rt=nc这个页面肯定会有下一页,那么下一页的网址应该就是://i.html?_pgn=3&_skc=100&rt=nc,这个页面的下一页的网址就是//i.html?_pgn=4&_skc=150&rt=nc,依次类推,层层采集,最终会把你要得网址采集完。那么可能会问起始网址就一个,怎么会采集到那么多的“下一页”呢,这个可以用分页的效果来实现,因为你设置好了分页,火车头就会自动跳到下一页去采集,分页的功能就把一个起始网址扩展出N个起始网址了!

    4.火车头采集怎么设置采集网址规则啊

    “我采集一个网页的地址,起始找的是一个层,终止也找了一个层 这样不行啊。如果没有数字的网址怎么采集呢!如某个网址是list_50.html 。上图 才。 ”

    ----------------------------

    有些网站的列表页翻页参数中,第一个参数是无效的,利用数值变化就无法访问列表页的第一页。

    我不知道在火车头里面怎样解决这个问题的。在熊猫采集里面是可以忽略这个问题的,只需要鼠标选择列表页中指向下一页的链接,就能翻页访问。因为熊猫使用的是机器训练的采集设置方式。不需要用户手工设置这些。

    少数没有下一页的列表页中,遇到这种情况,可以使用参数列表方式解决。你可以在火车采集器里面找找是否有“参数列表”的翻页方式。

    有些采集软件中,可以直接同时输入多个列表页地址。这样也就不必去设置翻页参数,也很简单。熊猫中不支持这种方式,不知道火车采集器是否支持。如果支持,你可以直接输入多个列表页地址,换行区分即可。

    火车头采集器多页规则怎么写

    转载请注明出处育才学习网 » 火车头采集器多页规则怎么写

  • 知识

    塞文的英文怎么写

    阅读(273)

    本文主要为您介绍塞文的英文怎么写,内容包括"塞文河"的英文怎么写,"塞文河"的英文怎么写,“埃文河”英文怎么写。魔女的英文:Witch词汇解析witch读音:英 [wɪtʃ] 美 [wɪtʃ] 意思:n. 巫婆,女巫,魔女;vt. 迷惑;施巫术第三

    知识

    黏字的田字格怎么写

    阅读(254)

    本文主要为您介绍黏字的田字格怎么写,内容包括样字的田字格怎么写,“写”字的田字格怎么写,地字的田字格怎么写。

    知识

    家人有病请长假怎么写

    阅读(208)

    本文主要为您介绍家人有病请长假怎么写,内容包括生病的请长假怎么写,怎样写家人生病需休假申请书,因身体有病请长假的申请怎样写。尊敬的领导:您好!由于我生病,无法坚持继续上班,需要请假______天,请批准!谢谢!此致敬礼请假人:_________________

    知识

    大写的两万元收据怎么写

    阅读(295)

    本文主要为您介绍大写的两万元收据怎么写,内容包括收据大写怎么写,金额大写零点贰万元和小写0.2万元怎么写在收款收据上,收条中的两万大写怎么写是两万还是贰万。收据中文大写金额数字应用正楷或行书填写,如壹(壹)、贰(贰)、叁、肆(肆)、伍(伍)、陆(

    知识

    15格毛笔字怎么写

    阅读(256)

    本文主要为您介绍15格毛笔字怎么写,内容包括如何写15格毛笔字的作品,用15个格的毛笔字纸怎样写古诗和落款,用15个格的毛笔字纸怎样写古诗和落款。先写大点,写在毛边纸(3*5)上,然后慢慢练吧,独个字独个字的练,然后再串起来,一气呵成。之后就试着写

    知识

    仓库账物不符整改报告怎么写

    阅读(865)

    本文主要为您介绍仓库账物不符整改报告怎么写,内容包括写仓库盘点报告,实物与账面不符的报告,怎么写,写仓库盘点报告,实物与账面不符的报告,怎么写,关于仓库账物不相符的处理急。应该将盘点的结果公布一下,加上对盘亏做个检讨,给出后续预防措

    知识

    关于五星红旗章怎么写200字左右

    阅读(2007)

    本文主要为您介绍关于五星红旗章怎么写200字左右,内容包括关于五星红旗的作文怎么写,五星红旗章争章日记五年级,五星红旗章一年级理念100字。十月的金秋硕果累累,十月的欢歌声声不断, 十月的花开万紫千红,十月的江河澎湃壮观。 今年的十月,是中

    知识

    怎么写班会简讯

    阅读(194)

    本文主要为您介绍怎么写班会简讯,内容包括如何写活动简讯,活动简讯怎么写,大一新生心理主题班会的简讯如何写。首先,要了解简讯的定义:在新闻中,简讯是动态消息的一种形式,又称短讯、简明消息。一般只有百字左右,甚至只有十几个字,通常不超过200

    知识

    郑州万方科技学院快递地址怎么写

    阅读(189)

    本文主要为您介绍郑州万方科技学院快递地址怎么写,内容包括把东西寄到万方科技学院郑州校区地址怎么写才能寄到、,如果往河南理工大学万方科技学院郑州校区邮寄东西地址怎么写啊,我想从濮阳发快递到河南理工大学万方科技学院郑州校区,什么

    知识

    安装天然气申请书怎么写

    阅读(224)

    本文主要为您介绍安装天然气申请书怎么写,内容包括开通天然气的申请书怎么写,怎样写安装天然气申请书,怎样写安装天然气申请书。写清楚详细用地地址,用户姓名、所用燃气灶的小时用气量,然后递交给燃气公司。不过燃气公司一般都应该有格式表单

    知识

    吴雨桐草书怎么写

    阅读(217)

    本文主要为您介绍吴雨桐草书怎么写,内容包括(潘永刚)草书怎么写,张先森草书怎么写,肖郑华草书怎么写。张先森

    知识

    小时候想成你作文该怎么写

    阅读(229)

    本文主要为您介绍小时候想成你作文该怎么写,内容包括《长大后我就成了你》作文怎么写,长大后我将成为你作文怎样写,长大后就成了你这篇作文怎么写。每当被问起最喜欢的歌曲时,我总会给出一个让同伴吃惊的答案,因为我心中的那首歌无关周杰伦、

    知识

    与人良善繁体字怎么写

    阅读(185)

    本文主要为您介绍与人良善繁体字怎么写,内容包括良的繁体字怎么写,善字的繁体字怎么写,良字的繁体怎么写。

    知识

    qiu水的qiu怎么写二声

    阅读(209)

    本文主要为您介绍qiu水的qiu怎么写二声,内容包括qiu水qiu是二声qiu水,qiu水qiu是二声qiu水,qiu水,,,,,,,,,,,,qiu怎么写。qiú(56)仇4叴5芁5扏5囚5犰5玌5朹6肍6汓6虬7求7虬8泅8俅9訄9訅9酋9觓9釚10唒10莍10逑10逎10浗10紌10球1

    知识

    核价单中的计算规则怎么写

    阅读(208)

    本文主要为您介绍核价单中的计算规则怎么写,内容包括业务员一定要看清楚核价单中利润和销售利润率的计算方法的公式是否,入库单上合计金额如何填写,请问这个价格清单的说明怎么写啊。根据定额的工程量乘以人材机的单价,得出总价,然后用总价分

    知识

    岗位规则怎么写

    阅读(223)

    本文主要为您介绍岗位规则怎么写,内容包括职位要求怎么写,岗位要求怎么写,岗位素质和要求怎么写。岗位素质要求是人力资源根据这个岗位的素质标准要求所提供的人员能够胜任这个岗位的最基本条件。不同的岗位素质要求也是不一样的,例如酒店的

    知识

    顺规则散光验光怎么写

    阅读(258)

    本文主要为您介绍顺规则散光验光怎么写,内容包括怎样区分规则散光和不规则散光,如何知道逆规散光还是顺规散光,请看下这个是规则散光还是不规则散光。1.规则散光:角膜和晶状体表面曲率不等,但有一定规律,存在最强和最弱的互相垂直的两条主要经

    知识

    怎么写培养大一班孩子的规则意识

    阅读(234)

    本文主要为您介绍怎么写培养大一班孩子的规则意识,内容包括如何培养大班幼儿良好的规则意识,如何培养大班幼儿的规则意识,怎样培养幼儿的规则意识。幼儿阶段是社会性和各种能力迅速发展的阶段。因此在幼儿期对他们进行学习能力以及规则意识

    知识

    游戏规则蓝若云是怎么写

    阅读(243)

    本文主要为您介绍游戏规则蓝若云是怎么写,内容包括游戏规则方杰父亲,陆军旗的游戏规则,游戏规则方杰父亲。游戏规则剧情简介 李子豪与方杰历经多次血雨腥风,逐渐成为生死兄弟。不料,方杰爱慕已久的对象唐先生的爱女唐芊芊,却对李子豪一见钟情,

    知识

    遵守交通规则的青协策划案怎么写

    阅读(243)

    本文主要为您介绍遵守交通规则的青协策划案怎么写,内容包括青协计划书怎么写,青协计划书怎么写青协计划书怎么写,我想为学校的青协搞个活动并出一份策划书.请问有什么好的活动内容。内容有环保、法制宣传、义务献血、进社区、去敬老院、福

    知识

    公众号规则名怎么写

    阅读(212)

    本文主要为您介绍公众号规则名怎么写,内容包括微信公众平台规则名是什么意思,微信公众平台规则名是什么意思,微信公众号关键词自动回复的规则名怎么写用户截图后公众号自动回。规则名就是给此条关键词自定义回复内容起个名称,方便用户管理。

    知识

    比赛投票规则怎么写

    阅读(269)

    本文主要为您介绍比赛投票规则怎么写,内容包括评选优秀员工,投票规则怎么写,人大时,代表投票规则是怎样的,投票选举的规则。评选优秀实际上是对单位勤奋工作的同事的肯定和鼓励,有利于单位优秀人才的脱颖而出。要确保评选结果的公正性、公平

    [/e:loop]