网络爬虫实验报告

1. 网络爬虫怎么写

网络爬虫怎么写

1. 如何自己写一个网络爬虫

网络爬虫以叫网络蜘蛛，网络机器人，这是一个程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。

从技相来说，实现抓取网页可能并不是一件很困难的事情，困难的事情是对网页的分析和整理，那是一件需要有轻量智能，需要大量数学计算的程序才能做的事情。下面一个简单的流程：

在这里，我们只是说一下如何写一个网页抓取程序。

首先我们先看一下，如何使用命令行的方式来找开网页。

telnet somesite.com 80

GET /index.html HTTP/1.0

按回车两次

使用telnet就是告诉你其实这是一个socket的技术，并且使用HTTP的协议，如GET方法来获得网页，当然，接下来的事你就需要解析HTML文法，甚至还需要解析Javascript，因为现在的网页使用Ajax的越来越多了，而很多网页内容都是通过Ajax技术加载的，因为，只是简单地解析HTML文件在未来会远远不够。当然，在这里，只是展示一个非常简单的抓取，简单到只能做为一个例子，下面这个示例的伪代码：

取网页for each 链接 in 当前网页所有的链接{ if（如果本链接是我们想要的 || 这个链接从未访问过） { 处理对本链接把本链接设置为已访问 }}

require “rubygems”require “mechanize”class Crawler

2. 用python写网络爬虫书怎么样

用python写网络爬虫书怎么样

爬虫的重点是在Python之外的。确切说是一些前端和部分后端技术（cookie之类的）以及一些HTTP协议相关知识。

而对于python而言，只是获取内容（HTTP请求）和文本处理（抓内容），基本上看俩模块文档看几个框架文档都够用了。

至于更高级的，比如挂phatomjs之类，主要工作都在于js而不是python了。

所以基本上你搜到的买到的教程，大都落伍了，既赶不上前端的发展，也赶不上python模块的演进。

3. 什么是网络爬虫以及怎么做它

网络爬虫：是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

4. 各种语言写网络爬虫有什么优点缺点

其实都是多线程调度的问题

理论上应该是用汇编语言写最好，不过最复杂，其次应该是OC语言写，因为苹果是高度软硬件结合的，里面的GCD是根据苹果电脑量身定做的，所以用OC写网络爬虫，理论上速度可以很快也可以充分发挥电脑的性能。然后是C与C++，好像可以调度显卡OPENGL的接口，可以做到很高程度的并发任务，最后是其他语言。。。大多都是高级语言，如C#是基于C++的，越高级语言写起来越方便，但是运行效率就越低。但是苹果的SWIFT例外吧，毕竟这货是根据苹果系统硬件量身定做的，跟C#、java这些不同，比方说java是为了做到一次编码、到处运行的语言，所以说必须制定一些标准出来给硬件、系统等适应，这些标准不可能追求性能，因为要顾及到性价比，不可能每个人都能用最顶级的CPU、内存等，所以必须做出妥协，一妥协性能就很难追上来了。

所以可以这样说，爬虫，性能越好，语言、复杂度就越难，因此排名应该是

1、汇编

2、Object-C

3、C与C++

4、其他语言

而swift介于2与3之间。