python爬虫之通用爬虫和聚焦爬虫

python爬虫之通用爬虫和聚焦爬虫

1. 通用爬虫

1.1 定义

搜索引擎的爬虫系统；把互联网的网页下载来，放在本地服务器，形成备份，再对这些数据进行处理，提取关键字去广告的，并向用户提供接口。(比如百度快照，百度快照不能爬取文字类相关内容，不能爬取图片)。

1.2 抓取流程：

选取已有的url，并放到爬取队列中。
从队列中取出url，解析DNS得到主机IP；
去主机IP对应的服务器下载HTML页面，保存到搜索引擎的本地数据库中。并把已爬取的url放进已爬取队列中。
分析网页内容，找到网页中的url连接，继续执行第二步，直到没有url可以爬。

1.3 搜索引擎如何获取一个新网站的url:

主动向搜索引擎提供一个网址。

在其它网页中设计外链

搜索引擎会和DNS服务商进行合作，可以快速收录新的网站。

1.4 Robots协议

Robots.txt并不是所有爬虫都遵守，一般只有大型的搜索引擎会遵守。个人写的爬虫可以不用管。

1.5 通用爬虫工作流程

爬取网页
存储数据
内容处理
提供检索/排名服务(百度的竞价排名)

2 聚焦爬虫

2.1 出现的必然

通用爬虫只能爬取文字相关爬虫，不提供多问题文件，如视频，音频，图片等。且爬虫内容千篇一律，不能针对不同背景人提供特定结果。且不能理解人类语义上的检索。

2.2 定义

聚焦爬虫针对某种内容的爬虫。也可以被称为面向主题/需求爬虫，针对某个特定的内容进行爬虫，会保证需求和爬取内容息息相关。