一、爬虫是什么？
爬虫：是一种按照一定的规则，自动地抓取万维网,信息的程序或者脚本。使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
1.QuickRecon
QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、Perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写，支持linux和 windows操作系统
授权协议： GPLv3
开发语言： Python
操作系统： Windows Linux
擅长：查找子域名名称、收集电子邮件地址并寻找人际关系等功能
2.Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～
授权协议： BSD
开发语言： Python
操作系统： 跨平台
github源代码
擅长：Twisted的异步处理框架，文档齐全
3.Methabot
Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。
授权协议： 未知
开发语言： C/C++
操作系统： Windows Linux
擅长：过速度优化、可抓取WEB、FTP及本地文件系统
源代码链接
4.Sinawler
国内第一个针对微博数据的爬虫程序！原名“微博爬虫”。
登录后，可以用户为起点，以该用户的关注人、粉丝为线索，关系搜集用户基本信息、微博数据、评论数据。
擅长：界面上提供参数设置，灵活方便
对爬虫控制，可随时暂停、继续、停止爬虫
授权协议： GPLv3
开发语言： C# .NET
操作系统： Windows
5.网络矿工
网站数据采集软件 网络矿工采集器（原soukey采摘）
Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供
擅长：功能丰富
授权协议： BSD
开发语言： C# .NET
操作系统： Windows
6.ThinkUp
ThinkUp 是一个可以采集推特，facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。
授权协议： GPL
开发语言： PHP
操作系统： 跨平台
github源码
擅长：采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现
7.微购
微购社会化购物系统是一款基于ThinkPHP框架开发的开源的购物分享系统，同时它也是一套针对站长、开源的的淘宝客网站程序，它整合了淘宝、天猫、淘宝客等300多家商品数据采集接口，为广大的淘宝客站长提供傻瓜式淘客建站服务，会HTML就会做程序模板，免费开放下载，是广大淘客站长的首选。
演示网址
授权协议： GPL
开发语言： PHP
操作系统： 跨平台