文章目录
一. 认识网络爬虫 二. 网络爬虫的组成 三. 网络爬虫的类型 1. 通用网络爬虫 2. 聚焦网络爬虫 3. 增量式网络爬虫 4. 深层网络爬虫 （1）静态网页 （2）深层页面和表层页面 （3）网络爬虫表单填写 四. 网络爬虫的用途一. 认识网络爬虫
说起网络爬虫，人们常常会用这样一个比喻：如果把互联网比喻成一张网，那么网络爬虫就可以认为是一个在网上爬来爬去的小虫子，它通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有网页都抓取完为止。
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化列兰网络中的信息，当然浏览信息的时候需要按照我们制定的规则