1、爬虫在使用场景中的分类
（1）通用爬虫：抓取系统重要组成部分。爬取的是一整张页面数据
（2）聚焦爬虫：是建立在通用爬虫的基础之上。爬取的是页面中特定的局部内容
（3）增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据
2、反爬
反爬机制：门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网
3、robots.txt协议
君子协议。明确规定了网站中哪些数据可以被爬虫哪些数据不可以被爬取。
eg：搜索www.taobao.com./robots.txt可以查到到淘宝网站的robots协议
allow里面可以爬取，unallow里面不可以爬取
4、http协议
概念：就是服务器和客户端进行数据 交互的一种形式。
（1）常用请求头信息
User-Agent:请求载体的身份标识
Connection:请求完毕后，是断开连接还是保持连接
（2）常用相应头信息
Content-Type:服务器响应客户端的数据类型
5、https协议
安全的超文本传输协议
（1）加密方式
对称密钥加密。安全隐患：传输过程中被机构拦截
非对称密钥加密。（私钥、公钥）解决了上面安全隐患
证书密钥加密。