爬虫入门基本知识

文章目录

1、什么是爬虫？

爬虫可以帮助我们在互联网上自动的获取数据和信息，本质是一段程序  

2、常见的的数据获取形式

1、 问卷调查
2、购买
3、网上收集（爬虫）

3、爬虫分类

一般分为两类通用爬虫、聚焦爬虫
1、通用爬虫：准守robots协议的爬虫，通常指搜索引擎
2、针对特定网站爬虫，无视robots协议，一般在获取网站数据时用的爬虫就是聚焦爬虫

4、爬虫的流程

发送请求--获取相应--提取数据

5、url的详解

url是统一资源定位符。一般有一下几个部分组成：
scheme://host:port/path/?query-string=xxx#anchor
1、scheme:代表的是访问的协议，一般为http或者https协议
2、host：主机名，域名
3、port:端口号。浏览器默认使用80端口
4、path：查找路径
5、query-string：查询字符串
6、anchor：锚点，前端定位页面

6、 常见的请求头参数

在http协议中，向服务器发送一个请求，数据分为三个部分第一个是把数据放在url中，第二个放在body中，第三个放在head中
1、User-Agent:浏览器名称。在请求一个网页的时候，服务器通过这个参数就可以知道哪种浏览器在访问
2、Referer：表明当前这种请求是从哪个url来的
3、cookie:http协议是无状态。用cookie来标识请求是否是同一个人。

7、 常用的请求方法

1、get：一般适用于只从服务器获取数据，不会对服务器资源产生影响
2、post：向服务器发送数据（登录）等，会对服务器资源产生影响

8、常见的响应状态码

200：请求正常
301：永久重定向（访问不到某个网页会跳转到另一个网页）
302：临时重定向（未登录访问会跳转到登录页面）
400：请求url在服务器上找不到
403：服务器拒绝访问权限不够
500：服务器内部错误