在初步了解网络爬虫之后，我们接下来就要动手运用Python来爬取网页了。
我们知道，网络爬虫应用一般分为两个步骤：
1.通过网页链接获取内容；
2.对获得的网页内容进行处理
这两个步骤需要分别使用不同的函数库：requests和beautifulsoup4。所以我们要安装这两个第三方库。
我所用的编辑器是 Pycharm，它带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成等。本次安装第三方库是在Pycharm下进行安装的。
Pychram安装第三方库：
安装第三方库有很多方法，我这里用的是Pycharm自带功能进行下载安装：（当然也可以用pip方法进行安装）
打开：File→Settings→Project: cc(这里的文件名是cc)→Project Interpreter ，就会显示你已经安装好的库。
这里我已经安装好了requests和beautifulsoup4库，所以下图显示出来了。
点击“+”，在弹出的搜索框中输入要安装第三方库的名称，例如“requests”。
在弹出的选项中选中需要安装的库后，点击“Install Package”。待下载完成后就安装成功了。
同理，安装beautifulsoup4时，在搜索框里搜索“beautifulsoup4”，进行安装就可以了、
下面介绍一下第三方库：
requests库
requests库是一个简洁且简单的处理HTTP请求的第三方库，它的最大优点是程序编写过程更接近正常URL访问过程。这个库建立在Python语言的urllib3库的基础上，类似这种在其他函数库之上再封装功能、提供更友好函数的方式在Python 语言中十分常见。
requests库支持非常丰富的链接访问功能，包括国际域名和URL获取、HTTP长连接和连接缓存、HTTP会话和Cookie保持、浏览器使用风格的SSL验证、基本的摘要认证、有效的键值对Cookie记录、自动解压缩、自动内容解码、文件分块上传、HTTP(S)代理功能、连接超时处理、流数据下载等。
如何使用requests