当前位置:AIGC资讯 > 数据采集 > 正文

Python013--爬虫01(工具准备)

 python计算机语言在爬虫方面有着非常大的优势,能够导入几个模块,并使用这些模块来爬取我们需要的数据,一般来说,我们要爬取数据之前必须确定我们的浏览器是什么(推荐下载谷歌浏览器),要下载并安装selenium及tld。如下我们将逐一进行下载和安装。

目录

一,下载谷歌浏览器

 二,下载chromedriver

 三,下载selenium及tld

一,下载谷歌浏览器

Google Chrome 网络浏览器

 下载并安装完成之后我们再去查看谷歌浏览器的版本,在浏览器的最上面的搜索栏里面输入

chrome://version/  ,之后出现如下页面内容,显示了我们下载安装的浏览器版本:

 二,下载chromedriver

CNPM Binaries Mirror

下载之后就会得到一个zip压缩包:‘

 我们将下载后的压缩包解压,得到exe文件

再将这个exe文件放到谷歌浏览器安装的位置,一般谷歌浏览器安装的位置为:

C:\Users\ASUS\AppData\Local\Google\Chrome\Application

 最后我们再到环境变量里面编辑系统变量,将谷歌浏览器的安装目录添加进去:

 之后我们去使用cmd命令行窗口进行检测chromedriver配置是否完成,可以使用chromedriver --version,如下显示则表示成功:

 三,下载selenium及tld

selenium软件不需要我们去额外的打开浏览器,我们只需要在cmd命令行窗口上使用pip3进行下载即可:

C:\Users\ASUS>pip3 install selenium
C:\Users\ASUS>pip3 install tld

如上,相信大家也注意到了在我无论是下载selenium还是tld时,下载之后都会带有后面的黄色字体,来提示pip的版本太低了,我们需要进行升级,并且给出了具体的升级命令:

python -m pip install --upgrade pip

那么我就将它复制并在cmd里面执行:

 之后我们可以使用命令pip3 list来查看我们安装的程序有哪些:

 我们可以看到selenium以及tld程序都已经下载成功,之后我们就可以使用它们来进行爬虫代码的编写了。

以上就是在Windows本地上可以实现爬虫功能必备的准备。如果有问题请在评论区留言。

更新时间 2023-11-08