python计算机语言在爬虫方面有着非常大的优势,能够导入几个模块,并使用这些模块来爬取我们需要的数据,一般来说,我们要爬取数据之前必须确定我们的浏览器是什么(推荐下载谷歌浏览器),要下载并安装selenium及tld。如下我们将逐一进行下载和安装。
目录
一,下载谷歌浏览器
二,下载chromedriver
三,下载selenium及tld
一,下载谷歌浏览器
Google Chrome 网络浏览器
下载并安装完成之后我们再去查看谷歌浏览器的版本,在浏览器的最上面的搜索栏里面输入
chrome://version/ ,之后出现如下页面内容,显示了我们下载安装的浏览器版本:
二,下载chromedriver
CNPM Binaries Mirror
下载之后就会得到一个zip压缩包:‘
我们将下载后的压缩包解压,得到exe文件
再将这个exe文件放到谷歌浏览器安装的位置,一般谷歌浏览器安装的位置为:
C:\Users\ASUS\AppData\Local\Google\Chrome\Application
最后我们再到环境变量里面编辑系统变量,将谷歌浏览器的安装目录添加进去:
之后我们去使用cmd命令行窗口进行检测chromedriver配置是否完成,可以使用chromedriver --version,如下显示则表示成功:
三,下载selenium及tld
selenium软件不需要我们去额外的打开浏览器,我们只需要在cmd命令行窗口上使用pip3进行下载即可:
C:\Users\ASUS>pip3 install selenium
C:\Users\ASUS>pip3 install tld
如上,相信大家也注意到了在我无论是下载selenium还是tld时,下载之后都会带有后面的黄色字体,来提示pip的版本太低了,我们需要进行升级,并且给出了具体的升级命令:
python -m pip install --upgrade pip
那么我就将它复制并在cmd里面执行:
之后我们可以使用命令pip3 list来查看我们安装的程序有哪些:
我们可以看到selenium以及tld程序都已经下载成功,之后我们就可以使用它们来进行爬虫代码的编写了。
以上就是在Windows本地上可以实现爬虫功能必备的准备。如果有问题请在评论区留言。