百度地图爬虫
工具:Pycharm,win10,Python3.6.4
1.需求分析
上面是我们正常打开百度地图看到的画面,我们只需要在输入框输入我们想查找的东西就能获取到相应信息,今天我们要获取每个地区的养老院的数量。我们随便输入一个地区,如上海徐汇区。
网页中打开开发者选项,就能看到返回的json数据中的total数量。这就是我们要获取的养老院的数量。注意这里是get请求,我们可以看到参数比较多,但是变化的主要是keyword。
2.数据准备
我们要的是全国各城市各个地级市的养老院的数量,所以得事先准备一份excel表,表格内容如下: