当前位置:AIGC资讯 > 数据采集 > 正文

大众点评超详细爬虫系列2

大家期待的大众点评系列终于更新啦!!

在上一节中我们了解到了使用xpath或者css选择器来对我们想要的类目对应的节点元素进行定位,并且已经成功获取到了我们想要的一级类目名称,以及所对应的url链接;

那我们接下来是不是就想要获取第二类目的名称和其对应的链接呢,拿大众点评运动健身类目来说,它对应的链接是‘‘https://www.dianping.com/dongguan/ch45/g147’’,我们是不是就可以用这个url链接来作为下一级页面的起始链接呢,在这里我们可以通过selenium的browser.get方法,将一级类目url链接传入,进而打开下一级页面,如图所示

接下来我们就需要获取子分类,也就是运动健身类目下的第二级分类所对应的名称,以及它所对应的url链接,在这里我们可以使用xpath或者css选择器来对名称和链接进行定位,我这里使用的是css选择器,如下图:

例如我们需要定位健身中心链接,则需要这样写('#classfy a').attr('href'),这样就可以成功的定位到我们需要的链接,健身中心的名称就由大家来思考啦,还是建议大家要亲自动手,多多实践,毕竟实践才是检验真理的唯一标准!!

本期的博文就更新到这里了,下周继续更新哦,不见不散!!

更新时间 2023-11-08