当前位置:AIGC资讯 > 数据采集 > 正文

大众点评超详细爬虫系列3

大家期待的大众点评系列终于更新啦!!

在上一节中我们已经学会通过xpath或者css选择器来对第二级类目所对应的节点进行定位,并且成功的获取到了我们所需要类目所对应的url链接,那我们获取到之后需要怎么做呢?

是不是应该进入我们获取到url链接所对应的网页呢,在这里我们还需要用到selenium的browser.get方法,拿健身中心来说,它所对应的url链接为‘http://www.dianping.com/beijing/ch45/g147’,所以我们需要browser.get('http://www.dianping.com/beijing/ch45/g147')来进入到三级类目健身中心所对应的网页中,接下来,我们就需要得到在我们所选的城市所对应的区或者县的相关内容,如图所示

 拿北京市为例,如果想要获取到到西城区的相关信息需要怎么做呢?没错,我们这里需要用到xpath或者css选择器,我这里用的是css选择器来对节点进行定位,西城区的相关源码内容如下图所以我们这里用css选择器进行定位西城区对应的区域链接为('#region-nav a').attr('href'),同理,西城区的区域名为('#region-nav a').text(),至此,我们就成功的获取到了西城区对应的区域名以及它所对应的url链接。

建议大家要亲自动手,多多实践,毕竟实践才是检验真理的唯一标准!!

本期的博文就更新到这里了,下周继续更新哦,不见不散!!

更新时间 2023-11-08