1、爬虫翻页问题:
正在做爬虫练习:爬取豆瓣电影排名前250的电影,但一页只显示排名前25的电影,爬取250部电影就遇到了爬虫翻页的问题。记录下,希望帮助到正在学习的小伙伴!
2、爬虫翻页解决思路:
在网上查到有几种翻页的解决方案:
爬虫翻页技巧的四种方法_风启新尘的博客-CSDN博客_爬虫翻页
爬虫中几种翻页方式_野生猕猴桃的博客-CSDN博客_爬虫翻页
3、爬虫翻页解决方案:
综合各种解决方案后,我选择了第一个链接里面的第一种最简单的解决方案:
在URL里找到循环规律,电影每页显示排名25部电影