爬虫可以爬取的数据大致有四类:
网页源代码。最常见的便是常规网页,它们对应着HTML代码,而最长抓取的便是HTML源代码。 JSON字符串。可能有些网页返回的不是HTML源代码,而是一个JSON字符串(API接口大多采用这种形式),这种格式的数据方便传输和解析,爬虫同样可以爬取,而且数据提取更加方便。 二进制数据。各种二进制数据,如图片、视频和音频等,利用爬虫可以将这些二进制数据抓取下来,然后保存成对应的文件名。 各种扩展名的文件。如CSS、JavaScript和配置文件等,只要在浏览器里面可以访问到,就可以将其抓取下来。上述内容其中都对应各自的URL,是基于HTTP或HTTPS协议的,只要是这种数据,爬虫都可以爬取。