当前位置:AIGC资讯 > 数据采集 > 正文

八爪鱼抓取html,网页图片采集和抓取方法详解 - 八爪鱼采集器

1、图片采集

在八爪鱼中,采集图片有以下几大步

1)先采集网页图片的地址链接URL

2)通过八爪鱼提供的图片批量下载工具将URL转化为图片

2、常见应用情景

1)非瀑布流网站纯图片采集

2)瀑布流网站纯图片采集

这类瀑布流网站的采集需要按下面的步骤对采集规则进行设置:

① 点击采集规则打开网页步骤的高级选项;

② 勾选页面加载完成后下滚动;

③ 填写滚动的次数及每次滚动的间隔;

④ 滚动方式设置为:直接滚动到底部;

完成上面的规则设置后,再对页面中图片的URL进行采集

注意:滚动次数,滚动间隔应根据网页加载情况来设置。如果往下滚动,页面信息加载比较慢,建议将滚动间隔设大些。滚动次数应看滚动多少次可以将我们需要的数据加载全,建议多一两次,有备无患。滚动方式则看网页是一滚到底就全部数据都能顺利加载,还是得一屏一屏滚动才行。一般而言一屏一屏滚动,效果好但更费时。滚一屏的大小取决于你屏幕的大小,云采集则默认全屏。

3)文章图文采集

需要将文章里的文字和图片都采集下来,一般有两种方法

方法1:判断条件,设置判断条件分别采集文字和图片

方法2:先整体采集文字,再循环采集图片

3、教程目的

采集图片URL这个步骤,以上图片采集教程中都有详细说明,不再赘述。本文将重点讲解图片采集的采集技巧和注意事项。

4、采集图片URL操作步骤

以下演示一个采集图片URL的具体操作步骤,

更新时间 2023-11-08