采集器设置

点击任务底部进度条的“采集器设置”进入规则编辑界面

输入采集规则名称和目标网站编码(可自动检测)

自动补全网址可以将网页中的相对地址(不包含域名的网址)转为绝对网址(包含域名)

修改请求头信息以适应需要登录的、手机浏览的等界面

起始页网址

添加需要采集的目标列表页

点击“+”号可批量添加网址,勾选“设置为内容页网址”可直接采集输入的网址,否则作为列表页需要进行分析提取出内容页网址

内容页网址

编写提取内容页网址的规则,默认提取所有网址,如需精准可设置“提取网址规则”

多级网址获取:适用于小说、影视等连载形式的内容

只要内容页网址不是直接从起始页抓取的,都可以通过多级来获取

关联页网址获取:适用于数据分散在多个页面中

如需要抓取的字段不在内容页,而在其他页面中,则可以使用该功能将其他页面也作为内容源

获取内容

“添加默认”可以自动设置几个抓取的字段,能满足大部分文章类型的站点采集

如果目标数据格式比较复杂,可点击“+”自行编写字段规则,支持正则表达式、xpath、json等多种匹配方式

“数据处理”可将采集到的字段值进行过滤或替换内容,每个字段都可单独处理或使用通用处理

如需抓取分页,点击开启“内容分页”并编写规则,程序会自动抓取每个分页中的字段内容

测试规则

采集器配置完成后需点击保存按钮,刷新后可在“内容页网址”选项卡和“获取内容”选项卡中看到测试按钮

测试列表页中抓取网址

测试页面中抓取数据

测试抓取分页