当前位置:AIGC资讯 > 数据采集 > 正文

爬虫管理平台 Crawlab v0.4.6 发布

前言

本次更新主要集中在日志管理、任务触发、爬虫展示等优化,以及加入 Node.js SDK。

更新日志

功能 / 优化

Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. 日志管理优化. 日志搜索,错误高亮,自动滚动. 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页. 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505 页面加载占位器.

Bug 修复

定时任务配置失去焦点. #519 无法用 CLI 工具上传爬虫. #524

产品规划

结果展示 支持其他数据库 爬虫 支持 Git 仓库同步 更好的 Scrapy 支持 更好的长任务支持 可配置爬虫 可配置爬虫支持 Splash 可配置爬虫支持 CrawlSpider 可配置爬虫支持正则表达式字段 可配置爬虫支持转化为自定义爬虫 任务 任务重试机制 定时任务 日历展示 全局 支持版本更新检测 支持版本更新日志展示 服务器 支持终端操作 Docker 镜像 SDK 更多命令支持 支持 Golang、Java 插件系统

参考

Github: https://github.com/crawlab-team/crawlab Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

更新时间 2023-11-08