OpenByteCode

Open-Crawler

一个企业级分布式爬虫系统，支持爬取网页和json格式数据，并且支持数据筛选和动态化存储，支持定时爬取能力，拥有图形化操作界面，支持爬取异常通知，支持爬虫数据分类。

查看文档访问网站
svg

AI 辅助生成任务

通过设置 prompt，可以让 AI 生成 cron 表达式并自动完成表单填充，提升爬虫创建效率

了解更多 ->
svg

提供多种数据采集方式

提供多种数据采集方式，例如 Xpath、Css、正则、JsonPath

了解更多 ->
svg

支持自定义数据抽取规则

支持自定义数据抽取规则，根据规则爬取数据

了解更多 ->
svg

支持自定义数据过滤规则

支持自定义数据过滤规则，默认提供等于、包含等匹配规则，根据过滤规则筛选数据

了解更多 ->
svg

支持自定义数据去重规则

支持自定义数据去重规则，根据去重规则实现采集数据去重

了解更多 ->
svg

提供多种数据持久化方式

支持多种采集数据持久化方式，默认提供 Mysql 和 ElasticSearch 储存方式

了解更多 ->
svg

支持设置代理、请求头等

支持设置爬虫代理、支持动态设置请求头、支持设置请求参数

了解更多 ->
svg

支持自动化采集

支持定时爬取能力，自动化采集，支持请求失败重试及支持设置重试次数以及重试间隔时间

了解更多 ->
svg

支持采集监控与报警

支持采集及任务监控，支持采集及任务报警，默认提供钉钉和邮件报警，支持自定义拓展

了解更多 ->
svg

支持数据分类

支持给采集到的数据进行分类，可按照分类来获取该分类下的所有数据

了解更多 ->

Pro 商业版

获取Pro版

￥27,899

永久使用

一次性购买即可终身使用我们的Pro版（商业版）

Get Pro

  • 支持更多功能 — 我们将提供更多功能和特性，以满足不同场景或特定需求，通过支持更多的功能，我们可以为项目带来更多的价值和竞争力.

  • 提供技术支持 — 我们提供全面的技术支持，包括但不限于以下方面：问题解决和故障排除、配置和使用指导、技术咨询和建议等.

  • 享受终身访问 — 购买项目访问许可证是一次性购买，无需定期订阅。当您购买项目访问权限时，您可以永久访问项目中的所有内容，包括项目文档.

支持团队 — 获取 Pro 之后我们会将我们的更新通知到您的整个团队.

  • 社区版

    开源免费

    我们坚持开源，开源的理念是基于共享、合作和透明的原则，将软件、代码等知识资源公开并允许他人使用、修改和重新分发，以促进创新和发展.

  • 组件驱动

    我们将一些重复使用或方便用户拓展的代码做成了组件，这样不仅可以提高代码重用性和可维护性，还提供灵活性和可拓展性， 方便我们更好的管理依赖和版本控制，通过组件驱动的方法，我们可以更高效地构建和管理项目。

  • 技术先进

    我们习惯站在技术的最前沿，提供更高的性能和效率，支持更强大的功能和特性，提供更好的安全性和稳定性， 让开发者尽可能获得最好的使用体验，通过采用先进技术，我们可以更好地满足项目需求，并保持项目的竞争力。