基于 Node.js 的声明式可监控爬虫网络

发布时间：2025-11-05 00:54:40 来源：云智核 作者：IT科技类资讯

爬虫是基于数据抓取的重要手段之一，而以 Scrapy、明式Crawler4j、可监控爬Nutch 为代表的虫网开源框架能够帮我们快速构建分布式爬虫系统;就笔者浅见，我们在开发大规模爬虫系统时可能会面临以下挑战：

笔者本意并非想重新造个轮子，不过在改造我司某个简单的命令式爬虫的过程中发现，很多的调度与监控操作应该交由框架完成。Node.js 在开发大规模分布式应用程序的一致性(JavaScript 的不规范)与性能可能不如 Java 或者 Go。但是正如笔者在上文中提及，JavaScript 的优势在于能够通过同构代码同时运行在客户端与服务端，那么未来对于解析这一步完全可以在客户端调试完毕然后直接将代码运行在服务端，这对于构建灵活多变的解析可能有一定意义。

总而言之，我只是想有一个可扩展、能监控、简单易用的爬虫框架，所以我快速撸了一个 declarative-crawler，目前只是处于原型阶段，尚未发布到 npm 中;希望有兴趣的大大不吝赐教，特别是发现了有同类型的框架可以吱一声，我看看能不能拿来主义，多多学习。

设计思想与架构概览

当笔者几年前编写***个爬虫时，整体思路是典型的命令式编程，即先抓取再解析，***持久化存储，就如下述代码：

命令式编程相较于声明式编程耦合度更高，可测试性与可控性更低;就好像从 jQuery 切换到 React、Angular、Vue.js 这样的框架，我们应该尽可能将业务之外的事情交由工具，交由框架去管理与解决，这样也会方便我们进行自定义地监控。总结而言，笔者的设计思想主要包含以下几点：

整个爬虫网络架构如下所示，目前全部代码参考这里。

自定义蜘蛛与爬虫

我们以抓取某个在线列表与详情页为例，首先我们需要针对两个页面构建蜘蛛，注意，每个蜘蛛负责针对某个 URL 进行抓取与解析，用户应该首先编写列表爬虫，其需要声明 model 属性、复写 before_extract、parse 与 persist 方法，各个方法会被串行调用。另一个需要注意的是，我们爬虫可能会外部传入一些配置信息，统一的声明在了 extra 属性内，这样在持久化时也能用到。

我们可以针对这个蜘蛛进行单独测试，这里使用 Jest。注意，这里为了方便描述没有对抽取、解析等进行单元测试，在大型项目中我们是建议要加上这些纯函数的测试用例。

同理，我们可以定义对于详情页的蜘蛛：

在定义完蜘蛛之后，我们可以定义负责爬取整个系列任务的 Crawler，注意，Spider 仅负责爬取单个页面，而分页等操作是由 Crawler 进行：

一个 Crawler 最关键的就是 initialize 函数，需要在其中完成爬虫的初始化。首先我们需要构造所有的种子链接，这里既是多个列表页;然后通过 setSpider 方法加入对应的蜘蛛。不同蜘蛛之间通过自定义的 Transformer 函数来从上一个结果中抽取出所需要的链接传入到下一个蜘蛛中。至此我们爬虫网络的关键组件定义完毕。

本地运行

定义完 Crawler 之后，我们可以通过将爬虫注册到 CrawlerScheduler 来运行爬虫：

这里的 dcEmitter 是整个状态的中转站，如果选择使用本地运行，可以自己监听 dcEmitter 中的事件：

服务端运行

我们也可以以服务的方式运行爬虫：

此时会启动框架内置的 Koa 服务器，允许用户通过 RESTful 接口来控制爬虫网络与获取当前状态。

接口说明

关键字段

localhost:3001/ 获取当前爬虫运行状态

localhost:3001/start 启动爬虫

localhost:3001/status 返回当前系统状态

localhost:3001/UACrawler 根据爬虫名查看爬虫运行状态

自定义监控界面

CrawlerServer 提供了 RESTful API 来返回当前爬虫的状态信息，我们可以利用 React 或者其他框架来快速搭建监控界面。

【本文是专栏作者“张梓雄 ”的原创文章，如需转载请通过与作者联系】

戳这里，看该作者更多好文

相关文章