crawlab爬虫

全栈程序员-站长 • 2026年3月19日下午7:22 • 未分类 • 阅读 2

docker-compose up

现在，只需要启动nginx服务就完成了启动前端服务。

在这里插入图片描述
首页

在这里插入图片描述

节点列表

在这里插入图片描述

节点拓扑图

在这里插入图片描述

前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

主节点主要负责以下功能:

在爬虫程序中，需要将CRAWLAB_TASK_ID的值以task_id作为可以存入数据库中CRAWLAB_COLLECTION的collection中。这样Crawlab就知道如何将爬虫任务与抓取数据关联起来了。当前，Crawlab只支持MongoDB。

def process_item(self, item, spider): item['task_id'] = os.environ.get('CRAWLAB_TASK_ID') self.col.save(item) return item

因为很多现有当平台都依赖于Scrapyd，限制了爬虫的编程语言以及框架，爬虫工程师只能用scrapy和python。当然，scrapy是非常优秀的爬虫框架，但是它不能做一切事情。

Q&A

为何我访问 http://localhost:8080 提示访问不了？
假如您是Docker部署的，请检查一下您是否用了Docker Machine，这样的话您需要输入地址 http://192.168.99.100:8080才行。

另外，请确保您用了-p 8080:8080来映射端口，并检查宿主机是否开放了8080端口。

我可以看到登录页面了，但为何我点击登陆的时候按钮一直转圈圈？
绝大多数情况下，您可能是没有正确配置CRAWLAB_API_ADDRESS这个环境变量。这个变量是告诉前端应该通过哪个地址来请求API数据的，因此需要将它设置为宿主机的IP地址＋端口，例如 192.168.0.1:8000。接着，重启容器，在浏览器中输入宿主机IP＋端口，就可以顺利登陆了。

请注意，8080是前端端口，8000是后端端口，您在浏览器中只需要输入前端的地址就可以了，要注意区分。

在爬虫页面有一些不认识的爬虫列表，这些是什么呢？
这些是demo爬虫，如果需要添加您自己的爬虫，请将您的爬虫文件打包成zip文件，再在爬虫页面中点击添加爬虫上传就可以了。

注意，Crawlab将取文件名作为爬虫名称，这个您可以后期更改。另外，请不要将zip文件名设置为中文，可能会导致上传不成功。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/204855.html原文链接：https://javaforall.net