centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker原地址 https tikazyq github io crawlab docs Installation Docker html 有大概步骤说明 不够详细 docker 命令集 https blog csdn net kai402458953 article details 100026543Cen 上安装 Docker18 03 参考我的这篇文章 https blog csdn

1.先决条件centos7+docker18.3.1-ce(升级yum命令: sudo yum update)

拉取指定版本命令: docker pull tikazyq/crawlab:0.4.2     我自己用的老版本

对应的docker-compose.yml 配置文件如下:

version: '3.3' services: master: image: tikazyq/crawlab:0.4.2 container_name: master environment: CRAWLAB_API_ADDRESS: "http://IP:8000" # backend API address 后端 API 地址,设置为 http:// 
  <宿主机ip>
    : 
   <端口>
     ,端口为映射出来的端口 CRAWLAB_SERVER_MASTER: "Y" # whether to be master node 是否为主节点,主节点为 Y,工作节点为 N CRAWLAB_MONGO_HOST: "mongo" # MongoDB host address MongoDB 的地址,在 docker compose 网络中,直接引用服务名称 CRAWLAB_REDIS_ADDRESS: "redis" # Redis host address Redis 的地址,在 docker compose 网络中,直接引用服务名称 ports: - "8080:8080" # frontend port mapping 前端端口映射 - "8000:8000" # backend port mapping 后端端口映射 depends_on: - mongo - redis worker: image: tikazyq/crawlab:0.4.2 container_name: worker environment: CRAWLAB_SERVER_MASTER: "N" CRAWLAB_MONGO_HOST: "mongo" CRAWLAB_REDIS_ADDRESS: "redis" depends_on: - mongo - redis mongo: image: mongo:latest restart: always # volumes: # - "/opt/crawlab/mongo/data/db:/data/db" # make data persistent 持久化 ports: - "27017:27017" # expose port to host machine 暴露接口到宿主机 redis: image: redis:latest restart: always # volumes: # - "/opt/crawlab/redis/data:/data" # make data persistent 持久化 ports: - "6379:6379" # expose port to host machine 暴露接口到宿主机 
    
  

Docker镜像的目录存储讲解 https://blog.csdn.net/i042416/article/details/
5.创建docker组:sudo groupadd docker    (删除docker这个用户:userdel -r docker)
6.centos7查看所有用户:cut -d : -f 1 /etc/group
7.将您的用户添加到该docker用户组,命令:sudo usermod -aG docker 用户名
8.查看“docker”组下的所有用户,命令:  grep ‘docker’ /etc/group
9.Docker Compose安装
命令:sudo curl -L “https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)” -o /usr/local/bin/docker-compose
赋权:sudo chmod +x /usr/local/bin/docker-compose
查看版本:docker-compose –version





10.查找docker-compose.yml文件位置
find / -name “docker-compose.yml*”
















centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker
下面这个路径是我自己的
cd  /var/lib/docker/overlay2/152b2f809c231eb5538b5a0c79bb921ff89cbbc67890ca08a8a40fc942c15589/diff/app/
11.Crawlab的docker-compose.yml定义如下。(如果是这里的localhost:8000  修改为centos7的IP地址    ip查看命令:ip  addr






注意: 新版镜像的CRAWLAB_API_ADDRESS是这样的: CRAWLAB_API_ADDRESS: “http://IP:8000”  

 

12.启动Crawlab

cd 进入到docker-compose.yml 所在文件目录下

才能运行:docker-compose up  集群启动容器,否则找不到文件

查看woker容器日志命令:docker-compose logs worker

正常会启动四个容器:master、woker、redis、mongo

cd  /var/lib/docker/overlay2/152b2f809c231eb5538b5a0c79bb921ff89cbbc67890ca08a8a40fc942c15589/diff/app/

第一次次启动会下载安装并配置节点和数据库(redis 和mongodb)

centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

 

centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

13.访问crawlab

浏览器访问 :http://ip:8080    用户名密码是  admin/admin

centos7+docker18.3.1-ce 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

 

最后,我的部署过程有点坎坷, 看了很多文章,最有用的应该是这一篇https://studygolang.com/articles/22738?fr=sidebar

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/221485.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月17日 下午5:59
下一篇 2026年3月17日 下午6:00


相关推荐

  • docker中Jenkins安装allure和使用,bash: allure: command not found

    docker中Jenkins安装allure和使用,bash: allure: command not found我的docker中的Jenkins是已经安装allure了的,但是jenkins提示:bash:allure:commandnotfound。原来是我是通过管理员进入jenkins容器安装了allure的,而jenkins是以普通用户去运行的,所以我又以普通用户登录安装allure还是提示:bash:allure:commandnotfound。因为每次jenkins启动都是不同的用户备注:docker中jenkins安装allure可以参考这个链接:https://mp.c

    2022年7月26日
    32
  • Docker可视化管理工具shipyard

    Docker可视化管理工具shipyard目录 1 前言 2 shipyard 介绍 3 shipyard 安装 1 镜像下载 2 脚本安装 shipyard1 前言 nbsp nbsp nbsp nbsp 谈及 docker 避免不了需要熟练的记住好多命令及其用法 对于熟悉 shell 技术开发人员而言 还是可以接受的 熟练之后 命令行毕竟是很方便的 便于操作及脚本化 但对于命令行过敏 非技术人员 进行 docker 部署 管理是比较头疼的 学习成本是很

    2026年3月19日
    2
  • Docker暴露2375端口导致服务器被攻击解决方法!

    Docker暴露2375端口导致服务器被攻击解决方法!相信了解过dockerremoteAPI的同学对2375端口都不陌生了,2375是docker远程操控的默认端口,通过这个端口可以直接对远程的dockerdaemon进行操作。当$HOST主机以dockerdaemon-H=0.0.0.0:2375方式启动daemon时,可以在外部机器对$HOST的dockerdaemon进行直接操作:docker-Htcp://$HOS…

    2022年4月29日
    264
  • docker部署jenkins安装使用教程_docker安装python

    docker部署jenkins安装使用教程_docker安装python前言使用docker安装jenkins环境,jenkins构建的workspace目录默认是在容器里面构建的,如果我们想执行python3的代码,需进容器内部安装python3的环境。进jenki

    2022年7月29日
    9
  • docker镜像操作_docker导出容器为镜像

    docker镜像操作_docker导出容器为镜像零.docker常用命令#镜像名版本标签镜像id创建时间镜像大小REPOSITORYTAGIMAGEIDCREATEDSIZEhello-worldlatestfce289

    2022年8月16日
    9
  • docker下载安装教程_安卓安装docker

    docker下载安装教程_安卓安装docker前言Docker提供轻量的虚拟化,你能够从Docker获得一个额外抽象层,你能够在单台机器上运行多个Docker微容器,而每个微容器里都有一个微服务或独立应用,例如你可以将Tomcat运行在一个D

    2022年7月30日
    15

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号