news 2026/5/1 6:29:27

本地部署爬虫管理平台 Crawlab 并实现外部访问

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
本地部署爬虫管理平台 Crawlab 并实现外部访问

Crawlab 是一款分布式爬虫管理平台,支持运行任何语言,具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步,本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行,若未安装 docker 可参考文章安装 Docker 详细说明(Linux)

1,创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2,进入 Crawlab 目录。

cd /volume1/docker/crawlab

4,创建 docker-compose.yml 文件。

vim docker-compose.yml
version: '3.3' services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" volumes: - "./master:/root/.crawlab" ports: - "8235:8080" depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker01:/root/.crawlab" depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker02:/root/.crawlab" depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db

5,启动容器。

docker-compose up -d

6,浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步,外网访问 Crawlab

当前未提供网页管理,在任意一台 Windows 机器安装路由侠 Windows 版,用作跨机器管理。点此下载

1,下载安装完成后,打开路由侠界面,进入【设备中心】。点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

2,直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar

3,然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4,当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

6,回到主界面,点击【内网映射】。

7,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

8,选择【原生端口】。

9,在内网端口里填写端口 8235 后点击【创建】按钮,如下图。

10,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

11,在外网电脑上,打开浏览器,在地址栏输入从路由侠生成的外网地址,就可以看到内网部署的 Crawlab登录界面了。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/1 3:05:56

Python3.10结构模式匹配:Miniconda环境中实践新语法特性

Python 3.10 结构模式匹配与 Miniconda 环境实践 在现代软件开发中,我们常常面临两个核心挑战:如何让代码逻辑更清晰、更具表达力?以及如何确保项目在不同机器上“运行如一”?尤其是在数据科学和人工智能领域,一个实验…

作者头像 李华
网站建设 2026/5/1 3:02:58

ubuntu安装nginx

记录自己的外网部署步骤 1、下载nginxsudo apt-get install nginx2、验证版本/usr/sbin/nginx -v # 查看nginx状态 ps -ef | grep nginx # 验证 sudo nginx -t # 验证结果 nginx: the configuration file /etc/nginx/nginx.conf syntax is ok nginx: configuration file /etc/n…

作者头像 李华
网站建设 2026/5/1 3:03:12

解决condaerror: run ‘conda init‘ before ‘conda activate‘的完整方案

解决 condaerror: run conda init before conda activate 的完整方案 在现代 Python 开发中,尤其是人工智能、数据科学和机器学习等领域,环境隔离已成为工程实践的核心需求。随着项目复杂度上升,不同任务对 Python 版本和库版本的要求差异显著…

作者头像 李华
网站建设 2026/4/30 19:45:01

GitHub热门推荐:Miniconda-Python3.10镜像助力大模型Token训练提速

Miniconda-Python3.10镜像:重塑大模型训练的开发体验 在如今的大模型时代,一个看似不起眼的技术决策——Python环境如何管理——往往决定了整个项目的推进效率。你是否经历过这样的场景:团队成员提交的代码在本地运行完美,却在服…

作者头像 李华
网站建设 2026/5/1 3:03:09

Anaconda cloud服务停用:转向Miniconda本地环境管理

Anaconda Cloud服务停用:转向Miniconda本地环境管理 在数据科学与人工智能项目日益复杂的今天,一个看似微不足道的依赖包下载失败,可能就会让整个实验复现工作陷入停滞。不久前,许多开发者突然发现,原本稳定的 conda i…

作者头像 李华
网站建设 2026/5/1 4:06:52

安装包冲突解决方案:Miniconda-Python3.10优先级规则详解

安装包冲突解决方案:Miniconda-Python3.10优先级规则详解 在人工智能和数据科学项目中,一个看似微不足道的 ImportError 或版本不兼容问题,往往能让开发者耗费数小时排查——而这背后最常见的罪魁祸首,就是依赖冲突。你有没有遇到…

作者头像 李华