Docker化部署TranslateGemma：基于Ubuntu的容器化方案
1. 引言
多语言翻译在全球化时代变得越来越重要，但传统翻译服务往往存在延迟高、隐私性差的问题。TranslateGemma作为基于Gemma 3的开源翻译模型，支持55种语言的高质量翻译，为本地化部署提供了新的选择。
今天我们将手把手教你如何在Ubuntu系统上，通过Docker容器化方式部署TranslateGemma翻译服务。这种方式不仅部署简单，还能保证环境一致性，让你的翻译服务随时 ready to go。
2. 环境准备与系统要求
在开始之前，确保你的系统满足以下基本要求：
- 操作系统：Ubuntu 20.04 LTS 或更高版本
- Docker：版本20.10.0或更高
- Docker Compose：版本2.0.0或更高
- 硬件要求：
- CPU：8核或以上
- 内存：16GB RAM（最低），32GB推荐
- 存储：至少50GB可用空间（用于模型文件和容器镜像）
- GPU：可选，但推荐使用NVIDIA GPU以获得更好的性能
2.1 安装Docker和Docker Compose
如果你还没有安装Docker，可以通过以下命令快速安装：
# 更新软件包索引 sudo apt-get update # 安装必要的依赖包 sudo apt-get install -y \ ca-certificates \ curl \ gnupg \ lsb-release # 添加Docker官方GPG密钥 sudo mkdir -p /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg # 设置Docker仓库 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装Docker引擎 sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin # 添加当前用户到docker组（避免每次使用sudo） sudo usermod -aG docker $USER newgrp docker # 验证安装 docker --version docker compose version3. Docker镜像构建
3.1 创建项目目录结构
首先创建一个清晰的项目目录结构：
# 创建项目根目录 mkdir translategemma-docker && cd translategemma-docker # 创建子目录 mkdir -p \ dockerfiles \ configs \ models \ scripts \ data/input \ data/output # 查看目录结构 tree .3.2 编写Dockerfile
创建dockerfiles/Dockerfile.translategemma文件：
# 使用Ubuntu官方镜像作为基础 FROM ubuntu:22.04 # 设置环境变量 ENV DEBIAN_FRONTEND=noninteractive \ PYTHONUNBUFFERED=1 \ MODEL_SIZE=4b # 安装系统依赖 RUN apt-get update && apt-get install -y \ python3 \ python3-pip \ python3-venv \ git \ wget \ curl \ && rm -rf /var/lib/apt/lists/* # 创建工作目录 WORKDIR /app # 创建Python虚拟环境 RUN python3 -m venv /app/venv ENV PATH="/app/venv/bin:$PATH" # 安装Python依赖 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 创建模型下载脚本 COPY scripts/download_model.py . # 设置容器启动命令 COPY scripts/start_service.sh . RUN chmod +x /app/scripts/start_service.sh # 暴露服务端口 EXPOSE 8000 # 设置健康检查 HEALTHCHECK --interval=30s --timeout=30s --start-period=5s --retries=3 \ CMD curl -f http://localhost:8000/health || exit 1 # 设置容器启动命令 CMD ["/app/scripts/start_service.sh"]3.3 创建requirements.txt
创建requirements.txt文件：
torch>=2.0.0 transformers>=4.30.0 accelerate>=0.20.0 sentencepiece>=0.1.99 protobuf>=3.20.0 fastapi>=0.95.0 uvicorn>=0.21.0 pydantic>=1.10.0 requests>=2.28.0 numpy>=1.21.03.4 创建模型下载脚本
创建scripts/download_model.py：
#!/usr/bin/env python3 import os import argparse from huggingface_hub import snapshot_download def download_model(model_size="4b", cache_dir="/app/models"): """下载指定大小的TranslateGemma模型""" model_map = { "4b": "google/translategemma-4b-it", "12b": "google/translategemma-12b-it", "27b": "google/translategemma-27b-it" } if model_size not in model_map: raise ValueError(f"不支持的模型大小: {model_size}") model_name = model_map[model_size] print(f"开始下载模型: {model_name}") # 下载模型到指定目录 snapshot_download( repo_id=model_name, local_dir=os.path.join(cache_dir, f"translategemma-{model_size}"), local_dir_use_symlinks=False, resume_download=True ) print(f"模型下载完成: {model_name}") if __name__ == "__main__": parser = argparse.ArgumentParser(description="下载TranslateGemma模型") parser.add_argument("--size", type=str, default="4b", choices=["4b", "12b", "27b"], help="模型大小") parser.add_argument("--cache-dir", type=str, default="/app/models", help="模型缓存目录") args = parser.parse_args() download_model(args.size, args.cache_dir)3.5 创建启动脚本
创建scripts/start_service.sh：
#!/bin/bash # 设置模型大小（可通过环境变量覆盖） MODEL_SIZE=${MODEL_SIZE:-"4b"} MODEL_PATH="/app/models/translategemma-${MODEL_SIZE}" # 如果模型不存在，则下载 if [ ! -d "$MODEL_PATH" ]; then echo "模型不存在，开始下载..." python3 /app/scripts/download_model.py --size $MODEL_SIZE --cache-dir /app/models fi # 启动FastAPI服务 echo "启动TranslateGemma服务..." python3 -m uvicorn app.main:app --host 0.0.0.0 --port 8000 --workers 24. Docker Compose部署
4.1 创建docker-compose.yml
创建docker-compose.yml文件：
version: '3.8' services: translategemma: build: context: . dockerfile: dockerfiles/Dockerfile.translategemma container_name: translategemma-service ports: - "8000:8000" environment: - MODEL_SIZE=4b - PYTHONPATH=/app volumes: - ./models:/app/models - ./data:/app/data - ./logs:/app/logs restart: unless-stopped deploy: resources: limits: memory: 16G reservations: memory: 8G healthcheck: test: ["CMD", "curl", "-f", "http://localhost:8000/health"] interval: 30s timeout: 10s retries: 3 start_period: 40s # 可选：添加Nginx反向代理 nginx: image: nginx:alpine container_name: translategemma-nginx ports: - "80:80" - "443:443" volumes: - ./nginx.conf:/etc/nginx/nginx.conf - ./ssl:/etc/ssl/certs depends_on: - translategemma restart: unless-stopped volumes: model-data: app-data:4.2 创建Nginx配置（可选）
创建nginx.conf文件：
events { worker_connections 1024; } http { upstream translategemma { server translategemma:8000; } server { listen 80; server_name localhost; location / { proxy_pass http://translategemma; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } location /health { proxy_pass http://translategemma/health; access_log off; } } }5. 构建和运行容器
5.1 构建Docker镜像
# 构建镜像 docker compose build # 或者单独构建服务 docker build -f dockerfiles/Dockerfile.translategemma -t translategemma:latest .5.2 启动服务
# 启动所有服务 docker compose up -d # 查看服务状态 docker compose ps # 查看日志 docker compose logs -f translategemma5.3 测试服务
服务启动后，可以通过以下方式测试：
# 检查服务健康状态 curl http://localhost:8000/health # 测试翻译功能 curl -X POST "http://localhost:8000/translate" \ -H "Content-Type: application/json" \ -d '{ "text": "Hello, how are you?", "source_lang": "en", "target_lang": "es" }'6. 高级配置和优化
6.1 GPU支持配置
如果你有NVIDIA GPU，可以启用GPU加速：
首先安装NVIDIA Container Toolkit：
# 添加NVIDIA包仓库 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 安装nvidia-container-toolkit sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker然后在docker-compose.yml中添加GPU支持：
services: translategemma: # ... 其他配置保持不变 deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu]6.2 资源限制和优化
根据你的硬件配置调整资源限制：
services: translategemma: # ... 其他配置 deploy: resources: limits: cpus: '4' memory: 16G reservations: cpus: '2' memory: 8G6.3 持久化存储配置
确保模型和数据持久化：
volumes: models: driver: local driver_opts: type: none o: bind device: ./models data: driver: local driver_opts: type: none o: bind device: ./data7. 常见问题解决
7.1 内存不足问题
如果遇到内存不足的错误，可以尝试：
# 增加交换空间 sudo fallocate -l 8G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 或者使用较小的模型 MODEL_SIZE=4b docker compose up7.2 端口冲突
如果端口8000已被占用，可以修改映射端口：
ports: - "8080:8000" # 将主机端口改为80807.3 模型下载失败
如果模型下载失败，可以手动下载：
# 进入容器 docker exec -it translategemma-service bash # 手动运行下载脚本 python3 scripts/download_model.py --size 4b8. 总结
通过Docker容器化方式部署TranslateGemma，我们获得了一个可移植、易维护的翻译服务解决方案。这种部署方式的好处很明显：环境一致性得到了保证，部署过程变得简单可靠，而且很容易扩展到生产环境。
实际使用下来，4B版本的模型在16GB内存的机器上运行相当流畅，翻译质量也令人满意。如果你刚开始接触AI模型部署，建议先从4B版本开始，熟悉后再尝试更大的模型。
当然，容器化部署只是第一步，后续还可以考虑加入监控、日志管理、自动扩缩容等高级功能，让整个系统更加健壮。不过对于大多数个人和小团队使用场景来说，今天介绍的方案已经足够用了。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
