完全本地、免费、离线的AI编程助手：Ollama + Continue 完全指南

完全本地、免费、离线的AI编程助手：Ollama + Continue 完全指南

本文汇总了在 Windows 环境下搭建完全本地、数据永不外传的 AI 编程助手的全部知识点，涵盖 Ollama 部署、模型下载、Continue 插件配置（VS Code / IntelliJ IDEA）、验证方法及常见问题。

目录

1. 为什么选择本地方案
2. 核心组件
3. 第一步：安装 Ollama
4. 第二步：下载并导入代码模型
   • 方案一：一行命令拉取（推荐）
   • 方案二：手动下载 GGUF 并导入
5. 第三步：安装 Continue 插件
   • VS Code 配置
   • IntelliJ IDEA 配置
6. 第四步：验证模型是否真正本地运行
7. 常见问题与故障排除
8. 性能建议与模型选择

为什么选择本地方案

适合对代码隐私要求高、网络条件不稳定、或希望长期免费使用 AI 编程助手的开发者。

核心组件

• Ollama：在本地运行大模型的服务，支持 Windows / macOS / Linux。
• Continue：IDE 插件（支持 VS Code、IntelliJ IDEA 等），连接 Ollama 提供代码补全、对话、内联修改等功能。
• 代码模型：如 StarCoder2、CodeQwen、DeepSeek-Coder 等。本文以StarCoder2-3B为例，兼顾性能与效果。

第一步：安装 Ollama

1. 访问 Ollama官网 下载 Windows 安装包。
2. 运行安装程序，按提示完成安装。
3. 安装后，任务栏托盘区会出现 🦙 羊驼图标，表示服务已启动。
4. （可选）打开终端（CMD 或 PowerShell），输入ollama --version检查版本。

注意：如果后面 Continue 连接失败，请先确认 Ollama 服务是否在运行。

第二步：下载并导入代码模型

我们使用StarCoder2-3B模型，它经过优化，大小约 1.7GB，内存占用约 2.2GB，对 CPU 友好。

方案一：一键拉取（推荐）

打开终端，直接运行：

ollama run novaforgeai/starcoder2:3b-optimized

Ollama 会自动下载模型并进入对话模式。输入/bye可退出。
下载完成后，模型名称为novaforgeai/starcoder2:3b-optimized。

方案二：手动下载 GGUF 并导入

适用于网络受限或希望存放自定义路径的情况。

1. 下载 GGUF 文件
   访问 ModelScope 镜像站（国内快）：
   https://modelscope.cn/models/AI-ModelScope/starcoder2-3b-instruct-gguf/files
   下载带Q4_K_M的.gguf文件（如starcoder2-3b-instruct-q4_k_m.gguf）。

2. 编写 Modelfile
   在与.gguf同目录下创建文本文件Modelfile，内容：

   FROM ./starcoder2-3b-instruct-q4_k_m.gguf

3. 创建 Ollama 模型
   在终端中进入该目录，执行：

   ollama create my-starcoder2:3b-f./Modelfile

   以后使用my-starcoder2:3b即可。

第三步：安装 Continue 插件

VS Code 配置

1. 安装插件
   在 VS Code 扩展商店搜索Continue并安装。
   额外步骤：要获得 Tab 代码补全，还需安装Continue Autocomplete插件。

2. 打开配置文件
   点击左侧 Continue 图标 → 底部齿轮图标 →Open Config File。

3. 替换内容
   将config.json内容替换为以下内容（注意使用你实际的模型名）：

   {"models":[{"title":"StarCoder2 (Code)","provider":"ollama","model":"novaforgeai/starcoder2:3b-optimized","apiBase":"http://localhost:11434"}],"tabAutocompleteModel":{"title":"StarCoder2 (Autocomplete)","provider":"ollama","model":"novaforgeai/starcoder2:3b-optimized","apiBase":"http://localhost:11434"},"allowAnonymousTelemetry":false}

4. 重启 VS Code（完全关闭再打开）。

IntelliJ IDEA 配置

1. 安装插件
   File → Settings → Plugins→ 搜索Continue→ 安装并重启 IDEA。

2. 编辑配置文件
   IDEA 重启后，右侧会出现 Continue 图标。点击后，在聊天窗口右上角找到设置图标，进入配置。
   或者直接手动编辑配置文件~/.continue/config.yaml（Windows：%USERPROFILE%\.continue\config.yaml）。

3. 粘贴 YAML 配置

   models:-title:"StarCoder2 (Code)"provider:ollamamodel:novaforgeai/starcoder2:3b-optimizedapiBase:http://localhost:11434tabAutocompleteModel:title:"StarCoder2 (Autocomplete)"provider:ollamamodel:novaforgeai/starcoder2:3b-optimizedapiBase:http://localhost:11434

4. 保存并完全重启 IDEA。

关键点：tabAutocompleteModel必须单独配置，否则无法获得行内代码补全。

第四步：验证模型是否真正本地运行

使用以下方法之一快速确认：

方法1：断网测试（最直接）

断开电脑网络，在 IDE 中使用 Continue 的代码补全或聊天功能。如果能正常工作，说明完全本地。

方法2：检查配置文件

确保config.json或config.yaml中：

• provider=ollama
• apiBase=http://localhost:11434
• 没有apiKey字段

方法3：查看进程

打开任务管理器，确认存在ollama.exe进程，且提问时 CPU/内存占用明显上升。

方法4：命令行询问

curlhttp://localhost:11434/api/tags

返回的模型列表中应包含你配置的模型名。

常见问题与故障排除

1. Continue 显示 “Failed to connect to Ollama”

• 原因：Ollama 服务未启动。
• 解决：检查任务栏羊驼图标，或在开始菜单启动 Ollama。

2. Tab 补全不工作（VS Code）

• 原因：缺少Continue Autocomplete插件。
• 解决：在扩展商店搜索并安装该插件。

3. 模型下载速度慢或失败

• 原因：访问 huggingface 等国外源不稳定。
• 解决：使用国内镜像（如 ModelScope），或使用方案一的novaforgeai/starcoder2:3b-optimized（已优化网络）。

4. IDEA 中快捷键Ctrl+I冲突

• 解决：File → Settings → Keymap搜索 “Continue” 重新分配快捷键。

5. 模型回答质量较差

• 原因：3B 模型能力有限，适合代码补全和简单问答。
• 解决：可尝试更大模型如 CodeQwen-7B、DeepSeek-Coder-6.7B（需更多内存）。确保使用Q4_K_M量化为佳。

6. 修改 config.yaml 后不生效

• 解决：完全关闭 IDE 再重启，而非仅重新加载窗口。

性能建议与模型选择

调优提示：

• 如果机器内存不足，可选用更小的Q2_K量化版本。
• 在config.yaml中可添加contextLength: 4096调整上下文窗口。

总结

通过 Ollama + Continue，你可以在 Windows 上搭建一套完全免费、离线、隐私安全的 AI 编程助手。本文提供的 StarCoder2-3B 模型配置已经过验证，适合大多数日常编码场景。如果遇到任何问题，欢迎对照“常见问题”章节排查。

下一步：在实际项目中尝试使用Ctrl+L进行代码对话，Ctrl+I进行内联修改，体验本地 AI 编程的高效与安全。

实测效果

本地离线运行会吃电脑配置，需要配置高的电脑可流畅运行。