本文提供了一份详细的教程，指导读者如何在本地电脑上搭建一个免费的AI Agent。通过结合Ollama模型运行引擎和Hermes Agent框架，读者可以创建一个具有记忆功能、能调用工具、支持持续学习技能的AI助手。教程详细介绍了环境准备、模型下载、配置及核心功能测试等步骤，特别强调了离线可用性和数据安全性，适合希望了解和实践大模型技术的程序员和小白。
最近后台私信集中在两个问题上：
一个是「Hermes Agent 太费 token 了」。对话一长、工具一多，账单涨得比进度还快，很多人刚把流程跑通，就开始心疼 API 费用。
另一个更现实：「我的环境根本不能连外网」。在公司内网、实验室隔离网、甚至某些政企/金融场景里，能不能用、合不合规，第一道门槛就是离线可用、数据不出网。
所以这篇教程我想把话说得更直接一点——
你照着做完，就能在自己的电脑上跑起一个完全本地的 AI Agent：
有记忆、能调用工具、能持续学习技能，而且不花一分钱 API 费用。
断网也能用。数据全在本地。没有月账单。
完成后的样子
Ollama 负责跑模型。Hermes 负责当 Agent。两者配合，你得到一个免费的、有记忆的本地 AI 助手。
前提条件
- 一台电脑（macOS / Linux / WSL）
- 16GB 内存（跑 27B 模型）。8GB 也行，选 7B 模型
- 终端能跑 bash
- 不需要 GPU。有 GPU 会更快，但不是必须
第一阶段：准备环境
第一步：安装 Ollama
Ollama 是本地模型的运行引擎。一行命令装好：
curl -fsSL https://ollama.com/install.sh | sh装完验证一下：
ollama --version看到版本号就对了。
macOS 用户也可以去 ollama.com[1] 下载桌面客户端。效果一样。
第二步：拉一个模型下来
模型是 Agent 的大脑。选一个拉下来：
ollama pull qwen3:8b这是最小的选择。8GB 内存就能跑。先用这个验证流程通不通。
内存够的话，换更强的：
ollama pull qwen3.5:27b或者：
ollama pull gemma4:27b拉模型需要下载几个 GB。等它跑完。
完成标志：终端显示success。
第三步：验证模型能跑
ollama run qwen3:8b "你好，说一句话证明你在工作"看到模型回复了，说明本地推理引擎没问题。
按Ctrl+D退出。
第二阶段：搭建 Agent
第四步：安装 Hermes
Hermes 是 Agent 框架。装上它，本地模型才能变成有记忆、有技能的 Agent。
curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash装完看到版本信息就行。
如果提示需要重新加载 shell：
source ~/.bashrc或者关掉终端重新开一个。
第五步：配置 Hermes 连接本地 Ollama
第一次运行hermes会进入配置向导。
hermes向导会问你用哪个 provider。选 Ollama。
它会问模型名称。填你刚才拉的那个：
qwen3:8b或者qwen3.5:27b，取决于你拉了哪个。
如果错过了向导，手动配置：
hermes config set provider ollama hermes config set model qwen3:8b验证配置：
hermes config list看到 provider 是 ollama，model 是你选的那个，就对了。
第六步：启动 Hermes，确认连接正常
hermes进入对话界面后，说一句：
你好，告诉我你现在用的是什么模型Hermes 正常回复，没有报错，说明本地 Agent 已经跑起来了。
到这里，零成本本地 AI Agent 已经搭好了。下面验证它的核心能力。
第三阶段：验证核心能力
第七步：测试记忆功能
在对话里告诉它一个偏好：
记住：我写代码主要用 TypeScript，项目管理用 Linear，部署用 Vercel等它确认。然后退出：
/exit重新启动 Hermes：
hermes问它：
我平时用什么语言写代码？它能回答出 TypeScript，说明记忆在跨会话保持。
想看记忆文件长什么样：
cat ~/.hermes/MEMORY.md你的偏好应该已经写在里面了。
第八步：测试 Skill 自动学习
给它一个有结构的重复任务。我用的是写周报：
帮我写一份本周工作周报。内容：完成了用户认证模块重构，修复了 3 个线上 bug，参加了 2 次技术评审让它输出一版。然后追问几轮：
格式改成 markdown 列表加上下周计划的占位符开头加一句一行总结多聊几轮。Hermes 会在内部评估这段对话是否值得保存为 Skill。
过一会儿查看：
hermes skills list如果列表里出现了和周报相关的 Skill，说明自动学习在工作。
下次你再说「帮我写周报」，它会直接用学到的格式。
第九步：确认完全离线可用
断开网络。关掉 Wi-Fi 或者拔网线。
hermes帮我写一个 TypeScript 函数，输入是日期字符串，输出是距今天数能正常回答。说明整个系统完全本地运行。不依赖任何云服务。
重新连上网络。
可选：混合模式
简单任务走本地，复杂任务切云端。两全其美。
在 Hermes 对话中：
/model claude-sonnet切到云端模型处理复杂任务。处理完再切回来：
/model qwen3:8b日常问答、代码补全、格式化，本地模型够用。架构设计、长文写作、复杂推理，切云端。
这样一个月的 API 费用可能只有几块钱。
完整流程一览
模型选择建议
| 模型 | 大小 | 内存需求 | 特点 |
|---|---|---|---|
| Qwen3 8B | 5GB | 8GB | 入门够用，速度快 |
| Qwen3.5 27B | 16GB | 16GB | 最均衡，推荐 |
| Gemma 4 27B | 16GB | 16GB | 速度快，多模态 |
| Hermes 4 Scout 35B | 20GB | 24GB | 工具调用最好，需要更多显存 |
第一次建议从 8B 开始。跑通流程再换大模型。
第一次做的建议
- 先用 8B 小模型走完全部步骤。确认流程通了再换 27B。省得下载半天发现内存不够
- 第五步配置最容易卡。如果向导没出来，用
hermes config set手动配 - 第七步测记忆时，说得具体一点。「记住我喜欢简洁风格」比「记住我的偏好」更容易被正确存储
容易踩的坑
Ollama 服务没启动，Hermes 连不上。因为 Ollama 需要后台运行。Linux 上用systemctl start ollama。macOS 上打开 Ollama 桌面客户端就行。
模型太大，推理巨慢。因为内存不够，模型在用 swap。换小一号的模型。或者加内存。ollama ps能看当前模型占用。
Hermes 报错找不到模型。因为配置里的模型名和 Ollama 里的不一致。用ollama list看实际名称，确保和hermes config里的一模一样。
记忆没保存。因为对话太短。Hermes 需要足够的上下文才会触发记忆写入。多聊几轮，或者明确说「请记住这个」。
Skill 没自动生成。因为任务太模糊。Skill 学习需要有明确输入输出的结构化任务。「帮我想想」不行，「帮我把这段文字转成 markdown 表格」可以。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2026 最新岗位需求图谱
所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~
① 全套AI大模型应用开发视频教程
（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）
② 大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
以上资料如何领取？
为什么大家都在学大模型？
最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！
不出1年，“有AI项目经验”将成为投递简历的门槛。
风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！
这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
