【Magnitude：免费私密离线运行本地模型】
Magnitude 是一款开源推理服务器，它能为硬件匹配最适合的本地模型，并与现有的代理集成。它会分析机器性能，推荐适配的模型，然后完成下载、调优和运行等操作。Magnitude 可与 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline 等工具配合使用，也支持使用内置的工具套件。同时，官方呼吁助力触达更多开发者，壮大 Magnitude 社区，可给这个仓库点个星。
【快速上手指南】
将“使用 Magnitude CLI 为我设置本地模型”发送给代理，以完成模型的筛选和设置。通过 `npm i -g @magnitudedev/cli`（或使用其他包管理器）进行安装，然后运行 `magnitude docs onboarding` 并按提示操作。代理会对硬件进行分析，推荐最适合的本地模型，下载选定的模型，并自动切换使用。Magnitude 支持 macOS 和 Linux 系统，通过 WSL 也能在 Windows 上使用。若想直接浏览模型，可使用 `npm i -g @magnitudedev/cli magnitude setup` 命令，交互式设置界面能让人浏览推荐的模型并自行选择。
【为何选择 Magnitude？】
1. 免费使用：无需支付令牌费用，无需 API 密钥，也没有速率限制。2. 完全私密且离线：模型、提示信息和文件都保存在本地机器上。3. 以代理为优先的设置方式：只需一个指令，代理就能引导完成后续操作。4. 了解硬件：能分析芯片、内存和带宽等硬件信息。5. 推荐适配模型：根据机器情况推荐最佳模型，并估算每秒处理的令牌数。6. 端到端调优：针对机器进行推测性解码和并发处理等优化。7. 按需加载模型：根据需求加载模型，空闲或内存不足时自动卸载。8. 开源项目：采用 Apache 2.0 许可证，可自由修改。
【常见问题解答】
1. 什么是 Magnitude？Magnitude 是一款开源推理服务器，能为硬件匹配最适合的本地模型，并与现有的代理集成。它会分析机器性能，推荐适配的模型，然后完成下载、调优和运行等操作。2. 需要什么硬件？没有固定的最低硬件要求。Magnitude 会分析硬件情况，并为机器推荐最佳模型。内存越大，能运行的模型就越大。3. 为什么不让代理直接设置 Ollama？代理只能进行猜测，它不了解硬件情况、适合的量化方式以及运行速度。Magnitude 能为其提供一个根据机器情况计算得出的推荐模型目录，一个能自动编写工具套件配置的引导流程，以及专为代理工作负载设计的推理功能。模型会在需要时加载，空闲或内存不足时自动卸载。4. 哪些工具套件可以与之配合使用？Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline 都可以。在设置过程中，代理会将选择的工具套件与模型进行连接，也可以使用 Magnitude 的内置工具套件。5. 设置完成后需要管理 Magnitude 吗？不需要。Magnitude 会在后台运行，在代理需要时加载模型，空闲或内存不足时自动卸载。代理可以随时通过 Magnitude CLI 安装或切换模型。6. 我的数据会上传到云端吗？不会。提示信息、文件和模型都保存在本地机器上。7. 可以完全离线运行吗？可以。下载好 Magnitude 和模型后，无需网络连接即可运行。8. 可以使用目录外的模型吗？可以。可以从 Hugging Face 下载兼容的 GGUF 模型，并在 Magnitude 中使用。
【了解更多】
可查看文档、CLI 参考、Discord 社区、报告问题等相关内容。Magnitude 采用 Apache License 2.0 许可证。
