OBLITERATUS模型选型指南：116个精选模型分5档VRAM层级，如何找到你的最佳目标

OBLITERATUS模型选型指南：116个精选模型分5档VRAM层级，如何找到你的最佳目标

【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUS

OBLITERATUS是一个开源的大模型"abliteration"（精准解绑）工具包——它能在不重新训练的前提下，定位并移除语言模型内部的拒答机制，让模型保留全部能力的同时摆脱人工限制。它内置了116 个精选开源模型的预设库，按5 档 VRAM 层级组织，覆盖从 CPU 笔记本到多卡服务器的所有硬件。这篇指南教你三步找到最适合自己的目标模型 🎯

1️⃣ 先认识工具：OBLITERATUS 是什么？

OBLITERATUS 提供一条完整流水线：探测模型隐状态 → 提取拒答方向 → 外科手术式移除 → 验证能力完整。整个过程只需一条命令：

obliteratus obliterate meta-llama/Llama-3.1-8B-Instruct --method advanced

对新手来说，最贴心的设计是：每个预设都自带推荐精度和量化配置，不用自己算显存。预设库定义在 obliteratus/presets.py，模型浏览命令实现在 obliteratus/cli.py。

2️⃣ 五档 VRAM 层级全景图：对号入座选模型

116 个模型被分成 5 个层级，每档对应的硬件门槛一目了然：

💡新手建议：第一次尝试请用Tiny 或 Small 档（如 Qwen2.5-0.5B），跑通全流程只需几分钟，再逐步升级硬件档位。

库中还内置了 Dolphin、Hermes、WhiteRabbitNeo 等预解放变体，方便你对比"解绑前后"的效果差异。

3️⃣ 三步找到你的最佳目标

第一步：浏览模型库

一条命令按层级列出所有预设（名称、参数规模、推荐 dtype、量化方案、一句话描述）：

obliteratus models # 列出全部 116 个模型 obliteratus models --tier small # 只看某一层级

第二步：用 gpu-calc 精确估算显存

不确定显存够不够？内置的 GPU 计算器会考虑权重内存、激活开销和 CUDA 上下文：

obliteratus gpu-calc meta-llama/Llama-3.1-70B-Instruct --gpu-mem 24 obliteratus gpu-calc --params 117 --active-params 13 --dtype bfloat16 --gpu-mem 80 # MoE 模型

第三步：选对精度，显存立省一半

--dtype和--quantization是显存调节的两根杠杆：

经验法则：量化每降一档，所需显卡数量约减半。例如 70B 模型在 bf16 下要 3 张 A100-80GB，int8 下 2 张，int4 下 1 张即可。

⚠️ 修改权重时优先用原生精度（BF16/FP16），数值保真度更好；只有"塞得下"是第一优先级时才选量化。

4️⃣ 多卡用户注意：分片是省内存，不是提速

模型太大装不进单卡时，OBLITERATUS 会自动把层切分到多张 GPU（朴素流水线并行）。但请记住两个关键结论：

• 多卡是内存方案，不是速度方案——同一时刻只有一张卡在计算；
• 用"能塞下的最少卡数"——实测 70B 模型 3 卡比 8 卡更快，额外的卡只会带来层间传输开销。

更多实战脚本可参考 examples/remote_gpu_node.yaml 和 docs/deployment/shared-gpu-host.md。

5️⃣ 选完模型后：搭配研究预设开跑

模型确定后，还可以从消融研究预设里挑一套"配方"（快速扫描、全量遍历、注意力深挖等），定义在 obliteratus/study_presets.py：

obliteratus models --tier medium # 确认目标 # 然后一条命令完成六阶段流水线： # SUMMON → PROBE → DISTILL → EXCISE → VERIFY → REBIRTH

✅ 快速决策清单

• 🖥️只有 CPU / 老笔记本→ Tiny 档：GPT-2 或 Qwen2.5-0.5B
• 🎮8GB 消费级显卡→ Small/Medium 档 4bit 量化：Qwen2.5-7B 完全可行
• 🚀24GB 旗舰卡（3090/4090）→ Large 档全精度：Qwen2.5-14B、Mistral 24B
• ☁️多卡服务器→ Frontier 档，记得用gpu-calc先算账、用最少卡数

选对层级是成功的一半——用obliteratus models找到匹配你硬件的那一档，剩下的交给六阶段流水线 🛠️

【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUS