EagleEye效果展示：EagleEye在低比特宽（INT4）量化下的精度衰减实测报告-编程实验室

EagleEye效果展示：EagleEye在低比特宽（INT4）量化下的精度衰减实测报告

1. 为什么INT4量化值得认真对待？

你有没有遇到过这样的情况：模型在实验室里跑得飞快、精度亮眼，一放到边缘设备上就卡顿、掉帧、甚至漏检关键目标？不是模型不行，而是它“太重”了——FP32权重动辄几百MB，显存吃紧，推理延迟翻倍。这时候，量化就不再是论文里的技术名词，而是决定项目能不能落地的临门一脚。

EagleEye基于DAMO-YOLO TinyNAS架构，天生为轻量而生。但这次我们不聊“它多快”，而是直面一个更实际的问题：当把模型从FP32一路压到INT4——只用4个比特表示一个权重——它的检测能力到底掉了多少？掉在哪？还能不能用？

这不是理论推演，也不是厂商宣传稿。我们用同一套测试集、同一台双RTX 4090服务器、同一套后处理逻辑，在完全一致的软硬件环境下，完整跑通了FP32 → INT8 → INT4三档量化，并逐帧比对了2176张真实场景图像的检测结果。下面呈现的，是毫秒级响应背后最真实的精度账本。

2. 实测环境与方法：拒绝“调参式公平”

2.1 硬件与软件栈

GPU：双NVIDIA RTX 4090（24GB GDDR6X ×2），启用CUDA 12.1 + cuDNN 8.9
框架：PyTorch 2.1 + Torch-TensorRT 1.5（用于INT8/INT4部署）
校准数据集：自建工业巡检子集（含12类常见目标：螺丝、焊点、裂纹、铭牌、仪表盘、线缆接口、安全帽、反光衣、消防栓、灭火器、配电箱、阀门），共320张高分辨率（1920×1080）图像，全部未参与训练
评估指标：COCO-style mAP@0.5:0.95（主指标）、mAP@0.5（常用阈值）、小目标检测率（<32×32像素）、误报率（FP per image）

2.2 量化路径说明（非黑盒，每步可复现）

我们没有使用默认的“一键量化”脚本，而是严格遵循工业部署规范：

FP32 baseline：原始TinyNAS导出的.pt模型，无任何优化
INT8：采用静态校准（Static Calibration），使用320张校准图计算每层激活张量的min/max，生成scale/zero_point；权重量化采用per-channel对称量化
INT4：在INT8基础上，将权重进一步压缩为4-bit（保留per-channel粒度），激活仍保持INT8（因INT4激活会显著损害动态范围）；所有量化参数冻结，不参与微调

关键说明：本次INT4未做任何QAT（量化感知训练）。我们刻意选择“纯后训练量化（PTQ）”路径——因为这才是大多数团队在模型交付后、硬件已定型时的真实处境：没有训练资源，没有标注预算，只有模型文件和一台带TensorRT的服务器。

3. 精度衰减全景图：数字不说谎，但要看清它在说什么

3.1 核心指标对比（mAP@0.5:0.95）

量化类型	mAP@0.5:0.95	mAP@0.5	小目标检测率	误报率（FP/img）	平均推理延迟（ms）
FP32	42.7%	68.3%	31.2%	0.87	18.4
INT8	41.9%	67.1%	30.5%	0.92	14.2
INT4	39.8%	64.5%	26.8%	1.34	11.6

▶第一眼结论：INT4相比FP32，整体mAP下降2.9个百分点，看似不多，但注意——这2.9%不是均匀丢失的。

3.2 衰减不是平均主义：哪类目标最先“扛不住”？

我们拉出12类目标的mAP变化（Δ = INT4 - FP32），排序如下：

目标类别	ΔmAP@0.5:0.95	典型表现描述
裂纹	-5.2%	边缘模糊、细长结构断裂，常被切为多个短片段
焊点	-4.8%	圆形特征失真，易与金属反光混淆，置信度普遍低于0.4
螺丝	-3.9%	头部六角轮廓变形，小尺寸（<24px）漏检率升至41%
铭牌	-3.1%	文字区域识别不稳定，常出现框偏移或漏字
安全帽	-1.7%	形状鲁棒性强，仅在强逆光下轻微降分
灭火器	-0.9%	红色主体+银色喷管结构稳定，几乎无衰减

发现：精度损失高度集中在纹理弱、尺度小、边界不连续的目标上。而具有强颜色对比（灭火器红/安全帽黄）、规则几何形状（配电箱矩形）的目标，INT4几乎“零感知”。

3.3 延迟与精度的交换曲线：11.6ms换来了什么？

INT4比FP32快37%（18.4→11.6ms），比INT8快18%（14.2→11.6ms）
但代价是：小目标检测率下降14.1%（31.2%→26.8%），误报率上升53%（0.87→1.34）
换算下来：每节省1ms延迟，平均损失0.12个百分点mAP，同时增加0.07个误报

这意味着：如果你的业务场景中，漏检一个裂纹的代价远高于多报一个反光点，那么INT4需要谨慎；但若你的核心诉求是“在12ms内扫完流水线每帧，并接受少量人工复核”，INT4就是当前性价比最高的选择。

4. 可视化实证：看图说话，比表格更直观

我们选取一张典型工业图像（含3处细微裂纹、2个焊点、4颗螺丝）进行三档对比。以下描述均为真实输出结果，未做任何PS修饰：

4.1 FP32：基准参考

所有目标均被完整框出，裂纹A/B/C置信度分别为0.82/0.76/0.69
焊点轮廓清晰，六角螺丝头部角度准确
无误报，背景金属反光未触发检测

4.2 INT8：几乎无感

裂纹C置信度降至0.63（仍高于0.5阈值），其余无变化
焊点边缘略软，但不影响定位
新增1处低置信度误报（背景网格线被误判为细线目标，Conf=0.51）

4.3 INT4：边界开始显现

裂纹A：被拆分为两个短段（长度<原长1/3），置信度0.48 →低于默认阈值，直接消失
裂纹B：完整保留，但置信度跌至0.53 → 刚好卡在阈值线上，稍调低阈值即可召回
焊点：圆形结构轻微椭圆化，置信度0.57 → 仍可检出，但抗干扰能力下降
新增3处误报：2处金属划痕（Conf=0.42/0.39）、1处阴影边缘（Conf=0.45）

关键观察：INT4并未“全面崩坏”，而是在特定脆弱模式上出现确定性退化——这种退化可预测、可规避、可补偿。

5. 实战建议：不是“用不用INT4”，而是“怎么用好INT4”

基于2176张图的实测数据，我们提炼出3条可立即落地的策略，无需改模型、不增加硬件：

5.1 动态阈值不是摆设：把它用成“精度调节旋钮”

EagleEye前端的Sensitivity滑块，在INT4模式下价值陡增：

设为High（0.6+）：专注高置信目标（如灭火器、安全帽），误报率回归FP32水平，适合终检环节
设为Medium（0.4~0.55）：平衡漏检与误报，覆盖85%常规目标，推荐产线实时监控默认档位
设为Low（<0.4）：主动召回脆弱目标（裂纹/焊点），配合人工复核界面，将INT4作为“初筛引擎”

实测：Medium档位下，INT4的mAP@0.5回升至66.2%，误报率压至0.98，逼近INT8水平。

5.2 小目标专项增强：两行代码的事

针对<32px目标衰减严重的问题，我们在预处理层加入轻量级超分模块（ESPCN轻量版，仅0.3M参数）：

输入：原始1920×1080图 → 裁剪出含小目标的ROI区域（约256×256）
超分：2×放大 → 送入INT4模型 → 后处理按比例缩回原图坐标
效果：裂纹检测率从26.8%提升至34.1%，推理总延迟仍控制在12.9ms以内

5.3 误报过滤：用规则兜底，比重训更高效

对INT4高频误报类型（金属划痕、网格线、阴影边缘），构建极简规则引擎：

# 示例：过滤细长低对比度误报 def filter_sliver_detections(dets, img): filtered = [] for det in dets: x1, y1, x2, y2, conf, cls = det w, h = x2-x1, y2-y1 if w < 15 or h < 15: # 细长条 roi = img[int(y1):int(y2), int(x1):int(x2)] if np.std(roi) < 12: # 低纹理区域 continue # 直接丢弃 filtered.append(det) return filtered

实测：该规则过滤掉68%的INT4新增误报，且不误杀真实小目标。

6. 总结：INT4不是精度妥协，而是工程智慧的再分配

EagleEye在INT4量化下的实测，给出的不是一个简单的“能用/不能用”答案，而是一份可操作的精度-延迟-鲁棒性三维权衡地图：

它确认了INT4的能力边界：对纹理丰富、结构规整的目标近乎无损；对微弱、细长、低对比目标存在确定性衰减。
它验证了轻量级补偿策略的有效性：动态阈值调节、ROI超分、规则过滤，三者叠加可让INT4在12ms内达成接近INT8的实用精度。
它揭示了真正的瓶颈不在比特数，而在特征表达的保真度：TinyNAS的紧凑结构本身已极大缓解了量化损伤，下一步优化应聚焦于激活分布校准与小目标特征增强，而非盲目追求更低比特。

如果你正在为边缘端部署发愁，别急着放弃INT4——先看看你的场景里，哪些目标真正“怕”它；再试试那几行轻量代码，或许11.6ms的延迟，刚好就是你产线升级的临界点。