OCR检测框不准？cv_resnet18_ocr-detection坐标输出详解-编程实验室

OCR检测框不准？cv_resnet18_ocr-detection坐标输出详解

1. 为什么检测框“不准”——先理解坐标到底是什么

很多人第一次看到cv_resnet18_ocr-detection输出的boxes字段时会愣住：[21, 732, 782, 735, 780, 786, 20, 783]这八个数字，到底代表什么？为什么框看起来歪了、偏了、大了或小了？别急——这根本不是模型“不准”，而是你还没读懂它的语言。

这个模型输出的不是常见的矩形框（x, y, width, height），也不是旋转矩形（cx, cy, w, h, angle），而是四点顺时针多边形坐标，也就是 OCR 领域最通用的quadrilateral box（四边形检测框）。它用 4 个顶点（共 8 个数值）精确描述文字区域的真实形状，哪怕文字是倾斜、弯曲、透视变形的，也能准确贴合。

我们来拆解这个例子：

"boxes": [[21, 732, 782, 735, 780, 786, 20, 783]]

它对应一个四边形，四个顶点按顺时针顺序排列为：

点1：(21, 732)→ 左上角（实际可能是左顶点）
点2：(782, 735)→ 右上角
点3：(780, 786)→ 右下角
点4：(20, 783)→ 左下角

关键提醒：这不是 bug，是 feature。传统矩形框在处理倾斜文本（比如斜拍的发票、旋转的招牌）时必然“包不全”或“框太松”，而四点坐标能真正实现像素级贴合。

如果你用 OpenCV 直接画矩形cv2.rectangle(img, (x,y), (x+w,y+h), ...)去可视化，那当然“不准”——你是在用方形工具强行套椭圆，结果自然失真。正确做法是用cv2.polylines()或cv2.fillPoly()绘制四边形。

1.1 四点坐标的物理意义与常见误区

误区	正确认知	后果
“前两个数是左上角，后两个是右下角”	❌ 完全错误。这是 8 个数，代表 4 个点	画出完全错位的框，误判模型效果
“坐标原点在图片中心”	❌ 原点永远是左上角（0,0），x 向右增大，y 向下增大	框整体偏移、翻转
“数值太大/太小说明模型有问题”	❌ 数值大小只和输入图像分辨率相关。输入图是 1920×1080，坐标就大；缩放到 640×480，坐标就小	白白调参，浪费时间

简单说：坐标本身没有“准”或“不准”，只有“用对方法”和“用错方法”的区别。下面我们就手把手带你把“不准”变成“刚刚好”。

2. 从原始输出到精准可视化：三步落地实操

光知道理论不够，你得马上能用。下面这段代码，就是专为cv_resnet18_ocr-detection的 JSON 输出定制的——复制粘贴就能跑，零依赖（仅需 OpenCV 和 NumPy）。

2.1 第一步：加载并解析 JSON 结果

假设你已通过 WebUI 得到result.json，内容如下（简化版）：

{ "image_path": "/tmp/test.jpg", "texts": [["发票号：NO.2024001"], ["金额：¥1,299.00"]], "boxes": [[120, 85, 520, 88, 518, 132, 118, 129], [135, 210, 480, 213, 478, 255, 133, 252]], "scores": [0.97, 0.94] }

Python 解析脚本：

import json import cv2 import numpy as np # 1. 读取 JSON with open("result.json", "r", encoding="utf-8") as f: result = json.load(f) # 2. 读取原图 img = cv2.imread(result["image_path"]) # 3. 提取 boxes（每个 box 是长度为 8 的 list） boxes = result["boxes"] # 类型：list[list[int]]

2.2 第二步：将 8 个数字转为 OpenCV 可绘图的点阵

这是最关键的转换。OpenCV 的polylines要求输入是np.array，形状为(n, 1, 2)，其中n是点数（这里是 4），每个点是[x, y]。

# 对每个 box 执行转换 for i, box in enumerate(boxes): # 将 [x1,y1,x2,y2,x3,y3,x4,y4] 转为 [[x1,y1], [x2,y2], [x3,y3], [x4,y4]] pts = np.array([ [box[0], box[1]], # 点1 [box[2], box[3]], # 点2 [box[4], box[5]], # 点3 [box[6], box[7]] # 点4 ], dtype=np.int32) # 调整形状以适配 polylines pts = pts.reshape((-1, 1, 2)) # 绘制四边形（绿色，线宽2） cv2.polylines(img, [pts], isClosed=True, color=(0, 255, 0), thickness=2) # （可选）在左上角顶点写序号 cv2.putText(img, str(i+1), (box[0], box[1]-5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)

2.3 第三步：叠加文本标签，完成专业级标注图

光画框不够直观？我们把识别出的文字也标上去，紧贴框的左上角：

for i, (box, text_list) in enumerate(zip(boxes, result["texts"])): if not text_list: continue text = text_list[0] # 取第一个文本（单行） # 计算框的左上角近似位置（取点1和点4的x最小值，点1和点2的y最小值） x_min = min(box[0], box[6]) y_min = min(box[1], box[3]) # 绘制带背景的文本（提升可读性） (w, h), _ = cv2.getTextSize(text, cv2.FONT_HERSHEY_SIMPLEX, 0.5, 1) cv2.rectangle(img, (x_min, y_min - h - 5), (x_min + w, y_min), (0, 255, 0), -1) cv2.putText(img, text, (x_min, y_min - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 1) # 保存结果 cv2.imwrite("detection_visualized.png", img) print(" 标注图已保存：detection_visualized.png")

运行后，你会得到一张文字框严丝合缝、标签清晰可读的检测结果图——这才是cv_resnet18_ocr-detection真正的实力。

3. 坐标不准的四大真实原因与针对性解决方案

现在你知道怎么画了，但实践中仍可能遇到“明明画对了，框还是看起来歪/偏/大”。别怀疑模型，90% 是以下四个原因导致的：

3.1 原因一：输入图像被 WebUI 自动缩放，但坐标未反算

WebUI 为了加速推理，会将大图等比缩放至短边为 800 像素（默认配置），然后送入模型。模型输出的是缩放后图像上的坐标，而你直接画在原图上，必然错位。

解决方案：做坐标反向映射

# 假设原图尺寸 orig_h, orig_w = 2160, 3840 # WebUI 缩放后尺寸（可通过日志或 config 查到，常见为 800x?） resized_h, resized_w = 800, int(800 * orig_w / orig_h) # 等比缩放 # 对每个 box 坐标进行放大 for box in boxes: for j in range(0, 8, 2): # x 坐标：索引 0,2,4,6 box[j] = int(box[j] * orig_w / resized_w) for j in range(1, 8, 2): # y 坐标：索引 1,3,5,7 box[j] = int(box[j] * orig_h / resized_h)

小技巧：WebUI 的start_app.sh中通常有--input-size参数，或在config.yaml里定义。找到它，你就掌握了缩放比例。

3.2 原因二：检测阈值过低，框包含大量噪声边缘

阈值0.2是平衡点，但对干净文档可能太高（漏检），对手写体又可能太低（把纸纹、阴影当文字）。过低阈值会让模型“宁可错杀三千”，输出大量细碎、不规则的小框。

解决方案：动态过滤 + 形状校验

# 过滤掉面积过小的框（小于 100 像素） filtered_boxes = [] for box in boxes: # 计算四边形面积（Shoelace 公式） x = [box[0], box[2], box[4], box[6]] y = [box[1], box[3], box[5], box[7]] area = 0.5 * abs( x[0]*y[1] + x[1]*y[2] + x[2]*y[3] + x[3]*y[0] - (y[0]*x[1] + y[1]*x[2] + y[2]*x[3] + y[3]*x[0]) ) if area > 100: # 仅保留面积 >100 的有效框 filtered_boxes.append(box) boxes = filtered_boxes

3.3 原因三：图像存在严重透视畸变，四点框虽准但人眼难判断

比如拍摄斜放的名片，模型输出的四点完美贴合文字边缘，但因为透视关系，人眼会觉得“框是斜的”。这不是不准，是符合物理现实。

解决方案：用透视矫正辅助验证

# 选一个典型框，提取四点 pts_src = np.array([[box[0],box[1]], [box[2],box[3]], [box[4],box[5]], [box[6],box[7]]], dtype="float32") # 定义目标矩形（平整展开后的样子） pts_dst = np.array([[0,0], [200,0], [200,50], [0,50]], dtype="float32") # 计算透视变换矩阵 M = cv2.getPerspectiveTransform(pts_src, pts_dst) # 应用变换，看文字是否被拉直 warped = cv2.warpPerspective(img, M, (200, 50)) cv2.imwrite("warped_text.png", warped) # 你会看到文字变正了！

3.4 原因四：坐标顺序混乱（非顺时针），导致绘制扭曲

极少数情况下，因后处理 Bug 或版本差异，输出的 8 个数顺序错乱（如按逆时针或随机），画出来就是蝴蝶结。

解决方案：强制重排序为顺时针

def sort_points_clockwise(pts): """pts: list of 4 [x,y] -> return sorted list""" # 计算中心点 center = np.mean(pts, axis=0) # 计算每个点相对于中心的角度 angles = [] for pt in pts: angle = np.arctan2(pt[1] - center[1], pt[0] - center[0]) angles.append(angle) # 按角度排序（从 -π 到 π，自然形成顺时针） sorted_pts = [pt for _, pt in sorted(zip(angles, pts))] return sorted_pts # 使用示例 for i, box in enumerate(boxes): pts = [[box[0],box[1]], [box[2],box[3]], [box[4],box[5]], [box[6],box[7]]] pts_sorted = sort_points_clockwise(pts) # 重新组装为 8 个数的 list boxes[i] = [coord for pt in pts_sorted for coord in pt]

4. 进阶技巧：让坐标输出更“好用”

除了画框，你可能还需要坐标做后续处理：比如裁剪文字区域、计算文字行高、对接业务系统。这里提供三个高频需求的即用代码片段。

4.1 需求一：批量裁剪所有文字区域为独立图片

for i, box in enumerate(boxes): pts = np.array([ [box[0], box[1]], [box[2], box[3]], [box[4], box[5]], [box[6], box[7]] ], dtype=np.float32) # 计算最小外接矩形（axis-aligned bounding box） x_coords = [p[0] for p in pts] y_coords = [p[1] for p in pts] x_min, x_max = int(min(x_coords)), int(max(x_coords)) y_min, y_max = int(min(y_coords)), int(max(y_coords)) # 裁剪（加 2 像素边距防截断） crop = img[y_min-2:y_max+2, x_min-2:x_max+2] cv2.imwrite(f"crop_{i+1}.png", crop)

4.2 需求二：将四点坐标转为标准矩形框（兼容老系统）

def quad_to_rect(box): """Convert 8-point quad to 4-point rect [x,y,w,h]""" x_coords = [box[0], box[2], box[4], box[6]] y_coords = [box[1], box[3], box[5], box[7]] x, y = int(min(x_coords)), int(min(y_coords)) w = int(max(x_coords) - x) h = int(max(y_coords) - y) return [x, y, w, h] # 示例 rects = [quad_to_rect(box) for box in boxes] print("标准矩形框：", rects) # 输出：[[118, 85, 402, 47], ...]

4.3 需求三：导出为 PaddleOCR / MMOCR 兼容的 TXT 格式

很多下游工具（如 PaddleOCR 训练）要求.txt标注文件，格式为x1,y1,x2,y2,x3,y3,x4,y4,文本。

with open("paddle_format.txt", "w", encoding="utf-8") as f: for box, text_list in zip(boxes, result["texts"]): if not text_list: continue text = text_list[0].replace(",", "，") # 避免逗号分隔符冲突 line = f"{box[0]},{box[1]},{box[2]},{box[3]},{box[4]},{box[5]},{box[6]},{box[7]},{text}\n" f.write(line) print(" PaddleOCR 格式已导出：paddle_format.txt")