用拼图基准测试VLM空间推理：从评测设计到工程实践的完整指南

多模态大模型（VLM）看起来已经能识图、问答、聊天，但一旦放进需要空间关系的任务，比如判断缺失拼图块位置、识别旋转后的碎片，很多模型的表现会立刻变得非常不可靠。与其在真实业务中被这类问题坑一次，不如提前用一套低成本评测集把模型的“空间推理成色”测出来。本文将围绕一个极简拼图评测基准展开，先说明为什么拼图适合暴露 VLM 的弱点，再逐步拆解评测任务设计、提示词方案、Python 调用代码、判分规范，最后给出当前 VLMs 在空间推理上的典型失败模式与工程层改进建议。无论你是在做模型选型，还是在为项目接入多模态能力，这篇文章都能帮你建立一条可复现的“空间推理体检”流程。

需要说明的是，本文并不是在介绍某个已经发布的官方 Benchmark，而是要和你一起快速搭建一个最小可用评测原型。我们可以把它理解成一套“拼图版空间推理体检用例集”，后续你可以按自己的业务场景继续往外扩。

1. 为什么用拼图来考验多模态大模型

1.1 空间推理：VLM 最容易“翻车”的能力

目前主流多模态大模型的优势集中在“语义理解”上：给它一张产品图，它能告诉你这是什么；给它一张报表截图，它能总结关键数字；给它一张漫画，它能讲出叙事逻辑。这类任务本质上依赖的是训练阶段见过的海量图文对，模型学会了把图像区域与语言概念进行对齐。可是“空间推理”不一样，它要求模型对图像中的几何位置、方向关系、遮挡关系、局部与整体的映射进行实时计算。比如判断“沙发左边柜子上放着什么”，很多 VLM 都能答对，但换成判断“一个 3×3 网格图中被挖掉的区域应该对应第几号格子”时，模型往往需要先理解网格坐标系，再把像素位置映射到抽象的格子编号上，整个过程没有现成的语言先验可以“兜底”。

这种差异很容易被日常 Demo 掩盖。大家拍照、提问、获得一个流畅回答，第一感觉是“模型真的很强”。可一旦进入需要精确位置判断的工程场景，比如文档版面还原、商品摆放审核、AR 辅助标记、图形化界面自动化测试，空间推理能力的短板就会立刻暴露出来。于是我们迫切需要一种对空间能力敏感、又方便人工验证的测试任务。

1.2 拼图任务为什么比普通 VQA 更适合做试金石

拼图是人类非常熟悉的游戏，哪怕是小孩子也能通过观察碎片的边缘、颜色、图案方向完成拼接。它的每一步几乎都在使用空间推理，却又不需要太多专业背景知识。因此拼图是评测空间推理的理想载体，原因有三点。

第一，它无法靠“背答案”解决。你很难在网上找到足够多的“3×3 拼图缺一块”图文样本让模型硬记住，模型必须真实地感知画面结构。第二，它天然包含多项子能力，比如局部特征识别、旋转不变性判断、相对位置建模、全局组合规划，评测可以拆得很细。第三，构造拼图样本的成本很低，用一张普通图片和几行 Python 代码就能生成大量用例，非常适合作为自建评测集。

对比一下常见的 VQA 空间问题，比如“球是不是在桌子上面”。这类问题模型往往可以从语言统计规律或者主体关系先验中猜出答案，并不一定真正理解了空间关系。拼图任务要求模型把视觉内容和布局位置结合起来判断，能有效减少瞎猜的空间。

1.3 这类评测和已有通用基准有什么不同

目前常见的多模态基准大多偏向“知识问答”和“整体图文理解”。例如部分综合基准会问图片里发生了什么、某个物体属于什么类别，这类题目考察的是视觉识别与知识推理的融合能力。真正考察几何空间推理的题目占比偏低，而且很多题目仍然以“物体 A 在物体 B 的左边”这类相对位置关系为主。

相对位置关系题虽然也有价值，但它有两个不足。一方面答案选项通常只有上下左右几个方向，模型即使没有精细坐标感知，也能靠语言先验蒙对。另一方面，这类题目缺少“像素级匹配”的成本，模型不需要把某一块内容从旋转后的状态中重新识别出来。本文设计的拼图评测正好补上这块空白，它要求模型做到网格位置编号、局部内容识别、旋转变换判断等多个步骤叠加，是更高阶的空间结构推理任务。

2. 拆解拼图评测背后的 4 项空间子能力

2.1 局部图案识别能力

拼图的第一步通常是从一堆碎片中找到属于目标区域的那一块。这时模型需要判断碎片中的颜色分布、纹理、边缘是否与完整图中的某个局部区域一致。这与图像检索有些类似，但不同的是，完整图往往已经被切割，模型看到的不是整张原图，而是若干独立碎片，所以它必须对局部信息足够敏感。

实际测试时，一个很常见的现象是模型能正确描述碎片上的图案内容，却无法确定它在原图中的具体位置。这说明“识别出图案”和“为图案定位”是两种不同的能力。普通 VQA 测试往往会忽略这种差异，拼图任务则可以把二者分开观察。

2.2 旋转与翻转不变性

拼图碎片经常经过旋转，玩家需要在大脑中把碎片旋转到正确角度再匹配。对 VLM 来说，旋转不变性是一个相当棘手的问题。模型的视觉编码器会把图像切分成若干 Patch，这些 Patch 在空间上的相对位置会被加入位置编码，但当一个局部区域旋转 90 度或 180 度后，Patch 序列的空间分布会发生明显变化，模型并不总是能自动对齐。

评测时如果只让模型判断“某一块来自哪个格子”，而不告诉它该块旋转过，模型可能会因为看到的方向不一致而答错。这提醒我们，空间推理评测不能只设计“原封不动”的题目，要把旋转、翻转这类几何变换作为关键变量放进去。

2.3 相对位置与坐标建模

拼图还考察模型是否能理解“第几行第几列”这类结构坐标。假设一张图被平均切成 3×3 网格，模型需要根据灰色空缺区域的像素位置推算它对应第几号格子。这要求模型能识别九宫格边界，能把屏幕坐标空间映射到抽象编号空间，还要具备“行列顺序”的推理能力。

对于人类来说，这是几乎是自动完成的事情，但模型很容易出现行列混淆。有些模型会高概率把“第二行第一列”错说成“第一行第二列”，说明它对水平和垂直方向的编码并不对称。这种错误在业务场景中可能造成较大影响，比如自动排版工具把左侧元素和上方元素搞混。

2.4 全局组合规划能力

真实拼图往往需要结合边缘、角落、颜色过渡来做全局规划，而不是只看单独一块碎片。对 VLM 而言，这类任务需要模型在多个空间线索之间做联合推理。比如一块碎片包含圆形的左侧边缘，模型需要判断这个圆形在完整图中的大致范围，再进一步推理出该碎片属于哪个网格位置。

全局组合规划能力的评测样本通常更难构造，但它是空间推理天花板的重要组成部分。哪怕一个模型能答对“缺的是第几号格子”，也不代表它能完成“把两块碎片的边缘完美拼合”这种连续性任务。因此在一个完善的拼图评测集中，我们应该逐步增加题目难度，从单格匹配上升到多格拼接。

3. 评测环境准备与总体设计

3.1 运行环境说明

本文的示例代码使用 Python 实现，依赖相对简单，建议使用 Python 3.9 以上版本。构造拼图图片需要 Pillow 库，调用多模态大模型接口需要安装 OpenAI SDK，因为目前不少大模型服务平台都提供 OpenAI 兼容接口。如果不想装额外 SDK，也可以直接用 requests 发送 HTTP 请求，核心逻辑是相同的。

依赖安装建议放在虚拟环境中执行，避免污染系统 Python。如果你使用的是国产大模型平台，还需要确认它的视觉接口是否兼容 OpenAI 的 messages 格式，不兼容的地方按官方文档调整即可。版本方面不需要过度纠结，本文代码没有依赖特别新的 API 特性，重点放在评测思路。

pip install pillow pip install openai

3.2 评测流程总览

整个评测流程不需要搭建复杂服务，核心分为四步。第一步是准备评测图片，我们可以用程序自动生成带网格结构的合成图片，也可以准备一批真实图片，但要注意图片的授权和隐私问题，不能随便把内部资料上传到在线模型服务。第二步是根据拼图任务生成提示词，把图片和问题一起发送给被测模型。第三步是接收模型返回结果并解析答案。第四步是把预测结果和真实标签对比，按任务维度统计准确率。

3.3 数据目录结构

为了方便管理评测样本，建议把生成脚本、评测脚本、图片和标签分开存放。下面是一个简单目录结构：

puzzle-eval/ ├── generate_puzzle.py ├── run_puzzle_eval.py ├── data/ │ ├── grid_missing/ │ │ ├── case_001.png │ │ └── labels.json │ └── rotation_match/ │ ├── case_001.png │ └── labels.json └── result/ └── eval_report.json

其中“data/grid_missing”存放缺块定位题目，“data/rotation_match”存放旋转碎片匹配题目。labels.json 记录每道题的正确答案以及图片文件路径，评测脚本直接读取它即可。这样一个结构即便后续扩展到更多任务类型，也能保持清晰的层次。

4. 动手实现一个极简拼图评测基准

4.1 使用 Pillow 自动生成拼图用例

下面我们来实现拼图用例生成脚本。为了让评测样本足够干净，并避免原图本身包含太多语言文字干扰，程序会先用 Pillow 绘制一张由圆形、矩形、三角形等几何图形组成的合成图片。合成图的好处是版权安全、可复现、容易被人工校验，后续替换成真实图片也完全可行。

# 文件路径：puzzle-eval/generate_puzzle.py import os import json import random import argparse from PIL import Image, ImageDraw GRID = 3 CELL_W = 200 CELL_H = 200 IMG_W = GRID * CELL_W IMG_H = GRID * CELL_H def create_source_image(seed=0): """生成一张合成的几何图形图片，作为拼图切割的原图。""" rnd = random.Random(seed) img = Image.new("RGB", (IMG_W, IMG_H), "white") draw = ImageDraw.Draw(img) # 画一个跨越网格的大圆 cx, cy, radius = rnd.randint(150, 250), rnd.randint(120, 200), 110 draw.ellipse([cx - radius, cy - radius, cx + radius, cy + radius], fill=(70, 120, 220), outline=(30, 60, 120), width=4) # 画一个跨越右侧列的大矩形 x0, y0, x1, y1 = 360, 260, 520, 450 draw.rectangle([x0, y0, x1, y1], fill=(230, 160, 60), outline=(150, 90, 20), width=4) # 画一个靠近左下角的三角形 draw.polygon([(80, 420), (260, 520), (70, 540)], fill=(70, 180, 100), outline=(20, 100, 50)) # 画一条斜线，增加方向性信息 draw.line([(60, 80), (500, 460)], fill=(200, 60, 60), width=16) # 随机散布一些小圆点，让每个局部区域都有可区分的纹理 for _ in range(80): px = rnd.randint(0, IMG_W - 1) py = rnd.randint(0, IMG_H - 1) color = (rnd.randint(80, 220), rnd.randint(80, 220), rnd.randint(80, 220)) draw.ellipse([px, py, px + 4, py + 4], fill=color) return img def draw_grid_line(img, grid=GRID): """在图片上画网格线，方便模型理解行列边界。""" draw = ImageDraw.Draw(img) for i in range(1, grid): x = i * CELL_W draw.line([(x, 0), (x, IMG_H)], fill=(0, 0, 0), width=2) y = i * CELL_H draw.line([(0, y), (IMG_W, y)], fill=(0, 0, 0), width=2) draw.rectangle([0, 0, IMG_W - 1, IMG_H - 1], outline=(0, 0, 0), width=3) return img def make_grid_missing_case(src_img, target_id, save_path): """生成“缺块定位”题目：将 3x3 网格中的某一块置灰。""" img = src_img.copy() draw = ImageDraw.Draw(img) row, col = divmod(target_id - 1, GRID) x0 = col * CELL_W + 2 y0 = row * CELL_H + 2 x1 = (col + 1) * CELL_W - 3 y1 = (row + 1) * CELL_H - 3 draw.rectangle([x0, y0, x1, y1], fill=(200, 200, 200)) draw_grid_line(img) img.save(save_path) def make_rotation_match_case(src_img, target_id, angle, save_path): """生成“旋转匹配”题目：把某一块旋转 angle 度后放在右侧。""" left = src_img.copy() draw_grid_line(left) row, col = divmod(target_id - 1, GRID) box = (col * CELL_W, row * CELL_H, (col + 1) * CELL_W, (row + 1) * CELL_H) piece = src_img.crop(box).rotate(angle, expand=True) gap = 30 panel_w = left.width + gap + piece.width + 40 panel_h = max(left.height, piece.height) + 40 panel = Image.new("RGB", (panel_w, panel_h), (245, 245, 245)) panel.paste(left, (20, 20)) px = left.width + gap + 20 py = (panel_h - piece.height) // 2 panel.paste(piece, (px, py)) draw = ImageDraw.Draw(panel) draw.rectangle([px - 2, py - 2, px + piece.width + 1, py + piece.height + 1], outline=(0, 0, 0), width=3) panel.save(save_path) if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--num", type=int, default=20) parser.add_argument("--out", type=str, default="data") args = parser.parse_args() os.makedirs(f"{args.out}/grid_missing", exist_ok=True) os.makedirs(f"{args.out}/rotation_match", exist_ok=True) grid_labels = [] rotation_labels = [] angles = [90, 180, 270] for i in range(args.num): src = create_source_image(seed=i) missing_id = random.randint(1, GRID * GRID) grid_path = f"{args.out}/grid_missing/case_{i:04d}.png" make_grid_missing_case(src, missing_id, grid_path) grid_labels.append({"image": grid_path, "answer": str(missing_id)}) rot_id = random.randint(1, GRID * GRID) angle = random.choice(angles) rot_path = f"{args.out}/rotation_match/case_{i:04d}.png" make_rotation_match_case(src, rot_id, angle, rot_path) rotation_labels.append({ "image": rot_path, "answer": str(rot_id), "angle": angle }) with open(f"{args.out}/grid_missing/labels.json", "w", encoding="utf-8") as f: json.dump(grid_labels, f, ensure_ascii=False, indent=2) with open(f"{args.out}/rotation_match/labels.json", "w", encoding="utf-8") as f: json.dump(rotation_labels, f, ensure_ascii=False, indent=2) print("生成完成") print(f"grid_missing: {args.num} 道题") print(f"rotation_match: {args.num} 道题")

运行下面命令即可生成两组测试样本：

python generate_puzzle.py --num 20 --out ./data

脚本会把 20 道“缺块定位”题目和 20 道“旋转匹配”题目保存到 data 目录，并在每个子目录下生成 labels.json。生成结果里每张图片都已经包含网格线，模型不需要额外理解“网格边界在哪里”，而是要把可视网格位置映射成编号。

4.2 构造空间推理问题

评测题目不是简单地把图丢给模型，而是要设计清晰的问题模板。对缺块定位任务，问题应该明确说明“3×3 网格、从左到右从上到下编号、灰色区域是缺失块”，这样能降低模型对指令理解的误差，尽量把误差集中在空间推理本身。如果不写清楚，模型在理解问题阶段就可能失败，最终准确率低不能完全归因于空间推理能力。

对旋转匹配任务，问题模板需要强调右图可能被旋转过，要求模型判断它对应左图哪个格子。如果有必要，还可以让模型同时回答旋转角度，但那样会引入额外的输出解析难度，建议先作为进阶选项。

4.3 调用 VLM 接口获取回答

现在编写评测脚本。本文使用 OpenAI 兼容接口来封装多模态输入，文本内容使用 text 类型消息，图片内容使用 image_url 类型消息并填入 base64 编码。如果你的模型服务不支持这种格式，请以服务商文档为准，但整体思路是相通的。

# 文件路径：puzzle-eval/run_puzzle_eval.py import os import re import json import base64 import argparse from openai import OpenAI def encode_image(image_path): with open(image_path, "rb") as f: return base64.b64encode(f.read()).decode("utf-8") def build_messages(image_path, prompt): base64_image = encode_image(image_path) return [ { "role": "user", "content": [ {"type": "text", "text": prompt}, { "type": "image_url", "image_url": { "url": f"data:image/png;base64,{base64_image}" }, }, ], } ] TASK_PROMPT = { "grid_missing": ( "图中是一张被平均分成 3×3 网格的图片，其中一个格子被灰色覆盖。" "如果按照从左到右、从上到下的顺序给格子编号 1 到 9，" "请判断灰色格子应该是第几号？只输出一个数字，不要输出解释。" ), "rotation_match": ( "左图是一张被平均分成 3×3 网格的图片。右图是左图中某个格子对应的碎片，" "但该碎片可能经过旋转。请判断右图碎片原本属于左图的第几号格子？" "格子编号按照从左到右、从上到下的顺序为 1 到 9。只输出一个数字。" ), } def parse_answer(text): if not text: return "" m = re.search(r"\d+|[A-Da-d]", text) return m.group(0).upper() if m else "" def format_error(e): return f"{type(e).__name__}: {str(e)[:200]}" def run_task(client, model, labels, task_name, temperature=0.0): correct = 0 total = len(labels) failed = 0 details = [] for item in labels: prompt = TASK_PROMPT[task_name] messages = build_messages(item["image"], prompt) try: resp = client.chat.completions.create( model=model, messages=messages, temperature=temperature, max_tokens=20, ) raw = resp.choices[0].message.content or "" except Exception as e: failed += 1 details.append({ "image": item["image"], "label": item["answer"], "pred": "", "raw": "", "error": format_error(e), }) continue pred = parse_answer(raw) is_correct = pred == item["answer"] correct += int(is_correct) details.append({ "image": item["image"], "label": item["answer"], "pred": pred, "raw": raw.strip(), "correct": is_correct, }) accuracy = correct / total if total else 0.0 return { "task": task_name, "total": total, "correct": correct, "accuracy": round(accuracy, 4), "failed": failed, "details": details, } if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--task", choices=["grid_missing", "rotation_match", "all"], default="all") parser.add_argument("--model", default="gpt-4o-mini") parser.add_argument("--api-base", default=None) parser.add_argument("--api-key", default=None) parser.add_argument("--data", default="data") parser.add_argument("--out", default="result/eval_report.json") args = parser.parse_args() client_kwargs = {} if args.api_key: client_kwargs["api_key"] = args.api_key if args.api_base: client_kwargs["base_url"] = args.api_base client = OpenAI(**client_kwargs) os.makedirs(os.path.dirname(args.out), exist_ok=True) reports = [] tasks = ["grid_missing", "rotation_match"] if args.task == "all" else [args.task] for task in tasks: label_path = os.path.join(args.data, task, "labels.json") with open(label_path, "r", encoding="utf-8") as f: labels = json.load(f) report = run_task(client, args.model, labels, task) reports.append(report) print(f"{task}: total={report['total']}, " f"correct={report['correct']}, " f"accuracy={report['accuracy']}, failed={report['failed']}") with open(args.out, "w", encoding="utf-8") as f: json.dump(reports, f, ensure_ascii=False, indent=2)

运行评测的命令如下。这里的 api-base 需要替换成你所使用服务平台的地址，api-key 也需要通过环境变量或参数传入，建议不要写在脚本里。

python run_puzzle_eval.py \ --task all \ --model your-vlm-model-name \ --api-base https://your-service-endpoint \ --api-key $YOUR_API_KEY \ --data ./data \ --out ./result/eval_report.json

需要注意，调用在线模型服务时，一定要确认上传图片不包含敏感或未授权信息，这是基本的合规要求。评测脚本只是骨架，如果被测平台使用完全不同的协议，你只需要改造 build_messages 函数，让图片以平台要求的格式提交。

4.4 答案解析与自动判分

空间推理评测的自动判分看似简单，实际有不少细节。如果把“只输出一个数字”写进提示词，大多数模型会遵守，但仍可能出现“答案是5”“5号格子”这类多余文本，所以脚本里用正则提取第一个数字。如果未来扩展成多选题，也可以把判断逻辑改成匹配 A/B/C/D 选项字母。

自动判分还要考虑模型不遵守输出格式的情况。有些模型会输出解释性文字，包含多个数字，正则提取到的第一个数字可能并不是最终答案。因此更稳妥的做法是在评测中增加二次解析规则或者人工抽检，尤其当准确率接近临界值时，人工确认能避免误判。

4.5 跑通一次完整评测

跑通完整评测后，终端会输出类似下面的信息，注意这只是示例格式，不是某个模型的真实成绩：

grid_missing: total=20, correct=6, accuracy=0.3, failed=0 rotation_match: total=20, correct=11, accuracy=0.55, failed=0

从结果中我们能看到两个任务的难度差异。缺块定位题要求模型把位置映射成编号，旋转匹配题则额外要求模型在旋转状态下做内容匹配，难度通常更高。如果你的模型在缺块定位上准确率也很低，说明模型的基础空间锚定能力偏弱，后续再提升提示词可能也无济于事。

5. 评测维度的设计：别让模型“蒙对”

5.1 四选一 vs 开放式回答

有些评测为了方便判分，会把空间推理题做成四选一。这种方式在人工评测中很方便，但在自动评测中容易引入猜测概率。比如四个选项下盲猜准确率是 25%，如果模型正确率只有 30%，我们很难判断它究竟是具备了一点能力，还是仅仅靠选项分布碰运气。

所以更推荐混合设计。缺块定位题本身是 1 到 9 的数字输出，天然属于开放式回答，盲猜概率相对低。旋转匹配题也可以设计成 9 选 1 的数字回答，并要求模型只输出数字。这样一来，准确率低于 20% 时可以基本判断模型不具备稳定能力，高于 50% 时则说明它已经能处理简单的空间位置映射，这样的结果更有区分度。

5.2 选项顺序打乱与随机扰动

如果说有什么方法能快速判断模型是否依赖“位置选项分布”来作答，那就是把选项顺序打乱。例如我们可以在展示候选格子时使用随机的编号映射，让模型不能简单地按“第一行是1、第二行是2”的固定规律猜答案。

另一种随机扰动是改变源图的色调。很多 VLM 对颜色非常敏感，如果题目换成灰度图后模型准确率大幅下降，说明它更多依靠颜色区域匹配而不是几何结构匹配。这在空间推理测评里是一个值得记录的重要结论：有些模型看起来空间推理不错，实际是“记忆颜色分布”的结果。

5.3 评测 prompt 模板参考

为了保持评测的公平性，建议所有题目都使用同一套提示词模板，不要针对每个模型反复改写。模板要有一个清晰的规则声明、一个输出限制、一个要求。评测想要的不是模型“聪明地猜出用户意图”，而是它能否在明确指令下稳定完成任务，因此提示词应该足够中性。

这里给出一个更规范的模板：

你正在参与一个空间推理测试。图片中有一个 3×3 网格，其中部分格子被处理过。 请仔细观察图片，根据题目的描述，判断答案属于第几号格子。 格子编号从左到右、从上到下依次为 1 到 9。 请只输出数字本身，不要输出任何解释性文字。

在真实项目中，模板还会增加“不要推测”“如果没有把握也要给出最可能的答案”之类的要求，避免模型因为犹豫而输出过多无效内容。

6. 实测中常见的坑与排查清单

6.1 高频问题对照表

在拼图评测过程中，会遇到一些比较常见的问题，下面按现象、原因、解决思路整理出来。

6.2 为什么同一张图多次回答不一致

做过 VLM 评测的朋友可能都有类似体验：同一张图、同一个问题，把 temperature 调成 0 后，多数模型给出的答案仍然可能不一样。这里的差异既来自模型内部的采样逻辑，也可能来自服务端是否真正开启了随机种子等参数。更关键的是，很多空间推理任务会让模型在几个候选答案之间犹豫，即使采样概率只差一点点，输出也可能跳到另一个数字。

因此在最终统计时，建议每个样本重复调用 3 到 5 次，取多数答案作为最终预测。如果多次结果都不一致，说明模型对这张图并没有形成稳定判断，这类样本应该单独标记为“不稳定样本”，它的存在本身就是一种评测结论。

6.3 如何判断是模型不会，还是提示词没写好

评测新手最容易犯的错误是：模型答错就下结论说“模型空间推理不行”，但实际可能是提示词没写清楚。要排除这种干扰，需要做一个“人类基线对照”。找一位不了解模型输出的同事，只给他看图片和提示词，让他回答同样的问题。如果人类在不额外解释的情况下能轻松答对，说明提示词本身是可理解的，模型回答失败可以归因于视觉空间能力不足。

尤其要注意的是，不要在提示词里使用容易产生歧义的句子。比如“请判断右图碎片原本属于左图的第几号格子”，这句话就比“哪块碎片属于哪个位置”更明确。同时要避免在提示词中暴露正确答案的暗示，比如“灰色区域旁边的格子编号是多少”这类表达会额外引导模型。

7. 从拼图评测看当前 VLMs 的空间推理硬伤

7.1 典型失败模式

通过拼图测试，我们通常会观察到几类典型失败。第一类是“能看见却说不清位置”，模型会正确描述图片中有圆形、有矩形，但当问题聚焦在第几号格子时，它就答不出正确编号；第二类是“行列混淆”，模型能把回答收敛到 1 到 9，但经常把目标格子的行和列搞反；第三类是“颜色依赖”，当任务图变成灰度图，或者源图中颜色对比度下降，准确率明显下降；第四类是“旋转失配”，模型在旋转 90 度后几乎无法正确匹配，只有在旋转 0 度或 180 度这种更容易通过全局形状判断的情况下才能答对。

这些失败模式说明了同一个核心问题：当前不少 VLM 的空间表征仍然偏“语义化”，而不是“几何结构化”。它可能记住了“左上角有一块蓝色圆形区域”这种语义描述，但并没有真正建立可计算的像素坐标与几何变换模型。

7.2 硬伤的模型层原因

把模型层原因拆开看，主要有三点。一是图像被切分为 Patch 后，编码器相对更关注局部语义区域，跨区域的全局位置关系并没有被显著强化，因此模型很难在脑中维护一个 Consistent 的网格坐标图。二是训练数据里自然图片远多于几何拼图类图片，模型对“网格编号映射”这类任务接触很少，空间推理更多依赖模型在推理时临时组织，稳定性自然不足。三是语言先验的“兜底效应”，许多空间问题都能通过“通常某某在某某上方”这类粗粒度先验得到大致正确的回答，这种假象在拼图任务中消失了，于是模型的真实能力暴露出来。

7.3 对落地应用的三点警示

如果你正在把多模态大模型集成到自己的产品中，以下几点建议值得记下来。第一，不要假设 VLM 能稳定完成像素级定位。凡是需要精确边界、坐标、行列关系判断的功能，都应该增加检测模型或传统计算机视觉方法作为保底。第二，不要把“模型能描述场景”等同于“模型能理解空间”，线上使用前必须用你的业务样本做针对性评测。第三，当任务涉及图像旋转、镜像等几何变换时，最好在评测集里加入这些扰动，否则很可能上线后才发现模型在真实数据上表现不佳。

8. 改进方向与工程实践建议

8.1 评测侧：更严格的空间任务设计

如果想把这套拼图评测做成更可信的空间推理基准，单靠两类任务还不够。可以在现有基础上增加以下维度。

第一，加入边缘连续性判断任务，让模型判断两块碎片是否能严丝合缝地拼在一起，模型不仅要关注颜色，还要关注纹理渐变方向。第二，加入噪声与遮挡扰动，在拼图碎片上叠加轻微噪点或遮挡条，考察模型是否仍然能完成匹配。第三，增加负样本比例，让一部分题目没有正确答案，例如所有候选碎片都不匹配目标空缺，这时模型若能正确回答“没有匹配项”，说明它对“是否匹配”有真实判断，而不是在所有候选中硬选一个。

8.2 模型侧：补空间推理能力的可行路线

从模型训练角度看，合成数据是提升空间推理性价比最高的手段之一。我们可以把一张图随机切割、旋转、翻转、换位，自动生成海量带标签的训练样本。这种数据不需要人工标注，量级可以做得非常大。模型在训练阶段见过更多“旋转后如何匹配原位置”的样本后，可能对空间变换建立更鲁棒的表征。

另一种路线是把空间推理与代码执行结合起来。比如遇到拼图匹配需求时，模型先识别图上几块关键区域，再生成调用图像处理库的代码，由外部