如何导出识别结果？保存为JSON/CSV便于后续分析-编程实验室

如何导出识别结果？保存为JSON/CSV便于后续分析

引言：万物识别的工程落地需求

在当前多模态AI快速发展的背景下，万物识别-中文-通用领域模型作为阿里开源的重要视觉理解工具，正被广泛应用于商品识别、场景理解、内容审核等实际业务中。该模型基于PyTorch 2.5构建，具备强大的细粒度分类能力与中文标签语义表达优势。

然而，在真实项目实践中，仅仅完成图像推理是不够的。我们更需要将识别结果以结构化方式导出，用于数据分析、报表生成或下游系统集成。本文聚焦于这一关键环节——如何高效导出识别结果并保存为JSON/CSV格式，提供可直接运行的代码方案与工程优化建议，帮助开发者实现从“看得见”到“用得上”的跨越。

技术选型背景：为何选择结构化输出？

在未规范处理前，多数开发者仅通过print()查看识别结果，这种方式存在三大痛点：

❌不可追溯：结果无法回溯分析
❌难集成：不能直接对接BI系统或数据库
❌无批量支持：难以处理多图批量推理任务

因此，采用JSON（适合嵌套结构）和CSV（适合表格分析）双格式输出成为最佳实践。JSON保留置信度、层级分类等完整信息，CSV则便于Excel/Pandas进行统计可视化。

完整实现步骤详解

步骤一：环境准备与依赖确认

确保已激活指定Conda环境，并检查/root目录下的requirements.txt是否包含以下核心库：

conda activate py311wwts pip install torch torchvision pandas jsonlines # 如缺失需手动安装

提示：若使用Jupyter Lab左侧文件浏览器，可提前复制文件至工作区：
bash cp 推理.py /root/workspace cp bailing.png /root/workspace

记得更新脚本中的图片路径为新位置。

步骤二：修改原始推理脚本，添加结果捕获逻辑

假设原推理.py输出如下形式的结果字典：

{ "image": "bailing.png", "predictions": [ {"label": "白酒", "confidence": 0.987}, {"label": "酒类饮品", "confidence": 0.965}, {"label": "玻璃瓶装液体", "confidence": 0.891} ] }

我们需要将其封装成可序列化的结构，并支持多图批量处理。

✅ 修改后的完整代码示例

# 导出版 推理.py import torch import json import csv import pandas as pd from pathlib import Path # 假设这是你的预训练模型加载函数（根据实际情况替换） def load_model(): print("Loading 阿里万物识别-中文-通用领域 model...") # 模拟加载过程 return "dummy_model" def infer_image(model, image_path): """模拟单张图片推理，返回中文标签与置信度""" # 这里应接入真实模型 forward 逻辑 # 当前仅为演示构造假数据 if "bailing" in str(image_path): return [ {"label": "白酒", "confidence": 0.987}, {"label": "酒类饮品", "confidence": 0.965}, {"label": "玻璃瓶装液体", "confidence": 0.891} ] else: return [ {"label": "未知类别", "confidence": 0.5} ] def export_to_json(results, output_path="results.json"): """导出为JSON文件，保留完整结构""" with open(output_path, 'w', encoding='utf-8') as f: json.dump(results, f, ensure_ascii=False, indent=2) print(f"✅ JSON结果已保存至: {output_path}") def export_to_csv(results, output_path="results.csv"): """展平结构，导出为CSV用于分析""" rows = [] for res in results: base_info = {k: v for k, v in res.items() if k != 'predictions'} for pred in res['predictions']: row = {**base_info, **pred} rows.append(row) df = pd.DataFrame(rows) df.to_csv(output_path, index=False, encoding='utf_8_sig') # utf_8_sig 支持Excel打开 print(f"✅ CSV结果已保存至: {output_path}") def main(image_paths): model = load_model() all_results = [] for img_path in image_paths: path_obj = Path(img_path) if not path_obj.exists(): print(f"⚠️ 文件不存在: {img_path}") continue preds = infer_image(model, img_path) result = { "image": str(path_obj.name), "timestamp": pd.Timestamp.now().strftime("%Y-%m-%d %H:%M:%S"), "predictions": preds } all_results.append(result) # 批量导出 export_to_json(all_results, "识别结果_结构化.json") export_to_csv(all_results, "识别结果_分析用.csv") if __name__ == "__main__": # 支持多图输入 images = ["bailing.png"] # 可扩展为 ['img1.jpg', 'img2.jpg'] main(images)

步骤三：运行脚本并验证输出

执行命令：

python 推理.py

预期输出：

Loading 阿里万物识别-中文-通用领域 model... ✅ JSON结果已保存至: 识别结果_结构化.json ✅ CSV结果已保存至: 识别结果_分析用.csv

查看生成的`识别结果_结构化.json`

[ { "image": "bailing.png", "timestamp": "2025-04-05 10:20:30", "predictions": [ {"label": "白酒", "confidence": 0.987}, {"label": "酒类饮品", "confidence": 0.965}, {"label": "玻璃瓶装液体", "confidence": 0.891} ] } ]

查看生成的`识别结果_分析用.csv`

| image | timestamp | label | confidence | |-------------|---------------------|---------------|------------| | bailing.png | 2025-04-05 10:20:30 | 白酒 | 0.987 | | bailing.png | 2025-04-05 10:20:30 | 酒类饮品 | 0.965 | | bailing.png | 2025-04-05 10:20:30 | 玻璃瓶装液体 | 0.891 |

💡优势说明：CSV格式天然适配Pandas分析，例如可轻松统计Top-N高频类别：
python df = pd.read_csv("识别结果_分析用.csv") top_labels = df.groupby("label")["confidence"].mean().sort_values(ascending=False).head(10)

实际落地中的常见问题与解决方案

问题1：中文乱码（尤其CSV在Windows Excel中打开）

现象：CSV文件用Excel打开显示“涓涚櫧閰”等乱码
原因：默认UTF-8编码不被Excel正确识别
解决：使用encoding='utf_8_sig'写入CSV

df.to_csv("output.csv", encoding='utf_8_sig')

问题2：大批量图片导致内存溢出

现象：处理上千张图时程序崩溃
原因：所有结果一次性加载进内存
优化方案：采用流式写入（推荐使用jsonlines）

pip install jsonlines

import jsonlines # 流式写入JSONL（每行一个JSON对象） with jsonlines.open('results.jsonl', mode='w', dumps={'ensure_ascii': False}) as writer: for img_path in image_paths: preds = infer_image(model, img_path) result = { "image": Path(img_path).name, "predictions": preds } writer.write(result) # 实时写入一行

✅ 优点：内存占用恒定，适合大规模任务；兼容Spark/Flink等大数据工具

问题3：路径错误导致找不到图片

典型错误：

FileNotFoundError: [Errno 2] No such file: 'bailing.png'

排查方法： 1. 使用os.getcwd()确认当前工作目录 2. 使用绝对路径或显式切换目录：

import os os.chdir("/root/workspace") # 切换到有图片的目录

或在调用时传入完整路径：

images = ["/root/workspace/bailing.png"]

不同导出格式的适用场景对比

| 格式 | 优点 | 缺点 | 推荐场景 | |------|------|------|----------| |JSON| 结构完整、支持嵌套、易读性强 | 不适合直接做数值统计 | 存档、API接口返回、配置存储 | |CSV| 兼容性好、Excel友好、Pandas原生支持 | 无法表示复杂嵌套结构 | 数据分析、报表生成、机器学习特征提取 | |JSONL| 流式处理、大文件友好、逐行可解析 | 需要专用工具读取 | 日志记录、海量图像批处理 | |Parquet| 压缩率高、列式存储快 | Python需额外依赖 | 大数据平台集成、长期归档 |

📌建议组合使用：同时导出JSON（存档）+ CSV（分析），兼顾完整性与实用性。

工程化改进建议：打造自动化识别流水线

为了提升生产效率，建议将上述流程封装为可复用的模块。以下是推荐的目录结构：

/识别项目 ├── config/ │ └── paths.yaml # 路径配置 ├── src/ │ ├── inference.py # 推理主逻辑 │ └── exporter.py # 导出工具类 ├── data/ │ └── input/ # 输入图片 │ └── output/json/ # JSON输出 │ └── output/csv/ # CSV输出 └── run_batch.sh # 批量执行脚本

并在exporter.py中封装通用导出器：

class ResultExporter: @staticmethod def save(results, format_type="json", output_dir="./output"): Path(output_dir).mkdir(parents=True, exist_ok=True) filepath = f"{output_dir}/results.{format_type}" if format_type == "json": with open(filepath, 'w', encoding='utf-8') as f: json.dump(results, f, ensure_ascii=False, indent=2) elif format_type == "csv": rows = [dict(image=r['image'], label=p['label'], conf=p['confidence']) for r in results for p in r['predictions']] pd.DataFrame(rows).to_csv(filepath, index=False, encoding='utf_8_sig')

这样即可实现一次推理、多端输出：

exporter = ResultExporter() exporter.save(all_results, "json") exporter.save(all_results, "csv")

总结：让识别结果真正“活起来”

本文围绕“万物识别-中文-通用领域”模型的实际应用需求，系统讲解了如何将识别结果导出为JSON/CSV格式，并提供了完整的可运行代码与工程优化策略。

核心收获总结

📌 三个关键动作
捕获结果：将print()改为结构化字典输出
双格式导出：JSON保结构 + CSV助分析
流式处理：应对大规模任务的内存挑战

最佳实践建议

始终添加时间戳字段，便于追踪历史版本；
优先使用utf_8_sig编码写CSV，避免中文乱码；
对批量任务启用日志记录，增强可调试性；
建立统一输出规范，方便团队协作与系统对接。

通过以上方法，你不仅能完成一次性的结果导出，更能构建起一套可持续迭代的智能识别数据管道，为后续的数据挖掘、模型评估和业务决策打下坚实基础。

如何导出识别结果？保存为JSON/CSV便于后续分析