MinerU文档理解服务代码实例：Python调用API实现批量PDF截图解析-编程实验室

MinerU文档理解服务代码实例：Python调用API实现批量PDF截图解析

1. 项目背景与核心能力

MinerU智能文档理解服务是一款基于MinerU-1.2B模型的轻量级文档解析系统。这个专门为处理文档图像优化的模型，虽然体积小巧(仅1.2B参数)，但在OCR识别和版面分析任务上表现出色，特别适合处理PDF截图、学术论文、财务报表等复杂文档。

核心优势：

精准解析：能准确识别表格数据、数学公式和长段落文本
高效运行：在普通CPU上就能实现快速响应，无需高端GPU
多任务支持：支持文字提取、内容总结、图表分析等多种文档处理需求
简单易用：提供直观的Web界面和清晰的API接口

2. 环境准备与API基础

2.1 安装必要库

在开始前，确保你的Python环境(建议3.8+)已安装以下库：

pip install requests pillow python-dotenv

2.2 获取API访问凭证

登录MinerU控制台创建应用
获取API Key和端点地址
将凭证保存在.env文件中：

MINERU_API_KEY=your_api_key_here MINERU_ENDPOINT=https://your-endpoint-address

3. 单文档解析实现

3.1 基础API调用

下面是一个完整的Python示例，展示如何调用MinerU API解析单个PDF截图：

import os import requests from dotenv import load_dotenv from PIL import Image # 加载环境变量 load_dotenv() def analyze_document(image_path, instruction): """ 调用MinerU API解析文档图像 :param image_path: 本地图像路径 :param instruction: 解析指令文本 :return: API响应结果 """ # 准备请求头 headers = { "Authorization": f"Bearer {os.getenv('MINERU_API_KEY')}", "Content-Type": "multipart/form-data" } # 准备请求数据 files = {'file': open(image_path, 'rb')} data = {'instruction': instruction} try: # 发送请求 response = requests.post( os.getenv('MINERU_ENDPOINT'), headers=headers, files=files, data=data ) response.raise_for_status() return response.json() except Exception as e: print(f"API调用失败: {e}") return None # 使用示例 result = analyze_document("sample.pdf", "请提取图中的所有文字内容") if result: print("解析结果:", result['text'])

3.2 常见解析指令示例

根据不同的文档处理需求，可以发送不同的指令：

# 提取完整文本 instruction = "请将图中的文字完整提取出来，保持原有格式" # 总结文档内容 instruction = "用200字总结这份文档的核心内容" # 分析表格数据 instruction = "提取表格中的数据并以JSON格式返回" # 解释图表 instruction = "解释这张图表展示的主要趋势和关键数据点"

4. 批量处理PDF截图

4.1 批量处理实现

实际工作中，我们经常需要处理大量PDF截图。下面是一个完整的批量处理脚本：

import os from concurrent.futures import ThreadPoolExecutor def batch_process_pdfs(folder_path, output_dir, instruction): """ 批量处理文件夹中的所有PDF截图 :param folder_path: 包含PDF截图的文件夹路径 :param output_dir: 结果保存目录 :param instruction: 解析指令 """ # 确保输出目录存在 os.makedirs(output_dir, exist_ok=True) # 获取所有PDF截图文件 pdf_files = [f for f in os.listdir(folder_path) if f.lower().endswith('.pdf')] # 使用线程池并发处理 with ThreadPoolExecutor(max_workers=4) as executor: for file in pdf_files: input_path = os.path.join(folder_path, file) output_path = os.path.join(output_dir, f"{os.path.splitext(file)[0]}.txt") # 提交处理任务 executor.submit( process_single_pdf, input_path, output_path, instruction ) def process_single_pdf(input_path, output_path, instruction): """ 处理单个PDF文件并保存结果 """ result = analyze_document(input_path, instruction) if result and 'text' in result: with open(output_path, 'w', encoding='utf-8') as f: f.write(result['text']) print(f"处理完成: {input_path} -> {output_path}") else: print(f"处理失败: {input_path}") # 使用示例 batch_process_pdfs( folder_path="pdf_screenshots", output_dir="results", instruction="请提取图中的所有文字内容" )

4.2 性能优化建议

处理大量文档时，可以考虑以下优化措施：

并发控制：适当调整线程池大小(如示例中的max_workers)
错误重试：为API调用添加重试机制
结果缓存：对已处理文件跳过重复处理
分批处理：特别大的文件集可分批次处理

5. 高级应用场景

5.1 表格数据提取与结构化

MinerU可以智能识别文档中的表格，并将其转换为结构化数据：

def extract_table_data(image_path): """ 提取图像中的表格数据并转换为CSV格式 """ instruction = """请提取图中的表格数据，按照以下格式返回： - 表头作为第一行 - 每行数据用逗号分隔 - 不要包含任何解释性文字""" result = analyze_document(image_path, instruction) if result: # 将结果保存为CSV csv_path = os.path.splitext(image_path)[0] + ".csv" with open(csv_path, 'w', encoding='utf-8') as f: f.write(result['text']) return csv_path return None

5.2 文档内容分析与摘要生成

对于长文档，可以自动生成内容摘要：

def generate_document_summary(image_path, length=200): """ 生成文档摘要 :param length: 摘要字数 """ instruction = f"用{length}字总结这份文档的核心内容，突出重点数据和结论" result = analyze_document(image_path, instruction) return result['text'] if result else None