老电影数字化AI工作流：抽帧修复、字幕生成与人脸识别标注实战

这次我们拿《热线电话》(1991) 当素材，但这不是一篇影评。真正要跑通的是老电影数字化的完整 AI 工作流：把片源抽帧、画质修复、语音转字幕、人脸识别标注，最后通过 API 和批量脚本把一部长片自动化处理完。主演是马羚、仇晓光、李幼斌、刘冬，片中的对白和演员面部分别对应着语音识别和人脸识别两条处理链路。

这类电影的真实痛点在于：胶片或早期视频源往往分辨率低、噪点多、字幕缺失、检索困难。手动处理一部 90 分钟左右的老电影几乎不可能，但拆成 AI 工具链之后，工作变成：抽帧 5000 张左右、超分修复、Whisper 转写一小时音频、人脸识别聚类演员。每步都能批量化。

下面按能落地的顺序展开：先看核心能力和硬件门槛，再讲素材准备、环境配置、逐项功能验证，最后给出 API 封装和批量任务模板。全文会以《热线电话》(1991) 为例，但方法适用于绝大多数老电影素材。

1. 核心能力速览

这张表的核心点在于：这套工作流不依赖某一个“一键大包”，而是由 FFmpeg、Real-ESRGAN、Whisper、face_recognition 等成熟工具组合而成。每个环节都可以单独跑通、单独替换，适合喜欢自己掌控处理过程的读者。

2. 适用场景与使用边界

2.1 适合谁用

老电影数字化处理适合以下几类场景。

第一类是影视资料归档。单位或个人手里有老电影胶片的数字扫描件，想提升清晰度、补做字幕、方便检索。第二类是自媒体二创。做电影解说或怀旧剪辑，需要把老片素材修清晰，把对白转成文字稿，再做人名标注。第三类是技术验证。想学习视频超分、语音识别、人脸识别之间的工程组合方式，拿一部片子当测试集。

2.2 不适合什么

如果只是想在 5 分钟内快速看完一部修复版老电影，这套工作流不适合。如果素材本身没有合法授权，也不适合做公开处理和使用。老电影存在版权归属问题，尤其是 90 年代国内影片，权利归属可能涉及制片厂、发行方和主创人员。处理前必须确认自己有权使用这些素材。

2.3 必须注意的边界

人脸识别和语音转写涉及个人形象与声音信息。如果后续要公开发布修复版或剪辑版，需要确认演员和相关权利方的授权情况。技术本身是中性的，但素材使用必须合规。本文所有操作建议在本地测试环境完成，不要将处理结果用于侵权或商用用途。

3. 处理素材准备：片源、抽帧与音频提取

3.1 片源准备

先确认你有一个可合法使用的视频文件。以《热线电话》(1991) 为例，如果手头是 DVD 扫描件，先转成便于处理的通用格式：

# 将 DVD 或原始扫描件统一转为 MP4（H.264 + AAC），注意替换实际输入文件 ffmpeg -i input_vob.mpg -c:v libx264 -crf 18 -c:a aac -b:a 192k hotline_1991.mp4

crf 18是接近无损的画质参数。对于老电影素材，不要为了省空间把码率压太低，否则后续修复会放大压缩损失。

3.2 抽帧

画质修复和人脸识别都需要先把视频拆成图像序列。以每秒 1 帧为例，90 分钟影片约产生 5400 张图，足够覆盖大部分镜头切换：

# 抽帧到 frames 目录，每 1 秒 1 帧 mkdir -p frames hotline_1991 ffmpeg -i hotline_1991.mp4 -vf "fps=1" frames/frame_%04d.png

如果只需要处理人脸特写，可以提高到每秒 2 帧，因为人脸在镜头中经常一闪而过。抽帧完成后，先随机挑 20 张图观察画面亮度、噪点、字幕水印情况，确定后续修复参数。

3.3 音频提取

语音识别只需要音轨，不需要视频画面。用 FFmpeg 把音频单独导出为 WAV，避免视频编解码干扰：

# 提取 16kHz 单声道 WAV，适配 Whisper 输入 ffmpeg -i hotline_1991.mp4 -vn -ac 1 -ar 16000 hotline_1991.wav

16kHz 采样率是语音识别常用配置，能显著减少文件体积，同时保留足够的信息量。如果后续还要做人声分离，这一步不要压缩得太狠，可以直接输出 44.1kHz 立体声版本另存。

4. 本地部署环境准备

4.1 操作系统与基础软件

推荐 Windows 11 或 Ubuntu 22.04。需要安装：

• Python 3.10 或更高版本
• FFmpeg，确认ffmpeg -version可执行
• NVIDIA 显卡驱动，建议在驱动面板中确认 CUDA 版本

FFmpeg 是整条工作流的地基，后续所有抽帧、音频提取、视频合成都要用它。安装后用下面的命令验证：

ffmpeg -version

能输出版本号即正常。

4.2 Python 虚拟环境

强烈建议在独立虚拟环境中安装依赖，避免和系统 Python 冲突：

# Ubuntu / macOS python3 -m venv filmai source filmai/bin/activate # Windows PowerShell python -m venv filmai filmai\Scripts\activate

激活后安装基础依赖。以下命令中，openai-whisper提供语音识别，face_recognition提供人脸检测与比对，fastapi和uvicorn用于封装 API：

pip install --upgrade pip pip install openai-whisper face_recognition fastapi uvicorn

如果机器有 NVIDIA 显卡并且需要 GPU 加速，再安装对应 CUDA 版本的 PyTorch。具体安装命令以 PyTorch 官网为准，不要照抄旧教程里的版本号。

4.3 画质修复工具准备

画质修复这里推荐 Real-ESRGAN，它同时提供 PyTorch 原版和 ncnn-vulkan 优化版。如果显存较小，优先用 ncnn-vulkan 版本：

# Windows 下 ncnn-vulkan 版本的典型用法（实际路径按下载解压目录调整） ./realesrgan-ncnn-vulkan.exe -i input.png -o output.png -n realesrgan-x4plus

如果希望通过 Python 调用原版模型，可以安装：

pip install realesrgan

安装后需要确认模型文件已经下载到~/.cache/Real-ESRGAN或项目目录下。模型缺失时程序通常会在首次运行时报错，按日志提示下载即可。

5. 画质修复：超分与人脸增强

5.1 为什么抽帧后先修复

老电影的原始画面通常有四个问题：分辨率低、噪点多、对比度差、字幕区域清晰度不足。如果直接做人脸识别，低分辨率人脸很难匹配。所以先对抽帧图片做超分修复。

5.2 通用超分测试

第一次测试时，不要直接跑全部 5000 帧。挑 10 张不同光线条件的帧做验证。

ncnn-vulkan 版本单张处理命令：

mkdir -p frames_out ./realesrgan-ncnn-vulkan.exe -i frames/frame_0001.png -o frames_out/frame_0001.png -n realesrgan-x4plus

如果使用 Python API，参考下面的伪代码：

from basicsr.archs.rrdbnet_arch import RRDBNet from realesrgan import RealESRGANer model = RRDBNet(num_in_ch=3, num_out_ch=3, num_feat=64, num_block=23, num_grow_ch=32, scale=4) upsampler = RealESRGANer( scale=4, model_path="weights/RealESRGAN_x4plus.pth", model=model, tile=0, tile_pad=10, pre_pad=0, ) output, _ = upsampler.enhance("frames/frame_0001.png", outscale=4)

这段代码是 Real-ESRGAN 官方常见调用方式。判断修复是否成功的标准：文字边缘变锐利，人物面部轮廓更清楚，但不要出现过度平滑的“塑料脸”。如果画面里的噪点被放大得很夸张，需要先做一次轻量去噪，或者降低放大倍数。

5.3 人脸区域增强

整体超分对脸部细节的提升有限。如果需要把演员面部修得更清楚，可以用 GFPGAN 风格的人脸增强。Real-ESRGAN 的 Python API 本身也支持传入 face_enhance 参数，但会增加显存占用。建议只在人脸特写镜头中单独使用，避免全片处理时间过长。

6. 语音识别生成字幕：Whisper 实践

6.1 模型选择

Whisper 提供tiny、base、small、medium、large几个尺寸。对于中文老电影，small和medium是比较平衡的选择。tiny速度最快但识别效果差，large效果最好但显存和内存占用高。如果只求快速验证流程，先用small。

6.2 命令行转写

把第 3 步提取的hotline_1991.wav转成 SRT 字幕：

whisper hotline_1991.wav --model small --language Chinese --output_format srt

运行后会生成同名.srt文件。老电影对白中常有背景音乐、环境噪声、方言口音，切分片段和文字准确率需要人工校对。判断成功的标准是：每句对白的时间轴基本对齐，人名和常见词错误率在可接受范围。

6.3 Python 批量转写

如果要把字幕生成接入 API 或批量脚本，使用 Python 调用更灵活：

import whisper model = whisper.load_model("small") # 模型会被缓存到本机 result = model.transcribe("hotline_1991.wav", language="zh", fp16=False) for segment in result["segments"]: start = segment["start"] end = segment["end"] text = segment["text"].strip() print(f"[{start:.2f} -> {end:.2f}] {text}")

fp16=False可以避免在部分显卡上出现精度问题。这段代码验证通过后，就可以把它封装成字幕生成接口。

6.4 字幕与视频合成

SRT 生成后，用 FFmpeg 烧录字幕：

ffmpeg -i hotline_1991.mp4 -vf "subtitles=hotline_1991.srt:force_style='FontName=SimHei,FontSize=16'" -c:a copy hotline_1991_sub.mp4

烧录前先确认中文字体已安装。如果不烧录，也可以把 SRT 文件作为外挂字幕使用，发布时更方便。

7. 人脸识别与演员标注

7.1 检测单人脸位置

人脸识别部分，先用face_recognition库对修复后的帧做检测。以任一张抽帧图片为例：

import face_recognition image = face_recognition.load_image_file("frames_out/frame_0001.png") face_locations = face_recognition.face_locations(image) print(f"检测到 {len(face_locations)} 张人脸") for i, loc in enumerate(face_locations): top, right, bottom, left = loc print(f"第 {i} 张人脸位置: top={top}, right={right}, bottom={bottom}, left={left}")

这里face_locations返回的是人脸外接矩形坐标。判断成功的标准是：同一镜头中出现的演员人脸都能被框出来。

7.2 构建演员人脸库并匹配

要识别出“这是马羚”“这是李幼斌”，需要先准备每位演员的参考照片。参考照片建议用清晰的正脸剧照或海报，每个演员准备 2 到 3 张。然后用face_encodings计算特征向量，再对抽帧结果做比对。

import face_recognition known_encodings = [] known_names = [] # 每个演员照片编码，临时演示 for name, path in [("马羚", "ref/maling.jpg"), ("李幼斌", "ref/liyubin.jpg")]: image = face_recognition.load_image_file(path) encodings = face_recognition.face_encodings(image) if encodings: known_encodings.append(encodings[0]) known_names.append(name) for frame_path in ["frames_out/frame_0001.png", "frames_out/frame_0002.png"]: frame = face_recognition.load_image_file(frame_path) locations = face_recognition.face_locations(frame) encodings = face_recognition.face_encodings(frame, locations) for encoding in encodings: matches = face_recognition.compare_faces(known_encodings, encoding, tolerance=0.5) if True in matches: idx = matches.index(True) print(f"{frame_path}: 识别为 {known_names[idx]}")

tolerance=0.5是常用阈值，值越小越严格。老电影画面颗粒感重，阈值太严会导致大量漏检，太松又会误识别。实际使用时要先拿几帧人工标注结果调参。

7.3 批量输出演员出现时间线

检测完成后，把“帧号 -> 演员名”的对应关系汇总，就能生成演员出场时间线。这一步对电影解说类二创非常实用，可以直接定位某位演员的镜头片段。

8. 接口 API 与批量任务封装

8.1 为什么需要 API

画质修复、字幕生成、人脸识别如果每次都在命令行里手动执行，无法复用。把它们封装成 HTTP 接口后，可以在批处理脚本、Web 工具甚至团队协作流程中自动调用。

8.2 FastAPI 简单服务

下面是一个最小可用的 FastAPI 服务，包含health检查和字幕生成两个接口。实际部署时需要按环境调整路径和参数：

from fastapi import FastAPI from pydantic import BaseModel import whisper app = FastAPI() class SubtitleRequest(BaseModel): audio_path: str language: str = "zh" @app.get("/health") def health(): return {"status": "ok"} @app.post("/subtitle") def generate_subtitle(req: SubtitleRequest): # 生产环境建议启动时加载模型一次，避免每次请求重复加载 model = whisper.load_model("small") result = model.transcribe(req.audio_path, language=req.language, fp16=False) return {"text": result["text"], "segments": result["segments"]}

启动服务：

uvicorn film_api:app --host 127.0.0.1 --port 8000

注意：whisper.load_model在函数内部重复调用会非常耗时。生产环境应把模型加载放到应用启动阶段，或者用全局变量缓存。

8.3 curl 调用测试

服务启动后，用 curl 验证：

curl -X POST http://127.0.0.1:8000/subtitle \ -H "Content-Type: application/json" \ -d '{"audio_path": "hotline_1991.wav", "language": "zh"}'

如果返回 JSON 中包含转写文本和分段时间轴，说明接口可用。这一步验证通过后，就可以把接口接入自己的批量工具。

8.4 批量任务处理框架

对于整部电影，可以设计一个简单的批量任务队列。用 Python 脚本遍历目录中的视频文件，按顺序执行抽帧、超分、语音识别：

import os import subprocess video_dir = "./videos" frame_dir = "./frames" output_dir = "./outputs" os.makedirs(frame_dir, exist_ok=True) os.makedirs(output_dir, exist_ok=True) for filename in os.listdir(video_dir): if not filename.endswith(".mp4"): continue basename = os.path.splitext(filename)[0] video_path = os.path.join(video_dir, filename) # 抽帧 subprocess.run([ "ffmpeg", "-i", video_path, "-vf", "fps=1", os.path.join(frame_dir, f"{basename}_%04d.png") ], check=True) # 这里可以继续调用超分修复接口或字幕生成接口 print(f"完成 {filename} 的抽帧阶段")

批量任务要注意失败重试。建议每条任务记录日志，输出文件名加上时间戳后缀，避免覆盖。如果某一帧修复失败，不中断整个队列，而是把错误帧路径写入failed_list.txt，后续统一重跑。

9. 资源占用与性能观察

9.1 显存和内存观察方法

处理老电影素材时，最值得关注的是显存占用。推荐先清理其他 GPU 应用，再用 NVIDIA 工具观察：

nvidia-smi -l 2

这条命令每 2 秒刷新一次显存使用情况。在运行超分或 Whisper 时，如果显存波动接近上限，就要降低 batch size、关闭 face_enhance，或者改用 ncnn-vulkan 版本。

9.2 CPU 与 GPU 差异

纯字幕识别可以在 CPU 上跑通，只是速度慢很多。画质超分建议 GPU 推理，特别是处理 5000 张帧的批量任务时，CPU 耗时可能是 GPU 的数倍到数十倍。

分辨率、放大倍数和批次大小对性能影响最明显。4 倍超分的内存和显存开销远高于 2 倍。第一次处理时用 2 倍超分或只看效果截图，确认视觉质量后再决定是否用 4 倍。

9.3 如何降资源占用

• 抽帧频率从每秒 1 帧降到每 2 秒 1 帧，减少需要修复的图片数量。
• 超分前先裁剪画面中的无效区域（黑边、台标），减小输入分辨率。
• Whisper 使用small模型而不是medium，速度更快。
• 人脸识别按间隔帧检测，而不是每一帧都检测。

10. 常见问题与排查方法

11. 最佳实践与使用建议

11.1 先小规模验证，再全片跑批

第一次处理《热线电话》(1991) 这类长片时，不要直接跑全流程。先截取 3 分钟测试片段，跑通抽帧、超分、字幕、人脸识别，确认每一步输出都符合预期，再扩大到全片。

11.2 目录结构保持清晰

建议把输入素材、中间帧、修复结果、字幕、人脸特征文件分目录存放：

hotline_1991/ ├── source/ # 原始视频和音频 ├── frames/ # 抽帧原图 ├── frames_out/ # 修复后图像 ├── subtitle/ # SRT 字幕 ├── faces/ # 人脸参考照片和特征 └── logs/ # 任务日志

清晰目录结构能避免批量任务覆盖文件，也方便后期重新处理。

11.3 版权与授权提醒

老电影素材处理前，务必确认来源合法。修复版、字幕文件和人脸识别结果如果涉及公开发布，需要确认演员肖像权、影片版权和相关权利方授权。本地技术验证不受影响，但不要将修复结果随意上传到公共平台。

11.4 保留一份原始素材副本

所有处理流程都应该在原始素材副本上执行，永远不要直接覆盖原始扫描件。修复参数不合适时，可以随时重新抽帧再试。

12. 总结与下一步

这套流程对《热线电话》(1991) 这类老电影素材最有价值的两个环节是：Whisper 生成可检索字幕，以及 Real-ESRGAN 提升画面清晰度。人脸识别可以作为补充，用于生成演员出场时间线。

建议第一步先跑通抽帧和字幕生成。这两步对硬件要求低，效果反馈直接。字幕质量确认能接受后，再投入时间和显存做全片画质修复。

最容易踩的坑有两个：一是直接全片跑超分，结果发现参数不对，白跑几小时；二是忘记检查端口占用，导致 API 服务启动失败。先小规模测试，记录每一批处理的时间和资源占用，再决定是否扩大批次。

后续可以继续扩展的方向包括：接入更多超分模型对比画质、用人声分离工具先提取对白再识别以提升准确率、把闽语或方言片段单独训练识别模型、将影视资料检索做成带时间轴和演员标签的可视化页面。这套流程跑通后，老片的数字化归档和内容检索会变得非常可控。