AI视频创作实战：从创意到成片，打造角色一致的三国主题短片

最近在B站AI创作大赛的三国主题赛区，一个名为“诸葛亮带十万大学生北伐”的作品火了。它没有复杂的剧情，却精准地戳中了当代年轻人的集体情绪：当“内卷”成为常态，当“躺平”成为无奈，一个关于“北伐”的宏大叙事，配上“十万大学生”这个极具时代感的群体，瞬间引爆了共鸣。

这背后，远不止是一个有趣的视频那么简单。它揭示了一个正在发生的深刻变化：AI创作工具，特别是视频生成AI，正在从“技术玩具”变成“情绪放大器”和“文化模因制造机”。过去，一个创意从构思到成片，需要编剧、分镜、拍摄、剪辑、配音、特效等一系列专业门槛。而现在，一个普通人，借助AI，就能在几个小时内，将一个天马行空的想法，变成一部有模有样的短片，并直接触达百万观众。

本文要探讨的，正是这个现象背后的技术逻辑和创作实践。我们将以“诸葛亮带十万大学生北伐”这类作品为切入点，拆解如何利用当前主流的AI工具链，从零开始实现一个高质量的三国主题AI短片。核心判断是：AI视频创作的核心竞争力，已经从“会不会用工具”，转向“如何用工具精准表达创意和情绪”。本文将为你提供一套可落地的、从创意到成片的完整工作流，并重点分析其中最容易踩坑的环节。

1. 这篇文章真正要解决的问题

你可能已经看过不少AI生成的炫酷视频，也尝试过一些文生视频工具，但结果往往是：生成的画面要么不符合预期，要么视频连贯性差，人物“瞬息万变”，故事逻辑混乱。你感到AI视频“也就图一乐”，离真正可用的创作还差得远。

这正是本文要解决的核心问题：如何系统性地、可控地使用AI工具，完成一个主题明确、叙事连贯、情绪到位的短片创作？我们将以“三国”这个具体主题为例，因为它的元素（人物、场景、服装、兵器）相对固定，便于我们聚焦于工作流本身，而非无限度的创意发散。

具体来说，我们将解决以下痛点：

1. 创意到提示词（Prompt）的转化：如何将“诸葛亮带十万大学生北伐”这个抽象概念，拆解成AI能理解的、可执行的画面描述？
2. 角色一致性与画面连贯性：如何让诸葛亮在不同镜头中保持同一张脸？如何让十万大学生的场景有规模感且不违和？
3. 叙事节奏与镜头语言：如何用AI模拟出远景、中景、特写等不同镜头，并组合成一个有起承转合的故事？
4. 多工具链协同：单靠一个工具很难成事。如何将文生图（如Midjourney/Stable Diffusion）、图生视频（如Runway/Stable Video Diffusion）、音频生成（如 ElevenLabs）、剪辑工具组合起来，形成高效流水线？
5. 成本与效率的平衡：哪些环节值得投入精力精细化调整，哪些环节可以接受AI的“随机性”以提升效率？

通过本文的拆解，你将获得的不只是一个三国视频的制作方法，更是一套应对各类主题AI短片创作的通用框架。

2. 基础概念与核心工具链

在开始实操前，我们需要理解当前AI视频创作的核心范式。它不再是单一模型输入输出，而是一个“分镜制作+动态化+后期合成”的流程。

2.1 核心工作流拆解

一个典型的AI短片创作，可以分为以下四个阶段：

1. 剧本与分镜：将故事转化为具体的镜头描述。这是最重要的一步，决定了后续所有工作的方向。
2. 静态画面（分镜图）生成：使用文生图AI，根据分镜描述，生成高质量的静态关键帧图片。这是保证画面质量和角色一致性的基础。
3. 静态图动态化：使用图生视频AI，为关键帧图片添加运动，生成短视频片段。
4. 后期合成与配音：将多个视频片段剪辑、拼接，添加背景音乐、音效和AI生成的旁白/对话配音。

2.2 关键工具介绍

下表列出了各阶段的主流工具及其定位：

对于“诸葛亮带十万大学生北伐”这个项目，我们的策略是：用Stable Diffusion保证诸葛亮形象的绝对一致性，用Midjourney辅助生成宏大的场景和氛围图，用Runway完成动态化，用ElevenLabs生成配音，最后用DaVinci Resolve合成。

3. 环境准备与前置条件

由于我们会用到Stable Diffusion WebUI（以下简称SD），这部分的环境搭建稍复杂，但它是实现角色一致性的关键。

3.1 硬件与基础软件

• 操作系统：Windows 10/11，或 Linux。macOS（M系列芯片）也可运行但部分插件优化不足。
• 显卡：强烈推荐NVIDIA显卡，显存至少8GB（如RTX 3060 12G），16GB或以上体验更佳（如RTX 4070 Ti Super 16G）。这是本地运行SD的基础。
• Python：版本 3.10.6 到 3.10.11 之间。这是SD WebUI的推荐版本。
• Git：用于克隆代码仓库。

3.2 核心工具安装

1. 安装 Stable Diffusion WebUI推荐使用一键安装包，对于新手最友好。这里以Windows系统为例：

# 1. 打开 PowerShell (管理员身份) # 2. 克隆 WebUI 仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui # 3. 运行启动脚本 .\webui-user.bat

首次运行会自动安装依赖，时间较长。完成后，在浏览器中打开http://127.0.0.1:7860即可看到WebUI界面。

2. 下载基础模型（Checkpoint）SD需要底模型来生成图像。对于亚洲古风人物，推荐使用chilloutmix或majicmixRealistic的变体。将下载的.safetensors文件放入stable-diffusion-webui/models/Stable-diffusion/目录。

3. 安装关键插件

• LoRA插件：通常WebUI已内置。LoRA是小模型，用于微调特定风格或人物，是控制诸葛亮相貌的关键。
• ControlNet插件：用于精确控制人物姿势、景深、线稿上色等。通过WebUI的“Extensions”选项卡安装。

4. 注册在线服务

• Midjourney：需通过Discord使用，注册Discord和Midjourney账号。
• Runway/Pika：访问官网，用邮箱注册账号，通常有免费额度。
• ElevenLabs：官网注册，免费额度足够生成数分钟的高质量音频。

环境搭建完毕，我们进入最核心的创意实现环节。

4. 从创意到提示词：拆解“诸葛亮北伐”

“诸葛亮带十万大学生北伐”这个创意，幽默感在于古今反差。我们的分镜需要体现两个核心要素：诸葛亮的古典智者形象和现代大学生的群体特征。

4.1 剧本与分镜设计

我们设计一个约60秒的短片，包含5个关键镜头：

1. 镜头1（开场-特写）：营帐内，诸葛亮（青年形象，羽扇纶巾，面容睿智而略带忧虑）凝视着桌上的战略沙盘，沙盘上插着“蜀”字旗和“魏”字旗。
2. 镜头2（转场-全景）：帐外，晨曦中，密密麻麻的现代大学生营地（帐篷上挂着“985”、“211”、“早八人”、“实习中”的旗帜），学生们穿着混搭的汉服元素和现代休闲装。
3. 镜头3（中景）：诸葛亮站在点将台上，手持扩音器（或羽扇化作麦克风），神情激昂，仿佛在进行战前动员。台下大学生们举着手机（荧光棒效果）响应。
4. 镜头4（运动镜头）：大学生“军队”扛着“反内卷”、“求offer”的标语旗，浩浩荡荡地向北行进。镜头从队伍侧面平移，展现规模。
5. 镜头5（结尾-意境）：诸葛亮独自立于山巅（背影或侧影），望着远方的“洛阳”（城市现代天际线），羽扇轻摇。画面渐暗，出字幕“此去，不为功名，只为心安”。

4.2 提示词（Prompt）工程化

这是将分镜转化为AI语言的关键。一个好的提示词 =主体 + 细节 + 风格 + 质量。

以镜头1（诸葛亮特写）为例，生成SD提示词：

(masterpiece, best quality, ultra-detailed), 1 young Chinese man, Zhuge Liang, 面容清癯，眼神睿智深邃， slight worry on face, 羽扇纶巾 (official headdress), 穿着汉代的深色丞相袍服， intricate embroidery, inside a ancient military tent, leaning over a sand table with miniature terrain and small flags, strategic map, candlelight illumination, warm and dim atmosphere, dramatic lighting, close-up shot, looking at the viewer Negative prompt: (worst quality, low quality:1.4), deformed, ugly, disfigured, bad anatomy, cartoon, 3d, modern clothes, sunglasses, necklace Steps: 25, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 768x512

关键点解析：

• (masterpiece, best quality...)：质量标签，强调输出高质。
• 1 young Chinese man, Zhuge Liang：明确主体，数量（1个）和身份。
• 细节描述：从面容、服饰、动作到环境（营帐、沙盘、烛光）。
• 镜头语言：close-up shot（特写），dramatic lighting（戏剧灯光）。
• 负面提示词：排除低质量、畸形、现代元素等。
• 参数：Steps（迭代步数）和CFG scale（提示词相关性）影响出图效果，需要微调。

用同样的方法，为其他镜头编写提示词。镜头2的提示词需要强调“crowd”（人群）、“modern tents mixed with ancient”、“banner with Chinese text ‘985’”。

5. 核心实现：角色一致性与画面生成

这是整个流程中最具技术挑战的一环。我们需要让不同镜头中的“诸葛亮”是同一个人。

5.1 使用LoRA固定诸葛亮形象

我们无法通过纯提示词完美固定一个虚构古人的长相。最佳实践是：先训练一个专属的诸葛亮LoRA模型。

步骤1：准备训练集收集15-20张高质量、多角度的青年诸葛亮画像（可从游戏《三国志》、《卧龙：苍天陨落》或AI生成图中筛选）。确保图片清晰，面部无遮挡。将所有图片裁剪为统一分辨率（如512x512或768x768），放入一个文件夹，例如zhugeliang_training。

步骤2：打标签（Tagging）使用SD WebUI的“训练”选项卡下的“图像预处理”功能。

• 源目录：选择zhugeliang_training。
• 目标目录：新建一个zhugeliang_tagged。
• 勾选“使用DeepBooru生成标签”。 点击预处理，系统会为每张图生成描述性标签（如1boy, zhuge liang, hanfu）。

步骤3：手动优化标签打开zhugeliang_tagged里的.txt文件，进行关键编辑：

• 保留与人物核心特征相关的标签：如zhuge liang, young man, sharp eyes, scholar。
• 删除与风格、背景、无关细节相关的标签：如background, tree, castle。目的是让LoRA只学习“诸葛亮的脸和气质”，而不学习某张图的背景。
• 添加触发词：在每份标签文件的开头，加上一个独特的触发词，例如zl_young。这样在生成时，用zl_young就能调用这个形象。

步骤4：训练LoRA在“训练”选项卡选择“LoRA训练”。

• 基础模型：选择你下载的底模型（如chilloutmix）。
• 训练数据目录：选择zhugeliang_tagged。
• 输出名称：zhugeliang_young。
• 其他参数（学习率、步数）初学者可暂用默认值。 点击开始训练，等待完成（耗时取决于图片数量和显卡）。

步骤5：使用LoRA生成训练完成后，在SD WebUI的文生图页面，点击生成框下方的“额外网络”（LoRA标签页），选择你刚训练的zhugeliang_young.safetensors。此时，你的正面提示词中只需加入<lora:zhugeliang_young:0.8>，并配合zl_young触发词，就能稳定生成统一形象的诸葛亮了。

<lora:zhugeliang_young:0.8>, zl_young, (masterpiece, best quality)... [其他场景描述]

权重0.8可以调整，越高则LoRA特征越强。

5.2 使用ControlNet控制构图

对于镜头3（点将台动员），我们需要精确控制诸葛亮的姿势（站立，手持物品）。这时可以使用ControlNet的OpenPose或Depth功能。

1. 找一张类似姿势的参考图，或简单手绘一个火柴人姿势图。
2. 在SD WebUI中，展开“ControlNet”单元，上传姿势参考图。
3. 预处理器选择openpose，模型选择control_v11p_sd15_openpose。
4. 勾选“启用”和“像素完美”。
5. 在提示词中描述“standing on a platform, holding a megaphone, speaking passionately”。
6. 生成图像，AI会依据你提供的骨骼图来生成符合姿势的诸葛亮。

通过LoRA（固定人脸） + ControlNet（控制姿势） + 精细提示词（描述场景）的组合拳，你就能批量生成所有分镜所需的、角色一致的高质量静态关键帧了。

6. 静态图动态化与视频生成

有了满意的静态图，就可以让它们“动”起来。这里以Runway Gen-2为例。

操作流程：

1. 登录Runway官网，进入Gen-2工作区。
2. 点击“Image to Video”，上传你的诸葛亮静态图（如镜头1的特写图）。
3. 在提示词框中，用英文描述你想要的运动。例如，对于诸葛亮凝视沙盘的镜头，可以输入：“extreme close-up of Zhuge Liang’s face, his eyes slowly move, thoughtful expression, candlelight flickering slightly”。提示词要描述运动，而不是重复画面内容。
4. 选择视频时长（通常3-4秒）和模式（如“Interpolate”插值模式运动更平滑）。
5. 点击生成。Runway会生成一段短视频。你可以多次生成，选择最满意的一版。

重要技巧：

• 运动幅度要小：对于人物特写，轻微的眼球转动、呼吸起伏、烛光摇曳比大幅度的头部转动更真实。
• 善用“相机运动”提示：对于镜头4（行军平移），可以在提示词中加入“cinematic panning shot from left to right, following a large army marching”。
• 分镜动态化：为每个分镜图生成3-4秒的短视频片段。

7. 后期合成、配音与最终成片

这是将AI素材转化为完整故事的最后一步。

7.1 视频剪辑与拼接

将Runway生成的多个短视频片段，以及一些过渡空镜（如用Midjourney生成的战旗飘动、天空流云图，再用Runway做成动态），导入DaVinci Resolve或剪映。

1. 粗剪：按照分镜顺序排列片段。
2. 节奏调整：根据旁白或音乐节奏，修剪片段的长度，确保叙事流畅。
3. 转场效果：在镜头间添加简单的渐隐渐显（Cross Dissolve）或闪白转场，避免生硬切换。
4. 调色：为所有片段应用统一的色彩滤镜（如电影感LUT），增强整体质感。

7.2 AI配音与音效

使用ElevenLabs生成旁白：

1. 撰写旁白文案。例如：“建兴五年春，丞相诸葛亮于汉中大营，面对一份前所未有的花名册——十万之众，皆曰‘大学生’。此去北伐，前途未卜……”
2. 在ElevenLabs中选择一个合适的音色（如沉稳、富有磁性的男声）。
3. 将文案粘贴进去，调整语音稳定性（Stability）和清晰度（Clarity）等参数。
4. 生成并下载音频文件。

添加背景音乐与音效：

• 背景音乐：在免版税音乐网站（如Artlist, Epidemic Sound）寻找恢弘、略带悲壮的中国风管弦乐。
• 音效：添加环境音（营帐风声、篝火噼啪声）、人群嘈杂声、行军脚步声等。
• 在剪辑软件中将配音、音乐、音效分别放在不同音轨，调整音量平衡，确保旁白清晰。

7.3 字幕与最终输出

使用剪辑软件的AI字幕功能（如剪映的“智能字幕”或DaVinci Resolve的“字幕”工具）自动生成并同步字幕。检查无误后，渲染输出最终成片，分辨率建议为1080p (1920x1080)，帧率30fps。

8. 常见问题与排查思路

9. 最佳实践与工程建议

1. 项目管理与文件规范：建立清晰的文件夹结构。例如：/Project_Zhuge/01_Script/,/02_SD_Images/,/03_Runway_Videos/,/04_Audio/,/05_Edit/。为每个文件标注版本，如zhuge_closeup_v3.png。
2. 迭代式工作流：不要追求一步到位。先快速用低分辨率、默认参数跑通整个流程，生成一个“草稿版”视频，验证创意和节奏。然后再逐个环节进行精细化优化。
3. 成本控制：Midjourney和Runway的快速生成模式会消耗点数（Credit）。在构思和测试阶段，多用SD本地生成静态图，用Runway的低分辨率模式生成短视频。仅在最终确定的关键镜头上使用高质量生成。
4. 版权与伦理：明确你的创作目的。如果是参加B站大赛或个人学习，通常没问题。但如果用于商业用途，需注意：AI生成内容的版权在法律上尚存灰色地带；训练LoRA所用的素材图片应尽量使用无版权争议或自己创作的内容；最终成片中的音乐、音效应使用免版税素材。
5. 拥抱“不完美”：AI生成具有随机性，完全可控的“完美”视频成本极高。学会将AI的“意外之喜”融入创作。例如，Runway生成的人物某个微妙表情可能比预想的更出彩。

通过以上系统性的工作流，“诸葛亮带十万大学生北伐”这样的创意从想法变为现实，不再是一个遥不可及的任务。它更像是一场导演与AI助手之间的协同创作。你负责提供核心创意、审美判断和叙事节奏，AI则负责高效地完成视觉化和动态化等重型执行工作。这套方法不仅适用于三国，也适用于任何你感兴趣的题材——科幻、奇幻、历史重构或纯原创故事。技术的门槛正在迅速降低，而创意的价值将愈发凸显。现在，是时候将你脑海中的那些奇思妙想，用这套新的工具链呈现出来了。