Fay 数字人框架实战：如何3分钟拉起一个会听会说、能接业务系统的智能数字人

Fay 数字人框架实战：如何3分钟拉起一个会听会说、能接业务系统的智能数字人

【免费下载链接】Fayfay是一个帮助数字人（2.5d、3d、移动、pc、网页）或大语言模型（openai兼容、deepseek）连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay

Fay 是一个开源数字人 Agent 框架，让 2.5D/3D/网页数字人（或 OpenAI 兼容、DeepSeek 等大模型）连通业务系统。本文拆解三大版本选型、核心配置与语音、决策的底层逻辑，帮你从 0 到 1 跑通一个会听会说的数字人。

先搞清楚：Fay 能帮你干什么 🎯

想让数字人"真干活"，你得自己串起语音识别、大模型、语音合成、知识库、弹幕监听一堆组件，对接成本极高。Fay 把这条链路整体封装成了框架，并直接给出三个场景化版本，按需求挑一个就行：

• 带货完整版：虚拟主播与直播带货场景。监听 B 站弹幕和微信视频号，自动应答商品问题，内置弹幕格式过滤、违规检查和本地违禁词配置，合规问题框架帮你兜底。
• 助理完整版：人机交互的数字人助理。管日程、答本地知识库的问题，还可以命令它开关设备。
• agent 版：自主决策的 Agent。会自己调用工具（跑 Python、抓网页内容、查知识库），还能主动联系你。

💡 它的设计核心就一句话：数字人只是"脸"，真正干活的是 Fay 帮你接好的"大脑"。

极速落地：三步跑通你的数字人

第一步，拿代码。三个版本在同一仓库的独立分支上，按场景选：

git clone https://gitcode.com/GitHub_Trending/fay/Fay cd Fay

第二步，改配置。核心配置文件config.ini在项目根目录，重点盯三个 section：

[MODEL] # 大模型：任何 OpenAI 兼容接口都行，DeepSeek/Moonshot， # 或 vllm 部署的本地模型 LLM_MODEL = gpt-4-0125-preview VLLM_URL = http://localhost:8000/v1/chat/completions [TTS] # 语音合成：azure / aliyun / baidu，还支持 GPTSoVits TTS_ENGINE = azure EMOTION_SPEECH = True # 情感语音开关 [KNOWLEDGE] # 本地知识库（RAG 问答用） KB_PATH = ./knowledge_base VECTOR_DB = chroma

第三步，启动。运行对应版本的启动脚本，页面出现数字人界面和语音按钮后，对它说一句"你好"——能听、能答、能出声，说明整条语音链路就通了。

硬核拆解：一个数字人的"感官—大脑—嘴"

🎙️ 听：FunASR 语音识别 + 热词定制

ASR 用的是集成最新版 FunASR，亮点是热词定制。卖货场景把商品名、品牌词塞进热词表，业务关键术语的识别率会明显提升。参考源码：asr/funasr_wrapper.py

😊 情绪闭环：情感分析 → 情感语音

情感分析支持百度 AI 与 Azure 双引擎切换，密钥没配置时会自动跳过、不会报错。分析结果会喂给 TTS，让合成语音带出对应的情绪语气——这正是"干活的数字人"和"无情念稿机"的分水岭。参考源码：nlp/emotion_analyzer.py

🧠 脑：Agent 的工具调用循环

agent 版的核心是一个"理解意图 → 选工具 → 执行 → 生成回答"的闭环：

def process_query(query): if need_tool_call(query): # 判断要不要动工具 tool = select_tool(query) # 选工具 result = tool.execute(query) return generate_response(result) return direct_llm_response(query) # 纯 LLM 直答

内置工具已覆盖本地文件操作、网页内容获取、日程管理、Python 代码执行、知识库查询。带货版还有一套弹幕响应优先级逻辑：先答 VIP，再答商品相关问题，最后才是闲聊。参考源码：agent/decision_engine.py、sales/live_interaction.py

进阶玩法：能力跃迁的三条路 🔥

1. RAG 知识注入：助理版通过 langchain 内置本地知识库查询，支持 PDF 文档导入、改动后自动重新载入。把产品手册丢进去，数字人立刻变成照资料答问的专业客服。
2. 本地大模型部署：用 vllm 或 fastchat 本地部署模型，ChatGLM3-6B 可以输出与 OpenAI 完全一致的接口，既降显存又提速，数据还不出内网。
3. 3D 形象对接：项目提供了 metahuman-stream 对接 UE5 数字人的方案——Fay 侧负责"大脑"（对话、决策、音频流），UE 侧负责"脸"（表情、动捕），各管一段。

结语：动手是最好的学习方式

Fay 给你的是一条"数字人连通业务系统"的完整通路：选一个版本跑起来，再按场景定制大脑。仓库地址见前文的 clone 命令，Star 一个支持一下；详细的 API 说明与部署指南都在仓库 README.md 里，有问题也可以对照它的更新日志排查。现在就去拉起你的第一个"会听会说的员工"吧。

【免费下载链接】Fayfay是一个帮助数字人（2.5d、3d、移动、pc、网页）或大语言模型（openai兼容、deepseek）连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay