news 2026/6/11 10:28:00

第36章:Generation 源码:从 generate 到下一个 Token

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
第36章:Generation 源码:从 generate 到下一个 Token

1 项目背景

业务场景

客服回复生成系统上线后,产品经理要求新增"敏感词过滤"功能——生成的回复中绝对不能出现"假一赔十"、“绝对安全”、"包治百病"等承诺性词汇。小陈尝试在 prompt 中加入"禁止使用以下词汇"的指令,但模型还是会偶尔输出这些词——LLM 并不能 100% 遵循 prompt 中的否定指令。

另一个需求是"业务术语白名单"——医疗客服场景中,药品名称必须使用标准名。“阿莫西林"不能被模型自由发挥写成"阿莫仙"或"阿莫灵”。

小陈意识到,只有在生成的最底层——每个 token 被选中的那一刻——做拦截,才能真正杜绝这些问题。这需要深入generate()的源码,理解LogitsProcessorStoppingCriteria的机制。

痛点

model.generate()一行代码背后是一个复杂的多策略调度系统:

generate() ├── GenerationConfig 合并(用户参数 + model.generation_config + 默认值) ├── 根据参数选择解码策略: │ ├── greedy_search() (do_sample=False, num_beams=1) │ ├── sample() (do_sample=True) │ ├── beam_search() (num_beams &g
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/11 10:24:52

用普通游戏手柄实时操控MATLAB三维视图和模拟云台

本文还有配套的精品资源,点击获取 简介:直接运行Untitled.m就能让USB游戏手柄在MATLAB里干活:自动识别设备,持续读取摇杆X/Y轴偏移量和按钮状态,把操作信号实时转成图形视角调整(方位角/仰角&#xff09…

作者头像 李华
网站建设 2026/6/11 10:22:03

手把手教你用MAX30102和OLED做一个桌面心率血氧监测仪(附STM32完整工程)

从零打造智能心率血氧监测仪:MAX30102与STM32实战指南在健康监测设备日益普及的今天,能够自主搭建一个精准的心率血氧监测系统不仅是一项有趣的电子项目,更是掌握生物信号处理技术的绝佳途径。本文将带你完整实现基于MAX30102传感器和STM32的…

作者头像 李华
网站建设 2026/6/11 10:18:10

微信客户端远程控制工具包:MQTT桥接+本地部署+云微信联动

本文还有配套的精品资源,点击获取 简介:一套开箱即用的微信远程控制解决方案,通过MQTT协议实现外部系统与微信客户端的双向通信。支持发送消息、接收事件(如文本、图片、链接)、响应用户交互等核心能力。内置mqtt-g…

作者头像 李华
网站建设 2026/6/11 10:18:08

如何在PC上完美使用Switch控制器:BetterJoy全面解决方案

如何在PC上完美使用Switch控制器:BetterJoy全面解决方案 【免费下载链接】BetterJoy Allows the Nintendo Switch Pro Controller, Joycons and SNES controller to be used with CEMU, Citra, Dolphin, Yuzu and as generic XInput 项目地址: https://gitcode.co…

作者头像 李华