news 2026/6/18 19:50:56

AI 工具调用流式开发,TokenStream 才是正确选择

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI 工具调用流式开发,TokenStream 才是正确选择

在基于LangChain4j + Spring Boot开发AI代码生成平台的过程中,主要想实现Vue项目带工具调用的流式生成能力,比如自动写入项目文件、构建打包,同时通过响应式流向前端推送实时进度。

但是,在前端调试时,出现了以下错误:

抱歉,生成过程中出现了错误,请重试。

原因分析

1. AI服务接口
@SystemMessage(fromResource = "prompt/codegen-vue-project-system-prompt.txt") Flux<String> generateVueProjectCodeStream(@MemoryId long appId, @UserMessage String userMessage);
2. Facade层调度逻辑
case VUE_PROJECT -> { Flux codeStream = aiCodeGeneratorService.generateVueProjectCodeStream(appId, userMessage); yield processCodeStream(codeStream, CodeGenTypeEnum.VUE_PROJECT, appId); }

接口调用直接返回业务异常,前端无任何流式输出,日志无有效业务堆栈,仅提示:抱歉,生成过程中出现了错误,请重试

主要原因是:

  • TokenStream是LangChain4j专为AI流式响应 + 工具调用设计的API,内置onToolRequest/onToolExecuted等完整回调事件,可无缝衔接工具执行流程;
  • Flux<String>是通用响应式流组件,无AI场景专属能力,无法接收、处理工具调用的回调事件。

解决方法

将接口和调度层作如下修改:

// 1. AI接口原生返回值类型 @SystemMessage(fromResource = "prompt/codegen-vue-project-system-prompt.txt") TokenStream generateVueProjectCodeStream(@MemoryId long appId, @UserMessage String userMessage); // 2. Facade层调度逻辑 case VUE_PROJECT -> { TokenStream tokenStream = aiCodeGeneratorService.generateVueProjectCodeStream(appId, userMessage); yield processTokenStream(tokenStream); }

接下来,就恢复正常了。

小贴士

在集成工具调用的LangChain4j AI场景中,TokenStream是官方推荐且唯一能保证全功能正常运行的流式类型,Flux仅适用于无AI业务逻辑的通用流式场景。

在集成第三方框架时,优先使用框架原生提供的组件和API,是保证系统稳定性的最优解。

学习资源推荐

如果你想更深入地学习大模型,以下是一些非常有价值的学习资源,这些资源将帮助你从不同角度学习大模型,提升你的实践能力。

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!​

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示

​因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/15 15:19:41

CNN的FLOPs:从理论计算到实战避坑指南

CNN的FLOPs&#xff1a;从理论计算到实战避坑指南 引言 在模型轻量化与部署成为焦点的今天&#xff0c;FLOPs作为衡量计算复杂度的核心指标&#xff0c;频繁出现在论文与工程报告中。然而&#xff0c;你是否曾疑惑&#xff1a;FLOPs低就一定代表模型快吗&#xff1f;为何有时优…

作者头像 李华
网站建设 2026/6/15 20:09:30

必学收藏!大模型知识蒸馏:压缩模型而不失性能的关键技术

知识蒸馏是将大型教师模型的知识迁移至小型学生模型的技术&#xff0c;通过软目标生成、目标函数设计和温度参数调节实现。该技术解决了大模型部署成本高的问题&#xff0c;使模型能在移动设备和边缘计算场景应用。如DeepSeek-R1通过蒸馏将670B参数模型能力迁移至7B参数模型&am…

作者头像 李华
网站建设 2026/6/15 14:41:47

(9-2-02)电源管理与能源系统:能耗分析与功率管理(2)高峰功耗控制+ 电源分配架构

9.2.2 高峰功耗控制 高峰功耗是人形机器人动力系统面临的核心挑战之一&#xff0c;特指机器人在跳跃、快速转向、应急制动、负重突变等动态动作中&#xff0c;关节驱动电机、液压/气动执行器等负载产生的瞬时高功率需求&#xff0c;其峰值通常可达电池持续输出功率的2-5倍。若…

作者头像 李华
网站建设 2026/6/15 14:42:57

专科生也能用!学生热捧的AI论文软件 —— 千笔AI

你是否曾为论文选题发愁&#xff1f;是否在写到一半时突然卡文&#xff0c;毫无头绪&#xff1f;又或是反复修改却总达不到老师要求&#xff1f;对于专科生来说&#xff0c;论文写作不仅是学术任务&#xff0c;更是一场心理挑战。面对查重率、格式规范、文献查找等难题&#xf…

作者头像 李华
网站建设 2026/6/15 19:32:53

一文读懂VR/AR/MR:小白也能分清的虚实交互技术

一文读懂 VR / AR / MR&#xff08;附 XR&#xff09;——小白也能分清的虚实交互技术&#xff08;2026 年最新视角&#xff09; 2026 年了&#xff0c;头显设备已经从“玩具”变成了部分人的生产力工具和娱乐刚需&#xff0c;但很多人一听到 VR、AR、MR、XR 还是会懵。 其实它…

作者头像 李华
网站建设 2026/6/15 12:18:45

根据Excel 模板生成excel(java)

重阳&#xff0c;需求很常见&#xff1a;根据一个已设计好的 Excel 模板&#xff08;含样式、公式、合并单元格、表头、页眉页脚等&#xff09;&#xff0c;往里面填充动态数据&#xff0c;然后生成新的 Excel 文件。 2026 年主流的三种方案对比&#xff08;基于当前社区使用情…

作者头像 李华