48.人工智能实战：大模型可观测性怎么做？从前期异常发现到 Trace、Metrics、Logs 三件套落地

人工智能实战：大模型可观测性怎么做？从前期异常发现到 Trace、Metrics、Logs 三件套落地

一、问题场景：用户说 AI 很慢，但你不知道慢在哪里

大模型系统上线后，最常见的问题不是“彻底挂了”，而是：

AI 有点慢 AI 偶尔答错 AI 有时没引用资料 AI 成本突然高 AI 某些用户体验差

这些问题都需要可观测性。

我之前排查过一个 RAG 系统，业务方反馈：

最近 AI 回答明显变慢。

一开始大家都以为是大模型慢。

但拆指标后发现：

总耗时：6.2s Query Rewrite：0.4s Embedding：0.8s Vector Search：1.7s Rerank：2.1s LLM Generate：1.0s Postprocess：0.2s

真正瓶颈不是模型生成，而是：

rerank 太慢 + 向量检索变慢。

如果没有分阶段指标，团队很可能错误地去换模型。

本文解决的问题是：