Jina AI “Late-Chunking“如何解决RAG的文档分块困境

摘要

文档分块（Chunking）是构建检索增强生成（RAG）系统中最基础、也最棘手的一环。长久以来，开发者们一直在“小分块（有利于检索精度）”和“大分块（有利于上下文完整性）”这对根本矛盾中艰难权衡。传统的固定大小、递归字符、甚至语义分块策略，都只是在这一矛盾体上寻找妥协点，未能从根本上解决问题。今天一起看下Jina AI提出的开源项目late-chunking，它通过将检索单元与生成单元解耦，实现了在检索时精准、在生成时完整的双重目标。

1. RAG的核心问题：无法调和的分块困境

构建任何RAG系统的第一步都是将原始文档切分成小块（Chunks），以便进行向量化和索引。然而，这个看似简单的操作，却隐藏着一个深刻且难以调和的内在矛盾：分块粒度。

• 小分块 (Small Chunks)：例如，单个句子或短段落。

  • 优点: 语义单一、高度聚焦，使得向量表示更具区分度，在检索阶段能够实现更高的匹配精度（Precision）。
  • 缺点: 严重缺乏上下文。如果只将一个小分块提供给LLM，它可能无法理解其背景、前提和