RAG 技术在 2024-2026 年经历了三代范式跃迁1.0 的向量检索增强、2.0 的混合检索、3.0 的 GraphRAG。2026 年下半年Agentic RAG正在成为新的主流——LLM 本身成为检索过程的决策者而非被检索喂数据的答题者。本文系统梳理 RAG 4.0 的架构演进、关键技术栈和工程实践。## 一、RAG 范式演进全景### 1.0 时代2023-2024向量检索增强text用户问题 → Embedding → 向量检索 → Top-K 文档 → LLM 生成答案局限- 只用语义相似度丢失关键词匹配- 文档切片丢失上下文- 单一检索策略无法处理复杂问题### 2.0 时代2024-2025混合检索text用户问题 → 向量检索 BM25 重排序 → 多路融合 → LLM 生成答案改进- 向量检索 关键词检索双路- 倒数排名融合RRF- Cross-Encoder 重排序- 文档结构化解析表格、代码、图像局限- 检索策略固定无法自适应- 复杂问题需要多轮检索工程实现复杂- 全局性问题如总结所有文档的主题依然无解### 3.0 时代2025-2026GraphRAGtext用户问题 → 图谱检索实体关系→ 子图遍历 → LLM 生成答案突破- 显式建模实体间关系- 支持全局性问题“所有 X 类型的实体有哪些共同点”- 微软 GraphRAG 在多跳推理任务上提升 35%局限- 图谱构建成本高- 实体识别和关系抽取本身依赖 LLM可能引入错误- 维护图谱与原始文档的一致性挑战大### 4.0 时代2026Agentic RAGtext用户问题 → Agent 决策 → 动态选择检索策略 → 多轮检索 → 综合推理 → 答案核心创新- LLM 不再是答题者而是检索决策者- Agent 根据问题动态选择检索工具向量、图谱、SQL、Web- 多轮检索中Agent 自主判断信息够不够、要不要继续检索- 检索结果可触发工具调用计算、API、数据库## 二、Agentic RAG 核心架构### 2.1 Agent 决策循环pythonclass AgenticRAGSystem: def __init__(self): self.tools { vector_search: VectorSearchTool(), graph_search: GraphSearchTool(), sql_query: SQLQueryTool(), web_search: WebSearchTool(), code_executor: CodeExecutorTool(), document_reader: DocumentReaderTool(), } self.agent ReActAgent(toolsself.tools) self.max_iterations 10 self.confidence_threshold 0.85 def query(self, user_question): context {original_question: user_question, retrieved_docs: []} for iteration in range(self.max_iterations): # Agent 决策下一步 action self.agent.think(context) if action.type answer: # Agent 认为信息够了 return action.content elif action.type tool_call: # 调用检索工具 tool self.tools[action.tool_name] result tool.execute(action.parameters) context[retrieved_docs].append({ tool: action.tool_name, query: action.parameters, result: result, iteration: iteration, }) # 评估信息充分性 if self.is_sufficient(context) and iteration 2: # 信息够强制生成答案 return self.generate_final_answer(context) elif action.type clarify: # 问题不清晰请求用户澄清 return {type: clarification, question: action.question} # 超过最大迭代次数强制生成 return self.generate_final_answer(context)text### 2.2 检索工具的设计每个检索工具都是一个独立的微服务Agent 通过统一协议调用python# 工具定义RETRIEVAL_TOOLS { vector_search: { description: 语义检索文档库返回与查询最相似的文档片段, parameters: { query: string, 查询文本, top_k: int, 返回文档数量默认 5, filter: object, 元数据过滤条件可选, similarity_threshold: float, 相似度阈值默认 0.7, }, returns: List[Document], cost_estimate_tokens: 50, # 工具描述 token 数 }, graph_search: { description: 图谱检索根据实体和关系查询知识图谱, parameters: { entities: List[str], 起始实体, relation_types: List[str], 关系类型过滤, max_hops: int, 最大跳数默认 2, }, returns: List[Entity, Relation], cost_estimate_tokens: 80, }, sql_query: { description: 对结构化数据库执行 SQL 查询, parameters: { sql: string, SQL 语句只允许 SELECT, database: string, 数据库名, }, returns: List[Row], cost_estimate_tokens: 60, }, web_search: { description: 在公开互联网上搜索最新信息, parameters: { query: string, 搜索关键词, num_results: int, 返回结果数, time_range: string, 时间范围过滤day/week/month/year, }, returns: List[WebResult], cost_estimate_tokens: 70, },}### 2.3 决策的可解释性Agent 的决策过程必须完全可追溯pythonclass TracedAgentDecision: def __init__(self): self.trace [] def log_decision(self, step, thought, action, observation): self.trace.append({ step: step, thought: thought, action: action, observation: observation, timestamp: time.time(), }) def explain_decision(self): 生成决策的自然语言解释 explanation [] for step in self.trace: explanation.append( f步骤 {step[step]}: f思考 - {step[thought]}; f行动 - {step[action]}; f观察 - {step[observation][:200]} ) return \n.join(explanation)text## 三、关键工程问题### 3.1 信息充分性评估Agent 怎么知道信息够了传统做法是检索轮数上限但更好的方案是置信度评估pythonclass SufficiencyEvaluator: def __init__(self, judge_llm): self.judge judge_llm def is_sufficient(self, question, retrieved_docs): prompt f请评估以下检索结果是否足够回答用户问题。用户问题: {question}检索到的文档:{self.format_docs(retrieved_docs)}判断标准:- 充分0.8-1.0: 文档包含回答问题所需的全部关键信息- 部分0.4-0.7: 有关键信息但有缺失- 不充分0.0-0.3: 文档与问题无关或信息量极少请只输出 0-1 之间的数字。 response self.judge.complete(prompt) return float(response.content.strip())### 3.2 检索成本控制Agent 自主决策的代价是可能浪费 Token 在无效检索上。需要1.预算机制单次查询最多消耗 N 个 token2.早停连续两次检索信息量增加 5% 就停止3.工具成本感知便宜的工具优先贵的工具谨慎用pythonclass CostAwareAgent: def __init__(self): self.max_total_cost 1.0 # 美元 self.current_cost 0.0 self.min_improvement 0.05 # 5% self.last_sufficiency 0.0 def should_continue(self, current_sufficiency): if self.current_cost self.max_total_cost: return False if current_sufficiency 0.85: return False if (current_sufficiency - self.last_sufficiency) self.min_improvement: return False return Truetext### 3.3 检索质量评估pythonclass RetrievalQualityMetrics: 检索质量评估 def context_relevance(self, query, retrieved_docs): 每个检索到的文档与查询的相关性 scores [] for doc in retrieved_docs: score self.llm_judge( f文档: {doc.content[:500]}\n查询: {query}\n f判断文档是否与查询相关0-1 ) scores.append(score) return np.mean(scores) def context_recall(self, ground_truth_answer, retrieved_docs): 检索是否召回了答案所需的关键信息 return self.llm_judge( f标准答案: {ground_truth_answer}\n f检索到的文档: {[d.content[:300] for d in retrieved_docs]}\n f判断检索是否覆盖了标准答案的关键信息0-1 ) def answer_faithfulness(self, answer, retrieved_docs): 答案是否忠实于检索结果防幻觉 return self.llm_judge( f答案: {answer}\n检索到的文档: {retrieved_docs}\n f判断答案是否完全基于检索文档0完全幻觉1完全忠实 )## 四、生产级 RAG 4.0 架构### 4.1 整体架构text┌────────────────────────────────────────────────────────┐│ 用户接口层 ││ (REST API / gRPC / WebSocket / GraphQL) │└────────────────────┬───────────────────────────────────┘ │┌────────────────────▼───────────────────────────────────┐│ Agentic 决策引擎 ││ - LLM Agent (ReAct / Plan-and-Execute) ││ - 工具路由器 ││ - 成本控制器 ││ - 充分性评估器 │└────┬──────────┬──────────┬──────────┬──────────┬───────┘ │ │ │ │ │┌────▼───┐ ┌───▼────┐ ┌───▼────┐ ┌───▼────┐ ┌───▼────┐│ 向量 │ │ 图谱 │ │ 全文 │ │ SQL │ │ Web ││ 检索 │ │ 检索 │ │ 检索 │ │ 查询 │ │ 搜索 │└────┬───┘ └───┬────┘ └───┬────┘ └───┬────┘ └───┬────┘ │ │ │ │ │┌────▼─────────▼──────────▼──────────▼──────────▼───────┐│ 数据层 ││ - 向量数据库 (Qdrant/Milvus) ││ - 图数据库 (Neo4j/Neptune) ││ - 全文索引 (Elasticsearch/OpenSearch) ││ - 关系数据库 (PostgreSQL/MySQL) ││ - 对象存储 (S3/OSS) ││ - 文档解析服务 (Unstructured/Docling) │└────────────────────────────────────────────────────────┘### 4.2 关键组件选型| 组件 | 推荐方案 | 关键考量 ||------|---------|---------|| Agent 框架 | LangGraph / LlamaIndex Workflows | 状态管理、循环支持 || LLM 推理 | vLLM / TGI / 商业 API | TTFT、成本 || 向量数据库 | Qdrant / Milvus / Weaviate | 性能、可扩展性 || 图数据库 | Neo4j / Amazon Neptune | 图算法、生态 || 文档解析 | Unstructured / Docling / Marker | 多模态支持 || 重排序 | Cohere Rerank / BGE-Reranker | 精度、延迟 || 评估 | RAGAS / DeepEval / Phoenix | 离线 在线 || 可观测性 | Langfuse / LangSmith / Phoenix | 调试、监控 |### 4.3 完整工作流示例pythonclass ProductionRAG4System: def __init__(self): # LLM Agent self.agent ReActAgent( llmgpt-4o, tools[ VectorSearchTool(indexdocuments), GraphSearchTool(graphknowledge_graph), FullTextSearchTool(indexdocuments), SQLQueryTool(databaseenterprise), WebSearchTool(apitavily), ], max_iterations8, cost_limit_usd0.50, ) # 评估器 self.evaluator RAGEvaluator() # 缓存 self.cache SemanticCache(ttl3600) def query(self, user_question, user_contextNone): # 1. 缓存检查 cache_key self.cache.compute_key(user_question, user_context) cached self.cache.get(cache_key) if cached and cached.confidence 0.9: return cached.response # 2. Agent 执行 result self.agent.run( questionuser_question, contextuser_context, ) # 3. 质量评估 quality self.evaluator.evaluate( questionuser_question, answerresult.answer, retrieved_docsresult.retrieved_docs, traceresult.trace, ) # 4. 反馈循环在线学习 if quality.faithfulness 0.7: self.flag_for_review(result) # 5. 缓存结果 self.cache.set(cache_key, result, confidencequality.overall) return { answer: result.answer, sources: result.retrieved_docs, trace: result.explain_decision(), quality_scores: quality.to_dict(), cost_usd: result.total_cost, }text## 五、性能与成本优化### 5.1 检索优化pythonclass AdaptiveRetriever: def __init__(self): self.strategies { simple: SimpleVectorRetriever(), hybrid: HybridRetriever(), graph: GraphRetriever(), agentic: AgenticRetriever(), } self.router RetrievalRouter() def retrieve(self, query, complexity_score): # 根据查询复杂度选择策略 if complexity_score 0.3: return self.strategies[simple].retrieve(query) elif complexity_score 0.7: return self.strategies[hybrid].retrieve(query) else: return self.strategies[agentic].retrieve(query)### 5.2 上下文压缩检索到的文档可能很长必须压缩pythonclass ContextCompressor: def compress(self, query, documents, max_tokens4000): # 1. 提取关键句子 sentences [] for doc in documents: sentences.extend(self.split_sentences(doc.content)) # 2. 用 LLM 评估每句相关性 scores self.llm_judge_batch( f查询: {query}, sentences, ) # 3. 按相关性排序取 top sorted_sents sorted(zip(sentences, scores), keylambda x: -x[1]) # 4. 拼接到 max_tokens compressed [] total_tokens 0 for sent, score in sorted_sents: sent_tokens self.count_tokens(sent) if total_tokens sent_tokens max_tokens: break compressed.append(sent) total_tokens sent_tokens return \n.join(compressed)text## 六、评估体系### 6.1 离线评估python# RAGAS 风格评估from ragas import evaluatefrom ragas.metrics import ( context_relevance, context_recall, faithfulness, answer_relevance,)result evaluate( dataseteval_dataset, metrics[ context_relevance, context_recall, faithfulness, answer_relevance, ],)### 6.2 在线 A/B 测试pythonclass RAGABTest: def __init__(self): self.variants { control: {retrieval: vector, agent: False}, treatment_a: {retrieval: hybrid, agent: False}, treatment_b: {retrieval: hybrid, agent: True}, } def assign_variant(self, user_id): h hashlib.md5(user_id.encode()).hexdigest() bucket int(h, 16) % 100 if bucket 33: return control elif bucket 66: return treatment_a else: return treatment_b def measure(self, variant, user_id, success, satisfaction, cost): analytics.track(rag_ab_test, { variant: variant, user_id: user_id, success: success, satisfaction: satisfaction, cost: cost, })text## 七、2026 年的趋势预测1.多模态 RAG 成熟图像、视频、音频的统一检索2.端侧 RAG手机/PC 本地知识库 本地 LLM3.联邦 RAG跨企业、跨数据源的统一检索4.AutoRAG自动化选择检索策略、参数5.RAG Reasoning检索和推理深度结合类似 DeepResearch 范式## 八、工程实践清单### 8.1 必须做1.检索质量监控context relevance、recall、faithfulness 三项必看2.成本控制单次查询 token 上限 美元上限3.充分性评估避免无效检索浪费4.缓存高频查询结果缓存5.A/B 测试所有重要变更都要 A/B### 8.2 不要做1.不要只优化单一指标——多维度权衡2.不要忽视冷启动问题——新文档进入系统的索引延迟3.不要把 Agent 决策当黑盒——完整 trace 必须可查4.不要让用户等 Agent 多轮检索——必要时强制终止给部分答案5.不要忽视检索的偏见——单一数据源会放大偏见## 一句话总结RAG 4.0 的本质是**“把检索变成 Agent 决策的一部分”**——LLM 不再被动接收检索结果而是主动规划检索过程。这要求工程师从调参工程师变成决策流设计师关注的不再是向量维度 768 还是 1024而是Agent 怎么知道信息够了。## 常见踩坑-不要让 Agent 自主调用 web_search 不设限——可能被攻击或拉取大量无关内容-不要把所有文档都做 GraphRAG——成本极高先用 1.0/2.0 跑通业务再升级-不要忽视 evaluation 反馈循环——评估数据要能反向优化检索策略-不要让 Agent 决策链路过长——单次查询超过 10 步可解释性和成本都崩盘