TruLens RAG Triad 学习
- 0. 背景
- 1. RAG 三元组
- 2. TruLens 快速入门
-
- 2-1. 安装依赖
- 2-2. 初始化 OpenAI 认证信息
- 2-3. 获取数据
- 2-4. 创建向量存储
- 2-5. 从头构建自定义 RAG
- 2-6. 设置反馈函数
- 2-7. 构建应用程序
- 2-8. 运行应用程序
0. 背景
近年来，RAG 架构已成为为大型语言模型 (LLMs) 提供上下文以避免出现幻觉的标准方法。然而，即使是 RAG 也会出现幻觉，尤其是在检索无法获取足够上下文或检索到与LLM生成的响应无关的上下文时。
TruEra 对 RAG 三元组进行了创新，并在RAG架构的每个边缘处评估幻觉，如下图所示：
1. RAG 三元组
RAG三元组由三个评估组成：上下文相关性、依据性和答案相关性。 对每个评估进行满意的评估，使我们确信我们的 LLM 应用程序没有幻觉。
-
上下文相关性
任何 RAG 应用的第一步都是检索；为了验证我们检索的质量，我们要确保每个上下文块都与输入查询相关。 这非常重要，因为 LLM 将使用此上下文来形成答案，因此上下文中的任何无关信息都可能被编织成幻觉。 TruLens 通过使用序列化记录的结构，使您能够评估上下文相关性。
-
依据性
检索上下文后，它由 LLM 形成答案。 LLM 经常会偏离提供的事实，夸大或扩展到一个听起来正确的答案。 为了验证我们应用程序的依据性ÿ
