使用Kernel Memory进行RAG评估：AI助力企业知识管理新突破

news2024/11/15 6:46:41

在现代企业知识管理中，随着业务的不断发展和扩展，各种文档和数据呈现爆炸式增长。为了有效且高效地管理这些知识，企业通常会导入大量文档。然而，当涉及到对文档切片质量和回答准确度的判断时，传统的人工方法显得既费时又费力。既然我们已经在使用AI技术，那么能否让AI来接管这部分工作？答案是肯定的，这正是RAG评估的用武之地。

https://github.com/explodinggradients/ragas?tab=readme-ov-file

今天，我们将深入探讨一个名为Kernel Memory中的一个实验性项目，它还未正式发布，但已经在AI社区中引起了广泛关注。Kernel Memory中的Evaluation模块包含两部分：TestSetGenerator和TestSetEvaluator，分别用于生成测试数据集和基于数据集进行质量评估。使用这些工具，我们可以显著降低人工成本，提高文档处理的效率和准确性。

TestSetGenerator：生成测试数据集

在进行Kernel Memory评估之前，首先需要创建一个测试集，这个测试集包含查询和预期的答案。虽然这是一个手工过程，但对于大数据集来说，可能非常繁琐。为了简化这个过程，我们提供了一个生成器，它可以从给定的Kernel Memory内存和索引中创建测试集。

以下是一个简单的示例代码：

using Microsoft.KernelMemory.Evaluation;
var testSetGenerator = new TestSetGeneratorBuilder(memoryBuilder.Services)                            .AddEvaluatorKernel(kernel)                            .Build();
var distribution = new Distribution{    Simple = .5f,    Reasoning = .16f,    MultiContext = .17f,    Conditioning = .17f};
var testSet = testSetGenerator.GenerateTestSetsAsync(index: "default", count: 10, retryCount: 3, distribution: distribution);
await foreach (var test in testSet){    Console.WriteLine(test.Question);}

在这个示例中，我们首先使用TestSetGeneratorBuilder来创建一个测试集生成器，并添加Evaluator内核。接下来，我们定义了一组分布参数，用于确定不同类型问题的比例。最后，我们生成测试集，并打印每个测试的问题。

TestSetEvaluator：质量评估

一旦我们生成了测试集，下一步就是进行评估。通过TestSetEvaluator，我们可以评估Kernel Memory的性能。以下是相关代码示例：

var evaluation = new TestSetEvaluatorBuilder()                            .AddEvaluatorKernel(kernel)                            .WithMemory(memoryBuilder.Build())                            .Build();
var results = evaluation.EvaluateTestSetAsync(index: "default", await testSet.ToArrayAsync());
await foreach (var result in results){    Console.WriteLine($"Faithfulness: {result.Metrics.Faithfulness}, ContextRecall: {result.Metrics.ContextRecall}");}

在这个示例中，我们首先创建一个TestSetEvaluator，并添加Evaluator内核和内存配置。接下来，我们评估测试集，并打印每次评估的结果，包含信实度（Faithfulness）和上下文回溯（ContextRecall）两个关键指标。

项目结构