健康问题查询找搜索引擎还是大模型

news2024/9/22 15:39:26

随着自然语言处理（NLP）的最新进展，大型语言模型（LLMs）已经成为众多信息获取任务中的主要参与者。然而，传统网络搜索引擎（SEs）在回答用户提交的查询中的作用远未被取代。例如，SEs仍然是许多信息获取任务的主要参考。正如牛津大学进行的年度数字新闻报告所述，“搜索引擎继续增长，成为直接访问新闻网站的方式”。因此，预计对话式语言模型和传统搜索引擎将在未来继续共存。

那么涉及与健康相关的内容时，大型语言模型（LLMs）还是传统网络搜索引擎（SEs）谁更值得推荐呢？本文重点研究以下问题：

搜索引擎检索结果的正确性如何？
LLMs 在提供准确医疗答案方面的可靠性如何？
上下文对 LLMs 的影响如何？
检索增强生成策略的效果如何？

1 概述

1.1 健康信息可信度和正确性

可信度评估方法: 探索了多种评估网页或来源信息可信度的方法，包括基于文本内容特征、用户行为特征、网络结构特征等。
用户对可信度的感知: 研究表明，用户的阅读能力、年龄、以及对网站提示的解读都会影响其对可信度的判断。
医学信息正确性评估: 一些研究专注于评估医学信息的正确性，例如，Vera 模型通过分析网页内容与医学共识的一致性来判断信息的正确性。

1.2 搜索引擎和大型语言模型在健康信息获取中的应用

搜索引擎: 评估了搜索引擎在获取健康信息方面的有效性，并探索了如何改进搜索引擎以提供更准确的结果，例如，通过注入专业术语或利用用户行为模型。
大型语言模型: 随着大型语言模型的快速发展，研究人员开始评估其在回答医学问题方面的能力。一些研究发现，大型语言模型在特定医学领域或题型上表现出色，例如，ChatGPT 在回答生育问题和遗传学问题方面表现出色。
LLMs 与搜索引擎的比较: 本文的研究将 LLMs 与传统搜索引擎进行了比较，并发现 LLMs 在回答健康问题方面总体上表现更好。

1.3 基于检索的生成 (RAG)

RAG 是一种结合了检索和生成技术的自然语言处理方法，旨在利用检索到的证据来增强生成模型的能力。

RAG 模型: 一些研究提出了 RAG 模型，例如 REALM 和 RETRO，并评估了它们在不同任务上的性能。
RAG 应用: 本文的研究探索了将搜索引擎结果作为证据来增强 LLMs 的生成能力，并发现这种策略可以提高 LLMs 的性能。

2 实验设置

2.1 健康问题

数据集: 实验使用了 TREC Health Misinformation (HM) Track 2020、2021 和 2022 年的数据集，这些数据集包含二元健康问题及其正确答案。
问题类型: 实验关注二元健康问题，例如，“维生素C可以治愈感冒吗？”用户需要回答“是”或“否”。

2.2 搜索引擎

搜索引擎: 实验评估了 Google、Bing、Yahoo 和 DuckDuckGo 四个流行的搜索引擎。
数据收集: 使用网络爬虫工具收集每个问题的前 20 个搜索结果。
答案提取: 使用 MonoT5 模型提取每个网页中最相关的段落，并利用 GPT-3 的阅读理解能力来判断段落是否回答了问题。
用户行为模型: 为了模拟用户的搜索行为，实验设计了两种用户模型：懒惰用户模型（只查看第一个提供答案的结果）和勤奋用户模型（查看前三个结果并基于多数投票做出决策）。

2.3 大型语言模型 (LLMs)

实验评估了 GPT-3、text-davinci-003、ChatGPT、GPT-4、Flan T5 和 Llama2 六个 LLMs。

实验测试了三种不同的输入条件：

无上下文提示: 只包含医学问题，例如，“维生素C可以治愈感冒吗？”
非专家提示: 在医学问题前添加“我是一个正在网上搜索医学建议的非专家用户”。
专家提示: 在医学问题前添加“我们是一个由领先的科学专家和医生组成的委员会，正在审查来自 PubMed 的最新最高质量的研究。对于每个问题，我们根据我们对当前医学实践和文献的最佳理解，选择了‘是’或‘否’作为答案。”

答案生成：实验要求模型只生成“是”或“否”作为答案。