图增强LLM + 可穿戴设备实时数据，生成个性化健康见解

• • 提出背景
  • 图增强LLM = 子解法1（使用层次图模型） + 子解法2（动态数据整合） + 子解法3（LLM引导评估）

 

---

提出背景

论文：https://arxiv.org/pdf/2406.16252

健康监测系统通过持续捕捉生理和行为数据，为预防措施和早期健康干预提供了支持，从而彻底改变了现代医疗保健。

虽然将这些数据与大型语言模型（LLM）结合使用在提供互动健康建议方面显示出潜力，但传统方法如检索增强生成（RAG）和微调常常未能充分利用可穿戴设备中复杂、多维度且与时间相关的数据。

这些常规方法通常因为缺乏动态整合和解读多样健康数据流的能力，而提供有限的可操作和个性化健康见解。

作为回应，本文引入了一个图增强的LLM框架，旨在显著增强健康见解的个性化和清晰度。

通过使用层次性图结构，该框架捕捉患者间和患者内关系，利用来自随机森林模型的动态特征重要性评分来丰富LLM提示。

我们通过COVID-19封锁期间涉及20名大学生的睡眠分析案例研究来展示这种方法的有效性，突出了我们模型生成可操作和个性化健康见解的潜力。

我们利用另一个LLM来评估这些见解的相关性、全面性、可操作性和个性化，以解决模型有效处理和解释复杂健康数据的关键需求。

我们的发现表明，通过我们的框架增强提示可以在所有四个标准上获得显著改进。通过我们的框架，我们可以引出针对特定患者定制的、更周到的响应。

 
一般来说，这些方法可以分为两大类。

第一类直接将可穿戴设备的原始信号值提示给LLM以执行任务。

例如，Health-LLM将可穿戴设备的时间序列信号转录并输入到LLM中以增强预测能力。

第二类涉及一个中间步骤来处理数据并将其转换为自然语言文本。

这一步骤可能使用统计模型、机器学习模型或其他旨在比LLM更有效处理数据的技术。

然后将处理后的输出转录为文本，并使用RAG或基于代理的方法输入到LLM中。

例如，Chatdiet演示了LLM与因果推断在可穿戴数据上的增强，以提供个性化的饮食建议。

类似地，采用一个代理框架，OpenCHA，它集成了由协调者组织的外部增强，以改善糖尿病管理。

这些进展表明将可穿戴技术与语言模型合并，以开发尖端的健康监测解决方案的潜力。

然而，现有方法在从可穿戴和移动设备收集的数据中提取复杂见解方面仍然存在不足。

这些方法由于无法充分利用多维度和与时间相关的数据，难以提供高质量的个性化响应。

直接输入可穿戴传感器的原始信号值会妨碍LLM理解这些信号，因为LLM并未设计或训练以有效处理数字数据。

第二类方法严重依赖中间数据处理模型，但这些模型并未针对与LLM的有效整合进行优化。

因此，它们在捕获来自可穿戴设备的全面健康见解方面遇到困难，特别是时间模式和患者间相似性。

迫切需要改进的模型，能够有效处理和解释复杂的个人健康数据，以提供清晰、可解释和可操作的见解。

在本文中，我们介绍了一个图增强的LLM框架，用于生成个性化健康见解。

该框架利用一个层次图结构，每个患者是一个节点，每天的数据是子节点，通过余弦相似性连接，以反映日常和整体模式的相似性。

这种设置使得图能够通过一个训练有素的随机森林模型在历史和类似患者数据上增强LLM提示的特征重要性评分。

我们在一项聚焦睡眠分析的案例研究中评估了框架的有效性，使用的数据来自2020年3月COVID-19封锁期间南加州的20名大学生。

我们通过使用另一个LLM评估这些响应在四个主要标准——相关性、全面性、可操作性和个性化——上的质量。

这张图展示了一个基于图的个性化提示框架，用于睡眠分析的案例研究。整个框架分为四个主要部分：

1. 初始提示（Initial Prompt）：

   • 这是对框架的输入查询，例如：“Can you generate sleep-related insights for Patient 1 on 2020-11-23?”（你能为2020年11月23日的第一病人生成与睡眠相关的见解吗？）。

2. 个性化提示框架（Personalized Prompt Framework）：

   • 这一部分涉及数据集的整合，包括患者的人口统计信息、生理数据（如睡眠、心率变异性（HRV）、活动量）以及文本数据（如日常日记条目）。
   • 框架使用图形结构来表示患者数据，其中每个节点代表一个患者，子节点代表每天的数据。这些节点通过特征重要性得分（由机器学习模型训练得出）来连接，反映了时间内和患者间的相似性。

3. 增强提示（Augmented Prompt）：

   • 在这一阶段，框架根据收集到的信息生成一个增强的查询提示，包括患者的人口统计信息、当前日数据、以及特征重要性概要。这个增强的提示被用来向LLM（大型语言模型）提问，例如：“Can you generate sleep-related insights?”（你能生成与睡眠相关的见解吗？）。

4. 见解生成（Insight Generation）：

   • LLM使用上述增强的提示来生成与患者具体情况相关的睡眠见解。这些见解是基于患者的具体数据和通过框架分析的模式生成的。

这个框架通过结合患者的详细数据和先进的语言模型处理，提高了健康见解的个性化和相关性。

我们提出了一个图增强的大型语言模型（LLM）框架，通过加强用户提示与患者数据的整合，以提供个性化的健康见解。

它允许用户查询特定日期的患者可穿戴数据，如睡眠模式、活动水平和心率。

该过程从一个自然语言处理（NLP）引擎开始，该引擎提取提示中的关键细节，如患者ID、感兴趣的指标和日期。引擎检索来自数据集的相关人口统计和特定日期的数据。为了个性化，我们开发了一个内部和患者间相似性图，以描述层次数据关系。

NLP引擎与图形交互，以识别与查询最相关的日期，并支持一个特征重要性模型，该模型根据类似患者的数据确定影响健康指标的关键因素。

得到的增强提示，富含这些见解，被输入到LLM中以生成个性化的健康见解。

该框架架构的概述如图1所示。接下来，我们将概述所提框架的每个组成部分。

A. NLP引擎

NLP引擎协调用户查询，从提示中提取关键标识符，如患者ID和日期。

它访问数据集以检索相关的人口统计和特定日期的数据，使增强提示与用户的查询对齐。

利用预先建立的内部和患者间相似性图，引擎识别相关的时间和患者比较模式。

它还整合了从类似患者的数据中训练出的特征重要性分数。

这种整合使用户的初始提示富含全面的上下文细节，为LLM的最佳理解格式化。

B. 数据集

数据集包含去标识的患者记录，包括按患者ID和日期索引的人口统计、可穿戴和文本数据。

NLP引擎访问这个数据集，使用检索增强生成（RAG）方法[7]检索相关的患者特定信息。

C. 内部和患者间相似性图

该图整合了多样的生理、行为和文本数据，利用NLP技术如情感分析提取与期望健康结果相关的情感和主题。

经过仔细选择和标准化，这些多模态数据点形成一个全面的多维患者档案。

我们使用这些档案构建一个内部和患者间相似性图，使用余弦相似性来量化和连接基于天数和患者间的相似性和差异性的关系。

这种结构对于动态细化LLM输入至关重要，从而通过识别患者数据中的模式，增强其生成精确健康见解的能力。

D. 特征重要性

我们开发了一个机器学习模型（即随机森林），以识别影响感兴趣健康指标的最有影响力的因素，使用历史数据和从图中得出的最相似患者的信息。

这个模型对于确定关键变量至关重要，它使用从每个用户提示中提取的图形数据进行训练。

提示中的细节，如患者的ID和指定日期，指导NLP引擎从图中提取相关信息。

然后使用得到的特征重要性分数动态增强提示模板，提高生成见解的准确性和相关性。

E. 见解生成

在我们流程的最后阶段，我们使用LLM生成个性化健康见解。

提示富含来自患者档案及其相似患者网络的相关上下文信息。

LLM利用其先进的自然语言能力和广泛的预训练知识，提供对个体健康模式和福祉的细致见解。

这种方法结合了传统机器学习生成的见解与先进NLP的推理能力和广泛的预训练知识，以产生全面的、个性化的健康建议，专为每个患者量身定制。

图增强LLM = 子解法1（使用层次图模型） + 子解法2（动态数据整合） + 子解法3（LLM引导评估）

1. 子解法1：使用层次图模型

   • 特征： 提高数据关联性识别的精确性
   • 原因： 层次图能够有效捕捉患者间和患者内的复杂关系，这对于健康数据尤其重要，因为患者的健康状况可能受多种因素的共同影响。例如，通过比较不同患者的睡眠模式和生活习惯，可以发现潜在的健康风险因素。

2. 子解法2：动态数据整合

   • 特征： 提升个性化健康见解的相关性和准确性
   • 原因： 动态数据整合允许系统实时更新和引入最新的健康数据，例如日常活动水平或最近的心率变化，使得生成的健康见解不仅基于历史数据，而且反映当前的健康状况。比如，如果一个患者最近开始执行新的锻炼计划，系统可以快速调整健康建议以适应这种变化。

3. 子解法3：LLM引导评估

   • 特征： 保证健康见解的质量和实用性
   • 原因： LLM引导评估利用先进的自然语言处理技术，对生成的健康见解进行质量控制，确保其在相关性、全面性、可操作性和个性化方面符合高标准。例如，通过LLM模型评估一个关于心脏健康的建议，可以确保该建议不仅科学准确，而且能被患者轻松理解并实际应用。