2024-08-30，由京东健康、华中科技大学和浙江大学联合收集的第一个真实家庭环境中的多模态数据集MHAD，包含不同拍摄角度和各种家庭场景。它包含了迄今为止最全面的生理信号，是计算机视觉、机器学习和生物医学工程等多个学术研究领域的宝贵资源。

一、研究背景：

在家庭环境中实现非接触式生理监测，对于健康监护具有重要意义。视频生理学技术，特别是远程光电容积描记术（rPPG），通过分析视频中的微小变化来提取脉搏和呼吸等生理信号。这种非接触式、实时监测方法非常适合家庭环境。然而，现有数据集通常仅限于面部近距离、静态、正面的录像，并且通常只包括1-2个生理信号。

目前遇到困难和挑战：

1、现有数据集缺乏家庭环境中多角度和多活动的录像。

2、缺乏包含多种生理信号的数据集，限制了相关方法的评估。

3、当前模型在活动和不同视角下生成准确波形的能力有限。

数据集地址：MHAD|多模态数据数据集|家庭活动识别数据集

二、让我们一起看一下MHAD数据集

MHAD数据集是首个包含多角度、多活动和多生理信号的家庭视频生理数据集。

招募了40名志愿者，在真实家庭环境中进行录像，使用三个USB摄像头从不同角度同步录制视频。使用BIOPAC传感器记录5种生理信号，并与视频毫秒级同步。

该数据集是第一个在真实家庭环境中提供多角度（正面、45 度侧面、90 度侧面）同步视频录制以及多个生理信号的数据集。我们的数据集包含六种典型的家庭活动（看电视、打电话、看书、聊天、吃饭、喝水），确保数据具有代表性。记录的生理信号（呼吸、PPG、ECG、SpO2、血压）涵盖全面的测量范围，在现有数据集中提供最完整的生理信号集。所有生理信号均使用金标准 BIOPAC 传感器收集，并使用商用 USB 相机录制视频。

基准测试：

• 对多种主流的远程心率和呼吸率估计方法进行了评估。

• 包括无监督信号处理方法和监督深度学习方法。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

三、让我们一起展望数据集的应用：

比如，我是一个智能家居设备的研发工程师。

我们团队是要开发一款能够实时监测家庭成员健康状况的设备。但是，现有的技术在家庭环境中的表现并不理想，因为它们大多是在实验室条件下测试的，与真实家庭环境相差甚远。

现在，有了MHAD数据集，我们就可以在电脑上模拟各种家庭活动，比如看电视、打电话、读书、聊天、吃饭、喝水，而且可以从不同角度观察。这样，就可以设计出更加精准的算法，来监测用户的心率、呼吸率、血氧饱和度和血压等生理指标。

比如，我可以通过分析用户看电视时的视频，来优化算法在静态场景下的性能。然后，我可以尝试更复杂的场景，比如用户在吃饭或喝水时，看看算法是否能够准确监测到他们的生理变化。

通过这种方式，我可以在不打扰用户的情况下，实时监测他们的健康状况，及时发现可能的健康问题。这不仅提高了家庭健康监护的便捷性和准确性，也为智能家居设备的研发提供了强大的支持。

来吧，让我们一起走进数据集：MHAD|多模态数据数据集|家庭活动识别数据集