今年早些时候，我们在 Nest Hub 中推出了非接触式睡眠感应，这是一项可选功能，可以帮助用户更好地了解他们的睡眠模式和夜间健康状况。虽然一些最重要的睡眠见解可以从一个人的整体时间表和睡眠持续时间中得出，但仅凭这一点并不能说明全部情况。人脑具有特殊的神经回路来协调睡眠周期——深度、轻度和快速眼动 (REM)睡眠阶段之间的过渡——不仅对身体和情绪健康至关重要，而且对最佳的身体和认知表现也很重要。将此类睡眠分期信息与干扰事件相结合可以帮助您更好地了解睡眠时发生的情况。
今天，我们宣布了睡眠感知的增强功能，可提供更深入的睡眠洞察。虽然并非用于医疗目的1，但这些增强功能允许通过睡眠阶段更好地了解睡眠，并将用户的咳嗽和打鼾声与房间内的其他声音区分开来。在这里，我们描述了我们如何开发这些新技术，通过转移学习技术来估计睡眠阶段以及雷达和麦克风信号的传感器融合，以消除睡眠障碍的来源。
训练和评估睡眠分期分类模型
大多数人每晚循环4-6 次睡眠阶段，大约每 80-120 分钟一次，有时在周期之间会短暂醒来。认识到用户了解他们的睡眠阶段的价值，我们使用Soli扩展了 Nest Hub 的睡眠-觉醒算法，以区分轻度、深度和 REM 睡眠。我们采用了一种与 Nest Hub原始睡眠检测算法大体相似的设计：处理原始雷达样本的滑动窗口以产生频谱图特征，并将这些连续馈入Tensorflow Lite模型。关键区别在于，这种新模型经过训练可以预测睡眠阶段，而不是简单的睡眠-觉醒状态，因此需要新数据和更复杂的训练过程。
为了组装适合训练高性能 ML 模型的丰富多样的数据集，我们利用现有的非雷达数据集和应用迁移学习技术来训练模型。识别睡眠阶段的黄金标准是多导睡眠图(PSG)，它采用一系列可穿戴传感器来监测睡眠期间的多种身体功能，例如大脑活动、心跳、呼吸、眼球运动和运动。然后，这些信号可以由训练有素的睡眠技术人员进行解释，以确定睡眠阶段。
为了开发我们的模型，我们使用了来自睡眠心脏健康研究(SHHS) 和多民族动脉粥样硬化研究 (MESA) 的公开数据，其中包含超过 10,000 次原始 PSG 传感器数据以及相应的睡眠分期真实标签，来自国家睡眠研究资源。胸呼吸电感体积描记术这些 PSG 数据集中的 (RIP) 传感器数据是通过佩戴在患者胸部周围的带子收集的，以测量由于呼吸引起的运动。虽然这是一种与雷达截然不同的传感模式，但 RIP 和雷达都提供可用于表征参与者呼吸和运动的信号。这两个域之间的这种相似性使得利用基于体积描记法的模型并使其适应雷达成为可能。
为此，我们首先从 RIP 时间序列信号计算频谱图，并将其用作特征来训练卷积神经网络(CNN) 以预测真实睡眠阶段。该模型成功地学会了识别 RIP 信号中的呼吸和运动模式，可用于区分不同的睡眠阶段。这向我们表明，在使用基于雷达的信号时，同样也应该是可能的。
为了测试该模型的通用性，我们替换了从 Nest Hub 的 Soli 传感器计算出的类似频谱图特征，并评估了该模型能够推广到不同传感模式的能力。正如预期的那样，当给定雷达传感器数据时，训练用于通过体积描记器传感器预测睡眠阶段的模型的准确度要低得多。然而，该模型的表现仍然比随机模型好得多，这表明它已经学习了在两个领域都相关的特征。
为了改进这一点，我们收集了一个较小的雷达传感器数据二级数据集，并带有相应的基于 PSG 的地面实况标签，然后使用该数据集的一部分来微调初始模型的权重。少量的额外训练数据使模型能够适应它从基于体积描记法的睡眠分期中学到的原始特征，并成功地将它们推广到我们的领域。在对一组看不见的新雷达数据测试集进行评估时，我们发现经过微调的模型产生的睡眠分期结果与其他消费者睡眠追踪器的结果相当。
自定义 ML 模型有效地处理连续的 3D 雷达张量流（如图顶部的频谱图所示），以自动计算每个睡眠阶段（REM、轻度和深度）的概率，或者检测用户是否醒着或不安。
通过音源分离实现更智能的音频感应
基于 Soli 的睡眠跟踪为用户提供了一种方便可靠的方式来查看他们的睡眠时间以及睡眠中断发生的时间。然而，要了解和改善他们的睡眠，用户还需要了解为什么他们的睡眠可能会被打乱。我们之前已经讨论过Nest Hub 如何帮助监测咳嗽和打鼾，这是人们通常不知道的睡眠障碍的常见来源。为了更深入地了解这些干扰，了解检测到的打鼾和咳嗽是否是您自己的很重要。
Nest Hub 上的原始算法使用设备上基于 CNN 的检测器来处理 Nest Hub 的麦克风信号并检测咳嗽或打鼾事件，但这种纯音频方法并未尝试区分声音的来源。将音频感应与基于 Soli 的运动和呼吸提示相结合，我们更新了算法，将睡眠干扰与用户指定的睡眠区域与房间中的其他来源分开。例如，当主要用户打鼾时，音频信号中的鼾声会与 Nest Hub 的雷达传感器检测到的吸气和呼气密切对应。相反，当在校准睡眠区域外检测到打鼾时，两个信号将独立变化。当 Nest Hub 检测到咳嗽或打鼾但确定音频和运动特征之间的相关性不足时，它会将这些事件从用户的咳嗽或打鼾时间线中排除，而是在 Nest Hub 的显示屏上将它们标记为“其他声音”。更新后的模型继续完全使用设备上的音频处理和隐私保护分析，没有将原始音频数据发送到谷歌的服务器。然后，用户可以选择在 Google Fit 中保存处理的输出（声音发生次数，例如咳嗽和打鼾的分钟数），以便查看他们夜间的健康状况。更新后的模型继续完全使用设备上的音频处理和隐私保护分析，没有将原始音频数据发送到谷歌的服务器。然后，用户可以选择在 Google Fit 中保存处理的输出（声音发生次数，例如咳嗽和打鼾的分钟数），以便查看他们夜间的健康状况。更新后的模型继续完全使用设备上的音频处理和隐私保护分析，没有将原始音频数据发送到谷歌的服务器。然后，用户可以选择在 Google Fit 中保存处理的输出（声音发生次数，例如咳嗽和打鼾的分钟数），以便查看他们夜间的健康状况。
与用户呼吸模式（左）同步的鼾声将显示在用户的 Nest Hub 的鼾声时间线中。与用户呼吸模式（右）不一致的鼾声将显示在 Nest Hub 的“其他声音”时间轴中。
自从Nest Hub 与睡眠感应功能推出以来，研究人员对使用 Nest Hub 对夜间咳嗽的数字量化进行的调查研究表示了兴趣。例如，囊性纤维化基金会2支持的一项小型可行性研究目前正在进行中，以评估使用 Nest Hub 在患有囊性纤维化 (CF) 的儿童家庭中测量夜间咳嗽的可行性，囊性纤维化 (CF) 是一种罕见的遗传性疾病，可导致由于肺部粘液引起的慢性咳嗽。研究人员正在探索量化夜间咳嗽是否可以作为监测治疗反应的指标。
结论
基于保护隐私的雷达和音频信号，Nest Hub 上这些改进的睡眠分期和音频传感功能提供了更深入的洞察力，我们希望这些洞察力能帮助用户将他们的夜间健康转化为可操作的整体健康改善。
关键词： 卷积神经网络
