近日，MIT和Google的研究人员共同提出了一种名为Health-LLM的新型人工智能框架，旨在将大语言模型（LLMs）应用于健康预测任务，利用可穿戴传感器的数据。该框架的提出标志着健康领域在可穿戴技术和人工智能的交叉点上取得了重大突破。
可穿戴传感器技术的出现使得生理数据的连续监测成为可能，包括心率变异性、睡眠模式和体育活动等。然而，这种非语言的、多模态的时间序列数据如何有效地用于健康预测，成为一个需要超越传统LLMs能力的挑战。
研究的重点是通过调整LLMs以解释和利用可穿戴传感器数据进行健康预测。这些数据的高维度和连续性要求LLMs能够理解个体数据点及其随时间动态关系的能力。相比之下，传统的健康预测方法主要涉及Support Vector Machines或Random Forests等模型，而最近出现的先进LLMs，如GPT-3.5和GPT-4，引起了在这一领域探索它们潜力的关注。
研究涵盖了八种最先进的LLMs的综合评估，包括GPT-3.5和GPT-4等知名模型。研究人员精心选择了五个领域的13个健康预测任务:心理健康、活动跟踪、代谢、睡眠和心脏病。这些任务旨在覆盖健康相关挑战的广泛范围，并测试模型在不同场景中的能力。
研究采用了严格而创新的方法，包括零-shot提示、少量提示增强链式思维和自一致技术、指导微调以及零-shot环境中重点关注上下文增强的剔除研究。零-shot提示测试了模型在无特定任务训练的情况下的内在能力，而少量提示利用有限的示例促进上下文学习。链式思维和自一致技术被整合以增强模型的理解和连贯性。指导微调进一步调整模型以适应特定健康预测任务的细微差异。
研究中，Health-Alpaca模型，Alpaca模型的经过微调的版本，在13项任务中表现出色，成为五项任务中取得最佳结果的模型。这一成就尤为引人注目，考虑到Health-Alpaca模型相较于GPT-3.5和GPT-4等较大模型的规模要小得多。研究的剔除研究部分揭示，包括用户资料、健康知识和时间背景在内的上下文增强可以使性能提高高达23.8%。这一发现突显了上下文信息在优化LLMs健康预测性能中的重要作用。
这项研究在将LLMs与可穿戴传感器数据整合进行健康预测方面取得了重要进展。研究证明了这一方法的可行性，并强调了上下文在增强模型性能方面的重要性。特别是，Health-Alpaca模型的成功表明，规模较小、更高效的模型在健康预测任务中同样，如果不是更加，有效。这为以更加可访问和可扩展的方式应用先进的医疗保健分析打开了新的可能性，从而为个性化医疗的更广泛目标做出了贡献。
论文网址:https://arxiv.org/abs/2401.06866