微软亚洲研究院与上海市精神卫生中心展开联合研究，借助多模态大模型为认知障碍患者带来全新训练方法

最新 9 月 22 日消息，据微软亚洲研究院官方披露，该研究院与上海市精神卫生中心携手展开联合研究，基于微软 Azure OpenAI 服务中的多模态大模型，开发了利用多种模态数据（如语音、文字、图片、音乐等信息）的个性化认知训练框架，为认知障碍患者的认知训练带来了新的可能。

最新从微软亚洲研究院获悉，综合上海市精神卫生中心专家的建议与患者的需求，微软亚洲研究院的研究员们从易用性、界面友好性、功能专业性和入门难易度等多个维度出发，开发了个性化认知训练框架“忆我”（ReMe）。该工具以微软 Azure OpenAI 服务为基础模型，具备即时交互响应功能，支持文字、图像、语音等多种模态的输入输出，以对话机器人的形式为用户提供全新的认知训练体验。

从使用流程和功能来看，个性化认知训练框架“忆我”首先通过手机或可穿戴设备上传个人记忆内容，随后采用更贴近生活的方式，进行个体化的情景记忆或世界知识的开放性记忆训练。研究员们还提供了一个训练框架，让该领域的医生等研究者可以利用内置的认知游戏模板快速创建个性化的训练游戏。除此之外，该工具还包括交互式的评估，以便追踪患者的认知水平，并根据需要调整训练任务。

不仅如此，微软亚洲研究院与上海市精神卫生中心还在不断向该训练框架扩展更多训练功能和任务，除了开放性的和个体化的训练任务外，通过语音对话的自然交互体验，也兼容并实现已被验证有效的成熟认知训练任务。例如锻炼思维灵活性的颜色识别、锻炼工作记忆的数学运算等。同时，微软亚洲研究院也在尝试基于传感器技术，通过可穿戴设备以机会感知（opportunistic sensing）的方式记录日常生活中的重要节点和事件，促进更便捷的个性化个人记忆训练。