本文将概述23年4月揭橥于nature的Foundation models for generalist medical artificial intelligence。
和大家一起看看根本模型在通用医学人工智能（Generalist Medical AI, GMAI）的运用、前景与寻衅，以及它如何通过多模态数据解析、动态任务学习和医学知识利用，彻底改变我们的医疗实践。
什么是通用医学AI（GMAI）？
通用医学AI是一类前辈的根本模型，具备处理多种医疗任务的能力，而无需针对每个详细任务进行单独演习。
与传统的AI模型不同，GMAI可以通过少量或无需标注数据，灵巧应对不同的医疗需求。
这种模型通过在大规模、多样化的数据集上进行自监督学习，能够理解和整合来自影像、电子康健记录（EHR）、组学、实验室结果等多种数据类型，天生详细的诊断报告、治疗建议乃至蛋白质设计方案。
图1 | GMAI模型概况
a. GMAI在多种医学数据模态上通过子监督学习进行演习。为了实现灵巧的交互，不管是笔墨、语音还是图像都要和措辞配对。接下来GMAI须要访问各种医学知识源，以实行医学推理任务，从而解锁各种下贱运用。终极，GMAI模型还能够实行用户实时指定的任务。为此，GMAI可以从知识图谱或数据库等来源检索高下文信息，利用正式的医学知识对以前未见过的任务进行推理。
b. GMAI模型为多个临床学科的浩瀚运用奠定了根本，每个运用都须要经由仔细的验证和监管评估。
GMAI的核心能力动态任务指定（Dynamic Task Specification）用户只需用自然措辞描述新的医疗任务、以前未见过的高度详细的问题，GMAI便能理解并实行，无需重新演习。例如，年夜夫可以讯问：“请阐明这张头部MRI扫描中的肿块，更可能是肿瘤还是脓肿？”或者“这是十位患有新兴疾病——郎雅黑尼病毒传染的患者的病史记录。我们当前的患者也传染郎雅黑尼病毒的可能性有多大？”多模态输入与输出（Multimodal Inputs and Outputs）GMAI能够处理和天生多种数据形式，如图像、文本、音频等。临床年夜夫可以同时上传多张影像和实验结果，GMAI则可以天生包含笔墨阐明和图像标注的综合报告。医学知识的利用（Formal Representation of Medical Knowledge and Advanced Medical Reasoning）“该患者可能会发展为急性呼吸窘迫综合征，由于患者最近因严重胸部创伤入院，且只管吸入的氧气分数增加，动脉血氧分压仍在稳步低落。”在手术过程中，GMAI可以实时标注目频流，提醒年夜夫把稳手术步骤或罕见解剖征象。传统医学AI缺少医学领域的先验知识，紧张依赖输入数据特色与预测目标之间的统计关联，而缺少对病理生理过程等高下文信息的理解。GMAI不仅依赖数据中的统计模式，还能利用医学知识进行高等推理。GMAI模型可以根据不雅观察数据推断并利用医学观点与临床创造之间的因果关系，从而供应治疗建议。GMAI模型能够天生自我阐明的警示信息，例如：GMAI的实际运用案例图2 | GMAI的三种潜在运用
a. GMAI可以实现多功能且自我阐明的病床边决策支持。
b. 基于事实的放射学报告配备了可点击的链接，用于可视化每个创造。
c. GMAI有潜力对模型开拓过程中从未碰着过的征象进行分类。在增强手术流程中，通过利用医学领域知识和位置环境，对罕见的非常创造进行逐步推理解释。
下面是这6个运用方向，我以为是能切身帮助到临床治疗的。
基于事实的放射学报告：GMAI可以自动天生详细的放射学报告，描述影像中的非常和正常创造，并结合患者病史供应互动式可视化，帮助放射科年夜夫更准确地诊断疾病。增强手术流程：在手术过程中，GMAI能够实时标注目频，供应语音提醒，乃至在碰着罕见病理征象时，依据解剖学知识进行推理，赞助外科年夜夫做出更准确的判断。床边决策支持：GMAI可以解析电子康健记录，预测患者未来的康健状况，并供应详细的治疗建议，帮助临床年夜夫做出更明智的决策。互动式条记记录：通过监控年夜夫与患者的对话，GMAI能够自动起草病历记录和出院报告，减少年夜夫的行政包袱，让他们有更多韶光专注于患者照顾护士。面向患者的谈天机器人：GMAI驱动的谈天机器人能够与患者互动，供应康健建议和解释，乃至根据患者自带的数据（如饮食照片）进行康健监控，提升患者的自我管理能力。文本天生蛋白质：GMAI可以根据文本描述天生蛋白质的氨基酸序列及其三维构造，赞助科学家进行蛋白质设计，加速药物研发和生物工程的进展。GMAI的机遇与寻衅机遇可控性：GMAI许可用户精确掌握输出格式，供应多措辞支持和个性化定制，知足不同用户的需求。适应性：GMAI能够通过高下文学习，迅速适应新技能、新疾病和不同的医疗环境，无需频繁重新演习。广泛适用性：GMAI作为根本模型，可以支撑多种下贱运用，涵盖从诊断、治疗到患者管理的各个方面。寻衅验证与验证：由于GMAI的多功能性，全面验证其在所有可能任务中的表现极为困难。须要新的验证方法和多学科团队参与，确保模型的可靠性和准确性。社会偏见：医疗AI模型可能因演习数据中的不平衡或有害关联而产生偏见，影响边缘化群体。须要持续审计和监管，防止偏见的积累与加剧。隐私保护：GMAI模型处理大量敏感的患者数据，必须严格遵守隐私保护法规，防止数据透露和滥用。规模与本钱：演习和支配大型GMAI模型须要弘大的打算资源和高昂的本钱，同时对环境也有显著影响。须要探索高效的数据网络和模型压缩技能，降落本钱和环境包袱。结语通用医学AI（GMAI）正在为医疗领域带来革命性的变革。通过其多模态数据解析、动态任务学习和医学知识利用能力，GMAI有望在诊断、治疗、患者管理等多个方面供应强大的支持，提升医疗做事的质量和效率。
然而，要充分发挥GMAI的潜力，我们须要共同面对和解决验证、社会偏见、隐私保护和规模等方面的寻衅。
未来，随着技能的不断进步和干系政策的完善，GMAI将成为医疗实践中不可或缺的智能助力，助力临床年夜夫更好地做事于每一位患者。
让我们共同期待GMAI在医疗领域的广泛运用，为康健中国的培植贡献聪慧和力量！
参考文献
Make the world better！Moor, M. et al. Foundation models for generalist medical artificial intelligence. Nature 616, 259–265 (2023).