清华大学自动化系生命根本模型实验室闾海荣副研究员、江瑞教授、张学工教授与中南大学湘雅医院胡忠良教授互助，提出了一种基于大区域兴趣和金字塔Transformer的精准病理诊断AI根本模型ROAM，用于胶质瘤的临床级诊断和分子标志物创造，并可拓展到其他类型肿瘤的病理诊断。
7月18日，该研究事情以“一种基于Transformer的弱监督打算病理方法及其在胶质瘤临床级诊断和分子标志物创造中的运用”（A transformer-based weakly supervised computational pathology method for clinical-grade diagnosis and molecular marker discovery of gliomas）为题，揭橥于《自然·机器智能》（Nature Machine Intelligence）期刊。
胶质瘤是最常见的原发性颅内肿瘤，诊断极具寻衅性。ROAM能够从病理图像中有效提取丰富的多尺度信息，实现了对胶质瘤肿瘤检测、亚型分类、分级和分子特色预测等多种分类任务的准确诊断。在内部数据上，ROAM的诊断性能卓越，能够自动捕获与病理学家履历同等的关键形态特色，为胶质瘤供应准确、可靠温柔应性强的临床级诊断。此外，ROAM还能推广到独立的外部数据，具有出色的泛化能力。通过可视化和解释诊断，ROAM能够帮助病理学家验证模型诊断根本的可靠性，并提取有代价的信息。同时，它还能促进赞助诊断，提高医疗水平。最主要的是，ROAM有助于创造分子和形态学生物标志物，为胶质瘤的诊断和治疗供应新的见地。
ROAM是一种弱监督打算病理学方法，该方法以多示例学习为基本框架，以大尺寸组织图像块为基本研究单元，并采取金字塔transformer来系统地学习每个组织图块的尺度内和尺度间的干系性特色，从而实现对全组织切片图像视觉表征的有效提取。如图1，ROAM首先对每张全切片图像进行组织分割并从中提取大尺寸的组织图像块（2048×2048）作为后续剖析的基本单元。随后，ROAM利用多尺度示例特色学习模块组织图块的特色，分别利用尺度内自把稳力模块（Intra-scale SA）和尺度间自把稳力模块（inter-scale SA）学习组织图块中相同放大尺度下不同位置以及不同放大尺度下同一位置的局部区域之间的干系性特色，利用金字塔transformer架构逐步从高放大倍数到低放大倍数领悟多尺度特色，得到组织图块的多尺度视觉表征。末了利用门控把稳力机制学习每个组织图块（示例）的把稳力权重并加权求和，得到整张切片的视觉表征。
研究职员在内部数据集和TCGA外部数据集上评估了ROAM的分类表现。ROAM优于包括CLAM、TransMIL、GTP、TEA-graph、H2MIL在内的五种已有方法，在内部数据集胶质瘤诊断干系的任务上均优于其他基线方法（图2a）。同时，ROAM也具有良好的泛化性，仅利用内部数据集进行演习并在外部TCGA数据集上测试，ROAM的总体表现仍旧优于其他基线方法。此外，ROAM预测的可视化结果也表明该方法总结的诊断依据与临床诊断标准非常同等。
研究职员对ROAM进行了临床级的综合评估并研究了ROAM在胶质瘤赞助诊断中的表现。如图3，ROAM的临床胶质瘤诊断表现与高年资病理年夜夫相称。此外，在ROAM供应的可视化依据的赞助浸染下，3位中低年资的病理年夜夫的诊断准确性有了显著的提升，这表示了ROAM的巨大临床运用代价。
研究职员借助ROAM探究了与胶质瘤诊断干系的关键分子特色的形态学表现。研究职员关注到ROAM在预测异柠檬酸脱氢酶（IDH）突变的分子特色任务上表现精良，对ROAM在该任务中的预测结果进行了完全的可视化剖析，并对ROAM关注的高把稳力关键区域的组织形态特色进行剖析和总结，创造在IDH突变的病理图像中普遍存在嗜酸性细胞增多、细胞质均匀和细胞核深染的征象。这一主要创造有利于年夜夫在不借助分子检测的情形下作出初步的IDH状态的预测，对付胶质瘤临床诊断标准和优化和完善有显著的推进浸染。
ROAM方法通过大尺寸图像块和多尺度特色学习模块实现了全切片组织病理图像视觉表征的高效提取，为临床上胶质瘤的病理诊断供应了一种全面、通用、有效的办理方案，未来也可以推广到其他类型肿瘤的病理诊断。
清华大学自动化系闾海荣副研究员、张学工教授、中南大学湘雅医院胡忠良教授为通讯作者，清华大学自动化系江瑞教授、2022级硕士生尹小旭，中国移动研究院杨鹏帅，湘雅医院程灵超为论文共同第一作者。清华大学自动化系研究生胡隽、杨娇、王颖、傅晓丹、商利、李丽玲、蔺薇、周欢参与了本研究的数据采集及标注，陈福沨及福州数据技能研究院供应了在线软件平台的研发支持。
论文链接：
https://www.nature.com/articles/s42256-024-00868-w
供稿：自动化系