四川大学华西医院神经外科徐建国团队于2023年12月在Journal of Medical Internet Research发表文章“Performance Test of the Well-trained Model for Meningioma Segmentation in Healthcare Center: Secondary Analysis based on Four Retrospective, Multicenter Datasets”。本研究基于四家机构组成的多中心磁共振脑结构像数据集,验证了脑膜瘤分割模型的表现,为脑膜瘤的术前随访提供了一种自动化的工具。此外,研究还在模型表现不佳的机构中测试了最新的模型表现提升方法,为后续的临床部署提供了重要的参考。
脑膜瘤是目前最常见的原发性神经系统肿瘤,MRI是其最重要的术前诊和随访手段。近年来,随着神经网络技术的快速发展,深度学习模型可以实现脑肿瘤图像的自动分割,进而监测肿瘤体积是否出现增加,从而为肿瘤的诊断和随访提供了全新的方式。但是,现有研究多为单中心研究或方法学研究,其成果并未在真正的临床场景中进行测试。
在本研究中,课题组基于四家机构组成的多中心数据集,首先验证了脑膜瘤分割模型在实际场景应用中的表现。结果证实,模型在四家机构的测试中,有两家机构来源的数据表现尚可,模型测试分割表现通用指标Dice值分别为 0.887,0.874;而在另外两家的数据上出现了明显的下降,Dice值分别为0.631,0.649。该结果证实了模型在临床部署中会面临鲁棒性差的局限性,将严重阻碍研究成果的临床转化。
进而,面对模型表现不佳的情况,研究又进行了更加深入的探索。目前学界有两种主流的解决方案。一是以迁移学习为代表的无监督方法。该方案不需要人工参与,成本低廉,可以充分利用已有模型的先验知识,但是效果较差。二是再次进行一轮模型训练。该方案可以保证模型精度,但是需要大量的人工参与。这两种方法孰优孰劣一直是争议的焦点。因此,研究者又分别测试了模型再训练和迁移学习的表现。结果证实,模型再训练可以达到更好的效果,但是需要投入更多的成本;而迁移学习效果稍逊一筹,但是成本较低。因此,如何选择这两种方案需要临床医生根据自身的需求,平衡成本与收益后再做出抉择。
总而言之,本研究为脑膜瘤的体积生长监测提供了一套自动化的方案,并在多中心数据集中测试了目前最新的方法。研究结果将有效辅助脑膜瘤的随访观察和诊疗方案的制定,并为现有计算机辅助诊断(CAD)研究的转化提供了详细且可靠的数据支持。
图1 模型在不同机构数据集的测试结果。DICE分数越高代表模型分割效能越佳,95HD分数越高代表模型分割表现越差
图2 在使用不同的方法后,模型的表现提升。模型1为最初始的模型;2为迁移学习模型;3为重新训练的模型
专家点评
章毅教授:神经网络技术的发展为脑肿瘤的诊断、随访和治疗带来了新契机。但是,在不同中心中,数据特征的差异会导致模型性能下降的问题,严重阻碍了模型在公共医疗机构中的转化和应用。近年来,深度学习提出了一系列方法来解决此问题,但是却缺乏临床实际场景的验证。在本研究中,为应对这一挑战,研究测试了模型在多中心数据中的表现。同时,在表现下降的数据集上,对比并评估了重新训练和迁移学习的技术的效果。这项研究首次关注脑膜瘤分割模型的实际应用,为现有CAD研究的转化提供了详细且可靠的数据支持。
章毅,俄罗斯工程院院士,IEEE Fellow,四川大学智能技术交叉中心主任、教授、博士生导师,中国人工智能学会首批会士,中国人工智能学会常务理事,中国人工智能学会副秘书长,国家重点研发计划“高性能计算”专项总体专家组专家,四川省人工智能学会理事长,成都市数字产业促进会会长、国际学术期刊IEEE Transactions on Cybernetics副主编,享受国务院特殊津贴。获国家自然科学二等奖、教育部自然科学一等奖、四川省科技进步一等奖等。出版英文学术专著3部,发表学术论文370余篇,连续9年入选Elsevier中国高被引学者榜单。
作者心得
“医学+人工智能”是目前的前沿热点问题。近年来,在医学领域,已有越来越多报告证实AI模型在辅助临床诊疗决策的潜力;而在信息学领域,针对现有应用场景存在问题的方法学研究也是主流的研究方向之一。本研究立足于临床实际需求,在现有方法学研究的基础上,整合、验证了目前的最新方法。一方面,多中心的数据为方法学的验证提供了可靠的保证;另一方面,本研究的结果阐述了临床部署中可能存在的问题,并为其解决方法提供了重要的参考。
Journal of Medical Internet Research(JMIR)是JMIR 出版社的旗舰期刊,是全球领先的数字医学与健康和医疗保健领域领先的同行评审期刊。在"医学信息学"和 "医疗保健科学与服务"两个学科领域均名列前茅,具有很高的国际影响力。本研究于2022年11月投稿,经过3轮大修,论文于2023年12月被接收。论文的审稿专家分别来自医学专业与信息学专业,都对稿件的内容提出了非常苛刻但有用的建议。在论文修改和回复审稿意见的过程中,我们最深切地体会到了同行评议的重要性。审稿专家的建议帮助我们从不同角度审视研究,提升了论文的质量。
通信作者
张蕾,四川大学计算机学院(软件学院、智能科学与技术学院)人工智能系主任。曾获得国家自然科学二等奖、教育部自然科学一等奖和中国青年女科学家奖等。国家自然科学基金杰出青年基金、优秀青年基金获得者。教育部新世纪优秀人才、四川省青年科技创新研究团队带头人、四川省学术和技术带头人。长期围绕人工神经网络模型的记忆机制开展研究,并应用于医学数据的智能分析。
通信作者
徐建国,医学博士后、教授、主任医师、博士生导师,四川大学华西医院神经外科主任。四川省学术和技术带头人、四川省卫生计生委学术技术带头人、四川省卫生健康领军人才。中国医师协会神经外科分会常委、颅底外科学组副组长,中国医疗保健国际交流促进会颅底外科分会副主任委员,中国研究性医院协会神经外科分会副主任委员,中国老年医学会神经外科分会副主任委员,中国医学装备协会神经外科分会副会长,四川省医学会神经外科分会候任主任委员。主持国家自然基金面上项目4项,以第一/通讯作者在国内外期刊发表论文100余篇,获中华医学科技进步奖一等奖和教育部科技进步奖二等奖各1项。
第一作者
陈超越,四川大学华西医院神经外科助理研究员。四川省神经外科医疗质量控制中心专家委员会秘书。从事与颅底肿瘤智能化诊疗的相关研究,在医工交叉方向有扎实的研究基础和理论基础。主持中国博士后基金面上项目1项,以第一作者(包括共同第一)/通讯作者在Int J Surg、J Med Internet Res、Eur Radiol、Chinese Med J等期刊发表论文30余篇。在欧洲放射学年会、欧洲神经肿瘤学年会上展示。2022年参与编写并执笔中国首部脑膜瘤规范化临床诊疗指南《中国肿瘤整合诊治指南——脑膜瘤》,获相关授权专利3项。