近日,中国科学院深圳先进技术研究院·医疗机器人与微创手术器械研究中心秦文健研究员团队,在人工智能顶级期刊Engineering Applications of Artificial Intelligence(IF=8.0)在线发表题为“Self-Supervised Multi-Magnification Feature Enhancement for Segmentation of Hepatocellular Carcinoma Region in Pathological Images”的研究论文。

  该研究开发了一种新型的基于自监督的多倍率分割模型,有效利用了不同放大倍率的信息,解决了跨倍率图像信息利用不足的挑战。该工作首次将自监督学习用于跨倍率图像特征增强的分割网络,为拓展金字塔式病理图像跨倍率应用提供了新的思路。中国科学院深圳先进技术研究院秦文健研究员为文章通讯作者,博士研究生刁颂辉为文章第一作者。

  病理学诊断是肿瘤疾病临床确诊的金标准,它是通过显微镜观察病变微观组织、细胞的形态变化,对肿瘤诊断分期,为患者术前诊断、治疗决策和术后评估的提供关键依据。数字病理技术实现了完整病理切片的数字化,将病理医生从传统显微镜下解放出来,使海量病理切片数据永久存储和智能化分析成为可能,更重要的是为临床精准诊疗、新药物研发和科学发现的提供了变革性技术。借助于强大的深度学习技术,为病理图像信息提取和定量分析提供了新思路和新方法。

  然而,超大尺寸的数字病理图像通常包括了1.25倍到40倍跨倍率的“金字塔”形式存储信息,不同倍率提供不同的组织结构和细胞组织模式信息(图2),这种特性使得组织病理图像在内容丰富性和复杂性上远超常规医学图像。因此,如何高效利用多倍率病理图像信息依然存在严重的技术挑战。

  图2 多倍率图像对的示例。(a)高倍率(40X)大尺寸图像块,(b)为低倍率(10X)图像块(红色标记),(c)是黑色区域的图像块。

  此前,秦文健研究员在Computer Methods and Programs in Biomedicine发表题为“Multi-scale feature fusion for prediction of IDH1 mutations in glioma histopathological images”的文章,创新性地提出一种多尺度病理图像特征融合学习的基因突变信息准确预测,通过充分利用不同尺度特征之间的互补性,可以获得更全面、更丰富的多尺度特征表示,证实了多倍率病理图像表征有助于模型性能提升。

  图3 文章上线截图

  图4 多尺度特征融合性能展示。a 多尺度特征融合与其他方法性能对比;b 基于UMAP的多尺度融合特征聚类可视化。

  本论文工作利用多倍率病理图像特性,建立一种新的多倍率学习分割模型,有效地利用不同倍率图像的表征信息。因此,我们开发了一种新的多倍率特征自增强网络,通过自监督学习从多倍图像中提取特定的倍率特征,而无需额外的监督。具体而言,该网络通过基于自监督的超分辨率模块增强特征信息,将代表性信息传递到分割编码器中,充分利用了整个全景病理图像的金字塔存储特性。为了在超分辨率网络和分割网络之间高效传递有益特征,我们设计了两个基于编解码层融合的模块(分别为MSFF模块和GU模块),可以有效地利用超分辨率网络获得的关键特征,并将传输的信息约束到解码阶段,实现了特征从生成任务到分割任务的融合。最后,我们使用来自公开数据集肝细胞癌对本论文提出方法进行了交叉验证,并获得了0.829 分割性能,相比最新的分割模型提高了近3%。未来,研究团队还将技术扩展到多区域分割和其他癌症类型上。

  图5 多倍率图像混合分割网络示意图

  图6 不同方法DSC的箱线图图。蓝色、橘色、绿色、紫色和红色方框分别表示使用基线Bk、Bk+MSFF、Bk+GU和Bk+MSFF+GU的性能评价。

  该研究工作获得了国家科技部重点研发计划项目、国家自然科学基金面上项目的支持。