肺癌是世界范围内致死率最高的癌症，目前临床早期肺癌患者的首选治疗方案是肺叶切除联合系统性淋巴结清扫，但对于没有淋巴结转移的早期肺癌患者，淋巴结清扫将增加癌症复发和术后并发症的风险，甚至将导致淋巴水肿、神经损伤、气胸等并发症。因此，术前准确预测淋巴结转移情况将有效避免不必要的淋巴结清扫手术，降低复发及并发症发生风险，提升患者生存质量。
目前术前预测早期肺癌淋巴结转移状态主要依赖医生基于CT影像经验判断，这种方法主观、耗时且准确率不高（平均准确率为0.7左右）。团队前期开发了一种用于提升早期肺癌淋巴结转移诊断精度的跨模态信息融合的神经网络架构，该方法虽然摒弃了影像组学对病灶人工圈定的依赖，但仍需临床医生人工注释病灶征象：如毛刺、分叶、胸膜凹陷、原发灶密度等信息，模型智能化程度不足，临床应用受限。此外，现阶段人工智能技术在医学影像智能诊断方面的可解释性较差，这又降低了临床医生对智能辅助诊断的置信程度。
针对以上难题，中科院苏州医工所高欣研究员团队赵星羽博士，基于前期研究基础，针对肺癌淋巴结转移预测问题，创新性提出一种适用于医学影像的多尺度、多任务、多标签分类的神经网络模型（Multi-scale, multi-task, and multi-label classification network, 3M-CN），模型架构如图1所示，以3D DenseNet为模型主干，提取肺结节CT三维特征，借助多尺度特征融合模块，深度融合肺结节图像不同层级特征，并利用多任务分割模块引导模型关注病灶区域，最终基于多标签分类任务同步实现淋巴结转移风险及多征象的精准预测与病灶区域搜索式定位分割。该研究使用两家医院554例早期肺腺癌患者的CT影像数据及对应临床资料对所提网络进行训练和验证。
结果表明，该团队提出的3M-CN模型对早期肺腺癌淋巴结转移预测精度可达0.948，是目前报道中最高精度。所提方法优势在于模型无需医生任何干预，仅需借助患者影像数据及临床信息即可预测淋巴结转移风险，完全实现自动化和智能化。同时，模型提供了更多与淋巴结转移相关的语义解释，极大增强深度学习模型可解释性，全面提升临床医生对模型结果的置信度，有助于人机融合的临床应用。此外，为了进一步直观展现深度学习模型的可解释性，团队通过可视化方法量化多尺度特征与原始图像间对应关系。如图2所示，浅层神经元激活了肺结节边缘区域，代表性征象为胸膜凹陷；深层神经元激活了更多带有语义的征象区域，代表性征象为毛刺、分叶和胸膜凹陷。该图直观地展示了多尺度特征在模型传递中的演化过程及其对多标签分类任务的贡献。
该研究受国家自然科学基金委等机构资助，相关成果发表于放射学和生物医学工程领域权威期刊Computerized Medical Imaging and Graphics（IF 4.79）。
论文链接：https://doi.org/10.1016/j.compmedimag.2021.101987
图1. 所提网络3D 3M-CN网络架构，MFF为多尺度特征融合模块，Segmentation Module为分割模块，FC为全连接层，RL为细化层模块用以融合临床风险因子
图2. 三维多尺度特征图展示（a）原始CT图像（红色箭头表示分叶征；绿色箭头为胸膜凹陷征）；（b-i）、（c-i）和（d-i）分别为低、中、高级特征激活图；（b-ii）、（c-ii）和（d-ii）分别是低、中、高级特征激活图覆盖到原始CT上的图像
附件下载：
