肺癌是世界范围内致死率最高的癌症之一，早期肺癌患者主流治疗方案是标准肺叶切除联合系统性淋巴结清扫术，然而部分患者术后病理证实无淋巴结转移，针对这些患者执行系统性淋巴结清扫并未带来生存收益，反而给患者造成不必要的组织损伤，甚至出现淋巴水肿、神经损伤、气胸等并发症。因此，精准预测早期肺癌淋巴结转移状态，可指导手术方案的制定，降低复发及并发症发生风险，提升患者生存质量。
目前，淋巴结转移诊断主要依赖于放射科医生读片判断，主观性强、准确率低、耗时严重。为此，团队前期开发了一种基于影像组学的淋巴结转移模型，可在术前智能判断淋巴结转移状态，然而这种方法需要人工逐层勾画肿瘤区域（通常需标注20-30张切片），耗时费力，限制了临床推广和普及。深度学习通过构建神经网络，无需人工精确勾画病灶边界，即可自动提取影像特征，完成诊断模型的全流程构建，在医学影像智能诊断领域表现出巨大潜力。然而，现有基于深度学习的智能影像分析方法只关注影像本身的信息，忽略了诊断中与疾病进展显著相关的非影像医学领域知识，如生化血检指标等临床资料，无法实现跨模态信息的融合互补。
中科院苏州医工所高欣研究员团队与上海长征医院刘士远主任团队合作，针对早期肺腺癌术前淋巴结转移诊断问题，提出一种端到端的跨模态信息融合的新型神经网络架构（图1），该架构以三维密集神经网络（3D DenseNet）为基础，全自动提取与淋巴结转移相关的影像特征，同时对生化血检指标、征象信息及危险因素等三类医学领域知识进行编码，拼接融合影像特征与编码后的领域知识生成特征向量，利用全连接网络自动学习特征权重，计算患者淋巴结转移风险概率。该研究利用三大设备厂商五台CT采集的501名早期肺腺癌患者的CT影像数据及相关临床资料，基于提出的新型网络架构，成功构建并验证了肺癌淋巴结转移早期诊断模型。研究结果显示，所建模型实现了92.8%的诊断准确度，超过影像组学方法（诊断准确度为89.1%）、仅基于影像的深度学习方法（诊断准确度为88.0%）以及影像科医生（平均诊断准确度为69.2%），实现了精度最高的肺癌淋巴结转移术前无创诊断。此外，团队借助深度模型可视化方法，量化了深度模型对领域知识和医学影像的关注程度，提升了模型的可解释性（图2），有效引导并提示医生对重点领域知识和影像区域的关注。该研究的价值在于提出了一种跨模态信息融合的深度学习架构，为智能影像辅助诊断系统的开发提供了一种新的建模思路。
该研究受国家自然科学基金委等机构资助，相关成果发表于Lung Cancer（呼吸系统领域国际权威期刊 IF 4.599）。
论文链接：https://doi.org/10.1016/j.lungcan.2020.04.014
图1. 所提模型网络架构
图2. (a) 所提模型对所有相关因素的关注度排序，其中对影像的关注度最大 ，(b) 所提模型对两例早期肺癌淋巴结转移患者影像重点关注区域可视化，颜色越红，表示模型对该区域关注度越高且该区域与淋巴结转移的相关性越大。
附件下载：
