近年来，深度学习方法在图像处理中的应用快速发展，特别是对于医学影像，基于深度学习的技术为医生提升诊断效率提供了大量科学和直观的依据。对于医学图像分割，U-Net已成为一种流行且有效的工具，然而，它在分割模糊边界和消除干扰方面仍有明显的不足。
针对上述问题，中科院苏州医工所董建飞课题组的博士生张云楚和董建飞研究员近两年来研究提出了一种“2K折网络（2K-Fold-Net）”、以及基于注意力机制的特征增强型4折网络——EF3-Net（Enhanced-Feature-4-Fold-Net）。
这一研究思路主要受到了U-Net的形状和折纸的启发。如图1所示，U-Net可以视作将长序列形的全卷积网络（FCN）折叠一次得到2个折（fold），形成左边的特征提取编码部分和右边的上采样解码部分，并通过横向的“跨连接”连接对应的编解码模块。类似地，通过将全卷积网络折叠K次可得到2K个折，形成K个子U-Net；在此基础上连接相邻子U-Net对应的编解码模块，并将原输入图片再次输入到每个子U-Net，提出了一种2K折网络（2K-Fold-Net）。图2（a）展示了K=4时的2K-Fold-Net结构。同时，该研究总结了最近文献中提出的多个U-Net变体的优缺点，包括Stacked U-Nets、DoubleU-Net、U2-Net、W-Net等。该研究提出的2K-Fold-Net结合了这些堆叠、级联多个U-Net网络的共同特征，可以视为这些网络的泛化结构。
图1 （a）用折纸表示1x2折、2x2折、3x2折网络；（b）U-Net网络结构。
（a）
（b）
图2 （a）2K-Fold-Net网络结构（K=4）；（b）EF3-Net结构图。
该研究在CVC-ClinicDB息肉分割数据集上研究了折叠次数K对2K-Fold-Net分割精度的影响，并对比了三种级联模块化U-Net（cascading modular U-Nets）的变体，实验数据如图3所示。2K-Fold-Net精度在K=3时达到最大值，并在相同参数量和相同折数K下精度优于其他三种级联模块化U-Net变体。
图3 四个网络mIoU指标随折叠次数（sub-U-Net个数）K变化趋势
为了进一步提升网络的性能，同时考虑到与计算复杂度的平衡，该研究基于2K-Fold-Net结构K=2的特例，在特征提取模块中引入多残差模块（MultiRes block）以提升网络提取不同大小特征的能力，在连接U-Net对应编解码模块的“跨连接”部分引入注意力感知特征增强、空间特征增强和通道特征增强三种注意力机制，因此命名为“Enhanced-Feature-4-Fold-Net”，简称“EF3-Net”。网络结构如图2（b）所示。该研究在四个具有挑战性的医学影像分割数据集中研究了不同特征增强模块组合对精度的影响，同时对比了U-Net、MultiResUNet、DoubleU-Net等网络。结果表明EF3-Net以更少的参数量实现更高的交并比（IoU）和戴斯相似性系数(Dice)。图4展示了代表性的分割图像，EF3-Net表现出更少的欠分割或过分割，对于边界的提取更为准确。
图4 U-Net、MultiResUNet与EF3-Net分割图像对比
该研究的意义在于提出了一种在不增加参数量前提下提升网络精度的简单有效方法，引入注意力机制增强特征图的特定部分可以进一步提升性能。该研究受到国家自然科学基金面上项目的资助（F030110：数据驱动控制），研究论文于近日在计算机和人工智能顶刊Pattern Recognition（中科院一区，影响因子7.74）上在线发表。
论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0031320322001066
附件下载：
