景深是光学系统中最近和最远的清晰成像平面之间的距离；景深越大，该光学系统可清晰成像的范围就越广。由于光学镜头的景深限制，往往难以获得全聚焦图像，即其中往往存在一部分模糊区域。解决该问题一种有效方法是多聚焦图像融合（MFIF）。MFIF旨在将对同一场景中的不同物体分别进行聚焦得到的多幅局部聚焦图像进行融合，得到所有物体都清晰的全聚焦图像。MFIF可以有效地扩展光学镜头的景深，使成像系统突破景深限制，以获得更高质量的图像。
目前在MFIF领域中，深度学习方法的效果明显优于传统算法。近年来，基于深度学习的MFIF算法发展迅速，但学者们往往致力于设计越来越复杂的网络结构、模块和损失函数来提升算法的融合性能。这意味着必须花费大量的时间来设计巧妙的网络结构，并完成足够多的对比实验；这不利于算法性能的提升，导致当前的MFIF算法性能达到了瓶颈。
为此，中国科学院苏州生物医学工程技术研究所付威威团队重新考虑了图像融合任务，并将其建模为一种条件生成模型。团队结合当前图像生成领域效果最好的扩散模型（Diffusion Models），提出了一种基于扩散模型的MFIF算法，称为 FusionDiff。值得一提的是，这是该扩散模型在多聚焦图像融合领域的首次应用，为该领域的研究提供了新的思路。
FusionDiff的图像融合原理如图1所示。
图1 FusionDiff算法的图像融合原理示意图
经过实验验证，FusionDiff在融合效果和小样本学习性能上都优于其他MFIF算法。
FusionDiff在8种评价指标上与13种代表性的MFIF算法进行了对比，取得了最好的融合效果，如表1和表2所示。
表1 在Lytro公开测试集上所有算法的平均得分
表2 在MFFW公开测试集上所有算法的平均得分
同时，FusionDiff是一种小样本学习的MFIF算法，仅仅需要100对训练集就能够取得良好的融合效果。表3展示了不同MFIF算法的训练集规模，FusionDiff的训练集规模降低为其他算法的2%以内。这意味着该算法可能适用于样本稀缺的应用场景，如显微图像融合。
表3 不同MFIF算法的训练集规模
相关研究成果以“FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models”为题发表于Expert Systems with Applications期刊（中科院一区Top，IF=8.5），硕士生李敉宁为第一作者，博士生裴融浩为共同一作，付威威研究员为通讯作者。
论文链接：https://doi.org/10.1016/j.eswa.2023.121664
该研究成果得到了山东省自然科学基金（ZR2021QE205）和中国科学院青年创新促进会（Y202072）的支持。
附件下载：
