基于自相关性增强的散射成像方法、系统及模型训练方法

本发明涉及图像处理，尤其涉及一种基于自相关性增强的散射成像方法、系统及模型训练方法。

背景技术：

1、由于受到不均匀传播介质特性的影响，光学成像过程中携带目标信息的光子在穿过诸如大气、生物组织等传播介质时会改变其传播路线，发生多重散射现象，导致在像平面无法识别目标对象。通过图像处理来克服散射的影响，恢复隐藏在散射介质后的目标图像形状，将为激光探测、生物医学成像及其军事领域等带来极大的帮助。

2、在过去十多年中，研究者提出通过测量和计算实现透过散射介质成像的各种方法，例如波前整形、传输矩阵和相位共轭等方法。但这些方法都各有优缺点和适用条件，例如传输矩阵测量和相位共轭方法，需要复杂的成像系统并且其相关测量的计算量过大。随着研究的深入，bertolotti等和katz等提出基于散斑自相关性的散射成像技术，但是由于自相关性只涉及到目标的振幅信息，在其相位恢复时极易受到噪声项影响，导致重建效果不佳。

3、针对上述方法的不足，研究人员提出利用机器学习尤其是无需复杂物理模型的深度学习方法实现散射计算成像。例如hui等人使用支持向量回归(svr)算法证明了机器学习在实现透过散射介质的目标成像的可行性。yang等人在透过磨砂玻璃等介质的散斑图像恢复任务中，使用unet架构的卷积神经网络重建出手写数字体。zhang等人基于编解码结构的生成对抗网络利用光学成像系统采集目标相位图，实现在散斑图像中重建目标。

4、上述相关研究克服了传统方法的局限，在不改变光路的基础上，使用相对较少的计算量，实现透过散射介质的目标成像。表明在没有任何物理先验知识的基础上，机器学习和深度学习在散射计算成像的可行性，然而在上述端到端的散射计算成像中，由于缺乏先验知识的指导，只对恢复同一域下目标的散射成像效果明显。

5、为进一步提高模型的泛化性，探索散斑图像中目标信息对成像的影响，lyu等人设计了“hnn””(hybrid neural network)深度学习模型，证明了通过从散斑图案中检索到低至0.1％的目标信息实现目标重建；sun等人提出先分类后重建，实现模型在不同散射介质下高效的目标重建；li等人开发的深度神经网络实现透过不同散射条件下目标成像。尽管上述工作研究在模型的泛化方面有一定的提升，但是实质上依旧依赖于数据驱动。

6、由于采集环境的限制，获取大量种类全面、场景多样的数据集是极其困难的。因此，探索散射成像物理模型，克服数据限制，实现透过散射介质成像成为研究热点。zhu等人将自相关物理模型与深度学习结合，有效减少训练数据集，实现透过散射介质的同一数据域目标的重构。但在实际光路采集中，图像易受到外界因素干扰，在自相关运算时产生较大的噪声项，影响散斑相关成像质量。

7、为解决上述问题，本发明的发明人在长期实践中发现，如何将物理约束与深度学习相结合，实现低信噪比的基于自相关的散斑恢复，有效抑制背景噪声项是比较关键的技术。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种基于自相关性增强的散射成像方法、系统及模型训练方法。

2、为实现前述发明目的，本发明采用的技术方案包括：

3、第一方面，本发明提供一种基于自相关性增强的散射成像的模型训练方法，包括：

4、构建基本元素数据集以及复杂目标数据集，所述基本元素数据集包括多个基本元素，所述复杂目标数据集包括多个复杂目标元素；

5、使所述基本元素和复杂目标元素的图像经过散射光路，形成基本散斑图像和复杂散斑图像；

6、对所述基本散斑图像和复杂散斑图像进行预处理，生成对应的基本自相关图像和复杂自相关图像；

7、以所述基本自相关图像作为训练集，对应的所述基本元素作为所述训练集的标记，对基础神经网络进行训练；

8、以所述复杂自相关图像作为测试集，对应的所述复杂目标元素作为所述测试集的标记，对所述基础神经网络进行迭代更新，获得用于基于自相关性增强的散射成像的深度学习模型。

9、第二方面，本发明还提供一种基于自相关性增强的散射成像方法，包括：

10、获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；

11、利用深度学习模型对所述散斑图像进行处理，获得输出结果；

12、通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；

13、其中，所述深度学习模型是由上述模型训练方法训练获得的。

14、第三方面，本发明还提供一种基于自相关性增强的散射成像系统，包括：

15、图像获取模块，用于获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；

16、图像处理模块，用于利用深度学习模型对所述散斑图像进行处理，获得输出结果；

17、相位恢复模块，用于通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；

18、其中，所述深度学习模型是上述模型训练方法训练获得的。

19、基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：

20、本发明所提供的技术方案采用光学成像方法构建基本元素数据集，通过采集基本元素对应的散斑图，将散斑自相关性作为物理先验，使用基本元素生成的自相关图像训练深度学习模型，实现跨数据域目标的散射恢复成像，同时为去除自相关图像中噪声项的影响，增强自相关图像的信噪比，采用基于编解码结构的深度学习模型将低信噪比的散斑自相关图像恢复到高信噪比，最后结合传统相位恢复算法，实现了目标图像的高分辨率重建成像，具有成像清晰、运算量小、成像还原度高的优点。

21、上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。

技术特征：

1.一种基于自相关性增强的散射成像的模型训练方法，其特征在于，包括：

2.根据权利要求1所述的模型训练方法，其特征在于，所述基本元素包括多个基础几何形状；

3.根据权利要求2所述的模型训练方法，其特征在于，所述基本元素数据集还包括对多个所述基础几何形状的旋转变化和随机位置变化图像。

4.根据权利要求1所述的模型训练方法，其特征在于，所述散射光路对平行光进行调制，生成所述基本元素和复杂目标元素的图像，并使所述基本元素和复杂目标元素的图像经过散射介质透射后，形成所述基本散斑图像和复杂散斑图像；

5.根据权利要求4所述的模型训练方法，其特征在于，利用空间光调制器对所述平行光进行调制；

6.根据权利要求1所述的模型训练方法，其特征在于，所述训练集的标记包括所述基本元素的自相关图像；

7.根据权利要求1所述的模型训练方法，其特征在于，所述基础神经网络基于pytorch深度学习框架的计算平台运行。

8.根据权利要求1所述的模型训练方法，其特征在于，所述迭代更新具体包括：将多个不同信噪比的所述复杂自相关图像输入经过所述训练集训练后的所述基础神经网络，测试所述基础神经网络对于从低信噪到高信噪比的复杂自相关图像的鲁棒性，并基于所述鲁棒性更新所述基础神经网络。

9.一种基于自相关性增强的散射成像方法，其特征在于，包括：

10.一种基于自相关性增强的散射成像系统，其特征在于，包括：

技术总结
本发明公开了一种基于自相关性增强的散射成像方法、系统及模型训练方法。所述模型训练方法包括：构建基本元素数据集以及复杂目标数据集；经过散射光路，形成散斑图像；进行预处理，生成对应的自相关图像；以基本自相关图像作为训练集，基本元素作为标记，进行训练；以复杂自相关图像作为测试集，复杂目标元素作为标记，进行迭代更新，获得深度学习模型。本发明采用光学成像方法构建基本元素数据集，将散斑自相关性作为物理先验，实现了跨数据域目标的散射恢复成像，同时采用基于编解码结构的深度学习模型将散斑自相关图像恢复到高信噪比，最后结合相位恢复算法，实现了目标图像的高分辨率重建成像，具有成像清晰、运算量小、成像还原度高的优点。

技术研发人员：王晨,庄佳衍,叶思超,肖江剑
受保护的技术使用者：中国科学院宁波材料技术与工程研究所
技术研发日：
技术公布日：2024/1/11