基于模拟数据训练网络的户外散射成像方法及系统

文档序号:37858581发布日期:2024-05-07 19:32阅读:51来源:国知局

本发明涉及大气散射成像,具体地,涉及一种基于模拟数据训练网络的户外散射成像方法及系统,同时提供了一种相应的计算机终端和计算机可读存储介质。


背景技术:

1、在一般的光学成像系统中,物面上的一个点对应着像面上一个衍射受限的艾里斑,光学系统满足线性空间不变的近似条件,因此物像间有明确的一一对应关系而易于被准确测量。然而,在有散射特性的传播介质中,空间中折射率的随机分布则导致光线的传播方向被随机地调制,无法再以经典几何成像理论得到清晰的像。在浓雾升起,水体浑浊,狂风暴雨等情况下,成像受到干扰,对人们日常出行或生产作业造成极大影响。因此研究能够恢复出散射介质后的真实场景的计算成像方法有着非常重要的意义。

2、目前,深度学习的方法已经较为广泛的应用在研究散射成像的问题中,基于深度学习的散射成像方法无需测量输入输出模式,仅通过强度测量就可实现透过散射介质的重聚焦、成像等,但是在测试过程中,总是倾向于构建同训练数据类型相似的输出,数据类型单一,泛化性、灵活性不足,利用数据集训练的网络难以应用到真实场景中。

3、为解决这个问题,公开号为cn115237365a的中国发明专利申请《实验数据采集以及透过散射介质成像深度学习方法及系统》,提出了一种通过电子墨水屏上图片的刷新来模拟真实场景下不同物体,辅助采集大量散射数据,弥补散射数据难以采集的问题,并利用采集到的散射数据训练神经网络,得到适用于透过真实散射场景成像的深度学习技术。但是该方法仍然存在着一定的限制,考虑到户外场景下散射介质的光学厚度分布并不均匀,在一些特定角度照明下仍然无法较好的消除照明不均匀的影响,这样的数据集导致训练的网络模型存在本身的偏置问题,复原的图像会有严重的失真情况,比如某个区域会始终偏亮;此外,通过墨水屏直接得到的数据集训练出来的网络在对于实际场景中不同深度的三维数据恢复上存在较大的失真,无法有效解决真实户外场景的散射成像问题。同时,python语言的使用需要在计算机上配置相应的应用环境,在更换计算机的时候需要重复此类操作,极为不便。


技术实现思路

1、本发明针对现有技术中存在的上述不足,提供了一种基于模拟数据训练网络的户外散射成像方法及系统,同时提供了一种相应的计算机终端和计算机可读存储介质,能够将模拟数据训练出的网络实际运用在户外场景下的大气散射成像技术中。

2、根据本发明的一个方面,提供了一种基于模拟数据训练网络的户外散射成像方法,包括:

3、对实验室条件下得到的散射图像数据集进行全局预处理,得到多个不同光学厚度的模拟图像数据集;

4、对全局预处理得到的多个模拟图像数据集中不同光学厚度下的对应相同真值的散射图像按照不同权重附加相应的深度图信息进行结合,得到包含了三维深度信息的一个新模拟图像数据集;

5、提供一深度学习网络模型,利用所述新模拟图像数据集训练所述深度学习网络模型,得到图像复原模型;

6、将所述图像复原模型与相机采集端口进行连接,通过所述图像复原模型不断循环恢复相机所采集到的图片,得到实时的户外场景散射成像结果。

7、优选地,所述对实验室条件下得到的散射图像数据集进行全局预处理,得到多个不同光学厚度的模拟图像数据集,包括:

8、采用卷积对实验室条件下得到的散射图像进行全局的空间高斯滤波,得到一个表征照明场强度分布的矩阵;

9、利用所述实验室条件下得到的散射图像点除所述矩阵,得到消除了不均匀光照影响的新散射图像;

10、对所述新散射图像依次进行灰度拉伸和裁剪,得到符合模型训练所需图像尺寸的模拟图像数据;

11、判断所述模拟图像数据是否存在照明不均影响;如果是,则修改所述高斯滤波的标准差,重新执行上述步骤;如果否,则利用得到的所述模拟图像数据构建模拟图像数据集。

12、优选地,所述卷积采用的卷积核大小为448*448。

13、优选地,所述高斯滤波的标准差初始设置为250。

14、优选地,所述全局预处理得到的多个模拟图像数据集中不同光学厚度下的对应相同真值的散射图像按照不同权重附加相应的深度图信息进行结合,得到包含了三维深度信息的一个新模拟图像数据集,包括:

15、获取实验室条件下多个模拟图像数据集中不同光学厚度下的对应相同真值的散射图像,并利用线性插值方法进行结合,模拟出整个光学厚度区间内的任意光学厚度下的散射图像;

16、基于泽尼克多项式或深度模型,随机生成模拟出的所述散射图像相应的深度图信息;

17、将所述深度图信息加载到相应的结合后的散射图像中,得到带有三维散射光学厚度信息的新模拟图像;

18、判断所述新模拟图像是否符合户外散射场景光学厚度分布特征;如果否,则更新所述深度图信息,重新生成新模拟图像;如果是,则利用得到的所述新模拟图像构建包含了三维深度信息的新模拟图像数据集。

19、优选地,所述将所述深度图信息加载到相应的结合后的散射图像中,得到带有三维散射光学厚度信息的新模拟图像,包括:

20、

21、式中,ot(x,y)表示深度图信息某一坐标位置的光学厚度,n为拍到的同一真值不同光学厚度下的散射图像个数,oti、ii(x,y)为第i个的散射图像的光学厚度以及该光学厚度下的某一位置光强,wi为所选深度图信息在不同光学厚度下结合后的散射图像所能给到的权重,i(x,y)表示加入不同光学厚度权重影响的最终生成的新模拟图像某一坐标位置的光强;

22、利用n个带有三维散射光学厚度信息的新模拟图像数据集生成一个包含了三维深度信息的新模拟图像数据集。

23、优选地,所述提供一深度学习网络模型,利用所述新模拟图像数据集训练所述深度学习网络模型,得到图像复原模型,还包括如下任意一项或任意多项:

24、-所述深度学习网络模型可以采用基于unet的神经网络模型;

25、-对得到的所述图像复原模型进行打包,将所述图像复原模型由.py文件打包成最终的可执行.exe文件。

26、根据本发明的另一个方面,提供了一种基于模拟数据训练网络的户外散射成像系统,包括:

27、模拟数据构建模块,该模块用于对实验室条件下得到的散射图像数据集进行全局预处理,得到多个不同光学厚度的模拟图像数据集;

28、三维信息数据构建模块,该模块用于对全局预处理得到的多个模拟图像数据集中不同光学厚度下的对应相同真值的散射图像按照不同权重附加相应的深度图信息进行结合,得到包含了三维深度信息的一个新模拟图像数据集;

29、图像复原模型训练模块,该模块用于提供一深度学习网络模型,利用所述新模拟图像数据集训练所述深度学习网络模型,得到图像复原模型;

30、散射成像模块,该模块用于将所述图像复原模型与相机采集端口进行连接,通过所述图像复原模型不断循环恢复相机所采集到的图片,得到实时的户外场景散射成像结果。

31、根据本发明的第三个方面,一种计算机终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该计算机程序时可用于执行上述中任一项所述的方法,或,运行上述中所述的系统。

32、根据本发明的第四个方面,一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可用于执行上述中任一项所述的方法,或,运行上述中所述的系统。

33、由于采用了上述技术方案,本发明与现有技术相比,具有如下至少一项的有益效果:

34、本发明提供的基于模拟数据训练网络的户外散射成像方法及系统,解决了模拟数据训练出的网络在实际运用场景中恢复效果不佳的问题,适用于户外不同散射介质浓度下的散射成像。

35、本发明提供的基于模拟数据训练网络的户外散射成像方法及系统,通过对数据进行去除不均匀光照预处理实现对比度增强,解决强度偏置导致的失真问题;建立权重模型将不同光学厚度产生的影响加载到模拟数据集中,形成新的更接近户外散射场景的带有三维深度特征的数据集;将网络与采集端连接实现实时散射成像任务,同时将python环境及程序打包成exe文件,一体化便捷操作。

36、本发明提供的基于模拟数据训练网络的户外散射成像方法及系统,模拟数据训练的网络模型适用于户外大气散射成像,在自动切换显示器画面采集大量实验数据的方法的基础上,对数据集的预处理以及数据集的二维到三维的优化处理,使得训练数据更加能够表征户外散射场景,解决光照不匀、网络恢复效果不好、泛化性差的问题。

37、本发明提供的基于模拟数据训练网络的户外散射成像方法及系统,将应用程序封装,使从采集到输出整个过程能够直接运行,提升了实验的可复制性、可操作性,没有额外的硬件要求,成像系统构成简单,能够在此基础上适配各种装置提升性能,真正做到户外散射场景下的实时成像。

当前第1页1 2 
当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1