具有时序平滑性的破碎深度图补正系统的制作方法

本揭示有关于一种影像处理技术，且特别是有关于具有时序平滑性的破碎深度图补正系统。

背景技术：

1、近年来得益于深度学习在电脑视觉领域的快速发展，许多以往难以用方程式描述的复杂问题都能够利用卷积神经网络来得到不错的成果。然而，当需要在街景影像产生天气效果时，目前技术套用在街景影像上面都会产生各式各样的问题，导致我们合成的效果并不理想。因此，要如何在影像上模拟出接近真实的天气效果是本领域技术人员急欲解决的问题。

技术实现思路

1、本揭示的一态样揭露一种影像模拟系统，包括影像撷取电路、内存以及处理器。影像撷取电路用以撷取影像。内存用以储存多个指令以及破碎深度图。处理器连接影像撷取电路，并存取多个指令以进行下列操作：依据该影像产生四联通图以及分类参数，其中分类参数相关于该影像中的背景以及前景；依据分类参数调整四联通图，并依据调整后的四联通图产生引导遮罩，其中引导遮罩用以指示影像中的背景以及前景；以及依据影像、引导遮罩以及破碎深度图产生特效影像，其中特效影像用以在影像中模拟与破碎深度图对应的天气。

2、在一实施例中，依据影像产生四联通图以及分类参数的操作包括：对影像执行语意分割处理以产生语意分割影像，并依据语意分割影像产生分别与影像的多个像素对应的多个分类标签；以及依据多个像素的rgb值产生与多个数值类别对应的直方图，并依据多个数值类别以及多个分类标签产生分类参数。

3、在一实施例中，多个分类标签包括前景标签、后景标签以及未确定标签，且依据多个数值类别以及多个分类标签产生分类参数的操作包括：从与多个数值类别中的各者对应的前景标签的数量以及未确定标签的数量之中选择最小数量；以及将多个数值类别各自的最小数量相加以产生最小总和值，并依据最小总和值以及分类成本参数产生分类参数。

4、在一实施例中，依据分类参数调整四联通图的操作包括：依据多个像素中的各者的rgb值以及多个像素中的各者的周围的像素的rgb值产生平滑参数；以及依据多个像素中的各者的平滑参数以及分类参数调整四联通图。

5、在一实施例中，依据分类参数调整四联通图的操作包括：将影像由rgb域转换至hsv域以产生影像的hsv数值；依据影像的hsv数值以及阴影数值范围进行距离运算以产生影像的多个像素的阴影机率；以及依据多个像素的阴影机率调整分类参数以及平滑参数，并依据调整后的平滑参数以及调整后的分类参数调整多个分类标签以及四联通图。

6、在一实施例中，依据调整后的平滑参数以及调整后的分类参数调整多个分类标签以及四联通图的操作包括：对调整后的平滑参数以及调整后的分类参数对四联通图进行最大流最小分割运算以调整分别与影像的多个像素对应的多个分类标签，并依据调整后的些分类标签以及四联通图产生引导遮罩。

7、在一实施例中，依据影像、引导遮罩以及破碎深度图产生特效影像的操作包括：依据影像产生深度图，并利用引导遮罩以及深度图在影像上产生与破碎深度图对应的天气。

8、在一实施例中，影像撷取电路更用以撷取在影像前一帧的另一影像，其中依据影像、引导遮罩以及破碎深度图产生特效影像的操作包括：依据影像产生深度图，并依据深度图产生点云图；从点云图中辨识与影像中的地平线对应的虚拟地面位置，并依据虚拟地面位置调整引导遮罩；依据影像、另一影像、调整后的引导遮罩以及深度图产生时序参数以及边缘参数，其中时序参数用以解决影像与另一影像之间的深度不连续，且边缘参数用以强化影像以及另一影像的深度的边缘强化；以及依据时序参数以及边缘参数调整该深度图，并依据调整后的深度图以及破碎深度图产生特效影像。

9、在一实施例中，依据时序参数以及边缘参数调整深度图的操作包括：依据时序参数以及边缘参数进行共轭梯度下降处理以调整深度图。

10、在一实施例中，依据调整后的深度图以及破碎深度图产生特效影像的操作包括：依据破碎深度图产生稀疏点云图，并依据调整后的深度图将稀疏点云图与影像进行合成以产生特效影像。

11、基于上述，本揭示实施例可依据影像的分类参数以及四联通图产生引导遮罩，并利用引导遮罩优化由深度预测产生的深度图以明确分辨出影像中的前景以及背景，进而防止影像中接近地面的部分的深度会与地面的深度混淆。

技术特征：

1.一种影像模拟系统，其特征在于，包括：

2.根据权利要求1所述的影像模拟系统，其特征在于，依据该影像产生该四联通图以及该分类参数的操作包括：

3.根据权利要求2所述的影像模拟系统，其特征在于，所述分类标签包括前景标签、后景标签以及未确定标签，其中依据所述数值类别以及所述分类标签产生该分类参数的操作包括：

4.根据权利要求2所述的影像模拟系统，其特征在于，依据该分类参数调整该四联通图的操作包括：

5.根据权利要求4所述的影像模拟系统，其特征在于，依据该分类参数调整该四联通图的操作包括：

6.根据权利要求5所述的影像模拟系统，其特征在于，依据调整后的该平滑参数以及调整后的该分类参数调整所述分类标签以及该四联通图的操作包括：

7.根据权利要求1所述的影像模拟系统，其特征在于，依据该影像、该引导遮罩以及该破碎深度图产生该特效影像的操作包括：

8.根据权利要求1所述的影像模拟系统，其特征在于，该影像撷取电路更用以撷取在该影像前一帧的另一影像，其中依据该影像、该引导遮罩以及该破碎深度图产生该特效影像的操作包括：

9.根据权利要求8所述的影像模拟系统，其特征在于，依据该时序参数以及该边缘参数调整该深度图的操作包括：

10.根据权利要求8所述的影像模拟系统，其特征在于，依据调整后的该深度图以及该破碎深度图产生该特效影像的操作包括：

技术总结
一种影像模拟系统，包括影像撷取电路、内存以及处理器。影像撷取电路用以撷取影像。内存用以储存多个指令以及破碎深度图。处理器连接影像撷取电路，并存取多个指令以进行下列操作：依据该影像产生四联通图以及分类参数，其中分类参数相关于该影像中的背景以及前景；依据分类参数调整四联通图，并依据调整后的四联通图产生引导遮罩，其中引导遮罩用以指示影像中的背景以及前景；以及依据影像、引导遮罩以及破碎深度图产生特效影像，其中特效影像用以在影像中模拟与破碎深度图对应的天气。借此，可有效地在影像上模拟出接近真实的天气效果。

技术研发人员：朱宏国,黄信霖
受保护的技术使用者：鈊象电子股份有限公司
技术研发日：
技术公布日：2024/1/13