使用神经网络对深度图像数据去噪的制作方法

文档序号:38262529发布日期:2024-06-12 23:11阅读:40来源:国知局


背景技术:

1、深度感测系统(诸如飞行时间(tof)相机)可以用于产生环境的深度图像,深度图像的每个像素表示到环境中的对应点的距离。在tof相机的图像传感器的每个像素处,到表面的距离基于由tof相机发射的光从表面反射并且返回到像素的往返时间间隔来确定。


技术实现思路

1、公开了涉及使用神经网络对深度图像数据去噪的示例。一个示例提供了一种计算设备,该计算设备包括逻辑机和存储机,该存储机保存指令,该指令由逻辑机可执行以实现包括神经网络的深度图像处理流水线,神经网络包括边缘检测层。该神经网络被配置为接收有效亮度图像的输入,并且接收复深度图像的实数据或虚数据中的一项或多项的输入,复深度图像对应于有效亮度图像。该神经网络还被配置为:在边缘检测层,将一个或多个卷积过程应用于有效亮度图像,以标识有效亮度图像中的一个或多个边缘像素,并且在第二层,基于所标识的一个或多个边缘像素来对复深度图像的实数据或虚数据中的一项或多项去噪。

2、提供本
技术实现要素:
是为了以简化的形式介绍以下在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护的主题的范围。此外,所要求保护的主题不限于能够解决本公开的任何部分中指出的任何或所有缺点的实现。



技术特征:

1.一种计算设备,包括:

2.根据权利要求1所述的计算设备,其中所述指令可执行以不将去噪内核应用于被标识为边缘像素的像素,并且将所述去噪内核应用于其他像素。

3.根据权利要求1所述的计算设备,其中所述指令可执行以确定从所述有效亮度图像中的像素到所述一个或多个边缘像素中的边缘像素的距离,并且基于所述距离,来将去噪内核应用于与所述有效亮度图像中的所述像素相对应的所述复深度图像的像素。

4.根据权利要求3所述的计算设备,其中所述神经网络包括不同大小的多个去噪内核,并且所述指令可执行以并行地经由所述多个去噪内核处理所述复深度图像的所述像素,以获取相应的多个去噪像素输出,并且基于所述距离来选择所选择的去噪像素输出。

5.根据权利要求3所述的计算设备,其中所述指令可执行以在所述距离具有第一较大值时将第一较大去噪内核应用于所述像素,并且在所述距离具有第二较小值时将第二较小去噪内核应用于所述像素。

6.根据权利要求1所述的计算设备,其中所述神经网络包括第一平均卷积层、差分层、第二平均卷积层和阈值化层。

7.根据权利要求1所述的计算设备,其中所述边缘检测层被配置为确定针对像素邻域的标准差。

8.根据权利要求7所述的计算设备,其中所述指令可执行以至少基于针对所述像素邻域而被确定的所述标准差与对有效亮度的模型相关标准差之间的比较来标识所述一个或多个边缘像素。

9.根据权利要求1所述的计算设备,其中所述有效亮度图像和所述复深度图像从包括深度图像传感器的远程计算设备被接收。

10.根据权利要求1所述的计算设备,还包括并入深度图像传感器的深度相机,其中所述有效亮度图像和复深度图像从所述深度图像传感器被接收。

11.一种在计算设备上实施的方法,包括:

12.根据权利要求11所述的方法,其中所述方法包括:当所述距离具有第一较大距离值时,将第一较大去噪内核应用于所述像素,并且当所述距离具有第二较小距离值时,将第二较小去噪内核应用于所述像素。

13.根据权利要求11所述的方法,其中应用去噪内核包括并行地将多个去噪内核应用于所述复深度图像的像素以获取多个去噪像素输出,并且基于所述距离来选择所选择的去噪像素输出以用于形成所述去噪复深度图像。

14.根据权利要求11所述的方法,其中标识所述一个或多个边缘像素包括将针对像素邻域的所述标准差与阈值进行比较。

15.根据权利要求11所述的方法,还包括使用亚当自适应一阶梯度优化函数来训练所述神经网络。


技术总结
一个示例提供了一种计算设备,包括逻辑机和存储机,存储机保存指令,指令由逻辑机可执行以实现包括神经网络的深度图像处理流水线,神经网络包括边缘检测层。神经网络被配置为接收有效亮度图像的输入,并且接收复深度图像的实数据或虚数据中的一项或多项的输入,复深度图像对应于有效亮度图像。神经网络还被配置为:在边缘检测层,将一个或多个卷积过程应用于有效亮度图像,以标识有效亮度图像中的一个或多个边缘像素,并且在第二层,基于所标识的一个或多个边缘像素来对复深度图像的实数据或虚数据中的一项或多项去噪。

技术研发人员:M·A·马来亚·萨蒂亚西兰,S·奥尔蒂斯·埃吉
受保护的技术使用者:微软技术许可有限责任公司
技术研发日:
技术公布日:2024/6/11
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1