用于生成深度信息的电子装置和生成深度信息的方法与流程

文档序号:31963410发布日期:2022-10-28 23:52阅读:来源:国知局

技术特征:
1.一种被配置为生成深度信息的电子装置,所述电子装置包括:存储器,其存储一个或多个指令和图像数据;以及至少一个处理电路,其被配置为通过执行所述一个或多个指令生成关于所述图像数据的所述深度信息,其中,所述至少一个处理电路被配置为获取所述图像数据的照度数据,通过使用所述照度数据和被配置为提取视差特征的第一人工神经网络生成所述照度数据的绝对深度数据,并且基于所述绝对深度数据来生成所述深度信息。2.如权利要求1所述的电子装置,其中,所述至少一个处理电路还被配置为通过使用第二人工神经网络来生成所述绝对深度数据的相对深度数据,所述第二人工神经网络被配置为基于与所述图像数据对应的场景的特征来估计相对深度。3.如权利要求2所述的电子装置,其中:所述至少一个处理电路包括第一处理电路和第二处理电路,所述第一处理电路被配置为使用所述第一人工神经网络,并且所述第二处理电路被配置为使用所述第二人工神经网络。4.如权利要求2所述的电子装置,其中,所述至少一个处理电路还被配置为通过使用包括激活层和多个卷积层的第三人工神经网络将所述绝对深度数据与所述相对深度数据融合,所述激活层包括至少一个修正线性单元函数。5.如权利要求2所述的电子装置,其中:所述第二人工神经网络包括多个编码器和多个解码器,并且所述多个编码器和所述多个解码器以对称金字塔结构实现。6.如权利要求5所述的电子装置,其中:所述多个编码器串联连接以逐渐降低编码数据的分辨率,并且所述多个解码器串联连接以逐渐增加解码数据的分辨率。7.如权利要求1所述的电子装置,其中,所述第一人工神经网络包括激活层和三个卷积层,所述激活层包括至少一个修正线性单元函数。8.如权利要求1所述的电子装置,其中,所述图像数据由双像素生成,所述双像素被配置为使得多个光电转换元件中的至少两个共享一个微透镜。9.一种电子装置,包括:图像传感器,其被配置为通过使用多个光电转换元件感测对象,并且生成具有视差的图像数据,其中,所述多个光电转换元件中的至少两个共享一个微透镜;存储器,其存储一个或多个指令和所述图像数据;以及至少一个处理电路,其被配置为通过执行所述一个或多个指令生成关于所述图像数据的深度信息,其中,所述至少一个处理电路被配置为:通过使用被配置为估计所述图像数据的绝对深度的第一人工神经网络来生成所述图像数据的绝对深度数据,通过使用被配置为基于与所述图像数据对应的场景的形状来估计相对深度的第二人工神经网络来生成所述绝对深度数据的相对深度数据,以及通过使用第三人工神经网络将所述绝对深度数据与所述相对深度数据融合来生成所述深度信息。10.如权利要求9所述的电子装置,其中,所述图像数据包括符合yuv格式的照度数据。
11.如权利要求9所述的电子装置,其中,所述第一人工神经网络被配置为在生成关于具有密集图像特征的纹理图像的所述深度信息之前进行学习。12.如权利要求9所述的电子装置,其中,所述第一人工神经网络被实现为接收具有视差的两条图像数据作为输入,并且生成一条绝对深度数据作为输出。13.如权利要求9所述的电子装置,其中,所述第二人工神经网络被配置为通过在顺序地降低所述图像的分辨率的同时对图像进行编码来学习与所述图像数据对应的所述场景的整体。14.如权利要求9所述的电子装置,其中,所述第二人工神经网络被配置为提取具有稀疏图像特征的无纹理图像的特征。15.如权利要求9所述的电子装置,其中,所述第二人工神经网络被实现为接收一条绝对深度数据作为输入并且生成一条相对深度数据作为输出。16.如权利要求9所述的电子装置,其中:所述至少一个处理电路包括第一处理电路和第二处理电路,所述第一处理电路被配置为使用所述第一人工神经网络,并且所述第二处理电路被配置为使用所述第二人工神经网络。17.如权利要求9所述的电子装置,其中,所述第一人工神经网络和所述第二人工神经网络包括激活层和多个卷积层,所述激活层包括至少一个修正线性单元函数。18.如权利要求9所述的电子装置,其中:所述第二人工神经网络包括多个编码器和多个解码器,并且所述多个编码器和所述多个解码器以对称金字塔结构实现。19.一种由处理电路执行的生成关于图像数据的深度信息的方法,所述方法包括:从存储器获取来自所述图像数据的符合yuv格式的照度数据;通过使用第一人工神经网络将视差特征学习应用于所述照度数据来生成绝对深度数据;通过使用第二人工神经网络将场景学习应用于所述绝对深度数据来生成相对深度数据;以及通过使用第三人工神经网络将所述绝对深度数据与所述相对深度数据融合来生成深度信息。20.如权利要求19所述的方法,其中,所述图像数据由于由双像素生成而具有视差,所述双像素被配置为使得多个光电转换元件中的至少两个共享一个微透镜。

技术总结
公开了一种被配置为生成深度信息的电子装置。该电子装置包括:存储器,其存储一个或多个指令和图像数据;以及至少一个处理电路,其被配置为通过执行一个或多个指令生成关于图像数据的深度信息,其中,所述至少一个处理电路还被配置为获取图像数据的照度数据,通过使用被配置为提取视差特征的第一人工神经网络生成照度数据的绝对深度数据,以及基于绝对深度数据来生成深度信息。度数据来生成深度信息。度数据来生成深度信息。


技术研发人员:赵淳龙 徐侑贞 李锡弦 朴龙龟 李秀永 郑吉愚
受保护的技术使用者:三星电子株式会社
技术研发日:2022.04.08
技术公布日:2022/10/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1