图像处理设备及其操作方法与流程

文档序号:26102424发布日期:2021-07-30 18:13阅读:来源:国知局

技术特征:

1.一种图像处理设备,包括:

存储器,存储一个或多个指令;以及

处理器,执行存储在所述存储器中的所述一个或多个指令,

其中,所述处理器使用一个或多个深度神经网络从第一图像生成第一特征图,基于所述第一特征图和排列在显示器中的子像素的位置信息针对所述每个子像素生成第二特征图,并基于所述第二特征图针对所述每个子像素确定结果值。

2.根据权利要求1所述的图像处理设备,其中,所述处理器通过执行所述第一图像与第一核之间的卷积操作来产生第三特征图,并通过放大所述第三特征图来产生所述第一特征图。

3.根据权利要求2所述的图像处理设备,其中,所述一个或多个深度神经网络包括去卷积层,以及

所述处理器通过在所述去卷积层中执行所述第三特征图和第二核之间的去卷积操作来放大所述第三特征图。

4.根据权利要求1所述的图像处理设备,其中,所述子像素包括第一子像素至第三子像素,以及

所述处理器基于所述第一特征图及第一子像素的位置信息产生第一子特征图,基于所述第一特征图及第二子像素的位置信息产生第二子特征图,并基于所述第一特征图及第三子像素的位置信息产生第三子特征图。

5.根据权利要求4所述的图像处理设备,其中,所述第一子特征图中的每一者包括所述第一特征图中的每一者中包括的特征中的、与所述第一子像素具有相同位置关系的特征,

所述第二子特征图中的每一者包括所述第一特征图中的每一者中包括的特征中的、与所述第二子像素具有相同位置关系的特征,

所述第三子特征图中的每一者包括所述第一特征图中的每一者中包括的特征中的、与所述第三子像素具有相同位置关系的特征。

6.根据权利要求4所述的图像处理设备,其中,所述处理器

基于包括在所述第一子特征图中的每一者中的特征和与所述第一子像素的接近度来确定所述第一子特征图的每一者的权重,

基于包括在所述第二子特征图中的每一者中的特征和与所述第二子像素的接近度来确定所述第二子特征图中的每一者的权重,

基于包括在所述第三子特征图中的每一者中的特征以及与所述第三子像素的接近度来确定所述第三子特征图中的每一者的权重,以及

通过对所述第一子特征图到第三子特征图中的每一者应用权重来确定所述子像素中的每一者的结果值。

7.根据权利要求4所述的图像处理设备,其中,所述处理器

通过执行所述第一子特征图与第三核之间的卷积操作,生成包括所述第一子像素的第一结果值的第一结果图像,

通过执行所述第二子特征图与第四核之间的卷积操作,生成包括所述第二子像素的第二结果值的第二结果图像,

通过在所述第三子特征图和第五核之间执行卷积操作来生成包括所述第三子像素的第三结果值的第三结果图像,以及

使用所述第一结果图像至第三结果图像输出第二图像。

8.根据权利要求1所述的图像处理设备,其中,基于所述子像素中的每一者的结果值来输出第二图像。

9.根据权利要求8所述的图像处理设备,其中,所述第一图像和所述第二图像具有相同的分辨率。

10.根据权利要求8所述的图像处理设备,其中,所述处理器

利用所述第二图像生成第一虚拟图像,并计算所述第一虚拟图像与标签图像之间的u值的第一误差和v值的第二误差,

通过对所述标签图像执行子像素渲染来生成第二虚拟图像,并且计算所述第二虚拟图像与输出图像之间的y值的第三误差,以及

训练所述一个或多个深度神经网络以最小化所述第一误差到第三误差。

11.根据权利要求10所述的图像处理设备,其中,所述第二图像和所述第二虚拟图像具有第一分辨率,所述标签图像和所述第一虚拟图像具有第二分辨率,并且所述第二分辨率大于所述第一分辨率。

12.一种操作图像处理设备的方法,所述图像处理设备通过使用一个或多个深度神经网络来处理图像,所述方法包括:

从第一图像生成第一特征图;

基于所述第一特征图和设置在显示器中的子像素中的每一者的位置信息,为所述子像素中的每一者生成第二特征图;以及

基于所述第二特征图确定所述子像素中的每一者的结果值。

13.如权利要求12所述的方法,其中,所述生成所述第一特征图包括:

通过执行所述第一图像与第一核之间的卷积操作,生成第三特征图;以及

通过放大所述第三特征图生成所述第一特征图。

14.根据权利要求13所述的方法,其中,所述一个或多个深度神经网络包括去卷积层,以及

生成所述第三特征图包括在所述去卷积层中执行所述第三特征图和第二核之间的去卷积操作。

15.根据权利要求12所述的方法,其中,所述子像素包括第一子像素至第三子像素,以及

生成所述第二特征图包括:

基于所述第一特征图和所述第一子像素的位置信息生成第一子特征图;

基于所述第一特征图和所述第二子像素的位置信息生成第二子特征图;以及

基于所述第一特征图和所述第三子像素的位置信息生成第三子特征图。


技术总结
一种图像处理设备包括存储一个或多个指令的存储器,以及执行存储在所述存储器中的所述一个或多个指令的处理器,其中,所述处理器使用一个或多个深度神经网络来从第一图像生成第一特征图,基于所述第一特征图和布置在显示器中的每个子像素的位置信息生成针对所述子像素中的每一者的第二特征图,以及基于所述第二特征图确定针对所述子像素中的每一者的结果值。

技术研发人员:林敬旻;李宰成;李泰美
受保护的技术使用者:三星电子株式会社
技术研发日:2019.10.10
技术公布日:2021.07.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1