图像处理方法和图像处理设备与流程

公开涉及用于处理阵列图像的方法和设备。

背景技术：

1、由于光学技术和图像处理技术的发展，拍摄装置被用于诸如多媒体内容、安全和识别的广泛领域。例如，拍摄装置可被安装在移动装置、相机、车辆或计算机上，以拍摄图像、识别对象或者获得用于控制装置的数据。可基于透镜的大小、透镜的焦距和传感器的大小来确定拍摄装置的体积。当拍摄装置的体积有限时，可通过变换透镜结构在有限的空间中提供长焦距。

技术实现思路

1、根据公开的方面，提供了一种图像处理方法，所述图像处理方法包括：从通过阵列透镜生成的输入阵列图像接收多个子图像，所述多个子图像中的每个子图像对应于不同的视图；使用所述多个子图像中的每个子图像的邻近像素之间的梯度，基于所述多个子图像生成多个临时恢复图像；使用神经网络模型确定匹配信息，匹配信息基于所述多个子图像的像素之间的视图差；基于匹配信息中的子图像的像素的匹配对之间的像素距离，从匹配对提取一个或多个细化目标；基于对根据所述一个或多个细化目标的像素位置的区域的局部搜索，通过替换所述一个或多个细化目标中的目标像素中的至少一个来细化匹配信息以生成细化的匹配信息；以及通过基于细化的匹配信息合并所述多个临时恢复图像，生成单个视图的输出图像。

2、根据公开的另一方面，提供了一种图像处理设备，所述图像处理设备包括：存储器，被配置为存储指令；以及处理器，被配置为执行所述一个或多个指令以执行以下操作：从通过阵列透镜生成的输入阵列图像接收多个子图像，所述多个子图像中的每个子图像对应于不同的视图；使用所述多个子图像中的每个子图像的邻近像素之间的梯度，基于所述多个子图像生成多个临时恢复图像；使用神经网络模型确定匹配信息，匹配信息基于所述多个子图像的像素之间的视图差；基于匹配信息中的子图像的像素的匹配对之间的像素距离，从匹配对提取一个或多个细化目标；基于对根据所述一个或多个细化目标的像素位置的区域的局部搜索，通过替换所述一个或多个细化目标中的目标像素中的至少一个来细化匹配信息以生成细化的匹配信息；以及通过基于细化的匹配信息合并所述多个临时恢复图像，生成单个视图的输出图像。

3、根据公开的另一方面，提供了一种电子装置，所述电子装置包括：成像装置，被配置为生成包括多个子图像的输入阵列图像，所述多个子图像中的每个子图像对应于不同的视图；以及处理器，被配置为：使用多个子图像中的每个子图像的邻近像素之间的梯度，基于多个子图像生成多个临时恢复图像；使用神经网络模型确定匹配信息，匹配信息基于所述多个子图像的像素之间的视图差；基于匹配信息中的子图像的像素的匹配对之间的像素距离，从匹配对提取一个或多个细化目标；基于对根据所述一个或多个细化目标的像素位置的区域的局部搜索，通过替换所述一个或多个细化目标中的目标像素中的至少一个来细化匹配信息以生成细化的匹配信息；以及通过基于细化的匹配信息合并所述多个临时恢复图像，生成单个视图的输出图像。

4、根据以下具体实施方式、附图和权利要求，其他特征和方面将是清楚的。

技术特征：

1.一种图像处理方法，包括：

2.根据权利要求1所述的图像处理方法，其中，输入阵列图像的所述多个子图像中的每个子图像重复地包括基于2×2滤色器阵列以第一通道信号-第二通道信号-第二通道信号-第三通道信号格式布置的2×2阵列类型的图像数据，并且

3.根据权利要求2所述的图像处理方法，其中，设置感兴趣区域的步骤包括：

4.根据权利要求2所述的图像处理方法，其中，执行去马赛克的步骤包括：

5.根据权利要求1所述的图像处理方法，其中，生成所述多个临时恢复图像的步骤包括：

6.根据权利要求5所述的图像处理方法，其中，生成所述多个临时恢复图像的步骤还包括：

7.根据权利要求1所述的图像处理方法，其中，提取所述一个或多个细化目标的步骤包括：提取匹配对中的像素距离大于阈值的至少一个匹配对作为所述一个或多个细化目标。

8.根据权利要求1所述的图像处理方法，其中，细化匹配信息的步骤包括：

9.根据权利要求1所述的图像处理方法，其中，生成输出图像的步骤包括：基于细化的匹配信息，基于所述多个临时恢复图像中的参考图像的每个像素与所述多个临时恢复图像中的一个或多个其他图像的匹配像素的加权和，生成输出图像。

10.根据权利要求9所述的图像处理方法，其中，参考图像的第一像素与所述一个或多个其他图像的第二像素的加权和基于第一权重、第二权重和第三权重而被确定，第一权重基于第一像素的强度与第二像素的强度之间的差，第二权重基于第一像素与第二像素之间的像素距离，第三权重基于第一像素和第二像素是否对应于原始数据。

11.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使处理器执行根据权利要求1至权利要求10中的任一项所述的图像处理方法。

12.一种图像处理设备，包括：

13.根据权利要求12所述的图像处理设备，其中，输入阵列图像的所述多个子图像中的每个子图像重复地包括基于2×2滤色器阵列以第一通道信号-第二通道信号-第二通道信号-第三通道信号格式布置的2×2阵列类型的图像数据，并且

14.根据权利要求13所述的图像处理设备，其中，处理器还被配置为：

15.根据权利要求12所述的图像处理设备，其中，处理器还被配置为：提取匹配对中的像素距离大于阈值的至少一个匹配对作为所述一个或多个细化目标。

16.根据权利要求12所述的图像处理设备，其中，处理器还被配置为：

17.根据权利要求12所述的图像处理设备，其中，处理器还被配置为：基于细化的匹配信息，基于所述多个临时恢复图像中的参考图像的每个像素与所述多个临时恢复图像中的一个或多个其他图像的匹配像素的加权和，生成输出图像。

18.根据权利要求17所述的图像处理设备，其中，参考图像的第一像素与所述一个或多个其他图像的第二像素的加权和基于第一权重、第二权重和第三权重而被确定，第一权重基于第一像素的强度与第二像素的强度之间的差，第二权重基于第一像素与第二像素之间的像素距离，第三权重基于第一像素和第二像素是否对应于原始数据。

19.一种电子装置，包括：

20.根据权利要求19所述的电子装置，其中，输入阵列图像的所述多个子图像中的每个子图像重复地包括基于2×2滤色器阵列以第一通道信号-第二通道信号-第二通道信号-第三通道信号格式布置的2×2阵列类型的图像数据，并且

技术总结
提供了图像处理方法和图像处理设备。所述图像处理方法包括：接收通过阵列透镜生成的输入阵列图像的对应于不同的视图的多个子图像；使用所述多个子图像中的每个子图像的邻近像素之间的梯度，基于所述多个子图像生成多个临时恢复图像；使用神经网络模型确定匹配信息，匹配信息基于所述多个子图像之间的视图差；使用匹配信息基于所述多个子图像的像素的匹配对之间的像素距离，从匹配对提取细化目标；基于对根据细化目标的像素位置的区域的局部搜索，通过替换包括在细化目标中的目标像素中的至少一个来细化匹配信息以生成细化的匹配信息；以及通过基于细化的匹配信息合并所述多个临时恢复图像，生成单个视图的输出图像。

技术研发人员：许珍九,姜柄敏,南东暻,赵良镐
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/3/27