图像处理设备及其控制方法和非暂态计算机可读存储介质与流程

本发明涉及图像处理设备及其控制方法和非暂态计算机可读存储介质。

背景技术：

1、通常，已知有用于合成以不同曝光量拍摄的多个图像的高动态范围合成处理的技术。根据该技术，通过结合各个图像的适当曝光信号，可以获得没有过度曝光或曝光不足的图像。通常基于亮度值来确定在合成多个不同曝光的图像的情况下的加权相加比率。例如，没有过度曝光而曝光不足的图像的100％用于亮部，没有曝光不足而过度曝光的图像的100％用于暗部，并且适当的图像的100％用于接近亮度的中心部中的适当曝光的部分。在暗部和适当曝光部之间的范围的中间区域中，确定过度曝光图像和适当图像之间的使用比率，并且合成图像。对于适当曝光部和亮部之间的范围等的中间区域也是类似的。预先保持针对各个亮度而定义了用于各个图像的使用率的混合表，并且使用该表来合成图像。

2、近年来，随着传感器性能等的改善，已使用如下摄像装置(双增益输出(dgo))，其中该摄像装置包括针对来自单位像素的输出信号的两个列电路、在列电路中分别保持放大器的增益并能够输出不同增益的图像。摄像装置可以利用单次曝光来输出两个不同增益的图像(高增益图像和低增益图像)。根据dgo合成两个图像具有诸如不必需用于对准两个图像的处理以及对于移动被摄体能够良好合成等的优点。因此，dgo非常适合于用于获得具有扩展的动态范围的图像的高动态范围(hdr)合成。

3、摄像装置包括浮动扩散部(fd)，各个浮动扩散部用作用于存储电荷的电容器。fd根据设置改变它针对所能容纳的电荷的电容。当电容增加时，fd可以处理更多的光，因此，在低感光度下，使用电容增加的fd。然而，当电容增加时，噪声增加，并且噪声的影响出现在合成图像中。对此，日本特开2010-124412公开了如下方法，其中当合成raw图像数据时，根据图像的iso感光度和合成比率来降低噪声。

4、然而，在前述文件中公开的现有技术中，基于合成时图像被使用的比率来输出合成系数。也就是说，该文件基本上以不同感光度但相同曝光的图像为对象，并且没有提及任何关于减少当合成不同亮度的图像时出现的噪声的内容。

5、利用上述优点，根据dgo的合成使得能够通过合成raw图像来进行已知的图像处理；然而，在根据dgo曝光的情况下，当生成高增益图像和低增益图像时，由于曝光差而存在噪声，并且噪声随着曝光差增大而恶化；因此，噪声的影响出现在图像合成中。

技术实现思路

1、本发明是鉴于这样的问题而做出的，并且提供了用于高动态范围合成处理的技术，其中，当曝光差异很大时，在图像合成中减少了噪声。

2、本发明在其第一方面提供了一种图像处理设备，其能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述图像处理设备包括：处理器；以及存储器，其存储有指令，所述指令当由计算机读取和执行时使所述计算机用作如下：获取单元，其被配置为获取所述第一图像数据和所述第二图像数据之间的曝光差；校正单元，其被配置为基于由所述获取单元所获取的曝光差来确定用于减小所述第一图像数据和所述第二图像数据之间的噪声差的校正量，并基于所确定的校正量来对所述第一图像数据和所述第二图像数据至少之一进行校正；以及生成单元，其被配置为通过将所述第一图像数据和所述第二图像数据合成来生成合成图像，其中，所述第一图像数据和所述第二图像数据至少之一已经被所述校正单元校正。

3、本发明在其第二方面提供了一种图像处理设备的控制方法，所述图像处理设备能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述控制方法包括：获取所述第一图像数据和所述第二图像数据之间的曝光差；基于在所述获取中获取的曝光差来确定用于减小所述第一图像数据和所述第二图像数据之间的噪声差的校正量，并基于所确定的校正量来对所述第一图像数据和所述第二图像数据至少之一进行校正；以及通过将所述第一图像数据和所述第二图像数据合成来生成合成图像，其中，所述第一图像数据和所述第二图像数据至少之一已经在所述校正中被校正。

4、本发明在其第三方面提供了一种非暂态计算机可读存储介质，其存储有指令，当所述指令被计算机读取和执行时，使得所述计算机执行图像处理设备的控制方法的步骤，所述图像处理设备能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述控制方法包括：获取所述第一图像数据和所述第二图像数据之间的曝光差；基于在所述获取中获取的曝光差来确定用于减小所述第一图像数据和所述第二图像数据之间的噪声差的校正量，并基于所确定的校正量来对所述第一图像数据和所述第二图像数据至少之一进行校正；以及通过将所述第一图像数据和所述第二图像数据合成来生成合成图像，其中，所述第一图像数据和所述第二图像数据至少之一已经在所述校正中被校正。

5、根据本发明，可以根据具有曝光差的两个图像生成噪声量减少的合成图像。

6、根据以下参考附图对示例性实施例的描述，本发明的其他特征将变得明显。

技术特征：

1.一种图像处理设备，其能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述图像处理设备包括：

2.根据权利要求1所述的图像处理设备，其中，所述校正单元根据由所述获取单元所获取的曝光差来进行使所述第一图像数据或所述第二图像数据的曝光与另一图像数据的曝光相匹配的校正，以及

3.根据权利要求1所述的图像处理设备，还包括：

4.根据权利要求3所述的图像处理设备，其中，所述获取单元基于所述摄像单元进行摄像时的参数或控制曝光来获取所述第一图像数据和所述第二图像数据之间的曝光差。

5.根据权利要求1所述的图像处理设备，其中，当以所述不同的增益之间的高增益获得的图像数据是所述第一图像数据、并且以所述不同的增益之间的低增益获得的图像数据是所述第二图像数据时，

6.根据权利要求1所述的图像处理设备，其中，所述生成单元生成高动态范围图像数据即hdr图像数据。

7.根据权利要求6所述的图像处理设备，其中，所述生成单元还生成用于表示在生成所述hdr图像数据时使用的两个图像数据中的各个像素的合成比率的信息。

8.根据权利要求1所述的图像处理设备，其中，包括所述摄像单元。

9.一种图像处理设备的控制方法，所述图像处理设备能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述控制方法包括：

10.一种非暂态计算机可读存储介质，其存储有指令，所述指令在被计算机读取和执行时使得所述计算机执行控制图像处理设备的方法的步骤，所述图像处理设备能够操作以处理来自摄像单元的第一图像数据和第二图像数据，所述摄像单元能够以不同的增益对通过光电转换获得的信号进行放大并输出所述第一图像数据和所述第二图像数据，所述方法包括：

技术总结
本公开提供了图像处理设备及其控制方法和非暂态计算机可读存储介质。图像处理设备能够操作以处理来自摄像单元的第一图像数据和第二图像数据，摄像单元能够以不同的增益放大通过光电转换获得的信号并输出第一和第二图像数据，其中，所述设备包括：获取单元，其被配置为获取第一和第二图像数据之间的曝光差；校正单元，其被配置为基于获取单元所获取的曝光差来确定用于减小第一图像数据和第二图像数据之间的噪声差的校正量，并基于所确定的校正量来对第一图像数据和第二图像数据至少之一进行校正；以及生成单元，其被配置为通过将第一图像数据和第二图像数据合成来生成合成图像，其中第一图像数据和第二图像数据至少之一已经被校正单元校正。

技术研发人员：荒川谅治
受保护的技术使用者：佳能株式会社
技术研发日：
技术公布日：2024/1/15