图像处理设备、图像处理方法和存储介质与流程

本发明涉及图像处理设备、图像处理方法和存储介质。

背景技术：

1、目前，存在被称为色度键合成(chroma key synthesis)的方法作为通常在电影和电视中使用的图像合成技术，该方法使具有特定颜色的图像中的一部分透明并合成不同的图像。当获取用于色度键合成的图像时，需要准备具有诸如绿幕或蓝幕等的特定颜色的背景，并且还需要进行拉伸褶皱使得在背景中不产生颜色不规则的操作以及调整照明的操作。此外，由于如果从绿幕反射的光出现在被摄体上，则可能难以令人满意地进行背景分离，因此可能需要在摄像之后的后处理中进行抵消反射光的出现的操作。在当前的情况下，一系列这些操作需要相当长的时间和人力。

2、另一方面，作为近年来使用的图像合成技术，存在通过使用与到被摄体的距离有关的信息并将被摄体与其他图像进行合成来将被摄体与背景分离的方法。如果使用该方法，则不需要准备诸如绿色背景等的背景，并且也不需要用于色度键合成的上述复杂工作。

3、作为用于获取与到被摄体的距离有关的信息的方法，例如，存在使用距离测量设备来测量到被摄体的距离的方法，其中该距离测量设备包括与用于拍摄图像的图像处理设备分开的距离传感器。在这种情况下，图像处理设备和距离测量设备之间的视角和分辨率不同，图像处理设备和距离测量设备的光轴彼此不一致，并且需要在拍摄图像之前进行校准工作，以在后处理中合成图像。

4、另一方面，例如，日本特开2021-048560中的技术已知为用于获取与到被摄体的距离有关的信息的另一方法。日本特开2021-048560公开了用于通过使用具有基于摄像面相位差方案的距离测量功能的摄像元件来生成指示从图像处理设备到被摄体的距离的距离信息的技术。通过使用该技术，可以利用单个摄像元件同时进行图像的拍摄和距离信息的生成，因此不需要进行上述校准工作。

5、顺便提及，尽管日本特开2021-048560提供了在摄像装置内进行所有算术运算之后进行的直到向用户示出距离信息为止的技术，但是通常在摄像装置内进行所有算术运算趋于增加所需算术运算量。特别地，如果将该技术应用于视频处理，则除非降低分辨率或降低帧频，否则这可是不可能的。另一方面，在当前的视频制作领域中，还存在如下的想法：使摄像装置发挥最小作用，可以拍摄的图像被输出到摄像装置的外部，并且在视频处理pc等的工作流中在稍后阶段进行各种校正处理等。在这种当前情况下，期望能够根据用户的需要和环境任意选择摄像装置负责什么处理以及稍后阶段中视频处理工作流负责什么处理。

技术实现思路

1、鉴于上述情况做出了本发明，并且本发明提供了能够选择性地输出图像处理结果的图像处理设备。

2、根据本发明实施例的一种图像处理设备，包括：多个输出单元，其输出算术运算结果；存储器，其存储指令；以及处理器，其执行所述指令，所述指令用于使所述图像处理设备：获取来自相互不同的多个视点的图像，进行用于将所获取的图像转换为距离信息的算术运算，以及进行控制以从所述多个输出单元输出所述算术运算结果，其中，所述处理器将在算术运算处理中获得的需要不同算术运算量的多个算术运算结果分配给所述多个输出单元，并且根据所述图像处理设备的操作状况来选择性地切换要分配的所述算术运算结果。

3、根据以下示例性实施例(参考附图)的描述，本发明进一步的特征将变得明显。

技术特征：

1.一种图像处理设备，包括：

2.根据权利要求1所述的图像处理设备，其中，所述多个算术运算结果包括初始结果、中间结果和最终结果。

3.根据权利要求1所述的图像处理设备，其中，所述处理器基于用户的设置来进行用于将所述多个算术运算结果分配给所述多个输出单元的控制。

4.根据权利要求1所述的图像处理设备，还包括：

5.根据权利要求1所述的图像处理设备，其中，所述处理器根据镜头特性或被摄体状况从所述多个算术运算结果中选择能够输出的算术运算结果。

6.根据权利要求1所述的图像处理设备，其中，所述处理器根据用户所设置的算术运算量的设置值来选择性地切换要分配的所述算术运算结果。

7.根据权利要求1所述的图像处理设备，

8.根据权利要求1所述的图像处理设备，其中，所述处理器根据传感器中的读取模式来选择性地切换要分配的所述算术运算结果。

9.根据权利要求1所述的图像处理设备，其中，所述处理器根据所设置的算术运算量和帧频，进行控制以不进行用于增强所述距离信息的可靠性的辅助算术运算。

10.根据权利要求1所述的图像处理设备，

11.根据权利要求2所述的图像处理设备，其中，所述初始结果包括至少来自相互不同的多个视点的图像。

12.根据权利要求2所述的图像处理设备，其中，所述中间结果是在获取视差信息之后直到计算出所述距离信息为止的处理中所获得的信息。

13.根据权利要求2所述的图像处理设备，其中，所述最终结果是所述距离信息。

14.根据权利要求1所述的图像处理设备，其中，所述处理器还执行用于使所述图像处理设备将所述距离信息转换为距离层信息的指令。

15.根据权利要求1所述的图像处理设备，其中，所述处理器能够任意改变各个算术运算结果要被分配到的目的地。

16.根据权利要求2所述的图像处理设备，

17.根据权利要求16所述的图像处理设备，其中，所述可靠性信息是利用来自相互不同的多个视点的图像的相关性来确定的。

18.一种图像处理设备中的图像处理方法，所述图像处理设备包括能够输出距离信息的多个输出单元，所述图像处理方法包括：

19.一种非暂时性存储介质，其上存储有与用于控制图像处理设备的方法有关的计算机程序，所述图像处理设备包括能够输出距离信息的多个输出单元，所述方法包括：

技术总结
本公开提供了图像处理设备、图像处理方法和存储介质。该图像处理设备包括：多个输出单元，其输出算术运算结果；存储器，其存储指令；以及处理器，其执行指令，该指令用于使图像处理设备：获取来自相互不同的多个视点的图像，进行用于将所获取的图像转换为距离信息的算术运算，以及进行控制以从多个输出单元输出算术运算结果，其中，处理器将在算术运算处理中获得的需要不同算术运算量的多个算术运算结果分配给多个输出单元，并且根据图像处理设备的操作状况来选择性地切换要分配的算术运算结果。

技术研发人员：西田德朗,竹内健悟,长谷川启行,北村和也,中村广辉
受保护的技术使用者：佳能株式会社
技术研发日：
技术公布日：2024/1/13