图像处理装置、摄像装置、图像处理方法及存储介质与流程

本发明的技术涉及一种图像处理装置、摄像装置、图像处理方法及存储介质。

背景技术：

1、专利文献1中公开了一种图像处理系统，其具备：处理部，使用具有输入层、输出层及设置于输入层与输出层之间的中间层的神经网络对输入于输入层的输入图像进行处理；及调整部，当在学习之后进行处理时，根据与输入图像相关的数据来调整通过学习计算出的中间层所包括的一个以上节点的至少一个内部参数。

2、并且，在专利文献1中记载的图像处理系统中，输入图像为包含噪声的图像，输入图像通过由处理部进行的处理从输入图像中去除噪声或降低输入图像中的噪声。

3、并且，在专利文献1中记载的图像处理系统中，神经网络具有：第1神经网络；第2神经网络；分割单元，将输入图像分割为高频成分图像和低频成分图像，并向第1神经网络输入高频成分图像，同时向第2神经网络输入低频成分图像；及合成单元，合成从第1神经网络输出的第1输出图像和从第2神经网络输出的第2输出图像，调整部根据与输入图像相关的数据来调整第1神经网络的内部参数，而第2神经网络的内部参数则不进行调整。

4、进而，专利文献1中公开了一种图像处理系统，其具备：处理部，使用神经网络从输入图像生成降低了噪声的输出图像；及调整部，根据输入图像的拍摄条件来调整神经网络的内部参数。

5、专利文献2中公开了一种医用图像处理装置，其具备：获取部，获取作为受检者的规定部位的医用图像的第1图像；高画质化部，使用包括机器学习引擎的高画质化引擎由第1图像生成第2图像，该第2图像的画质比第1图像的画质高；及显示控制部，将合成图像显示于显示部，该合成图像按照使用与第1图像的至少一部分区域相关的信息而得的比例合成第1图像和第2图像而得。

6、专利文献3中公开了一种电子装置，其包括：存储器，保存至少一个命令；及处理器，与存储器电连接，通过执行命令从输入图像获得表示输入图像的质量的噪声图，并将输入图像及噪声图适用于包括多个层的学习网络模型，获得输入图像的质量得到改善的输出图像，处理器向多个层中的至少一个中间层提供噪声图，学习网络模型为通过人工智能算法学习多个样品图像、针对各样品图像的噪声图及针对各样品图像的原始图像之间的关系而获得的已学习人工智能模型。

7、专利文献1：日本特开2018-206382号公报

8、专利文献2：日本特开2020-166814号公报

9、专利文献3：日本特开2020-184300号公报

技术实现思路

1、本发明的技术所涉及的一个实施方式提供一种能够获得有效利用作为合成对象的多个图像的特性的合成图像的图像处理装置、摄像装置、图像处理方法及存储介质。

2、本发明的技术所涉及的第1方式为图像处理装置，其具备处理器，处理器执行如下处理：获取通过对第1图像进行第1ai处理而得的第2图像和未对第1图像或第3图像进行第1ai处理而得的第4图像；及根据第1图像和/或第3图像的指标来合成第2图像和第4图像。

3、本发明的技术所涉及的第2方式在第1方式所涉及的图像处理装置中，第3图像为通过另一呈现方法呈现出第1图像的内容的图像。

4、本发明的技术所涉及的第3方式在第1方式或第2方式所涉及的图像处理装置中，第4图像为表示距被摄体的距离的分布的图像。

5、本发明的技术所涉及的第4方式在第1方式所涉及的图像处理装置中，以与根据指标导出的置信度对应的比例合成第2图像和第4图像。

6、本发明的技术所涉及的第5方式在第4方式所涉及的图像处理装置中，置信度从非ai处理的处理结果获得。

7、本发明的技术所涉及的第6方式在第5方式所涉及的图像处理装置中，非ai处理对第1图像和/或第3图像进行。

8、本发明的技术所涉及的第7方式在第4方式至第6方式中的任一方式所涉及的图像处理装置中，置信度由已学习模型导出。

9、本发明的技术所涉及的第8方式在第7方式所涉及的图像处理装置中，已学习模型为置信度网络，置信度网络为输出置信度的神经网络。

10、本发明的技术所涉及的第9方式在第4方式至第8方式中的任一方式所涉及的图像处理装置中，置信度为分配给第1图像和/或第3图像的一个值，以与置信度对应的一个比例合成第2图像和第4图像。

11、本发明的技术所涉及的第10方式在第4方式至第9方式中的任一方式所涉及的图像处理装置中，置信度包括表示针对第1图像的可信程度的第1置信度和/或表示针对第3图像的可信程度的第2置信度。

12、本发明的技术所涉及的第11方式在第10方式所涉及的图像处理装置中，第1置信度为多个第1分割置信度，多个第1分割置信度对应于第1图像内的多个第1图像区域，第1分割置信度为针对对应的第1图像区域的可信程度。

13、本发明的技术所涉及的第12方式在第11方式所涉及的图像处理装置中，多个第1分割置信度分布在多个第1图像区域中。

14、本发明的技术所涉及的第13方式在第11方式或第12方式所涉及的图像处理装置中，当合成第2图像和第4图像时，与第1分割置信度在第1置信度图内超过第1基准值的第1图像区域对应的第2图像内的图像区域以比第4图像内的对应的图像区域高的比例合成，该第1置信度图呈现出多个第1分割置信度与多个第1图像区域之间的对应关系。

15、本发明的技术所涉及的第14方式在第13方式所涉及的图像处理装置中，对合成第2图像和第4图像而成的合成图像内的第1特定图像区域使用第4图像内的图像区域，而不使用第2图像内的图像区域，用于第1特定图像区域的第4图像内的图像区域为与第1分割置信度为第2基准值以下的第1图像区域对应的区域，该第2基准值为小于第1基准值的值。

16、本发明的技术所涉及的第15方式在第10方式至第14方式中的任一方式所涉及的图像处理装置中，第2置信度为多个第2分割置信度，多个第2分割置信度对应于第3图像内的多个第2图像区域，第2分割置信度为针对对应的第2图像区域的可信程度。

17、本发明的技术所涉及的第16方式在第15方式所涉及的图像处理装置中，多个第2分割置信度分布在多个第2图像区域中。

18、本发明的技术所涉及的第17方式在第15方式或第16方式所涉及的图像处理装置中，当合成第2图像和第4图像时，与第2分割置信度在第2置信度图内超过第3基准值的第2图像区域对应的第4图像内的图像区域以比第2图像内的对应的图像区域高的比例合成，该第2置信度图呈现出多个第2分割置信度与多个第2图像区域之间的对应关系。

19、本发明的技术所涉及的第18方式在第17方式所涉及的图像处理装置中，对合成第2图像和第4图像而成的合成图像内的第2特定图像区域使用第2图像内的图像区域，而不使用第4图像内的图像区域，用于第2特定图像区域的第2图像内的图像区域为与第2分割置信度为第4基准值以下的第2图像区域对应的区域，该第4基准值为小于第3基准值的值。

20、本发明的技术所涉及的第19方式在第1方式至第18方式中的任一方式所涉及的图像处理装置中，第4图像为未进行负责与第1ai处理相同类型的作用的非ai方式的处理的图像。

21、本发明的技术所涉及的第20方式在第1方式至第19方式中的任一方式所涉及的图像处理装置中，第2图像和第4图像的合成通过第2图像和第4图像的乘积累加运算来实现。

22、本发明的技术所涉及的第21方式在第1方式至第20方式中的任一方式所涉及的图像处理装置中，指标为可映射的信息。

23、本发明的技术所涉及的第22方式在第1方式至第21方式中的任一方式所涉及的图像处理装置中，在第2图像的维度和第4图像的维度不同的情况下，在将第2图像及第4图像中的一个图像的维度对准到另一个图像的维度之后合成第2图像和第4图像。

24、本发明的技术所涉及的第23方式在第22方式所涉及的图像处理装置中，作为将一个图像的维度对准到另一个图像的维度的处理，进行标准化处理，标准化处理为根据与第2图像内的多个第3图像区域对应的多个第1代表值和与第4图像内的多个第4图像区域对应的多个第2代表值来标准化第2图像或第4图像的处理，多个第3图像区域和多个第4图像区域以超过第1相似度的程度彼此相似。

25、本发明的技术所涉及的第24方式在第22方式所涉及的图像处理装置中，作为将一个图像的维度对准到另一个图像的维度的处理，进行标准化处理，标准化处理为根据第2图像内的单一的第5图像区域内的多个第3代表值和第4图像内的单一的第6图像区域内的多个第4代表值来标准化第2图像或第4图像的处理，第5图像区域和第6图像区域以超过第2相似度的程度彼此相似。

26、本发明的技术所涉及的第25方式在第1方式至第24方式中的任一方式所涉及的图像处理装置中，第1图像为通过拍摄被摄体而得的拍摄图像，第1ai处理包括生成第1距离图像的距离图像生成处理，该第1距离图像表示拍摄位置至被摄体为止的距离的分布，第4图像为表示对被摄体进行测距而得的结果的分布的第2距离图像。

27、本发明的技术所涉及的第26方式在第25方式所涉及的图像处理装置中，指标包括拍摄图像内的边缘区域。

28、本发明的技术所涉及的第27方式在第26方式所涉及的图像处理装置中，当合成第2图像和第4图像时，第1边缘对应区域以比第2边缘对应区域大的比例合成，该第1边缘对应区域为第2距离图像内的与边缘区域对应的图像区域，该第2边缘对应区域为第1距离图像内的与边缘区域对应的图像区域。

29、本发明的技术所涉及的第28方式在第25方式至第27方式中的任一方式所涉及的图像处理装置中，指标包括拍摄图像内的非边缘区域。

30、本发明的技术所涉及的第29方式在第28方式所涉及的图像处理装置中，当合成第2图像和第4图像时，第1非边缘对应区域以比第2非边缘对应区域大的比例合成，该第1非边缘对应区域为第1距离图像内的与非边缘区域对应的图像区域，该第2非边缘对应区域为第2距离图像内的与非边缘区域对应的图像区域。

31、本发明的技术所涉及的第30方式在第1方式至第29方式中的任一方式所涉及的图像处理装置中，第1图像为通过拍摄包括环境现象和移动物体的被摄体而得的图像，第4图像为通过进行从第1图像中减少所映现的环境现象的非ai方式的处理而得的图像，指标包括能够确定移动物体是否映现于第1图像中的信息，当根据指标确定了移动物体映现于第1图像中之后合成第2图像和第4图像时，第2图像内的映现有移动物体的图像区域以比第4图像内的映现有移动物体的图像区域大的比例合成。

32、本发明的技术所涉及的第31方式在第1方式至第30方式中的任一方式所涉及的图像处理装置中，第1图像为通过拍摄包括雾的被摄体而得的图像，第4图像为通过进行从第1图像中减少所映现的雾的非ai方式的处理而得的图像，第2图像为通过对第1图像进行第1ai处理而从第1图像中减少了所映现的雾的图像，指标包括能够确定雾区域的信息，该雾区域为第1图像内的映现有雾的图像区域，当合成第2图像和第4图像时，第4图像内的与根据指标确定的雾区域对应的图像区域以比第2图像内的与根据指标确定的雾区域对应的图像区域大的比例合成。

33、本发明的技术所涉及的第32方式在第1方式至第31方式中的任一方式所涉及的图像处理装置中，第3图像为通过拍摄拍摄对象区域而得的红外光图像，第4图像为表示拍摄对象区域内的温度分布且基于红外光图像的第1温度分布图像，第2图像为表示拍摄对象区域内的温度分布且通过对第1图像进行第1ai处理而得的第2温度分布图像，指标包括能够区分作为在第2温度分布图像内表示未映现于第1温度分布图像中的热放射体的图像区域的第1区域和作为第1区域以外的图像区域的第2区域的信息，当合成第2图像和第4图像时，根据指标，第1温度分布图像内的与第2区域对应的图像区域以比第2区域大的比例合成，并且第1区域以比第1温度分布图像内的与第1区域对应的图像区域大的比例合成。

34、本发明的技术所涉及的第33方式在第1方式至第32方式中的任一方式所涉及的图像处理装置中，第3图像为通过拍摄被摄体而得的多光谱图像，第4图像为基于多光谱图像的图像，第2图像为通过对多光谱图像进行第1ai处理而得的图像，指标包括能够区分作为在第2图像内表示特定被摄体的图像区域的特定被摄体区域和作为特定被摄体区域以外的图像区域的非特定被摄体区域的信息，当合成第2图像和第4图像时，根据指标，第4图像内的与非特定被摄体区域对应的图像区域以比非特定被摄体区域大的比例合成，并且特定被摄体区域以比第4图像内的与特定被摄体区域对应的图像区域大的比例合成。

35、本发明的技术所涉及的第34方式为图像处理装置，其具备处理器，处理器执行如下处理：获取通过对第1图像进行第1ai处理而得的第2图像和未对第3图像进行第1ai处理而得的第4图像；及根据第3图像的指标来合成第2图像和第4图像。

36、本发明的技术所涉及的第35方式为摄像装置，其具备：第1方式至第34方式中的任一方式所涉及的图像处理装置；及图像传感器，第1图像为通过由图像传感器进行拍摄而得的图像。

37、本发明的技术所涉及的第36方式为图像处理方法，其包括如下步骤：获取通过对第1图像进行第1ai处理而得的第2图像和未对第1图像或第3图像进行第1ai处理而得的第4图像；及根据第1图像和/或第3图像的指标来合成第2图像和第4图像。

38、本发明的技术所涉及的第37方式为存储介质，存储有程序，该程序用于使计算机执行包括如下步骤的处理：获取通过对第1图像进行第1ai处理而得的第2图像和未对第1图像或第3图像进行第1ai处理而得的第4图像；及根据第1图像和/或第3图像的指标来合成第2图像和第4图像。