信息处理装置、方法及程序以及摄像装置与流程

本发明涉及一种信息处理装置、方法及程序以及摄像装置，尤其涉及一种处理图像的技术，该图像从通过光瞳分割拍摄图像的摄像装置的图像传感器输出。

背景技术：

1、以往，提出了一种摄像装置，其能够通过光瞳分割用1个图像传感器获取高品质的多光谱图像(专利文献1)。

2、专利文献1所述的摄像装置具备：图像传感器，具备多个像素块，该像素块将光谱透射率不同的n种(n≥2)的分光滤光片元件和透射偏振方位不同的m种(2≤m≤3)的偏振滤光片元件进行组合，由各像素接收q种(q＝n×m)的光；光学系统，具备所透射的光的波长带不同的k个(k≤q)光学区域且在各光学区域具备偏振滤光片部；及信号处理部，处理从图像传感器所得的各像素的信号值，生成光学系统的各光学区域的图像。信号处理部通过对从图像传感器的各像素块所得的q个像素的信号值(x1、x2、…、xq)进行规定的运算处理，计算与光学系统的各光学区域对应的k个像素的信号值(x1、x2、…、xk)，生成各光学区域的图像。

3、规定的运算处理获得由各要素由aij表示的k行q列的矩阵构成的系数组，根据从图像传感器的各像素块所得的q个像素的信号值x1、x2、…、xq，通过下述[数式1]式，计算与光学系统的各光学区域对应的k个像素的信号值x1、x2、…、xk。

4、[数式1]

5、

6、由k行q列的矩阵表示的系数组为计算以入射到光学系统上的各光学区域的光由图像传感器的各像素块的各像素接收的比例为要素的矩阵的逆矩阵而获得的，如[数式1]式所示，通过运算k行q列的矩阵和从图像传感器的各像素块所得的q个像素的信号值(x1、x2、…、xq)，去除q个像素的信号值中包含的干扰成分。由此，降低与各光学区域对应的波长带的图像之间的串扰。

7、以往技术文献

8、专利文献

9、专利文献1：国际公开第2020/075523号

技术实现思路

1、发明要解决的技术课题

2、本发明的技术所涉及的一种实施方式提供一种信息处理装置、方法及程序以及摄像装置，该信息处理装置检测从摄像装置的图像传感器输出的图像中包含的串扰，该摄像装置通过光瞳分割拍摄特性不同的图像。

3、用于解决技术课题的手段

4、第1方式所涉及的发明为信息处理装置，其具备处理器，该处理器处理从摄像装置的图像传感器输出的图像，该摄像装置通过光瞳分割拍摄特性不同的图像，其中，处理器进行如下处理：获取第1图像，该第1图像在第1摄影条件下由摄像装置拍摄第1被摄体，并从图像传感器输出；获取第2图像，该第2图像在与第1摄影条件不同的第2摄影条件下由摄像装置拍摄第1被摄体，并具有与从图像传感器输出的图像中的第1图像相同的特性；及根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰。

5、在本发明的第2方式所涉及的信息处理装置中，优选第2摄影条件为在发生串扰的情况下对特征量赋予变化的摄影条件。

6、在本发明的第3方式所涉及的信息处理装置中，优选第2摄影条件为相对于第1摄影条件，聚焦位置、摄影倍率、对被摄体的照明条件及被摄体与摄像装置之间的相对的位置中的至少1个不同的摄影条件。

7、在本发明的第4方式所涉及的信息处理装置中，优选处理器进行如下处理：获取不同波长的多个第1图像，该第1图像在第1摄影条件下由摄像装置拍摄，并从图像传感器输出；获取不同波长的多个第2图像，该第2图像在第2摄影条件下由摄像装置拍摄，并从图像传感器输出；及根据多个第1图像与多个第2图像的相关，来检测图像中包含的串扰。

8、在本发明的第5方式所涉及的信息处理装置中，优选串扰为图像中包含的不同波长的图像成分。

9、在本发明的第6方式所涉及的信息处理装置中，优选相关为第1图像中包含的不同波长的图像成分的位置和/或强度与第2图像中包含的不同波长的图像成分的位置和/或强度的相对值。

10、在本发明的第7方式所涉及的信息处理装置中，优选第1图像与第2图像的特征量的相关为第1图像与第2图像的自相关系数的峰值位置或峰值的相关。

11、在本发明的第8方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量的相关为第1图像与参考图像之间的互相关系数，且是使第1图像与参考图像相对偏移时获得的互相关系数。

12、在本发明的第9方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量为第1图像与参考图像之间的特征点的匹配度。

13、在本发明的第10方式所涉及的信息处理装置中，优选第2摄影条件为从图像传感器输出无串扰的参考图像作为第2图像的摄影条件，第1图像与第2图像的特征量为将第1图像与参考图像分别分割成格子状的多个分割图像彼此的匹配度。

14、在本发明的第11方式所涉及的信息处理装置中，优选摄像装置具备摄影光学系统，该摄影光学系统具有特性分别不同的多个区域，输出参考图像的第2摄影条件为仅打开所述多个区域中的1个区域，遮挡其他区域的摄影条件。

15、在本发明的第12方式所涉及的信息处理装置中，优选摄像装置具备摄影光学系统，该摄影光学系统具有使分别不同的波长带的光透射的多个区域，输出参考图像的第2摄影条件为仅使分别不同的波长带的光中的1个波长带的光入射到摄影光学系统上的摄影条件。

16、在本发明的第13方式所涉及的信息处理装置中，优选处理器根据第1图像与第2图像之间的多个位置中的每个位置的特征量的相关，来检测多个位置中的每个位置的串扰。

17、在本发明的第14方式所涉及的信息处理装置中，优选处理器将表示多个位置中的每个位置的串扰的有无或串扰的强度的信息，与从图像传感器输出的图像重叠地显示于显示器。

18、在本发明的第15方式所涉及的信息处理装置中，优选处理器进行干扰去除处理，该干扰去除处理降低从图像传感器输出的图像之间的串扰，第1图像及第2图像分别为实施了干扰去除处理的图像。

19、第16方式所涉及的发明为摄像装置，其具备：摄影光学系统，在光瞳位置或光瞳位置附近配置有光学元件，该光学元件具有分别透射多个区域中的每个区域的波长带不同的波长选择元件；图像传感器，通过光瞳分割来接收分别透射多个波长选择元件的每个多个波长带的被摄体光；及第1方式至第15方式中任一项所述的信息处理装置。

20、第17方式所涉及的发明为摄像装置，其具备：多焦点的摄影光学系统，在多个区域中的每个区域具有分别不同的焦距；图像传感器，通过光瞳分割来接收分别透射摄影光学系统的多个区域的被摄体光；及第1方式至第15方式中任一项所述的信息处理装置。

21、在本发明的第18方式所涉及的摄像装置中，优选具备：多个第1偏振滤光片，与多个区域对应地配置，且偏振方向分别不同；及多个第2偏振滤光片，配置于图像传感器的各像素，且与多个第1偏振滤光片分别对应，多个第1偏振滤光片与多个第2偏振滤光片使透射多个区域的被摄体光按每个区域通过光瞳分割入射到图像传感器上。

22、第19方式所涉及的发明为信息处理方法，处理从摄像装置的图像传感器输出的图像，该摄像装置通过光瞳分割拍摄特性不同的图像，其中，信息处理方法包括：获取第1图像的步骤，该第1图像在第1摄影条件下由摄像装置拍摄第1被摄体，并从图像传感器输出；获取第2图像的步骤，该第2图像在与第1摄影条件不同的第2摄影条件下由摄像装置拍摄第1被摄体，并具有与从图像传感器输出的图像中的第1图像相同的特性；及根据第1图像与第2图像的特征量的相关，来检测图像中包含的串扰的步骤，由处理器执行各步骤的处理。

23、在本发明的第20方式所涉及的信息处理方法中，优选包括：进行降低从图像传感器输出的图像中包含的串扰的干扰去除处理的步骤，第1图像及第2图像为分别实施了干扰去除处理的图像。

24、第21方式所涉及的发明为信息处理程序，其使处理器执行第19方式或第20方式所述的信息处理方法中的各步骤的处理。