图像处理装置和图像处理方法以及图像捕获装置与流程

本技术涉及图像处理装置、图像处理方法和成像装置，并且使用由多个成像部获取的捕获图像来获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。

背景技术：

在相关技术中，在便携式电子装置中，例如信息处理终端如智能电话，由于信息处理终端的尺寸和厚度减小，因此与单镜头反光式相机相比，成像部提供劣化的图像质量。因此，例如，如专利文献1中所述，通过无线电通信向信息处理终端提供由可以被安装在信息处理终端中并可以从信息处理终端移除的相机生成的捕获图像。另外，专利文献2公开了设置多个成像部，以同时生成具有不同图像质量水平的多个图像，例如，具有第一视角的图像以及具有小于第一视角的第二视角的图像。

[引用列表]

[专利文献]

[专利文献1]

日本专利公开第2015-088824号

[专利文献2]

日本专利公开第2013-219525号

技术实现要素：

[技术问题]

另外，可移动相机具有比信息处理终端的成像部更大的尺寸，并且在利用可移动相机的情况下，需要在可移动相机与信息处理终端之间建立通信。因此，用于获得有利的捕获图像的操作是复杂的，从而导致可移植性劣化。另外，即使有多个成像部，可获取的图像仍然对应于各个成像部的能力。

因此，本技术的目的是提供一种图像处理装置、图像处理方法和成像装置，其可以使用由多个成像部获取的捕获图像来获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。

[问题的解决方案]

本技术的第一方面是一种图像处理装置，包括：视差检测部，其基于用于第一视点的第一成像信号以及用于不同于第一视点的第二视点的第二成像信号来检测第二视点相对于第一视点的视差；以及图像生成部，其使用第一成像信号以及基于由视差检测部检测到的视差对第二成像信号进行视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像，其中，第一成像信号包括白色像素和彩色分量像素，并且第二成像信号包括与第一成像信号相比更少的白色像素和更多的彩色分量像素。

在本技术中，视差检测部例如基于与第一视点对应的并且在2×2像素块内包括在数目上等于或大于彩色分量像素的白色像素的第一成像信号以及第二成像信号来检测第二视点相对于第一视点的视差，该第二成像信号与不同于第一视点的第二视点对应，并且比第一成像信号包括更少的白色像素，以增大彩色分量像素在第二成像信号中的数目。图像生成部基于由视差检测部检测到的视差对第二成像信号执行视差补偿，以生成经视差补偿的第二成像信号。在满足预定条件的情况下，即，在使用第一成像信号和经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险低于阈值的情况下，图像生成部使用第一成像信号和经视差补偿的第二成像信号来生成彩色图像，而在不满足预定条件的情况下，图像生成部根据第一成像信号生成彩色图像。图像生成部例如基于第一成像信号和经视差补偿的第二成像信号来确定图像质量性能劣化的风险，并且以与所确定的风险对应的合成比率将第一成像信号与经视差补偿的第二成像信号进行合成，以生成彩色图像。

另外，图像生成部根据第一成像信号生成第一亮度信号和第一彩色信号，根据第二成像信号生成第二亮度信号和第二彩色信号，基于第二彩色信号以及由视差检测部检测到的视差来生成经视差补偿的第二彩色信号，并且根据使用经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险，选择第一彩色信号和经视差补偿的第二彩色信号中的一个，或者将第一彩色信号与经视差补偿的第二彩色信号进行合成。另外，根据风险，图像生成部以捕获图像为单位选择第一彩色信号和经视差补偿的第二彩色信号中的一个，或者以像素为单位将第一彩色信号与经视差补偿的第二彩色信号进行合成。

视差检测部使用第一亮度信号和第二亮度信号或者第一亮度信号、第二亮度信号、第一彩色信号和第二彩色信号来执行视差检测。另外，图像处理装置包括视差检测控制部，该视差检测控制部基于第一成像信号来执行频率检测，并且根据检测结果控制视差检测部，视差检测部使用基于第一亮度信号和第二亮度信号计算出的成本值以及基于第一彩色信号和第二彩色信号计算出的成本值来执行视差检测，并且视差检测控制部基于以与频率检测的结果对应的合成比率对这两个成本值进行综合而得到的综合成本值来使得执行视差检测。

另外，图像生成部基于第一亮度信号来执行频率检测，并且根据频率检测的结果对第一彩色信号执行图像质量改进处理。另外，图像生成部对第二亮度信号执行视差补偿，以生成经视差补偿的第二亮度信号，并且将第一亮度信号与经视差补偿的第二亮度信号进行合成，以改进第一亮度信号的图像质量。例如，亮度图像质量改进部根据生成第一亮度信号的成像部的噪声强度设置第一亮度信号与经视差补偿的第二亮度信号之间的合成比率。

另外，图像生成部通过对第一成像信号中的白色像素信号进行插值处理、使用用于彩色分量像素的像素信号以及由插值处理得到的白色像素信号进行去马赛克处理、以及对由去马赛克处理得到的信号进行颜色空间转换，生成第一彩色信号。例如，图像生成部使用基于由插值处理得到的白色像素信号与用于彩色分量像素的像素信号的颜色比率以及用于处理目标像素的白色像素信号，生成用于处理目标像素的每个彩色分量的像素信号。另外，图像生成部对第一成像信号中的白色像素信号执行插值处理，以生成第一亮度信号，并且视差检测部使用由信号生成部通过对白色像素信号进行插值处理而生成的第一成像信号来执行视差检测。

本技术的第二方面是一种图像处理方法，包括：基于与第一视点对应并且包括白色像素和彩色分量像素的第一成像信号以及第二成像信号，在视差检测部中检测第二视点相对于第一视点的视差，第二成像信号与不同于第一视点的第二视点对应，并且包括与第一成像信号相比更少的白色像素，以增大彩色分量像素在第二成像信号中的比率；以及在图像生成部中使用第一成像信号以及由基于由视差检测部检测到的视差进行的视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像。

本技术的第三方面是一种成像装置，包括：第一成像部，其生成与第一视点对应并且包括白色像素和彩色分量像素的第一成像信号；第二成像部，其生成第二成像信号，第二成像信号与不同于第一视点的第二视点对应，并且包括与第一成像部相比更少的白色像素，以增大彩色分量像素在第二成像信号中的比率；视差检测部，其基于第一成像信号和第二成像信号来检测第二视点相对于第一视点的视差；以及图像生成部，其使用第一成像信号以及基于由视差检测部检测到的视差进行视差补偿而得到的经视差补偿的第二成像信号生成彩色图像。

[本发明的有益效果]

根据本技术，视差检测部基于用于第一视点的第一成像信号以及用于不同于第一视点的第二视点的第二成像信号检测第二视点相对于第一视点的视差。另外，图像生成部使用第一成像信号以及基于由视差检测部检测到的视差进行视差补偿生成的经视差补偿的第二成像信号来生成彩色图像。此外，第一成像信号包括白色像素和彩色分量像素，并且第二成像信号包括比第一成像信号更少的白色像素，以增大第二成像信号中的彩色分量像素的数目。因此，参考比第二成像信号包括更多白色像素的第一成像信号，将第二成像信号融合到第一成像信号，从而允许获得高灵敏度的捕获图像，同时抑制图像质量性能的劣化。注意，本文中描述的效果仅是说明性的而非限制性的，并且可以产生附加的效果。

附图说明

[图1]

图1是示出应用成像装置的装置的外观的图。

[图2]

图2是示出信息处理终端的配置的图。

[图3]

图3是示出通过融合处理获得的图像质量的图。

[图4]

图4是描绘遮挡的图。

[图5]

图5是示出成像部21-h的像素配置的图。

[图6]

图6是示出成像部21-c的像素配置的图。

[图7]

图7是示出图像处理部的第一实施方式的配置的图。

[图8]

图8是示出插值部的操作的图。

[图9]

图9是示出去马赛克处理部32-h的配置的图。

[图10]

图10是示出回退确定处理部的配置的图。

[图11]

图11是示出图像特征量的计算目标区域的图。

[图12]

图12是示出视差直方图的图。

[图13]

图13是示出视差差异绝对值的图。

[图14]

图14是示出视差间隙直方图的图。

[图15]

图15是示出像素值直方图的图。

[图16]

图16是示出图像处理部的第一实施方式的操作的流程图。

[图17]

图17是示出预处理的流程图。

[图18]

图18是示出图像处理部的第二实施方式的配置的图。

[图19]

图19是示出信号合成部的配置的图。

[图20]

图20是示出频率检测部的操作的图。

[图21]

图21是示出存储在核心处理部422中的核心曲线的图。

[图22]

图22是示出存储在核心处理部427中的核心曲线的图。

[图23]

图23是示出图像处理部的第二实施方式的操作的流程图。

[图24]

图24是示出图像处理部的第三实施方式的配置的图。

[图25]

图25是示出视差检测部的配置的图。

[图26]

图26是示出图像处理部的第四实施方式的配置的图。

[图27]

图27是示出图像处理部的第五实施方式的配置的图。

[图28]

图28是示出图像处理部的第六实施方式的配置的图。

[图29]

图29是示出图像处理部的第七实施方式的配置的图。

[图30]

图30是示出图像处理部的第八实施方式的配置的图。

[图31]

图31是示出彩色图像质量改进部的配置的图。

[图32]

图32是示出图像处理部的第九实施方式的配置的图。

[图33]

图33是示出图像处理部的第十实施方式的配置的图。

[图34]

图34是示出信号合成部的配置的图。

[图35]

图35是示出核心曲线与确定信息之间的关系的图。

[图36]

图36是描绘车辆控制系统的示意性配置的示例的框图。

[图37]

图37是辅助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

下面将描述本技术的实施方式。注意，按以下顺序进行描述。

1.应用图像处理装置的装置的配置

2.图像处理的概述

3.第一实施方式

4.第二实施方式

5.第三实施方式

6.第四实施方式

7.第五实施方式

8.第六实施方式

9.第七实施方式

10.第八实施方式

11.第九实施方式

12.第十实施方式

13.应用示例

<1.应用图像处理装置的装置的配置>

图1示出了应用本技术的成像装置的装置的外观。注意，在以下描述中，成像装置例如被应用于信息处理终端。图1中的(a)描绘了信息处理终端10的前侧，显示部53和操作部55被设置在该前侧上。图1中的(b)描绘了信息处理终端10的后侧，多个成像部(例如，两个成像部21-bw和21-cr)被设置在该后侧上。

图2示出了信息处理终端的配置。信息处理终端10包括多个成像部(例如，两个成像部21-h和21-c)、图像处理部30、传感器部51、通信部52、显示部53、触摸板54、操作部55、存储部56和控制部60。成像部21-h和21-c以及图像处理部30是构成本技术的成像装置的功能块，并且图像处理部30对应于本技术的图像处理装置。

成像部21-h和21-c被设置在信息处理终端10的相同的表面上，如图1中的(b)所示。成像部21-h和21-c使用诸如cmos(互补金属氧化物半导体)图像传感器的成像元件来配置，并且对由镜头(未示出)捕获的光执行光电转换以生成捕获图像的图像数据，并且将该图像数据输出到图像处理部30。

图像处理部30使用由成像部21-h和成像部21-c获取的捕获图像来获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。也就是说，图像生成部30使用由成像部21-h和成像部21-c获取的捕获图像执行图像处理，以生成高灵敏度捕获图像，同时与由成像部21-h和成像部21-c单独获取的捕获图像中的每一个的图像质量性能相比抑制图像质量性能劣化。图像处理部30将捕获图像输出到显示部53和存储部56。注意，下面将描述图像处理部30的配置和操作的详情。

传感器部51使用陀螺仪传感器等来配置，并且检测在信息处理终端10中发生的振动。传感器部51将关于检测到的振动的信息输出到控制部60。

通信部52通过诸如lan(局域网)或因特网之类的网络与装置通信。

显示部53基于从图像处理部30提供的图像数据来显示捕获图像，并且基于来自控制部60的信息信号显示菜单画面和各种应用画面。此外，触摸面板54被放置在显示部53的显示表面侧，并且被配置成允许使用gui功能。

操作部55使用操作开关等来配置，并且生成与用户操作对应的操作信号，并且将该操作信号输出到控制部60。

存储部56存储由信息处理终端10生成的信息，例如，从图像处理部30提供的图像数据以及由信息处理终端10针对通信和执行应用所使用的各种信息。

控制部60由cpu(中央处理单元)、rom(只读存储器)、ram(随机存取存储器)(未示出)等构成。控制部60执行存储在rom或ram中的程序以控制每个部分的操作，以使信息处理终端10执行与触摸板54或操作部55上的用户操作对应的操作。

注意，信息处理终端10不限于图2中所示的配置，而是可以设置有例如用于对图像数据进行编码并且将经编码的图像数据存储在存储部56中的编码处理部以及将图像数据与显示部的分辨率进行匹配的分辨率转换部。

<2.图像处理的概要>

图像处理部30使用由成像部21-h和成像部21-c获取的捕获图像来执行融合处理。图3是示出通过融合处理获得的图像质量的图。例如，在由成像部21-h获取黑白捕获图像并且由成像部21-c获取彩色捕获图像的情况下，可以通过使用基于黑白图像执行融合处理而获得颜色信息，以基于黑白捕获图像的视点对彩色捕获图像执行视差补偿，从而生成高灵敏度融合图像。因此，与单目图像质量(在仅使用成像部21-c的情况下获得的图像质量)相比，可以改进图像质量性能。然而，成像部21-h和成像部21-c使用不同的视点，因此，视差检测精度低导致颜色偏移或缺失的高风险。颜色偏移或缺失可能使图像质量性能劣化到低于单目图像质量(在仅使用成像部21-c的情况下获得的图像质量)。另外，基于黑白捕获图像的融合处理导致由于遮挡造成的颜色缺失。图4描绘了遮挡。在由成像部21-h与成像部21-c之间的视差导致遮挡的情况下，由成像部21-c获取的彩色捕获图像缺少与遮挡区域对应的颜色信息。因此，通过融合处理生成的融合图像在遮挡区域中缺少颜色，从而导致图像质量性能劣化。

因此，在本技术中，成像部21-h生成用于第一视点的第一成像信号作为包括白色像素和彩色分量像素的配置。另外，成像部21-c通过在第二成像信号中包括比成像部21-h更少的白色像素以增大第二成像信号中的彩色分量像素的比率来生成用于不同于第一视点的第二视点的第二成像信号。也就是说，成像部21-h生成具有比成像部21-c更高灵敏度的第一成像信号，并且成像部21-c生成具有比成像部21-h更高的彩色分辨率的第二成像信号。此外，成像部21-h包括彩色分量像素并且具有比成像部21-c低的彩色分辨率。然而，成像部21-h与成像部21-c类似地生成彩色分量图像，并且根据由视差差异导致的诸如颜色偏移或缺失之类的图像质量性能劣化的风险，选择根据由成像部21-h获取的第一成像信号生成的彩色分量信号与根据由成像部21-c获取的第二成像信号生成的经视差补偿的彩色信号中的一个，或者将彩色分量信号与经视差补偿的彩色信号进行合成(混合)。因此，成像部21-h生成具有高图像质量性能的融合图像。

图5示出了成像部21-h的像素配置。注意，在图5和图6中示出了作为成像区域的部分区域的5×5像素区域。图5中的(a)示出了2×2像素块由红色像素(r)、蓝色像素(b)和两个白色像素(w)构成的情况。另外，图5中的(b)示出了2×2像素块由红色像素(r)或蓝色像素(b)以及三个白色像素(w)构成的情况。图5中的(c)示出了均由红色像素(r)或蓝色像素(b)和3个白色像素(w)构成的2×2像素块以及均由4个白色像素(w)构成的2×2像素块在竖直方向或水平方向上交替设置的情况。此外，图5中的(d)示出了2×2像素块由红色像素(r)、蓝色像素(b)和绿色像素(g)中的任何一个以及三个白色像素(w)构成的情况。注意，图5中的(a)至(c)没有设置绿色像素(g)，并且因此通过使用如下所述的去马赛克处理生成的亮度图像、红色图像和蓝色图像来生成绿色图像。

图6示出了成像部21-c的像素配置。图6中的(a)示出了以拜耳(bayer)阵列设置的包括红色像素(r)、蓝色像素(b)和绿色像素(g)的三原色像素的情况。另外，图6中的(b)示出了2×2像素块由红色像素(r)、蓝色像素(b)和绿色像素(g)的三原色像素以及没有设置滤色器的白色像素(w)构成的情况。

另外，成像部21-h中的每种颜色的像素不需要与成像部21-c中的每种颜色的像素相同，只要光谱灵敏度差异小于预定值即可。另外，成像部21-h和成像部21-c的像素配置不限于图5和图6中所示的像素配置。例如，本实施方式不限于使用原色滤光器作为滤色器的情况，并且可以使用互补滤光器。另外，彩色阵列不限于拜耳阵列，而可以是诸如条纹阵列或马赛克阵列的任何其他彩色阵列。

图像处理部30使用视差检测部来基于上述第一成像信号和第二成像信号检测第二视点相对于第一视点的视差。另外，图像处理部30允许图像处理部使用第一成像信号以及基于由视差检测部检测到的视差通过视差补偿得到的经视差补偿的第二成像信号来生成彩色图像。在满足预定条件的情况下，即，在使用第一成像信号和经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险低于阈值的情况下，图像生成部使用第一成像信号和经视差补偿的第二成像信号生成彩色图像，而在不满足预定条件的情况下，根据第一成像信号生成彩色图像。例如，图像处理部30根据第一成像信号生成第一亮度信号和第一彩色信号，并且根据第二成像信号生成第二亮度信号和第二彩色信号，基于第二彩色信号以及由视差检测部检测到的视差来生成经经视差补偿的第二彩色信号，并且例如，根据使用经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有更低的劣化的图像质量性能的风险，选择第一彩色信号和经视差补偿的第二彩色信号中的一个或者将第一彩色信号与经视差补偿的第二彩色信号进行合成。另外，第一亮度信号或者使用第二亮度信号来改进图像质量的第一亮度信号被用作彩色图像的亮度信号。

图像处理部30执行这样的融合处理，以允许显示或记录与由成像部21-h或成像部21-c获取的捕获图像相比具有更高的图像质量性能的捕获图像。在下面的实施方式的描述中，根据由成像部21-h生成的第一成像信号来生成亮度信号和色差信号，根据由成像部21-c生成的第二成像信号来生成亮度信号和色差信号，并且使用色差信号或者色差信号和亮度信号执行基于成像部21-h的视点的融合处理。

<3.第一实施方式>

现在，将描述图像处理部的第一实施方式。图7示出了图像处理部的第一实施方式的配置。图像处理部30-1包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36a、视差补偿部37、回退确定部38和信号选择部41。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h对白色像素执行插值处理，以生成亮度图像的图像信号(在下文中称为“亮度信号”)sdw。图8是示出插值部的操作的图，并且在下面的描述中，成像部21-h例如执行插值处理，以计算在图6中的(b)中所示的像素配置中的红色像素或蓝色像素的位置处的每个白色像素wc的像素值。

在插值处理中，例如，使用针对上白色像素、下白色像素、右白色像素和左白色像素的像素值来执行公式(1)中的计算，以计算白色像素wc的像素值dwc。注意，位于白色像素wc上方并邻接的白色像素wt的像素值被表示为dwt，位于白色像素wc下方并邻接的白色像素wb的像素值被表示为dwb，位于白色像素wc右侧并邻接的白色像素wr的像素值被表示为dwr，位于白色像素wc左侧并邻接的白色像素wl的像素值被表示为dwl。

dwc＝1/4(dwt+dwb+dwl+dwr)...(1)

另外，在插值处理中，可以计算每个方向的插值成本值，并且可以将涉及最小插值成本值的插值像素的像素值确定为白色像素wc的像素值。公式(2)表示竖直插值的插值成本值diffv的公式。另外，公式(3)表示水平插值的插值成本值diffh的公式，公式(4)和(5)表示斜插值的插值成本值diffs1和diffs2的公式。

[数学式1]

此处，在竖直插值的插值成本值diffv被最小化的情况下，基于公式(6)来计算竖直插值像素的像素值dwv，并且将所计算的像素值dwv用作白色像素wc的像素值dwc。在水平插值的插值成本值diffh被最小化的情况下，基于公式(7)来计算水平插值像素的像素值dwh，并且将所计算的像素值dwh用作白色像素wc的像素值dwc。在斜插值的插值成本值diffs1被最小化的情况下，基于公式(8)来计算斜插值像素的像素值dws1，并且将所计算的像素值dws1用作白色像素wc的像素值dwc。另外，在斜插值的插值成本值diffs2被最小化的情况下，基于公式(9)来计算斜插值像素的像素值dws2，并且将所计算的像素值dws2用作白色像素wc的像素值dwc。注意，在白色像素wc左上方并邻接的白色像素wtl的像素值被表示为dwtl，在白色像素wc右上方并邻接的白色像素wtr的像素值被表示为dwtr，在白色像素wc左下方并邻接的白色像素wbl的像素值被表示为dwbl，并且在白色像素wc右下方并邻接的白色像素wbr的像素值被表示为dwbr。

dwv＝1/2(dwt+dwb)...(6)

dwh＝1/2(dwl+dwr)...(7)

dws1＝1/2(dwtl+dwbr)...(8)

dws2＝1/2(dwtr+dwbl)...(9)

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将生成的亮度信号sdw输出到去马赛克处理部32-h和回退确定部38以及显示部53和存储部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成用于每个彩色分量的图像信号(例如三原色信号)。图9示出了去马赛克处理部32-h的配置。去马赛克处理部32-h包括红色插值系数计算部321r、蓝色插值系数计算部321b、红色分量图像生成部322r、蓝色分量图像生成部322b和绿色分量图像生成部322g。

红色插值系数计算部321r基于公式(10)来计算颜色比率，该颜色比率是具有预定尺寸的块范围j(图9描绘了例如5×5像素的情况)内的白色像素w的像素信号之和与红色像素r的像素信号之和的比率，并且将颜色比率输出到红色分量图像生成部322r作为红色插值系数rtr。

[数学式2]

蓝色插值系数计算部321b基于公式(11)来计算颜色比率，该颜色比率是具有预定尺寸的块范围j(图9描绘了例如5×5像素的情况)内的白色像素w的像素信号之和与蓝色像素b的像素信号之和的比率，并且将颜色比率输出到蓝色分量图像生成部322b作为蓝色插值系数rtb。

[数学式3]

红色分量图像生成部322r将由插值部31-h生成的亮度图像中的插值像素位置(x,y)的像素值dw(x,y)乘以由红色插值系数计算部321r所计算的红色插值系数rtr，以计算插值像素位置(x,y)处的红色像素的像素值dr(x,y)，如公式(12)所示。

dr(x,y)＝rtr×dw(x,y)...(12)

蓝色分量图像生成部322b将由插值部31-h生成的亮度图像中的插值像素位置(x,y)的像素值dw(x,y)乘以由蓝色插值系数计算部321b所计算的蓝色插值系数rtb，以计算插值像素位置(x,y)处的蓝色像素的像素值db(x,y)，如公式(13)所示。

db(x,y)＝rtb×dw(x,y)...(13)

绿色分量图像生成部322g从由插值部31-h生成的亮度图像中的插值像素位置(x,y)的像素值dw(x,y)中减去由红色分量图像生成部322r所计算的插值像素位置(x,y)的像素值dr(x,y)以及由蓝色分量图像生成部322b所计算的插值像素位置(x,y)的像素值db(x,y)，以计算插值像素位置(x,y)处的绿色像素的像素值dg(x,y)，如公式(14)所示。

dg(x,y)＝dw(x,y)-dr(x,y)-db(x,y)...(14)

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成三原色的图像信号，并且将三原色的图像信号输出到yuv转换部33-h。

去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术去马赛克处理的去马赛克处理，并且将三原色的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36a，并且将生成的色差信号huv输出到信号选择部41。注意，色差信号huv表示指示亮度与蓝色之间的差异的色差信号hu以及指示亮度与红色之间的差异的色差信号hv。

yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a和回退确定部38，并且将生成的色差信号cuv输出到视差补偿部37。注意，色差信号cuv表示指示亮度与蓝色之间的差异的色差信号cu以及指示亮度与红色之间的差异的色差信号cv。

视差检测部36a使用来自yuv转换部33-h的亮度信号hy以及来自yuv转换部33-c的亮度信号cy，以使用由成像部21-h获取的捕获图像作为基准捕获图像来检测由成像部21-c获取的捕获图像的视差。

视差检测部36a通过基于交叉匹配的对应点检测处理来生成视差信息。例如，将基准捕获图像上的关注位置指定为参考，并且使用诸如ssd(平方差之和)或sad(绝对差的和)的成本值来检测与基准块区域最相似的另一捕获图像上的块区域。视差检测部36a计算指示检测到的块区域与基准块区域之间的位置差异的视差矢量。另外，视差检测部36a使用基准捕获图像上的每个像素作为关注位置来计算视差，并且生成指示针对每个像素计算的视差矢量的视差信息。注意，为了生成视差信息，可以使用任何其他方法如klt(kanade-lucas-tomasi)方法来代替块匹配。视差检测部36a将生成的视差信息dta输出到视差补偿部37和回退确定部38。

视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36a生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw、从yuv转换部33-c提供的亮度信号cy以及从视差检测部36a提供视差信息dta来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像质量性能劣化的情况下选择与由yuv转换部33-h生成的色差信号huv相比具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的风险的情况下选择色差信号huv。

图10示出了回退确定处理部的配置。回退确定部38包括图像特征量计算部381和信号选择确定部382。

图像特征量计算部381计算用于确定由像素的视差和饱和度引起的图像质量的劣化的图像特征量。图像特征量计算部381包括视差直方图生成部3811、视差分布特征量计算部3812、搜索范围超出特征量计算部3813、视差间隙直方图生成部3814和视差间隙特征量计算部3815，作为计算用于确定由视差引起的图像质量的劣化的图像特征量的功能块。另外，图像特征量计算部381包括饱和度确定直方图生成部3816和饱和度特征量计算部3817，作为计算用于确定由像素的饱和引起的图像质量劣化的图像特征量的功能块。注意，图像特征量计算部381可以使用整个捕获图像作为图像特征量的计算目标区域，或者将计算目标区域设置为除了上、下、右和左端侧区域(阴影区域)之外的整个捕获图像，如图11所示。例如，将计算目标区域设置为如上所述的除了端侧区域之外的整个捕获图像能够防止下述情况：由于该侧端处的关注像素的位置而导致没有计算出下面描述的视差、视差间距等。因此，可以准确地计算图像特征量。另外，可以减少用于生成直方图等的计算成本。

视差直方图生成部3811使用针对计算目标区域中的每个像素计算的视差矢量来生成直方图。注意，图12示出了视差直方图，并且图12中的(a)示出了其中对象接近同一平面的捕获图像的视差直方图，图12中的(b)示出了其中对象位于不同的距离处的捕获图像的视差直方图。在该视差直方图中，由于距离的差异，在负方向上远离视差“0”的位置处出现峰值。图12中的(c)示出了如下所述的捕获图像的视差直方图，在该捕获图像中，对象位于不同距离处以产生多个视差，并且其中对象被定位成靠近并因此可能产生大的视差。在该视差直方图中，对象被定位成比图12中的(b)更靠近以产生更大的视差，因此，在负方向上与图12中的(b)相比在更远的位置处出现峰值。

视差分布特征量计算部3812根据由视差直方图生成部3811生成的视差直方图来计算表示视差分布的特征的统计量作为视差分布特征量。视差分布特征量计算部3812计算例如标准偏差作为表示视差分布特征的统计量，并且将所计算的标准偏差指定为视差分布特征量fvfsd。例如，根据图12(a)中的直方图计算的视差分布特征量被指定为“fvfsd-a”，根据图12(b)中的直方图计算的视差分布特征量被指定为“fvfsd-b”，并且根据图12(c)中的直方图计算的视差分布特征量被指定为”fvfsd-c”。在这种情况下，视差分布特征量使得“fvfsd-a<fvfsd-b，fvfsd-c”。因此，在视差分布特征量计算部分3812计算视差直方图的标准偏差作为视差分布特征量fvfsd的情况下，下面描述的信号选择确定部382可以基于视差分布特征量fvfsd来确定对象是接近同一平面还是涉及多个视差。

搜索范围超出特征量计算部3813根据由视差直方图生成部3811生成的视差直方图来计算搜索范围超出特征量fvosr，搜索范围超出特征量fvosr指示已发生了超过预设搜索范围的视差的频率(over_search_range_counter)与总频率(计数器)的比率。搜索范围超出特征量计算部3813使用视差直方图来执行公式(15)中的计算，以计算搜索范围超出特征量fvosr。

fvosr＝over_search_range_counter/counter*100...(15)

视差间隙直方图生成部3814生成视差间隙直方图。图13是示出用于生成视差间隙直方图的视差差异绝对值的图。视差间隙直方图生成部3814计算位于在水平方向上与计算目标区域中的关注像素的位置相距一定距离的视差pv1，该距离对应于“-(parallax_diff_distance/2)”像素，如图13所示。另外，视差间隙直方图生成部3814计算位于在水平方向上与关注像素的位置相距一定距离的视差pv2，该距离对应于“(parallax_diff_distance/2)”像素，以计算公式(16)中指示的视差差异绝对值pvapd。请注意，视差间距(parallax_diff_distance)是预设的。

pvapd＝abs(pv1-pv2)...(16)

例如，在对象接近同一平面的情况下，视差差异绝对值pvapd小，因为视差pv1与视差pv2之间的差异小。另外，例如，在对象位于不同距离处并且关注像素位于不同距离处的对象之间的边界处的情况下，视差差异绝对值pvapd大，因为视差pv1与视差pv2之间的差异大。视差间隙直方图生成部3814生成视差间隙直方图，该视差间隙直方图是使用计算目标区域中的每个像素作为关注像素而计算的视差差异绝对值pvapd的直方图。注意，图14示出了视差间隙直方图。

视差间隙特征量计算部3815根据由视差间隙直方图生成部3814生成的视差间隙直方图来计算视差间隙特征量fvpd。视差间隙特征量计算部3815根据视差间隙直方图来计算视差间隙特征量fvpd，视差间隙特征量fvpd指示已发生了大于或等于预设的最大视差间距的视差间隙处的频率(large_parallax_diff_counter)与总频率(计数器)的比率。视差间隙特征量计算部3815使用视差间隙直方图来执行公式(17)中的计算，以计算视差间隙特征量fvpd。

fvpd＝large_parallax_diff_counter/counter*100...(17)

以这种方式，由视差间隙特征量计算部3815所计算的视差间隙特征量fvpd指示涉及最大视差间距的像素的比率。此处，位于同一平面内的对象具有小的视差间隙，而在不同距离处的对象之间的图像边界部分处视差间隙大，因此能够确定位于显著不同距离处的对象之间的图像边界的发生状态。

饱和度确定直方图生成部3816基于从插值部31-h提供的亮度信号sdw来生成指示每个像素值的频率(像素数)的像素值直方图。另外，饱和度确定直方图生成部3816基于从yuv转换部33-c提供的亮度信号cy来生成指示每个像素值的频率(像素数)的像素值直方图。

图15示出了像素值直方图。注意，图15中的(a)描绘了基于亮度信号sdw的像素值直方图，而图15中的(b)描绘了基于亮度信号cy的亮度值直方图。如上所述，成像部21-h设置有比成像部21-c更多的白色像素，白色像素基于可见光的整个波长范围内的入射光的量来输出电信号。因此，成像部21-h具有比成像部21-c更高的灵敏度。因此，在对具有相同亮度的对象进行成像的情况下，基于由成像部21-h获取的捕获图像的像素值直方图与基于由成像部21-c获取的捕获图像的亮度值直方图相比在具有高信号值的区域中具有更高的频率。

饱和特征量计算部3817基于由饱和度确定直方图生成部3816生成的亮度值直方图来计算饱和度特征量fvsat。饱和度特征量计算部3817基于由成像部21-h获取的捕获图像来计算大于或等于像素值直方图中的预设的饱和度确定设置值(saturation_area_w)的像素值的频率(saturation_counter_w)，并且基于由成像部21-c获取的捕获图像来计算大于或等于像素值直方图中的预设的饱和度确定设置值(saturation_area_y)的像素值的频率(saturation_counter_y)。另外，饱和特征量计算部3817计算指示频率(saturation_counter_w)与频率(saturation_counter_y)之间的差与总频率(计数器)的比率的饱和特征量fvsat。饱和度特征量计算部3817使用基于成像部21-h获取的捕获图像的像素值直方图以及基于由成像部21-c获取的捕获图像的像素值直方图，以执行公式(18)中的计算，以计算饱和度特征量fvsat。

fvsat＝(saturation_counter_w–

saturation_counter_y)/counter*100)...(18)

以这种方式，由饱和特征量计算部3817所计算的饱和特征量fvsat指示像素饱和状态的差异。因此，例如，在饱和度特征量具有大值的情况下，基于由成像部21-h获取的捕获图像可以确定捕获图像在融合处理中遭受到由于图像的饱和度而导致的图像质量的劣化。

信号选择确定部382基于由图像特征量计算部381所计算的图像特征量以及从控制部60等获取的相机特征量来确定融合图像是否遭受图像质量的劣化。信号选择确定部382根据确定结果来生成信号选择控制信号et，并且将信号选择控制信号et输出到信号选择部41。信号选择确定部382包括个体确定部3821至3825以及综合确定处理部3828作为用于确定图像质量是否可能劣化的功能块。

个体确定部3821基于由视差分布特征量计算部3812所计算的视差分布特征量来确定融合图像是否要遭受图像质量的劣化。个体确定部3821将视差分布特征量fvfsd与针对视差分布特征量预设的确定阈值thfsd进行比较。在视差分布特征量fvfsd大于确定阈值thfsd的情况下，即，在视差显著变化的情况下，个体确定部3821确定图像质量可能劣化。个体确定部3821将个体确定结果输出到综合确定处理部3828。

个体确定部3822基于由搜索范围超出特征量计算部3813计算的搜索范围超出特征量fvosr来确定融合图像是否将遭受图像质量的劣化。个体确定部3822将搜索范围超出特征量fvosr与针对搜索范围超出特征量预设的确定阈值thosr进行比较。在搜索范围超出特征量fvosr大于确定阈值thosr的情况下，个体确定部3822可以确定遮挡区域占据图像的大部分。个体确定部3822将个体确定结果输出到综合确定处理部3828。

个体确定部3823基于由视差间隙特征量计算部3815计算的视差间隙特征量fvpd来确定融合图像是否要遭受图像质量的劣化。个体确定部3823将视差间隙特征量fvpd与针对视差间隙特征量预设的确定阈值thpd进行比较。在视差间隙特征量fvpd大于确定阈值thpd的情况下，个体确定部3823可以确定图像包括在位于显著不同距离处的对象之间的许多图像边界。位于显著不同距离处的对象之间的图像边界可能遭受遮挡，因此，在图像包括位于显著不同距离处的对象之间的许多图像边界的情况下，确定图像质量劣化。个体确定部3823将个体确定结果输出到综合确定处理部3828。

个体确定部3824基于由饱和特征量计算部3817计算的饱和度特征量fvsat来确定融合图像是否要遭受图像质量的劣化。个体确定部3824将饱和度特征量fvsat与针对饱和度特征量预设的确定阈值thsat进行比较。在饱和特征量fvsat大于确定阈值的情况下，即，在由成像部21-h获取的捕获图像中比由成像部21-c获取的捕获图像中饱和的像素更多情况下，个体确定部3824确定图像质量可能劣化。个体确定部3824将个体确定结果输出到综合确定处理部3828。

个体确定部3825基于相机特征量来确定融合图像是否遭受图像质量的劣化。作为相机特征量，使用与成像期间的亮度或者与对象的距离相关联的成像设置信息。明亮的对象允许成像部21-cr获取高灵敏度图像，因此，融合处理对明亮的对象的影响低于对黑暗的对象的影响。因此，与成像期间的亮度相关联的成像设置信息被用作相机特征量。另外，由成像部21-h与成像部21-c之间的视点差异导致的遮挡对于较远的对象较不显著，而对于较近的对象则较为显著。因此，与对象距离相关联的成像设置信息被用作相机特征量。作为与成像期间的亮度相关联的成像设置信息，例如，使用诸如成像部21-h和21-c的iso感光度和曝光时间的设置信息。作为与对象的距离相关联的成像设置信息，使用诸如焦距和变焦放大的设置信息。个体确定部3825从成像部21-h和21-c以及控制部60获取相机信息。个体确定部3825将相机特征量与针对相机特征量预设的确定阈值进行比较，以确定融合图像是否会遭受图像质量的劣化。个体确定部3825将个体确定结果输出到综合确定处理部3828。

综合确定处理部3828使用从个体确定部3821至3825提供的个体确定结果例如以帧为单位对每个捕获图像进行回退确定。综合确定处理部3828根据回退确定结果生成信号选择控制信号，并且将信号选择控制信号输出到信号选择部41。例如，综合确定处理部3828在回退确定中确定：在图像质量性能劣化的风险低于阈值的情况下，即，在从个体确定部3821至3825提供的所有个体确定结果指示图像质量不会劣化的情况下，融合处理不会导致图像质量性能的劣化。另外，综合确定处理部3828在回退确定中确定：在图像质量性能劣化的风险高于或等于阈值的情况下，即，在从个体确定部3821至3825提供的个体确定结果中的任何一个指示图像质量可能劣化的情况下，融合处理会导致图像质量性能的劣化。在确定图像质量性能不会劣化的情况下，综合确定处理部3828例如生成信号选择控制信号et，用于选择与由yuv转换部33-h生成的色差信号huv相比具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在图像质量性能可能劣化的情况下，选择色差信号huv。

信号选择部41基于来自回退确定部38的信号选择控制信号et，输出由yuv转换部33-h生成的色差信号huv或者由yuv转换部33-c生成的并且已经执行了视差补偿的经视差补偿的色差信号cpuv中的一个作为色差信号sduv。

图像处理部30-1将从插值部31-h输出的亮度信号sdw以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。注意，图7描绘了下述配置：亮度信号和色差信号被输出到显示部53和记录部56，但是可以设置用于亮度信号和色差信号的颜色空间转换部，以例如将三原色的图像信号输出到显示部53和记录部56。

图16是示出图像处理部的第一实施方式的操作的流程图。在步骤st1中，图像处理部30-1执行预处理。图17是示出预处理的流程图。在步骤st11中，图像处理部30-1执行插值处理。图像处理部30-1使用由成像部21-h生成的捕获图像中的白色像素来执行插值处理，以生成亮度信号sdw，并且进行到步骤st12。

在步骤st12中，图像处理部30-1执行去马赛克处理。图像处理部30-1使用在步骤st11中生成的亮度信号sdw以及例如来自成像部21-h的红色和蓝色像素的像素信号来执行去马赛克处理，以生成红色分量图像、蓝色分量图像和绿色分量图像的图像信号。另外，图像处理部30-1使用来自成像部21-c的红色、蓝色和绿色像素的像素信号来执行去马赛克处理，以生成用于红色分量图像，蓝色分量图像和绿色分量图像的图像信号。然后，图像处理部30-1进行到步骤st13。

在步骤st13中，图像处理部30-1执行yuv转换。图像处理部30-1对在步骤st12中通过使用亮度信号sdw以及来自成像部21-h的像素信号进行去马赛克处理生成的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。另外，图像处理部30-1对在步骤st12中通过使用来自成像部21-c的红色、蓝色和绿色像素的像素信号进行去马赛克处理生成的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。图像处理部30-1返回到图16中的步骤st2。

在步骤st2中，图像处理部30-1执行视差检测。图像处理部30-1使用由步骤st1中的预处理生成的亮度信号hy和亮度信号cy来执行视差检测，以生成指示视差检测结果的视差信息dta。然后，图像处理部30-1进行到步骤st3。

在步骤st3中，图像处理部30-1执行视差补偿。图像处理部30-1使用在步骤st2中生成的视差信息dta对在st1中生成并且与成像部21-c的视点对应的色差信号cuv执行视差补偿。然后，图像处理部30-1进行到步骤st4。

在步骤st4中，图像处理部30-1进行回退确定。图像处理部30-1基于通过步骤st1中的预处理生成的亮度信号sdw和cy以及在步骤st2中生成的视差信息dta来确定图像质量性能劣化的风险，然后进行到步骤st5。

在步骤st5中，图像处理部30-1执行信号选择处理。在步骤st4中的回退确定指示不存在图像质量性能劣化的风险的情况下，图像处理部30-1选择在步骤st3中生成的并且比通过st1中的预处理生成的色差信号huv具有更高彩色分辨率的经视差补偿的色差信号cpuv。另外，在回退确定指示存在图像质量性能劣化的风险的情况下，图像处理部30-1选择色差信号huv。此外，图像处理部30-1将通过步骤st1中的预处理生成的亮度信号sdw以及经视差补偿的色差信号cpuv或色差信号huv输出到显示部、记录部等。

根据上述第一实施方式，图像处理部30-1以捕获图像为单位，在不存在图像质量性能劣化风险的情况下，执行对与第二视点对应并且具有高色彩分辨率的色差信号执行视差补偿，然后选择所生成的经视差补偿的色差信号的处理，而在存在图像质量性能劣化风险的情况下，执行选择用于第一视点的色差信号的处理。另外，图像处理部30-1向显示部53和记录部56输出所选择的色差信号以及与第一视点对应并且具有高分辨率的亮度信号。因此，图像处理部30-1的使用允许了显示或记录比由成像部21-h或成像部21-c获取的捕获图像具有更高的图像质量性能的捕获图像。另外，成像部21-h设置有彩色分量像素，并且根据与第一视点对应并且由成像部21-h生成的第一成像信号来生成色差信号。在存在图像质量性能劣化的风险的情况下，选择第一视点的色差信号。因此，可以防止由融合处理得到的彩色图像中的颜色偏移或缺失。

<4.第二实施方式>

上述图像处理部的第一实施方式包括在基于来自成像部21-h的信号生成的色差信号huv或者基于来自成像部21-c的信号生成经视差补偿的色差信号cpuv(对其已执行了视差补偿)之间进行选择，该经视差补偿的色差信号具有高分辨率，并且以捕获图像为单位来执行该选择，以在抑制图像质量性能的劣化的同时获得高灵敏度捕获图像。现在，将描述第二实施方式，在第二实施方式中，对基于来自成像部21-h的信号生成的色差信号huv与基于来自成像部21-c的信号生成的经视差补偿的色差信号cpuv(对其已执行了视差补偿)执行合成，经视差补偿的第二色差信号cpuv具有高色彩分辨率，并且以像素为单位来执行该合成，以在抑制图像质量性能的劣化的同时不使高灵敏度图像质量性能劣化。

图18示出了图像处理部的第二实施方式的配置。注意，与上述实施方式的部件相比，对应的部件由相同的附图标记表示。图像处理部30-2包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36a、视差补偿部37和信号合成部42。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h和信号合成部42以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术中的去马赛克处理的去马赛克处理，以生成用于每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36a，并且将色差信号huv输出到信号合成部42。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a，并且将色差信号cuv输出到视差补偿部37。

视差检测部36a使用来自yuv转换部33-h的亮度信号hy以及来自yuv转换部33-c的亮度信号cy，以使用由成像部21-h获取的捕获图像作为基准捕获图像来检测由成像部21-c获取的捕获图像的视差。视差检测部36a向信号合成部42输出指示视差检测结果的视差信息。

视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的色差信号cuv执行视差补偿，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号合成部42。

信号合成部42将色差信号huv与经视差补偿的色差信号cpuv进行合成，以免使图像质量性能劣化，并且将得到的色差信号spuv输出到显示部53和记录部56。

图19示出了信号合成部的配置。信号合成部42包括频率检测部421、核心处理部422、低通滤波器423和424、差异计算部425、绝对值计算部426、核心处理部427、合成比率设置部428和合成处理部429。

频率检测部421使用由插值部31-h生成的亮度信号sdw以针对每个像素检测包括检测目标像素的图像具有怎样的频率特性。图20是示出频率检测部的操作的图。频率检测部421例如对由亮度信号sdw指示的亮度图像中的像素位置(x,y)执行公式(19)中所示的计算，以计算指示水平方向上的频率特性的活动acthor。注意，在公式(19)中，“i”是指示测量范围内的移动位置的参数，并且在图20中，“i＝1至4”的值和测量范围对应于9个像素。另外，在公式(19)中，动态范围dmr是测量范围内的像素值dw的最大值与最小值之间的差值，如公式(20)所示。

[数学式4]

注意，在动态范围dmr小于或等于成像部21-h的噪声强度σ的情况下，成像部21-h设置活动acthor＝0，因为成像元件中可能的噪声使图像质量性能劣化。

与水平方向的情况一样，频率检测部421计算竖直方向上的活动actver，并且将水平方向上的活动acthor和竖直方向上的活动actver之和指定为像素位置(x,y)的活动act，如公式(21)所示。频率检测部421计算每个像素的活动act并且将活动act输出到核心处理部422。

act＝acthor+actver...(21)

核心处理部422针对每个像素设置与活动act对应的合成比率(混合比)αa。核心处理部422存储指示相对于活动act的合成比率αa的核心曲线，并且根据核心曲线确定相对于由频率检测部421检测到的活动act的合成比率αa。图21示出了存储在核心处理部422中的核心曲线。例如，在活动act小于或等于阈值tha0的情况下，核心曲线指示合成比率“αa＝1”。在活动act大于阈值tha0并且小于或等于阈值tha1的情况下，随着活动act的增大，合成比率从“αa＝1”到“αa＝0”依次减小。此外，在活动act大于阈值tha1的情况下，合成比率“αa＝0”。核心处理部422设置与活动act对应的合成比率αa，并且将所设置的合成比率αa输出到合成比率设置部428。注意，图21和下面描述的核心曲线是说明性的，并且本实施方式不限于合成比率根据活动act的线性变化。

低通滤波器423对色差信号huv执行低通滤波处理，并且低通滤波器424对经视差补偿的色差信号cpuv执行低通滤波处理，以使各个色差信号的频带相等。另外，低通滤波器423和424执行低通滤波处理，以从色差信号中去除诸如伪色的噪声分量。低通滤波器423和424将经滤波的色差信号输出到差异计算部425。

差异计算部425针对每个像素计算通过低通滤波处理得到并且从低通滤波器423提供的色差信号huv与通过低通滤波处理得到并且从低通滤波器423提供的经视差补偿的色差信号cpuv之间的差异，并且将该差异输出到绝对值计算部426。

绝对值计算部426计算由差异计算部425针对每个像素计算的差异绝对值abs，并且将差异绝对值abs输出到核心处理部427。

核心处理部427设置与差异绝对值abs对应的合成比率αb。核心处理部427存储指示合成比率αb相对于差异绝对值abs的核心曲线，并且根据核心曲线确定相对于由绝对值计算部426计算的差异绝对值abs的合成比率αb2。图22示出了存储在核心处理部427中的核心曲线。例如，在差异绝对值abs小于或等于阈值thb0的情况下，核心曲线指示合成比率“αb＝0”。在差值绝对值abs大于阈值thb0且小于或等于阈值thb1的情况下，随着差异绝对值abs的增大，合成比率从“αb＝0”到“αb＝1”依次减小。此外，在差异绝对值abs大于阈值thb1的情况下，合成比率“αb＝1”。核心处理部427设置与差异绝对值abs对应的合成比率αb，并且将所设置的合成比率αb输出到合成比率设置部428。

合成比率设置部428使用从核心处理部422提供的合成比率αa以及从核心处理部427提供的合成比率αb来执行公式(22)中的处理。合成比率设置部428将合成比率αa和αb的值中的较大值设置为色差信号huv与经视差补偿的色差信号cpuv的合成比率，并且将该合成比率输出到合成处理部429。

α＝max(αa,αb)...(22)

合成处理部429使用由合成比率设置部428设置的合成比率α，对每个像素执行公式(23)中的计算，以生成由生成色差信号huv和经视差补偿的色差信号cpuv合成的色差信号sduv。也就是说，在高频区域中，图像质量性能因伪色而劣化，因此，在图像质量性能劣化的风险低于阈值的情况下，以与图像质量性能劣化风险对应的合成比率将色差信号huv与经视差补偿的色差信号cpuv进行合成，从而使图像质量性能高于或等于仅使用色差信号huv所实现的图像质量性能。另外，在图像质量性能劣化的风险高于或等于阈值的情况下，设置合成比率α＝1，并且使用色差信号huv。

sduv＝α×huv+(1-α)×cpuv...(23)

图像处理部30-2将从插值部31-h输出的亮度信号sdw以及从信号合成部42输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

图23是示出图像处理部的第二实施方式的操作的流程图。在步骤st21中，图像处理部30-2执行预处理。图像处理部30-2执行图17所示的流程图中的处理，以生成亮度信号sdw和色差信号huv以及亮度信号cy和色差信号cuv，然后进行到步骤st22。

在步骤st22中，图像处理部30-2执行视差检测。图像处理部30-2使用由步骤st21中的预处理生成的亮度信号hy和亮度信号cy来执行视差检测，以生成指示视差检测结果的视差信息dta，然后进行到步骤st23。

在步骤st23中，图像处理部30-2执行视差补偿。图像处理部30-2使用在步骤st22中生成的视差信息dta对在步骤st21中生成的用于成像部21-c的视点的色差信号cuv执行视差补偿。因此，图像处理部30-2生成与成像部21-h的视点对应的经视差补偿的色差信号cpuv，并且进行到步骤st24。

在步骤st24中，图像处理部30-2执行信号选择处理。图像处理部30-2将色差信号huv与经视差补偿的色差信号cpuv进行合成，以生成色差信号sduv，以免降低图像质量性能。此外，图像处理部30-2向显示部、记录部等输出通过步骤st21中的预处理生成的亮度信号sdw以及通过信号合成处理生成的色差信号sduv。注意，图像处理部30-2可以使用样条处理来对每个像素执行顺序处理，而不是按步骤顺序执行处理的有序处理。

根据上述的第二实施方式，图像处理部30-2对与第二视点对应的并且具有高色彩分辨率的色差信号进行执行视差补偿的处理，并且根据图像质量性能劣化的风险，以像素为单位，将生成的经视差补偿的色差信号与和第一视点对应并且具有比第二视点的色差信号更低的色彩分辨率的色差信号进行合成。另外，图像处理部30-2向显示部53和记录部56输出与第一视点对应并且具有高分辨率的亮度信号以及通过合成处理生成的色差信号。因此，图像处理部30-2的使用允许显示和记录具有比由成像部21-h或成像部21-c获取的捕获图像更高的图像质量性能的捕获图像。另外，执行以像素为单位合成色差信号的处理，以使得不降低图像质量性能，从而允许防止以像素为单位的颜色偏移或缺失等。

<5.第三实施方式>

现在，将描述图像处理部的第三实施方式。在第三实施方式中，改进了视差检测精度，以允许对经视差补偿的色差信号cpuv准确地执行视差补偿。这减少了以捕获图像为单位在色差信号huv与经视差补偿的色差信号cpuv之间进行选择而引起的图像质量的劣化，并且提高了回退确定的确定精度。

图24示出了图像处理部的第三实施方式的配置。图像处理部30-3包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36b、视差补偿部37、回退确定部38和信号选择部41。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h和回退确定部38以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36b，并且将色差信号huv输出到视差检测部36b和信号选择部41。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36b和回退确定部38，并且将色差信号cuv输出到视差检测部36b和视差补偿部37。

视差检测部36b使用亮度信号hy和cy以及色差信号huv和cuv来执行视差检测。图25示出了视差检测部的配置。视差检测部36b包括成本计算部361、362和363、成本综合部364和成本最小化矢量确定部365。

成本计算部361、362和363使用以由成像部21-h获取的捕获图像中的视差检测目标像素位置为基准的基准图像以及由成像部21-c获取的捕获图像中的参考图像来计算成本。

成本计算部361使用亮度信号hy中的用于基准图像的信号以及亮度信号cy中的用于参考图像的信号来计算成本值(例如，sad)costy，并且将成本值costy输出到成本综合部364。成本计算部362使用色差信号hu中的用于基准图像的信号以及色差信号cu中的用于参考图像的信号来计算成本值(例如，sad)costu，并且将成本值costu输出到成本综合部364。成本计算部362使用色差信号hv中的用于基准图像的信号以及色差信号cv中的用于参考图像的信号来计算成本值(例如，sad)costv，并且将成本值costv输出到成本综合部364。

成本综合部364对由成本计算部361、362和363计算的成本值进行综合。例如，成本综合部364将成本值的总和指定为成本值cost(＝costy+coctu+coctv)。

另外，成本计算部361、362和363在搜索范围内移动参考图像并且计算成本值，并且成本综合部364顺序地计算每个移动的参考图像的成本值cost，并且将成本值cost输出到成本最小化矢量确定部365。

成本最小化矢量确定部365使用矢量信息作为视差信息dtb，该矢量信息指示与相对于基准图像的最小成本值cost对应的参考图像的位置。注意，ssd可以用作成本值，并且本实施方式不限于块匹配，而是可以使用任何其他技术。

视差补偿部37基于从视差检测部36b提供的视差信息dtb对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36b生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy，以及从视差检测部36b提供的视差信息dtb来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像质量性能劣化的风险的情况下选择比由yuv转换部33-h生成的色差信号huv具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的情况下，选择色差信号huv。然后，回退确定部38将信号选择控制信号et输出到信号选择部41。

基于来自回退确定部38的信号选择控制信号et，信号选择部41输出由yuv转换部33-h生成的色差信号huv或者由yuv转换部33-c生成并且已执行了视差补偿的经视差补偿的色差信号cpuv中的一个，作为色差信号sduv。

图像处理部30-3将从插值部31-h输出的亮度信号sdw以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第三实施方式中，可以执行图16中描绘的操作，并且在步骤st2中的视差检测中，亮度信号hy和cy以及色差信号huv和cuv可以用于上述的视差检测。

如上所述，如第一实施方式的情况，根据图像处理部的第三实施方式，可以显示或记录比由成像部21-h或成像部21-c获取的捕获图像具有更高的图像质量性能的捕获图像。另外，即使在融合处理涉及图像质量性能劣化的风险的情况下，也可以防止图像质量性能的劣化。此外，实现了准确的视差补偿，因此，与第一实施方式相比，本实施方式可以减少由以捕获图像为单位在第一视点的色差信号与具有高分辨率的经视差补偿的色差信号之间进行选择引起的图像质量的劣化。另外，本实施方式可以使回退确定的确定精度高于第一实施方式。

<6.第四实施方式>

现在，将描述图像处理部的第四实施方式。在第四实施方式中，改进了视差检测精度，以允许对经视差补偿的色差信号cpuv进行准确的视差补偿。这减少了由以像素为单位对色差信号huv以及经视差补偿的色差信号cpuv的合成处理引起的图像质量的劣化。

图26示出了图像处理部的第四实施方式的配置。注意，与上述实施方式的部件相比，对应的部件由相同的附图标记表示。图像处理部30-4包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36b、视差补偿部37和信号合成部42。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h和信号合成部42以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36b，并且将色差信号huv输出到视差检测部36b和信号合成部42。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a，并且将色差信号cuv输出到视差检测部36b和视差补偿部37。

视差检测部36b使用来自yuv转换部33-h的亮度信号hy和色差信号huv以及来自yuv转换部33-c的亮度信号cy和色差信号cuv，以使用由成像部21-h获取的捕获图像作为基准捕获图像来检测由成像部21-c获取的捕获图像的视差。视差检测部36b向视差补偿部37输出指示视差检测结果的视差信息dtb。

视差补偿部37基于从视差检测部36b提供的视差信息dtb对由yuv转换部33-c生成的色差信号cuv执行视差补偿，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号合成部42。

信号合成部42将色差信号huv与经视差补偿的色差信号cpuv进行合成，以免使图像质量性能劣化。

图像处理部30-4将从插值部31-h输出的亮度信号sdw以及由信号合成部42生成并且通过合成得到的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第四实施方式中，可以执行图23中描绘的操作，并且在步骤st22中的视差检测中，亮度信号hy和cy以及色差信号huv和cuv可以用于上述的视差检测。

如上所述，如第二实施方式的情况，根据图像处理部的第四实施方式，可以显示或记录比由成像部21-h或成像部21-c获取的捕获图像具有更高的图像质量性能的捕获图像。另外，与第二实施方式相比，本实施方式可以减少通过以像素为单位对第一视点的色差信号与具有高分辨率的经视差补偿的色差信号进行的合成处理引起的图像质量的劣化。

<7.第五实施方式>

将描述图像处理部的第五实施方式。在第五实施方式中，如第三实施方式的情况，改进了视差检测精度，以允许对经视差补偿的色差信号cpuv进行准确的视差补偿。这减少了由以像素为单位在色差信号huv与经视差补偿的色差信号cpuv之间进行选择而引起的图像质量的劣化，并且改进了回退确定的确定精度。另外，在第五实施方式中，亮度信号sdw用于视差检测。

图27示出了图像处理部的第五实施方式。图像处理部30-5包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36b、视差补偿部37、回退确定部38和信号选择部41。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、视差检测部36b和回退确定部38以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成色差信号huv。yuv转换部33-h将生成的色差信号huv输出到视差检测部36b和信号选择部412中的每一个。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36b和回退确定部38，并且将色差信号cuv输出到视差检测部36b和视差补偿部37。

视差检测部36b使用亮度信号sdw和cy以及色差信号huv和cuv来执行视差检测，以生成指示检测到的视差的视差信息dtb，并且将视差信息dtb输出到视差补偿部37和后退确定部38。

视差补偿部37基于从视差检测部36b提供的视差信息dtb对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36b生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy以及从视差检测部36b提供的视差信息dtb来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像质量性能劣化的风险的情况下，选择比由yuv转换部33-h生成的色差信号huv具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的情况下，选择色差信号huv。然后，回退确定部38将信号选择控制信号et输出到信号选择部41。

基于来自回退确定部38的信号选择控制信号et，信号选择部41输出由yuv转换部33-h生成的色差信号huv或者由yuv转换部33-c生成并且已执行了视差补偿的经视差补偿的色差信号cpuv中的一个作为色差信号sduv。

图像处理部30-3将从插值部31-h输出的亮度信号sdw以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第五实施方式中，可以执行图16中描绘的操作，并且在步骤st2中的视差检测中，可以使用亮度信号sdw和cy以及色差信号huv和cuv用于上述视差检测。

以这种方式，根据图像处理部的第五实施方式，可以获得与第三实施方式类似的有益效果。注意，第五实施方式不仅使用色差信号而且使用亮度信号用于视差检测，因此可以实现比使用色差信号进行视差检测的第三实施方式更准确的视差检测。

<8.第六实施方式>

将描述图像处理部的第六实施方式。在第六实施方式中，如第四实施方式的情况，改进了视差检测精度，以允许对经视差补偿的色差信号cpuv进行准确的视差补偿。这减少了由通过对色差信号huv和经视差补偿的色差信号cpuv进行的合成处理引起的图像质量的劣化。另外，在第六实施方式中，亮度信号sdw用于视差检测。

图28示出了图像处理部的第六实施方式的配置。注意，与上述实施方式的部件相比，对应的部件由相同的附图标记表示。图像处理部30-4包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36b、视差补偿部37和信号合成部42。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、视差检测部36b和信号合成部42以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成色差信号huv。yuv转换部33-h将生成的色差信号huv输出到视差检测部36b和信号合成部42中的每一个。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号进行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a，并且将色差信号cuv输出到视差检测部36b和视差补偿部37。

视差检测部36b使用来自插值部31-h的亮度信号sdw、来自yuv转换部33-h的色差信号huv以及来自yuv转换部33-c的亮度信号cy和色差信号cuv-c，以使用由成像部21-c获取的捕获图像作为基准捕获图像来检测由成像部21-c获取的捕获图像的视差。视差检测部36b向视差补偿部37输出指示视差检测结果的视差信息dtb。

视差补偿部37基于从视差检测部36b提供的视差信息dtb对由yuv转换部33-c生成的色差信号cuv执行视差补偿，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号合成部42。

信号合成部42将色差信号huv与经视差补偿的色差信号cpuv进行合成，以使得不降低图像质量性能。

图像处理部30-6将从插值部31-h输出的亮度信号sdw以及由信号合成部42生成并且通过合成得到的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第六实施方式中，可以执行图23中描绘的操作，并且在步骤st22中的视差检测中，亮度信号sdw和cy以及色差信号huv和cuv可以用于上述的视差检测。

以这种方式，根据图像处理部的第六实施方式，可以获得与第四实施方式类似的有益效果。注意，第六实施方式不仅使用色差信号而且使用亮度信号进行视差检测，因此可以实现比使用色差信号进行视差检测的第四实施方式更准确的视差检测。

<9.第七实施方式>

现在，将描述图像处理部的第七实施方式。在上述第一至第七实施方式中，使用由成像部21-h获取的捕获图像的信号生成色差信号huv，并且色差信号huv包括比由成像部21-c获取的捕获图像更少的彩色像素。也就是说，对于由成像部21-h获取的捕获图像，低采样率用于彩色像素，因此，例如，在色差信号huv中可能出现伪色(混叠噪声)。因此，在第七实施方式中，在色差信号huv用于视差检测的情况下，防止视差检测精度被伪色等降低。

图29示出了图像处理部的第七实施方式的配置。图像处理部30-7包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、频率检测部34、核心处理部35、视差检测部36c、视差补偿部37、回退确定部38和信号选择部41。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、视差检测部36b和回退确定部38以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成色差信号huv。yuv转换部33-h将生成的色差信号huv输出到视差检测部36b和信号选择部412中的每个。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36b和回退确定部38，并且将色差信号cuv输出到视差检测部36b和视差补偿部37。

频率检测部34与图19所示的第二实施方式的信号合成部42的频率检测部421类似地进行操作。即，频率检测部34使用由插值部31-h生成的亮度信号sdw来计算活动act，活动act是针对每个像素指示包括检测目标像素的图像具有怎样的频率特性的检测结果。然后，频率检测部34将活动act输出到核心处理部35。

核心处理部35与图19所示的第二实施方式的信号合成部42的核心处理部422类似地进行操作。即，核心处理部35针对每个像素设置与活动act对应的合成比率αa。核心处理部35存储指示合成比率αa相对于活动act的核心曲线，并且根据核心曲线，确定相对于由频率检测部34检测的活动act的合成比率αa。核心处理部35设置与活动act对应的合成比率αa，并且将所设置的合成比率αa输出到视差检测部36c。

视差检测部36c使用亮度信号sdw和cy以及色差信号huv和cuv以及由核心处理部35设置的合成比率αa来执行视差检测，以生成指示检测到的视差的视差信息dtc，并且将视差信息dtc输出到视差补偿部37和回退确定部38。视差检测部36c与例如图25中所示的视差检测部36b类似地配置。成本综合部364使用合成比率αa将由成本计算部361、362和363计算的成本值进行综合，如公式(24)所示。使用这样基于综合的成本值执行的视差检测，在亮度信号处于高频区域时不使用基于色差信号的成本的情况下，例如，即使在色差信号中包含伪色的情况下，仍可以在不受伪色影响的情况下实现视差检测。

cost＝costy+αa×(costu+coctv)...(24)

视差补偿部37基于从视差检测部36c提供的视差信息dtc对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36c生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy以及从视差检测部36c提供的视差信息dtc来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像质量性能劣化的风险的情况下，选择比由yuv转换部33-h生成的色差信号huv具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的风险的情况下，选择色差信号huv。然后，回退确定部38将信号选择控制信号et输出到信号选择部41。

基于来自回退确定部38的信号选择控制信号et，信号选择部41输出由yuv转换部33-h生成的色差信号huv或者由yuv转换部33-c生成并且已执行了视差补偿的经视差补偿的色差信号cpuv中的一个作为色差信号sduv。

图像处理部30-3将从插值部31-h输出的亮度信号sdw以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第七实施方式中，可以执行图16中描绘的操作，并且在步骤st2中的视差检测中，可以使用亮度信号sdw和cy、色差信号huv和cuv以及上述合成比率αa用于上述视差检测。

以这种方式，根据图像处理部的第七实施方式，可以获得与第五实施方式类似的有益效果。此外，在第七实施方式中，使用基于检测结果设置的针对每个像素指示包括检测目标像素的图像具有怎样的频率特性的合成比率来执行视差检测。因此，可以在不受伪色等影响的情况下执行视差检测。

<10.第八实施方式>

现在，将描述图像处理部的第八实施方式。在上述第一至第七实施方式中，使用由成像部21-h获取的捕获图像的信号生成色差信号huv，并且色差信号huv包括比由成像部21-c获取的捕获图像更少的彩色像素。也就是说，对于由成像部21-h获取的捕获图像，低采样率用于彩色像素，因此，例如，在色差信号huv中可能出现伪色(混叠噪声)。因此，在第八实施方式中，即使在选择色差信号huv或者使用色差信号huv的合成处理情况下，仍防止了由彩色像素的低采样率引起的图像质量性能的劣化。

图30示出了图像处理部的第八实施方式的配置。图像处理部30-8包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36a、视差补偿部37、回退确定部38、彩色图像质量改进部39和信号选择部41。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、回退确定部38和彩色图像质量改进部39以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36a，并且将生成的色差信号huv输出到彩色图像质量改进部39。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号进行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a和回退确定部38，并且将色差信号cuv输出到视差补偿部37。

视差检测部36a使用亮度信号hy和cy来执行视差检测，以生成指示检测到的视差的视差信息dta，并且将视差信息dta输出到视差补偿部37和回退确定部38。

视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36a生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy以及从视差检测部36a提供的视差信息dta来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像劣化风险的情况下，选择比色差信号huv具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的风险的情况下，选择已由彩色图像质量改进部39执行了图像质量改进处理的经图像质量改进的色差信号hquv。然后，回退确定部38将信号选择控制信号et输出到信号选择部41。

彩色图像质量改进部39基于由插值部31-h生成的亮度信号sdw对由yuv转换部33-h生成的色差信号huv执行图像质量改进处理。因此，彩色图像质量改进部39生成经图像质量改进的色差信号hquv，并且将经图像质量改进的色差信号hquv输出到信号选择部41。

图31示出了彩色图像质量改进部的配置。彩色图像质量改进部39包括频率检测部391、核心处理部392、低通滤波器393和合成处理部394。

频率检测部391与图19所示的第二实施方式的信号合成部42的频率检测部421类似地进行操作。即，频率检测部391使用由插值部31-h生成的亮度信号sdw来计算针对每个像素指示包括检测目标像素的图像具有怎样的频率特性的检测结果的活动act。频率检测部391将活动act输出到核心处理部392。

核心处理部392与图19所示的第二实施方式的信号合成部42的核心处理部422类似地进行操作。即，核心处理部392针对每个像素设置与活动act对应的合成比率αa。核心处理部392存储指示合成比率αa相对于活动act的核心曲线，并且根据核心曲线确定相对于由频率检测部391检测到的活动act的合成比率αa。核心处理部392设置与活动act对应的合成比率αa，并且将所设置的合成比率αa输出到合成处理部394。

低通滤波器393对色差信号huv执行低通滤波处理，以去除高频分量，例如伪色等分量，并且向合成处理部394输出通过过滤处理得到的色差信号huvlpf。

合成处理部394以由核心处理部392设置的合成比率αa将色差信号huv与通过滤波处理得到的色差信号huvlpf进行合成。公式(25)和(26)表示由合成处理部394执行的处理。合成处理部394向信号选择部41输出通过合成得到的经图像质量改进的色差信号hquv。

hqu＝(1-αa)hulpf+αahu...(25)

hqv＝(1-αa)hvlpf+αahv...(26)

基于来自回退确定部38的信号选择控制信号et，信号选择部41输出从彩色图像质量改进部39提供的经图像质量改进的色差信号hquv或者由yuv转换部33-c生成并且已执行了视差补偿的经视差补偿的色差信号cpuv中的一个作为色差信号sduv。

图像处理部30-8将从插值部31-h输出的亮度信号sdw以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第八实施方式中，可以执行图16中所示的操作，并且在步骤st1的预处理中，可以使用亮度信号sdw来改进上述色差信号huv的图像质量。

以这种方式，根据图像处理部的第八实施方式，可以获得与第一实施方式类似的有益效果。另外，在第八实施方式中，基于针对每个像素指示包括检测目标像素的图像具有怎样的频率特性的检测结果来改进第一视点的色差信号huv的图像质量。因此，即使在对第一视点的色差信号进行选择或合成处理的情况下，仍防止了由成像部21-h中的彩色像素的低采样率引起的图像质量性能的劣化。

<11.第九实施方式>

在第一至第八实施方式的描述中，对色差信号执行融合处理，以免使图像质量性能劣化。然而，在第九实施方式中，将描述用于改进亮度信号的图像质量性能的处理。

图32示出了图像处理部的第九实施方式的配置。图像处理部30-9包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36a、视差补偿部37、回退确定部38、信号选择部41和亮度图像质量改进部43。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、回退确定部38和彩色图像质量改进部39以及显示部53和记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36a，并且将生成的色差信号huv输出到彩色图像质量改进部39。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号进行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a和视差补偿部37，并且将色差信号cuv输出到视差补偿部37。

视差检测部36a使用亮度信号hy和cy来执行视差检测，以生成指示检测到的视差的视差信息dta，并且将视差信息dta输出到视差补偿部37和回退确定部38。

视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36a生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

另外，视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的亮度信号cy执行视差补偿。视差补偿部37基于由视差检测部36a生成的关于亮度信号cy的视差信息来移动像素位置，以生成与通过成像部21-h获取的捕获图像的视点对应的经视差补偿的亮度信号cpy。视差补偿部37将生成的经视差补偿的亮度信号cpy输出到亮度图像质量改进部43。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy以及从视差检测部36a提供的视差信息dta来确定图像质量性能劣化的风险。此外，回退确定部38生成信号选择控制信号et，信号选择控制信号et用于在不存在图像劣化风险的情况下选择比色差信号huv具有更高的色彩分辨率的经视差补偿的色差信号cpuv，而在存在图像质量性能劣化的风险的情况下选择已由彩色图像质量改进部39执行了图像质量改进处理的经图像质量改进的色差信号hquv。然后，回退确定部38将信号选择控制信号et输出到信号选择部41。

基于来自回退确定部38的信号选择控制信号et，信号选择部41输出从彩色图像质量改进部39提供的经图像质量改进的色差信号hquv或者由yuv转换部33-c生成并且已执行了视差补偿的经视差补偿的色差信号cpuv中的一个作为色差信号sduv。

亮度图像质量改进部43根据成像部21-h的噪声强度将由插值部31-h生成的亮度信号sdw与从视差补偿部37提供的经视差补偿的亮度信号cpy进行合成，以减少来自成像部21-h的噪声的不利影响，以改进亮度图像质量。亮度图像质量改进部43基于经视差补偿的亮度信号cpy和噪声强度σ来计算每个像素的合成比率αy，如公式(27)所示。另外，亮度图像质量改进部43以合成比率αy将亮度信号sdw与经视差补偿的亮度信号cpy进行合成，以生成亮度信号sdy，如公式(28)所示。

[数学式5]

dy＝αy×cy+(1-αy)×dw...(28)

图像处理部30-9将从亮度图像质量改进部43输出的亮度信号sdy以及从信号选择部41输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第九实施方式中，可以执行图16中描绘的操作，并且在步骤st3之后的定时处，可以将亮度信号sdw与经视差补偿的亮度信号cpy进行合成以生成亮度信号sdy，使亮度图像质量得以改进。

如上所述，根据图像处理部的第九实施方式，可以获得与第一实施方式类似的有益效果。另外，第九实施方式执行亮度信号的合成处理，从而与第一实施方式相比，可以改进亮度信号的图像质量性能。

<12.第十实施方式>

在上述第二实施方式的描述中，基于亮度信号sdw来选择色差信号huv或者具有较高色彩分辨率的经视差补偿的色差信号cpuv中的一个，以免使图像质量性能劣化。然而，在第十实施方式的描述中，使用以捕获图像为单位的回退确定结果来执行色差信号huv与经视差补偿的色差信号cpuv的合成处理，以免使图像质量性能劣化。

图33示出了图像处理部的第十实施方式的配置。图像处理部30-10包括插值部31-h、去马赛克处理部32-h、yuv转换部33-h、去马赛克处理部32-c、yuv转换部33-c、视差检测部36a、视差补偿部37、回退确定部38和信号合成部42a。

从成像部21-h输出的成像信号ps-h被输入到插值部31-h和去马赛克处理部32-h。另外，从成像部21-c输出的成像信号ps-c被输入到去马赛克处理部32-c。

插值部31-h使用成像信号ps-h执行插值处理，以计算红色像素或蓝色像素的位置处的每个白色像素的像素值，从而生成亮度信号sdw。插值部31-h将亮度信号sdw输出到去马赛克处理部32-h、回退确定部38和信号合成部42a以及显示部53或记录部56。

去马赛克处理部32-h使用从成像部21-h输出的成像信号ps-h以及由插值部31-h生成的亮度信号sdw来生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-h。去马赛克处理部32-c使用从成像部21-c输出的成像信号ps-c来执行类似于现有技术的去马赛克处理的去马赛克处理，以生成每个彩色分量的图像信号，并且将得到的图像信号输出到yuv转换部33-c。

yuv转换部33-h对由去马赛克处理部32-h生成的三原色的图像信号执行颜色空间转换，以生成亮度信号hy和色差信号huv。yuv转换部33-h将生成的亮度信号hy输出到视差检测部36a，并且将生成的色差信号huv输出到信号合成部42a。yuv转换部33-c对由去马赛克处理部32-c生成的三原色的图像信号执行颜色空间转换，以生成亮度信号cy和色差信号cuv。yuv转换部33-c将生成的亮度信号cy输出到视差检测部36a和回退确定部38，并且将色差信号cuv输出到视差补偿部37。

视差检测部36a使用亮度信号hy和cy来执行视差检测以生成指示检测到的视差的视差信息dta，并且将视差信息dta输出到视差补偿部37和回退确定部38。

视差补偿部37基于从视差检测部36a提供的视差信息dta对由yuv转换部33-c生成的色差信号cuv执行视差补偿。视差补偿部37基于由视差检测部36a生成的相对于色差信号cuv的视差信息来移动像素位置，以生成与由成像部21-h获取的捕获图像的视点对应的经视差补偿的色差信号cpuv。视差补偿部37将生成的经视差补偿的色差信号cpuv输出到信号选择部41。

回退确定部38基于从插值部31-h提供的亮度信号sdw以及从yuv转换部33-c提供的亮度信号cy以及从视差检测部36a提供的视差信息dta，以捕获图像为单位，确定图像质量性能劣化的风险。此外，回退确定部38对以捕获图像为单位所确定的图像质量性能劣化的风险进行评分，以获得确定信息es。图10中描绘的回退确定部38的综合确定处理部3828使用从个体确定部3821至3825提供的个体确定结果来进行回退确定。例如，综合确定处理部3828可以确定指示图像质量可能劣化的确定结果的数目作为确定信息es，或者可以单独地对指示图像质量可能劣化的确定结果进行评分，并且将所述确定结果的得分之和确定为确定信息es。

基于来自回退确定部38的确定信息es，信号合成部42a将从yuv转换部33-h提供的色差信号huv与由yuv转换部33-c生成的并且已执行了视差补偿的经视差补偿的色差信号cpuv进行合成，以生成色差信号sduv。

图34示出了信号合成部的配置。注意，与图19所示的第二实施方式中的信号合成部42的部件相比，对应的部件由相同的附图标记表示。

信号合成部42a包括频率检测部421、核心处理部422a、低通滤波器423和424、差异计算部425、绝对值计算部426、核心处理部427a、合成比率设置部428和合成处理部429。

频率检测部421使用由插值部31-h生成的亮度信号sdw，以针对每个像素检测包括检测目标像素的图像具有怎样的频率特性，并且计算每个像素的活动act并且将活动act输出到核心处理部422a。

核心处理部422a基于核心曲线来设置与每个像素的活动act对应的合成比率αa。核心曲线指示与活动act对应的合成比率αa。另外，核心处理部422a使用与确定信息es对应的核心曲线。核心曲线可以被预先存储在核心处理部422a中，或者核心处理部422a可以根据确定信息es生成核心曲线。注意，下面将描述与确定信息es对应的核心曲线。

低通滤波器423对色差信号huv执行低通滤波处理，并且低通滤波器424对经视差补偿的色差信号cpuv执行低通滤波处理，以使各个色差信号的频带相等。另外，低通滤波器423和424执行低通滤波处理以从色差信号中去除诸如伪色的噪声分量。低通滤波器423和424将经滤波的色差信号输出到差异计算部425。

差异计算部425针对每个像素计算通过低通滤波处理得到并且从低通滤波器423提供的色差信号huv与从滤波器处理得到的并且从低通滤波器423提供的经视差补偿的色差信号cpuv之间的差异，并且将该差异输出到绝对值计算部426。

绝对值计算部426计算由差异计算部425针对每个像素计算的差异绝对值abs，并且将差异绝对值abs输出到核心处理部427a。

核心处理部427a基于核心曲线设置与差异绝对值abs对应的合成比率αb。核心曲线指示相对于差异绝对值abs的合成比率αb。另外，核心处理部427a使用与确定信息es对应的核心曲线。

图35示出了核心曲线与确定信息之间的关系。注意，图35中的(a)和(c)示出了核心处理部422a使用的核心曲线，并且图35中的(b)和(d)示出了核心处理部427a使用的核心曲线。

核心处理部422a基于确定信息es使得阈值tha0和tha1随着图像质量性能劣化的风险的增大而降低，从而相对于活动act降低合成比率αa。

另外，核心处理部427a基于确定信息es使得阈值thb0和thb1与图像质量性能劣化的风险一致地增大，从而相对于差异绝对值abs增大合成比率αb。

合成比率设置部428使用从核心处理部422a提供的合成比率αa以及从核心处理部427a提供的合成比率αb来执行公式(22)中的处理。合成比率设置部428将合成比率αa和αb的值中的较大者设置为用于色差信号huv与经视差补偿的色差信号cpuv的合成比率，并且将该合成比率输出到合成处理部429。

合成处理部429使用由合成比率设置部428设置的合成比率α，以针对每个像素执行公式(23)中的计算，以生成将色差信号huv与经视差补偿的色差信号cpuv进行合成得到的色差信号sduv。

图像处理部30-10将从插值部31-h输出的亮度信号sdw以及从信号合成部42a输出的色差信号sduv输出到显示部53和记录部56，作为用于融合图像的图像信号。

注意，在图像处理部的第十实施方式中，可以执行图16中所示的操作，并且在步骤st5之后的时间处，可以执行图23中的步骤st24中的处理，并且可以使用与在步骤st5中生成的确定信息es对应的核心曲线来将色差信号huv与经视差补偿的色差信号cpuv进行合成，以生成色差信号sduv。

如上所述，根据图像处理部的第十实施方式，可以获得与第二实施方式类似的有益效果。另外，在第十实施方式中，还以捕获图像为单位使用回退确定结果来设置合成比率，因此，与第二实施方式相比，可以更有效地防止图像质量的劣化，该劣化由以像素为单位对第一视点的色差信号与具有高分辨率的经视差补偿的色差信号进行合成处理而引起。

<13.应用示例>

根据本公开内容的技术适用于各种产品。例如，根据本公开内容的技术不限于信息处理终端，而是可以实现为安装在任何类型的移动体中的装置，所述移动体例如汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动车辆、飞机、无人机、船舶、机器人、建筑机械或农业机械(拖拉机)。

图36是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图36所示出的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，如，控制器区域网(can)、局域互联网(lin)、局域网(lan)、flexray等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标设备。各个控制单元进一步包括：网络接口(i/f)，用于经由通信网络7010执行与其他控制单元的通信；以及通信i/f，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图36所示的集成控制单元7600的功能配置包括：微型计算机7610、通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内设备i/f7660、声音/图像输出部7670、车载网络i/f7680以及存储部7690。其他控制单元也类似地包括微型计算机、通信i/f、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，如内燃机、驱动马达等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(abs)、电子稳定控制(esc)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动马达、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的操作进行控制。例如，车身系统控制单元7200用作针对以下的控制设备：无钥匙进入系统，智能钥匙系统，电动车窗设备，或如前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号可以输入至车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对作为驱动马达的电源的二次电池7310进行控制。例如，电池控制单元7300被提供来自包括二次电池7310的电池设备的关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对被提供至电池设备的冷却设备等进行控制。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个相连接。成像部7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器、雷达设备以及lidar设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420中的每个可设置为独立传感器或设备，或者可设置为由多个传感器或设备所集成的设备。

图37示出成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠和后门以及车辆内部的挡风玻璃的上部的位置处。设置在前鼻的成像部7910以及设置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。设置在侧视镜的成像部7912和7914主要获得车辆7900的侧部的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图37示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示设置在前鼻的成像部7910的成像范围。成像范围b和c分别表示设置在侧视镜的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

设置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。设置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以例如是lidar设备。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图36，继续进行描述。车外信息检测单元7400使成像部7410对车辆外部的图像进行成像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达设备或lidar设备的情况下，车外信息检测单元7400发送超声波、电磁波等，并且接收所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测至其距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理，以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别路面上的人、车辆、障碍物、标志、符号的图像识别处理，或者执行检测至其距离的处理。车外信息检测单元7400可对所接收的图像数据进行如失真校正、对齐等处理，并且通过组合由多个不同成像部7410成像的图像数据，以产生鸟瞰图像或全景图像。车外信息检测单元7400可以使用包括不同成像部分的成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500例如连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800由能够由乘客进行输入操作的设备实现，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可以被提供有对经由麦克风输入的语音进行语音识别而获得的数据。输入部7800可以例如是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的如移动电话、个人数字助理(pda)等的外部连接设备。输入部7800例如可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等通过操作输入部7800向车辆控制系统7000输入各种数据或者给出处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(rom)以及存储各种参数、操作结果、传感器值等的随机存取存储器(ram)。此外，存储部7690可以被实现为诸如硬盘驱动器(hdd)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信i/f7620是广泛使用的通信i/f，该通信i/f调解与存在于外部环境7750中的各种装置的通信。通用通信i/f7620可实现蜂窝通信协议，如全球移动通信系统(gsm)、全球互通微波接入(wimax)、长期演进(lte)、lte高级(lte-a)等，或者其他无线通信协议，诸如无线lan(也被称为无线保真(wi-fi)、蓝牙等。通用通信i/f7620可以经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信i/f7620可以例如使用对等(p2p)技术与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(mtc)终端)相连接。

专用通信i/f7630是支持针对车辆使用而开发的通信协议的通信i/f。专用通信i/f7630可实现标准协议，例如，车辆环境中的无线接入(wave)(其作为下层的电气和电子工程师协会(ieee)802.11p与作为上层的ieee1609的组合)、专用短程通信(dsrc)或蜂窝通信协议。专用通信i/f7630通常进行包括下列项中一个或多个的概念的v2x通信：车辆与车辆之间(车辆对车辆)的通信、道路与车辆之间(车辆对基础设施)的通信、车辆与家庭之间(车辆对家庭)的通信以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以例如通过接收来自gnss卫星的全球导航卫星系统(gnss)信号(例如，来自全球定位系统(gps)卫星的gps信号)而执行定位，并且生成包括车辆的纬度、经度以及海拔高度的位置信息。顺便提及，定位部7640可通过与无线接入点进行信号交换来识别当前位置，或者可以从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(phs)或具有定位功能的智能电话。

例如，信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信i/f7630中。

车内设备i/f7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备i/f7660可以使用诸如无线lan、蓝牙、近场通信(nfc)或无线通用串行总线(wusb)的无线通信协议建立无线连接。此外，车内设备i/f7660可以经由在图中未示出的连接端子(以及电缆，如果必要的话)通过通用串行总线(usb)、高清多媒体接口(hdmi)、移动高清链接(mhl)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备，以及载入车辆或附接至车辆的信息设备。车内设备7760还可以包括搜索任意目的地路径的导航设备。车内设备i/f7660与这些车内设备7760交换控制信号或数据信号。

车载网络i/f7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络i/f7680依照由通信网络7010支持的预定协议来传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内设备i/f7660以及车载网络i/f7680中的至少一个所获得的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(adas)的功能的协同控制，该功能包括用于车辆的碰撞避免或冲击缓冲、基于跟随距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可以基于所获得的关于车辆周围环境的信息来控制驱动力生成设备、转向机构、制动设备等，以执行旨在自动行驶的协同控制，其用于不依赖于驾驶员的操作而使车辆自动行驶。

微型计算机7610可以基于经由通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车内设备i/f7660以及车载网络i/f7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可以基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式来通知信息。在图36的示例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(ar)显示功能。输出设备可以是这些设备以外的其他设备，并且可以是诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等的其他设备。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图36所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过以上描述中的控制单元中的一个执行的功能的部分或全部可以被分配至另一控制单元。即，可以通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收即可。类似地，连接至控制单元中的一个的传感器或设备可以被连接至另一控制单元，并且多个控制单元可以经由通信网络7010相互传输和接收检测信息。

在上述车辆控制系统7000中，多个成像部(例如成像部21-h和21-c)根据需要被用作成像部7410、7910、7912、7914、7916和7918中的每一个。另外，在图36所示的应用示例中，图像处理部30被设置在集成控制单元7600中。利用这种配置，即使在成像部7410、7910、7912、7914、7916和7918均具有减小的尺寸和减小的厚度的情况下，也可以获取具有高图像质量性能的捕获图像，并且因此用于驾驶辅助、驾驶控制等。注意，图像处理部30可以在用于图36中所示的集成控制单元7600的模块(例如，由一个芯片构成的集成电路模块)中实现。

另外，本文中描述的一系列处理可以通过硬件或软件或者硬件和软件的复合配置来执行。在通过软件执行处理的情况下，将记录处理顺序的程序安装在集成于专用硬件中的计算机的存储器中，以使计算机执行该程序。替选地，程序可以被安装在能够执行各种处理的通用计算机中，以使计算机执行程序。

例如，程序可以被预先记录在用作记录介质的硬盘、ssd(固态驱动器)或rom(只读存储器)中。替选地，程序可以被临时或永久地存储(记录)在可动除记录介质中，例如软盘、cd-rom(光盘只读存储器)、mo(磁光盘)盘、dvd(数字通用盘)、bd(blu-raydisc(蓝光盘，注册商标))、磁盘或半导体存储卡。这种可移动记录介质可以作为所谓的软件包提供。

另外，代替通过可移动记录介质安装在计算机中，程序可以经由诸如lan(局域网)或因特网之类的网络，通过无线电或有线从下载站点传输到计算机。计算机可以在诸如内置硬盘的记录介质中接收所传输的程序并且安装该程序。

注意，本文中描述的效果仅是说明性的而非限制性的，并且可以产生附加的效果。另外，本技术的解释不应限于上述技术的实施方式。本技术的实施方式以说明的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的精神的情况下对实施方式进行修改或替换。也就是说，应该考虑权利要求书来确定本技术的精神。

另外，本技术的图像处理装置可以被配置如下。

(1)一种图像处理装置，包括：

视差检测部，其基于用于第一视点的第一成像信号以及用于不同于所述第一视点的第二视点的第二成像信号来检测所述第二视点相对于所述第一视点的视差；以及

图像生成部，其使用所述第一成像信号以及基于由所述视差检测部检测到的视差对所述第二成像信号进行视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像，其中，

所述第一成像信号包括白色像素和彩色分量像素，并且所述第二成像信号包括与所述第一成像信号相比更少的白色像素和更多的彩色分量像素。

(2)根据(1)所述的图像处理装置，其中，

所述图像生成部在满足预定条件的情况下使用所述第一成像信号和所述经视差补偿的第二成像信号生成所述彩色图像，而在不满足所述预定条件的情况下根据所述第一成像信号生成所述彩色图像。

(3)根据(2)所述的图像处理装置，其中，

满足所述预定条件的情况是以下情况：使用所述第一成像信号和所述经视差补偿第二成像信号生成的彩色图像与根据所述第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险低于阈值。

(4)根据(3)所述的图像处理装置，其中，

所述图像生成部基于所述第一成像信号和所述经视差补偿的第二成像信号来确定所述图像质量性能劣化的风险，并且以与所确定的风险对应的合成比率将所述第一成像信号与所述经视差补偿的第二成像信号进行合成。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，

所述图像生成部根据所述第一成像信号生成第一亮度信号和第一彩色信号，根据所述第二成像信号生成第二亮度信号和第二彩色信号，基于所述第二彩色信号以及由所述视差检测部检测到的视差来生成经视差补偿的第二彩色信号，并且根据使用所述经视差补偿的第二成像信号生成的彩色图像与根据所述第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险，选择所述第一彩色信号和所述经视差补偿的第二彩色信号中的一个，或者将所述第一彩色信号与所述经视差补偿的第二彩色信号进行合成，并且

所述视差检测部使用所述第一亮度信号和所述第二亮度信号执行视差检测。

(6)根据(5)所述的图像处理装置，其中，

根据所述风险，所述图像生成部以捕获图像为单位选择所述第一彩色信号和所述经视差补偿的第二彩色信号中的一个，或者以像素为单位将所述第一彩色信号与所述经视差补偿的第二彩色信号进行合成。

(7)根据(5)或(6)所述的图像处理装置，其中，

所述视差检测部使用所述第一亮度信号和所述第二亮度信号以及所述第一彩色信号和所述第二彩色信号执行视差检测。

(8)根据(7)所述的图像处理装置，包括视差检测控制部，所述视差检测控制部基于所述第一成像信号来执行频率检测，并且根据检测结果控制所述视差检测部，其中，

所述视差检测部使用基于所述第一亮度信号和所述第二亮度信号计算出的成本值以及基于所述第一彩色信号和所述第二彩色信号计算出的成本值来执行视差检测，并且

所述视差检测控制部基于以与所述频率检测的结果对应的合成比率对这两个成本值进行综合而得到的综合成本值来使得执行所述视差检测。

(9)根据(5)至(8)中任一项所述的图像处理装置，其中，

所述图像生成部基于所述第一亮度信号来执行频率检测，并且根据所述频率检测的结果对所述第一彩色信号执行图像质量改进处理。

(10)根据(5)至(9)中任一项所述的图像处理装置，其中，

所述图像生成部对所述第二亮度信号执行视差补偿，以生成经视差补偿的第二亮度信号，并且将所述第一亮度信号与所述经视差补偿的第二亮度信号进行合成以改进所述第一亮度信号的图像质量。

(11)根据(10)所述的图像处理装置，其中，

所述图像生成部根据生成所述第一成像信号的成像部的噪声强度来设置所述第一亮度信号与所述经视差补偿的第二亮度信号之间的合成比率。

(12)根据(5)至(11)中任一项所述的图像处理装置，其中，

所述图像生成部通过以下处理来生成所述第一彩色信号：对所述第一成像信号中的白色像素信号进行插值处理，使用用于所述彩色分量像素的像素信号以及由所述插值处理得到的白色像素信号进行去马赛克处理，以及对由所述去马赛克处理得到的信号进行颜色空间转换。

(13)根据(12)所述的图像处理装置，其中，

所述图像生成部使用基于由所述插值处理得到的白色像素信号与用于彩色分量像素的像素信号的颜色比率以及用于处理目标像素的白色像素信号，生成用于所述处理目标像素的每个彩色分量的像素信号。

(14)根据(5)至(13)中任一项所述的图像处理装置，其中，

所述图像生成部对所述第一成像信号中的白色像素信号执行所述插值处理，以生成所述第一亮度信号，并且

所述视差检测部使用由所述图像生成部通过对所述白色像素信号进行所述插值处理而生成的第一成像信号来执行视差检测。

(15)根据(1)至(14)中任一项所述的图像处理装置，其中，

所述第一成像信号是如下信号：在2×2像素块内，包括在数目上等于或大于所述彩色分量像素的白色像素。

另外，本技术的成像装置可以具有以下配置。

(1)一种成像装置，包括：

第一成像部，其生成与第一视点对应并且包括白色像素和彩色分量像素的第一成像信号，

第二成像部，其生成第二成像信号，所述第二成像信号与不同于所述第一视点的第二视点对应，并且包括与所述第一成像部相比更少的白色像素，以增大所述彩色分量像素在所述第二成像信号中的比率，

视差检测部，其基于所述第一成像信号和所述第二成像信号来检测所述第二视点相对于所述第一视点的视差，以及

图像生成部，其使用所述第一成像信号以及基于由所述视差检测部检测到的视差进行视差补偿而得到的经视差补偿的第二成像信号生成彩色图像。

(2)根据(1)所述的成像装置，其中，

在所述第一成像部中，在2×2像素块内，所设置的白色像素在数目上等于或大于所述彩色分量像素。

(3)根据(1)或(2)所述的成像装置，其中，

所述第一成像部中的彩色分量像素是三原色中的两种颜色的彩色分量像素。

(4)根据(1)至(3)中任一项所述的成像装置，其中，

所述第二成像部包括三原色分量像素或者所述三原色分量像素和白色像素。

[工业适用性]

在根据本技术的图像处理装置和图像处理方法以及成像装置中，基于用于第一视点的第一成像信号和用于与第一观点不同的第二观点的第二成像信号来检测第二视点相对于第一视点的视差。另外，图像生成部使用第一成像信号以及基于由视差检测部检测到的视差从对第二成像信号进行了视差补偿得到的经视差补偿的第二成像信号生成彩色图像。此外，第一成像信号包括白色像素和彩色分量像素，并且第二成像信号包括比第一成像信号更少的白色像素，以增大第二成像信号中的彩色分量像素的数目。以这种方式，参考比第二成像信号包括更多的白色像素的第一成像信号，以第一成像信号为基准将第二成像信号融合到第一成像信号。这允许获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。因此，本技术适用于在保持低轮廓的同时提供高图像质量性能所需的装置，例如，便携式装置，如智能电话和车载装置。

[附图标记列表]

10...信息处理终端

21、21-bw、21-cr、21-h、21-c...成像部

30、30-1至31-10...图像处理部

31-h...插值部

32、32-h、32-c...去马赛克处理部

33-c、33-h...yuv转换部

34...频率检测部

35、392、422、422a、427、427a...核心处理部

36a、36b、36c...视差检测部

37...视差补偿部

38...回退确定部

39...彩色图像质量改进部

41...信号选择部

42、42a...信号合成部

43...亮度图像质量改进部

51...传感器部

52...通信部

53...显示部

54...触摸屏

55...操作部

56...存储部

56...记录部

60...控制部

321b...蓝色插值系数计算部

321r...红色插值系数计算部

322b...蓝色分量图像生成部

322g...绿色分量图像生成部

322r...红色分量图像生成部

361、362、363...成本计算部

364...成本综合部

365...成本最小化矢量确定部

381...图像特征量计算部

382...信号选择确定部

391...频率检测部

393...低通滤波器

394...合成处理部

412...信号选择部

421...频率检测部

423、424...低通滤波器

425...差异计算部

426...绝对值计算部

428...合成比率设置部

429...合成处理部