图像处理装置、图像处理方法和摄像装置与流程

本发明涉及一种图像处理装置、图像处理方法和摄像装置。

背景技术：

目前，在数字照相机(包括内置在诸如智能电话和个人计算机的电子设备中的数字照相机)中，通常使用单面型彩色图像传感器。单面型彩色图像传感器配设有马赛克滤色器(以下简称为滤色器)，并且通过马赛克滤色器和颜色插值处理(去马赛克)的组合来生成全色图像。

在构成滤色器的颜色分量和颜色分量的布置中存在许多变化，但是广泛使用具有原色拜耳阵列的滤色器。原色拜耳阵列是包括交替布置的红色和绿色滤色器的行和包括交替布置的绿色和蓝色滤色器的行在列方向上交替出现的阵列。在配设有具有原色拜耳阵列的滤色器的图像传感器(以下称为拜耳型图像传感器)中，各个像素输出与红色(r)、绿色(g)或蓝色(b)的辉度相对应的信号。

全色图像是构成图像的各像素具有rgb分量的值的图像。因此，为了从能够用拜耳型图像传感器获得的信号生成全色图像，需要通过去马赛克来为各像素生成两个颜色分量值。已经提出了关于去马赛克的各种算法以便获得高质量图像，但是，基于在其他位置处的信号执行插值，因此存在将出现彩色莫尔纹和伪色的可能性。

同时，已经提出了使用多个图像传感器获得高质量全色图像的方法。日本特开2009-105984号公报公开了如下技术：使用具有与彩色图像传感器(640水平rgb像素)和单色图像传感器(1920水平单色像素)相同的结构的两个图像传感器，来获得具有高分辨率和高帧速率的运动图像。具体地，在用这两个图像传感器交替地拍摄之后，对由图像传感器获得的运动图像执行帧插值，使得运动图像被转换为具有在拍摄时的帧速率的两倍的帧速率的运动图像。组合对应于同一时刻的两个帧图像，以便生成具有高辉度分辨率和在拍摄时的帧速率的两倍的帧速率的彩色运动图像。

此外，在日本特开2001-169301号公报中，使用被布置为彼此偏移1/2像素的第一拜耳型图像传感器和第二拜耳型图像传感器生成两个全色图像，并且像素被布置成方格图案(checkeredpattern)，从而生成具有比通过单独使用图像传感器生成的图像数据高的分辨率的图像数据。

根据日本特开2009-105984号公报的技术，交替地获得辉度信息和颜色信息，因此，用于获得信息的定时不同，从而导致特别是在运动图像拍摄时合成图像的图像质量的劣化。

此外，在日本特开2001-169301号公报中，利用两个图像传感器获得的图像在颜色插值处理之后被组合，并且未考虑颜色插值处理的精度的提高。

技术实现要素：

鉴于传统技术中的这些问题而做出了本发明，并且，本发明提供一种使用多个图像提高颜色插值处理的精度的图像处理装置和图像处理方法。

根据本发明的一个方面，提供一种图像处理装置，所述图像处理装置包括：获得单元，其被构造为获得第一图像数据和第二图像数据，其中，第二图像数据的视场与第一图像数据的视场重叠，并且，第二图像数据的分辨率高于第一图像数据的分辨率；以及插值单元，其被构造为通过参考第二图像数据来对第一图像数据执行颜色插值处理，其中：第一图像数据中的各像素值与构成用于获得第一图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，第二图像数据中的各像素值与构成用于获得第二图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，并且所述插值单元通过参考构成第二图像数据的像素的值当中的在与第一图像数据中的要被插值的像素的位置相对应的第一位置处的像素的值、或者在最靠近第一位置的第二位置处的像素的值，来对要被插值的像素执行颜色插值处理。

根据本发明的另一个方面，提供一种摄像装置，所述摄像装置包括：第一图像传感器；第二图像传感器；以及图像处理装置，所述图像处理装置包括：获得单元，其被构造为获得第一图像数据和第二图像数据，其中，第二图像数据的视场与第一图像数据的视场重叠，并且，第二图像数据的分辨率高于第一图像数据的分辨率；以及插值单元，其被构造为通过参考第二图像数据来对第一图像数据执行颜色插值处理，其中：第一图像数据中的各像素值与构成用于获得第一图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，第二图像数据中的各像素值与构成用于获得第二图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，并且所述插值单元通过参考构成第二图像数据的像素的值当中的在与第一图像数据中的要被插值的像素的位置相对应的第一位置处的像素的值、或者在最靠近第一位置的第二位置处的像素的值，来对要被插值的像素执行颜色插值处理，其中，使用所述第一图像传感器获得第一图像数据，并且，使用所述第二图像传感器获得第二图像数据。

根据本发明的一个方面，提供了一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：获得第一图像数据和第二图像数据，其中，第二图像数据的视场与第一图像数据的视场重叠，并且，第二图像数据的分辨率高于第一图像数据的分辨率；以及通过参考第二图像数据来对第一图像数据执行颜色插值处理，其中，第一图像数据中的各像素值与构成用于获得第一图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，第二图像数据中的各像素值与构成用于获得第二图像数据的图像传感器的滤色器的多个颜色分量当中的一个颜色分量相对应，并且在执行所述颜色插值处理中，参考构成第二图像数据的像素的值当中的在与第一图像数据中的要被插值的像素的位置相对应的第一位置处的像素的值、或者在最靠近第一位置的位置处的像素的值。

根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明实施例的数字照相机的功能结构的示例的框图。

图2是根据实施例的图像传感器的结构示例的示意图。

图3a和图3b是第一实施例和第二实施例中的像素的电路图。

图4a和图4b是与根据实施例的列ad转换器的“ad高分辨率”方式和“ad高速”方式的操作相关的示图。

图5是示出第一实施例中的图像投影的示图。

图6a和图6b是与第一图像传感器和第二图像传感器的图像形成面之间的未对准有关的示图。

图7是示出第一实施例中的信号处理电路的功能结构的示例的框图。

图8a和图8b是示出实施例中的参考插值电路中的g像素的坐标关系的示图。

图9a和图9b是示出实施例中的参考插值电路中的第一插值模式中的r像素的坐标关系和b像素的坐标关系的示图。

图10a和图10b是示出实施例中的参考插值电路中的第二插值模式中的r像素的坐标关系和b像素的坐标关系的示图。

图11a和图11b是示出实施例中的参考插值电路中的第三插值模式中的r像素的坐标关系和b像素的坐标关系的示图。

图12是实施例中的参考插值处理的流程图。

图13是实施例中的插值参数计算处理的流程图。

图14是示出第二实施例的图像传感器的结构示例的示图。

图15是示出与第二实施例中的图像投影相关的示图。

图16是示出根据第三实施例的信号处理电路的功能结构的示例的框图。

图17是示出第三实施例中的图像传感器读出的控制的示图。

图18是与第三实施例中的信号处理电路的操作相关的流程图。

具体实施方式

现在将根据附图详细地描述本发明的示例性实施例。请注意，下面将描述其中根据本发明实施例的图像处理装置应用于数字照相机的示例，但是，在本发明中不需要与拍摄和记录拍摄图像有关的功能。本发明可以在能够获得已被同时拍摄的多个图像的任何电子设备中实现。这种电子设备的示例包括数字静态照相机或摄像机、个人计算机、游戏设备、移动电话、移动信息终端、汽车导航系统、驱动记录器、机器人等，但是本发明不限于此。此外，下面将描述用于运动图像帧的颜色插值处理(去马赛克)，但是本发明也可以以类似的方式应用于静止图像。

第一实施例

图1是示意性地示出本发明实施例共有的数字照相机1000的功能结构的框图。

数字照相机1000具有第一图像传感器1100、第二图像传感器1200、将来自摄影镜头2000的入射光在两个方向上分开的半反射镜1300、照相机控制电路1400、信号处理电路1500和操作构件1900。

此外，摄影镜头2000具有聚光透镜2100、光圈2200、聚焦透镜2300和透镜控制电路2400。透镜控制电路2400和照相机控制电路1400可以经由透镜通信终端1310彼此通信。摄影镜头2000可以从数字照相机1000移除，或者可以固定到数字照相机1000。

操作构件1900共同地表示用户用于向数字照相机1000输入指令的一组输入设备。例如，操作构件1900不仅可以包括诸如开关、按钮、杆和触摸面板的需要物理操作的输入设备，而且可以包括接收声音输入和眼睛注视输入的输入设备。本实施例的数字照相机1000具有通过半行程按压操作构件1900中包括的释放按钮而接通的开关(sw1)、以及通过全行程按压释放按钮而接通的开关(sw2)。请注意，释放按钮用于拍摄静止图像，并且分开地设置运动图像记录按钮以拍摄运动图像。

接通开关sw1发出开始拍摄准备操作的指令。拍摄准备操作包括af(自动聚焦)处理和ae(自动曝光)处理。例如，ae处理和af处理可以由照相机控制电路1400基于从作为实时取景显示的图像获得的信息来实现。

此外，接通开关sw2发出对要记录的图像开始拍摄操作的指令。除了分辨率不同之外，要记录的图像以与要显示的图像相同的方式生成。在信号处理电路1500根据需要执行编码处理之后，照相机控制电路1400将图像存储在与记录格式相对应的数据文件中，并将该图像记录在记录介质1910中。

信号处理电路1500对由第一图像传感器1100和第二图像传感器1200输出的图像信号应用诸如相关双采样和γ校正的预处理以及诸如白平衡调整和去马赛克的显影处理，并且生成全色图像。信号处理电路1500还对诸如实时取景图像之类的要显示的图像应用图像缩小处理，并且对要记录的图像应用与记录格式相对应的编码处理。另外，信号处理电路1500还执行显示在记录介质1910中记录的图像所需的解码处理。要显示的图像可以被显示在电子取景器(evf)1940和显示设备1950上。另外，记录介质1910是诸如半导体存储卡或ssd的非易失性存储设备。记录介质1910可以是可移除的或内置的。

信号处理电路1500还可以执行包括诸如rgb-ycbcr转换的信号格式转换、图像合成、色调调整、af评价值生成、用于检测和识别特定被摄体的处理等的各种类型的图像处理。典型的特定被摄体是人的面部，并且，用于识别特定被摄体的处理涉及识别面部表情和个人，但是本发明不限于此。

图2是示出第一图像传感器1100的结构示例的示意图。大量像素1120二维地布置成矩阵。像素1120包括用于拍摄图像的有效像素和用于校正的光学黑色像素(ob像素)。有效像素布置在有效像素部分1110中，并且，ob像素布置在水平ob像素部分1112和垂直ob像素部分1111中。

有效像素配设有原色拜耳阵列形式的滤色器。在图2中，r像素是配设有红色(r)滤色器的像素。b像素配设有蓝色(b)滤色器。gr像素和gb像素都是配设有绿色(g)滤色器的像素，但是在水平方向上与r像素相邻的g像素被称为gr像素，并且在水平方向上与b像素相邻的g像素被称为gb像素。

请注意，在以下描述中，水平方向是与垂直传输线1140正交的方向，并且垂直方向是平行于垂直传输线1140的方向。此外，水平方向上的有效像素之间的间隔δx被称为水平像素间距，并且垂直方向上的间隔δy被称为垂直像素间距。在本实施例中，水平像素间距和垂直像素间距相同(δx＝δy)。

ob像素具有通过铝布线等对像素的光电二极管(光电转换部)进行遮光的结构。垂直ob像素部分1111可以包括被构造为不包括光电二极管的ob像素。

为各行像素1120设置垂直传输线1140和列ad转换器1141。由斜坡信号生成电路1142生成的斜坡信号被输入到各列ad转换器1141。垂直读取控制电路1160输出用于以行为单位选择像素的信号。水平传输电路1170输出由列ad转换器1141输出的像素信号，以便在水平方向上传输这些信号。定时控制电路1150生成用于垂直读取控制电路1160、斜坡信号生成电路1142和水平传输电路1170的操作定时信号。

像素1120具有将光转换成电荷的光电二极管和累积由光电二极管生成的电荷并将电荷转换成电压的浮置扩散区(fd)。列ad转换器1141接收从斜坡信号生成电路1142输出的电压，并且将该电压与连接到垂直传输线1140的像素1120的fd的电压值进行比较，从而对fd的电压进行a/d转换。

请注意，像素1120的读出在以下周期中执行，以便抑制噪声的影响。首先，在fd被复位的状态下执行读出，并且，获得n信号并将其保持在水平传输电路1170中。此后，由光电二极管转换的电荷被传输到fd，再次执行读取，并且获得s信号。在水平传输电路1170中，通过获得从s信号减去n信号而得到的(s-n)信号，可以抑制噪声的影响。

垂直读取控制电路1160顺序地选择像素行，并且读取包括在所选择的像素行中的像素，从而可以从所有像素读取信号。请注意，直到a/d转换的读出操作由定时控制电路1150生成的定时信号控制。根据由照相机控制电路1400执行的ae控制或经由操作构件1900进行的用户设置来确定电荷累积时间(曝光持续时间)。相机控制电路1400将确定的电荷累积时间发送到定时控制电路1150。定时控制电路1150生成基于电荷累积时间的定时信号。

在本实施例中，除了像素间距δx和δy不同之外，第二图像传感器1200可以具有与第一图像传感器1100相同的结构。这里，第一图像传感器1100的水平像素间距表示为δx1，第一图像传感器1100的垂直像素间距表示为δy1，第二图像传感器1200的水平像素间距表示为δx2，并且，第二图像传感器1200的垂直像素间距表示为δy2。在本实施例中，δx1＞δx2、δy1＞δy2、δx1＝δy1且δx2＝δy2。请注意，在具有较大像素间距的第一图像传感器1100中，可以使像素的光电二极管(光电转换区域)的面积尺寸大于第二图像传感器的像素的光电转换区域的面积尺寸。光电转换区域的面积尺寸的增加扩大了像素的动态范围，并且还提高了s/n比。

请注意，上述像素间距关系也可以通过像素读出方法来实现。具体地，通过使第二图像传感器1200中的比第一图像传感器1100中更多的像素列和更多的像素行稀疏并然后读取像素，或者在第二图像传感器1200中比在第一图像传感器1100中增加更多的像素列和更多的像素行并然后读取像素，也可以实现上述像素间距关系。也就是说，也可以通过改变投影在图像传感器上的被摄体图像的采样周期来实现上述像素间距关系。

通过读出方法实现的像素间距被称为读取像素间距，以便与物理像素间距区分开。而且，第一图像传感器1100的读取像素间距表示为δx’1、δy’1，并且，第二图像传感器1200的读取像素间距表示为δx’2、δy’2。

请注意，在本实施例中，第一图像传感器1100和第二图像传感器1200具有不同的物理像素间距，并且，从这两个图像传感器读取所有像素。因此，δx’1＝δx1、δy’1＝δy1、δx’2＝δx2且δy’2＝δy2。

图3a示出像素1120的电路图。像素1120由光电二极管1121、传输晶体管(tr)1122、浮置扩散区(fd)1123、复位tr1124、像素放大器1125和行选择tr1126构成。使用由垂直读取控制电路1160输出的控制信号ptx、fd复位信号pre和行选择信号psel来执行像素信号读出控制。

如下控制像素1120的操作。首先，维持(assert)控制信号ptx和fd复位信号pres，并且，使光电二极管1121和fd1123复位。在复位完成之后取消(negate)控制信号ptx的操作开始累积期间，并且光电二极管1121累积由在累积期间中进入的光生成的电荷(光信号)。

当经过预定累积期间时，通过取消fd复位信号pres并维持行选择信号psel，由像素放大器1125放大的复位电压经由垂直传输线1140输入到列ad转换器1141，并且被转换为数字信号。该信号被称为n信号。n信号被保存在水平传输电路1170中。

接下来，维持控制信号ptx，并且将在光电二极管1121中累积的电荷传输到fd1123并转换为电压。fd1123的电压由像素放大器1125放大，然后经由垂直传输线1140输入到列ad转换器1141，并且被转换为数字信号。该信号被称为s信号。s信号是基于在光电二极管1121中累积的电荷的数字信号。在水平传输电路1170中，通过从s信号中减去n信号，可以抑制噪声的影响。

接下来，将参照图4a中的时序图来描述列ad转换器1141的操作。

列ad转换器1141具有向其输入垂直传输线1140的电压和由斜坡信号生成电路1142输出的斜坡信号的比较器、以及向其输入ad时钟的计数器。如果斜坡信号的电压小于或等于垂直传输线1140的电压，则比较器输出低电平，并且，如果斜坡信号的电压超过垂直传输线1140的电压，则比较器输出高电平。

斜坡信号生成电路1142在来自定时控制电路1150的斜坡使能信号处于高电平的期间中输出其电压值以每单位时间的预定速率增加的斜坡信号。斜坡信号生成电路1142还在斜坡使能信号处于低电平的期间中输出基准电压(例如，gnd)。

在复位电压的a/d转换之前，斜坡使能信号处于低电平，并且，垂直传输线1140的电压是复位电压，因此，比较器输出处于低电平。当斜坡使能信号达到高电平时，斜坡信号的电压增加，并且，当斜坡信号的电压超过复位电压时，比较器输出将处于高电平。

从斜坡使能信号达到高电平的时刻直到比较器输出达到高电平时的ad时钟数由计数器计数。该计数值是指示垂直传输线1140的电压的数字值。如果垂直传输线1140的电压是复位电压，则获得n信号的数字值。

当比较器输出达到高电平时，读出计数值(n信号)。而且，定时控制电路1150将斜坡使能信号降低到低电平。因此，斜坡信号的电压再次下降到复位电压或复位电压以下，由此比较器输出将处于低电平。

在已经经过累积期间之后，当由fd转换的光信号的电压被传输到垂直传输线1140时，定时控制电路1150将斜坡使能信号升高到高电平。因此，斜坡信号的电压开始增加，并且计数器开始对ad时钟计数。当斜坡信号的电压超过光信号的电压时，比较器输出将处于高电平。从斜坡使能信号达到高电平的时刻直到比较器输出达到高电平时的ad时钟的计数值被读出作为s信号。

图4b是示出在斜坡信号的电压增加率(每单位时间的电压增加量)大于图4a中的电压增加率的情况下，列ad转换器1141的操作示例的时序图。在图4a和图4b之间的列ad转换器1141的操作中没有差别，但是，斜坡信号的电压增加率的增加缩短了垂直传输线1140的电压的a/d转换所需的时间。

另一方面，每个计数值(量化步长)的电压增加，由此a/d转换的分辨率减小，换言之，图像的色调数量减小。

在下面的描述中，为了方便起见，图4a所示的a/d转换操作被称为“ad高分辨率”方式，并且，图4b所示的a/d转换操作被称为“ad高速”方式。应当注意，术语“高分辨率”和“高速”仅仅指示相对关系。

在本实施例中，第一图像传感器1100的像素间距大于第二图像传感器1200的像素间距，因此，第一图像传感器1100中针对每帧读取的像素数量小于第二图像传感器1200中针对每帧读取的像素数量。因此，从第一图像传感器1100的像素读出的信号在ad高分辨率方式下被a/d转换。另一方面，从第二图像传感器1200的像素读出的信号在ad高速方式下被a/d转换。

请注意，例如，可以在考虑到由从第一图像传感器1100和第二图像传感器1200读出的像素数的差异引起的处理时间的差异的情况下，确定在ad高分辨率方式和ad高速方式中使用的斜坡信号的电压增加率。例如，可以进行确定，使得对从第一图像传感器1100和第二图像传感器1200中的每一个读出的图像信号执行的处理在预定时间内结束。例如，在利用第一图像传感器1100和第二图像传感器1200以相同的帧速率同时拍摄运动图像的情况下，可以确定斜坡信号的电压增加率，使得对从所述图像传感器中的每一个读出的图像信号的处理在一帧周期内结束。

图5是示意性地示出其中由聚光透镜2100形成的点像被投影在第一图像传感器1100和第二图像传感器1200的摄像平面上的状态的示图。图5中的虚线示意性地指示光束(luminousbeam)。通过聚光透镜2100的光束被半反射镜1300分成两条光路。由聚光透镜2100形成的点像既作为以有效像素(1，4)为中心的点像3100被投影在第一图像传感器1100上，又作为以有效像素(9，8)为中心的点像3200被投影在第二图像传感器1200上。这里，像素的坐标被表示为(列号，行号)。

请注意，在图5中忽略第一图像传感器和第二图像传感器相对于聚光透镜2100的光轴的未对准，但是实际上存在由于生产期间的组装误差而导致未对准。

图6a是示意性地示出第一图像传感器1100的图像形成平面(x-z平面)和第二图像传感器1200的图像形成平面(x-y平面)之间的未对准量的示图。在下文中，类似于参照图2的描述，假设与图像传感器的垂直传输线正交的方向是水平方向，并且，假设平行于垂直传输线的方向是垂直方向。

从第一图像传感器1100的有效像素中心到摄影镜头2000的光轴和摄像平面之间的相交处(光轴中心)的水平方向上的距离由dh1表示，并且在垂直方向上的距离由dv1表示。而且，在面向数字照相机1000的物体被投影在摄像平面上的情况下的正立像方向与第一图像传感器1100的垂直方向之间的角度偏差由da1表示。

类似地，从第二图像传感器1200的有效像素中心到摄影镜头2000的光轴中心的水平方向上的距离由dh2表示，并且在垂直方向上的距离由dv2表示。而且，在面向数字照相机1000的物体被投影在摄像平面上的情况下的正立像方向与第二图像传感器1200的垂直方向之间的角度偏差由da2表示。

有效像素中心与光轴之间的绝对未对准量，即，距离dh1、距离dv1、角度偏差da1、距离dh2、距离dv2和角度偏差da2在组装时被最小化为目标误差范围。

可以通过使用组装之后的未对准量的差异(即，dh2-dh1、dv2-dv1和da2-da1)作为参数对各个颜色分量执行仿射变换处理，来校正用第二图像传感器1200和第一图像传感器1100拍摄的图像之间的组装误差。

例如，在生产时将参数dh2-dh1、dv2-dv1和da2-da1作为对准调整值登记在照相机控制电路1400的非易失性存储器中，使得在校正时可以读出和使用这些参数。可以从用第一图像传感器1100拍摄的图像和用第二图像传感器1200拍摄的图像计算上述参数(对准调整值)的参考图表。

此外，图6b是示意性地示出摄影镜头2000的光轴与第一图像传感器1100的图像形成平面(x-z平面)之间的角度偏差量以及摄影镜头2000的光轴与第二图像传感器1200的图像形成平面(x-y平面)之间的角度偏差量的示图。

由第一图像传感器1100的垂直轴(与图2中的垂直传输线1140平行的轴)和光轴形成的角度由dθ1表示，并且，由与该垂直轴正交的水平轴和光轴形成的角度由表示。类似地，由第二图像传感器1200的垂直轴与光轴形成的角度由dθ2表示，并且，由与该垂直轴正交的水平轴与光轴形成的角度被称为角度dθ1、dθ2和的理想值都是90°。

在本实施例中，除了相对于图6a所示的光轴的未对准之外，校正第一图像传感器1100和第二图像传感器1200之间的相对角度偏差(即dθ2-dθ1和)的影响。

相对角度偏差量导致入射在第一图像传感器1100上的光束和入射在第二图像传感器1200上的光束之间的方向差，并且导致图像传感器之间不同的二维光学阴影。可以通过对所述像素中的每一个应用从在生产时使用用于校准的光源通过两个图像传感器拍摄的图像之间的差异获得的增益校正量，来减小这种光学阴影的差异。例如，从角度偏差获得的增益校正量也在生产时作为调整值被登记在照相机控制电路1400的非易失性存储器中，使得可以在校正时读出并使用增益校正量。

图7是示意性地示出本实施例中的数据处理的概要以及信号处理电路1500的功能结构的示例的示图。第一raw图像数据1510从第一图像传感器1100输入到信号处理电路1500，并且，第二raw图像数据1520从第二图像传感器1200输入到信号处理电路1500。第一图像数据1510和第二图像数据1520可以是已经被同时拍摄的静止图像或运动图像帧的数据。

请注意，raw图像数据是使用配设有滤色器的图像传感器获得的图像数据，并且是指未经过颜色插值处理的图像数据。因此，第一raw图像数据1510和第二raw图像数据1520的各个像素仅具有构成滤色器的多个颜色分量当中的一个颜色分量(排除缺陷像素或作为缺陷像素处理的像素)。在下文中，为了简化起见，将第一raw图像数据1510和第二raw图像数据1520分别简称为第一图像数据1510和第二图像数据1520。请注意，只要图像数据的像素没有经过颜色插值处理，这样的图像数据就可能已经经过用于减少列ad转换器1141之间的特性的变化的影响的校正、用于补偿每种颜色的灵敏度的差异的校正等。图像数据也可以经过缺陷像素的校正以及用于提高图像传感器的输入/输出特性的线性的校正。

对准处理电路1502校正已经参照图6a和图6b描述的相对于光轴中心的未对准和与光轴的角度偏差。具体地，对准处理电路1502读出存储在照相机控制电路1400中的非易失性存储器中的对准调整值和增益校正量，对第一图像数据1510或第二图像数据1520执行仿射变换，并且，将增益校正量应用到第一图像数据1510或第二图像数据1520。根据计算所存储的对准调整值和增益校正量的方法来确定应用仿射变换和增益校正量的图像数据。在图7的示例中，对第二图像数据应用仿射变换和增益校正量。

接下来，分辨率转换电路1503生成通过调整第二图像数据1520的大小而得到的第三图像数据1525，以在水平方向上和垂直方向上都具有第一图像数据1510的分辨率的c倍(c是2的幂)的分辨率。当水平方向和垂直方向中的每一个中的分辨率增加到c倍时，水平方向和垂直方向中的每一个中的读取像素间距减小到1/c。

当第二图像数据1520的读取像素间距δx’2大于目标像素间距(与第一图像数据1510的分辨率的c倍相对应的像素间距)时，分辨率转换电路1503缩小第二图像数据1520以生成第三图像数据1525。此外，当第二图像数据1520的读取像素间距δx’2小于目标像素间距时，分辨率转换电路1503放大第二图像数据1520，以生成第三图像数据1525。

请注意，当第二图像数据1520的读取像素间距δx’2等于目标像素间距时，不需要调整第二图像数据1520的大小，并且，在没有任何改变的情况下使用第二图像数据1520作为第三图像数据1525就足够了。可以使用诸如双线性方法和双三次方法的各种已知方法来调整图像数据的大小。

在本实施例中，如图7所示，目标像素间距被设置为与第一图像数据1510的分辨率的两倍(c＝2)相对应的像素间距1/2δx’1、1/2δy’1。因此，假设第三图像数据1525的读取像素间距为δx’3、δy’3，则δx’3＝(δx’1)/2和δy’3＝(δy’1)/2成立。分辨率转换电路1503将通过调整第二图像数据1520的大小而得到的第一图像数据1510和第三图像数据1525输入到参考插值电路1501。

参考插值电路1501对第一图像数据1510应用去马赛克，并且生成全色图像1530。在本实施例中，具有不同读取像素间距的其他图像数据用于对第一图像数据1510进行去马赛克。在本说明书中，该去马赛克被称为“参考插值”，并且下面将描述其具体方法。

将参照图8a和图8b描述要被插值的像素和用于对要被插值的像素进行插值的像素之间的位置关系。

考虑像素间距作为一单位，以二维方式规则地布置在图像传感器中的像素的位置可以使用两个整数表示为(n，m)。在本实施例中，像素的坐标被表示为(水平坐标，垂直坐标)，并且，布置在有效像素部分中的左上端的像素的坐标被假设为(0，0)。

图8a示出通过提取第一图像传感器1100中的g像素而得到的g平面的一部分。这里，与四个g像素相邻的中心区域具有b像素或r像素，因此不具有g分量。在下文中，假设该中心区域具有要被插值的虚拟g像素g^t。此外，假设像素g^t的中心坐标为(i1，j1)，并且，假设第一图像传感器1100在水平方向和垂直方向上的读取像素间距都为1。

因此，与像素g^t的上、下、左和右相邻的g像素可以分别被表示为g(i1，j1-1)、g(i1，j1+1)、g(i1-1，j1)和g(i1+1，j1)。

另外，假设对应于g^t(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，如果第一图像传感器1100的读取像素间距为1，则i2＝2×i1和j2＝2×j1成立。如果分辨率转换电路1503执行c倍分辨率转换，则i2＝c×i1和j2＝c×j1成立。

参考插值电路1501在信号处理电路1500的存储器中存储关于要被插值的各个g像素的第一图像数据1510的各个像素的中心坐标(i1，j1)与第三图像数据1525的坐标(i2，j2)之间的对应关系。

在本实施例中，如图8b所示，没有以第三图像数据1525中的坐标(i2，j2)为中心的g像素。第三图像数据1525的g像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

在左方向上从坐标i2偏移了1/4的坐标被表示为i2-1/4，并且，在右方向上从坐标i2偏移了1/4的坐标被表示为i2+1/4。此外，在上方向上从坐标j2偏移了1/4的坐标被表示为j2-1/4，并且，在下方向上偏移了1/4的坐标被表示为i2+1/4。

因此，最靠近坐标(i2，j2)的g像素是向右偏移1/4且向上偏移1/4的g’(i2+1/4，j2-1/4)，以及向左偏移1/4且向下偏移1/4的g’(i2-1/4，j2+1/4)。

在图8b中，g’左上(ul)、g’上(u)、g’右上(ur)、g’右(r)、g’中心(c)、g’左(l)、g’左下(ll)、g’下(b)和g’右下(lr)中的每一个由虚线围绕以包括两个像素，它们表示与稍后描述的插值处理相关的组。

参考插值电路1501对于r像素和b像素类似地假设第一图像数据和第三图像数据之间的对应关系。

滤色器处于原色拜耳阵列中，因此在r平面上，需要在b像素、gr像素和gb像素的像素位置处执行插值。在b像素的位置处的第一插值模式中，在gr像素的位置处的第二插值模式中以及在gb像素的位置处的第三插值模式中执行插值。

类似地，在b平面上，需要在r像素、gb像素和gr像素的像素位置处执行插值。在r像素的位置处的第一插值模式中，在gb像素的位置处的第二插值模式中以及在gr像素的位置处的第三插值模式中执行插值。

图9a和图9b示出关于第一插值模式的要被插值的像素和用于对要被插值的像素进行插值的像素之间的位置关系。在下面的描述中，也在假设第一图像传感器1100的水平方向和垂直方向上的读取像素间距为1的情况下表示像素的坐标。

首先，将描述r像素的位置关系。

如图9a中的左边所示，假设第一图像传感器1100中的布置b像素的位置处的虚拟r像素(r^t1)的中心的坐标为(i1，j1)。因此，与第一图像数据1510的像素r^t1的左上、左下、右上和右下相邻的r像素分别为r(i1-1，j1-1)、r(i1-1，j1+1)、r(i1+1，j1-1)和r(i1+1，j1+1)。这些是实际布置的r像素。

而且，假设对应于rt(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第一插值模式中要被插值的r像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图9b的左边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的r像素。第三图像数据1525的r像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的r像素是从其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2--1/4)。

接下来，将描述b像素的位置关系。

如图9a中的右边所示，假设第一图像传感器1100中的布置r像素的位置处的虚拟b像素(b^t1)的中心的坐标为(i1，j1)。因此，与第一图像数据1510的像素b^t1的左上、左下、右上和右下相邻的b像素分别为b(i1--1，j1-1)、b(i1-1，j1+1)、b(i1+1，j1-1)和b(i1+1，j1+1)。这些是实际布置的b像素。

而且，假设对应于b^t(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第一插值模式中要被插值的b像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图9b的右边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的b像素。第三图像数据1525的b像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的b像素是从其向左偏移了1/4且向上偏移了1/4的b’(i2-1/4，j2-1/4)。

在图9b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一个由虚线围绕，它们表示与稍后描述的插值处理相关的组。

图10a和图10b示出关于第二插值模式的要被插值的像素和用于对要被插值的像素进行插值的像素之间的位置关系。在下面的描述中，也在假设第一图像传感器1100的水平方向和垂直方向上的读取像素间距为1的情况下表示像素的坐标。

首先，将描述r像素的位置关系。

如图10a中的左边所示，假设第一图像传感器1100中的布置gr像素的位置处的虚拟r像素(r^t2)的中心的坐标为(i1，j1)。因此，在r平面上与第一图像数据1510的像素r^t2的左边相邻的像素是r(i1-1，j1)，并且与像素r^t2的右边相邻的像素是r(i1+1，j1)。与像素r^t2的上方和下方相邻的像素是b像素，因此不存在r像素。然而，在第一插值模式中的插值完成之后，可以使用已经经过插值的r^*u(i1，j1-1)和r^*b(i1，j1+1)。

而且，假设对应于r^t2(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第二插值模式中要被插值的r像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图10b的左边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的r像素。第三图像数据1525的r像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的r像素是从其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2-1/4)。

接下来，将描述b像素的位置关系。

如图10a中的右边所示，假设第一图像传感器1100中的布置gb像素的位置处的虚拟b像素(b^t2)的中心的坐标为(i1，j1)。因此，与第一图像数据1510的像素b^t2的左边相邻的像素是b(i1-1，j1)，并且与像素b^t2的右边相邻的像素是b(i1+1，j1)。与像素b^t2的上方和下方相邻的像素是r像素，并且，不存在b像素。然而，在第一插值模式中的插值完成之后，可以使用已经经过插值的b^*u(i1，j1-1)和b^*b(i1，j1+1)。

而且，假设对应于b^t2(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第二插值模式中要被插值的b像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图10b的右边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的b像素。第三图像数据的b像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的b像素位于向右偏移了1/4且向下偏移了1/4的b’(i2+1/4，j2+1/4)处。

在图10b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一个由虚线围绕，它们表示与稍后描述的插值处理相关的组。

图11a和图11b示出关于第三插值模式的要被插值的像素和用于对要被插值的像素进行插值的像素之间的位置关系。此外，在下面的描述中，在假设第一图像传感器1100的水平方向和垂直方向上的读取像素间距为1的情况下表示像素的坐标。

首先，将描述r像素的位置关系。

如图11a中的左边所示，假设第一图像传感器1100中的布置gb像素的位置处的虚拟r像素(r^t3)的中心的坐标为(i1，j1)。因此，在r平面上，与第一图像数据1510的像素r^t3的上方相邻的像素是r(i1，j1-1)，并且，与像素r^t3的下方相邻的像素是r(i1，j1+1)。与r^t3的右边和左边相邻的像素是b像素，因此不存在r像素。然而，在第一插值模式中的插值完成之后，可以使用已经经过插值的r^*l(i1-1，j1)和r^*r(i1+1，j1)。

而且，假设对应于r^t3(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第三插值模式中要被插值的r像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图11b的左边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的r像素。第三图像数据1525的r像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的r像素是从其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2-1/4)。

接下来，将描述b像素的位置关系。

如图11b中的右边所示，假设第一图像传感器1100中的布置gr像素的位置处的虚拟b像素(b^t3)的中心的坐标为(i1，j1)。因此，与第一图像数据1510的像素b^t3的上方相邻的像素是b(i1，j1-1)，并且，与像素b^t3的下方相邻的像素是b(i1，j1+1)。与像素b^t3的左边和右边相邻的像素是r像素，因此不存在b像素。然而，在第一插值模式中的插值完成之后，可以使用已经经过插值的b^*l(i1-1，j1)和b^*r(i1+1，j1)。

而且，假设对应于b^t3(i1，j1)的第三图像数据1525中的位置在坐标(i2，j2)处。在本实施例的情况下，与g像素的情况类似，i2＝2×i1和j2＝2×j1成立。

对于在第三插值模式中要被插值的b像素中的每一个，参考插值电路1501在信号处理电路1500的存储器中存储第一图像数据1510的像素的中心坐标(i1，j1)和第三图像数据1525中的坐标(i2，j2)之间的对应关系。

在本实施例中，如图11b的右边所示，在第三图像数据1525中不存在以坐标(i2，j2)为中心的b像素。第三图像数据1525的b像素位于在上下方向和左右方向上从坐标(i2，j2)偏移了第一图像数据的读取像素间距的1/4的位置处。

因此，最靠近坐标(i2，j2)的b像素是从其向右偏移了1/4且向下偏移了1/4的b’(i2+1/4，j2+1/4)。

在图11b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一个由虚线围绕，它们表示与稍后描述的插值处理相关的组。

下面将参照图12所示的流程图描述由参考插值电路1501执行的参考插值处理的操作。

在步骤s10中，参考插值电路1501对关于g分量(g平面)的第三图像数据1525进行预处理。在本实施例中，参考插值电路1501在稍后描述的去马赛克中执行考虑在8个方向上围绕要被插值的像素的像素的值的自适应插值。

参考插值电路1501假设第一图像数据1510中要被插值的像素是像素g^t(i1，j1)，并且与像素g^t的坐标相对应的第三图像数据1525中的像素是g’(c)。然后，参考插值电路1501使用第三图像数据1525的g’(n，m)根据下式1计算像素g’(c)的值和在8个方向上围绕像素g’(c)的像素(g’(ul)、g’(u)、g’(ur)、g’(l)、g’(r)、g’(ll)、g’(b)和g’(lr))的值。

在步骤s20中，参考插值电路1501从在步骤s10中获得的九个像素的值计算与在像素g^t的去马赛克中使用的校正量相关的校正参数。参考插值电路1501根据下式2从像素g’(c)的值和八个周边像素中的每一个的值之间的差计算校正参数α1至α8。

在步骤s30中，参考插值电路1501基于在步骤s20中计算出的校正参数αk(k＝1，2，3，4，5，6，7和8)的大小来确定像素g’(c)和八个周边像素之间的相似度。在本实施例中，参考插值电路1501确定其作为与像素g’(c)的差值的校正参数αk取较小值的像素具有较高的相似度，并根据该相似度计算通过对校正参数αk进行加权而得到的校正参数α’k。

将参照图13描述该处理。

在步骤s1020中，参考插值电路1501根据要被校正的像素的颜色对处理进行分支。首先，将描述g像素的情况。

在步骤s1110中，参考插值电路1501根据下式3计算用于计算校正参数α’k的阈值th。

式3是用于获得中心像素(g’(c))和八个周边像素的平均值的式子，其中，中心像素(g’(c))的值和八个周边像素中的每一个的值之间的差的绝对值被视为该中心像素与八个周边像素中的每一个的欧几里得距离。

随后，在步骤s1120至s1150的处理中，参考插值电路1501通过基于阈值th的下式4的运算针对αk的所有值计算校正参数α’k。

满足|αk|＞th的周边像素的值与要被插值的中心像素的值的相似度低。因此，用于插值的系数α’k被设置为零，使得从插值处理排除该像素。

关于不满足|αk|＞th的周边像素，系数α’k被设置为th-|αk|。因此，在值上周边像素与中心像素的相似度越高，周边像素的系数α’k的值就越大。

在步骤s1160中，参考插值电路1501根据下式5计算系数α’k的和∑α’。

∑α’＝α’1+α’2+α’3+α’4+α’5+α’6+α’7+α’8…(5)

如果式5中的∑α’为零，则在将在稍后描述的g像素的去马赛克中将发生除以零，因此，在步骤s1170中，参考插值电路1501检查在步骤s1160中获得的和∑α’是否为零。

如果∑α’为零，则所有八个像素，即g’(ul)、g’(u)、g’(ur)、g’(l)、g’(r)、g’(ll)、g’(b)和g’(lr)，具有相同的值，并且式4中的α’k＝th-|αk|对于α’k的所有值将为零。因此，如果∑α’为零，则唯一地确定α’的最佳值，并且在步骤s1180中，参考插值电路1501确定α’的值，如下式6所示。

这样的一系列处理是图12中的步骤s30的处理，其中获得在步骤s40中要使用的插值参数α’k及和σα’。

在步骤s40中，参考插值电路1501使用在步骤s30中获得的参数根据下式7来计算要被插值的g像素g^t。

接下来，将描述对于r像素的处理。

在步骤s110中，参考插值电路1501假设与第一图像数据1510中要被插值的像素的坐标相对应的第三图像数据1525中的像素是像素r’(c)，如图8a至图11b所示。然后，参考插值电路1501根据下式8计算像素r’(c)的值和在八个方向上围绕该像素r’(c)的像素的值。

在步骤s120中，参考插值电路1501从在步骤s110中获得的九个像素的值计算与用于去马赛克的校正量相关的校正参数。参考插值电路1501根据下式9从像素r’(c)的值和八个周边像素中的每一个的值之间的差计算校正参数β1至β8。

在步骤s130中，与对g像素的处理(步骤s30)类似，参考插值电路1501基于在步骤s120中计算出的校正参数βk(k＝1至8)的大小确定像素r’(c)和八个周边像素之间的相似度，并计算β’k的值。将再次参照图13描述步骤s130的处理。

在步骤s1020中，参考插值电路1501根据要被插值的像素的颜色对处理进行分支。这里，要被插值的像素是r像素，因此参考插值电路1501使本过程进入步骤s1210。

在步骤s1210中，参考插值电路1501根据下式10计算用于计算β’k的阈值th，并且使本过程进入步骤s1220。

随后，在步骤s1220至s1250的处理中，参考插值电路1501通过基于阈值th的下式11的运算针对βk的所有值计算β’k。

满足|βk|＞th的周边像素的值与要被插值的中心像素的值具有低的相似度。因此，用于插值的系数β’k被设置为零，使得从插值处理排除该像素。

关于不满足|βk|＞th的周边像素，系数β’k被设置为th-|βk|。因此，在值上周边像素与中心像素的相似度越高，周边像素的系数β’k的值就越大。

在步骤s1260中，参考插值电路1501根据下式12计算系数β’k的和∑β’。

∑β’＝β’1+β’2+β’3+β’4+β’5+β’6+β’7+β’8…(12)

如果式12中的∑β’为零，则在将在稍后描述的r像素的去马赛克中将发生除以零，因此，在步骤s1270中，参考插值电路1501检查在步骤s1260中获得的和∑β’是否为零。

如果∑β’为零，则所有八个像素，即r’(ul)、r’(u)、r’(ur)、r’(l)、r’(r)、r’(ll)、r’(b)和r’(lr)，具有相同的值，并且式11中的β’k＝th-|βk|对于β’k的所有值将为零。因此，如果∑β’为零，则唯一地确定β’的最佳值，并且在步骤s1280中，参考插值电路1501确定β’的值，如下式13所示。

这样的一系列处理是图12中的步骤s130的处理，其中获得在步骤s140中要使用的插值参数β’k及和∑β’。

在步骤s140中，参考插值电路1501使用在步骤s130中获得的参数根据下式14来计算要被插值的r像素r^t。

在计算要被插值的所有像素r^t1之后，参考插值电路1501根据下式15和16计算要被插值的像素r^t2和r^t3。

这里，计算r^*u(i1，j1-1)、r^*b(i1，j1+1)、r^*l(i1-1，j1)和r^*r(i1+1，j1)作为r^t1。

最后，将描述对于b像素的处理。

在步骤s210中，参考插值电路1501假设与第一图像数据1510中要被插值的像素的坐标相对应的第三图像数据1525中的像素是像素b’(c)，如图8a至图11b所示。然后，参考插值电路1501根据下式17计算像素b’(c)的值和在八个方向上围绕该像素b’(c)的像素的值。

在步骤s220中，参考插值电路1501从在步骤s210中获得的九个像素的值计算与用于去马赛克的校正量相关的校正参数。参考插值电路1501根据下式18从像素b’(c)的值和八个周边像素中的每一个的值之间的差计算校正参数γ1至γ8。

在步骤s230中，参考插值电路1501基于在步骤s220中计算出的校正参数γk(k＝1至8)的大小确定像素b’(c)和八个周边像素之间的相似度，并计算γ’k的值。将再次参照图13描述步骤s230的处理。

在步骤s1020中，参考插值电路1501根据要被校正的像素的颜色对处理进行分支。这里，要被校正的像素是b像素，因此参考插值电路1501使本过程进入步骤s1310。

在步骤s1310中，参考插值电路1501根据下式19计算用于计算γ’k的阈值th，并且使本过程进入步骤s1320。

随后，在步骤s1320至s1350的处理中，参考插值电路1501通过基于阈值th的下式20的运算针对γk的所有值计算γ’k。

满足|γk|＞th的周边像素的值与要被插值的中心像素的值具有低的相似度。因此，用于插值的系数γ’k被设置为零，使得从插值处理排除该像素。

关于不满足|γk|＞th的周边像素，系数γ’k被设置为th-|γk|。因此，在值上周边像素与中心像素的相似度越高，周边像素的系数γ’k的值就越大。

在步骤s1360中，参考插值电路1501根据下式21计算系数γ’k的和σγ’。

σγ’＝γ’1+γ’2+γ’3+γ’4+γ’5+γ’6+γ’7+γ’8…(21)

如果式21中的σγ’为零，则在将在稍后描述的b像素的去马赛克中将发生除以零，因此，在步骤s1370中，参考插值电路1501检查在步骤s1360中获得的和σγ’是否为零。

如果σγ’为零，则所有八个像素，即b’(ul)、b’(u)、b’(ur)、b’(l)、b’(r)、b’(ll)、b’(b)和b’(lr)，具有相同的值，并且式11中的γ’k＝th-|γk|对于γ’k的所有值将为零。因此，如果σγ’为零，则唯一地确定γ’的最佳值，并且在步骤s1380中，参考插值电路1501确定γ’的值，如下式22所示。

这样的一系列处理是图12中的步骤s230的处理，其中获得在步骤s240中要使用的插值参数γ’k及和σγ’。

在步骤s240中，参考插值电路1501使用在步骤s230中获得的参数根据下式23来计算要被插值的b像素b^t。

在计算要被插值的所有像素b^t1之后，参考插值电路1501根据下式24和25计算要被插值的像素b^t2和b^t3。

这里，计算b^*u(i1，j1-1)、b^*b(i1，j1+1)、b^*l(i1-1，j1)和b^*r(i1+1，j1)作为b^t1。

参考插值电路1501对要被插值的所有像素执行步骤s10至s240的处理。因此，完成用于获得在其中所有像素位置处具有rgb分量的全色图像的去马赛克。

请注意，在本实施例中，给出对下述情况中的参考插值电路1501的处理的描述：由分辨率转换电路1503生成在水平方向和垂直方向中的每一个上都具有第一图像数据1510的分辨率的两倍的分辨率的第三图像数据1525。然而，第三图像数据1525的水平方向和垂直方向上的分辨率可以是第一图像数据的分辨率的2的n次幂(n是大于或等于2的整数)。

即使第三图像数据1525的水平方向和垂直方向上的分辨率是四倍、八倍等，在步骤s10、s110和s210中改变像素和用于计算周边像素的权重也就足够了。

类似地，关于去马赛克和去马赛克参数，也示出了考虑八个方向上的像素的自适应插值，但是，在第三图像数据的分辨率较高的情况下，可以通过执行考虑更多方向上的像素的插值来提高插值精度。

请注意，在水平方向和垂直方向中的每一个上第二图像数据的分辨率是第一图像数据1510的分辨率的2的n次幂(n是大于或等于2的整数)的情况下，第二图像数据可以用于参考插值而不被转换为第三图像数据。

另外，尽管上述描述是基于第一图像数据和第二图像数据的视场被设计为彼此匹配的假设，但是第一图像数据和第二图像数据的视场至少部分重叠就足够了。此外，可以采用这样的结构，其中，对视场重叠的区域执行通过参考插值的去马赛克，并且，在视场不重叠的区域上执行传统的去马赛克。此外，在拍摄基本上不随时间变化的被摄体的情况下，不一定需要同时拍摄第一图像数据和第二图像数据。

而且，图像传感器的数量不限于两个，并且，可以使用具有不同像素间距的三个或更多个图像传感器。在这种情况下，在用任何两个图像传感器获得的图像数据当中，用具有较窄像素间距的图像传感器获得的图像数据可以用于对用具有较宽像素间距的图像传感器获得的图像数据的去马赛克。

根据本实施例，在用具有不同像素间距的多个图像传感器获得的图像数据当中，用具有比第一像素间距窄的第二像素间距的图像传感器获得的图像数据，用于对用具有第一像素间距的图像传感器获得的图像数据的去马赛克。因此，高空间频率高的边缘部分的插值精度提高，并且，可以获得其中抑制彩色莫尔纹和伪色的出现的具有高分辨率感和高图像质量的全色图像。

而且，在使具有第一像素间距的图像传感器的像素的光接收区域(光电二极管)的面积尺寸大于具有第二像素间距的图像传感器的像素的光接收区域的面积尺寸的情况下，除了由于去马赛克引起的分辨率感的提高之外，还可以实现s/n比和动态范围的提高。例如，本发明在曝光时间受帧速率限制的情况下(例如，在运动图像拍摄的情况下)特别有用。

此外，即使在处理时间受帧速率限制的情况下，例如，在运动图像拍摄的情况下，也可以通过选择基于图像数据的分辨率的a/d转换的操作模式来实现实时处理。

第二实施例

接下来，将描述本发明的第二实施例。在本实施例中，将给出对具有不同分辨率并且由具有相同物理像素间距和不同读取像素间距的两个图像传感器获得的图像数据的去马赛克的描述。

具体地，使第二实施例中的第一图像传感器1100’的像素间距为δx1和δy1，并且，将第二图像传感器1200的像素间距设为δx2和δy2，则在本实施例中δx1＝δx2、δy1＝δy2、δx1＝δy1和δx2＝δy2成立。

此外，假设第一图像传感器1100’的读取像素间距δx’1和δy’1满足δx’1＞δx1和δy’1＞δy1，并且第二图像传感器1200的读取像素间距δx’2和δy’2满足δx’2＝δx2和δy’2＝δy2，读出具有不同分辨率的第一图像数据和第二图像数据。

图14是示出第二实施例中的第一图像传感器1100’的结构示例的示意图，并且对与第一实施例(图2)中的组成元件相似的组成元件给予相同的附图标记。在本实施例中，对以预定方式布置的像素1120设置加法线。

例如，设置连接像素1120(1)、像素1120(2)和像素1120(3)的加法线，类似地，设置连接像素1120(4)、像素1120(5)和像素1120(6)的加法线。此外，在垂直ob像素部分1112’中设置用于ob像素的加法线。在设计时确定通过加法线连接的像素(要相加的像素)的布置。

而且，图3b是第二实施例中的像素1120的电路图，并且对与第一实施例(图3a)中的组成元件类似的组成元件给予相同的附图标记。在本实施例中，添加了加法tr1127，其将加法线连接到fd1123和像素放大器1125之间的点，并且由加法信号padd进行导通-断开控制。因此，加法信号padd使得能够控制加法线和fd1123之间的连接和切断。例如，根据定时控制电路1150的控制，垂直读取控制电路1160输出加法信号padd。

第二实施例中的像素的操作被如下控制。首先，维持加法信号padd，并且，将fd1123连接到加法线。在本实施例的情况下，例如，将像素1120(1)、像素1120(2)和像素1120(3)相加，并且，将像素1120(4)、像素1120(5)和像素1120(6)相加。可以对于所有像素使用相同的控制信号来执行通过加法信号padd的控制。

接下来，维持控制信号ptx和fd复位信号pres，并且，使光电二极管1121和fd1123复位。在复位完成之后取消控制信号ptx的操作开始累积期间，并且光电二极管1121累积由在累积期间中进入的光生成的电荷(光信号)。

当经过预定累积期间时，由像素放大器1125放大的复位电压经由垂直传输线1140输入到列ad转换器1141，并且通过取消fd复位信号pres并维持行选择信号psel而被转换为数字信号。该信号被称为n信号。n信号被保存在水平传输电路1170中。

接下来，维持控制信号ptx，并且将在光电二极管1121中累积的电荷传输到fd1123并转换为电压。fd1123的电压由像素放大器1125放大，然后经由垂直传输线1140输入到列ad转换器1141，并且被转换为数字信号。该信号被称为s信号。s信号是基于在光电二极管1121中累积的电荷的数字信号。在水平传输电路1170中，通过从s信号中减去n信号，可以抑制噪声的影响。

通过执行如上所述的有加法的读取，可以在垂直方向上对像素信号进行相加，这增加了光电二极管的表观面积尺寸，因此提高信号的动态范围和sn特性。

列ad转换器1141具有与第一实施例中的结构类似的结构，并且可以根据使用斜坡信号的控制来选择ad高分辨率方式下的操作或ad高速方式下的操作。

请注意，也可以在水平方向上设置用于连接多个像素的加法线，但是，加法线的数量的增加减小了像素的开口的尺寸，减小了光电二极管的有效面积，并且使信号的动态范围和sn特性劣化。因此，在本实施例中，代替在水平方向上设置用于对像素进行相加的加法线，水平传输电路1170执行相加平均，从而实现与加法线相同的效果。

将描述水平方向上的加法处理的示例。

将通过用上述方法连接fd1123来将像素1120(1)、像素1120(2)和像素1120(3)相加并通过列ad转换器1141转换相加结果而得到的数字值存储在水平传输电路1170中。此时，类似地，通过将像素1120(7)、像素1120(8)和像素1120(9)相加而得到的数字值以及通过将像素1120(13)、像素1120(14)和像素1120(15)相加而得到的数字值存储在水平传输电路1170中。

此后，通过使用加法器进一步将这三个数字值相加并使用除法器或位移位计算器将相加的值除以9，可以最终获得九个像素的平均值。

此外，通过改变用于控制padd的方法和水平方向上的加法处理的设置，可从多个选项中选择要相加的像素的组合。要相加的像素的数量增加得越多，要读出的像素的数量就减少得越多，因此读取图像数据所需的时间被缩短。在下面的描述中，通过相加控制的上述读出被称为“有加法的读取”。

此外，也是在本实施例的结构中，通过不执行padd的初始维持，并且不执行水平方向上的水平传输电路中的加法处理，使得能够进行与第一实施例的读取类似的读取。在下文中，与第一实施例类似地控制的读出被称为“无加法的读取”，以便与有加法的读取区分开。

作为用于从像素读取信号的控制操作，已经描述了无加法的读取和有加法的读取的示例，但是可以通过其他控制操作来执行读取。

可以通过有加法的读取和无加法的读取的设置以及ad高分辨率方式和ad高速方式的设置的组合，根据预期目的来驱动第一图像传感器1100’和第二图像传感器1200。

例如，考虑与第一实施例类似地利用第一图像传感器1100’和第二图像传感器1200同时执行运动图像拍摄，并且对各帧执行使用参考插值的去马赛克的情况。在这种情况下，第一图像传感器1100’在“ad高分辨率方式”下针对“有加法的读取”被驱动，使得可以以适当的帧速率拍摄具有足够的色调特性的运动图像。此外，为了以与第一图像传感器1100’的帧速率类似的帧速率读出具有比第一图像传感器更大数量的像素的帧，第二图像传感器1200在“ad高速方式”下针对“无加法的读取”被驱动。

图15是示意性地示出本实施例中的由聚光透镜2100形成的点像被投影在第一图像传感器1100’和第二图像传感器1200的摄像平面上的状态的示图。对与第一实施例(图5)的组成元件类似的组成元件给予相同的附图标记。图15中的虚线示意性地指示光束。通过聚光透镜2100的光束被半反射镜1300分成两条光路。此外，由聚光透镜2100形成的点像既作为以有效像素(2，8)为中心的点像3100’被投影在第一图像传感器1100’上，又作为以有效像素(9，8)为中心的点像3200被投影在第二图像传感器1200上。这里，像素的坐标被表示为(列号，行号)。

正被投影的点像的半径相同，但是第一图像传感器1100’执行有加法的读取，因此在第一图像数据1510中，图像在水平方向上被缩小为δx1/δx’1。这同样适用于垂直方向。

在第一实施例中，通过改变图像传感器的物理像素间距来获得分辨率低于第二图像数据1520的第一图像数据1510。在本实施例中，通过改变图像传感器的读取像素间距来获得与第一实施例的第一图像数据1510和第二图像数据1520类似的第一图像数据1510和第二图像数据1520。

因此，信号处理电路1500对第一图像数据1510和第二图像数据1520执行与第一实施例的处理类似的处理，从而可以获得全色图像1530。

根据本实施例，即使在使用具有相同物理像素间距的多个图像传感器的情况下，也可以获得与第一实施例的效果类似的效果。

请注意，第一图像数据的格式不限于在第一实施例和第二实施例中描述的格式，并且，可以根据物理像素间距和读取像素间距的组合来获取具有不同分辨率、高宽比等的各种类型的图像数据。

第三实施例

接下来，将描述本发明的第三实施例。除了信号处理电路的结构之外，本实施例可以与第一实施例和第二实施例相同，因此将描述信号处理电路。图16是示意性地示出本实施例中的数据处理的概要以及信号处理电路1500’的功能结构的示例的示图。在图16中，对与第一实施例(图7)共有的组成元件给予相同的附图标记。请注意，假设在使用具有与第一实施例相同的结构的第一图像传感器1100的情况下进行图示，但是可以使用具有与第二实施例相同的结构的第一图像传感器1100。在本实施例的信号处理电路1500’中，在分辨率转换电路1503之后的一级配设参考图像存储电路1504。

类似于第一实施例和第二实施例，第二图像数据1520由对准处理电路1502和分辨率转换电路1503处理，并与第一图像数据1510对准，并且，第二图像数据1520的分辨率被转换，以便生成第三图像数据1525。然后，将第三图像数据1525存储在参考图像存储电路1504中。请注意，在分辨率不需要被转换的情况下，第二图像数据1520被存储为第三图像数据1525而没有任何改变。

在本实施例中，与第一实施例或第二实施例类似，参考插值电路1501使用第一图像数据1510和存储在参考图像存储电路1504中的第三图像数据1525来执行去马赛克。

例如，基于获得第一图像数据1510的时刻与获得第二图像数据1520的时刻之间的差，确定存储在参考图像存储电路1504中的第三图像数据1525是否可以用于参考插值处理，其中第三图像数据1525是基于第二图像数据1520的。然而，例如，可接受的时间差可以取决于被摄体的运动的大小。例如，被摄体的运动越小，可接受的时间差就变得越长。而且，在参考插值处理中可以使用和不能使用的部分可以存在于第三图像数据1525中。

下面将参照图17描述本实施例中的获得图像数据和去马赛克的操作控制。图17中的上部示出控制第一图像传感器1100的读取的操作及其定时。

当帧同步信号被输入到第一图像传感器1100时，从有效像素部分1110的领先像素行中顺序地读出信号，如第n帧读取信号的直线所示。此外，各像素行的累积期间在由虚线指示的第n帧复位信号的定时开始，并且，复位时间与读出时间之间的差是各像素行的累积期间。

图17中的下部示出控制第二图像传感器1200的读取的操作及其定时。在本实施例中，第一图像传感器1100的读取和第二图像传感器1200的读取不同步，并且第二图像传感器1200的读取与用于第二图像传感器1200的帧同步信号同步，第二图像传感器1200的帧同步信号独立于供给到第一图像传感器1100的帧同步信号。

在第二图像传感器1200的拍摄请求信号被维持之后读出第二图像传感器1200。通过取消第二图像传感器1200的拍摄请求信号，照相机控制电路1400可以停止参考插值处理和利用第二图像传感器1200的拍摄。例如，当进行不适合作为用于参考插值的图像的拍摄条件的设置(例如，设置大于或等于预定值的拍摄灵敏度的情况)时，例如，照相机控制电路1400可以取消拍摄请求信号，但是也可以使用其他条件。在图17的示例中，保持拍摄请求信号的维持，因此连续执行利用第二图像传感器1200的拍摄和信号处理电路1500′中的参考插值处理。

为了对第一图像传感器1100的第n帧的图像数据进行去马赛克，信号处理电路1500′使用基于利用第二图像传感器1200拍摄且存储在参考图像存储电路1504中的第m帧的图像数据而生成的第三图像数据。请注意，在图17中，关注获得第二图像数据和第一图像数据的定时，因此为了方便起见，描述了第二图像数据被用作第三图像数据而没有任何改变的情况。

为了也对第一图像传感器1100的第n+1帧的图像数据进行去马赛克，信号处理电路1500’使用存储在参考图像存储电路1504中的第二图像传感器1200的第m帧的图像数据。

然而，参考旧的图像数据可能会导致插值精度的劣化，因此本实施例的信号处理电路1500’执行图18所示的控制。

在步骤s310中，信号处理电路1500’从第一图像传感器1100获得第一图像数据。

随后，在步骤s320中，信号处理电路1500’确定第一图像数据和第二图像数据之间的拍摄开始时间的差δf是否大于预定值(寿命)，其中存储在参考图像存储电路1504中的第三图像数据是基于该第二图像数据。如果没有确定δf大于预定值，则信号处理电路1500’使本过程进入步骤s340，并且使用存储在参考图像存储电路1504中的第三图像数据执行去马赛克。

另一方面，如果确定δf大于预定值，则信号处理电路1500’使本过程进入步骤s350，并且在不使用存储在参考图像存储电路1504中的第三图像数据的情况下执行去马赛克。

例如，在第二图像传感器1200的第m帧和第一图像传感器的第n帧之间的拍摄开始时间的差δf(n)大于预定值的情况下，对于去马赛克，信号处理电路1500′不使用基于第二图像传感器1200的第m帧的第三图像数据。

随后，当在步骤s340中执行去马赛克时，参考插值电路1501将其中第一图像数据1510和存储在参考图像存储电路1504中的第三图像数据中的对应像素值之间的差小于或等于预定值的区域用于参考。例如，参考插值电路1501获得位于要被插值的虚拟像素的周边且实际存在的第一图像数据中的多个像素中的每一个，与具有相同的颜色且存在于与第一图像数据的该像素相对应或最接近的位置处的第三图像数据中的像素之间的值的差。如果差的总和小于或等于预定值，则参考插值电路1501使用上述参考插值执行去马赛克，并且，如果差的总和超过预定值，则执行其中参考插值不用于要被插值的虚拟像素的去马赛克。

即使在第一图像数据1510和第二图像数据1520之间存在拍摄时刻的差的情况下，上述操作也能够至少部分地使用参考插值来进行去马赛克。

根据本实施例，存储在参考插值期间要参考和使用的图像数据，由此减轻了对利用第一图像传感器和第二图像传感器的拍摄定时的限制。因此，可以对利用更多样化的摄像装置获取的图像数据实现参考插值。

以上仅通过示例描述了本发明的一些示例性实施例，并且，不应当被解释为在任何意义上限制本发明的范围。本发明的范围由权利要求的范围规定，并且，权利要求的范围所包含的变型例和等同例包括在本发明的范围内。

其他实施例

本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(ram)，只读存储器(rom)，分布式计算系统的存储器，光盘(例如，压缩盘(cd)，数字多功能光盘(dvd)，或蓝光光盘(bd)^tm)，闪速存储器装置，存储卡，等等。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有变型例以及等同的结构和功能。