专利名称：成像装置的制作方法
技术领域：
本发明涉及在其中处理包括亮度信息的像素的成像装置。
背景技术：
基于在上部和下部以及左边和右边排列的G(绿色)像素的相关信息(例如参见JP-A-2001-218073)，在配置为具有RGB矩形Bayer(拜尔)布局的现有技术的图像传感器中可以执行像素内插(interpolation)。在其中处理包括亮度信息的像素并且布局是相对于矩形倾斜45°的图像传感器中，由于在其上下以及左右没有排列绿色像素，因此不能执行相关技术的像素内插法。因此，用于具有这种像素布局的图像传感器中的像素内插的相关检测通常由相同颜色的平均像素确定。然而，这种内插法具有在高频率下使空间频率平整并产生错误颜色的缺点。这种相关检测方法的另一个缺点是在亮度信号Y和色度信号Cr/Cb的信号处理中可能不能正确执行颜色分离。
发明内容
将要解决的问题就是在相关检测中在高频率下使空间频率平整并产生错误颜色。另一个将要解决的问题就是在亮度信号Y以及色度信号Cr/Cb的信号处理中不能正确地执行颜色分离。
合乎需要的是防止在彩色主题中产生的错误颜色并与简单平均像素内插相比扩展该频带。
根据本发明的一个实施例，提供了一种成像装置，包括具有多个彩色像素以及高灵敏度像素的图像传感器，所述高灵敏度像素对入射光具有比以棋盘形图案的方式排列的彩色像素更高的灵敏度；相关性检测器，根据高灵敏度像素的信号分量以及该彩色像素的信号分量来检测成像主题的相关性；彩色判断部件，根据该彩色像素的信号分量判断成像主题是否属于彩色；以及像素内插器，根据在判断主题是否属于彩色的彩色判断部件里判断的信号在像素内插法之间切换。当彩色判断部件断定该主题属于彩色时，基于来自相关性检测器的信息，所述像素内插器将高优先权给予使用示出强相关性的像素的内插。
在上述本发明的实施例中，提供判断图像主题是否属于彩色的彩色判断部件，以及像素内插器，根据在判断主题是否属于彩色的彩色判断部件里判断的信号在像素内插法之间切换，当彩色判断部件断定主题属于彩色时，基于来自相关性检测器的信息，所述像素内插器将高优先权给予使用示出强相关性的像素的内插。彩色判断部件以及像素内插器的提供可以允许彩色像素的内插。
根据本发明的上述实施例，基于来自相关性检测器的信息，将高优先权给予使用示出强相关性的像素的内插的像素内插器的提供可以允许彩色像素的内插，从而提供了与简单平均像素内插相比扩展的频带的优点。此外，这里还提供了与简单平均像素内插相比在彩色主题中抑制错误颜色的另一个优点。
附图1是示出根据本发明实施例(第一实例)成像装置的方框图；附图2是示出像素内插块详情的实例的方框图；附图3是示出内插器A的实例的方框图；附图4是示出内插器A如何执行像素内插的实例的布局图；附图5是示出内插器B的实例的方框图；附图6是示出当相关性分别在水平方向和垂直方向上较强时，内插器B如何执行像素内插的实例的布局图；附图7示出内插B的实例的算法；附图8是示出实施本发明的成像装置的实例的方框图；附图9是示出成像装置中传感器的彩色布局的实例的像素布局图；附图10是示出在内插位置的B像素和R像素阵列之间示例性相关系数的布局图；
附图11示出相关性检测的实例的算法；附图12示出相关性系数计算方程式；附图13示出像素内插的实例的算法；附图14是示出内插位置B像素和G像素阵列之间相关性系数的布局图；附图15示出相关性检测的实例的算法；附图16示出相关性系数计算方程式；附图17示出像素内插的实例的算法；附图18示出电平平衡之后信号布局的实例的布局图；附图19示出低通滤波器的实例的算法；附图20示出以亮度和色度的形式表示的方程式；附图21是示出在W像素出现的位置上R/G/B像素内插的实例的布局图，并且还示出内插方程式；附图22示出使用W像素作为相关性检测信号互补的实例的布局图；附图23是示出在不存在像素的相位上像素互补的实例的布局图；附图24示出其中在水平/垂直方向上低通滤波器施加到W像素的实例的算法；附图25示出相关性系数计算方程式；以及附图26示出像素内插的实例的算法。
具体实施例方式
以下将参考图1到9描述根据本发明的实施例(第一实例)。
首先，参考图8的方框图描述实施本发明的成像装置的实例。举例来说，附图8示出了使用图像传感器的整个照相机系统。
如附图8所示，成像装置1包括聚焦图像的透镜系统2，具有用于光电转换的像素的传感器3，接收该电信号、消除1/f噪音并且仅仅提取信号分量的相关双采样(CDS)部件4，将来自传感器的像素信号(其是模拟信号)转换为数字信号的模拟-数字转换器(ADC)5，以及将数字化的传感器信号输出为最后的图像信号的信号处理部件6。
在成像装置1中，通过透镜系统2聚焦的图像成像到传感器3的像素上并且作为电信号输出到CDS部件4。CDS部件4消除1/f噪音并且仅仅提取信号分量。然后，ADC 5将来自传感器的作为模拟信号的像素信号转换为数字信号。数字化的传感器信号然后被输入到信号处理部件6并且处理为最终的图像信号。
接下来，将参考附图9描述成像装置1中传感器3彩色布局的实例。
如附图9所示，在传感器3中的彩色布局中，相对于现有技术的RGB矩形Bayer像素布局，用于获得亮度信息的像素(在本实例中，具有比彩色像素更高的入射光灵敏度的高灵敏度像素)排列在具有偏移半个周期的空间相位的相位位置上。高灵敏度像素例如由白色像素或灰色像素形成。以下将参考排列了白色(W)像素的示例来作出描述。
现在将描述本发明主要特点。附图1是示出信号处理部件6的细节的方框图。附图2是示出附图1所示的照相机系统信号处理器中的像素内插部件13内部组件的方框图。
如附图1所示，来自传感器已经通过模拟-数字转换器(ADC)转化为数字信号的像素信号输入到白平衡(WB)部件11，其中从传感器输出的该像素相对于作为彩色像素的G(绿色)像素或作为高灵敏度像素的W像素被校正(normalized，标准化)。在这个实例中，尽管举例来说输出的像素根据W像素校正，但是输出的像素还可以根据灰色像素校正。以下将参考W像素作出描述。
校正信号输入到互相独立的彩色判断部件12和像素内插部件13。彩色判断部件12判断所关心的像素以及周围像素是否是彩色像素并且将结果发送给像素内插部件13。
通过内插两个缺乏的颜色，像素内插部件13在出现R/G/B像素中的一个的相位上的执行内插。例如，B/R像素用于其中出现G像素位置上的内插。像素内插部件13使用彩色判断部件12的判断结果动态地变化内插处理。当所关心的像素不是彩色像素时，当产生用于内插的像素时来自所关心的像素的像素信号必定用于改善分辨率，而当所关心的像素是彩色像素时，来自具有如将用于内插的像素的相同颜色的周围像素的信号被内插。像素内插之后处理被分成两条线，即产生亮度和产生色度。首先描述产生亮度的处理线。
在像素内插部件13中产生的R/G/B像素信号经历转换过程，诸如作为典型实例NTSC亮度转换方程式，以便产生Y信号。由于产生的Y信号和W像素就信号电平而言互相不匹配，因此在电平平衡部件14中执行电平匹配。电平平衡部件14产生(高频)亮度信号，在其中的W信号的电平和Y信号的电平相同。
然而，由于具有亮度信号的像素和不具有亮度信号的像素是在空间排列而且交替地出现(就空间相位而言是1/2)，因此其中不存在像素的相位通过像素补充。这种互补是在亮度内插部件16中执行。这种互补处理的判断在相关检测部件15中执行。相关检测部件15通过使用亮度信号作为检测信号执行这种处理。检测结果既可以在亮度产生也可以在色度产生中使用。
在色度内插部件17中，R/G/B像素首先用于在出现W像素的相位上的内插。这种内插例如通过计算周围W像素和R/G/B像素的比率来计算。此外，为执行在空间上不存在R/G/B像素的相位上的像素互补，相关检测部件15的检测结果(其已经在亮度产生中描述)反映像素互补。
亮度内插部件18是将高频亮度信号和在色度产生处理中计算的R/G/B信号结合起来产生低频Y亮度信号。这种处理抑制了在低频区亮度再生中的退化。
因此产生Y/Cr/Cb信号并且结束像素内插。
举例来说，如附图2所示的像素内插部件13的元件包括识别内插相位处像素的彩色滤波器的彩色识别部件21和将信号引导给适当的内插处理中的一个(例如内插器A 23或内插器B 24)的多路复用器(MPX)22。
接下来，参考附图3、4A和4B描述在内插相位处像素彩色滤波器是R(红)或B(蓝色)的情况中执行的内插处理(例如内插器A 23)。附图3是内插器A 23的方框图，而附图4是示出内插器A 23如何执行像素内插的概念图。
如附图4所示，在将被内插的相位的像素是B像素，而用于内插的像素是R和B像素。由于用于内插的R像素位于相对于B像素的四个对角线方向(参见附图4中的(1))，附图3所示的相关性检测器25用于执行这种对角线方向中的相关检测，而像素内插器26用于根据从相关检测器25输出的相关强度改变四个方向中的R像素的混合比率，以便执行R像素的内插。G像素可以同样处理。从四个上/下和左/右方向(参见附图4中的(2))，附图3所示的相关性检测器27用于执行水平方向和垂直方向的相关检测，像素内插器28通过使用四个方向中G像素混合比率根据来自相关性检测器27输出的相关检测结果执行G像素的内插。
当在内插相位的像素是R时，除了B替换为R而R替换为B之外可以适用于同样的处理。也就是说，在内插相位的像素是R像素，而用于内插的像素是B和G像素。由于可以用于内插的B像素位于相对于R像素的四个对角线方向，在对角线方向执行相关检测并且根据相关强度改变四个方向中的B像素混合比率以便执行B像素的内插。G像素可以同样处理。通过使用四个方向中的G像素的混合比率，G像素的内插根据由四个上/下和左/右方向的相关检测结果执行。
接下来，参考附图5、6A和6B描述在内插相位的像素的彩色滤波器是G的情况下执行的处理(内插器B 24)。附图5是内插器B 24的方框图。(1)在附图6是示出当相关性在水平方向较强的时候内插器B 24如何执行像素内插的概念图，而附图6中的(2)是示出当相关性在垂直方向上较强的时候内插器B 24如何执行像素内插的概念图。在其中排列用于内插的R和B像素的方向根据该G像素的相位改变。
如附图6所示，尽管分别地六个R像素存在于水平方向而六个B像素存在于垂直方向，然而这种关系将会取决于该G像素的相位而倒置。如附图5所示，G和W像素被输入到相关性检测器29作为相关检测信号以便确定上/下和左/右方向中的相关性强度。
当相关性检测器29的结果示出左/右方向强相关的时候，如附图6(1)所示，R像素的内插由在内插位置G像素上下的水平方向中的六个R像素计算，以及通过使用内插位置G像素的左右侧的两个B像素执行B像素内插。上述内插在附图5所示的像素内插器30中执行。
当相关性检测器29的结果示出在垂直方向上的强相关时，可以执行同样的处理。也就是说，如附图6(2)所示，B像素的内插由内插位置G像素左右侧六个垂直地排列的B像素计算，通过使用内插位置G像素的上下两个R像素执行R像素的内插。上述内插在附图5所示的像素内插器30中执行。
附图5所示的实际的处理通过使用附图7所示的滤波器的计算来执行。相关性结果用于将系数vk和hk设置为1或0，然后执行上述处理。
如上所述的处理允许具有相同颜色的像素的精确内插。
现在将会参考附图10-17描述相关性检测的实例。
附图10示出在内插位置的B像素和R像素阵列之间的相关系数。附图11示出相关检测算法。
如附图10所示，四个R像素排列在相对于B像素45°的对角线方向。为了方便起见假设R0是右上方R像素而让R1到R3是顺时针方向的其它像素。假设RTGain、RBGain、LBGain和LTGain是相关性增益，其分别对应于R0到R3。
如附图11所示，在这个实例中，低通滤波器应用在相对于内插位置的B像素中心的对角线方向。在这种情况下，低通滤波器(LPF)施加于像素(Wwb)。然后对该W像素结果施加高通滤波器(HPF)以便计算差值RT、LB、LT和RB。该相关性越强，该差值越小。
附图12示出相关性系数计算方程式。上述差值RT、LB、LT和RB代入相关性系数计算方程式以确定相关系数。这些计算方程式用于将四个方向中的混合比率设置为1并且调整在显示强相关的方向的系数为较大的值。
最后执行像素内插。像素内插根据附图13所示的算法执行。在附图10所示的实例中，算法定义如下用于B像素位置上内插的R像素＝R0*RTGain+R1*RBGain+R2*LBGain+R3*LTGain接下来，附图14示出在所述内插位置的B像素和G像素之间的相关系数。
如附图14所示，G像素位于相对于B像素的上/下和左/右方向。G像素的相关性检测在实施附图15所示的相关检测算法的电路中执行。
为确定该G像素的相关性，邻近于B像素的W像素也用于增加检测精确度，这是因为该G像素每四个周期出现。应用如上所述相同方法，即施加低通滤波器(LPF)，继之以高通滤波器(HPF)，以确定差值。除了以上所述，用于W像素计算结果和用于G像素计算结果用于权重处理以便抑制主题的彩色效果。生成的差值SR、SL、ST和SB代入附图16所示的相关系数计算方程式以确定相关系数。
最后执行像素内插。所述像素内插例如根据附图17所示的算法执行以便确定用于B像素位置上的内插的G像素。
参考附图18到26描述本发明另一实施例(第二实例)的成像装置。首先，参考附图1描述的信号处理器的详图中的电平平衡部件14用于产生(高频)亮度信号，其中W信号的电平和Y信号相同。附图18示出电平平衡处理之后的信号布局。
在附图18中，W表示W像素(由普通的矩形表示的像素)，而Y表示由通过内插确定的R/G/B像素的信号的数量计算的亮度(通过阴影线矩形表示的像素)。虚线表示不存在像素的相位。这些相位的信息通过稍后描述的处理互补。
由于原始的W和Y信号的电平彼此不同，施加例如附图19所示的低通滤波器(LPF)。然后，如附图20所示的以亮度和色度形式表示的方程式所示，Y乘以Wave/Yave比率，其中Wave是Ws的平均值而Yave是Ys的平均值，以便相对于W的电平校正Y。由于这种处理改变了亮度，因此同样校正R/G/B以便使得色度电平互相匹配。也就是说R乘以Wave/Rave比率，其中Wave是Ws的平均值而Rave是Rs的平均值，以便相对于W电平校正R。G和B可以按类似方式校正，除了R分别替换为G和B。
然后，在存在W像素的位置上执行R/G/B像素的内插。如附图21所示，由于W像素存在于存在像素的所有相位，因此W像素用于内插R/G/B像素。附图21示出用于R像素的内插方程式。用于B和G像素的计算可以通过类似用于R像素的计算来执行。
最后在不存在像素的相位上执行像素互补。如附图22所示，根据上下以及左右四个像素的相关性强度使用W像素作为相关检测信号来动态地执行该互补处理。
在如上所述的处理中，生成亮度信号和色度信号。
接下来，参考附图23到26描述相关性检测的实例。附图23示出在不存在像素的相位上的像素互补。
如附图23所示，该阴影线像素是通过从通过内插确定的R/G/B像素生成Y并且进一步将Y校正为W像素而获得的那些像素，而通过普通的矩形表示的像素表示W像素本身。在这种示出的状态中，为了执行位于不存在像素的附图中心的相位上的像素互补，执行以下处理。
如附图24所示，在这个实例中，低通滤波器(LPF)施加到水平/垂直方向中的W像素。然后，施加高通滤波器(HPF)以便计算差值SR、SL、ST和SB。
附图25示出相关性系数计算方程式。以上所述差值SR、SL、ST和SB代入相关系数计算方程式以分别确定相关系数RGain、LGain、TGain和BGain。
最后执行像素内插。在像素内插中，根据附图26所示的算法在不存在像素的相位上执行像素互补。这种互补不仅应用到W像素而且应用到R、G和B像素。
如上所述，根据本发明的实施例，提供彩色判断部件12判断成像主题是否属于彩色，以及像素内插器26、28、30等等，其根据判断本题是否属于彩色的彩色判断部件12中判断的信号在像素内插法之间切换，当彩色判断部件12判断主题属于彩色时，对于使用示出基于来自相关性检测器25、27、29等等的信息的强相关的像素的内插，像素内插器26 28、30等等给予高优先级。提供彩色判断部件以及像素内插器允许彩色像素的内插和由此与简单平均像素内插相比扩展的频带。此外，与简单平均像素内插相比彩色主题中的错误颜色被抑制。
尽管以上所述是在“白色像素”用作高灵敏度像素的实例的情况下作出，但是严格地说高灵敏度像素不局限于(理想的)白色或透明像素，还可以是其它像素，只要它们的灵敏度高于用于获得彩色再生的彩色分量的传统的原色像素或补色像素。例如，高灵敏度像素可以是拥有灰色滤波器的像素，其通过将少量遮光的分量与理想的白色或透明状态混合而获得，或可以是拥有滤波器的像素，其通过将少量的染色分量与理想的白色或透明状态混合而获得。然而，从执行信号处理的观点来看，其中发射光的彩色分量是很好平衡的滤波器(诸如灰色滤波器)与其中特定染色分量以不均衡的方式混合的滤波器相比是优选的。
本领域的技术人员应该理解的是，在附加权利要求或其中等效的范围内取决于设计要求及其它因素不同的修改、组合、子组合和变更可以发生。
权利要求
1.一种成像装置，包括具有多个彩色像素以及高灵敏度像素的图像传感器，所述高灵敏度像素对入射光具有比以棋盘形图案的方式排列的彩色像素更高的灵敏度；相关性检测器，根据高灵敏度像素信号分量以及彩色像素信号分量检测成像主题的相关性；彩色判断部件，根据彩色像素信号分量判断该成像主题是否属于彩色；和像素内插器，将根据在判断该主题是否属于彩色的彩色判断部件里判断的信号在像素内插法之间切换，当彩色判断部件断定主题属于彩色时，基于来自相关性检测器的信息，所述像素内插器将高优先权给予使用示出强相关性的像素的内插。
2.根据权利要求1的成像装置，其中高灵敏度像素是白色像素或灰色像素。
3.根据权利要求1的成像装置，还包括色度内插部件，其应用相关性结果来判断该像素内插以便产生色度信号，所述相关性结果从该高灵敏度像素中检测并且从使用亮度信号作为检测信号的相关性检测部件输出。
全文摘要
一种成像装置包括具有多个彩色像素以及高灵敏度像素的图像传感器，所述高灵敏度像素对入射光具有比以棋盘形图案的方式排列的彩色像素更高的灵敏度，相关性检测器，根据高灵敏度像素信号分量以及彩色像素信号分量检测成像主题的相关性，彩色判断部件，根据彩色像素信号分量判断成像主题是否属于彩色，和像素内插器，根据在判断彩色图像是否属于彩色的彩色判断部件里判断的信号在像素内插法之间切换，当彩色判断部件断定主题属于彩色时，基于来自相关性检测器的信息，所述像素内插器将高优先权给予使用示出强相关性的像素的内插。
文档编号H04N9/07GK101080023SQ20071012920
公开日2007年11月28日 申请日期2007年4月16日 优先权日2006年4月14日
发明者佐藤正章, 齐藤新一郎, 张洪伟 申请人:索尼株式会社