图像处理设备、图像处理方法及程序的制作方法

专利名称：图像处理设备、图像处理方法及程序的制作方法
技术领域：
本公开涉及图像处理设备、图像处理方法及程序，更具体地，涉及能够减少发生在图像中的锯齿的图像处理设备、图像处理方法及程序。
背景技术：
例如，当将由相机捕获的图像打印 输出或显示时，输出对象的图像轮廓不同于原始对象的轮廓。即，在某些情况下，输出对象的图像轮廓输出为阶梯状、锯齿状的轮廓。阶梯状、锯齿状的形状通常被称为锯齿(jaggy)。锯齿是一种图像失真噪声。迄今为止已经提出了各种减少锯齿的图像处理方法。例如，日本未审查专利申请公开第2010-67272号公开了一种通过确定执行边缘检测的方向、以及通过增加在还平行于边缘的方向上的平滑分量的权重并且执行每个方向上的混合处理来减少锯齿的方法。但是，该方法具有的问题在于，由于当使用质心偏移的像素执行边缘保持平滑时，以亚像素为单位在垂直于边缘的方向上彼此偏离的像素之间执行平滑，所以分辨率会恶化。另外，日本未审查专利申请公开第2009-070123号公开了一种通过使低分辨率的图像经过高分辨率处理而在边缘附近具有高分辨率来抑制锯齿的重点的方法。但是，会出现的问题在于，在高分辨率处理中计算量通常相当大，并且通过小尺寸的电路难以实现。另外，日本未审查专利申请公开第2004-234623号公开了一种生成高质量图像的方法，其中，通过匹配和叠加连续捕获的图像的位置来减少锯齿。但是，在该方法中，会出现的问题在于，即使当匹配位置稍微彼此偏移时，边缘也变得模糊，因此分辨率恶化。另外，还会出现的问题在于，难以既考虑到作为整个图像的运动信息的全局运动又考虑到作为部分运动信息的局部运动来准确地计算图像间的位置偏移，以及难以提高图像的整个区域的分辨率。

发明内容
期望提供一种能够以简单的配置来实现锯齿的减少的图像处理设备、图像处理方法及程序。根据本公开的实施例，提供了一种图像处理设备，包括边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。在根据本公开的实施例的图像处理设备中，多个方向可为水平方向、垂直方向、右上方向和左上方向的四个方向。在根据本公开的实施例 的图像处理设备中，像素数目减少图像可为具有拜耳(Bayer)布置图像的图像。在根据本公开的实施例的图像处理设备中，像素数目减少图像可为具有拜耳布置图像的图像，以及校正对象像素是G像素。在根据本公开的实施例的图像处理设备中，边缘强度计算单元可以以将校正对象像素用作中心像素的像素块为单位计算多个拉普拉斯绝对值，以及通过应用计算的多个拉普拉斯绝对值来计算在校正对象像素的位置处的多个方向的边缘强度。在根据本公开的实施例的图像处理设备中，内插像素值计算单元可基于存在于像素块中设定的特定方向的线上的像素的像素值来计算多个平滑分量，以及基于计算的多个平滑分量来计算作为对应于校正对象像素的平滑分量的内插像素值。在根据本公开的实施例的图像处理设备中，内插像素值计算单元可基于包括在像素数目减少图像中并且发生质心偏移的像素来计算内插像素值。在根据本公开的实施例的图像处理设备中，权重计算单元可执行将预定的裁剪函数应用于由边缘强度计算单元计算的多个方向的边缘强度中的每个的裁剪处理，以及基于经过裁剪处理的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重。在根据本公开的实施例的图像处理设备中，像素数目减少图像可为具有拜耳布置图像的图像，而校正对象像素为G像素。图像处理设备还可包括去马赛克处理单元，其对具有由混合处理单元输出的G像素的校正图像执行去马赛克处理。在根据本公开的实施例的图像处理设备中，去马赛克处理单元可使用拜耳布置中的G像素与R像素之间的关系和拜耳布置中的G像素与B像素之间的关系来执行设定各个像素的RGB像素值的去马赛克处理。根据本公开的另一实施例的图像处理设备，提供了一种图像处理设备，包括图像校正单元，其基于未经过像素增加或疏化处理的原始图像的分辨率，来计算从通过成像元件中的像素增加或疏化处理而获得的原始图像中的对象G像素的中心穿过的边缘方向，以及对在垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘的方向上对投影的G像素执行重采样处理，使用作为重采样像素的像素值的重采样信号来执行确定对象G像素的像素值的处理。在根据本公开的实施例的图像处理设备中，图像校正单元通过以下方式来确定对象G像素的像素值用预定的特定方向的边缘分量的线性总和来表示边缘方向，对特定方向的每个边缘分量执行重采样处理，以及以与线性总和表示的边缘分量的比率基本上相同的比率对特定方向中的多个方向的重采样信号执行加权平均。根据本公开的又一实施例，提供了一种成像设备，包括成像元件；像素数目减少单元，其通过减少由成像元件捕获的图像的像素的总数目来生成像素数目减少图像；边缘强度计算单元，其将像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。根据本公开的再一实施例，提供了一种在图像处理设备中处理图像的图像处理方法。图像处理方法包括由边缘 强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；由内插像素值计算单元计算作为像素块中的多个方向的平滑分量的内插像素值；由权重计算单元基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及由混合处理单元通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。根据本公开的再一实施例，提供了一种程序，其使执行图像处理的图像处理设备执行由边缘强度计算单元将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度；由内插像素值计算单元计算作为像素块中的多个方向的平滑分量的内插像素值；由权重计算单元基于由边缘强度计算单元计算的多个方向的边缘强度，来计算作为多个方向的平滑分量的内插像素值的权重；以及由混合处理单元通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。根据本公开实施例的程序是提供给例如能够执行由存储介质或通信介质以计算机可读格式提供的各种程序代码的信息处理设备或计算机系统的程序。通过以计算机可读形式提供程序，根据信息处理设备或计算机系统上的程序来实现处理。根据下述实施例的详细说明或附图，本公开实施例的其它目的、特点、或优点是明显的。另外，说明书中的系统具有多个设备的逻辑集合配置。具有分离配置的设备可不包括在同一壳体中。根据本公开实施例的配置，可以通过校正像素数目减少图像的处理来创建锯齿减少的高质量图像。具体地，例如，将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以将从输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度，计算内插像素值作为像素块中的多个方向的平滑分量，基于由边缘强度计算单元计算的多个方向的边缘强度计算内插像素值的权重作为多个方向的平滑分量；以及通过执行作为多个方向的平滑分量的内插像素值和由权重计算单元计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。通过处理来校正像素数目减少图像中的质心偏移，从而减少锯齿。


图IA和IB是图示与像素数目减少处理有关的问题的图；图2A和2B是图示与像素数目减少处理有关的问题的图；图3是图示锯齿的产生的 图，其中锯齿是像素数目减少处理中的问题；图4是图示作为图像处理设备的示例的成像设备的配置示例的图；图5是图示由图像处理设备执行的处理的概要的图；图6是图示计算水平(H)(=横向)方向的拉普拉斯绝对值的处理的图；图7是图示计算垂直(V)(=纵向)方向的拉普拉斯绝对值的处理的图；图8是图示计算右上(R)方向的拉普拉斯绝对值的处理的图；图9是图示计算左上(L)方向的拉普拉斯绝对值的处理的图；图10是图示用于计算拉普拉斯绝对值的加权平均的滤波器结构的示例的图；图IlA和IlB是图示像素增加处理的示例的图；图12A和12B是图示水平方向和垂直方向的增加比率均被设定为I : 3的像素增加处理的图；图13A和图13B是图不当发生像素质心偏移时和当未发生像素质心偏移时右上倾斜方向的采样间隔时间的差别的示例的图；图14是图示当以水平比率I : I和垂直比率I : I执行增加处理时的内插处理的示例的图；图15是图示计算与具有左上(L)方向的边缘的图案对应的平滑G分量(GJ的处理的图；图16是图示计算与具有左上(L)方向的边缘的图案对应的平滑G分量(GJ的处理的图；图17A和17B是图示在右上(R)方向的边缘图案的情况下计算右上方向(R)的平滑G分量(Gk)的处理的图；图18是图示当以水平比率I : 3和垂直比率I : I执行增加处理时的内插处理的示例的图；图19是图示当以水平比率I : 3和垂直比率I : I执行增加处理时的内插处理的示例的图；图20是图示各个G像素与在右上和左下方向上以45度倾斜并且与穿过中心处的4像素块的中心的边缘方向(左上(L)方向)垂直的直线之间的距离的图；图21是图示当以右上(R)方向的边缘图案对内插信号进行重采样以及计算对象平滑G分量(Gk)时的距离分布的图；图22是图示计算水平⑶方向的平滑G分量(Gh)的处理的图；图23是图示用于对拉普拉斯值总和D执行由阈值确定的裁剪处理的裁剪函数的示例的图；图24是图示当在任意方向上检测到边缘时的处理的图；图25是图示图像校正单元的配置和处理的概要的图；图26A至26C是图示要被图像校正单元处理的像素块的示例的图；图27是图示偏置值计算单元的处理的图28是图示四方向边缘强度计算单元的处理的图；图29是图示四方向边缘强度计算单元的处理的图；图30是图示四方向内插像素值计算单元的处理的图；图31是图示四方向内插像素值计算 单元的处理的图；图32是图示四方向内插像素值计算单元的处理的图；图33是图示四方向权重计算单元的处理的图；以及图34是图示混合处理单元的处理的图。
具体实施例方式下文中，将参考附图描述本公开的实施例的图像处理设备、图像处理方法及程序。将按照下面的顺序对其进行说明。I.图像中锯齿的产生2.图像处理设备的配置实例3.信号处理单元的处理的概要4.图像校正单元的处理4-1.(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(Dh、Dv、De和队)的处理4-2.(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ的处理4-3.(第三处理)根据通过第一处理计算的四个方向的边缘强度(Dh、Dv、Dk和队)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk和Gl)相乘的权重(^為為和^)的处理4-4.(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ乘以通过第三处理计算的权重(WH、Wv、We和\)的混合处理来计算输出像素值的处理5.去马赛克处理6.与任意方向的边缘对应的处理7.图像校正单元的配置和处理的概要7-1.偏置值计算单元的处理7-2.四方向边缘强度计算单元的处理7-3.四方向内插像素值计算单元的处理7-4.四方向权重计算单元的处理7-5.混合处理单元的处理8.本公开的配置概要I.图像中锯齿的产生如上所述，当打印并输出、或显示由相机捕获的图像时，输出图像中包含的对象的图像轮廓不同于原始对象的轮廓。即，在某些情况下，对象的图像轮廓被输出为阶梯状、锯齿状的轮廓。锯齿状的形状通常被称为锯齿。
例如，即使当对通过由具有大量像素的高分辨率成像元件捕获的图像执行像素疏化处理或像素合成处理而创建的像素数目减少的输出图像时，也产生锯齿。近来许多成像设备具有拥有诸如几百万像素至几千万像素的非常大量像素的成像元件，以捕获高分辨率的图像。然而，很少使用能够输出与具 有成像元件的像素数目的图像对应的高分辨率图像的显示设备。而且，当没有任何改变地记录从成像元件输出的高分辨率图像时，记录高分辨率图像所需的存储器容量会增加，因此记录的图像数目会减少。考虑到该情形，在许多情况下，包括具有大量像素的成像元件的成像设备通过执行使输出像素的数目疏化而不是无任何改变地记录从成像元件输出的像素信号、或者通过执行包括多个像素的相加操作的处理，来执行减少像素的总数目以及将数目减少的像素记录在存储器中的处理。然而，会出现的问题在于，由于像素数目转换处理，输出图像中产生锯齿。将结合附图描述由于像素数目的减少而产生的锯齿。图IA示出成像元件的像素布置(拜耳布置)，而图IB示出输出像素的像素质心。图IA中所示的像素布置是布置了成像元件的大量像素的像素布置。捕获的图像具有关于大量像素的像素信息。通过减少像素的数目来创建要存储在存储器中的图像。例如，基于图IA中所示的成像元件中的具有相同颜色的四个像素来设定和输出输出图像的单个像素的像素值。S卩，通过将四个像素聚集成单个像素以及输出该单个像素来减少像素的总数目。在图IB中，输出像素的像素质心是原始成像元件中的像素数目减少之后的输出像素的像素质心。例如，图IB中所示的Gb像素31具有均匀地使用图IA中所示的3X3像素块21的四个角上的Gb像素的像素值确定的像素值。像素质心设定在3X3像素块21的中心位置。表示质心位置的像素是图IB中所示的Gb像素31。图IA和IB示出将输出图像的像素数目减少到成像元件的像素数目的1/4，即将图IA中所示的8X8 = 64个像素减少到图IB中所示的4X4 = 16个像素。在该处理中，例如，对图IA中所示的3X3像素块21的四个角上的Gb像素执行加法平均处理，然后计算输出图像的单个Gb像素的像素值。S卩，基于图IA中所示的3X3像素块21的四个Gb像素来计算图IB所示的Gb像素31的像素值。在这种情况下，按照水平右方向为X而垂直向下方向为y的坐标系，输出图像中的Gb像素31的质心位于(X，y) = (2,2)的位置，即图IB中所示的Gb像素31的位置。基于图IA中所示的3X 3像素块22的四个B像素来计算图IB中所示的B像素32的像素值。在这种情况下，输出图像中的B像素32的质心位于(X，y) = (3,2)的位置，即图IB中所示的B像素32的位置。同样地，基于图IA中所示的3X3像素块23的四个Gb像素来计算图IB中所示的Gb像素33的像素值。在这种情况下，输出图像中的Gb像素33的质心位于(x，y) = (6,2)的位置，即图IB中所示的Gb像素33的位置。同样地，基于图IA中所示的3X3像素块24的四个B像素来计算图IB中所示的B像素34的像素值。在这种情况下，输出图 像中的B像素34的质心位于(X，y) = (7,2)的位置，即图IB中所示的B像素34的位置。当对图像设定16个像素时，图IB中所示的全部16个像素输出为具有4X4像素的图像。S卩，如图2B所示，16个像素输出为具有4X4像素的图像70。图2A示出输出像素的像素质心(如图1B)。图2B示出输出图像的像素位置。在图2B中，认为左上侧上的包括2X2像素、即Gb像素31和B像素32的2X2像素块是固定的。在该设定的示例中，其它三个2X2像素块均按照图2B中所示的箭头(α )、(β)和(Y)移动，并且输出为图2Β中所示的4X4像素图像70的组成像素。由于该位移处理而出现下面的问题。例如，像素质心位于位置(X，y) = (6,2)处的Gb像素33被设定为输出图像中像素位置是(X，y) = (3,2)的Gb像素53。而且，像素质心位于位置(x，y) = (7,2)处的B像素34被设定为输出图像中位于像素位置(x，y) = (3,3)处的B像素54。此处，计算减少比率。像素位置(X，y) = (2,2)处的Gb像素31被假定为位于固定位置处的参考像素。在图2A所示的像素位置(x，y) = (6,2)处的Gb像素33与用作参考像素的Gb像素31相距四个像素。在输出图像中，由于Gb像素33被设定为位于像素位置(x，y) = (3,2)处的Gb像素53，所以Gb像素53与用作参考像素的Gb像素31之间的距离是两个像素。g卩，减少比率是2个像素/4个像素=1/2。另一方面，在图2A所示的像素位置(X，y) = (7,2)处的B像素34与用作参考像素的Gb像素31相距五个像素。在输出图像中，由于B像素34被设定为位于像素位置(x，y) = (4,2)处的B像素54，所以B像素54与用作参考像素的Gb像素31之间的距离是三个像素。即，减少比率是3个像素/5个像素=3/5。由于该原因，像素之间的减少比率是分散的，因此可创建这样的输出图像该输出图像具有与捕获图像的每个像素的相对位置不同的相对位置，其中捕获图像对应于成像元件的像素布置。S卩，可创建这样的输出图像，在该输出图像中，不均匀地减少由成像元件捕获的原始图像的像素之间的距离。像素之间的不均匀距离可导致图像质量的恶化。具体地，例如，如图3所示，锯齿扩大，从而导致恶化。图3的(A)部分所示的原始图像是具有大量像素并且与成像元件捕获的图像对应的高分辨率图像。在该图像中，锯齿小。如参考图1A、图1B、图2A和图2B所描述的，当图3的(A)部分所示的原始图像经过使相对像素位置分散的像素数目减少处理时，如图3的(B)部分所示，会创建锯齿扩大的图像。而且，锯齿是一种图像失真噪声。由于相加计算后像素质心之间的不均匀距离，锯齿进一步恶化。而且，RGB颜色组合之间的位置关系 可能是不规则的，因此输出图像的颜色可能不同于原始图像的颜色。这样，产生图像质量的各种恶化。根据本公开实施例的图像处理设备实现抑制由于像素数目的减少而产生锯齿的处理。2.图像处理设备的配置示例将参考图4描述成像设备的配置，该成像设备是根据本公开实施例的图像处理设备的示例。图4是图示成像设备的示例的框图。穿过光学透镜101的光入射在例如由CMOS成像传感器配置的成像元件102上，以及通过光电转换输出图像数据。输出的图像数据输入到信号处理单元103。信号处理单元103执行一般相机的信号处理，例如白平衡(WB)调整、伽马调整、或去马赛克处理。而且，信号处理单元103执行像素数目减少处理和实现锯齿减少的图像校正处理，以生成输出图像120。输出图像120存储在存储单元(未示出)中。替选地，输出图像输出到显示单元。控制单元105根据存储器(未示出)中存储的程序向每个单元输出控制信号，以及控制各种处理。3.信号处理单元的处理的概要如上所述，信息处理单元103不仅执行一般相机的信号处理，而且执行像素减少处理和实现锯齿减少的图像校正处理。将参考图5描述处理的概要。图5示出如下的三个图像数据(a)部分，捕获的图像，(b)部分，像素数目减少的图像；以及(C)部分，像素数目减少并校正的图像。如图5所示,信号处理单元103包括像素数目减少单元151、图像校正单元152、去马赛克处理单元153。捕获的图像(a)是成像元件102捕获的图像，并且是按照成像元件102的像素单位来设定像素值的图像数据。在该实施例中，将描述具有拜耳布置(RGrGbB)的成像元件的输出的处理示例。在图5所述的像素数目减少的图像(b)中，示出了通过将捕获的图像(a)的像素数目减少到像素数目的1/4而获得的图像像素的像素质心的位置。各自用圆形框表示像素数目减少的图像的像素。像素数目减少的图像的像素质心位于原始的捕获的图像(a)中的给定位置。像素数目减少单元151输入捕获的图像(a)以及对例如四个Gb像素的像素值执行相加平均处理以计算单个Gb像素的像素值。像素数目减少单元151首先对位于与以上参考图IA和IB描述的像素块相同的3X3像素块的四个顶点处的Gb像素的像素值执行相加平均处理。像素数目减少单元151根据所 有R像素、Gr像素、Gb像素和B像素的四个像素值来计算单个输出像素值，以及创建像素数目减少到1/4的像素数目减少的图像(b)。该处理与以上根据现有技术参考图1A、图1B、图2A和图2B描述的像素数目减少处理相同。像素数目减少的图像(b)中由圆形框指示的R像素、Gr像素、Gb像素和B像素的像素位置是参考图IB描述的像素质心的像素位置。当以这种方式创建输出图像时，输出图像可为产生参考图2A、图2B和图3所描述的锯齿的图像。因此，在根据该实施例的图像处理设备中，图5的(b)部分所示的像素数目减少的图像输入到信号处理单元103的图像校正单元152，以及执行图像校正处理以移动像素质心。通过图像校正单元152的图像校正处理，来创建图5的(C)部分所示的像素数目减少并校正的图像。图5的(b)部分所示的像素数目减少的图像与图5的(C)部分所示的像素数目减少并校正的图像的区别在于，Gb像素和Gr像素的像素质心的位置移动。以这种方式，根据该实施例的图像处理设备执行移动Gb像素和Gr像素的像素质心的处理。在图5的(C)部分所示的像素数目减少并校正的图像中，通过移动像素质心的处理，将每个颜色信号的相对位置设定成基本上与捕获的图像中的相同。即，可将像素数目减少并校正的图像中的每个颜色(RGrGbB)的相对位置设定成基本上与作为原始图像的捕获图像(a)中的每个颜色的相对位置相同。在以下描述的实施例中，仅对RGrGbB像素结构的拜耳布置中的G像素(Gr和Gb)执行处理。G像素与整个图像的像素的比率高。所以，即使当仅对G像素执行处理时，也可以获得充分的锯齿减少的优点。作为处理结果，由于抑制锯齿产生，如以上参考图3所描述的，可以创建高质量的像素数目减少并校正的图像。去马赛克处理单元153基于图5的(C)部分所示的像素数目减少并校正的图像执行去马赛克处理，以创建在每个像素中设定所有颜色信息(RGrGbB)的图像数据。4.图像校正单元的处理下文中，将描述获得锯齿减少优点的由根据本公开实施例的图像处理设备执行的图像校正处理，即由图5所示的图像校正单元152执行的处理。如以上参考图5所描述的，图像校正单元152执行校正图5的(b)部分所示的像素数目减少图像的处理，该像素数目减少图像是通过像素相加处理或像素疏化处理而创建的原始图像。此处，原始图像指的是未经过去马赛克处理并且每个像素中仅设定一个像素值的图像。图像校正单元152通过调整质心偏移来减少现有技术中可能很少被校正的由于像素质心的偏移而导致的锯齿。具体地，图像校正单元152执行的处理包括四个处理，即以下描述的第一处理至第四处理(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(Dh、DpD1^P Dl)的处理；(第二处理)计算全部四个方向，即水平 方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PG)的处理；(第三处理)根据通过第一处理计算的四个方向的边缘强度(DinDvA1^PDL)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Ge和GJ相乘的权重(WH、Wv、We和WJ的处理；以及(第四处理)通过将通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk和GJ乘以通过第三处理计算的权重(WH、WV、W1^PWJ的混合处理来计算输出像素值的处理。下文中，将依次描述每个处理(第一处理至第四处理)。4-1.(第一处理)使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(Dh、Dv、De和队)的处理首先，将描述第一处理，S卩，使用像素数目减少图像(原始图像)的G分量来计算全部四个方向，即水平方向⑶、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(DH、DV、DjPI\)的处理。图像校正单元152输入图5的(b)部分所示的像素数目减少图像(原始图像)，以及执行使用包括在输入的像素数目减少图像中的像素中的G(Gr和Gb)像素的像素值来计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的边缘强度(DH、DV、DjPI\)的处理。在以下描述的实施例中，将描述这样的处理示例，在该处理示例中，由成像元件102捕获的图像和由信号处理单元创建的像素数目减少图像均具有RGrGbB的拜耳布置。图像校正单元152使用包括在像素数目减少图像具有的拜耳布置中的G (Gr和Gb)像素的像素值，来计算与像素值的二次差分值的绝对值对应的拉普拉斯绝对值。而且，图像校正单元152计算预设的边缘强度计算区域中的G (Gr和Gb)像素的像素值的拉普拉斯绝对值的加权平均，以及计算在每个区域处的边缘强度。下文中，将描述计算全部四个方向，即水平方向(H)(=横向)、垂直方向(V)(=纵向)、右上方向(R)和左上方向(L)的G(Gi^PGb)像素的像素值的拉普拉斯绝对值的具体示例。a.计算水平⑶(=横向)方向和垂直(V)(=纵向)方向的拉普拉斯绝对值的处
理首先，将参考图6和图7描述计算水平⑶(=横向)方向和垂直(V)(=纵向)方向的拉普拉斯绝对值的处理。现在，将参考图6描述计算水平(V)(=横向)方向的拉普拉斯绝对值的处理。图6所示的图像是与图5的(b)部分所示的像素数目减少图像对应的像素数目减少图像201 (原始图像)。图5的(b)部分所示的像素数目减少图像是将像素数目减少图像的像素质心的位置示出在原始的捕获图像的像素布置中的图像，而图6所示的像素数目减少图像201对应于通过合并图5的(b)部分所示的彼此相隔的像素而创建的像素数目减少图像。即，像素数目减少图像201是通过设定以上参考图2B描述的像素位置而创建的像素数目减少图像(原始图像)。图6所示的像素数目减少图像201是 存在以下问题的图像由于各个颜色的像素质心的相对位置偏离原始的捕获图像的像素布置中的各个颜色的像素质心的相对位置，所以会产生以上参考图3描述的锯齿。图6所示的像素数目减少图像201具有拜耳布置。所以，G(Gr或Gb)像素每两个像素地出现在水平(H)(=横向)方向和垂直(V)(=纵向)方向两者中。使用G分量计算拉普拉斯绝对值。将描述计算水平(H)(=横向)方向的拉普拉斯绝对值的方法。作为一个示例，将描述以下情况在该情况中，计算在图6所示的图像201中的像素Gr2211的位置处的水平(H)(横向)方向的拉普拉斯绝对值L&2 H。当图像校正单元152计算在图6所示的图像201中的像素Gr2211的位置处的水平(H)(横向)方向的拉普拉斯绝对值Lfo2jl时，图像校正单元152通过等式(等式I)使用在水平(H)(=横向)方向上与Gr2211相距一个像素的像素Grl和Gr3的像素值来执行计笪LGr2 H = Gr1-2Gr2+Gr3......(等式 I)在该等式中，L&2 H是在像素Gr2位置处的水平⑶(=横向)方向的拉普拉斯绝对值，Grl是在横向方向上与像素Gr2相距一个像素的位置处的像素Grl的像素值，Gr2是像素Gr2的像素值，以及Gr3是在横向方向上与像素Gr2相距一个像素的位置处的像素Gr3的像素值。图像校正单元152通过以上的等式(等式I)计算在G分量、即包括在像素数目减少图像201中的像素Gr和Gb的像素位置处的横向方向的拉普拉斯绝对值。例如，当计算在图6所示的像素Gb2212的位置处的水平(H)(=横向)方向的拉普拉斯绝对值Leb211时，通过以上的等式(等式I)使用在横向方向上与像素Gb2212相距一个像素的位置处的像素Gbl和Gb3的像素值来执行计算。在以上的等式(等式I)中，分别用Gbl、Gb2和Gb3替换GrU Gr2和Gr3，以及计算在像素Gb2212的位置处的水平(H)(=横向)方向的拉普拉斯绝对值Leb2 H。还使用在纵向方向上相距一个像素的G分量来计算垂直(V)(=纵向)方向的拉普拉斯绝对值。例如，当计算在图7所示的像素Gb5221的位置处的垂直(V)(=纵向)方向的拉普拉斯绝对值Leb5 v时，通过以上的等式(等式I)使用在纵向方向上与像素Gb5221相距一个像素的位置处的像素Gbl和Gb9的像素值来执行计算。在以上的等式(等式I)中，分别用Gb5、Gbl和Gb9替换GrU Gr2和Gr3，以及计算在像素Gb5221的位置处的垂直(V)(=纵向)方向的拉普拉斯绝对值Leb5 v。例如，当计算在图7所示的像素Gr5222的位置处的垂直(V)(=纵向)方向的拉普拉斯绝对值Lfo5-￥时，通过以上的等式(等式I)使用在纵向方向上与像素Gr5222相距一个像素的位置处的像素Grl和Gr9的像素值来执行计算。
在以上的等式(等式I)中，分别用Gr5、Grl和Gr9替换Grl、Gr2和Gr3，以及计算在像素Gr5222的位置处的垂直(V)(=纵向)方向的拉普拉斯绝对值Leri v。b.计算右上(R)方向和左上(L)方向的拉普拉斯绝对值的处理接下来，将参考图8和图9来 描述计算右上倾斜方向和左上倾斜方向，即右上(R)方向和左上(L)方向的拉普拉斯绝对值的处理。使用倾斜方向上的对象G像素和在倾斜方向上邻近的三个G像素来计算拉普拉斯绝对值。将参考图8来描述计算右上(R)方向的拉普拉斯绝对值的处理。例如，当计算在图8所示的像素Gb5231的位置处的右上(R)方向的拉普拉斯绝对值Leb5 κ时，通过下面的等式(等式2)使用像素Gb5的像素值、和位于右上位置的像素Gr2的像素值和位于左下位置的像素Gr3的像素值来执行计算，其中像素Gr2和像素Gr3是出现在右上倾斜方向上的G分量像素。LGb5 E = I Gr2-2Gb5+Gr31......(等式 2) 在该等式中，Leb5 κ是在像素Gb5的位置处的右上(R)方向的拉普拉斯绝对值，Gr2是在像素Gb5的右上位置处的像素Gr2的像素值，Gb5是像素Gb5的像素值，以及Gr3是在像素Gb5的左下位置处的像素Gr3的像素值。还通过诸如以上等式(等式2)的计算等式来计算左上(L)方向的拉普拉斯绝对值。例如，当计算在图9所示的像素Gb5231的位置处的左上(L)方向的拉普拉斯绝对值LebU时，通过以上等式(等式2)使用像素Gb5的像素值、和位于左上位置的像素Grl的像素值和位于右下位置的像素Gr4的像素值来执行计算，其中像素Grl和像素Gr4是出现在左上(L)倾斜方向上的G分量像素。在等式2中，使用Grl和Gr4，而不是Gr2和Gr3。如以上参考图5所描述的，要由图像校正单元152计算拉普拉斯绝对值的图像是图5的(b)部分所示的像素数目减少图像。像素数目减少图像是通过由像素相加处理或像素疏化处理减少原始的捕获图像(a)的像素数目而获得的图像。如以上参考图2A和图2B所描述的，在像素数目减少图像中，在某些情况下会发生像素质心的偏移。基于发生像素质心偏移的像素数目减少图像(b)计算的拉普拉斯绝对值不同于基于作为原始图像的捕获图像(a)计算的拉普拉斯绝对值。即，计算与期望要计算的角度偏离的方向的拉普拉斯绝对值。然而，误差最大为10%或更少。已经定量地验证了何时计算四个方向的强度的比率没有影响。图像校正单元152计算四个拉普拉斯绝对值(I)水平(H)方向的拉普拉斯绝对值；(2)垂直(V)方向的拉普拉斯绝对值；(3)右上(R)方向的拉普拉斯绝对值；以及(4)左上(L)方向的拉普拉斯绝对值。以这种方式，图像校正单元152使用包括在像素数目减少图像中的G分量(Gr和Gb)来计算各个方向上的拉普拉斯绝对值。接下来，图像校正单元152通过计算G位置处的拉普拉斯绝对值的加权平均来计算边缘强度。通过执行以下处理来计算拉普拉斯绝对值的加权平均该处理执行加权平均处理，即，计算在NXN像素中出现的全部G位置处所 计算的拉普拉斯绝对值的加权平均值的处理，其中，在NXN像素中，作为边缘强度计算对象的像素用作中心像素。将大权重给予与作为边缘强度计算对象的像素对应的中心像素的拉普拉斯绝对值，而将小权重给予周边像素。图10示出权重的设定示例。在图10所示的示例中，按照NXN = 5X5像素的区域设定权重。在图10所示的示例中，如下设定权重。对作为边缘强度计算对象的G像素(Gr或Gb)设定权重36，对四个周边G (Gr或Gb)像素给定权重16，对水平方向和垂直方向上的四个周边G (Gr或Gb)像素设定权重6，以及对倾斜方向上的四个G(Gr或Gb)像素设定权重I。图像校正单元152使用权重来计算在各个G位置处计算的拉普拉斯绝对值的加权平均，以及计算指示中心位置处的G像素的边缘强度的拉普拉斯绝对值的加权平均值。而且，需要执行归一化，使得权重之和在实际计算时变成I。图像校正单元152通过上述处理以像素数目减少图像的G像素(Gr和Gb)为单位计算下面的值(I)Dh :水平⑶方向的拉普拉斯绝对值的水平方向拉普拉斯值总和(加权平均值)；(2)DV:垂直(V)方向的拉普拉斯绝对值的垂直方向拉普拉斯值总和(加权平均值)；(3)De :右上(R)方向的拉普拉斯绝对值的右上方向拉普拉斯值总和(加权平均值)；以及(4)Dl :左上(L)方向的拉普拉斯绝对值的左上方向拉普拉斯值总和(加权平均值)。4-2.(第二处理)计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GinGpG1^PGJ的处理接下来，将描述第二处理，即计算全部四个方向，即水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GH、GpG1^P GD的处理。在该方法中，通过积极地使用由像素相加导致的像素质心的偏移来实现内插处理，以抑制分辨率的恶化。首先，将描述由于像素相加处理而导致的像素质心的偏移，然后将描述与两种像素相加处理对应的平滑G分量(GpGpG1^Pq)的具体计算示例。例如，通过在执行成像处理时对累积在成像元件(成像传感器)102的每个像素中的电荷的模拟输出信号进行的重采样处理，来实现像素相加处理。具体地，通过设定两个像素的输出相加结构，来实现成像元件102的每个像素的输出电路。例如，提供了一种以I : I的比率将在成像元件(成像传感器)102的水平方向和垂直方向上彼此邻近的具有相同颜色的四个像素相加、或者仅在水平方向上执行加权相加的方法。将参考图IlA和图IlB描述像素相加处理的示例。
图IIA和图IlB示出对包括在成像元件(成像传感器)102的3 X 3像素块中的具有相同颜色的像素进行的像素相加处理的示例。图IlA和图IlB示出均匀地 计算包括在3X3像素块中的四个R像素的像素值、计算像素值的平均值、以及计算像素数目减少图像的输出像素值(R像素值)的处理的示例。图IlA示出捕获图像的像素相加处理(在R像素的情况下)的示例。图IlB示出经过像素相加处理的像素数目减少图像的像素质心(在R像素的情况下)。图IlA和图IlB所示的处理的示例是基于具有相同颜色的四个像素的像素值来设定像素数目减少图像中的单个像素的像素值的处理，并且是产生通过将像素数目减少到由成像元件得到的原始的捕获图像的像素的总数目的1/4而获得的像素数目减少图像的处理。图IlA和图IlB示出均匀地将四个像素的像素值相加的处理的示例，即按照水平II和垂直I:I的设定而进行的像素相加处理的示例。在图IlB中，经过像素相加处理的像素数目减少图像的像素质心(在R像素的情况下)指示像素数目减少图像中的R像素的像素质心。用圆指示的R部分表示中心位置。R像素的质心不是位于4像素单元块的中心，而是位于偏置在4像素单元块的右下方向上的位置处。图IlA和图IlB中描述的处理是将像素数目减少到1/4的像素数目减少处理。优选地将像素质心设定在4像素单元块的中心位置处。即，当将像素数目减少图像的每个像素的像素质心设定在4像素单元块的中心位置处时，产生相对位置与像素数目减少之前的捕获图像的每个颜色的相对位置相同的像素数目减少图像。所以，如以上参考图IA至图3所描述的，可以抑制锯齿由于像素质心的偏移而产生。图IlB所示的像素质心的偏移发生在与以上参考图IA至图3所描述的处理相同的处理中，并且会产生锯齿。g卩，由于在这样的普通的像素相加处理中发生简单的重采样效果和像素质心的偏移，所以会产生锯齿。原本，像素质心的偏移仅导致图像质量的恶化。然而，与根据现有技术的方法相t匕，在该方法中通过积极地使用像素质心的偏移，可以实现锯齿的减少，因此可以实现分辨率恶化的减少。将描述减少锯齿的处理的概要。如图IlA所示，当通过使用具有相同颜色的四个像素执行像素相加处理以及以水平I : I和垂直I : I的比率执行像素相加处理、即均匀地将四个像素的像素值相加的处理来计算像素数目减少图像的单个像素的像素值时，设定如图IlB所示的像素质心。因此，由于像素质心的偏移而出现锯齿。为了解决该问题，例如，如图12A和图12B所示，可执行将水平方向和垂直方向的相加比率均设定成I:3的像素相加处理。图12A和图12B所示的像素相加处理是基于包含在图IlA和图IlB的3X3像素块中的具有相同颜色的四个像素的像素值来计算像素数目减少图像的单个像素的像素值的处理的示例。图12A示出像素相加处理(在Gr像素的情况下)的示例。图12B示出经过像素相加处理的像素数目减少图像中的像素质心(在Gr像素的情况下)。在图12B中，经过像素相加处理的像素数目减少图像的像素质心(在Gr像素的情况下)指示像素数目减少图像中的Gr像素的像素质心。用圆(O)指示的Gr部分表示质心位置。图12B所示的示例不 同于图IlB所示的示例。即，将Gr像素的像素质心设定在4像素单元块的中心位置处。图12A和图12B中描述的处理是将像素数目减少到1/4的像素数目减少处理。优选地将像素质心设定在4像素单元块的中心位置处。即，当将像素数目减少图像的每个像素的像素质心设定在4像素单元块的中心位置处时，生成相对位置与像素数目减少之前的捕获图像的每个颜色的相对位置相同的像素数目减少图像。所以，如以上参考图IA至图3所描述的，可以抑制锯齿由于像素质心的偏移而产生。以这种方式，通过执行改变像素值的相加比率的像素相加处理，可以移动像素数目减少图像的像素的像素质心。因此，可以抑制锯齿产生。已经描述了图12A和图12B中的对Gr像素的处理。然而，可通过调整除Gr像素以外的四个Gb像素的相加比率来控制输出像素的像素质心的位置。即，可将像素质心设定在图12B所示的4像素块的中心位置处。因此，可以创建锯齿被抑制的像素数目减少图像。不同于发生像素质心偏移的像素数目减少图像，例如，通过将像素质心布置在四像素块的中心位置处，像素被布置在倾斜方向上的一条线形状上。所以，可以以更大的采样间隔来观测信号。例如，假设存在具有从右上方向到左下方向取向的直线边缘的图案。即使当沿着边缘执行平滑处理时，图案的分辨率也没有由于边缘的特性而恶化。所以，当对在平行于边缘的方向上彼此邻近的Gr像素或Gb像素进行平滑时，可以以大于像素相加处理之后的分辨率的采样间隔在垂直于边缘的方向上，即在从左上倾斜方向到右下倾斜方向上提取分辨率没有恶化的信号。另一方向，当没有发生像素质心的偏移时，即使在使用Gr像素、Gb像素、或者Gr像素和Gb像素两者的情况下，关于在倾斜方向上平滑的分量，仅能获取像素相加处理之后的
分辨率中的像素间隔的倾斜分量信号。图13A和图13B是图不当发生像素质心偏移时以及当没有发生像素质心偏移时在右上倾斜方向上的采样间隔的差别的示例的图。图13A示出当发生像素质心偏移时的采样间隔的示例，而图13B示出当没有发生像素质心偏移时的采样间隔的示例。图13A和图13B两者均示出在G像素(Gr和Gb)的倾斜线上的采样间隔(像素间隔)。如图13A所示，当发生像素质心的偏移时，可获取两种平滑分量，即Gr像素之间的平滑Gr线和Gb像素之间的平滑Gb线。由于Gr线与Gb线之间的间隔比拜耳布置的倾斜方向上的采样间隔更密集，所以可根据平滑分量重采样具有更高分辨率的信号。相反，如图13B所示，当没有发生像素质心的偏移时，Gr线与Gb线相同(G线)，并且G线之间的间隔与拜耳布置的间隔相同。
图13B所示的G线之间的间隔大于图13A所示的Gb线与Gr线之间的间隔。因此，可根据图13A的设定中的平滑分量重采样具有高分辨率的信号。接下来，将在应用于下面的像素 相加处理的具体示例中描述到目前为止所描述的使用像素质心的偏移计算平滑分量的方法(a)水平I : I和垂直I : I相加(图IlA和图IlB所示的处理)；以及(b)水平I 3和垂直I I相加。(a)对应于水平I : I和垂直I : I相加(图IlA和图IlB所示的处理)的内插处理首先，当按照以上参考图IlA和图IlB描述的水平I : I和垂直I : I比率执行相加处理时，将参考图14及后续附图中的每个图来描述内插处理的示例。如图14所示，当按照以上参考图IlA和图IlB描述的水平I : I和垂直I : I比率执行相加处理时，设定像素数目减少图像的每个像素的质心位置。用圆表示像素R、Gr、Gb和B中的每个的质心位置。当在该相加处理中发生质心位置的偏移时，可在具有左上和右下倾斜方向上的边缘的图案中对大采样间隔的信号进行内插。将参考图15及后续附图来描述计算与具有左上(L)方向上的边缘的图案对应的平滑G分量(GJ的处理。例如，通过两个处理(a)和(b)来执行计算与具有左上(L)方向上的边缘的图案对应的平滑G分量的处理。(a)计算边缘方向(L)上的内插像素值的处理；以及(b)使用诸如计算的内插像素值的多个像素值来计算对象像素位置的像素值的重采样处理，其中，在对象像素位置处设定最终像素值。首先，将参考图15来描述处理(a)，即计算边缘方向(L)上的内插像素值的处理。最终像素值被设定的对象像素位置被称为对象像素位置301。在垂直于对象像素位置的边缘的方向上的线302上设定内插像素值。如图15所示，当以I : I的比率在左上方向上对Gr像素Grl和Gr2进行内插时，可在图中的像素Grl2311的位置处计算经过重采样处理(内插处理)的信号(内插像素的像素值)。在内插信号中，分辨率在左上和右下倾斜方向上的边缘图案中的右上方向(像素值变化率大的方向)上没有恶化。同样地，当对像素Gbl和Gb2进行内插以获得像素Gbl2312时，可在右上方向上的线302上计算采样间隔与像素相加处理之前的分辨率相同的G分量。使用诸如计算的内插像素值的多个像素值，来执行使用多个信号的上述(b)处理，即计算最终像素值被设定的对象像素位置的像素值的重采样处理。可通过重采样处理对保留有高频分量的信号进行内插。例如可通过将预定的重采样滤波器应用于诸如计算的内插像素值的多个像素值信号，来执行重采样处理。例如，如图16所示，通过对在倾斜方向上内插的分量Grl2311和Gbl2312、以及原始分量Gb3和Gr3的四个值卷积具有高频强调效果的线性滤波器，例如[_1，5，5，-1]，来对在图中内插像素位置301处的经过高 频强调的信号进行内插。内插信号被计算为与具有左上(L)方向上的边缘的图案对应的平滑G分量(G)。具体地，通过以下等式来计算平滑G分量(GJ。Gl = (-1 (Gb12) +5 (Gr 12) +5 (Gb3) -I (Gr3)) /8在该等式中，Gb 12是像素Gb 12的像素值，Gr 12是像素Gr 12的像素值，Gb3是像素Gb3的像素值，以及Gr3是像素Gr3的像素值。另外，滤波器系数仅为示例，并且可使用其它滤波器系数。可在倾斜方向上增加内插分量的数目，以采用更大的线性滤波器来执行重采样处理。由于可通过任何方法以大采样间隔对左上和右下方向上的没有分辨率恶化的信号进行内插，所以可以恢复分辨率比普通重采样的分辨率更高的信号。可通过以上参考图15和图16描述的处理来计算左上(L)方向的平滑G分量(Gk和GJ。然而，由于可不使用通过使用像素质心的偏移而获得的多个内插像素值来计算水平(H)方向、垂直(V)方向、和右上(R)方向的平滑G分量(G1^PGv),所以使用邻近像素执行重采样处理。将参考图17A和图17B来描述在右上方向(R)的边缘图案的情况下计算右上方向(R)的平滑G分量(Gk)的处理。首先，如图17A的第一处理所示，通过使用在右上和左下方向上邻近的块中出现的像素Gr均匀地将两个Gr像素的值相加和平均(I I内插)以及计算图17A所示的Gr像素322的像素值，来设定具有四个像素的内插像素位置块321中的像素Gr 322，其中，四个像素是内插像素G的设定对象。内插分量的质心位于内插像素位置块321内。接下来，如图17B的第二处理所示，通过以I : I的比率对位于内插像素位置块321内的质心偏移校正对象的G分量(Gb)的像素值与第一处理中的内插Gr像素322的像素值分量进行相加和平均，来计算像素值，然后将该像素值设定为在内插像素位置块321的中心位置处的内插像素323。通过内插处理，可将质心偏移校正对象的G分量(Gb)的质心移动到内插像素位置块321的中心。而且，内插处理等同于对与右上和左下方向上的质心偏移校正对象G像素(Gb)邻近的两个G分量(Gr)卷积[1，2，1]的线性滤波器。由于最初没有注意到锯齿，所以与水平⑶方向和垂直(V)方向的边缘图案对应的水平方向和垂直方向的平滑G分量(611和&)不经过质心偏移校正，并且无改变地输出。(b)对应于水平I : 3和垂直I : I相加的内插处理接下来，当以水平I : 3和垂直I : I的比率执行相加处理时，将参考图18及后续附图中的每个来描述内插处理的示例。在水平I : 3和垂直I : I相加情况下的内插处理基本上等同于上述在水平I : I和垂直I:I相加情况下的内插处理。通过对可在由于像素质心的偏移导致的特定方向上提取的具有大采样间隔的信号执行重采样处理，来计算在像素质心的偏移被校正的位置处的像素值。图18是图示当以水平I : 3和垂直I : I的比率执行相加处理时的质心位置的图。由于水平方向上的质心位于像素的中心，而垂直方向上的质心位置偏移，所以使用该偏移对大采样间隔的信号进行内插。首先，将参考图19描述 左上(L)方向上的内插处理。如在水平I : I和垂直I : I相加中一样，在像素Gr之间以及在像素Gb之间的左上和右下倾斜方向上执行内插。在这种情况下，如在上述处理中一样，执行如下两个处理(a)计算在边缘方向上的内插像素值的处理；以及(b)使用诸如计算的内插像素值的多个像素值来计算对象像素位置的像素值的重采样处理，其中，在对象像素位置处设定最终像素值。根据直线352与每个像素之间的距离来执行加权，使得每个内插像素的质心位于直线352上，该直线352在右上和左下方向上以45度倾斜并且垂直于边缘方向(左上(L)方向)的，其中，边缘方向(左上(L)方向)穿过图19所示的中心位置处的4像素块351的中心。图20示出每个G像素与直线352之间的距离，该直线352在右上和左下方向上以45度倾斜并且垂直于边缘方向(左上(L)方向)，其中，该边缘方向(左上(L)方向)穿过中心位置处的4像素块351的中心。根据距离计算内部分割点，其中，在该内部分割点处，质心彼此交叠在直线上。例如，当对图19中的像素Grl和Gr2进行内插时，像素Grl与直线352之间的距
离为而像素Gr2与直线352之间的距离为所以，可通过应用以下的等式(等 4，4 °
式3)，通过加权平均来计算内部分割点Grl2。
Q JlIjl
. 4-.Hrl
f I …!…f jL·/Ir-fλ
η , i — 44— VOr I + /Orl^9 ^Λ =......(等式 3)
I 4 4 .-在计算了其它内部分割点之后，对信号执行重采样。在该重采样处理中，如在水平I I和垂直I : I相加中一样，使用具有高频强调效果的任何重采样滤波器。通过该处理计算平滑G分量(Gl)。接下来，将描述在右上(R)方向的边缘图案的情况下的处理的示例。在该情况下，如在左上和右下倾斜方向中一样，以这样的方式执行内插处理，使得一旦根据像素与垂直于边缘方向(右上(R)方向)的线353之间的距离通过加权平均来计算大采样间隔的内插信号，就对内插信号进行重采样，然后计算对象平滑G分量(Gk)。图21示出在该情况下的距离分布。如在参考图20描述的处理中一样，根据像素与线353之间的距离来执行内插处理。在水平(H)方向的情况下，通过简单的内插处理来计算水平(H)方向的平滑G分量(Gh)。如图22所示，首先，使用在纵向方向上邻近的G分量(Grl和Gr2)来产生水平方向的内插分量Grl2。接下来，通过使用包括要计算像素值的对象像素Gi 371的块中的像素Grl2和像素Gbl，根据离对象像素Gi371的距离来计算加权平均，以及计算像素Gi的像素值。将计算的像素Gi设定为水平(H)方向的平滑G分量(Gh)。
以Gbl Grl2 = 5 I的比率计算加权平均。当对象像素是Gr像素时，实现上下颠倒的布置。不校正垂直(V)方向的 分量。这是因为在水平I : 3和垂直I : I的比率的情况下，在横向方向上不发生像素质心的偏移。所以，在边缘沿纵向方向延伸的图案中不对分量进行校正，并且没有改变地输出值。4-3.(第三处理)根据通过第一处理计算的四个方向的边缘强度(DinDvA1^PDL)确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(Gh、Gv、Gk、和GJ相乘的权重(WH、Wv、We和WJ的处理接下来，将描述第三处理，即，根据通过第一处理计算的四个方向的边缘强度(Dh、DpD1^PDJ确定要与通过第二处理计算的水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L)的平滑G分量(GH、GV、GK、和GJ相乘的权重(WH、Wv、WdPWj的处理。根据通过第一处理计算的四个方向的边缘强度(Dh、Dv、De和队)，来确定四个方向的权重(WWdPWL在第一处理中，如上所述，以像素数目减少图像的G像素(Gr和Gb)为单位来计算下面的值(I)Dh :水平⑶方向的拉普拉斯绝对值的水平方向拉普拉斯值总和(加权平均值)；(2)DV:垂直(V)方向的拉普拉斯绝对值的垂直方向拉普拉斯值总和(加权平均值)；(3)De :右上(R)方向的拉普拉斯绝对值的右上方向拉普拉斯值总和(加权平均值)；以及(4)Dl :左上(L)方向的拉普拉斯绝对值的左上方向拉普拉斯值总和(加权平均值)。因此，计算四方向拉普拉斯值总和(加权平均值)。在第三处理中，首先对拉普拉斯值总和D执行由阈值确定的裁剪处理，以计算裁剪的总和D’。可通过以下的等式(等式4)中的非线性函数来执行裁剪处理。
fOD < thf_r
It Jlj
η! — ζ_η —_hmcrfh < Π ^ th
tL·fLIl111,kmunItIh'
in — Irlf k ^(Jl ., — ifit
upperknrerupperknrer
ID > th......(等式 4)图23示出裁剪函数。如图23所示，设定下限阈值thlOTer和上限阈值thupper，以及在下限阈值thlOTOT和上限阈值thuppOT之间设定以直线转变的权重分布。通过实际操作来设定阈值。通过以下的等式(等式5)，使用经过裁剪处理的获得的各个方向拉普拉斯值总和，来计算四个方向(水平方向(H)、垂直方向(V)、右上方向(R)和左上方向(L))的分量的权重(WH、Wv、WdPWj。
权利要求
1.ー种图像处理设备，包括 边缘强度计算单元，其将通过減少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度； 内插像素值计算単元，其计算作为所述像素块中的所述多个方向的平滑分量的内插像素值； 权重计算单元，其基于由所述边缘強度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及 混合处理单元，其通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。
2.根据权利要求I所述的图像处理设备，其中，所述多个方向为水平方向、垂直方向、右上方向和左上方向的四个方向。
3.根据权利要求I所述的图像处理设备，其中，所述像素数目減少图像为具有拜耳布置图像的图像。
4.根据权利要求I所述的图像处理设备，其中，所述像素数目減少图像为具有拜耳布置图像的图像，以及所述校正对象像素是G像素。
5.根据权利要求I所述的图像处理设备，其中，所述边缘強度计算单元以将所述校正对象像素用作所述中心像素的所述像素块为单元计算多个拉普拉斯绝对值，以及通过应用计算的多个拉普拉斯绝对值来计算在所述校正对象像素的位置处的所述多个方向的所述边缘强度。
6.根据权利要求I所述的图像处理设备，其中，所述内插像素值计算単元基于存在于所述像素块中设定的特定方向的线上的像素的像素值来计算多个所述平滑分量，以及基于计算的多个所述平滑分量来计算作为对应于所述校正对象像素的所述平滑分量的内插像素值。
7.根据权利要求I所述的图像处理设备，其中，所述内插像素值计算単元基于包括在所述像素数目減少图像中并且发生质心偏移的像素来计算所述内插像素值。
8.根据权利要求I所述的图像处理设备，其中，所述权重计算单元执行将预定的裁剪函数应用于由所述边缘強度计算单元计算的所述多个方向的所述边缘強度中的每个的裁剪处理，以及基于经过所述裁剪处理的所述多个方向的所述边缘強度来计算作为所述多个方向的所述平滑分量的所述内插像素值的所述权重。
9.根据权利要求I所述的图像处理设备， 其中，所述像素数目減少图像为具有拜耳布置图像的图像，而所述校正对象像素为G像素，以及 其中，所述图像处理设备还包括 去马赛克处理单元，其对具有由所述混合处理单元输出的所述G像素的校正图像执行去马赛克处理。
10.根据权利要求9所述的图像处理设备，其中，所述去马赛克处理单元使用拜耳布置中的所述G像素与R像素之间的关系和所述拜耳布置中的所述G像素与B像素之间的关系来执行设定各个像素的RGB像素值的所述去马赛克处理。
11.ー种图像处理设备，包括 图像校正単元，其基于未经过像素増加或疏化处理的原始图像的分辨率，来计算从通过成像元件中的所述像素增加或疏化处理而获得的所述原始图像中的对象G像素的中心穿过的边缘方向，以及对在垂直于所计算的边缘方向的直线附近的G像素进行投影，在垂直于边缘的方向上对投影的G像素执行重采样处理，使用作为所述重采样像素的像素值的重采样信号来执行确定所述对象G像素的像素值的处理。
12.根据权利要求11所述的图像处理设备，其中，所述图像校正単元通过以下方式来确定所述对象G像素的像素值用预定的特定方向的边缘分量的线性总和来表示所述边缘方向，对所述特定方向的每个边缘分量执行所述重采样处理，以及以与所述线性总和表示的所述边缘分量的比率基本上相同的比率对所述特定方向中的多个方向的所述重采样信号执行加权平均。
13.ー种成像设备，包括 成像元件； 像素数目减少单元，其通过减少由所述成像元件捕获的图像的像素的总数目来生成像素数目减少图像； 边缘强度计算单元，其将所述像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度； 内插像素值计算単元，其计算作为所述像素块中的所述多个方向的平滑分量的内插像素值； 权重计算单元，其基于由所述边缘強度计算单元计算的所述多个方向的所述边缘强度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及 混合处理单元，其通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。
14.一种在图像处理设备中处理图像的图像处理方法，包括 由边缘强度计算单元将通过減少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度； 由内插像素值计算单元计算作为所述像素块中的所述多个方向的平滑分量的内插像素值； 由权重计算单元基于由所述边缘強度计算单元计算的所述多个方向的所述边缘強度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及 由混合处理单元通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。
15.ー种程序，其使执行图像处理的图像处理设备执行 由边缘强度计算单元将通过減少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以将从所述输入图像中选择的校正对象像素用作中心像素的像素块为单位来计算多个方向的边缘强度； 由内插像素值计算单元计算作为所述像素块中的所述多个方向的平滑分量的内插像素值； 由权重计算单元基于由所述边缘強度计算单元计算的所述多个方向的所述边缘強度，来计算作为所述多个方向的所述平滑分量的所述内插像素值的权重；以及 由混合处理单元通过执行作为所述多个方向的所述平滑分量的所述内插像素值和由所述权重计算单元计算的所述权重的加权相加的混合处理，来计算作为所述像素块的所述中心像素的所述校正对象像素的像素值。
全文摘要
提供一种图像处理设备、图像处理方法及程序。图像处理设备包括边缘强度计算单元，其将通过减少由成像元件捕获的图像的像素的总数目而获得的像素数目减少图像设定为输入图像，以及以像素块为单位计算多个方向的边缘强度；内插像素值计算单元，其计算作为像素块中的多个方向的平滑分量的内插像素值；权重计算单元，其基于边缘强度来计算作为多个方向的平滑分量的内插像素值的权重；以及混合处理单元，其通过执行作为多个方向的平滑分量的内插像素值和所计算的权重的加权相加的混合处理，来计算作为像素块的中心像素的校正对象像素的像素值。
文档编号G06T5/00GK102682426SQ201210054298
公开日2012年9月19日 申请日期2012年3月2日 优先权日2011年3月11日
发明者光永知生, 矶大辅 申请人:索尼公司