图像处理装置和图像处理方法
【专利摘要】提供了一种图像处理装置和图像处理方法。该图像处理装置包括：检测部，被配置为从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成；确定部，被配置为确定局部最大值区域与属于局部最大值区域的关注像素的第一相邻区域重叠的重叠区域，并确定属于重叠区域的像素的色差信号值的最小值；以及校正部，被配置为基于关注像素的色差信号值和属于重叠区域的像素的色差信号值的最小值校正关注像素的色差信号。
【专利说明】图像处理装置和图像处理方法
[0001]相关申请的交叉引用
[0002]本申请要求2012年10月25日提交的日本优先权专利申请JP2012-235272的优先权,其全部内容通过引用合并于此。
【技术领域】
[0003]本公开内容涉及对图像信号进行处理的图像处理装置、以及在图像处理装置中使用的图像处理方法和图像处理程序。
【背景技术】
[0004]通过拍摄移动图片的视频摄像机、拍摄静止图片的数字摄像机等拍摄的图像可能遭受所谓的“彩色边纹(color fringing)”(也被称为“边纹”或“像差”)。该彩色边纹使得图像中具有大亮度差的区域以与原始颜色不同的颜色(例如红色、蓝色或紫色)示出。这样的彩色边纹是由于透镜的色差或图像传感器的模糊而产生的。当使用紧凑透镜、高倍透镜或低成本图像传感器时，彩色边纹可能变得更加突出。
[0005]由于该彩色边纹使图像质量劣化，需要区分并减少彩色边纹。存在一些减少彩色边纹的技术。例如，日本未审查专利申请公开第2011-205477号公开了一种图像处理装置，该图像处理装置区分从导致彩色边纹的像素开始的亮度单调减小的方向，并基于在该方向上的单调减小停止处的像素的颜色来校正导致彩色边纹的像素的颜色。日本未审查专利申请公开第2009-268033号公开了一种图像处理装置，该图像处理装置根据构成彩色图像的多个彩色面之间的信号强度差来估计出现彩色边纹的区域中的彩色边纹的强度，并从彩色边纹区域中的彩色边纹的强度减去估计的彩色边纹的强度。日本未审查专利申请公开第2009-055610号公开了一种图像处理装置，该图像处理装置基于颜色分量梯度之间的差计算表示色像差程度的第一权重，基于亮度分量梯度计算表示色像差程度的第二权重，以及基于第一权重和第二权重校正像素的色度。
【发明内容】
[0006]显然，期望并希望进一步减少拍摄的图像中的彩色边纹。
[0007]期望提供能够减少彩色边纹的图像处理装置、图像处理方法和图像处理程序。
[0008]根据本公开内容的实施例的图像处理装置包括:检测部，被配置为从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成；确定部，被配置为确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域，并确定属于所述重叠区域的像素的色差信号值的最小值；以及校正部，被配置为基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差信号。
[0009]根据本公开内容的实施例的图像处理方法包括:从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成；确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域；确定属于所述重叠区域的像素的色差信号值的最小值；以及基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差信号。
[0010]根据本公开内容的实施例的非暂态有形介质包括在其中实施的计算机可读程序。计算机可读程序当被图像处理装置执行时使得图像处理装置实现图像处理方法。该方法包括:从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成；确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域；确定属于所述重叠区域的像素的色差信号值的最小值；以及基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差信号。
[0011]根据本公开内容的上述各个实施例的图像处理装置、图像处理方法和图像处理程序，检测帧图像中的局部最大值区域，并基于检测到的局部最大值区域确定色差信号值的最小值。另外，基于色差信号值和色差信号值的最小值校正色差信号。在该处理中，在局部最大值区域与属于局部最大值区域的关注像素的第一相邻区域重叠的重叠区域中确定色差信号值的最小值。
[0012]根据本公开内容的上述各个实施例的图像处理装置、图像处理方法和图像处理程序，确定属于重叠区域的像素的色差信号值的最小值，在所述重叠区域中，局部最大值区域与属于局部最大值区域的关注像素的第一相邻区域重叠。另外，基于色差信号值和色差信号值的最小值校正色差信号。所以，可以减少彩色边纹。
[0013]可以理解，上述总体描述和下面的详细描述都是示例性的，并且旨在提供对请求保护的技术的进一步的说明。
【专利附图】
【附图说明】
[0014]附图被包括以提供对本公开内容的进一步的理解，以及被引入并构成该说明书的一部分。附图示出实施例，并且与说明书一起用来说明本技术的原理。
[0015]图1为示出根据本公开内容的实施例的图像处理装置的配置示例的框图。
[0016]图2为示出彩色边纹的示例的说明图。
[0017]图3A为示出校正前的亮度信号和色度信号的示例的说明图。
[0018]图3B为示出校正后的亮度信号和色度信号的示例的说明图。
[0019]图4为图示图1中所示的积分器的操作示例的表格。
[0020]图5为图示图1中所示的积分器的操作示例的说明图。
[0021]图6为图示图1中所示的积分器和减法器的操作示例的说明图。
[0022]图7为图示图1中所示的积分器的操作示例的表格。
[0023]图8为图示图1中所示的增益图(gain map)生成器的操作示例的说明图。
[0024]图9为图示图1中所示的局部最大值区域检测器的操作示例的表格。
[0025]图1OA为示出图1中所示的局部最大值区域检测器的操作示例的说明图。
[0026]图1OB为示出图1中所示的局部最大值区域检测器的另一个操作示例的说明图。
[0027]图11为示出通过图1中所示的局部最大值区域检测器检测到的局部最大值区域的示例的说明图。[0028]图12为图示图1中所示的最小值检测器的操作示例的表格。
[0029]图13为示出图1中所示的最小值检测器和局部最大值区域图生成器的操作示例的说明图。
[0030]图14为示出图1中所示的局部最大值区域图生成器的操作示例的说明图。
[0031]图15为示出根据变型的图像处理装置的配置示例的框图。
[0032]图16为示出根据另一个变型的图像处理装置的配置示例的框图。
[0033]图17为示出根据又一个变型的图像处理装置的配置示例的框图。
[0034]图18为示出根据又一个变型的图像处理装置的配置示例的框图。
[0035]图19A为图示根据又一个变型的增益计算部的操作示例的说明图。
[0036]图19B为图示根据又一个变型的增益计算部的操作示例的说明图。
[0037]图20为示出根据又一个变型的图像处理装置的配置示例的框图。
[0038]图21为示出根据又一个变型的图像处理装置的配置示例的框图。
[0039]图22为图示根据又一个变型的增益计算部和局部最大值区域计算部的操作示例的说明图。
[0040]图23为示出根据又一个变型的图像处理装置的配置示例的框图。
【具体实施方式】
[0041 ] 下面参考附图描述根据本公开内容的实施例。
[0042][配置示例]
[0043]图1示出根据一个实施例的图像处理装置的配置示例。该图像处理装置I减少所谓的“彩色边纹”，该彩色边纹使得图像中具有大亮度差的区域以红色、蓝色、紫色等示出。因为通过该实施例实现根据本公开内容的实施例的图像处理方法和图像处理程序，所以统一地描述方法和程序。
[0044]图像处理装置I包括信号转换部10、增益计算部20、局部最大值区域计算部30和校正部40。图像处理装置I对输入图像信号SI执行彩色边纹校正以减少彩色边纹，从而生成图像信号S3。
[0045]图2示出帧图像上的彩色边纹的示例。在该帧图像中，高亮度区域Rl和低亮度区域R2彼此相接。在这样的情况下，在高亮度区域Rl和低亮度区域R2之间的边界附近(区域R3)可能出现彩色边纹。
[0046]图3A示出当在YCbCr空间中表示图2中所示的帧图像中的各个像素的颜色时的沿线LI的亮度信号Y (稍后要描述的亮度信号SY)和蓝色(B)的色度信号(Cb)(稍后要描述的色度信号SCb)的示例。图3B示出在校正彩色边纹之后的色度信号Cb (稍后要描述的色度信号SCb2)的示例。
[0047]如图3A所示，色度信号Cb的强度在高亮度区域Rl与低亮度区域R2之间的边界附近(区域R4)比在周围区域中更高。在这样的区域中(局部最大值区域A)，示出不同于原始颜色的蓝色，使得观察者觉得颜色从高亮度区域Rl到低亮度区域R2变模糊。显然，在高亮度区域与低亮度区域之间的边界附近的、示出图像中的大亮度差的区域中可能出现彩色边纹。
[0048]在校正彩色边纹时，可以将图3A所示的色度信号Cb的区域R4的信号强度减小到例如图3B所示的信号强度。这使得边界附近较少显现淡蓝色，从而抑制那里的彩色边纹。
[0049]尽管以色度信号Cb为例描述了该示例，对于红色(R)的色度信号Cr是相同的。即，在色度信号Cr的强度比周围区域更高的区域中，颜色示出为淡红色，从而导致彩色边纹。即使在该情况下，也可以通过执行如图3B所示的彩色边纹校正来抑制该彩色边纹。
[0050]图像处理装置I对图像信号SI执行彩色边纹校正以减少图像信号SI的彩色边纹。在该示例中，图像信号SI是所谓的RGB信号，包括红色(R)的彩色信号SR、绿色(G)的彩色信号SG、和蓝色(B)的彩色信号SB。注意，在下文中，在任何合适的地方，使用彩色平面PLR表示单个帧图像的彩色信号SR，使用彩色平面PLG表示单个帧图像的彩色信号SG，以及使用彩色平面PLB表示单个帧图像的彩色信号SB。
[0051]信号转换部10将作为RGB信号的图像信号SI转换为作为YCbCr信号的图像信号S2。该图像信号S2包括亮度信号SY、蓝色(B)的色度信号SCb和红色(R)的色度信号SCr。可通过使用例如下面的公式执行RGB信号到YCbCr信号的转换。
[0052][公式I]
【权利要求】
1.一种图像处理装置，包括: 检测部，被配置为从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成； 确定部，被配置为确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域，并确定属于所述重叠区域的像素的色差信号值的最小值；以及 校正部，被配置为基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差信号。
2.根据权利要求1所述的图像处理装置，其中所述校正部基于所述关注像素的色差信号值与属于所述重叠区域的像素的色差信号值的最小值之间的差校正所述关注像素的色差?目号。
3.根据权利要求1所述的图像处理装置，其中 所述确定部针对所述关注像素确定第一最小值和第二最小值，第一最小值被定义为在所述重叠区域内的第一方向上布置的像素的色差信号值的最小值，而第二最小值被定义为在所述重叠区域内的第二方向上布置的像素的色差信号值的最小值，以及 所述校正部基于所述关注像素 的色差信号值以及第一最小值和第二最小值校正所述关注像素的色差信号。
4.根据权利要求3所述的图像处理装置，其中所述校正部基于所述关注像素的色差信号值和第一最小值确定第一校正值，基于所述关注像素的色差信号值和第二最小值确定第二校正值，然后基于第一校正值和第二校正值中的较大者校正所述关注像素的色差信号。
5.根据权利要求1所述的图像处理装置，其中 所述色差信号包括第一类型色差信号和第二类型色差信号， 所述确定部基于第一类型色差信号确定第一最小值和第二最小值，第一最小值被定义为在所述重叠区域内的第一方向上布置的像素的第一类型色差信号值的最小值，而第二最小值被定义为在所述重叠区域内的第二方向上布置的像素的第一类型色差信号值的最小值，并基于第二类型色差信号确定第三最小值和第四最小值，第三最小值被定义为在所述重叠区域内的第一方向上布置的像素的第二类型色差信号值的最小值，而第四最小值被定义为在所述重叠区域内的第二方向上布置的像素的第二类型色差信号值的最小值，以及 所述校正部基于所述关注像素的第一类型色差信号值和针对第一类型色差信号的第一最小值和第二最小值校正所述关注像素的第一类型色差信号，并基于所述关注像素的第二类型色差信号值和针对第二类型色差信号的第三最小值和第四最小值校正所述关注像素的第二类型色差信号。
6.根据权利要求4所述的图像处理装置，还包括:增益确定部，被配置为针对所述关注像素确定第一增益和第二增益， 所述增益确定部基于作为布置在第一方向上的像素的亮度信号变化的第一信号变化确定第一增益，并基于作为第二方向上的亮度信号变化的第二信号变化确定第二增益， 其中所述校正部基于第一增益调节第一校正值，并基于第二增益调节第二校正值。
7.根据权利要求6所述的图像处理装置，其中 第一信号变化为第一平均值与第二平均值之间的差，第一平均值被定义为在第一方向上被布置在所述关注像素的一侧的预定区域中的像素的亮度信号的平均值，而第二平均值被定义为在第一方向上被布置在所述关注像素的另一侧的预定区域中的像素的亮度信号的平均值，以及 第二信号变化为第三平均值与第四平均值之间的差，第三平均值被定义为在第二方向上被布置在所述关注像素的一侧的预定区域中的像素的亮度信号的平均值，而第四平均值被定义为在第二方向上被布置在所述关注像素的另一侧的预定区域中的像素的亮度信号的平均值。
8.根据权利要求6所述的图像处理装置，其中 第一增益随着第一信号变化增大而增大，以及 第二增益随着第二信号变化增大而增大。
9.根据权利要求6所述的图像处理装置，还包括:转换部，被配置为将彩色信号转换为色差/[目号和売度?目号， 其中所述增益确定部针对所述关注像素，基于第一信号变化和作为布置在第一方向上的像素的彩色信号变化的第三信号变化确定第一增益，并基于第二信号变化和作为布置在第二方向上的像素的彩色信号变化的第四信号变化确定第二增益。
10.根据权利要求3所述的图像处理装置，其中 第一方向是水平方向，而第二方向是垂直方向。
11.根据权利要求3所述的图像处理装置，其中 第一方向是沿如下的直线的方向，该直线穿过位于所述关注像素的左上侧的左上像素和位于所述关注像素的右下侧的右下像素，以及 第二方向是沿如下的直线的方向，该直线穿过位于所述关注像素的左下侧的左下像素和位于所述关注像素的右上侧的右上像素。
12.根据权利要求2所述的图像处理装置，其中所述校正部基于所述关注像素及其相邻像素的色差信号和亮度信号、以及基于所述关注像素的色差信号值与属于所述重叠区域的像素的色差信号值的最小值之间的差，校正所述关注像素的色差信号。
13.根据权利要求1所述的图像处理装置，其中所述确定部从所述帧图像中的全部或一些像素中逐个选择所述关注像素。
14.根据权利要求1所述的图像处理装置，还包括:缩小部，基于所述帧图像生成缩小帧图像，其中 所述检测部从所述缩小帧图像检测局部最大值区域，以及 所述校正部基于所述关注像素的色差信号值和色差信号值的最小值产生所述缩小帧图像的缩小校正量图，并通过放大所述缩小校正量图产生校正量图，然后基于所述校正量图校正所述帧图像中的像素的色差信号。
15.根据权利要求1所述的图像处理装置，其中所述检测部通过比较所述帧图像中的像素的色差信号与位于该像素的第二相邻区域外部的多个像素的色差信号，检测所述局部最大值区域。
16.—种图像处理方法,包括: 从帧图像检测局部最大值区域，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成；确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域； 确定属于所述重叠区域的像素的色差信号值的最小值；以及 基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差信号。
17.一种图像处理装置，包括: 用于从帧图像检测局部最大值区域的装置，该局部最大值区域由色差信号值大于周围像素的色差信号值的每个像素构成； 用于确定所述局部最大值区域与属于所述局部最大值区域的关注像素的第一相邻区域重叠的重叠区域的装置； 用于确定属于所述重叠区域的像素的色差信号值的最小值的装置；以及用于基于所述关注像素的色差信号值和属于所述重叠区域的像素的色差信号值的最小值校正所述关注像素的色差`信号的装置。
【文档编号】H04N1/46GK103780798SQ201310489279
【公开日】2014年5月7日 申请日期:2013年10月18日 优先权日:2012年10月25日
【发明者】周长波 申请人:索尼公司