图像处理装置、拾取装置、拾取系统和处理方法

图像处理装置、拾取装置、拾取系统和处理方法
【专利摘要】本发明涉及图像处理装置、拾取装置、拾取系统和处理方法。一种图像处理装置(100)包括：被配置为检测从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小的第一区域的检测单元(102)；被配置为基于关于图像拾取光学系统的颜色逸出的光学信息和关于第一区域的信息确定出现颜色逸出的第二区域的确定单元(103)；和被配置为校正图像以减少颜色逸出的校正单元(104)。
【专利说明】图像处理装置、拾取装置、拾取系统和处理方法

【技术领域】
[0001] 本发明涉及减少颜色图像中的颜色逸出（colorbleeding)的图像处理装置。

【背景技术】
[0002] 常规上，由于由图像拾取光学系统导致的色差，在颜色图像的明亮部分的周边处， 本来不存在的颜色有时表现为颜色逸出。通过使用包含具有相互不同的色散的材料的多个 透镜的组合，可在光学上在一定程度上减少由图像拾取光学系统导致的色差。但是，近来的 图像拾取装置的小型化的进展要求增加用于图像拾取元件中的传感器的分辨率并减小图 像拾取光学系统的尺寸，这使得难以通过图像拾取光学系统的构成充分地抑制色差。
[0003] 色差大致分为横向色差（倍率色差）和纵向色差（轴向色差）。横向色差是成像 位置根据波长在沿像面的方向上位移的现象。纵向色差是成像位置根据波长在沿光轴的方 向上位移的现象。如在美国专利No. 6724702中公开的那样，可通过向颜色面即R(红色）、 G(绿色）和B(蓝色）添加不同畸变的几何转换来校正横向色差。另一方面，不能通过上述 的几何转换校正纵向色差。
[0004] 日本专利公开No. ( "JP"）2007-133592公开了通过利用颜色逸出主要出现于 过度高亮（blown-outhighlight)(事先设定的信号饱和区域）的周边的特性搜索G(绿 色）面饱和的区域并然后积分布置于该区域周围的区域中的像素来计算校正量的方法。JP 2009-268033公开了确定颜色图像中的各颜色面的像素值单调增加或单调减小的任何区域 作为颜色逸出区域并然后消除这种颜色逸出的方法。
[0005] 但是，在JP2007-133592中公开的方法导致颜色逸出，这种颜色逸出使得用户 在不出现过度高亮的区域中也感觉奇怪，这意味着，颜色逸出校正不足。另一方面，在JP 2009-268033中公开的方法在不出现过度高亮的区域中也可校正颜色逸出。但是，由于颜色 逸出的出现是由于图像拾取光学系统引起的像差，因此导致诸如彗差的不对称像差的图像 拾取光学系统使得被摄体的图像在一些方向上具有或者不具有颜色逸出。当被摄体具有与 颜色逸出的类型相同的类型的颜色时，该方法可能错误地确定被摄体的颜色为颜色逸出并 由此消除被摄体的本来的颜色。
[0006] 并且，为了更有效地减少颜色逸出，必须考虑由于光学系统的制造变化和偏心调 整等导致的倍率色差。


【发明内容】

[0007] 本发明提供能够有效地减少颜色图像中的颜色逸出的图像处理装置、图像拾取装 置、图像拾取系统和图像处理方法。
[0008] 作为本发明的一个方面的图像处理装置包括：被配置为检测第一区域的检测单 元，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色 器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿 第一方向单调增加或者单调减小；被配置为基于关于颜色逸出的光学信息和关于第一区域 的信息确定出现图像拾取光学系统的颜色逸出的第二区域的确定单元；和被配置为校正图 像以减少颜色逸出的校正单元。
[0009] 作为本发明的另一方面的图像处理装置包括：被配置为校正拍摄图像的倍率色差 的第一校正单元；被配置为检测第一区域的检测单元，在所述第一区域中，校正了倍率色差 的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增 加或者单调减小；被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现 图像拾取光学系统的颜色逸出的第二区域的确定单元；和被配置为校正已校正了倍率色差 的拍摄图像以减少颜色逸出的第二校正单元。
[0010] 作为本发明的另一方面的图像拾取装置包括：被配置为对光学图像进行光电转换 的图像拾取元件；被配置为检测第一区域的检测单元，在所述第一区域中，从包含多个滤色 器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产 生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；被配置 为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜 色逸出的第二区域的确定单元；和被配置为校正图像以减少颜色逸出的校正单元。
[0011] 作为本发明的另一方面的图像拾取装置包括：被配置为对光学图像进行光电转换 以输出拍摄图像的图像拾取元件；被配置为校正拍摄图像的倍率色差的第一校正单元；被 配置为检测第一区域的检测单元，在所述第一区域中，校正了倍率色差的拍摄图像的亮度 信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小；和 被配置为校正已校正了倍率色差的拍摄图像以减少颜色逸出的第二校正单元。
[0012] 作为本发明的另一方面的图像拾取系统包括包含图像拾取光学系统的镜头装置 和图像拾取装置。
[0013] 作为本发明的另一方面的图像处理方法包括以下的步骤：检测第一区域，在所述 第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜 色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单 调增加或者单调减小；基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像 拾取光学系统的颜色逸出的第二区域；以及，校正图像以减少颜色逸出。
[0014] 作为本发明的另一方面的图像处理方法包括以下的步骤：校正拍摄图像的倍率色 差；检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区 间内沿第一方向单调增加或者单调减小的第一区域；基于关于颜色逸出的光学信息和关于 第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；以及，校正已校正了 倍率色差的拍摄图像以减少颜色逸出。
[0015] 从参照附图对示例性实施例的以下描述，本发明的其它特征和方面将变得清晰。

【专利附图】

【附图说明】
[0016] 图1A是本实施例中的图像处理装置的框图。
[0017] 图1B是示出本实施例中的图像处理方法的流程图。
[0018] 图2是示出本实施例中的单调增加/减小确定处理的流程图。
[0019] 图3是示出本实施例中的要经受单调增加/减小确定的像素区间具有单调增加/ 减小特性的情况的例子的示图。
[0020] 图4是示出本实施例中的要经受单调增加/减小确定的像素区间不具有单调增加 /减小特性的情况的例子的示图。
[0021] 图5A?ro是示出本实施例中的中心是目标像素的用于单调增加/减小确定的像 素区间的示图。
[0022] 图6A?6H是示出本实施例中的端点是目标像素的用于单调增加/减小确定的像 素区间的示图。
[0023] 图7是示出本实施例中的图像中的3X3像素区域的示图。
[0024] 图8是示出本实施例中的对3X3像素区域的各像素应用低通过滤的结果的示图。
[0025] 图9是示出本实施例中的当向各像素应用低通过滤时观察的输入信号的变化的 例子的示图。
[0026] 图10A?10C是示出本实施例中的导致对称像差的图像拾取光学系统的单调增加 /减小检测的例子的示图。
[0027] 图11A?11C是示出本实施例中的导致不对称像差的图像拾取光学系统的单调增 加/减小检测的例子的示图。
[0028] 图12A和图12B是本实施例中的光学信息的说明图。
[0029] 图13A和图13B是示出本实施例中的基于光学信息和单调增加/减小检测的结果 确定颜色逸出区域的例子的示图。
[0030] 图14A?14D是本实施例中的二维光学信息的说明图。
[0031] 图15A?15C是示出本实施例中的使用光学信息的颜色逸出确定处理的示图。
[0032] 图16A和图16B是本实施例中的计算光学信息的方法的说明图。
[0033] 图17是示出本实施例中的蓝色逸出的像素值的典型变化的示图。
[0034] 图18是本实施例中的关于B面的像素值的非线性转换的特性图。
[0035] 图19是示出本实施例中的色度坐标a-b面的示图。
[0036] 图20是示出本实施例中的基于单调增加/减小检测的结果的B面内的3X3像素 区域的示图。
[0037] 图21是第一实施例中的图像拾取装置的构成图。
[0038] 图22是第二实施例中的图像处理系统的构成图。
[0039] 图23是示出第三实施例中的倍率色差（第一倍率色差）的校正处理（第一校正 处理）的流程图。
[0040] 图24A和图24B是第三实施例中的倍率色差的校正处理的说明图。
[0041] 图25是示出第三实施例中的不对称倍率色差（第二倍率色差）的校正处理（第 二校正处理）的流程图。
[0042] 图26是示出第三实施例中的不对称倍率色差（第二倍率色差）的校正处理的说 明图。
[0043] 图27A和图27B是第三实施例中的倍率色差（第一倍率色差）的说明图。
[0044] 图28A和图28B是第三实施例中的不对称倍率色差（第二倍率色差）的说明图。
[0045] 图29是第三实施例中的倍率色差和不对称倍率色差的校正处理的说明图。
[0046] 图30是示出第四实施例中的图像处理方法的流程图。
[0047] 图31A是第三实施例中的图像处理装置的框图。
[0048] 图31B是示出第三实施例中的图像处理方法的流程图。

【具体实施方式】
[0049] 以下将参照附图描述本发明的示例性实施例。
[0050] 首先，将参照图1A和图1B，描述图像处理装置和图像处理方法。图1A是本实施例 中的图像处理装置1〇〇的框图。图1B是本实施例中的图像处理方法（图像处理程序）的 流程图。基于图像处理装置100的命令（指令）即通过图像处理装置100的各单元执行图 1B的各步骤。
[0051] 如图1A所示，图像处理装置100包含输入单元101、检测单元102、确定单元103、 校正单元104 (颜色逸出校正单元）和输出单元105。首先，在图1B的步骤S1中，图像处理 装置100 (输入单元101)获取拍摄图像作为输入图像。输入图像是图像拾取元件通过经由 图像拾取光学系统接收光获取的数字图像（拍摄图像），并且由于由图像拾取光学系统导 致的像差（轴向色差等）而劣化。图像拾取光学系统不仅可由透镜构成，而且可由具有弯 曲的反射镜（反射表面）构成。
[0052] 例如，输入图像的颜色分量包含RGB颜色分量信息。此外，作为其它颜色分量，可 以选择和使用诸如由LCH表示的明度、色调和饱和度，以及由YCbCr表示的亮度和色差信号 的常用颜色空间。作为其它的颜色空间，可以使用XYZ、Lab、Yuv和JCh。并且，也可使用色 温。可通过有线或无线连接图像拾取装置和图像处理装置100获取拍摄图像。也可通过非 暂时性计算机可读存储介质获取拍摄图像。
[0053] 随后，在步骤S2中，图像处理装置100 (检测单元102)检测构成颜色图像的多个 颜色面中的任一个的像素值（信号电平）单调增加或单调减小的区域。然后，检测单元102 暂时确定所检测的区域作为颜色逸出出现区域（单调增加/减小检测处理）。在单调增加 /减小检测处理中，存在几种可能的确定颜色逸出出现区域的方法。在本实施例中，基于某 像素区间（预定区间）中的颜色逸出的像素值的变化特性执行确定。
[0054] 由于因成像位置根据波长在沿光轴的方向上的位移出现颜色逸出，因此，当出现 蓝色的颜色逸出时，例如，这意味着蓝色面（B面）失焦（散焦）。由散焦导致的颜色逸出存 在于某像素区间上，并且，这种情况下的颜色逸出的像素值的变化具有从图像的突出显示 部分到阴影部分逐渐减小的特性。因此，当某像素区间中的颜色逸出的像素值的变化具有 单调增加或单调减小的特性时，由于可能出现颜色逸出，因此该区间被暂时确定为颜色逸 出出现区域。
[0055] 如上所述，在本实施例中，图像拾取元件包括多个滤色器。检测单元102检测从图 像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平（像素值）在预定的 区间内沿某方向（第一方向）单调增加或单调减小的区域（第一区域）。但是，本实施例不 限于此，并且，检测单元102可替代性地被配置为检测从从图像拾取元件获取的图像产生 的亮度面（Y面）的信号电平而不是颜色面的信号电平单调增加或单调减小的区域。
[0056] 顺便说一句，在实际的情况下，当图像拾取光学系统导致诸如彗差的不对称像差 时，关于被摄体的图像由图像拾取光学系统导致的颜色逸出在一些方向上出现并且在其它 的方向上不出现。因此，如果当被摄体具有与颜色逸出相同的类型的颜色时仅基于单调增 加/减小确定颜色逸出出现区域，那么被摄体的颜色可能被错误地确定为颜色逸出。这意 味着，不能仅基于单调增加或单调减小正确地确定颜色逸出出现区域。
[0057] 在本实施例中，检测单调增加或单调减小的区域包含中心是颜色图像的目标像素 的水平、垂直或倾斜方向的像素区间以及端点是颜色图像的目标像素的水平、垂直或倾斜 方向的像素区间中的任一个。
[0058] 作为第一处理，通过计算颜色面的像素值的倾斜执行单调增加或单调减小的检 测。当输入图像由例如三个颜色面即G面、B面和R面构成时，选择要去除颜色逸出的B面， 并且使用G面作为基准面。如下式（1)所示，计算关于B面的亮度倾斜Blea和关于G面的 亮度倾斜Glea。

【权利要求】
1. 一种图像处理装置，其特征在于包括： 检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色 器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产 生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小； 确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信 息确定出现图像拾取光学系统的颜色逸出的第二区域；和 校正单元，所述校正单元被配置为校正图像以减少颜色逸出。
2. 根据权利要求1的图像处理装置，其特征在于，所述光学信息是关于出现图像拾取 光学系统的颜色逸出的第二方向的信息。
3. 根据权利要求2的图像处理装置，其特征在于，确定单元被配置为比较第一方向与 第二方向以确定第二区域。
4. 根据权利要求2的图像处理装置，其特征在于，确定单元被配置为当第一方向与第 二方向相互匹配时确定第一区域是第二区域。
5. 根据权利要求1的图像处理装置，其特征在于，所述光学信息是关于图像拾取光学 系统的颜色逸出的强度的信息。
6. 根据权利要求5的图像处理装置，其特征在于，校正单元被配置为基于关于颜色逸 出的强度的信息改变对图像进行校正的力度。
7. 根据权利要求4的图像处理装置，其特征在于，校正单元被配置为当第一方向和第 二方向在多个方向上相互匹配时计算关于多个方向的颜色逸出的信息以校正图像。
8. 根据权利要求7的图像处理装置，其特征在于，校正单元被配置为当第一方向和第 二方向在多个方向上相互匹配时使用关于多个方向的重心方向的颜色逸出的强度的信息 以校正图像。
9. 根据权利要求1?8中的任一项的图像处理装置，还包括被配置为存储各拍摄条件 的光学信息的存储单元。
10. 根据权利要求9的图像处理装置，其特征在于，拍摄条件包含图像拾取光学系统的 焦距、被摄体距离和孔径值中的至少一个。
11. 一种图像拾取装置，其特征在于包括： 图像拾取元件，所述图像拾取元件被配置为对光学图像进行光电转换； 检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色 器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产 生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小； 确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信 息确定出现图像拾取光学系统的颜色逸出的第二区域；和 校正单元，所述校正单元被配置为校正图像以减少颜色逸出。
12. -种图像拾取系统，包括： 包含图像拾取光学系统的镜头装置；和 图像拾取装置， 其特征在于，图像拾取装置包括： 被配置为对光学图像进行光电转换的图像拾取元件； 检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色 器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产 生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小； 确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信 息确定出现图像拾取光学系统的颜色逸出的第二区域；和 校正单元，所述校正单元被配置为校正图像以减少颜色逸出。
13. -种图像处理方法，其特征在于包括以下的步骤： 检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的 与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个 在预定区间内沿第一方向单调增加或者单调减小； 基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的 颜色逸出的第二区域；和 校正图像以减少颜色逸出。
14. 一种图像处理方法，其特征在于包括以下的步骤： 校正拍摄图像的倍率色差； 检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定 区间内沿第一方向单调增加或者单调减小的第一区域； 基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的 颜色逸出的第二区域；和 校正已校正了倍率色差的拍摄图像以减少颜色逸出。
15. 根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的 步骤： 基于拍摄图像检测倍率色差；和 基于检测的倍率色差确定倍率色差的校正量。
16. 根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括：基于事 先存储的倍率色差的校正信息确定倍率色差的校正量的步骤。
17. 根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括：校正被 包含为图像拾取光学系统的设计值的第一倍率色差的步骤。
18. 根据权利要求17的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的 步骤： 检测拍摄图像的边缘区域； 获取边缘区域中的颜色偏移量； 基于边缘区域的图像高度和颜色偏移量创建校正数据；和 使用校正数据以校正第一倍率色差。
19. 根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括校正第 二倍率色差的步骤，所述第二倍率色差对应于与图像拾取光学系统的设计值的差值。
20. 根据权利要求19的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的 步骤： 检测拍摄图像的边缘区域； 基于边缘区域的颜色偏移量计算关于拍摄图像的多个分割区域中的每一个的第一校 正量；和 通过使用与相对于拍摄图像的中心的径向不同的方向的第二校正量校正第二倍率色 差，第二校正量是基于第一校正量计算的。
21. 根据权利要求20的图像处理方法，其特征在于，校正第二倍率色差的步骤包含：通 过使用拍摄图像的水平方向和垂直方向中的每一个的第二校正量来校正第二倍率色差的 步骤，第二校正量是基于第一校正量计算的。
22. 根据权利要求20的图像处理方法，其特征在于，第一位置处的第一校正量和第二 位置处的第一校正量相互不同，第一位置和第二位置关于拍摄图像的中心对称。
23. 根据权利要求14的图像处理方法，其特征在于，光学信息是关于出现图像拾取光 学系统的颜色逸出的第二方向的信息。
24. 根据权利要求23的图像处理方法，其特征在于，确定第二区域的步骤包含：比较第 一方向与第二方向以确定第二区域的步骤。
25. 根据权利要求23的图像处理方法，其特征在于，确定第二区域的步骤包含：当第一 方向与第二方向相互匹配时确定第一区域是第二区域的步骤。
26. 根据权利要求14的图像处理方法，其特征在于，光学信息是关于图像拾取光学系 统的颜色逸出的强度的信息。
27. 根据权利要求26的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图 像的步骤包含：基于关于颜色逸出的强度的信息改变对拍摄图像进行校正的力度的步骤。
28. 根据权利要求25的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图 像的步骤包含：当第一方向和第二方向在多个方向上相互匹配时计算关于多个方向的颜色 逸出的强度的信息以校正拍摄图像的步骤。
29. 根据权利要求28的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图 像的步骤包含：当第一方向和第二方向在多个方向上相互匹配时使用关于多个方向的重心 方向的颜色逸出的强度的信息以校正拍摄图像的步骤。
30. 根据权利要求14?29中的任一项的图像处理方法，其特征在于，确定第二区域的 步骤包含：基于对各拍摄条件存储的光学信息确定第二区域的步骤。
31. 根据权利要求30的图像处理方法，其特征在于，拍摄条件包含图像拾取光学系统 的焦距、被摄体距离和孔径值中的至少一个。
32. 根据权利要求14的图像处理方法，其特征在于，检测第一区域的步骤包含：检测从 包含多个滤色器的图像拾取元件获取的拍摄图像的与至少一个滤色器对应的颜色面的信 号电平和从拍摄图像产生的亮度面的信号电平中的至少一个在预定区间内沿第一方向单 调增加或者单调减小的第一区域的步骤。
33. -种图像处理装置，其特征在于包括： 第一校正单元，所述第一校正单元被配置为校正拍摄图像的倍率色差； 检测单元，所述检测单元被配置为检测校正了倍率色差的拍摄图像的亮度信号和颜色 信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域； 确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信 息确定出现图像拾取光学系统的颜色逸出的第二区域；和 第二校正单元，所述第二校正单元被配置为校正已校正了倍率色差的拍摄图像以减少 颜色逸出。
34. -种图像处理装置，其特征在于包括： 图像拾取元件，所述图像拾取元件被配置为对光学图像进行光电转换以输出拍摄图 像； 第一校正单元，所述第一校正单元被配置为校正拍摄图像的倍率色差； 检测单元，所述检测单元被配置为检测校正了倍率色差的拍摄图像的亮度信号和颜色 信号中的一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域； 确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信 息确定出现图像拾取光学系统的颜色逸出的第二区域；和 第二校正单元，所述第二校正单元被配置为校正已校正了倍率色差的拍摄图像以减少 颜色逸出。
【文档编号】H04N9/04GK104519329SQ201410524471
【公开日】2015年4月15日 申请日期:2014年10月8日 优先权日:2013年10月8日
【发明者】横山贵嘉, 畠山弘至, 鬼木崇 申请人:佳能株式会社