图像处理设备、摄像设备和图像处理方法
【技术领域】
[0001] 本发明涉及图像处理，尤其涉及一种用于通过对彩色图像信号中各像素丢失的颜 色信号进行插值来进行去马赛克的技术。
【背景技术】
[0002] 过去，已将具有如图17所示的Bayer(拜耳）模式的颜色滤波器应用于诸如(XD 和CMOS传感器等的单板摄像装置。在这种情况下，这类颜色滤波器通常可以是用于三原 色-红色、绿色和蓝色、或者三补色-青色、品红色和黄色的滤波器。
[0003] 然而，由于通过使用Bayer模式可以获取与各像素中的一种颜色相对应的信号， 因而进行用于对各像素中丢失的其它两种颜色的颜色信号进行去马赛克（插值）的处理。 过去已知有许多去马赛克方法，并且基本的去马赛克方法可以包括例如双线性插值和双三 次插值。
[0004] 尽管通过双线性插值或者双三次插值，从包含许多低频成分的图像可以获取良好 的插值结果，但是在包含高频成分的图像中，可能发生实际被摄体中不存在的、被称为伪分 辨率和伪色（颜色摩尔纹）的线和颜色。这类伪分辨率和伪色可能是由于通过使用与被摄 体图像原本所具有的边缘方向不同的方向上的像素进行去马赛克而发生的。
[0005] 因此，提出了一种通过使用沿被摄体图像原本所具有的边缘方向的像素进行去马 赛克，可以有效抑制伪分辨率和伪色的发生的方法。这类使用沿边缘方向的像素的去马赛 克方法大体可被分成两种方法。日本特开2008-035470号提出了一种方法，该方法包括通 过使用周围像素来识别边缘方向、以及进行沿边缘的插值，而不进行跨边缘的插值。
[0006] 日本特开2008-035470号公开第二种插值方法，该插值方法包括首先在各方向上 进行插值以生成数个类型的插值结果，然后判断和选择对于插值所使用的哪一方向可以提 供适当结果。可以基于表示作为包括所要进行插值的像素的周边像素的相邻一致性或者均 匀性的周边相似性的评价值，判断插值方向的适当性。可以确定具有高一致性的方向，并且 可以选择该方向作为边缘方向。
[0007] 然而，日本特开2008-035470号所述方法未能提供表示分辨率极限附近的一致性 或者均匀性的适当评价值，其中，在分辨率极限附近，图像传感器的像素间距和被摄体的细 小部分的间距接近或者一致。因此，可能不能选择适当插值方向，并且因此可能发生伪分辨 率。
【发明内容】
[0008] 本发明的一个以上的实施例的一个方面，提供至少一种图像处理设备，其包括：插 值单元，用于对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值 处理，其中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应 的图像信号；评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像 素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及输出单元，用于在至少 一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值， 校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注 像素进行插值之后的图像信号，其中，所述预定条件包括所述至少一个关注像素是孤立点 这一条件。
[0009] 本发明的一个以上的实施例的一个方面，提供一种摄像设备，其包括：摄像装置， 用于针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；插值单 元，用于对所述摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值 处理；评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像素，获取 表示所述多个规定方向的各方向上的相关性的评价值；以及输出单元，用于在至少一个关 注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所 述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进 行插值之后的图像信号，其中，所述预定条件包括所述至少一个关注像素是孤立点这一条 件。
[0010] 本发明的一个以上的实施例的一个方面，提供一种图像处理方法，其包括以下步 骤：对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理，其 中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信 号；针对经过了所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向 上的相关性的评价值；以及在至少一个关注像素满足预定条件的情况下，基于所述至少一 个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后 的评价值输出对所述至少一个关注像素进行插值之后的图像信号，其中，所述预定条件包 括所述至少一个关注像素是孤立点这一条件。
[0011] 根据本发明的其它方面，这里说明一种以上的图像处理设备、一种以上的摄像设 备、一种以上的图像处理方法、一个以上的程序和一种以上的存储介质。通过以下参考附图 对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0012] 图1是示出至少根据第一和第二实施例的摄像设备的示意性结构的框图。
[0013]图2是示出至少根据第一和第二实施例的摄像设备种的去马赛克单元的结构的 框图。
[0014] 图3是示出图2中去马赛克单元中的H方向插值单元的至少一个实施例和V方向 插值单元的至少一个实施例的结构的框图。
[0015] 图4是示出用于说明用于各方向的插值处理的Bayer模式的像素配置结构的图。
[0016] 图5是示出评价值计算处理的至少一个实施例的流程图。
[0017] 图6是示出用于说明评价值计算处理的至少一个实施例的3X3像素区域的图。
[0018] 图7是示出在关注像素具有H方向评价值一V方向评价值>0的关系的情况下的 孤立点判断处理的实施例的流程图。
[0019] 图8是示出在关注像素具有H方向评价值一V方向评价值〈0的情况下的孤立点 判断处理的实施例的流程图。
[0020] 图9是示出根据第一典型实施例处理具有H方向评价值的像素的相关性判断处理 的实施例的流程图。
[0021] 图10是用于说明处理具有H方向评价值的像素的相关性判断处理的实施例的图。
[0022] 图11是示出孤立点校正处理的实施例的流程图。
[0023] 图12是用于说明孤立点校正处理的实施例中的校正的例子的图。
[0024] 图13是示出图像生成处理的实施例的流程图。
[0025]图14是示出根据第二典型实施例处理具有H方向评价值的像素的相关性判断处 理的实施例的流程图。
[0026]图15是示出根据第二典型实施例处理具有V方向评价值的像素的相关性判断处 理的实施例的流程图。
[0027] 图16示出模板映射示例。
[0028] 图17示出Bayer模式的像素配置结构。
【具体实施方式】
[0029] 参考附图详细说明本发明的典型实施例。
[0030] 第一典铟实施例
[0031] 图1是示出根据本发明第一典型实施例的图像处理设备的示意性结构的框图。在 下面的说明中，图像处理设备可以是诸如数字照相机和数字摄像机等的摄像设备。
[0032] 反映被摄体或者物体的光学图像（被摄体图像或者物体图像）通过摄像镜头101 形成在摄像装置102上，并且进行光电转换。
[0033] 摄像装置102被配置为包括普通三原色滤波器的单板摄像装置。三原色滤波器用 于分别具有约650nm、550nm和450nm的透射主波长带的R(红色）、G(绿色）和B(蓝色）， 并且可以生成与三原色中的各波长带相对应的颜色层。
[0034] 单板彩色摄像装置具有与多种颜色相对应的颜色滤波器。如图17所示，这些颜色 滤波器可以对于各像素在空间上配置。在各像素中，通过具有如图17所示的结构的颜色滤 波器，仅可以获取单个颜色层上的光强度。因此，摄像装置102输出马赛克图像信号，S卩，各 像素中的三原色中的两种颜色丢失的图像信号。模拟-数字（A/D)转换单元103将作为来 自摄像装置102的模拟电压所输出的马赛克图像信号转换成彩色数字图像数据。
[0035] 白平衡单元104进行白平衡处理。更具体