图像处理装置、方法、程序、记录介质及摄像装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理装置、方法、程序、记录介质及摄像装置，尤其是涉及减少产 生彩色莫尔条纹的技术。
【背景技术】
[0002] 在具有单板式彩色摄像元件的彩色摄像装置中，来自彩色摄像元件的输出图像是 RAW图像（马赛克图像），因此通过根据周围的像素对所缺失颜色的像素进行插值的去马赛 克算法处理（或称作"去马赛克处理"，以下相同）而得到多通道图像。
[0003] 专利文献1中有下述记载：去马赛克处理时进行假定了局部区域中的红色（R)、绿 色（G)、蓝色（B)的色比大致保持为一定的插值处理。例如，对于以去马赛克处理的处理对 象的像素为中心像素的7X7像素的输入像素单位，求出R、G、B信号的低频成分mR'、mG、 mB'，基于G像素的像素值g和局部区域的色比（mR' /mG、mB' /mG)，而将处理对象的像素是 G像素的情况下的G像素上的R、B像素的像素值推定为R = (mR' /mG) g，B = (mB' /mG) g。
[0004] 另外，通过对7 X 7像素的输入像素单位内的RGB信号和在中央部分配了较大的加 权系数后的加权系数的卷积运算，算出加权平均值，从而进行与7X7像素的输入像素单位 对应的R、G、B信号的低频成分mR'、mG、mB'的计算（专利文献1的图24、图26)。
[0005] 专利文献1 :日本特开2011 - 182354号公报
【发明内容】
[0006] 发明所要解决的课题
[0007] 专利文献1记载的发明涉及从除了 RGB像素外还具有白色（W)像素的摄像元件取 得的RGBW排列的马赛克图像的去马赛克处理。专利文献1记载的发明不能减少因为各颜 色的超过重现频带的高频信号的折回和各颜色的相位的偏离而产生的低频的色附着（彩 色莫尔条纹）。
[0008] 在纵条纹图案或横条纹图案（高频图像）入射到摄像元件的情况下，若通过专利 文献1所记载的加权系数算出局部区域的RGB的色比（R/G、B/G)，则局部区域的RGB的色 比保持为一定的假定不成立。并且，若基于该色比进行去马赛克处理，则存在产生彩色莫尔 条纹的问题。
[0009] 本发明鉴于这种情况而做，其目的在于提供一种能够以简单的图像处理减少产生 彩色莫尔条纹的图像处理装置、方法、程序、记录介质及摄像装置。
[0010] 用于解决课题的手段
[0011] 为了达成上述目的，本发明的一个方式具备：图像获取单元，获取从在多个像素上 配置预定的滤色器排列的滤色器而成的摄像元件取得的与滤色器排列对应的马赛克图像， 上述多个像素由排列于第一方向及与第一方向垂直的第二方向上的光电转换元件构成，上 述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献 率比第一色低的两种颜色以上的第二色对应的第二滤光片；运算单元，具有与第二色的每 色对应且与预定的内核尺寸内的第一色对应地设定的第一加权系数和与第二色的各色分 别对应地设定的第二加权系数，上述第一加权系数及第二加权系数设定为内核尺寸内的第 一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1 :1， 并且该运算单元基于第一加权系数及第二加权系数、从马赛克图像提取的与内核尺寸对应 的局部区域内的第一色的像素的像素值及第二色的每色的像素的像素值而算出第一色的 积和运算值及第二色的每色的积和运算值；及图像处理单元，基于局部区域内的处理对象 的像素的像素位置的第一色的像素值、由运算单元算出的第一色及第二色的每色的积和运 算值而算出像素位置的第二色的每色的像素值。
[0012] 根据本发明的一个方式，运算单元为了取得马赛克图像内的局部区域的颜色信 息，而基于与预定的内核尺寸内的第一色对应地设定的第一加权系数、与第二色的各色分 别对应地设定的第二加权系数、从马赛克图像提取的与内核尺寸对应的局部区域内的第一 色的像素的像素值及第二色的像素的像素值，算出第一色的积和运算值及第二色的积和运 算值。在此，第一加权系数和第二加权系数被设定为，内核尺寸内的第一方向及第二方向 的像素行内的第一加权系数的总和与第二加权系数的总和之比为1 :1。即，通过使第一方 向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1 :1，即使 对第一方向或第二方向输入任何频率，乘以第一加权系数及第二加权系数后的结果的颜色 的关系都不会偏移。因此，能够算出该局部区域的准确的颜色信息（第一及第二积和运算 值）。图像处理单元基于局部区域内的处理对象的像素的像素位置的第一色的像素值和第 一色及第二色的每色的积和运算值而算出像素位置的第二色的每色的像素值，可算出局部 区域的准确的颜色信息。由此，能够高精度地进行去马赛克处理，并能够减少产生彩色莫尔 条纹（伪色）。
[0013] 本发明的其他方式的图像处理装置中，马赛克图像在与内核尺寸对应的局部区域 内对于第二色的每色具有一组以上的两对像素的组，上述两对像素的组为在具有与第一方 向及第二方向平行的边的任意四边形的至少一个四边形中一方的对角位置具有第一色而 另一方的对角位置具有同色的第二色。通过这种第一、第二像素的配置，能够使内核尺寸内 的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为 1 :1〇
[0014] 本发明的又一其他方式的图像处理装置中，马赛克图像包含在第一方向及第二方 向上与MXN像素（M彡3、N彡3)对应的基本排列图案，并且基本排列图案沿第一方向及第 二方向重复配置。在包含三种颜色以上的颜色的马赛克图像的情况下，为了使第一加权系 数的总和与第二加权系数的总和之比为1 :1，需要使基本排列图案的像素尺寸为3X3像素 以上。
[0015] 本发明的又一其他方式的图像处理装置中，马赛克图像包含在第一方向及第二方 向的像素行上第二色的全部颜色的像素不齐全的像素行。即使包含在第一方向及第二方向 的像素行上第二色的全部颜色的像素不齐全的像素行，也能够使内核尺寸内的第一方向及 第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1 :1。本发明对 于这种马赛克图像也是有效的。
[0016] 本发明的又一其他方式的图像处理装置中，具备：控制单元，对马赛克图像一边使 局部区域每次移动与处理对象的对象像素单位相应的量一边使运算单元及图像处理单元 反复动作。
[0017] 本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一 色的绿（G)色对应的G像素、与属于第二色的红（R)色及蓝（B)色对应的R像素及B像素， 当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、 Gf、Bf时，在处理对象的对象像素是G像素的情况下，图像处理单元分别算出G像素的积和 运算值与R像素的积和运算值之比即色比（Rf/Gf)及G像素的积和运算值与B像素的积和 运算值之比即色比（Bf/Gf)，并基于算出的色比（Rf/Gf)、色比（Bf/Gf)和处理对象的G像 素的像素值而分别算出处理对象的像素位置的R像素、B像素的像素值。
[0018] 局部区域的R像素与G像素的积和运算值（Rf、Gf)之比及B像素与G像素的积和 运算值（Bf、Gf)之比表示该局部区域的本来的颜色的GR的色比及GB的色比。而且，通过 这些色比对处理对象的G像素的像素位置的R、B的像素值进行插值，能够高精度地进行推 定。
[0019] 本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一 色的绿（G)色对应的G像素、与属于第二色的红（R)色及蓝（B)色对应的R像素及B像素， 当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、 Gf、Bf时，在处理对象的对象像素是R像素的情况下，图像处理单元算出G像素的积和运算 值与B像素的积和运算值之比即色比（Bf/Gf)，并基于算出的色比（Bf/Gf)和对于处理对象 的像素位置算出的G像素的像素值而算出处理对象的像素位置的B像素的像素值，在处理 对象的对象像素是B像素的情况下，图像处理单元算出G像素的积和运算值与R像素的积 和运算值之比即色比（Rf/Gf)，并基于算出的色比（Rf/Gf)和对于处理对象的像素位置算 出的G像素的像素值而算出处理对象的像素位置的R像素的像素值。
[0020] 使用预先算出的R像素上的G的像素值及B像素上的G的像素值，利用色比对这 些像素值进行插值而算出R像素上的B的像素值及B像素上的R的像素值。
[0021] 本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一 色的绿（G)色对应的G像素、与属于第二色的红（R)色及蓝（B)色对应的R像素及B像素， 当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数 的总和而得到的加权平均值分别设为Rf'、Gf'、Bf '时，在处理对象的对象像素是G像素 的情况下，图像处理单元分别算出G像素的加权平均值与R像素的加权平均值之差即色差 (Rf ' 一 Gf'）及G像素的加权平均值与B像素的加权平均值之差即色差（Bf ' 一 Gf'），并 基于算出的色差（Rf'一 Gf'）、色差（Bf'一 Gf'）和处理对象的G像素的像素值，而分别算 出处理对象的像素位置的R像素、B像素的像素值。
[0022] 局部区域中的每色的加权平均值（Rf'、Gf'、Bf'）之差表示该局部区域的本来颜 色的RGB之差（色差），基于该色差和处理对象的G像素的像素值，能够高精度地推定R、B 的像素值。
[0023] 本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一 色的绿（G)色对应的G像素、与属于第二色的红（R)色及蓝（B)色对应的R像素及B像素， 当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数 的总和而得到的加权平均值分别设为Rf'、Gf'、Bf '时，在处理对象的对象像素是R像素的 情况下，图像处理单元算出G像素的加权平均值与B像素的加权平均值之差即色差（Bf ' 一 Gf'），并基于算出的色差（Bf'一 Gf'）和对于处理对象的像素位置算出的G像素的像素值， 而算出处理对象的像素位置的B像素的像素值，在处理对象的对象像素是B像素的情况下， 图像处理单元算出G像素的加权平均值与R像素的加权平均值之差的色差（Rf ' 一 Gf'）， 并基于算出的色差（Rf ' 一 Gf'）和对于处理对象的像素位置算出的G像素的像素值而算出 处理对象的像素位置的R像素的像素值。
[0024] 使用预先算出的R像素上的G的像素值及B像素上的G的像素值，利用色差对这 些像素值进行插值而算出R像素上的B的像素值及B像素上的R的像素值。
[0025] 本发明的又一其他方式的图像处理装置中，优选为，具备：方向判别单元，基于马 赛克图像内的处理对象的像素附近的第一色的像素的像素值来判别亮度的相关方向是第 一方向、第二方向、相对于第一方向及第二方向倾斜的第三方向及第四方向中的哪个方向， 在处理对象的像素位置的像素是R像素或B像素的情况下，图像处理单元使用存在于由方 向判别单元判别出的相关方向上的G像素的像素值而算出对该像素位置的G像素的像素 值。
[0026] 关于R像素上的G的像素值及B像素上的G的像素，通过如上述那样地使用存在 于进行了方向判别的相关方向上的G像素的像素值，能够高精度地推定出G的像素值，并能 够减少产生高频部的伪色。
[0027] 本发明的又一其他方式的图像处理装置中，优选为，马赛克图像中的第一色的像 素在第一方向、第二方向、第三方向和第四方向的各方向的像素行内配置一个以上。由此， 即使亮度的相关方向存在于第一方向、第二方向、第三方向和第四方向中的任一个方向，在 亮度的相关方向上必定存在第一色的像素，因此能够使用存在于相关方向上的G像素的像 素值，高精度地算出R像素上的G的像素值及B像素上的G的像素值。
[0028] 本发明的又一其他方式的图像处理装置中，优选为，方向判别单元取得马赛克图 像内的处理对象的像素附近的第一色的像素即在第一方向、第二方向、第三方向和第四方 向上分别相邻的同色的像素的像素值，并基于分别相邻的同色的像素的像素值的差分值来 判别亮度的相关方向。
[0029] 由于基于在第一方向、第二方向、第三方向和第四方向的各方向上相邻的同色的 第一色的像素的像素值的差分值来判别亮度的相关方向，因此能够以最小像素间隔判别相 关方向是四个方向中的哪一个方向。
[0030] 本发明的又一其他方式的图像处理装置中，优选为，方向判别单元按第一方向、第 二方向、第三方向和第四方向的各方向算出多个相相邻的同色的像素的像素值的差分绝对 值，并将各方向的多个差分绝对值的总和或平均值中为最小的方向判别为相关方向。由于 按各方向分别算出多个差分绝对值的平均值，因此能够高精度地判别相关方向。
[0031] 本发明的又一其他方式的摄像装置具备上述的图像处理装置。
[0032] 本发明的又一其他方式的图像处理方法包括：图像获取工序，获取从在多个像素 上配置预定的滤色器排列的滤色器而成的摄像元件取得的与上述滤色器排列对应的马赛 克图像，上述多个像素由排列于第一方向及与第一方向垂直的第二方向上的光电转换元件 构成，上述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号 的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片；运算工序，使用与第二 色的每色对应且与预定的内核尺寸内的第一色对应地设定的第一加权系数和与第二色的 各色分别对应地设定的第二加权系数进行运算，第一加权系数及第二加权系数设定为内核 尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和 之比为1:1，在该运算工序中基于第一加权系数及第二加权系数、从马赛克图像提取的与内 核尺寸对应的局部区域内的第一色的像素的像素值及第二色的像素的像素值而算出第一 色的积和运算值及第二色的积和运算值；及图像处理工序，基于局部区域内的处理对象的 像素的像素位置的第一色的像素值、由运算工序算出的第一色及第二色的每色的积和运算 值，而算出像素位置的第二色的每色的像素值，对马赛克图像一边使局部区域每次移动与 处理对象的对象像素单位相应的量一边反复执行运算工序及图像处理工序的处理。
[0033] 本发明的又一其他方式的图像处理程序，使计算机执行如下功能：图像获取功能， 获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与上述滤色 器排列对应的马赛克图像，上述多个像素由