实施方式中，对摄像装置进行了说明，但是本发明也能够适用于从能够存储 RAW数据（马赛克图像）的摄像装置取得马赛克图像并对该马赛克图像进行包含本发明 的去马赛克处理智能的各种图像处理（所谓的"RAW显影"）的个人计算机等图像处理装 置。另外，本发明包括通过安装于通用的个人计算机而使该个人计算机作为上述图像处理 装置而发挥功能的RAW显影软件（图像处理程序）和记录有该RAW显影软件的（非临时性 (non-transitory))存储介质。
[0244] 另外，本发明不限定于本实施方式的马赛克图像，能够适用于各种图像，只要是能 够设定本发明的加权系数的马赛克图像，可以是任何图像。
[0245] 另外，由于本发明设为高精度地推定局部区域的颜色（色比、色差）而进行去马赛 克处理，所以能够减少产生彩色莫尔条纹、伪色。由此，在摄像装置中，能够省略用于减少产 生彩色莫尔条纹等的光学低通滤波器，或者即使在适用光学低通滤波器的情况下，也能够 采用为防止产生彩色莫尔条纹等的对高频成分截止作用弱的器件，能够不损害分辨率。
[0246] 在上述实施方式中，说明了对RGB或RGBW的马赛克图像进行的去马赛克处理，但 是本发明不限定于此，也能够适用于RGB的三原色+其他颜色（例如翡翠色（E))的四种颜 色的马赛克图像。
[0247] 另外，本发明也能够适用于原色RGB的补色即C(蓝绿色）、M(品红）、Y (黄色）加 上G的四种颜色的补色系的马赛克图像。
[0248] 此外，本发明不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进 行各种变形是不言而喻的。
[0249] 附图标号说明
[0250] 10…摄像装置，12···摄影光学系统（摄影镜头），14…摄像元件，16···摄像处理部， 18…图像处理部，20···驱动部，22···控制部
【主权项】
1. 一种图像处理装置，具备： 图像获取单元，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件 取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第 一方向垂直的第二方向的光电转换元件构成，所述滤色器具有与一种颜色W上的第一色对 应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色W上的第二 色对应的第二滤光片； 运算单元，具有与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地 设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数，所述第一加 权系数及第二加权系数设定为所述内核尺寸内的第一方向及第二方向的像素行内的所述 第一加权系数的总和与第二加权系数的总和之比为1 : 1，所述运算单元基于所述第一加 权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应的局部区域内的第 一色的像素的像素值及第二色的每色的像素的像素值，而算出所述第一色的积和运算值及 第二色的每色的积和运算值；及 图像处理单元，基于所述局部区域内的处理对象的像素的像素位置的第一色的像素 值、由所述运算单元算出的所述第一色及第二色的每色的积和运算值，而算出所述像素位 置的第二色的每色的像素值。
2. 根据权利要求1所述的图像处理装置，其中， 所述马赛克图像在与所述内核尺寸对应的局部区域内对于所述第二色的每色具有一 组W上的两对像素的组，所述两对像素的组为在具有与所述第一方向及第二方向平行的边 的任意四边形的至少一个四边形中一方的对角位置具有所述第一色而另一方的对角位置 具有同色的所述第二色。
3. 根据权利要求1或2所述的图像处理装置，其中， 所述马赛克图像包含在所述第一方向及所述第二方向上与M X N像素对应的基本排列 图案，并且该基本排列图案沿所述第一方向及所述第二方向重复配置，其中M > 3, N > 3。
4. 根据权利要求1?3中任一项所述的图像处理装置，其中， 所述马赛克图像包含在所述第一方向及第二方向的像素行上所述第二色的全部颜色 的像素不齐全的像素行。
5. 根据权利要求1?4中任一项所述的图像处理装置，其中，具备： 控制单元，对所述马赛克图像一边使所述局部区域每次移动与所述处理对象的对象像 素单位相应的量一边使所述运算单元及所述图像处理单元反复动作。
6. 根据权利要求1?5中任一项所述的图像处理装置，其中， 所述马赛克图像具有：与属于所述第一色的绿佑）色对应的G像素、与属于所述第二色 的红佩色和藍做色对应的R像素和B像素， 当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值 分别设为Rf、Gf、Bf时， 在所述处理对象的对象像素是G像素的情况下，所述图像处理单元分别算出所述G像 素的积和运算值与所述R像素的积和运算值之比即色比化f/Gf)及所述G像素的积和运算 值与所述B像素的积和运算值之比即色比炬f/Gf)，并基于算出的所述色比巧f/Gf)、色比 炬f/Gf)和所述处理对象的G像素的像素值而分别算出所述处理对象的像素位置的R像素、 B像素的像素值。
7. 根据权利要求1?6中任一项所述的图像处理装置，其中， 所述马赛克图像具有：与属于所述第一色的绿佑）色对应的G像素、与属于所述第二色 的红佩色和藍做色对应的R像素和B像素， 当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值 分别设为Rf、Gf、Bf时， 在所述处理对象的对象像素是R像素的情况下，所述图像处理单元算出所述G像素的 积和运算值与所述B像素的积和运算值之比即色比炬f/Gf)，并基于算出的所述色比炬f/ Gf)和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置 的B像素的像素值， 在所述处理对象的对象像素是B像素的情况下，所述图像处理单元算出所述G像素的 积和运算值与所述R像素的积和运算值之比即色比化f/Gf)，并基于算出的所述色比化f/ Gf)和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置 的R像素的像素值。
8. 根据权利要求1?5中任一项所述的图像处理装置，其中， 所述马赛克图像具有：与属于所述第一色的绿佑）色对应的G像素、与属于所述第二色 的红佩色和藍做色对应的R像素和B像素， 当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值 除W加权系数的总和而得到的加权平均值分别设为Rf'、Gf'、Bf'时， 在所述处理对象的对象像素是G像素的情况下，所述图像处理单元分别算出所述G像 素的加权平均值与所述R像素的加权平均值之差即色差巧f'-Gf')及所述G像素的加权 平均值与所述B像素的加权平均值之差即色差炬f'- Gf')，并基于算出的所述色差化f'-Gf')、色差炬f' - Gf')和所述处理对象的G像素的像素值，而分别算出所述处理对象的 像素位置的R像素、B像素的像素值。
9. 根据权利要求1?5、8中任一项所述的图像处理装置，其中， 所述马赛克图像具有：与属于所述第一色的绿佑）色对应的G像素、与属于所述第二色 的红佩色和藍做色对应的R像素和B像素， 当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值 除W加权系数的总和而得到的加权平均值分别设为Rf'、Gf'、Bf'时， 在所述处理对象的对象像素是R像素的情况下，所述图像处理单元算出所述G像素的 加权平均值与所述B像素的加权平均值之差即色差炬f' - Gf')，并基于算出的所述色差 炬f' - Gf')和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的 像素位置的B像素的像素值， 在所述处理对象的对象像素是B像素的情况下，所述图像处理单元算出所述G像素的 加权平均值与所述R像素的加权平均值之差即色差巧f' - Gf')，并基于算出的所述色差 化f' - Gf')和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的 像素位置的R像素的像素值。
10. 根据权利要求7或9所述的图像处理装置，其中， 具备；方向判别单元，基于所述马赛克图像内的处理对象的像素附近的所述第一色的 像素的像素值来判别亮度的相关方向是所述第一方向、第二方向、相对于所述第一方向及 第二方向倾斜的第=方向及第四方向中的哪个方向， 在所述处理对象的像素位置的像素是R像素或B像素的情况下，所述图像处理单元使 用存在于由所述方向判别单元判别出的相关方向上的G像素的像素值而算出对该像素位 置的G像素的像素值。
11. 根据权利要求10所述的图像处理装置，其中， 所述马赛克图像中的所述第一色的像素在所述第一方向、第二方向、第=方向和第四 方向的各方向的像素行内配置一个W上。
12. 根据权利要求10或11所述的图像处理装置，其中， 所述方向判别单元取得所述马赛克图像内的处理对象的像素附近的所述第一色的像 素即在所述第一方向、第二方向、第=方向和第四方向上分别相邻的同色的像素的像素值， 并基于分别相邻的同色的像素的像素值的差分值来判别亮度的相关方向。
13. 根据权利要求12所述的图像处理装置，其中， 所述方向判别单元按所述第一方向、第二方向、第=方向和第四方向的各方向算出多 个相邻的同色的像素的像素值的差分绝对值，并将各方向的多个差分绝对值的总和或平均 值中为最小的方向判别为相关方向。
14. 一种摄像装置，具备权利要求1?13中任一项所述的图像处理装置。
15. -种图像处理方法，包括： 图像获取工序，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件 取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第 一方向垂直的第二方向的光电转换元件构成，所述滤色器具有与一种颜色W上的第一色对 应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色W上的第二 色对应的第二滤光片； 运算工序，使用与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地 设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数进行运算，所 述第一加权系数及第二加权系数设定为所述内核尺寸内的第一方向及第二方向的像素行 内的所述第一加权系数的总和与第二加权系数的总和之比为1 : 1，在该运算工序中基于 所述第一加权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应的局部 区域内的第一色的像素的像素值及第二色的像素的像素值而算出所述第一色的积和运算 值及第二色的积和运算值；及 图像处理工序，基于所述局部区域内的处理对象的像素的像素位置的所述第一色的像 素值、由所述运算工序算出的所述第一色及第二色的每色的积和运算值而算出所述像素位 置的第二色的每色的像素值， 对所述马赛克图像一边使所述局部区域每次移动与所述处理对象的对象像素单位相 应的量一边反复执行所述运算工序及所述图像处理工序的处理。
16. -种记录介质，存储有执行权利要求15所述的图像处理方法的图像处理程序。
17. -种记录介质，是计算机能够读取的记录介质，在由处理部读取了存储于所述记录 介质的指令的情况下，所述处理部执行： 图像获取工序，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件 取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第 一方向垂直的第二方向上的光电转换元件构成，所述滤色器具有与一种颜色W上的第一色 对应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色W上的第 二色对应的第二滤光片； 运算工序，使用与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地 设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数进行运算，所 述第一加权系数及第二加权系数设定为所述内核尺寸内的第一方向及第二方向的像素行 内的所述第一加权系数的总和与第二加权系数的总和之比为1 : 1，在该运算工序中基于 所述第一加权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应的局部 区域内的第一色的像素的像素值及第二色的像素的像素值而算出所述第一色的积和运算 值及第二色的积和运算值；及 图像处理工序，基于所述局部区域内的处理对象的像素的像素位置的第一色的像素 值、由所述运算工序算出的所述第一色及第二色的每色的积和运算值而算出所述像素位置 的第二色的每色的像素值， 对所述马赛克图像一边使所述局部区域每次移动与所述处理对象的对象像素单位相 应的量一边反复执行所述运算工序及图像处理工序的处理。
18. -种图像处理程序，使计算机执行如下功能： 图像获取功能，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件 取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第 一方向垂直的第二方向上的光电转换元件构成，所述滤色器具有与一种颜色W上的第一色 对应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色W上的第 二色对应的第二滤光片； 运算功能，使用与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地 设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数进行运算，所 述第一加权系数及第二加权系数设定为所述内核尺寸内的所述第一方向及所述第二方向 的像素行内的所述第一加权系数的总和与所述第二加权系数的总和之比为1:1，该运算功 能基于所述第一加权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应 的局部区域内的第一色的像素的像素值及第二色的像素的像素值而算出所述第一色的积 和运算值及第二色的积和运算值；及 图像处理功能，基于所述局部区域内的处理对象的像素的像素位置的所述第一色的像 素值、由所述运算工序算出的所述第一色及第二色的每色的积和运算值而算出所述像素位 置的所述第二色的每色的像素值。
【专利摘要】在计算局部区域的GR及GB的色比时，在内核内的水平方向及垂直方向的像素行中，分别使用具有对G、R像素的加权系数的总和之比为1：1的加权系数的加权平均滤光片及具有对G、B像素的加权系数的总和之比为1：1的加权系数的加权平均滤光片。而且，基于去马赛克处理的处理对象的像素位置的G的像素值和色比对对象像素的像素值进行插值而算出R、B的像素值。
【IPC分类】H04N9-07, H04N9-67
【公开号】CN104584542
【申请号】CN201380045235
【发明人】田中诚二
【申请人】富士胶片株式会社
【公开日】2015年4月29日
【申请日】2013年8月21日
【公告号】DE112013004198T5, US20150172615, WO2014034486A1