专利名称：图像处理装置、摄像装置以及图像处理方法
技术领域：
本发明涉及一种对由单板式彩色图像传感器获取到的RAW图像(颜色插补前的图像)进行处理的图像处理装置、摄像装置以及图像处理方法。
背景技术：
以往，数字照相机、图像处理软件等采用平滑化的噪声去除处理通常并非对RAW图像实施而是对颜色插补后的图像实施(参照日本特开平6-14189号公报、日本专利第 3689607号公报、日本特开2009-10823号公报等)。另外，没有在这些文献中公开，但是已经提出了对RAW图像的各色成分实施噪声去除处理的技术。通常，在颜色插补处理的过程中，已知各像素的亮度和色差，因此对颜色插补后的图像，也能够实施积极的噪声去除处理而不使包含在图像中的结构的边缘钝化，但是颜色插补后的图像的像素数较多，因此噪声去除处理所需的计算量变得庞大。另一方面，RAW图像的像素数较少，因此能够以小计算量对RAW图像实施噪声去除处理，但是在颜色插补前各像素的亮度和色差没有分离，因此当要保持包含在图像中的结构的边缘时，不太能实施积极的噪声去除处理。
发明内容
本发明的目的在于，提供一种解决上述问题、能够有效且高效率地进行采用平滑化的噪声去除处理的图像处理装置、摄像装置以及图像处理方法。本发明的图像处理装置的一个方式的图像处理装置具备图像输入部，其被输入图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；颜色推测部，其根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置上的第一颜色成分数据；计算部，其根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；平滑化部，其对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及色差推测部，其根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。此外，也可以是，在上述平滑化处理中还包含突出噪声的去除处理。另外，也可以是，本发明的图像处理装置的一个方式还具备亮度生成部，其根据上述第一像素组的像素的上述第一颜色成分数据以及上述第二像素组的像素的上述第二颜色成分数据，推测所输入的上述图像上的像素组的像素位置处的亮度数据；以及缩小部，其对亮度图像实施用于使该亮度图像的图像尺寸与上述离散色差图像的图像尺寸一致的尺寸缩小处理，其中，上述亮度图像由基于上述像素组的像素位置推测出的上述亮度数据构成，上述平滑化部根据尺寸缩小后的上述亮度图像来设定上述平滑化处理的参数。另外，也可以是，本发明的图像处理装置的一个方式的摄像装置具备彩色摄像元件，其获取图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；以及输入上述图像而进行处理的上述某一个方式的图像处理装置。另外，本发明的图像处理方法的一个方式包括以下工序输入图像的图像输入工序，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；颜色推测工序，根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置处的第一颜色成分数据；计算工序，根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；平滑化工序，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上 述第二像素组的像素位置计算出的上述色差数据构成；以及色差推测工序，根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。
图I是表示电子照相机101整体结构的框图。图2是表示图像处理部107的结构的框图。图3是说明拜尔排列的图。图4是说明亮度图像的生成顺序的图。图5是说明亮度图像的生成顺序的图。图6是表示第一实施方式的色差图像生成部252的结构的框图。图7是说明G插补部301的动作的图。图8是说明离散色差图像的图。图9是表示第二实施方式的色差图像生成部252的结构的框图。图10是说明第二实施方式的平滑化部303的处理(d)的图。
具体实施例方式[第一实施方式]以下，作为本发明的第一实施方式说明电子照相机。图I是表示电子照相机101整体结构的框图。如图I所示，在电子照相机101设置有摄像光学系统102、机械快门103、彩色摄像元件104、信号处理部105、图像缓冲器106、图像处理部107、照相机控制部108、非易失性存储器109、显示部110、操作部件111以及卡接口(卡I/F)112。此外，电子照相机101能够拆装作为便携式存储介质的存储卡112a。摄像光学系统102将从被摄体射出的光束(被摄体光束)成像到彩色摄像元件104的摄像面上。摄像光学系统102具备透镜、光圈、透镜驱动部等，透镜驱动部根据来自照相机控制部108的指示来调整透镜的位置、光圈的直径等。机械快门103用于打开和关闭被摄体光束的光路。由照相机控制部108对由机械快门103打开的光路的打开期间进行控制。彩色摄像元件104是具有滤色片阵列的单板式彩色图像传感器，将相互对不同的颜色具有灵敏度的多种像素在同一面上(呈马赛克状)分别各混合多个地进行排列。根据从照相机控制部108提供的驱动信号依次读取由该彩色摄像元件104的各像素生成的像素信号。以下，假设在滤色片阵列的滤波器排列中采用拜尔排列。信号处理部105对从彩色摄像元件104依次读取出的像素信号实施各种信号处理。该信号处理包括对图像信号进行放大的放大处理、将像素信号转换为数字信号(数字像素信号)的A/D转换处理等。其中，由照相机控制部108适当地设定放大处理的放大率，该放大率决定电子照相机101的摄像灵敏度。此外，由照相机控制部108对信号处理部105中的各种信号处理的定时进行控制。
图像缓冲器106是易失性的高速存储器，依次存储从信号处理部105输出的数字像素信号。于是，当从彩色摄像元件104读取一帧量的像素信号时，一帧量的数字像素信号被存储到图像缓冲器106。以下，将这样存储到图像缓冲器106中的一帧量的数字像素信号称为“RAW图像”。此外，图像缓冲器106还能够根据来自照相机控制部108的指示，保存RAff图像以外的图像。在此，RAff图像是将相互表示不同的颜色成分的强度的多种像素呈马赛克状分别排列多个而得到的图像，相互不同种类的像素具有相互不同颜色成分的数据(颜色成分数据)。如上所述，在滤色片阵列的滤波器排列中采用拜尔排列的情况下，该RAW图像中的像素的排列也形成为拜尔排列。在该情况下，RAW图像成为以图3示出的规则性反复排列仅具有R成分数据的R图像、仅具有G成分数据的G图像以及仅具有B成分数据的B图像而得到的图像。图像处理部107根据来自照相机控制部108的指示对图像缓冲器106上的RAW图像实施包括颜色插补处理的各种图像处理。另外，图像处理部107还能够根据来自照相机控制部108的指示对图像处理后的图像实施数据压缩处理。操作部件111包括模式选择拨号盘、释放按钮等。用户能够通过该操作部件111对照相机控制部108输入各种指示。显示部110例如为设置于电子照相机101背面的液晶监视器。显示部110适当地显示从照相机控制部108指定的图像。非易失性存储器109例如由作为半导体存储器的一种的闪速存储器构成。在非易失性存储器109中保存有照相机控制部108要参照的各种参数，根据用户不同而适当地更新这些参数。卡I/F 112将从照相机控制部108指定的数据写入到存储卡112a，或者从存储卡112a读取由照相机控制部108指定的数据。照相机控制部108具备CPU、ROM等，CPU根据预先保存在ROM中的程序(包括与摄像有关的程序、与图像处理有关的程序)以及从用户输入的指示，控制电子照相机101的各部。例如，当从用户输入摄像指示时，照相机控制部108通过对摄像光学系统102、机械快门103、彩色摄像元件104以及信号处理部105进行驱动，获取RAW图像而存储到图像缓冲器106。
之后，照相机控制部108对图像处理部107提供指示以对图像缓冲器106上的RAW图像实施上述各种图像处理，将图像处理后的图像发送到显示部110。并且，照相机控制部108对图像处理部107提供指示以对图像处理后的图像进行数据压缩，当完成数据压缩后的图像的图像文件(JPEG文件)时，对卡I/F 112发出指示以将该图像文件写入到存储卡112a。另外，当根据需要制作RAW图像的图像文件(RAW图像文件)时，照相机控制部108对卡I/F 112发出指示以使得与JPEG文件一起将该RAW图像文件写入到存储卡112a。图2是表示图像处理部107的结构的框图。如图2所示，在图像处理部107中设置有白平衡处理部(WB处理部)201、白平衡增益计算部(WB增益计算部)202、伽玛转换部203、颜色插补处理部204、伽玛校正处理部205、色度强调处理部206、轮廓强调处理部207以及压缩处理部208。白平衡增益计算部202例如根据RAW图像来计算不依赖于照明被摄体的环境光的特性而以非彩色来表示非彩色被摄体的白平衡增益(R像素用的增益、B像素用的增益)。将计算出的白平衡增益(R像素用的增益、B像素用的增益)提供给白平衡处理部201。白平衡处理部201将被提供的白平衡增益(R像素用的增益、B像素用的增益)乘以RAW图像的各R像素和各B像素。由此，对RAW图像实施白平衡处理。伽玛转换部203对白平衡处理后的RAW图像实施具有预先决定的特性的灰度转换处理(伽玛转换)。该伽玛转换相当于颜色插补处理的预处理，生成适合于颜色插补的灰度的RAW图像。颜色插补处理部204具备亮度图像生成部251、色差图像生成部252以及亮度色差转换部253，对伽玛转换后的RAW图像实施颜色插补处理，生成颜色插补后的图像。颜色插补处理部204的亮度图像生成部251生成颜色插补后的图像的各像素位置上的亮度数据Y。也就是说，亮度图像生成部251生成颜色插补后的图像的亮度成分(即亮度图像)。颜色插补处理部204的色差图像生成部252生成颜色插补后的图像的各像素位置上的第一色差数据Cr，并且生成颜色插补后的图像的各像素位置上的第二色差数据Cb。也就是说，色差图像生成部252生成颜色插补后的图像的第一色差成分(即第一色差图像)以及颜色插补后的图像的第二色差成分(即第二色差图像)。亮度色差转换部253按每个像素对颜色插补后的图像的各像素实施矩阵运算(参照以下式)，由此将颜色插补后的图像的颜色坐标从YCbCr坐标向RGB坐标进行颜色坐标转换(进行YCbCr-RGB转换)。
^Rs) (\ +1.402 OY 7'G = I -0.714 -0.344 Cr
KB) [l O +1.772又O)，在颜色坐标转换后的图像中，对在RAW图像的各像素中丢失的颜色成分数据分别进行插补。也就是说，图2的颜色插补处理部204将全部像素没有丢失颜色成分数据而具有全部颜色成分数据(R、G、B)的图像(颜色坐标转换后的图像)作为颜色插补后的图像而输、出。伽玛校正处理部205按每个颜色成分对颜色坐标转换后的图像实施灰度转换处理。通过该灰度转换，得到适合于输出介质的灰度的图像。色度强调处理部206对灰度转换后的图像实施用于强调色度的颜色转换处理。此夕卜，在该颜色转换处理中还可以包含将各像素所属的颜色空间转换为适合于输出介质的颜色空间的处理。轮廓强调处理部207对颜色转换后的图像实施用于强调边缘的处理。边缘是指图像中的结构的边缘。在该轮廓强调处理中，例如对图像实施拉普拉斯滤波器等差分滤波处理，由此提取边缘成分，将该边缘成分施加到该图像。压缩处理部208对轮廓强调后的图像实施基于JPEG标准等规定方式的数据压缩 处理。接着，根据图4、图5说明亮度图像生成部251的处理的一例。亮度图像生成部251例如以下那样生成RAW图像的各G像素位置处的亮度数据Y、RAff图像的各R像素位置处的亮度数据Y、以及各B像素位置处的亮度数据Y。(生成G像素位置处的亮度数据)亮度图像生成部251对RAW图像(参照图3)上的G像素位置各自执行以下处理。S卩，如图4的㈧或者图4的⑶所示，亮度图像生成部251对所关注的G像素位置上的G像素的G成分数据G以及与该G像素位置的上下左右相邻的四个像素的颜色成分数据进行加权平均，来生成该G像素位置的亮度数据Y。此外,在该加权平均中，将G成分数据的权重、R成分数据的权重以及B成分数据的权重之比设定为2 : I : I。该G像素位置周边的排列在图4的(A)、图4的(B)中的任一个中加权平均的算式均成为y =(4G+Bl+B2+Rl+R2)/80(生成R像素位置的亮度数据)亮度图像生成部251对RAW图像上的R像素位置各自执行以下处理。首先，亮度图像生成部251计算与所关注的R像素位置的上下相邻的两个G像素的G成分数据差量的绝对值而作为垂直方向的对比度评价值。另外，亮度图像生成部251计算与该R像素位置的左右相邻的两个G像素的G成分数据差量的绝对值而作为水平方向的对比度评价值。亮度图像生成部251计算与该R像素位置的上和左相邻的两个G像素的G成分数据差量的绝对值以及与该R像素位置的右和下相邻的两个G像素的G成分数据差量的绝对值之和，将其作为第一斜线方向(从右上角向左下角的方向)的对比度评价值。另外，亮度图像生成部251计算与该R像素位置的上和右相邻的两个G像素的G成分数据差量的绝对值以及与该R像素位置的左和下相邻的两个G像素的G成分数据差量的绝对值之和，将其作为第二斜线方向(从左上角向右下角的方向)的对比度评价值。接着，亮度图像生成部251将垂直方向的对比度评价值、水平方向的对比度评价值、第一斜线方向的对比度评价值以及第二斜线方向的对比度评价值进行比较。然后，在垂直方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作垂直线结构，如图5的(A)所示，通过对以该R像素位置为中心的9个像素中的、与该R像素位置的左右相邻的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外,在该加权平均中，将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为I : I : 2。也就是说，加权平均通过Y= (4G+Rl+R2+Bl+B2)/8的式来进行。另外，在水平方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作水平线结构，如图5的(B)所示，通过对以该R像素位置为中心的9个像素中的、与该R像素位置的上下相邻的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外,在该加权平均中，将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为I : I : 2。另外，在第一斜线方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作第一斜线结构，如图5的(C)所示，通过对以该R像素位置为中心的9个像素中的、该R像素位置的左上角和右下角的2个像素以外的7个像素的颜 色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为I : I : 2。另外，在第二斜线方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作第二斜线结构，如图5的(D)所示，通过对以该R像素位置为中心的9个像素中的、该R像素位置的右上角和左下角的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为I : I : 2。其中，在上述四种对比度评价值的偏差小于阈值的情况下，亮度图像生成部251将R像素位置上的亮度结构视作相同，如图5的(E)所示，通过对以该R像素位置为中心的9个像素的全部颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为 I : I : 2。(生成B像素位置的亮度数据)亮度图像生成部251对RAW图像上的B像素位置各自执行与上述处理(生成R像素位置的亮度数据)相同的处理，由此生成各B像素位置的亮度数据Y(以上为亮度图像生成部251的动作)。接着，根据图6、图7、图8来详细说明色差图像生成部252的处理。如图6所示，色差图像生成部252具备G插补部301、离散色差生成部302、平滑化部303以及色差插补部304。色差图像生成部252的G插补部301、离散色差生成部302以及平滑化部303生成RAW图像上的各R像素位置处的第一色差数据Cr，并且生成RAW图像上的R像素位置处的第二色差数据Cb。色差图像生成部252的色差插补部304根据RAW图像的各R像素位置处的第一色差数据Cr来生成RAW图像的其它像素位置处的第一色差数据Cr，并且根据RAW图像的各B像素位置处的第二色差数据Cb来生成RAW图像的其它像素位置处的第二色差数据Cb。其中，生成第一色差数据Cr时的色差图像生成部252的处理顺序以及生成第二色差数据Cb时的色差图像生成部252的处理顺序相同，这些处理顺序之间的不同点仅在于，前者为与R像素有关的处理，与此相对，后者为与B像素有关的处理。于是，在此，仅以生成第一色差数据Cr时的色差图像生成部252的工作为代表来说明。
(G插补部301的工作)G插补部301对RAW图像上的R像素位置各自执行以下处理，由此生成R像素位置的各处的临时G成分数据。首先，G插补部301计算与所关注的R像素位置的上下相邻的两个G像素的G成分数据差量的绝对值作为垂直方向的对比度评价值。另外，G插补部301计算与该R像素位置的左右相邻的两个G像素的G成分数据差量的绝对值作为水平方向的对比度评价值。之后，G插补部301将垂直方向的对比度评价值与水平方向的对比度评价值进行比较。
然后，在垂直方向的对比度评价值较小的情况下，G插补部301将R像素位置处的亮度结构视作垂直线结构，如图7的(A)所示，将与该R像素位置的上下相邻的两个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。另外，在水平方向的对比度评价值较小的情况下，G插补部301将R像素位置处的亮度结构视作水平线结构，如图7的(B)所示，将与该R像素位置的左右相邻的两个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。但是，在上述两种对比度评价值的偏差小于阈值的情况下，G插补部301将R像素位置处的亮度结构视作相同，如图7的(C)所示，将与该R像素位置的上下左右相邻的四个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。(离散色差生成部302的工作)离散色差生成部302对RAW图像上的R像素位置各自执行以下处理。即，离散色差生成部302从所关注的R像素位置的G成分数据中减去G插补部301根据该R像素位置生成的G成分数据，由此计算该R像素位置处的第一色差数据Cr。在此，各个R像素位置分散在RAW图像上，因此如图8所示，离散色差生成部302根据各个R像素位置生成的第一色差数据Cr成为离散地分布在RAW图像上的数据。于是，以下，将第一色差数据Cr的RAW图像上的分布(等于由根据各R像素位置生成的第一色差数据Cr构成的图像)称为“离散色差图像”。(平滑化部303的工作)平滑化部303对离散色差图像(图8)上的各像素执行以下处理(a) (C)，去除离散色差图像所产生噪声(色差噪声)。(a)平滑化部303参照在离散色差图像上与关注像素相邻的8个周边像素的第一色差数据Cr (I) Cr (8)，计算它们的最大值MAX和最小值MIN。(b)平滑化部303通过将最大值MAX、最小值MIN以及关注像素的第一色差数据Cr适用于以下式(I)，生成关注像素的临时第一色差数据Cr_tmp。
权利要求
1.一种图像处理装置，其特征在于，具备 图像输入部，其被输入图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处； 颜色推测部，其根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置上的第一颜色成分数据； 计算部，其根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据； 平滑化部，其对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及 色差推测部，其根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。
2.根据权利要求I所述的图像处理装置，其特征在于， 在上述平滑化处理中包含突出噪声的去除处理。
3.根据权利要求I所述的图像处理装置，其特征在于， 还具备 亮度生成部，其根据上述第一像素组的像素的上述第一颜色成分数据以及上述第二像素组的像素的上述第二颜色成分数据，推测所输入的上述图像上的像素组的像素位置处的亮度数据；以及 缩小部，其对亮度图像实施用于使该亮度图像的图像尺寸与上述离散色差图像的图像尺寸一致的尺寸缩小处理，其中，上述亮度图像由基于上述像素组的像素位置推测出的上述亮度数据构成， 上述平滑化部根据尺寸缩小后的上述亮度图像来设定上述平滑化处理的参数。
4.一种摄像装置，其特征在于，具备 彩色摄像元件，其获取图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；以及 输入上述图像而进行处理的权利要求I 权利要求3中的任一项所述的图像处理装置。
5.一种图像处理方法，其特征在于，包括以下工序 输入图像的图像输入工序，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处； 颜色推测工序，根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置处的第一颜色成分数据； 计算工序，根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据； 平滑化工序，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及 色差推测工序，根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。全文摘要
本发明提供一种图像处理装置、摄像装置以及图像处理方法，为了有效且高效率地进行利用平滑化的噪声去除，上述图像处理装置具备图像输入部，被输入图像，该图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将第二像素组的像素排列在离散的位置处；颜色推测部，其根据第一像素组的像素所具有的第一颜色成分数据，推测离散的第二像素组的像素位置上的第一颜色成分数据；计算部，根据基于第二像素组的像素位置推测出的上述第一颜色成分数据、以及第二像素组的像素所具有的第二颜色成分数据，计算出离散的第二像素组的像素位置处的色差数据；平滑化部，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的第二像素组的像素位置计算出的色差数据构成；以及色差推测部，根据平滑化后的离散色差图像，推测在所输入的图像上、第二像素组以外的像素组的像素位置处的色差数据。
文档编号H04N1/58GK102638639SQ201210031240
公开日2012年8月15日 申请日期2012年2月9日 优先权日2011年2月9日
发明者宇津木晓彦 申请人:株式会社尼康