去马赛克方法以及使用该方法的装置的制造方法【
技术领域：
】[0001]本发明涉及一种图像处理技术，特别涉及一种去马赛克方法以及使用该方法的装置。【
背景技术：
】[0002]图像信号处理器(ISP，ImageSignalProcessor)使用的去马赛克算法(Demosaicingalgorithm)用来将图像传感器(imagesensor)输出的不完整图像采点重建出完整的色彩图像，图像传感器前覆盖着颜色滤波阵列(CFA，ColorFilterArray)。颜色滤波阵列是颜色滤波的马赛克图案。商业实施上，最常见的颜色滤波阵列配置是贝尔滤镜(Bayerfilter)。贝尔滤镜的奇数列(或偶数列)包含交错的红色及绿色滤镜，而其偶数列(或奇数列)包含交错的绿色及蓝色滤镜。绿色滤镜的数目二倍于红色或蓝色滤镜，因为人类眼睛对绿色光线较敏感。然而，传统的去马赛克算法不适用重建具有斜线纹理(texture)或者边界(edge)的图像。因此，需要一种去马赛克方法以及使用该方法的装置，用以克服如上所述的缺点。【
发明内容】[0003]本发明的实施例提出一种由处理单元执行的去马赛克方法。取得具贝尔格式图像的帧，其中包含多个红色像素、多个绿色像素以及多个蓝色像素，其中上述红色像素、绿色像素以及蓝色像素交错排列。为每一红色像素计算绿色值，以及为每一蓝色像素计算绿色值。在上述为每一红色或蓝色像素计算绿色值的步骤中，还包含依据红色或蓝色像素及其多个周围像素在一水平方向和一垂直方向上的色差梯度选择第一插值法以及第二插值法中的一个，以及使用选择的插值法计算红色或蓝色像素的绿色值。接着，为每一红色像素计算蓝色值，以及为每一蓝色像素计算红色值。[0004]本发明的实施例提出一种去马赛克装置，包含相机模块控制器以及处理单元。相机模块控制器耦接于相机模块，而处理单元耦接于相机模块控制器。处理单元通过相机模块控制器控制相机模块取得具贝尔格式图像的帧，其中包括多个红色像素、多个绿色像素以及多个蓝色像素，其中红色像素、绿色像素以及蓝色像素交错排列。处理单元依据每一红色像素或蓝色像素及其多个周围像素在水平方向和垂直方向上的色差梯度选择第一插值法以及第二插值法中的一个，接着，使用选择的插值法计算红色或蓝色像素的绿色值。处理单元接着为每一红色像素计算蓝色值，以及为每一蓝色像素计算红色值。[0005]本发明提出的前述去马赛克方法及其装置在计算贝尔格式图像中红色或蓝色像素的绿色值时充分考虑了该红色或蓝色像素及其周围像素在水平方向和垂直方向上的色差，依据2个方向的不同色差所体现的图像的性质(例如是否存在边界方向)来选择不同插值法，以实现更优的去马赛克效果。【附图说明】[0006]图1是依据本发明实施例的运算装置的系统架构图。[0007]图2至图3是依据本发明实施例由处理单元执行的去马赛克方法流程图。[0008]图4是依据本发明实施例的8x8贝尔格式图像示意图。[0009]【符号说明】[0010]110处理单元；130帧缓存器；[0011]150易失性存储器；170相机模块控制器；[0012]190相机模块；S210?S290方法步骤；[0013]S310?S370方法步骤；[0014]R(1，1)、R(1，3)、...、R(7，5)、R(7，7)红色像素;[0015]Β(2，2)、Β(2，4)、...、Β(8，6)、Β(8，8)蓝色像素;[0016]G(1，2)、G(1，4)、…、G(8，5)、G(8，7)绿色像素。【具体实施方式】[0017]以下说明为完成发明的优选实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的【
发明内容】必须参考权利要求书。[0018]必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。[0019]在权利要求中使用如“第一”、〃第二〃、〃第三〃等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。[0020]图1是依据本发明实施例的运算装置的系统架构图。此系统架构可实施于桌上型计算机、笔记型计算机、平板计算机、手机、数字相机、数字录像机等，至少包含处理单元110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理器、具并行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行固件或软件时，提供之后所描述的功能。处理单元110可整合于图像信号处理器(ISP，ImageSignalProcessor)中，并且可通过相机模块控制器170控制相机模块190用以捕捉多个帧。相机模块190可包含图像传感器，例如，互补式金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)、电荷親合元件(charge-coupleddevice,CCD)等传感器，用以感测由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到的数据。然而，图像传感器中有瑕疵的像素无法正确地感测光线强度。所以，处理单元110可使用去马赛克方法将贝尔格式图像(Bayerpattern)的图像重建成完整图像，并将重建后结果存储在帧缓存器(framebuffer)1300易失性存储器150，例如动态随机存取存储器(DRAM，DynamicRandomAccessMemory)，用以存储执行过程中需要的数据，例如，变量、数据表(datatables)等。具体而言，贝尔格式图像包括交错排列的多个红色像素(R)、多个绿色像素(G)以及多个蓝色像素(B)。去马赛克方法具体而言是为贝尔格式图像中的每一红色(R)/蓝色像素(B)计算绿色值(RG/BG)，然后为每一红色像素(R)计算蓝色值(RB)并且为每一蓝色像素(B)计算红色值(BR)，以及为每一绿色像素(G)计算其红色值(GR)及蓝色值(GB)，从而重建RGB三通道完整的图像。[0021]图2是依据本发明实施例由处理单元执行的去马赛克方法流程图。此流程开始于由处理单元110通过相机模块控制器170控制相机模块190以取得具贝尔格式图像的帧，其包括交错排列的多个红色像素、多个绿色像素以及多个蓝色像素(步骤S210)。处理单元110为每一红色像素(R)计算绿色值(RG)(步骤S230)，以及为每一蓝色像素(B)计算绿色值(BG)(步骤S250)。详细来说，依据红色或蓝色像素(R/B)及其多个周围像素在水平方向和垂直方向上的色差梯度选择第一插值法以及第二插值法中的一个，并使用选择的插值法计算该红色或蓝色像素(R/B)的绿色值(RG/BG)。接着，处理单元110为每一红色像素(R)计算蓝色值(RB)(步骤S270)以及为每一蓝色像素(B)计算红色值(BR)(步骤S290)。本发明本实施例的去马赛克方法在计算贝尔格式图像中红色或蓝色像素的绿色值时充分考虑了该红色或蓝色像素及其周围像素在水平方向和垂直方向上的色差梯度，依据2个方向的不同色差梯度所体现的图像的性质(例如是否存在边界方向)来选择不同插值法，以实现更优的去马赛克效果。[0022]图3是依据本发明实施例由处理单元执行的去马赛克方法流程图。此流程开始于由处理单元110通过相机模块控制器170控制相机模块190以取得具贝尔格式图像的帧，其包括交错排列的多个红色像素、多个绿色像素以及多个蓝色像素(步骤S310)。处理单元110为每一红色像素(R)计算绿色值(RG)(步骤S320)，以及为每一蓝色像素(B)计算绿色值(BG)(步骤S330)，即首先重建整个G平面(Gplane)。接着，处理单元110为每一红色像素(R)计算蓝色值(RB)(步骤S340)，以及为每一蓝色像素(B)计算红色值(BR)(步骤S350)。为红色像素以及蓝色像素分别计算蓝色值以及红色值的虚拟码将于以下段落描述。处理单元110再为每一绿色像素(G)计算红色值(GR)(步骤S360)以及为每一绿色像素(G)计算蓝色值(GB)(步骤S370)。为绿色像素分别计算红色值以及蓝色值的虚拟码亦将在以下段落描述。值得注意的是，步骤S320和步骤S330之间不分先后顺序，步骤S340和步骤S350之间不分先后顺序，步骤S360和步骤S370之间不分先后顺序。此外，在不同插值算法中，步骤S340与步骤S350也可能发生在步骤S360与步骤S370之前或之后，可能依赖于在步骤S320及S330选择何种插值法来重建绿色平面。[0023]图4是依据本发明实施例的8x8贝尔格式图像示意图。帧的奇数列包含交错的红色及绿色像素(又可称为Gr-像素)，例如，{R(l，I)、G(2，I)、R(3，I)、G(4，I)、R(5，I)、G(6，1)、R(7，1)、G(8，1)}，而帧的偶数列包含交错的绿色(又可称为Gb-像素)及蓝色像素，例如，{G(1，2)、B(2，2)、G(3，2)、B(4，2)、G(5，2)、B(6，2)、G(7，2)、B(8，2)}。以下所称的红色像素、绿色像素以及蓝色像素是指从图像传感器检测到的原始数据，而红色值、绿色值以及蓝色值是指依据周围像素的数据计算出的插值值。[0024]接下来结合图3与图4详述本发明实施例由处理单元执行的去马赛克方法流程。处理单元110计算每一红色像素(R-pixel)的绿色值(RG_value)(步骤S320)，以及每一蓝色像素(B-pixel)的绿色值(BG-value)(步骤S330)。步骤S320及步骤S330用以先取得绿色平面(greenplane)。在步骤S320，详细来说，针对每一个红色像素，先选择使用例如加权插值法(WeightedInterpolat1n)以及边界方向插值法(Edge-directedInterpolat1n)中的何者，接着，使用选择的方法计算此红色像素位置上的绿色值。在步骤S330，类似地，针对每一个蓝色像素，先选择使用例如加权插值法以及边界方向插值法中的何者，接着，使用选择的方法计算此蓝色像素位置上的绿色值。加权插值法及边界方向插值法可概称为插值法，用以依据每一个红色像素或蓝色像素及其多个周围像素的像素值计算该位置上的绿色值。[0025]计算红色或蓝色像素位置上的绿色值的细节说明如下:首先，计算红当前第1页1 2 3 4