去马赛克方法及其系统与流程
本发明涉及一图像信号处理技术领域，更具体地涉及一去马赛克方法及其系统。
背景技术：
百闻不如一见，画面比语言更加形象生动。经研究，人类百分之七十以上的信息来自于图像，而相比于灰色，人类的眼睛对于彩色的分辨能力相当强，因此人类对于彩色图像的需求更加强烈。然而，现有的绝大多数电子设备(诸如数码相机、手机等等能够拍摄数码图像的设备)均采用图像传感器将光学信号转换成电信号。由于电信号无法区分颜色，所以电子设备为了输出彩色图像，一般需要依靠颜色滤波器阵列(colorfilterarray,简称cfa)。cfa上附有滤光元件，以使图像传感器中每一像素仅能接受一个颜色的光线，从而使得所述电子设备获得的原始图像数据(如：原始raw数据)中每个像素仅能包含单一颜色信号，因此需要通过去马赛克方法重建或插值缺失的颜色信号，以获得完整的彩色图像数据。
目前，现有的去马赛克方法的核心思想都是通过原始图像信息的空间和光谱相关性，利用邻域的原始图像信息来估算中心像素所缺失的颜色信号，然而由于原始图像信息中颜色信号的缺失和方法性能的不足，现有的去马赛克方法均存在不同程度的伪色和拉链问题，从而极大地影响所获得的彩色图像(即输出图像)的质量。
此外，在图像信号处理过程中，去马赛克方法所产生的拉链是无法通过后续处理去除的，而去马赛克方法所产生的伪色则需要增加颜色去噪的复杂度来抑制，从而使得性能差的去马赛克方法不仅会降低输出图像的质量，而且还会增加整个图像处理系统的复杂度。因此，为了解决上述问题，急需一种更准确的去马赛克方法。
技术实现要素：
本发明的一目的在于提供一去马赛克方法及其系统，其能够提高一去马赛克图像信息的准确性。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够简化对一原始图像信息进行去马赛克处理的复杂度。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够准确地处理一原始图像信息，以提高一去马赛克图像信息的质量。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够减小去马赛克过程中所产生的拉链痕迹。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够有效地去除去马赛克过程中所产生的伪色。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够充分利用一cfa阵列模板的空间和光谱相关性，以获得准确的去马赛克处理结果。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够提高纹理方向的准确性，以准确地重建图像纹理和边缘。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够矫正噪声所引起的方向错误，以进一步提高纹理方向的准确性。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够避免产生横竖伪条纹，以便完成后续的图像处理。
本发明的另一目的在于提供一去马赛克方法及其系统，其能够简化去除伪色的算法，易于实现和优化。
为了实现上述至少一发明目的或其他目的和优点，本发明提供了一去马赛克方法，其特征在于，包括以下步骤：
获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差；
基于该目标像素的该方向权重和该方差，藉由一插值权重模型，获取该原始图像信息中该目标像素的一水平插值权重和一垂直插值权重；
基于该目标像素的该水平和垂直差值权重，藉由一绿色插值模型，获取该原始图像信息中该目标像素的一绿色插值分量；以及
基于该目标像素的该绿色插值分量，补全该原始图像信息中每一像素所缺失的颜色分量，以获得一完整的rgb图像信息。
在本发明的一些实施例中，还包括步骤：
去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息。
在本发明的一些实施例中，所述去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息的步骤，还包括步骤：
基于该rgb图像信息，转换一rgb颜色空间至一yuv颜色空间，以获得一yuv图像信息；和
藉由一滤波器，去除在uv分量上的该伪色，以获得该去马赛克图像信息。
在本发明的一些实施例中，所述获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差的步骤，还包括步骤：
基于该原始图像信息，获取以一当前像素为中心的n×n邻域像素阵列，其中，n不小于3，以获得该n×n邻域像素阵列中每一像素的一原始像素值；
基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方向权重；以及
基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方差。
在本发明的一些实施例中，所述基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方向权重的步骤，还包括步骤：
基于该n×n邻域像素阵列中每一像素的该原始像素值，藉由一梯度模型，求解该原始图像信息中每一g像素的一水平梯度和一垂直梯度；和
基于该g像素的该水平梯度和该垂直梯度，藉由一方向权重模型，分别求解该原始图像信息中每一r像素和每一b像素在该预设方向上的该方向权重。
在本发明的一些实施例中，所述基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方差的步骤，还包括步骤：
基于该n×n邻域像素阵列中每一像素的该原始像素值，藉由一预插值模型，分别预插出该原始图像信息中该每一像素的一水平预插值和一垂直预插值；和
基于该每一像素的该水平预插值和垂直预插值，藉由一方差模型，分别求解该原始图像信息中每一r像素和每一b像素在该预设方向上的该方差。
在本发明的一些实施例中，所述基于该目标像素的该绿色插值分量，补全该原始图像信息中每一像素所缺失的颜色分量，以获得一完整的rgb图像信息的步骤，还包括步骤：
藉由一g像素插值模型，分别插值出该原始图像信息中每一g像素的一红色插值分量和一蓝色插值分量，以补全该g像素的三原色分量；和
藉由一r像素插值模型和一b像素插值模型，分别插值出该原始图像信息中每一b像素的一红色插值分量和每一r像素的一蓝色插值分量，以补全该b像素的三原色分量和该r像素的三原色分量。
在本发明的一些实施例中，所述插值权重模型为：
其中，
在本发明的一些实施例中，所述绿色插值模型为：
其中，g(i,j)为一当前像素(i,j)的一绿色插值分量；
根据本发明的另一方面，本发明进一步提供了一去马赛克方法，包括以下步骤：
获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差；
基于该目标像素的该方向权重和该方差，藉由一插值权重模型，获取该原始图像信息中该目标像素的一水平插值权重和一垂直插值权重；
基于该目标像素的该水平插值权重和该垂直插值权重，藉由一判断矫正模型，判断并矫正该目标像素，以获得该目标像素的一矫正水平插值权重和一矫正垂直插值权重；
基于该目标像素的该矫正水平差值权重和该矫正垂直差值权重，藉由一绿色插值模型，获得该原始图像信息中该目标像素的一绿色插值分量；以及
基于该目标像素的该绿色插值分量，补全该原始图像信息中每一像素所缺失的颜色分量，以获得一完整的rgb图像信息。
在本发明的一些实施例中，所述判断矫正模型为：
其中，
在本发明的一些实施例中，所述绿色插值模型为：
其中，g(i,j)为该当前像素(i,j)的绿色插值分量；
在本发明的一些实施例中，所述获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差的步骤，还包括步骤：
基于该原始图像信息，获取以一当前像素为中心的n×n邻域像素阵列，其中，n不小于3，以获得该n×n邻域像素阵列中每一像素的一原始像素值；
基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方向权重；以及
基于该n×n邻域像素阵列中每一像素的该原始像素值，求解该目标像素在该预设方向上的该方差。
在本发明的一些实施例中，还包括步骤：
去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息。
在本发明的一些实施例中，所述去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息的步骤，还包括步骤：
基于该rgb图像信息，转换一rgb颜色空间至一yuv颜色空间，以获得一yuv图像信息；和
藉由一滤波器，去除在uv分量上的该伪色，以获得该去马赛克图像信息。
根据本发明的另一方面，本发明进一步提供了一去马赛克系统，包括：
一处理器，其中所述处理器用于执行以下操作：
获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差；
基于该目标像素的该方向权重和该方差，藉由一插值权重模型，获取该原始图像信息中该目标像素的一水平插值权重和一垂直插值权重；
基于该目标像素的该水平和垂直差值权重，藉由一绿色插值模型，获取该原始图像信息中该目标像素的一绿色插值分量；以及
基于该目标像素的该绿色插值分量，补全该原始图像信息中每一像素所缺失的颜色分量，以获得一完整的rgb图像信息。
在本发明的一些实施例中，还包括步骤：
去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息。
在本发明的一些实施例中，所述去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息的步骤，还包括步骤：
基于该rgb图像信息，转换一rgb颜色空间至一yuv颜色空间，以获得一yuv图像信息；和
藉由一滤波器，去除在uv分量上的该伪色，以获得该去马赛克图像信息。
根据本发明的另一方面，本发明进一步提供了一去马赛克系统，包括：
一处理器，其中所述处理器用于执行以下操作：
获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差；
基于该目标像素的该方向权重和该方差，藉由一插值权重模型，获取该原始图像信息中该目标像素的一水平插值权重和一垂直插值权重；
基于该目标像素的该水平插值权重和该垂直插值权重，藉由一判断矫正模型，判断并矫正该目标像素，以获得该目标像素的一矫正水平插值权重和一矫正垂直插值权重；
基于该目标像素的该矫正水平差值权重和该矫正垂直差值权重，藉由一绿色插值模型，获得该原始图像信息中该目标像素的一绿色插值分量；以及
基于该目标像素的该绿色插值分量，补全该原始图像信息中每一像素所缺失的颜色分量，以获得一完整的rgb图像信息。
根据本发明的另一方面，本发明进一步提供了一去马赛克系统，包括：
一第一获取单元，用于获得一原始图像信息中任一目标像素在每一预设方向上的一方向权重和一方差；
一第二获取单元，用于获得该原始图像信息中该目标像素的一水平插值权重和一垂直插值权重；
一第三获取单元，用于获得该原始图像信息中该目标像素的一绿色插值分量；以及
一补全单元，用于补全该原始图像信息中每一像素的缺失颜色分量，以获得一完整的rgb图像信息。
在本发明的一些实施例中，还包括一判断矫正单元，用于判断并矫正该目标像素，以获得该目标像素的一矫正水平插值权重和一矫正垂直插值权重。
在本发明的一些实施例中，还包括一伪色去除单元，用于去除该rgb图像信息中的伪色，以重建出一完整的去马赛克图像信息。
在本发明的一些实施例中，所述伪色去除单元包括一伪色去除模块，其中所述伪色去除模块用于基于该rgb图像信息，转换一rgb颜色空间至一yuv颜色空间，以获得一yuv图像信息；以及用于藉由一滤波器，去除在uv分量上的该伪色，以获得该去马赛克图像信息。
在本发明的一些实施例中，所述第一获取单元还包括相互可通信地连接的一梯度模块、一方向权重模块、一预插值模块和一方差模块，其中，所述梯度模块用于求解该原始图像信息中每一g像素的一水平梯度和一垂直梯度；所述方向权重模块用于分别求解该原始图像信息中每一r像素和每一b像素在该预设方向上的该方向权重；所述预插值模块用于分别预插出该原始图像信息中该每一像素的一水平预插值和一垂直预插值；所述方差模块用于分别求解该原始图像信息中该每一r像素和该每一b像素在该预设方向上的该方差。
在本发明的一些实施例中，所述第二获取单元包括一插值权重模块，其中所述插值权重模块用于藉由一插值权重模型，求解一当前像素的水平插值权重和垂直插值权重，其中该当前像素为一r像素或一b像素。
在本发明的一些实施例中，所述第三获取单元包括一绿色插值模块,其中所述绿色插值模块用于藉由一绿色插值模型，分别求解出该当前像素的绿色插值分量。
在本发明的一些实施例中，所述补全单元还包括一g像素插值模块、一r像素插值模块和一b像素插值模块，其中所述g像素插值模块用于藉由一g像素插值模型，分别求解该原始图像信息中每一g像素的一红色插值分量和一蓝色插值分量，所述r像素插值模块用于藉由一r像素插值模型，求解该原始图像信息中每一r像素的蓝色插值分量，所述b像素插值模块用于藉由一b像素插值模型，求解该原始图像信息中每一b像素的红色插值分量。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是一bayer格式的原始图像信息的分布示意图。
图2是根据本发明的一第一较佳实施例的一去马赛克方法的流程示意图。
图3是根据本发明的上述第一较佳实施例的所述去马赛克方法中求解方向权重和方差的步骤的流程示意图。
图4是根据本发明的上述第一较佳实施例的所述去马赛克方法中插值步骤的流程示意图。
图5是根据本发明的上述第一较佳实施例的所述去马赛克方法中去除伪色步骤的流程示意图。
图6是以一当前像素为中心的7×7邻域像素阵列的示意图，示出了相应像素的原始像素值。
图7是上述7×7邻域像素阵列中相应像素的绿色分量的分布示意图。
图8是上述7×7邻域像素阵列中相应像素的红色分量的分布示意图。
图9是上述7×7邻域像素阵列中相应像素的蓝色分量的分布示意图。
图10是根据本发明的上述第一较佳实施例的一去马赛克系统的结构示意图。
图11是根据本发明的一第二较佳实施例的一去马赛克方法的流程示意图。
图12是根据本发明的一第三较佳实施例的一去马赛克系统的结构示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
目前，绝大多数消费级别的数码相机、摄像机、智能手机、机器视觉等等具有成像功能的设备都使用带有颜色滤波器阵列(简称cfa)的图像传感器来捕获图像或视频。值得注意的是，最常用的cfa阵列模板是拜耳(bayer)模板。示例性地，如图1所示，是一bayer格式的原始图像信息的分布示意图，示出了以绿色像素(即g像素)为中心的7×7的原始图像信息。该拜耳模板的阵列结构是以间隔方式按像素分别放置红(r)、绿(g)、蓝(b)三原色滤镜，并且绿色滤镜的数量为红色滤镜(或蓝色滤镜)的两倍，更加符合人眼对色彩的敏感性。又因为三种颜色是交错式的排列，通常也称该cfa阵列模板为马赛克模板，而还原成三原色的逆过程称为cfa插值，又叫去马赛克(demosaicing)。
此外，各种电子设备在拍摄图像以获得原始图像信息之后，第一步要做的信息处理就是对所述原始图像信息进行去马赛克处理，因此需要尽量准确地还原出最正确的颜色值。否则，即便后期有着再优秀的去杂质和锐化处理，对图像质量的挽救程度也十分有限。可见，去马赛克在整个图像处理的过程中处于十分重要的位置。
参考附图之图2至图10所示，示出了根据本发明的一较佳实施例的一去马赛克方法及其系统。根据本发明的所述较佳实施例，如图2所示，所述去马赛克方法包括以下步骤：
s1：获得一原始图像信息中目标像素在预设方向上的方向权重和方差。
在本发明的所述第一较佳实施例中，如图6所示，所述目标像素为所述原始图像信息中所有的r像素(即红色像素)和所有的b像素(即蓝色像素)，所述预设方向包括上、下、左、右四个方向，依次用字母u、d、l和r表示。值得注意的是，由于在本发明中只需要获得所述r像素和所述b像素在所述预设方向上的方向权重和方差，而不需要获得所述g像素在所述预设方向上的方向权重和方差，因此，相当于仅需要对所述原始图像信息中一半的像素进行计算求解(所述g像素的数量是所述r像素或所述b像素的两倍)，以大幅度地减少计算量，从而提高所述去马赛克方法的实际应用价值。本领域技术人员应当理解，本发明中所提及的像素又被成为像元或图像元素，是图像信息中成阵列布置的单一元素。
具体地，如图3所示，所述去马赛克方法的所述步骤s1还包括以下步骤：
s11：基于所述原始图像信息，获取以当前像素(i,j)为中心的n×n邻域像素阵列。
在本发明的所述第一较佳实施例中，基于所述原始图像信息，获取以当前像素(i,j)为中心的n×n的邻域像素阵列，其中n不小于3，所述当前像素的坐标为(i,j)，i为当前像素所在的行数，j为当前像素所在的列数。本领域技术人员应当理解，所述当前像素(i,j)可以是所述r像素、所述b像素和所述g像素中任一类型的像素。
示例性地，如图6所示，示出了以当前像素为中心的7×7邻域像素阵列(即n等于7)，其中所述当前像素(i,j)为所述g像素，并且与所述当前像素(i,j)同行的是所述r像素，与所述当前像素(i,j)同列的是所述b像素。本领域技术人员应当理解，根据cfa阵列模板的结构特征，能够轻易地推断出与在所述7×7邻域像素阵列每一像素的原始颜色。
值得注意的是，在所述原始图像信息中，每一像素都具有一原始像素值，通常所述原始像素值为所述原始图像信息中每一像素的灰度值或亮度值，因此，为了方便描述，在所述n×n的邻域像素阵列中，所述当前像素(i,j)的原始像素值被标记为c(i,j)。此外，由于所述原始图像信息中每一像素仅具有单一颜色，因此，所述原始像素值也就是所述原始图像信息中相应颜色像素的颜色分量，例如，在所述n×n的邻域像素阵列中，对于所述当前像素(i,j)为g像素时，则原始像素值c(i,j)就等于所述当前像素(i,j)的绿色原始分量g(i,j-1)，相应地，原始像素值c(i,j-1)就等于像素(i,j-1)的红色原始分量r(i,j-1)，原始像素值c(i-1,j)就等于像素(i-1,j)的蓝色原始分量b(i-1,j)。
s12：求解所述目标像素在所述预设方向上的方向权重。
具体地，如图3所示，所述步骤12进一步包括以下步骤：
s121：求解所述原始图像信息中每一g像素的水平梯度和垂直梯度。
通过求解所述原始图像信息中每一g像素的所述水平梯度和所述垂直梯度，能够计算出所述原始图像信息中细微的纹理方向，并且为准确地计算出所述目标像素在所述预定方向上的权重打下坚实的基础。
更具体地，藉由一梯度模型，求解当前像素(i,j)的水平梯度
优选地，选择以所述g像素为中心的5×5的邻域像素阵列，则所述梯度模型如下：
式中：当前像素(i,j)为g像素；
式中：(i,j)为g像素的坐标；
值得注意的是，在本发明的所述第一较佳实施例中，由于所述梯度模型中的所述公式(1)和所述公式(2)优选地选择5×5的邻域像素阵列，使得在准确地求解出的所述水平梯度和所述垂直梯度的同时，又能够减少计算量。应当理解，在本发明的一些其他实施例中，所述梯度模型也可以选择诸如3×3或7×7之类n不小于3的n×n邻域像素阵列。
s122：分别求解所述原始图像信息中每一r像素和每一b像素在上下左右四个方向上的方向权重。
通过求解所述r像素和所述b像素的上下左右四个方向上的方向权重，以增强在所述原始图像信息中的密集条纹和弱纹理区域的方向检测敏锐性，用于减小伪色块的出现，从而能够细化和提升去马赛克的准确性。
更具体地，藉由一方向权重模型，求解当前像素(i,j)的上方向权重
优选地，选择以所述r像素或所述b像素为中心的3×3的邻域像素阵列，则所述方向权重模型如下：
式中：
式中：
式中：
式中：
值得注意的是，在本发明的所述第一较佳实施例中，对于所述原始图像信息中所有的r像素和所有的b像素都需要依据所述方向权重模型中的所述公式(3)、(4)、(5)和(6)进行计算，以便获得所需的全部方向权重信息。本领域技术人员应当理解，对于所述原始图像信息中边缘像素的计算，存在各种现有技术手段对其进行拓展补全，以获取以边缘像素为中心的n×n邻域像素阵列，在本发明中不再赘述。
s13：求解所述目标像素在所述预设方向上的方差。
具体地，如图3所示，所述步骤s13进一步包括以下步骤：
s131：分别预插出所述原始图像信息中所有像素的水平预插值和垂直预插值。
通过求解所述原始图像信息中所有像素的所述水平预插值和所述垂直预插值，用于为准确地计算出所述所有像素在所述预定方向上的方差做准备。应当理解，所述水平预插值和所述垂直预插值的插值原理与自适应颜色平面插值法(acpi)类似。
更具体地，藉由一预插值模型，求解出当前像素(i,j)的水平预插值
优选地，选择以当前像素(i,j)为中心的5×5邻域像素阵列，则所述预插值模型如下：
式中：
式中：
值得注意的是，在本发明的所述第一较佳实施例中，由于所述预插值模型中的所述公式(7)和所述公式(8)优选地选择5×5的邻域像素阵列，使得在准确地求解出的所述水平预插值和所述垂直预插值的同时，又能够减少计算量。应当理解，在本发明的一些其他实施例中，所述梯度模型也可以选择诸如3×3或7×7之类n不小于3的n×n邻域像素阵列。
s132：分别求解所述原始图像信息中每一r像素和每一b像素在上下左右四个方向上的方差。
通过求解所述r像素和所述b像素的上下左右四个方向上的方差，以便降低在去马赛克过程中对噪声的敏感度，从而提高对纹理方向判断的准确性，以提高去马赛克所获得的图像的质量。
更具体地，藉由一方差模型，求解当前像素(i,j)的上方向方差
优选地，选择以所述r像素或所述b像素为中心的7×7的邻域像素阵列，则所述方差模型如下：
式中：
式中：
式中：
式中：
值得注意的是，在本发明的所述第一较佳实施例中，所述预插值模型中的所述公式(9)、(10)、(11)和(12)优选地选择7×7的邻域像素阵列，为了准确地求解出的所述目标像素在上下左右四个方向上的方差。应当理解，在本发明的一些其他实施例中，所述梯度模型也可以选择诸如3×3或5×5之类n不小于3的n×n邻域像素阵列。
值得一提的是，由于方向权重利用了cfa阵列模板的空间相关性，而方差利用了cfa阵列模板的光谱相关性，因此，本发明能够充分利用所述cfa阵列模板的空间和光谱相关性，以提高纹理方向的准确性，用于准确地重建图像纹理和边缘，进而获得高质量的去马赛克图像信息。
s2：获得所述原始图像信息中所述目标像素的水平插值权重和垂直插值权重。
通过分别求解出所述原始图像信息中每一b像素和每一r像素的水平插值权重和垂直插值权重，用于获得准确的纹理方向，以提高随后的去马赛克过程中的插值精度。
更具体地，藉由一插值权重模型，求解当前像素(i,j)的水平插值权重
优选地，所述插值权重模型如下：
式中：
式中：
值得注意的是，在本发明的所述第一较佳实施例中，所述插值权重模型中的所述公式(14)和(15)不需要选择任何邻域像素阵列，仅需要获得目标像素自身的相关信息就能够进行计算。
s3：获得所述原始图像信息中所述目标像素的绿色插值分量。
采用插值权重与方向预插值相结合的方式，分别求解出所述原始图像信息中每一b像素和每一r像素的绿色插值分量g，以便在准确地重建纹理的同时，也能够有效地减少插值痕迹，用于减小去马赛克过程中所产生的拉链痕迹，从而进一步提升去马赛克图像的质量。此外，相比于在方向上多选一的插值方法，本发明所提供的所述去马赛克方法能够获得更平滑的插值结果，尤其是在平坦区域，避免了横竖伪条纹的出现，有利于对去马赛克图像进行后续处理。
更具体地，藉由一绿色插值模型，分别求解出当前像素(i,j)的绿色插值分量g(i,j)，其中所述当前像素(i,j)为所述r像素或所述b像素。
优选地，所述绿色插值模型如下：
式中：g(i,j)为当前像素(i,j)的绿色插值分量；
值得注意的是，在本发明的所述第一较佳实施例中，所述插值权重模型中的所述公式(16)不需要选择任何邻域像素阵列，仅需要获得目标像素自身的相关信息就能够进行计算，以准确地获得所述目标像素的绿色插值分量。
s4：补全所述原始图像信息中每一像素的缺失颜色分量，以获得完整的rgb图像信息。
由于在完成所述步骤s3之后，所述原始图像信息中所有的像素都具有绿色分量，因此，只需要求解出每一r像素的蓝色插值分量b、每一b像素的红色插值分量r以及每一g像素的红色插值分量r和蓝色插值分量b即可。此外，在获得所述红色插值分量r和所述蓝色插值分量b时，相当于参考了所述绿色分量的纹理方向，也就是说，利用准确的绿色插值分量来获得准确的红色和蓝色插值分量，不仅不需要再增加方向判断，而且还能够有效地减少算法的运算量，从而简化了所述去马赛克方法的复杂度，以便实现和应用所述去马赛克方法。
具体地，如图4所示，所述步骤s4包括以下步骤：
s41：分别插值出所述原始图像信息中每一g像素的红色插值分量r和蓝色插值分量b，以补全所述g像素的三原色分量。
更具体地，藉由一g像素插值模型，分别求解当前像素(i,j)的红色插值分量r(i,j)和蓝色插值分量b(i,j)，其中所述当前像素(i,j)为所述g像素。由于所述g像素的4邻域(又称n4)内的像素分别为两个相对r像素和两个相对b像素，而每个r像素和每个b像素的绿色插值分量均已经准确求出，因此可以计算出每个r像素的绿色分量和红色分量之间的准确色差值，或者计算出每个b像素的绿色分量和蓝色分量之间的准确色差值，然后通过色差法来准确地计算出相应的像素的颜色分量。
优选地，选择以所述当前像素(i,j)为中心的3×3的邻域像素阵列，则所述g像素插值模型如下：
式中：b(i,j)为当前像素(i,j)的蓝色插值分量；c(i-1,j)为当前像素(i,j)的原始像素值；g(i-1,j)、g(i+1,j)、g(i,j-1)和g(i,j+1)依次为当前像素(i,j)的4邻域内像素的绿色插值分量；c(i-1,j)、c(i+1,j)、c(i,j-1)和c(i,j+1)依次为当前像素(i,j)的4邻域内像素的原始像素值。
式中：r(i,j)为当前像素(i,j)的红色插值分量；c(i-1,j)为当前像素(i,j)的原始像素值；g(i-1,j)、g(i+1,j)、g(i,j-1)和g(i,j+1)依次为当前像素(i,j)的4邻域内像素的绿色插值分量；c(i-1,j)、c(i+1,j)、c(i,j-1)和c(i,j+1)依次为当前像素(i,j)的4邻域内像素的原始像素值。
值得注意的是，在本发明的所述第一较佳实施例中，所述g像素插值模型中的所述公式(17)和(18)优选地选择3×3的邻域像素阵列，以准确地且快捷地求解出的所述g像素的红色插值分量和蓝色插值分量，以补全所述g像素的三原色分量。
s42：分别插值出所述原始图像信息中每一b像素的红色插值分量r和每一r像素的蓝色插值分量b，以补全所述b像素和所述r像素的三原色分量。
由于每个r像素和每个b像素的绿色插值分量均已经准确求出，因此可以计算出每个r像素的绿色分量和红色分量之间的准确色差值，或者计算出每个b像素的绿色分量和蓝色分量之间的准确色差值。然而，每一b像素的d邻域(又称nd或上下左右邻域)内的像素均为r像素，相应地，每一r像素的d邻域(又称nd或对角邻域)内的像素均为b像素，因此能够通过色差法来准确地计算出相应的所述目标像素的缺失颜色分量。
更具体地，所述步骤s42还包括以下步骤：
s421：藉由一r像素插值模型，求解当前像素(i,j)的蓝色插值分量b(i,j)，其中所述当前像素(i,j)为所述r像素。
优选地，选择以所述当前像素(i,j)为中心的3×3邻域像素阵列，则所述r像素插值模型如下：
式中：b(i,j)为当前像素(i,j)的蓝色插值分量；g(i-1,j)为当前像素(i,j)的绿色插值分量；g(i-1,j-1)、g(i+1,j-1)、g(i-1,j+1)和g(i+1,j+1)依次为当前像素(i,j)的d邻域内像素的绿色插值分量；c(i-1,j-1)、c(i+1,j-1)、c(i-1,j+1)和c(i+1,j+1)依次为当前像素(i,j)的d邻域内像素的原始像素值。
值得注意的是，在本发明的所述第一较佳实施例中，所述r像素插值模型中的所述公式(19)优选地选择3×3邻域(又称8邻域或n8)像素阵列，以准确地且快捷地求解出的所述r像素的蓝色插值分量，以补全所述r像素的三原色分量。
s422：藉由一b像素插值模型，求解当前像素(i,j)的红色插值分量r(i,j)，其中所述当前像素(i,j)为所述b像素。
优选地，选择以所述当前像素(i,j)为中心的3×3邻域像素阵列，则所述b像素插值模型如下：
式中：r(i,j)为当前像素(i,j)的红色插值分量；g(i-1,j)为当前像素(i,j)的绿色插值分量；g(i-1,j-1)、g(i+1,j-1)、g(i-1,j+1)和g(i+1,j+1)依次为当前像素(i,j)的d邻域内像素的绿色插值分量；c(i-1,j-1)、c(i+1,j-1)、c(i-1,j+1)和c(i+1,j+1)依次为当前像素(i,j)的d邻域内像素的原始像素值。
值得注意的是，在本发明的所述第一较佳实施例中，所述b像素插值模型中的所述公式(20)优选地选择3×3邻域(又称8邻域或n8)像素阵列，以准确地且快捷地求解出的所述b像素的蓝色插值分量，以补全所述b像素的三原色分量。
值得一提的是，经过所述去马赛克方法处理所述原始图像信息而获得的所述rgb图像信息是完整的，即所述rgb图像信息中每一像素均具有三原色分量(即红色分量、绿色分量和蓝色分量)。如图7至图9所示，依次示出了与所述原始图像信息中以当前像素(i,j)为中心的7×7邻域像素阵列相对应的所述rgb图像信息中相应像素的三原色分量，图中大写字母r、g和b依次代表相应的r像素的红色原始分量、g像素的绿色原始分量和b像素的蓝色原始分量；小写字母r、g和b依次代表相应像素的红色插值分量、绿色插值分量和蓝色插值分量。
在本发明的所述第一较佳实施例中，如图2所示，所述去马赛克方法还包括以下步骤：
s5：去除所述rgb图像信息中的伪色，以重建出完整的去马赛克图像信息。
值得注意的是，由于所述步骤s5是在所述步骤4完成之后才进行的，也就是说，在插值计算以补全每一像素的三原色分量之后，才进行去除伪色的步骤，不仅使得所述去除伪色过程与插值过程相互独立以简化算法架构的复杂度，而且还便于实现和硬化所述去马赛克方法，以便使用和推广。
更具体地，如图5所示，所述步骤s5还包括以下步骤：
s51：基于所述rgb图像信息，转换rgb颜色空间至yuv颜色空间，以获得yuv图像信息。
由于伪色在uv分量上呈离散分布，因此为了简化和高效地去除所述伪色，将所述rgb图像信息转换成所述yuv图像信息，以便对所述yuv图像信息执行伪色去除操作。应当理解，所述rgb颜色空间与所述yuv颜色空间转化的过程和方法与现有技术一致，本实施例不再赘述。
s52：藉由一滤波器，去除在uv分量上的伪色，以获得所述去马赛克图像信息。
值得注意的是，所述滤波器可以但不限于被实施为一中值滤波器，所述滤波器还可以被实施为一均值滤波器，以简单高效地在所述uv分量上去除伪色，用于进一步提高所述去马赛克图像信息。应当理解，所述中值滤波器或所述均值滤波器利用中值或均值滤波去除伪色的方法与现有技术一致，在实施例中不再赘述。
值得一提的是，由于各种类型的数字图像信息能够相互转换，因此所述去马赛克图像信息可以是诸如yuv图像信息或rgb图像信息等等任一类型的数字图像信息。
在本发明的所述第一较佳实施例中，根据本发明的另一方面，本发明进一步提供了一去马赛克系统。根据本发明所述第一较佳实施例，如图10所示，所述去马赛克系统10包括一存储器11和一与所述存储器11连接的处理器12。所述存储器11用于储存一组程序代码。所述处理器12用于调用所述存储器11中存储的所述程序代码，用于执行以下操作：
获得一原始图像信息中目标像素在预设方向上的方向权重和方差；
获得所述原始图像信息中所述目标像素的水平插值权重和垂直插值权重；
获得所述原始图像信息中所述目标像素的绿色插值分量；以及
补全所述原始图像信息中每一像素的缺失颜色分量，以获得完整的rgb图像信息。
优选地，所述处理器12还能够执行操作：去除所述rgb图像信息中的伪色，以重建出完整的去马赛克图像信息。
换句话说，所述处理器12调用所述存储器11中存储的所述程序代码，以执行根据本发明的所述去马赛克方法的全部或部分步骤，详细内容可以参见上述第一较佳实施例的所述去马赛克方法，此处不再赘述。
本领域技术人员应当理解，所述存储器11可以但不限于被实施为一非易失性存储器，也可以被实施为只读存储器、随机读写存储器、磁盘或光盘等等能够可以存储程序代码的介质。所述处理器12可以但不限于被实施为一中央处理器(简称为cpu)，也可以被实施为特定集成电路或者被配置为能满足实施本发明所需要的一个或多个集成电路。
参考附图之图11所示，示出了根据本发明的一第二较佳实施例的一去马赛克方法。根据本发明的所述第二较佳实施，如图11所示，所述去马赛克方法包括以下步骤：
s1’：获得一原始图像信息中目标像素在预设方向上的方向权重和方差。
具体地，所述步骤s1’与根据本发明的所述第一较佳实施例中的所述步骤s1一致，在本实施例中不再赘述。
s2’：获得所述原始图像信息中所述目标像素的水平插值权重和垂直插值权重。
具体地，所述步骤s2’与根据本发明的所述第一较佳实施例中的所述步骤s2一致，在本实施例中不再赘述。
s3’：判断并矫正所述目标像素，以获得所述目标像素的矫正水平插值权重和矫正垂直插值权重。
由于噪声的存在，不可避免地会引起方向错误，因此需要对所述目标像素是否存在噪声进行判断，并对所述水平插值权重和所述垂直插值权重进行矫正，以修正由噪声而造成的方向错误，用于进一步提高纹理判断的准确性。
具体地，在本发明的所述第二较佳实施例中，通过判断所述目标像素的插值权重方向和所述目标像素的d邻域内像素的统计方向是否一致，来判断所述目标像素是否存在噪声，其中当两者方向一致时，则所述目标像素不存在噪声，即所述目标像素为非噪声像素；当两者方向不一致时，则所述目标像素存在噪声，即所述目标像素为噪声像素。本领域技术人员应当理解，在本发明中被判断为存在噪声的像素被称为噪声像素，被判断为不存在噪声的像素则被称为非噪声像素。
此外，利用邻域统计判断并矫正所述目标像素，不仅补充了基于空间和光谱相关性对方向检测的不足，而且还考虑了噪声引起方向错误的必然性和离散分布的特性，因此能够高效地矫正错误的方向，以进一步提纹理判断的准确性。
更具体地，如图10所示，藉由一判断矫正模型，判断并矫正当前像素(i,j)的水平插值权重
优选地，选择以所述当前像素(i,j)为中心的3×3邻域像素阵列，则所述判断矫正模型如下：
式中：
式中：
值得注意的是，在本发明的所述第二较佳实施例中，所述判断矫正模型中的所述公式(21)和所述公式(22)优选地选择3×3邻域(又称8邻域或n8)像素阵列，以便获得每一r像素或每一b像素的d邻域内像素的插值权重，以准确地且快捷地判断并矫正所述目标像素。
s4’：获得所述原始图像信息中所述目标像素的绿色插值分量。
值得注意的是，相比于根据本发明的所述第一较佳实施例的所述步骤s4，根据本发明的所述第二较佳实施例的所述步骤s4’的不同之处仅在于：将所述目标像素的所述矫正水平插值权重和所述矫正垂直插值权重代替所述步骤s4中相应像素的所述水平插值权重和所述垂直插值权重。换句话说，所述绿色插值模型有所不同，具体如下：
式中：g(i,j)为当前像素(i,j)的绿色插值分量；
s5’：补全所述原始图像信息中每一像素的缺失颜色分量，以获得完整的rgb图像信息。
具体地，所述步骤s5’与根据本发明的所述第一较佳实施例中的所述步骤s5一致，在本实施例中不再赘述。
值得一提的是，根据本发明的所述第二较佳实施例的所述去马赛克方法，在所述步骤s5之后还包括以下步骤：
s6’：去除所述rgb图像信息中的伪色，以重建出完整的去马赛克图像信息。
具体地，所述步骤s6’与根据本发明的所述第一较佳实施例中的所述步骤s6一致，在本实施例中不再赘述。
值得注意的是，与根据本发明的所述第一较佳实施例相似，根据本发明的所述第二较佳实施例进一步提供了一去马赛克系统，其中所述去马赛克系统用于按照所述第二较佳实施例的所述去马赛克方法进行操作，在此不再赘述。
参考附图之图12所示，示出了根据本发明的一第三较佳实施例的一去马赛克系统10a。如图12所示，根据本发明的所述第三较佳实施例，所述去马赛克系统10a包括相互可通信地连接的一第一获取单元11a、一第二获取单元12a、一第三获取单元13a和一补全单元14a。所述第一获取单元11a用于获得一原始图像信息中目标像素在预设方向上的方向权重和方差。所述第二获取单元12a用于获得所述原始图像信息中所述目标像素的水平插值权重和垂直插值权重。所述第三获取单元13a用于获得所述原始图像信息中所述目标像素的绿色插值分量。所述补全单元14a用于补全所述原始图像信息中每一像素的缺失颜色分量，以获得完整的rgb图像信息。
具体地，所述第一获取单元11a还可以用于基于所述原始图像信息，获取以当前像素(i,j)为中心的n×n邻域像素阵列；用于求解所述目标像素在所述预设方向上的方向权重；以及用于求解所述目标像素在所述预设方向上的方差。
优选地，所述第一获取单元11a进一步包括相互可通信地连接的一梯度模块111a、一方向权重模块112a、一预插值模块113a和一方差模块114a。所述梯度模块111a用于藉由一梯度模型，求解当前像素(i,j)的水平梯度
进一步地，所述第二获取单元12a包括一插值权重模块121a，其中所述插值权重模块121a用于藉由一插值权重模型，求解当前像素(i,j)的水平插值权重
进一步地，所述第三获取单元13a包括一绿色插值模块131a,其中所述绿色插值模块131a用于藉由一绿色插值模型，分别求解出当前像素(i,j)的绿色插值分量g(i,j)，其中所述当前像素(i,j)为所述r像素或所述b像素。
具体地，所述补全单元14a还可以用于分别插值出所述原始图像信息中每一g像素的红色插值分量r和蓝色插值分量b，以补全所述g像素的三原色分量；以及用于分别插值出所述原始图像信息中每一b像素的红色插值分量r和每一r像素的蓝色插值分量b，以补全所述b像素和所述r像素的三原色分量。
优选地，所述补全单元14a还包括一g像素插值模块141a、一r像素插值模块142a和一b像素插值模块143a。所述g像素插值模块141a用于藉由一g像素插值模型，分别求解当前像素(i,j)的红色插值分量r(i,j)和蓝色插值分量b(i,j)，其中所述当前像素(i,j)为所述g像素。所述r像素插值模块142a用于藉由一r像素插值模型，求解当前像素(i,j)的蓝色插值分量b(i,j)，其中所述当前像素(i,j)为所述r像素。所述b像素插值模块143a用于藉由一b像素插值模型，求解当前像素(i,j)的红色插值分量r(i,j)，其中所述当前像素(i,j)为所述b像素。
根据本发明的所述第三较佳实施例，所述去马赛克系统10a进一步包括一伪色去除单元15a，其中所述伪色去除单元15a与所述补全单元14a可通信地连接。所述伪色去除单元15a用于去除所述rgb图像信息中的伪色，以重建出完整的去马赛克图像信息。
优选地，所述伪色去除单元15a包括相互可通信地连接的一颜色空间转换模块151a和一滤波器模块152a。所述颜色空间转换模块151a用于基于所述rgb图像信息，转换rgb颜色空间至yuv颜色空间，以获得yuv图像信息。所述滤波器模块152a用于藉由一滤波器，去除在uv分量上的伪色，以获得所述去马赛克图像信息。
更优选地，所述滤波器模块152a可以但不限于被实施为一中值滤波器。在本发明的一些其他实施例中，所述滤波器模块152a还可以被实施为一均值滤波器。
值得一提的是，在本发明的所述第三较佳实施例中，所述去马赛克系统10a还包括一判断矫正单元16a，其中所述判断矫正单元16a分别与所述第二获取单元12a和所述第三获取单元13a可通信地连接。所述判断矫正单元16a用于判断并矫正所述目标像素，以获得所述目标像素的矫正水平插值权重和矫正垂直插值权重。
优选地，所述判断矫正单元16a包括一判断矫正模块161a，其中所述判断矫正模块16a用于藉由一判断矫正模型，判断并矫正当前像素(i,j)的水平插值权重
应当理解，在根据本发明的所述第三较佳实施例中，所述去马赛克系统10a中各单元或模块所用到的模型均与根据本发明的所述第一和第二较佳实施例的所述去马赛克方法中相对应的模型保持一致，在本实施例中不再赘述。
值得注意的是，所述去马赛克系统10a中各模块之间的交互流程具体可参照根据本发明的所述第一和第二较佳实施例中有关所述去马赛克方法的描述，在此不再赘述。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
- 还没有人留言评论。精彩留言会获得点赞！