使用二色图像的贝叶斯去镶嵌的制作方法

专利名称：使用二色图像的贝叶斯去镶嵌的制作方法
使用二色图像的贝叶斯去镶嵌 背景
数码照相机的普及度和质量随着此类照相机的成本不断下降而持续增 长。大多数数码照相机使用单个图像传感器来捕捉彩色图像中的每一像素的
色彩信息。通常为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS) 的图像传感器是共同表示彩色图像的像素的传感器阵列的一部分。
图像传感器只能生成关于给定像素处的单个色彩的信息。然而，彩色图 像是通过组合三个单独的单色图像来表示的。为了显示彩色图像，在每一像 素处需要所有红、蓝和绿(RGB)色彩值。为了获得其它两个遗漏的色彩， 必须使用从图像中的周围像素估算或内插遗漏色彩的技术。这类估算和内插 技术被称为"去镶嵌"(demosaicing)。
术语"去镶嵌"是从以下事实中得到的在图像传感器的前方使用滤色 器阵列(CFA)，而CFA是以镶嵌图案来排列的。该镶嵌图案对图像中的每 一像素仅有一个色彩值。为了获得全色图像，必须对镶嵌图案"去镶嵌"。 由此，去镶嵌是内插回用镶嵌图案CFA捕捉的图像，使得全RGB值可以与每 一像素相关联的技术。
更具体地，单传感器数码照相机使用在光路中位于CFA之后的图像传感 器阵列来捕捉图像。 一种高度流行且常见的镶嵌CFA被称为拜耳(Bayer)镶 嵌图案。对于每一2x2的像素组，两个对角相对的像素具有绿色滤光器，而另 外两个像素具有红色和蓝色滤光器。由于绿色(G)携带了对于人类的大多 数亮度信息，因此其采样速率是红色(R)和蓝色(B)的采样速率的两倍。
当前有许多类型的去镶嵌技术可用，诸如双线性内插、中值滤波、向量 CFA、基于梯度和统计建模。然而，这些现有去镶嵌技术的每一种都产生了 视觉上的、定量的可测量伪像。这些伪像包括混叠或"撕裂"伪像，其中沿 着一条边的每一其它像素在被认为是在该边上或在该边外之间交替；以及彩 色条纹，其中黄色、紫色和青色沿着清晰的边或在清晰的边上出现。
概述
提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的 一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征， 也不旨在用于限制所要求保护的主题的范围。
此处公开的贝叶斯二色图像去镶嵌方法和系统包括处理数字彩色图像 以便用减少图像伪像的方式来对该图像去镶嵌。该贝叶斯二色图像去镶嵌方 法和系统采用了将跨边的色彩建模为每一侧上的色彩的线性组合的图像模 型。这减小了引入彩色条纹的可能性。此外，贝叶斯二色图像去镶嵌方法和 系统使用的统计模型并不是基于网格的，因此容易地允许对用于视频处理的 多图像去镶嵌和非迭代超分辨率输出采样的扩展。通过将输出图像约束于一 线性模型，平滑区域中的可见噪声也被减少，同时保留了清晰的边缘。
该贝叶斯二色图像去镶嵌方法和系统是对现有去镶嵌技术的改进和增 强。该方法和系统对图像执行初步去镶嵌遍，以向图像中的每一像素分配一
完整定义的RGB三元组色彩值。该初步遍的结果然后通过贝叶斯二色图像去 镶嵌方法和系统来改进。总的思想是在中心位于所处理的像素上的小的窗或 处理区域(诸如5x5的像素"片")内，作出在该处理区域中仅有两个色彩的 假设。假设仅有两个色彩导致最终结果中的随机色彩的虚拟消除。该像素的 色彩然后被限于这两个色彩的线性组合。这减轻了导致色彩伪像的伪色彩。
贝叶斯二色图像去镶嵌方法包括获得图像中的每一像素的完整定义 (folly-specified)的RGB三元组色彩值，然后使用该RGB三元组来确定每一 像素的最终色彩值。该最终色彩值是两个色彩的组合，并且仅有来自这两个 色彩的贡献。这两个色彩是通过将完整定义的RGB三元组群集成两个集群、 取每一集群的均值、并将每一集群的均值称为占优势的两个色彩来找到的。
一旦找到了占优势的两个色彩，必须确定每一色彩对最终色彩值给出了 多少贡献。这是通过使用从拜耳滤色器获得的处理区域中的样本来计算每一 像素的部分混和值来实现的。接着，通过找出给定该组样本时部分混和值的 最大概率来找到最大部分混和值。该最终色彩值是从该最大部分混和值和占 优势的两个色彩计算的。
贝叶斯二色图像去镶嵌方法和系统还可处理多个图像来改善去镶嵌结 果。这多个图像首先彼此对准以使它们对齐。选择一基准图像，并且相对于 该基准对象来重构其它图像。该处理类似于单个图像的情况，除了使用了补 偿图像的不完美对齐的技术之外。该补偿技术使用一縮放因子以便在平方差 的和较大的情况下增加高斯型的方差。该縮放因子基于对齐算法的质量来变 化。
当使用多个图像时，该贝叶斯二色图像去镶嵌方法和系统还可以按称为 超分辨率的更精细的分辨率来采样。当使用超分辨率时，统计群集和局部邻 域大小可以略微收縮以捕捉精细的细节。除此之外，该系统如同其在多图像 去镶嵌情况中那样类似地操作。
应当注意，替换实施例也是可能的，并且此处所讨论的步骤和元件可取 决于特定实施例而改变、添加或消除。这些替换实施例包括可使用的替换步 骤和替换元件，以及可作出的结构上的改变，而不脱离本发明的范围。


现在参考附图，在全部附图中，相同的参考标号表示相应的部分 图l是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的第一示例 性实现的框图。
图2是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的第二示例 性实现的框图。
图3是示出图1和2所示的贝叶斯二色图像去镶嵌器的总体操作的总体流 程图。
图4是示出图3所示的贝叶斯二色图像去镶嵌方法的操作的进一步细节
的详细流程图。
图5是示出占优势的两个色彩的计算过程的流程图。 图6是示出最终色彩值的计算过程的细节的流程图。 图7是示出图1和2所示的贝叶斯二色图像去镶嵌器的细节的框图。 图8示出了其中可实现贝叶斯二色图像去镶嵌方法和系统的合适的计算
系统环境的一个示例。
详细描述
在以下对贝叶斯二色图像去镶嵌方法和系统的描述中，对附图进行了参 考，附图形成了该描述的一部分，并且其中作为说明示出了可实施贝叶斯二 色图像去镶嵌方法和系统的一个具体示例。可以理解，可以利用其它实施例， 并且可以作出结构上的改变而不脱离所要求保护的主题的范围。
L 总览
图1和2是示出此处所公开的贝叶斯二色图像去镶嵌方法和系统的两个 示例性实现的框图。应当注意，图1和2仅仅是可实现并使用贝叶斯二色去镶 嵌方法和系统的若干方式中的两种。
参考图l，在第一示例性实现中，该贝叶斯二色图像去镶嵌器200驻留在 数码相机系统210上。 一般而言，贝叶斯二色图像去镶嵌器200在使用初步遍 去镶嵌器220作出的初步去镶嵌遍之后提供了对彩色图像(未示出)的增强。 更具体而言，如图1所示，贝叶斯二色图像去镶嵌器200是包括图像传感器阵 列225的数码相机系统210的一部分。阵列225是由多个图像传感器构成的，其 中每一图像传感器能够确定单个色彩值。
图像传感器阵列225包括传感器基底230、滤色器阵列(CFA) 240以及镜 头250。应当注意，通常镜头250被设置在CFA240上，而CFA 240进而被设置 在基底230上，如在图1和2中由虚线所指示的。来自要捕捉的图像(未示出) 的光进入数码相机系统210 (如由箭头255所示)。镜头250的目的是将进入的 光255聚焦到图像传感器阵列225上。图像传感器阵列225中的每一传感器代表 一像素。CFA240改变每一像素的色彩响应。传感器基底230捕捉特定色彩的 进入光(如由CFA 240所示)，并生成一电信号。以此方式，图像传感器阵 列225以排列在图像传感器阵列225中的红、绿和蓝传感器来对来自图像的进 入光255采样。
图像传感器阵列225中的每一像素是红、绿或蓝传感器的输出。由此， 传感器输出是来自每一传感器的、对应于图像传感器阵列225中的每一像素的 单个色彩值的电信号。该输出是原始的、镶嵌图案的像素数据260。如上所述，
为了显示全色图像，必须在每一像素处获得红色、绿色和蓝色的色彩信息。
这是通过对镶嵌图案的像素数据260中遗漏的色彩值进行去镶嵌或内插来实现的。
原始的、镶嵌图案的像素数据260被发送到数码相机系统210机载的第一 计算设备270。驻留在第一计算设备270上的是初步遍去镶嵌器220和贝叶斯二 色图像去镶嵌器200。初步遍去镶嵌器220用于内插遗漏色彩值的估算。初步 遍去镶嵌器220的输出是包含由数码相机系统210捕捉的彩色图像中的每一像 素的全RGB色彩值的像素数据280。贝叶斯二色图像去镶嵌器200接收像素数 据280，并如下详细描述地处理该数据280。在由贝叶斯二色图像去镶嵌器200 处理之后，获得具有减少的图像伪像290的增强的彩色数字图像。
现在参考图2，在第二示例性实现中，贝叶斯二色图像去镶嵌器200驻留 在与数码相机系统210分开的第二计算设备295上。原始的、镶嵌图案的像素 数据260从数码相机系统210发送到第二计算设备295。该像素数据260通常经 由接口连接297发送到第二计算设备295，该接口连接可以是USB接口、 IEEE 1394接口、蓝牙⑧接口、或适用于将原始像素数据260从数码相机系统210传 送到第二计算设备295的任何其它接口。如下详细描述的，贝叶斯二色图像去 镶嵌器200使用贝叶斯二色图像去镶嵌方法来增强像素数据260，并提供具有 减少的图像伪像290的增强的彩色数字图像。
II.操作概览
现在将讨论图1和2所示的贝叶斯二色图像去镶嵌器200的操作及其中使 用的方法。图3是示出贝叶斯二色图像去镶嵌器200的总体操作的总体流程图。 一般而言，该贝叶斯二色图像去镶嵌方法输入图像中每一像素的像素色彩值、 处理每一像素、并输出具有减少的图像伪像的经处理的图像。
更具体而言，如图3所示，该贝叶斯二色图像去镶嵌方法通过获得数字 彩色图像中的每一像素的完整定义的红(R)、绿(G)和蓝(B)三元组色 彩值(框300)来开始。完整定义的RGB三元组意味着红色、绿色和蓝色值对 该像素可用。通常，该贝叶斯二色图像去镶嵌方法通过对数字彩色图像执行 初步去镶嵌遍来获得这些完整定义的RGB三元组色彩值。该贝叶斯二色图像
去镶嵌方法然后增强初步去镶嵌遍的结果。
接着，该贝叶斯二色图像去镶嵌方法对数字彩色图像中的每一像素确定 最终色彩值(框310)。该最终色彩值是两个色彩的组合或混和，其中两个色彩
是通过使用完整定义的RGB三元组色彩值中的至少某一些来获得的。换言之， 即使在完整定义的RGB三元组色彩值中可能包含若干个色彩，在对所处理的 像素确定最终色彩值时也仅使用这些色彩值中的两个的组合。输出是对数字 彩色图像中的每一像素找到的最终色彩值(框320)。
III.操作细节和工作示例
现在将讨论贝叶斯二色图像去镶嵌方法的细节。图4是示出图3所示的贝 叶斯二色图像去镶嵌方法的操作的进一步细节的详细流程图。特别地，执行 一初步去镶嵌遍以对数字彩色图像中的每一像素计算完整定义的RGB三元组 (框400)。最初，对该图像有一拜耳图案，其中对图像中的每一像素仅有R、 G或B色彩值。该初步去镶嵌遍使用了去镶嵌技术来获得其中心位于所处理的 像素处的处理区域中的每一像素处的实际全色(RGB)值。在一个实施例中， 该初步去镶嵌遍是使用双线性内插技术来执行的。在替换实施例中，可使用 其它类型的初步遍去镶嵌技术，诸如中值滤波技术、矢量CFA技术、基于梯 度的技术以及统计建模技术。然而，当选择一初步遍去镶嵌技术时，应当注 意，将给出最佳输入的技术也通过贝叶斯二色图像去镶嵌方法产生最佳输出。
接着，选择一像素以进行处理并将其定义为被处理像素。另外，围绕被 处理像素的区域被定义为处理区域(框410)。该处理区域(或"窗"或"片") 通常是5x5的像素片，然而其它大小也是可能的。在一个实施例中，片大小是 奇数，使得被处理像素位于处理区域中心。作为示例，在5x5的处理区域中， 被处理像素将是该5x5的片的中心像素。
然后对被处理像素计算占优势的两个色彩(框420)。这是使用处理区 域中的每一像素的完整定义的RGB三元组来实现的。如以下详细解释的，该 完整定义的RGB三元组可以包含若干色彩，但是这些色彩被群集成仅两个占 优势的色彩。使用该占优势的两个色彩以及完整定义的RGB三元组来计算被 处理像素的最终色彩值(框430)。选择像素、定义处理区域、计算占优势的
两个色彩、以及计算最终色彩值的过程都对数字彩色图像中的其余像素重复 (框440)。贝叶斯二色图像去镶嵌方法的输出是具有减少的图像伪像的增强
的数字彩色图像(框450)。
图5是示出占优势的两个色彩的计算过程的流程图。换言之，图5示出了 如何从处理区域中的像素的色彩值中找出占优势的两个色彩。该过程通过对 处理区域中的每一像素执行完整定义的RGB三元组的初始群集来开始(框 500)。假定该处理区域是5x5个像素，目标四从这5x5的处理区域中的25个色 彩值中找到占优势的两个色彩，并将这25个色彩值分组成2个占优势的色彩。 这一般可使用任何群集技术来完成。在一个实施例中，由于其效率，使用k 均值技术。k均值技术中的"k"指的是群集类型的数目，其中在此情况中， k=2。 k均值群集技术是准确度和速度之间的平衡。k均值群集技术是本领域的 技术人员公知的，因此不在此详细讨论。在替换实施例中，使用期望值最大 化(EM)技术或均值位移技术。
然而，k均值技术的一个问题是离群值会对结果产生不利影响。离群值 是远离其余数据的数据点。统计分布期望数据点落在一特定范围内，而不在 该特定范围内的数据点被称为离群值。为了纠正离群值，占优势的两个色彩 的计算过程包括一离群值拒绝技术。该离群值拒绝技术用于最小化离群值对 占优势的两个色彩的影响(框510)。
然后通过使用离群值拒绝结果对处理区域中的每一像素更新完整定义 的RGB三元组的群集来计算占优势的两个色彩(框520)。然后对数字彩色图 像中的其余像素重复该处理(框530)。然后对图像中的每一像素获得每一像 素的占优势的两个色彩。
图6是示出最终色彩值的计算过程的细节的流程图。该过程通过对被处 理像素定义了占优势的两个色彩中的每一个对最终色彩值的贡献的部分混和 值来开始(框600)。由此，该部分混和值确定了该像素的最终色彩值从占优 势的两个色彩中的每一个获得了多少贡献。
然后对被处理像素确定最大部分混和值(框610)。该最大部分混和值 被定义为占优势的两个色彩的混和或组合，其使用处理区域中的每一完整定 义的RGB三元组最大化了部分混和值的概率。这可能涉及查找多于一组色彩，
然后尝试所有这些色彩来查看哪一色彩给出最大值。例如，想想尝试三个色 彩J、 K和L，并尝试J、 K和L的所有组合，并查看哪一组合给出最高概率。由 此，在所有色彩中，占优势的两个色彩是解释被处理像素的两个最佳的色彩。
两个"最佳"色彩意味着最大化以下给出的等式(3)的最大值自变量(即"arg max")的两个色彩。argmax是对其给定表达式的值获得其最大值的给定自 变量的值。
使用该占优势的两个色彩以及最大部分混和值来计算被处理像素的最 终色彩值(框620)。该最终色彩值在以下给出的等式(1)中阐明。对数字 彩色图像中的其余像素重复以上处理，以获得每一像素的最终色彩值(框 630)。
为了更完全地理解此处所公开的贝叶斯二色图像去镶嵌方法和系统，提 出一示例性工作示例的操作细节。应当注意，该工作示例仅是可实现贝叶斯 二色图像去镶嵌方法和系统的一种方式。
对贝叶斯二色图像去镶嵌方法和系统的处理的主要假设是在一局部邻 域内最多存在两个代表性色彩。该邻域内的每一像素的最终色彩值或者是代 表性色彩之一，或者是两者的组合。在此工作示例中，代表性色彩的组合是 线性组合。尽管在其中多于两个不同色彩相遇的区域中违反了该假设，但是 这种情况是相对罕见的。因此，贝叶斯二色图像去镶嵌方法和系统是非常稳 健的。
为了发现每一像素处的底层二色模型，将围绕每一像素的邻域群集到这 两个色彩中。拜耳图像仅提供单通道样本，而留下两个未知的RGB三元组色 彩值和一个未知的混和系数来指定模型。在此工作示例中，使用了一加权k 均值技术，其中权重是从每一样本到核中心的欧几里德距离的倒数。注意， 群集大小未被平衡，因此本来平滑的区域中的单个像素细节可被保留。并且， 可以在其它色彩空间中，诸如在LaP或XYZ中执行群集，但是这些空间中的 处理对于群集的准确度只有极小的差别。
要群集的样本的邻域大小取决于在源图像中出现了多大的色彩细节。在 此工作示例中，发现核中心周围两个像素的半径能工作良好。这提供了来自 每一拜耳色彩通道的足够数量的样本。
由于在一局部图像区域中存在多于两种色彩或存在显著噪声是可能的， 因此该贝叶斯二色图像去镶嵌方法和系统还使用了离群值拒绝技术。使用群 集的均值和方差，在其最接近的群集均值的单个标准差外部的样本被拒绝。 然后重复k均值技术以获得更干净的群集均值。这提供了其中色彩值随着远离 核中心而迅速变化的较好再现。
群集质量中的主要因素是对用于对去镶嵌进行"程序引导"以使得群集 易操纵的初步遍去镶嵌技术的选择。尽管可使用许多类型的初步遍去镶嵌技 术(如以上列出的)，但存在改进性能的质量。第一个质量是对高频特征的 保留或加重。诸如双线性内插或中值内插等技术具有朝低通滤波器的趋势， 因此应当避免。或者，保留高频的算法易于生成边缘条纹和混叠。在此工作 示例中，在初步遍去镶嵌中使用了高质量线性内插(HQLI)，因为它保留了 高频并且不生成许多条纹伪像。
二色去镶嵌
二色模型对于图像中的每一像素x提供了两个GRB先验，即J和貧。像 素x的色彩C被假定为这两个色彩的线性组合，由下式给出
<formula>formula see original document page 12</formula>
等式(1)是一混和等式，并且对像素x计算了最终色彩值C。 在像素x的邻域内，拜耳传感器给出了一组样本^ s S。由样本^指定的
RGB色彩通道的索引由A表示，并且a是部分混和值。
如果"^指定了对于色彩J的第A个色彩通道，且对于J7和c也类似，则
可直接从位置x (中央像素)处的拜耳样本&计算部分混和值oc的未知值为
<formula>formula see original document page 12</formula>
然而，如果"^和A"之差较小，则对ot的估算由于离散化和图像噪声而 不准确。注意，s是关于^的S的一个元素，其中对于5x5的处理区域，z'的范围 从1-25，使得有25个^。 ^仅是针对单个通道(或色彩)的，并且该色彩由^ (R、 G或B)来指定。
期望使用整个样本集S对ot进行更稳健的估算。换言之，期望在给定一样
本集S和色彩先验J和盧J时找到a的最可能的值(或者最大部分混和值)& :
d = argmax户(orjS， J，盧).
对于等式(3) ， J和f是占优势的两个色彩。在色彩空间中，可以想 像从J到f:画一条线，并且部分混和值a从O变到l并超过l。这意味着在&处 a = 0，而在J处01= 1。换言之，等式(3)找出最大化给定S时a的概率的argmax a，其中S是位于处理区域(在此工作示例中为5x5的片)的所有色彩样本的集 合。应当注意，S仅包含实际被采样的，而不是通过去镶嵌获得的样本。
使用贝叶斯理论，并假定J和^独立于S和ot，等式(3)可被重排以产
生
<formula>formula see original document page 13</formula>假定所有的A都是独立的，找到
,7, ^Jl和a指定了对于像素x的预测色彩= (1 — Ck')J十ttf。
对相邻色彩噪声假定独立的恒等分布(i.i.d.)，e^和s,之间的关系可使用正态分
布来建模
,,<formula>formula see original document page 13</formula>等式(6)使用高斯型来计算概率。C^是给定a时计算的色彩。相邻像素
之间的分布是高峰度的，但是出于计算效率考虑，假设了高斯分布。方差一 取决于两个因素(1)全局的每通道图像噪声^、以及(2)x和^之间的像素距离。 假设像素色彩是局部相似的，且较远处的较不相似。由此，^和C^之间的方 差随着其在图像空间中的距离的增加而增加。在一个实施例中，方差。被计
算为
其中^是x和s,之间的像素距离，而X是一常量，在此工作示例中，它根 据经验被设为6。由此，等式(7)规定方差随着与中心像素(被处理像素) 或位于处理区域中心的像素的距离而线性增加。在替换实施例中，可使用其
它单调递增的距离函数。
高斯型的宽度，即方差^指示了一特定样本对最终结果有多少影响。另 一种考虑方式是样本的确信度。如果关于一样本有不确定性，则其高斯型将 具有大的宽度(或大的方差CJ2)。相反，如果关于一样本有确定性，则其高 斯型将具有窄的宽度(或小的方差02)。
等式(7)是规定方差随着与作为处理区域的中心的已处理(或中心) 像素的距离而增加。换言之，较靠近中心像素的像素更合需要，且具有较高 的权重。且方差越大，像素或样本对最终结果的影响越小。由此，方差应随 着与中心像素的距离以某一函数增加。尽管在此工作示例中使用等式(7)形 式的线性函数，但是也可使用以类似方式规定方差的其它类型的函数。
由于&的值是已知的，并且期望计算最大化等式(6)的a值，因此将其
重排如下是有用的
<formula>formula see original document page 14</formula>
等式(8)是均值为cc,、方差为"一的cc上的高斯型。
<formula>formula see original document page 14</formula>
(8)<formula>formula see original document page 14</formula>
(9)
实际上需要求解oc，因此重排各等式以获得等式(10) (5)和(8)可被组合以产生
具体地，等式
<formula>formula see original document page 14</formula>
(10)
对于P(^tltt， J， iiT) ， a白々
的最优值为:
<formula>formula see original document page 14</formula>在实践中，忽略其中^i和^^之间的绝对差小于2.0的色彩分量的贡献。
当求解等式(10)和(11)时，需要找出CC,和(T,，其中。是与每一样本相
关联的方差。然后找到最优部分混和值a、它是最优的a值。然后使用o^来计 算最终色彩值。对不为O或l的(x施加一轻微的惩罚。因此，在一个实施例中， a的值为0，而在一替换实施例中，a的值为l。
接着，确定哪一a (0、 l或a"对等式(5)产生最高值。换言之，用 这三个a中的每一个对等式(5)求值，以确定哪一a给出最高答案。对于等
式(10)，然后计算ct,和&,。使用等式(9)来计算A。给定样本^，等式(9) 计算ot的值。换言之，a是样本^所认为的ai应当是多少。在等式(10)中， 使用ai的乘积。如果一高斯型乘以一高斯型，则获得另一高斯型。所有25 个样本中的每一个的高斯型乘在一起的高斯型的峰值由a，来表示，由等式
(11)给出。可以示出，所有高斯型的乘积的均值将为等式(11)，它是一 加权平均。
最后，为找到等式(3)中^的值，必须在oc上定义一先验/Y^。假定一 图像内的大多数像素仅获得来自单个色彩的贡献，贝lk被偏倚为具有值O或l:
其中7始终小于1 (//<1) 。 ^的值取决于所需的平滑量。给定大量的图像 噪声，？pl。
由于cc先验函数是具有两个脉冲的平坦函数，因此只需检查三个点O、 1 和a *处等式(3)的值。— 最f的那—个被分配为所处理的像素的最终值A，且 对应的像素色彩为(1 — + &f。
该方法的定量误差可以通过迫使输出像素处的红、绿或蓝为最初由传感 器捕捉的值，同时将另外两个通道设为与&相一致来进一步减小。由于A对中 央样本施加了较大的权重，因此这两个值不太可能大不相同。并且，如果输 出采样是在不同于输入网格的网格上完成的，则源拜耳样本不在每一像素处 可用。
多图像去镶嵌
使用无网格的贝叶斯解，可将来自多个图像的信息引入到模型中而不会
显著更改该方法。这些支撑图像被假定为相似的但不完全相同，诸如来自后 续的视频帧。此外，可使用这些额外的拜耳样本而不对其重采样。为了使用 支撑图像，必须计算每一图像的投影映射以将每一图像与第一个图像对准。
贝叶斯二色图像去镶嵌方法和系统可从多个图像中获得样本，只要它们 是对准的。对准图像允许将一场景的多个图像对齐到一起以使它们可被使用。 然而，当图像被对齐时，它们可能并不是相同定向的。贝叶斯二色图像去镶 嵌方法和系统选择一基准图像并相对于该基准图像来重构其它图像。处理区 域然后变为圆形，并且取已处理(或中心)像素的某一半径内的样本。
一般而言，通过使用更多图像获得更好的结果。然而，在处理时间和质 量之间存在折衷。在一个实施例中，所使用的图像数是3，使得处理时间相当 短，且质量很好。在替换实施例中，所使用的图像数可以比三多或少。
当添加更多图像时，所使用的样本的邻域可以收缩，而仍维持足够的样 本来群集到J和^中。通过这样做，它包含多于两个代表性色彩的可能性减
少。由此，如果R、 G和B样本各自表现为接近所重构的样本，则可使用拜耳
样本的最接近的邻居内插组合。使用加权群集和重构的概念保持与单个输入 图像的相同。 一旦对准，即使在同一像素位置处出现了相同的色彩通道，也 仍有好处，即噪声减少。
通过包括支撑图像，存在引入坏的或误导数据的风险。全局投影映射并 未解决所有场景改变(移动照相机、移动对象、光照条件的改变以及对象外 观)。会发生对准误差。为减少这一误差，确保仅组合来自基准和局部相似
的支撑图像的数据。对7x7的局部窗使用绝对差之和(SAD)技术在RGB空间 中测量相似性，表示为s。
通过调整。的定义以包括基准和支撑图像之间的相关误差来处理多个图
像
<formula>formula see original document page 16</formula>(13)
项(1+Te)是失配惩罚，且在此工作示例中tK).I。 s是平方差的和。 当对齐多个图像时，对齐可能不是完美的。为进行补偿，使用平方差的 和。代替使用等式(7)，使用等式(13)。唯一的差别是最后一项(l+"cs)。 t 是縮放因子。因此等式(13)中的最后一项(l+^)规定如果平方差的和较大则
增加高斯型的方差。
项T是平方差的和的值被加权多少。它是根据经验确定的。在一个实施例 中，T大致等于O.l。在替换实施例中，可使用其它T值。然而，重要的是T不被 加权太多。如果T太大，则可能从不使用来自其它图像的信息。如果T太小， 则即使图像没有被正确地对齐也可使用来自其它图像的信息。由此，必须找 到平衡。项T基于对齐算法的质量来变化。
为实现多图像去镶嵌，所需的全部是将支撑图像中附近的拜耳样本添加 到集合S并使用以上方差等式。应当注意，S中的样本是拜耳传感器样本，因 为使用原始样本避免了对任何重采样的需求。
超分辨率
贝叶斯二色图像去镶嵌方法和系统的统计性、无网格方法的另一优点是 可将任何采样网格用于重构，诸如具有比原始图像更大的分辨率的采样网格。 由于对统计度量使用了浮点欧几里德距离，因此可在图像中的任何地方生成
连续的a值。由于来自多个图像的样本的对齐，a的值可编码原始网格中像素
之间的边缘和锐度。这可用于处理贝叶斯二色图像去镶嵌方法和系统的框架 内的超分辨率。
当使用超分辨率时，统计群集和局部邻域大小可以略微收缩以捕捉精细 的细节。除此之外，贝叶斯二色图像去镶嵌方法和系统与其在多图像去镶嵌 情况中类似地操作。
IV.结构概览
现在将讨论贝叶斯二色图像去镶嵌器200的结构。为了更全面地理解贝 叶斯二色图像去镶嵌器200的结构，呈现了一示例性实施例的细节。然而，应 当注意，该示例性实施例仅是可实现和使用贝叶斯二色图像去镶嵌器200的若 干种方式之一。
图7是示出图1和2所示的贝叶斯二色图像去镶嵌器200的细节的框图。一 般而言，贝叶斯二色去镶嵌器200处理对每一像素具有完整定义的RGB色彩值 的数字彩色图像，对每一像素找出作为两个色彩的组合的最终色彩值，并输
出具有减少的伪像的过程数字彩色图像。具体地，对贝叶斯二色图像去镶嵌
器200的输入是包含对数字彩色图像280中的每一像素的完整定义的RGB数据 的像素数据。如上所述，该数据是通过对图像进行初步去镶嵌遍来获得的。 在一个实施例中，使用高质量线性内插去镶嵌技术来执行初步去镶嵌遍。或 者，可使用其它类型的去镶嵌技术，诸如双线性内插。
贝叶斯二色图像去镶嵌器200包括被处理像素选择器700，它从图像中选 择要处理的像素。最终处理图像中的所有像素，但是被处理像素选择器700 每次选取一个像素来处理。处理区域定义模块710定义被处理像素周围的处理 区域(或片)。通常，被处理像素在该处理区域的中心。在一个实施例中， 处理区域是5x5的像素区域。在替换实施例中，可使用具有其它大小(诸如3x3 的像素区域或7x7的像素区域)的处理区域。
贝叶斯二色图像去镶嵌器200还包括确定用于为被处理像素定义最终色 彩值的占优势的两个色彩的群集模块720。群集模块使用群集技术来将来自处 理区域中的像素的RGB色彩值群集到两个集群中。这两个集群的每一个的均 值变为占优势的两个色彩。在一个实施例中，使用了具有离群值拒绝级的k 均值群集技术来进行群集。在替换实施例中，可使用其它类型的群集技术。
去镶嵌器200还包括贡献和组合模块730，该模块确定占优势的两个色彩 中的每一个在最终色彩值中被使用了多少，并组合占优势的两个色彩来获得 最终色彩值。模块730通过定义最大化给定一样本集时部分混和值的概率的最 大部分混和值来找出占优势的两个色彩中的每一个的贡献。该样本集包含来 自处理区域中的像素的采样的色彩值。模块730然后组合最大部分混和值和占 优势的两个色彩以计算被处理像素的最终色彩值。在一个实施例中，占优势 的两个色彩被线性地组合。在替换实施例中，占优势的两个色彩以非线性的 方式组合。对图像中的每一像素重复贝叶斯二色图像去镶嵌器200的处理。输 出是具有减少的图像伪像的增强的数字彩色图像。
示例性操作环境
此处使用的贝叶斯二色图像去镶嵌器200和方法被设计成在一计算环境 中操作。以下讨论旨在提供其中可实现贝叶斯二色图像去镶嵌器和方法的一
个合适的计算环境的简要概括描述。
图8示出了其中可实现贝叶斯二色图像去镶嵌器和方法的合适的计算系 统环境的一个示例。计算系统环境800仅为合适的计算环境的一个示例，并非
对本发明的使用范围或功能提出任何局限。也不应将计算系统800解释为对示
例性操作环境中示出的任一组件或其组合具有任何依赖性或需求。
贝叶斯二色图像去镶嵌器和方法可以使用众多其它通用或专用计算系 统环境或配置来操作。适用于间接纹理放大系统和方法的众所周知的计算系 统、环境和/或配置的示例包括但不限于，个人计算机、服务器计算机、诸如
蜂窝电话和PDA等手持式、膝上型或移动计算机或通信设备、多处理器系统、 基于微处理器的系统、机顶盒、可编程消费电子设备、网络PC、小型机、大
型计算机、包括任一上述系统或设备的分布式计算环境等等。
贝叶斯二色图像去镶嵌器和方法可在诸如程序模块等由计算机执行的 计算机可执行指令的一般上下文中描述。 一般而言，程序模块包括执行特定 任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。贝 叶斯二色图像去镶嵌器和方法也可以在其中任务由通过通信网络链接的远程 处理设备来执行的分布式计算环境中实践。在分布式计算环境中，程序模块
可以位于包括存储器存储设备的本地和远程计算机存储介质中。参考图8，用 于贝叶斯二色图像去镶嵌器和方法的示例性系统包括计算机810 (图l中的第 一计算设备270和图2中的第二计算设备295是计算机810的示例)形式的通用 计算设备。
计算机810的组件可包括但不限于，处理单元820 (诸如中央处理器， CPU)、系统存储器830以及将包括系统存储器的各类系统组件耦合至处理单 元820的系统总线821。系统总线821可以是若干种总线结构中的任一种，包括 存储器总线或存储器控制器、外围总线以及使用各类总线体系结构中的任一 种的局部总线。作为示例而非局限，这类体系结构包括工业标准体系结构
(ISA)总线、微通道体系结构(MCA)总线、增强型ISA (EISA)总线、 视频电子技术标准协会(VESA)局部总线、以及外围部件互连(PCI)总线 (也称为小背板(Mezzanine)总线)。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可由
计算机810访问的任一可用介质，并包括易失性和非易失性介质、可移动和不
可移动介质。作为示例而非局限，计算机可读介质包括计算机存储介质和通
信介质。计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、
程序模块或其它数据等信息的任一方法或技术实现的易失性和非易失性，可 移动和不可移动介质。
计算机存储介质包括但不限于，RAM、 ROM、 EEPROM、闪存或其它 存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁 带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算 机810访问的任一其它介质。通信介质通常以诸如载波或其它传输机制等已调 制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并包 括任一信息传送介质。
注意，术语"已调制数据信号"指以对信号中的信息进行编码的方式设 置或改变其一个或多个特征的信号。作为示例而非局限，通信介质包括有线 介质，如有线网络或直接连线连接，以及无线介质，如声学、RF、红外和其 它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
系统存储器830包括易失性和/或非易失性存储器形式的计算机存储介 质，如只读存储器(ROM) 831和随机存取存储器(RAM) 832。基本输入/ 输出系统833 (BIOS)包括如在启动时帮助在计算机810内的元件之间传输信 息的基本例程，它通常储存在ROM 831中。RAM 832通常包含处理单元820 立即可访问和/或当前正在操作的数据和/或程序模块。作为示例而非局限，图 8示出了操作系统834、应用程序835、其它程序模块836和程序数据837。
计算机810也可包括其它可移动/不可移动、易失性/非易失性计算机存储 介质。仅作示例，图8示出了对不可移动、非易失性磁介质进行读写的硬盘驱 动器841，对可移动、非易失性磁盘852进行读写的磁盘驱动器851，以及对可 移动、非易失性光盘856，如CD ROM或其它光介质进行读写的光盘驱动器 855。
可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失 性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录 像带、固态RAM、固态ROM等等。硬盘驱动器841通常通过不可移动存储器
接口，如接口840连接到系统总线821，磁盘驱动器851和光盘驱动器855通常 通过可移动存储器接口 ，如接口 850连接到系统总线821 。
上文讨论并在图8中示出的驱动器及其相关联的计算机存储介质为计算 机810提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如， 在图8中，示出硬盘驱动器841储存操作系统844、应用程序845、其它程序模 块846和程序数据847。注意，这些组件可以与操作系统834、应用程序835、 其它程序模块836和程序数据837相同，也可以与它们不同。这里对操作系统 844、应用程序845、其它程序模块846和程序数据847给予不同的标号来说明 至少它们是不同的副本。用户可以通过输入设备，如键盘862和定位设备861 (通常指鼠标、跟踪球或触摸垫)向计算机810输入命令和信息。
其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星 天线、扫描仪、无线电接收机或电视或广播视频接收机等等。这些和其它输 入设备通常通过耦合至系统总线820的用户输入接口860连接至处理单元821， 但是也可以通过其它接口和总线结构连接，如并行端口、游戏端口或通用串 行总线(USB)。监视器891或其它类型的显示设备也经由诸如视频接口890 等接口连接到系统总线821。除监视器之外，计算机也可包括其它外围输出设 备，如扬声器897和打印机896，它们可通过输出外围接口895连接。
计算机810可使用到一个或多个远程计算机，如远程计算机880的逻辑连 接在网络化环境中操作。远程计算机880可以是个人计算机、服务器、路由器、 网络PC、对等设备或其它常见的网络节点，并且通常包括许多或所有以上相 对于计算机810所描述的元件，尽管在图8中仅示出了存储器存储设备881。图 8描述的逻辑连接包括局域网(LAN) 871和广域网(\VAN) 873，但也可包 括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以 及因特网。
当在LAN网络环境中使用时，计算机810通过网络接口或适配器870连接 至LAN 871。当在WAN网络环境中使用时，计算机810通常包括调制解调器 872或用于通过WAN 873，如因特网建立通信的其它装置。调制解调器872可 以是内置或外置的，它通过用户输入接口860或其它适当的机制连接至系统总 线821。在网络化环境中，相对于计算机810所描述的程序模块或其部分可被
储存在远程存储器存储设备中。作为示例而非局限，图8示出远程应用程序885
驻留在存储器设备881上。可以理解，示出的网络连接是示例性的，并且可以
使用在计算机之间建立通信链路的其它手段。
以上的详细描述是出于图示和描述的目的而提出的。鉴于以上教导，许 多修改和变型都是可能的。它并不旨在穷尽，也不旨在将此处所公开的主题 限于所公开的精确形式。尽管以对结构特征和/或方法动作专用的语言描述了 本发明，但是可以理解，所附权利要求书中所定义的主题不一定要限于以上 所描述的具体特征或动作。相反，上述具体特征和动作是作为实现所附权利 要求书的示例性形式来公开的。
权利要求
1.一种用于处理数字彩色图像(260)的方法，包括获得对于所述数字彩色图像中的每一像素的完整定义的RGB三元组色彩值(300)；以及使用所述完整定义的RGB三元组色彩值来确定每一像素的最终色彩值为两个色彩的组合(310)以获得具有减少的图像伪像的增强的数字彩色图像(290)。
2. 如权利要求l所述的方法，其特征在于，还包括使用初步遍去镶嵌技 术来获得每一像素的所述完整定义的RGB三元组色彩值(400)。
3. 如权利要求2所述的方法，其特征在于，还包括使用高质量线性内插 去镶嵌技术(220)来获得每一像素的所述完整定义的RGB三元组色彩值(280)。
4. 如权利要求l所述的方法，其特征在于，确定最终色彩值(430)还 包括使用所述完整定义的RGB三元组色彩值来找出每一像素的所述两个色 彩(420);以及将所述两个色彩指定为占优势的两个色彩(420)。
5. 如权利要求4所述的方法，其特征在于，还包括在所述数字彩色图像 中定义一中心位于被处理的像素处的处理区域(410)，其中所述最终色彩值 是对所述被处理的像素确定的(630)。
6. 如权利要求5所述的方法，其特征在于，包括使用群集技术将所述处 理区域中的像素的色彩值群集到所述占优势的两个色彩中(500)。
7. 如权利要求6所述的方法，其特征在于，所述群集技术是k均值群集 技术(720)。
8. 如权利要求6所述的方法，其特征在于，还包括对所述群集技术使用 离群值拒绝技术来改进群集结果(510)。
9. 如权利要求5所述的方法，其特征在于，还包括确定所述占优势的两 个色彩中的每一个对所述最终色彩值给出了多少贡献(730)。
10. 如权利要求9所述的方法，其特征在于，还包括定义一部分混和值， 所述部分混和值指定了所述占优势的两个色彩中的每一个对所述最终色彩值的贡献(600)。
11. 如权利要求10所述的方法，其特征在于，还包括对所述被处理像素 确定最大部分混和值，所述最大部分混和值被定义为最大化给定所述处理区 域中的每一所述像素色彩值时所述部分混和值的概率的所述占优势的两个色彩的混和。
12. 如权利要求10所述的方法，其特征在于，还包括使用每一像素的所 述最大部分混和值和每一像素的所述占优势的两个色彩来获得所述数字彩色 图像中的每一像素的所述最终色彩值(620)。
全文摘要
一种贝叶斯二色图像去镶嵌器和方法用于处理数字彩色图像以便用减少图像伪像的方式来对该图像去镶嵌。该方法和系统是对先前的去镶嵌技术的改进和增强。对该图像执行初步去镶嵌遍以向每一像素分配一完整定义的RGB三元组色彩值。所处理的图像中的色彩的最终色彩值被限于两个色彩的线性组合。对于图像中的每一像素的完整定义的RGB三元组色彩值用于找出表示占优势的两个色彩的两个集群。然后确定这两个占优势的色彩对最终色彩值的贡献量。该方法和系统还可处理多个图像以改进去镶嵌结果。当使用多个图像时，可在更精细的分辨率，称为超分辨率下执行采样。
文档编号H04N9/64GK101375611SQ200780003776
公开日2009年2月25日 申请日期2007年1月25日 优先权日2006年1月30日
发明者C·L·泽特尼克, E·P·贝内特, M·T·尤特纳达勒, R·S·泽里斯基, S·B·康 申请人:微软公司