专利名称：用于处理图像的设备和方法
技术领域：
以下描述涉及一种用于去除图像信号的噪声并重建细节以获取高灵敏度图像的 技术。
背景技术：
通常，图像获取设备是一种用于获取并处理从对象反射的光并将对象的图像显示 给用户的设备。最近，信息通信技术的发展引起了各种图像获取设备(诸如，数字相机)的 分布。 数字相机包括用于吸收从对象反射的光并将光转换为电信号的图像传感器，且处 理从这样的图像传感器获取的图像信号并显示图像。通常，当吸收光时，数字相机通过放置 在图像传感器前面的滤波器选择性地吸收特定波长的可见光。 然而，当使用特定波长的可见光进行拍摄时，由于在低照度环境(室内或夜间)下 或在高速拍摄下产生非常大的噪声而发生图像失真。具体地，在彩色图像的情况下，由于低 灵敏度和噪声，高频/细节分量失真，这导致严重的图像质量恶化。 同时，已经研发了吸收红外光波长的图像获取设备。这种图像获取设备的代表性 示例是红外相机，从红外相机获取的图像没有彩色信息，但是具有相对高的灵敏度。
发明内容
以下描述涉及一种使用具有比彩色图像的灵敏度相对更高的灵敏度的辅助图像 来处理彩色图像以去除彩色图像的噪声并重建细节的设备和方法。 根据一示例性方面，提供了一种接收主图像信号和辅助图像信号、使用关于辅助 图像信号的信息去除主图像信号的噪声以及使用辅助图像信号的高频分量重建主图像信 号的细节的图像处理设备。 根据另一示例性方面，提供了一种图像处理设备，包括第一噪声减小单元，去除 辅助图像信号的噪声；第二噪声减小单元，使用关于辅助图像信号的信息去除主图像信号 的噪声；高频提取器，从第一噪声减小单元的输出信号提取辅助图像信号的高频分量；细 节重建单元，使用辅助图像信号的高频分量重建主图像信号的细节。 根据另一示例性方面，提供了一种图像处理设备，包括第一噪声减小单元，去除 辅助图像信号的噪声；第二噪声减小单元，使用关于辅助图像信号的信息或关于主图像信 号的信息去除主图像信号的噪声；高频提取器，从第一噪声减小单元的输出信号提取辅助 图像信号的高频分量；细节重建单元，使用辅助图像信号的高频分量重建主图像信号的细 节。 主图像信号是彩色信号或RGB信号，辅助图像信号是包括可见光的所有波长的信号、包括可见光的所有波长和红外光波长的信号或包括可见光的所有波长和紫外光波长的信号。 图像处理设备还包括细节提取器，接收高频提取器的输出信号和第二噪声减小单
元的输出信号，从辅助图像信号的高频分量提取细节，并将所述细节应用到细节重建单元。
图像处理设备还包括环形失真(ring distortion)减小单元，从细节重建单元的 输出信号去除环形失真。 根据另一示例性方面，提供了一种图像处理方法，包括分别获取彩色图像信号和
具有比彩色图像信号的灵敏度相对更高的灵敏度的辅助图像信号；去除辅助图像信号的噪
声；使用关于辅助图像信号的信息去除彩色图像信号的噪声；从去除噪声的辅助图像信号
提取高频分量；以及使用高频分量重建已经去除噪声的彩色图像信号的细节。 将在接下来的描述中阐述本发明其它方面，还有一部分通过描述将是清楚的，或
者可以经过本发明的实施而得知。 应该理解先前的一般描述和以下详细描述都是示例性和说明性的，旨在提供所主 张的本发明的进一步解释。
被包括以提供本发明的进一步理解的附图被合并并且组成本发明的一部分，附图
示出本发明的示例性实施例，并与描述一起用于解释本发明的各方面。
图1示出根据实施例的图像处理设备的配置； 图2示出根据实施例的主图像信号和辅助图像信号的谱； 图3示出根据实施例的图像传感器的结构； 图4是根据实施例的图像处理设备的框图； 图5是根据另一实施例的图像处理设备的框图； 图6是根据另一实施例的图像处理设备的框图； 图7是根据另一实施例的图像处理设备的框图；禾口 图8是根据实施例的图像处理方法的流程图。
具体实施例方式以下，参照示出示例性实施例的附图来更详细地描述本发明。然而，本发明可被以 各种不同形式实施而不应理解为局限于在此阐述的示例性实施例。此外，提供这些示例性 实施例从而本发明是彻底的，并将本发明的范围完全传达给本领域的技术人员。在附图中， 为了清楚可夸大层和区域的大小和相对大小。附图中相同的标号表示相同的部件。
图1示出根据实施例的图像处理设备100的配置。 在图1中，图像处理设备100(诸如，数字相机、机顶盒等)包括安装在图像获取设 备中的软件系统或图像处理芯片。 图像处理设备100接收主图像信号和辅助图像信号，对它们进行处理并将处理结 果作为图像输出。同时，处理的步骤可包括去除信号的噪声和重建细节的处理，以获得高灵 敏度图像。 主图像信号可具有彩色信息。例如，主图像信号是与光谱中的特定波长相应的RGB信号或彩色信号。另外，辅助图像信号可不具有彩色信息，而具有比主图像信号的灵敏度相 对更高的灵敏度。例如，辅助图像信号是包括可见光的所有波长的白信号(W)、包括可见光 的所有波长和近红外光波长的白与近红外信号(W+NIR)或包括可见光的所有波长和紫外 光波长的白与紫外信号。 图2示出根据实施例的主图像信号和辅助图像信号的谱。 在图2中，(a)示出作为主图像信号的RGB信号的谱，(b)示出作为辅助图像信号 的可见光和近红外光的谱。 图2示出辅助图像信号(b)具有比主图像信号(a)的波长范围更宽的波长范围。 通常，由于不充足的曝光时间、信号放大等，在低照度环境下获得的彩色图像具有非常大的 的噪声。然而，由于从具有比可见光的波长范围更宽的波长范围的光产生图像信号，包括红 外光的图像信号可形成相对高灵敏度的图像。也就是说，参照图2，如果具有不同特性的主 图像信号和辅助图像信号被结合，则可获得高灵敏度的图像。 图3示出根据实施例的用于获得主图像信号和辅助图像信号的图像传感器300的 结构。 参照图3，图像传感器300包括滤波器单元301和传感器单元302。滤波器单元 301包括彩色部分303和透明部分304。传感器单元302可包括在彩色部分303下面形成 的第一光接收部分305以及在透明部分304和第一光接收部分305下面形成的第二光接收 部分306。彩色部分303可产生诸如RGB信号的主图像信号，由于其仅发送属于可见光中的 具有彩色信息的特定波长范围的光。另外，由于透明部分304发送所有波长的光，故第二光 接收部分306的上部可感应包括可见光的所有波长的光(例如，白信号)，第二光接收部分 306的下部可感应具有比可见光的波长更长的波长的红外光(例如，NIR信号)。
因此，第一光接收部分305可获取主图像信号，第二光接收部分306可获取辅助图 像信号。 图4是根据实施例的图像处理设备400的框图。 参照图4，图像处理设备400包括第一噪声减小单元401、第二噪声减小单元402、 高频提取器403和细节重建单元404。 第一噪声减小单元401去除辅助图像信号的噪声。 这里，辅助图像信号可以是包括可见光的所有波长的具有相对高灵敏度的信号 (W)、包括可见光的所有波长和近红外光波长的信号(W+NIR)或包括可见光的所有波长和 紫外光波长的信号(W+UV)。 可使用各种方法去除辅助图像信号的噪声。例如，由于辅助图像信号具有相对高 灵敏度，使用低通滤波器来去除辅助图像信号的噪声。 第一噪声减小单元401可包括反映辅助图像信号的噪声特性的简档(profile)。 可通过经由实验的噪声建模获得噪声简档。如果第一噪声减小单元401包括这样的噪声简 档，则可以减小在估计辅助图像信号的噪声的过程中的差错以增加性能，另外，还可减小用 于估计辅助图像信号的噪声的过程所花费的时间。 第二噪声减小单元402接收主图像信号，并使用关于辅助图像信号的信息去除主 图像信号的噪声。 这里，主图像信号可以是具有相对低灵敏度的彩色信号或RGB信号。另外，关于辅助图像信号的信息可以是关于辅助图像信号的噪声特性的信息。 以下，将使用等式对使用关于辅助图像信号的信息来去除主图像信号的噪声的方
法进行详细描述。
<formula>formula see original document page 7</formula> 在等式1中，y表示主图像信号，n表示噪声信息，Xl表示关于已经去除噪声的图 像的信息。也就是说，从主图像信号去除噪声是用于获得等式1中的A。为了计算简便，对 等式1进行小波变换，结果如下
Y = X一n (2) 随后，在等式2上应用最小均方误差(匪SE)估计方案以获得&， &可由等式3表 示。 <formula>formula see original document page 7</formula> 在等式3中，o/表示信号的方差，0 2表示噪声的方差。使用由第一噪声减小单
元401接收的辅助图像信号的噪声特性估计。/值。以这种方式，可使用关于辅助图像信
号的信息去除主图像信号的噪声。 等式1、2和3用于示例性地解释使用关于辅助图像信号的信息去除主图像信号的 噪声的方法。除了上述方案，可使用由第一噪声减小单元401计算的辅助图像信号的噪声 特性的双边滤波器方案来去除主图像信号的噪声。 高频提取器403从第一噪声减小单元401的输出信号提取辅助图像信号的高频分 量。例如，高频提取器403通过对已经去除噪声的辅助图像信号执行高通滤波来提取辅助 图像信号的高频分量。 细节重建单元404接收第二噪声减小单元402的输出并使用辅助图像信号的高频 分量重建主图像信号的细节。例如，通过将作为第二噪声减小单元402的输出并已经去除 噪声的主图像信号与由高频提取器403提取的辅助图像信号的高频分量组合来重建主图 像信号的细节。细节重建单元404可具有抑制噪声放大的功能。
图5是根据另一实施例的图像处理设备500的框图。 参照图5，除了图4中示出的组件外，图像处理设备500还包括细节提取器501和 环形失真减小单元502。图5中示出的第一噪声减小单元401、第二噪声减小单元402、高频 提取器403和细节重建单元404与图4中示出的相应组件相同，因此将省略其详细描述。
细节提取器501接收高频提取器403和第二噪声减小单元402的输出，从辅助图 像信号的高频分量中的噪声区分细节以提取细节，并将所述细节输出到细节重建单元404。 在使用辅助图像信号的高频分量重建主图像信号的细节的情况下，由于根据信号组成存在 噪声放大的可能性，因此细节提取器501用于从辅助图像信号的高频分量中的噪声区分细 节并仅将细节分量应用到细节重建单元404。可基于亮度区分细节和噪声。
环形失真减小单元502接收细节重建单元404的输出信号并去除输出信号的环形 失真。例如，环形失真减小单元502通过对已经减小噪声的主图像信号和辅助图像信号进 行二次聚类(dual clustering)使用最大似然估计(MLE)去除环形失真。
图6是根据另一实施例的图像处理设备600的框图。 参照图6，图像处理设备600包括第一噪声减小单元601、第二噪声减小单元602、 高频提取器603、细节重建单元604和切换单元605。
第一噪声减小单元601去除辅助图像信号的噪声。这里，辅助图像信号可以是包 括可见光的所有波长的具有相对高灵敏度的信号(W)、包括可见光的所有波长和近红外光 波长的信号(W+NIR)或包括可见光的所有波长和紫外光波长的信号(W+UV)。可使用各种方 法去除辅助图像信号的噪声。例如，由于辅助图像信号具有相对高灵敏度，使用低通滤波器 去除辅助图像信号的噪声。 第一噪声减小单元601可包括反映辅助图像信号的噪声特性的简档。 第二噪声减小单元602接收主图像信号，并使用关于辅助图像信号的信息或关于
主图像信号的信息去除主图像信号的噪声。 第二噪声减小单元602可使用上述的等式1、2和3去除主图像信号的噪声。然而， 第二噪声减小单元602可使用由第一噪声减小单元601接收的辅助图像信号的噪声特性或 仅使用主图像信号自身的信息来估计作为信号的方差的。/的值。例如，如果主图像信号 和辅助图像信号的图像特性彼此相同或相似，则使用关于辅助图像信号的信息估计。s2的 值，如果主图像信号和辅助图像信号的图像特性彼此不同，则仅使用主图像信号自身的信 息估计o/的值。 切换单元605用于将主图像信号的图像特性与辅助图像信号的图像特性进行比 较。切换单元605接收主图像信号和辅助图像信号，将主图像信号的图像特性与辅助图像 信号的图像特性进行比较，并根据比较结果将关于从第一噪声减小单元601输出的辅助图 像信号的信息应用到第二噪声减小单元602或阻止将关于辅助图像信号的信息应用到第 二噪声减小单元602。 高频提取器603对已经减小噪声的辅助图像信号执行高通滤波，并从辅助图像信 号提取高频分量。 细节重建单元604接收第二噪声减小单元602的输出并使用辅助图像信号的高频 分量重建主图像信号的细节。另外，细节重建单元604可具有抑制噪声放大的功能。
图7是根据另一实施例的图像处理设备700的框图。 参照图7，除了图6中示出的组件外，图像处理设备700还包括细节提取器501和 环形失真减小单元502。在图7中，第一噪声减小单元601、第二噪声减小单元602、高频提 取器603、细节重建单元604和切换单元605与上述的相应组件相同，细节提取器501和环 形失真减小单元502与图5中示出的相应组件相同，因此将省略其详细描述。
图8是根据实施例的图像处理方法的流程图。 参照图8，图像处理方法包括分别接收主图像信号和辅助图像信号的操作(操作
S801)。主图像信号可以是彩色图像信号，辅助图像信号可以是包括可见光的所有波长的具
有相对高灵敏度的信号、包括可见光的所有波长和近红外光波长的信号或包括可见光的所
有波长和紫外光波长的信号。可通过图3中示出的图像传感器300获取各个信号。 接着，去除辅助图像信号的噪声(操作S802)。如上所述，可使用各种算法去除辅
助图像信号的噪声。例如，由于辅助图像信号具有相对高灵敏度，使用低通滤波器容易地去
除辅助图像信号的噪声。 随后，使用关于辅助图像信号的信息去除主图像信号的噪声(操作S803)。可使用 上述等式1、2和3去除主图像信号的噪声。或者，可根据主图像信号和辅助图像信号的图 像特性，使用关于辅助图像信号的信息或使用关于主图像信号的信息来去除主图像信号的噪声。 随后，从已经去除噪声的辅助图像信号提取高频分量(操作S804)。高频分量用于 重建主图像信号的细节。在操作S804，还可进一步执行从噪声区分细节以仅提取细节的操 作以避免噪声放大。 随后，使用高频分量重建主图像信号的细节。 本领域的技术人员应该清楚，在不脱离本发明的精神和范围的情况下，可以对本 发明进行各种修改和改变。因此，本发明覆盖本发明的修改和改变，并且本发明的修改和改 变落入权利要求及其等同物的范围内。
权利要求
一种接收主图像信号和辅助图像信号、使用关于辅助图像信号的信息去除主图像信号的噪声以及使用辅助图像信号的高频分量重建主图像信号的细节的图像处理设备。
2. 如权利要求1所述的图像处理设备，其中，主图像信号是彩色信号或RGB信号，辅助 图像信号是包括可见光的所有波长的信号、包括可见光的所有波长和红外光波长的信号或 包括可见光的所有波长和紫外光波长的信号。
3. —种图像处理设备，包括 第一噪声减小单元，去除辅助图像信号的噪声；第二噪声减小单元，使用关于辅助图像信号的信息去除主图像信号的噪声；高频提取器，从第一噪声减小单元的输出信号提取辅助图像信号的高频分量；禾口细节重建单元，使用辅助图像信号的高频分量重建主图像信号的细节。
4. 如权利要求3所述的图像处理设备，其中，主图像信号是彩色信号或RGB信号，辅助 图像信号是包括可见光的所有波长的信号、包括可见光的所有波长和红外光波长的信号和 包括可见光的所有波长和紫外光波长的信号。
5. 如权利要求3所述的图像处理设备，其中，第一噪声减小单元包括反映辅助图像信 号的噪声特性的简档。
6. 如权利要求3所述的图像处理设备，其中，关于辅助图像信号的信息包括关于辅助 图像信号的噪声特性的信息。
7. 如权利要求3所述的图像处理设备，还包括细节提取器，接收高频提取器的输出信 号和第二噪声减小单元的输出信号，从辅助图像信号的高频分量提取细节，并将所述细节 应用到细节重建单元。
8. 如权利要求7所述的图像处理设备，其中，细节提取器使用亮度信息提取细节。
9. 如权利要求3所述的图像处理设备，还包括环形失真减小单元，从细节重建单元的 输出信号去除环形失真。
10. —种图像处理设备，包括 第一噪声减小单元，去除辅助图像信号的噪声；第二噪声减小单元，使用关于辅助图像信号的信息或关于主图像信号的信息去除主图 像信号的噪声；高频提取器，从第一噪声减小单元的输出信号提取辅助图像信号的高频分量；禾口 细节重建单元，使用辅助图像信号的高频分量重建主图像信号的细节。
11. 如权利要求IO所述的图像处理设备，其中，主图像信号是彩色信号或RGB信号，辅 助图像信号是包括可见光的所有波长的信号、包括可见光的所有波长和红外光波长的信号 或包括可见光的所有波长和紫外光波长的信号。
12. 如权利要求IO所述的图像处理设备，还包括切换单元，将主图像信号的特性与辅 助图像信号的特性进行比较，并将关于辅助图像信号的信息应用到第二噪声减小单元或阻 止将关于辅助图像信号的信息应用到第二噪声减小单元。
13. 如权利要求10所述的图像处理设备，其中，第一噪声减小单元包括反映辅助图像 信号的噪声特性的简档。
14. 如权利要求IO所述的图像处理设备，其中，关于辅助图像信号的信息包括关于辅助图像信号的噪声特性的信息。
15. 如权利要求IO所述的图像处理设备，还包括细节提取器，接收高频提取器的输出 信号和第二噪声减小单元的输出信号，从辅助图像信号的高频分量提取细节，并将所述细 节应用到细节重建单元。
16. 如权利要求15所述的图像处理设备，其中，细节提取器使用亮度信息提取细节。
17. 如权利要求IO所述的图像处理设备，还包括环形失真减小单元，从细节重建单元 的输出信号去除环形失真。
18. —种图像处理方法，包括分别获得彩色图像信号和具有比彩色图像信号的灵敏度相对更高的灵敏度的辅助图 像信号；去除辅助图像信号的噪声；使用关于辅助图像信号的信息去除彩色图像信号的噪声； 从去除噪声的辅助图像信号提取高频分量；以及 使用高频分量重建已经去除噪声的彩色图像信号的细节。
19. 如权利要求18所述的图像处理方法，其中，辅助图像信号是包括可见光的所有波 长的信号、包括可见光的所有波长和红外光波长的信号或包括可见光的所有波长和紫外光 波长的信号。
全文摘要
提供了一种用于处理图像的设备和方法。根据一方面，使用具有比彩色图像信号的灵敏度更高的灵敏度的辅助图像信号去除彩色图像信号的噪声，使用辅助图像信号的高频分量重建已经去除噪声的彩色图像信号的细节。
文档编号H04N5/217GK101742089SQ20091015038
公开日2010年6月16日 申请日期2009年6月25日 优先权日2008年11月17日
发明者刘永珍, 崔瑗熙, 权宰贤 申请人:三星电子株式会社