专利名称：图像处理设备和方法
技术领域：
本发明涉及一种图像处理设备和方法，更具体地讲，涉及一种使用在低亮度 (luminance)环境下拍摄的图像来产生更清晰的图像的图像处理设备和方法。
背景技术：
随着数字相机的使用的增加，在高亮度环境(诸如室外)以及低亮度环境(诸如 室内或夜晚)下拍摄照片。因此，需要能够在低亮度环境下拍摄更清晰的照片的相机，并且 相机制造商已经竞相开发能够在低亮度环境下拍摄更清晰的照片的数字相机。但是，尽管 对摄影者的能力缺乏进行了补偿以保持相机稳定或者去除相片中的噪声，但是在传统数字 相机中，图像清晰度仍然受到限制。
发明内容
根据本发明的一个总体方面，提供一种图像处理设备，所述图像处理设备包括模 糊核估计器和图像恢复器。模糊核估计器使用第一图像和第二图像估计第一图像的模糊 核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图 像的曝光时间短的曝光时间来获得所述第二图像。图像恢复器使用模糊核产生第二图像的 模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第 二图像以及模糊核来恢复图像。 第一图像可以是从入射光信号中的属于可视区域的色带的光信号检测的图像，第 二图像可以是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外 线的白信号中的至少一种或其组合检测的图像。 模糊核估计器可包括用于执行通道合并的通道合并处理器，其中，通道合并处理
器响应于接收到多通道图像信号将所述多通道图像信号转换为灰度级图像，产生与所述多
通道图像信号相应的各个通道的图像的边缘图像，并且将灰度级图像与边缘图像进行合成
以产生单通道图像，所述通道合并处理器可对第一图像进行通道合并处理，以估计模糊核。 通道合并处理器可通过对以比第一图像的曝光时间短的曝光时间获得的多通道
图像数据执行通道合并，来产生第二图像。 残差图像的信号幅度可小于受到通道合并处理的第一图像的信号幅度。 可通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。 图像恢复器可通过使用模糊核对残差图像执行反巻积来产生各个通道的残差图
像的去模糊图像，并且通过将第二图像与去模糊图像相加来恢复图像。 图像恢复器可基于从第二图像提取的边缘数据执行反巻积。 图像恢复器可使用分配给图像的各个区域的权重来对图像执行反巻积。
图像处理设备还可包括图像获取器，用于获得第一图像和第二图像。 第二图像可以是以比第一图像的感光度高的感光度而获得的图像。 第二图像与第一图像可以是相同场景，并且第二图像可以是从宽带波长的光学信
号获得的图像。 模糊核估计器可包括通道合并处理器，用于在第一图像经受通道合并处理时保 留第一图像的边缘数据；模糊核提取器，从通道合并的第一图像和第二图像提取模糊核。
根据另一方面，提供一种由图像处理设备执行的图像处理方法，所述方法包括获 得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图 像的曝光时间短的曝光时间来获得所述第二图像；使用第一图像和第二图像估计第一图像 的模糊核；使用模糊核产生第二图像的模糊图像；产生第一图像的各个通道的图像和第二 图像的模糊图像之间的第一图像的各个通道的残差图像；使用第二图像、残差图像和模糊 核来恢复图像。 第一图像可以是从入射光信号中的属于可视区域的色带的光信号检测的图像，第 二图像可以是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外 线的白信号中的至少一种或其组合检测的图像。 估计模糊核的步骤可包括对第一图像执行通道合并。执行通道合并的步骤可包 括将第一图像转换为灰度级图像，产生第一图像的各个通道的图像的边缘图像；通过将 灰度级图像与边缘图像进行合成来产生单通道图像。 所述图像处理方法还可包括通过对以比第一图像的曝光时间短的曝光时间获得 的多通道图像数据执行通道合并，来产生第二图像。 产生残差图像的步骤可包括通过从第一图像的各个通道的图像减去第二图像的 模糊图像来产生残差图像。 恢复图像的步骤可包括通过使用模糊核对残差图像执行反巻积来产生残差图像
的去模糊图像；通过将第二图像与去模糊图像相加来恢复图像。
恢复图像的步骤可包括基于从第二图像提取的边缘数据执行反巻积。 根据另一方面，提供一种存储有用于处理图像的程序的计算机可读存储介质，所
述程序包括指令，所述指令使得计算机用于获得具有多通道颜色图像数据的第一图像以
及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第
二图像，使用第一图像和第二图像估计第一图像的模糊核；使用模糊内产生第二图像的模
糊图像；产生第一图像的各个通道的图像和第二图像的模糊图像之间的第一图像的各个通
道的残差图像；使用第二图像、残差图像和模糊核来恢复图像。 用于产生残差图像的指令可包括用于通过从第一图像的各个通道的图像减去第 二图像的模糊图像来产生残差图像的指令。 其它特点和方面从下面详细的描述、附图和权利要求将是清楚的。
图1是示出示例性的图像处理设备的框图。
图2是示出示例性的图像处理方法的流程图。
图3是示出示例性的模糊核估计处理的流程图。
图4是示出示例性的通道合并处理的流程图。
图5是示出示例性的图像恢复处理的流程图。 贯穿整个附图和详细描述，除非另有指定，相同的附图标号应被理解为表示相同 的部件、特征和结构。为了清楚、例证和方便，这些部件的相对尺寸和绘制可被夸大。
具体实施例方式
提供下面的详细描述以帮助读者获得对这里所描述的方法、设备和/或系统的全 面理解。因此，这里所描述的系统、设备和/或方法的各种变化、修改以及等同物将被建议 给本领域技术人员。另外，为了更加清楚和简明，可省略对公知的功能和结构的描述。
图1示出了示例性的图像处理设备100。 图像处理设备100包括模糊核(blur kernel)估计器110和图像恢复器120。图 像处理设备100通过使用第一图像(长曝光图像)和第二图像(短曝光图像)，即，使用第 一图像和第二图像(第二图像以较短的曝光时间被获得)，在例如低亮度环境(诸如室内或 夜晚)下恢复与在高亮度环境(诸如室外或白天)下拍摄的图像在明度(brightness)和 清晰度方面类似的图像。 模糊核估计器110使用第一图像和第二图像估计模糊核。第一图像包括多通道图 像数据，该多通道图像数据包括颜色数据。第二图像包括单通道图像数据，以比第一图像的 曝光时间短的曝光时间来获得所述第二图像。可按照比第一图像的感光度(sensitivity) 高的感光度来获得第二图像。 作为一个示例，可从入射光信号中的属于可视区域的颜色波带的光信号检测第一 图像。可从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的 白信号中的至少一种或其组合检测第二图像。第二图像与第一图像是相同场景，以比第一 图像的曝光时间短的曝光时间来捕获第二图像，并且可从宽带波长的光学信号获得第二图 像，其中，所述光学信号包括精细的对比度数据和丰富的纹理数据。 图像处理设备100还可包括图像获取器(未示出)，图像获取器获得第一图像和第 二图像。可在图像获取器中一体地形成用于获得第一图像的单元和用于获得第二图像的单 元，或者可在图像获取器中分离地形成用于获得第一图像的单元和用于获得第二图像的单 元。图像获取器可获得第一图像和第二图像，第一图像包括相同场景的颜色数据，以比第一 图像的曝光时间短的曝光时间来捕获第二图像，并且图像获取器可按照各种结构被实现。
为了获得第一图像和第二图像，可使用具有不同的光接收特性的相机。例如，可使 用检测颜色波长带的信号的光学相机以获得第一图像，并且可使用选择性地或共同地检测 整个可视区域的信号和红外区域的信号的宽带相机以获得第二图像。 参照图1，模糊核估计器110可包括通道合并(channel unification)处理 器112，用于在第一图像被进行通道合并处理时保留第一图像的边缘数据；模糊核提取器 114，从通道合并的第一图像和第二图像提取模糊核。 响应于正被接收的多个通道的图像信号，通道合并处理器112将所述多个通道的
图像信号转换为灰度级图像，并产生各个通道的图像的边缘图像。然后，通道合并处理器
112可通过将灰度级图像与各个通道的边缘图像合成来产生单通道图像。 如图1中所示，第二图像可被输入到包括通道合并处理器112的模糊核估计器110。然而，在以比第一图像的曝光时间短的曝光时间获得的多通道图像数据被输入到通
道合并处理器112的情况下，可通过以与第一图像相同的方式执行通道合并来产生第二图
像。产生的第二图像可被输入到模糊核提取器114并用于模糊核提取。 模糊核提取器114从通道合并的第一图像和第二图像提取模糊核。 第一图像可由下面的等式1表示，第二图像可由下面的等式2表示。[等式1] <formula>formula see original document page 7</formula>
这里，L表示通道合并的第一图像，I表示高清晰度图像，k表示模糊核(即，基于 振动的点扩散函数(PSF))， 0表示巻积算子。
[等式2]
Is = I+n Is表示第二图像，n表示噪声。因此，通道合并的第一图像和去除了噪声的第二图 像被代入等式l，并且可使用各种已知或即将已知的方法计算模糊核k。例如，傅里叶变换 可用于该计算。 下面将描述图像恢复器120的操作。 通常，为了恢复高清晰度图像I，使用模糊核k和输入图像^来执行基于例如 Richardson-Lucy算法等的反巻积(deconvolution)。但是，图像恢复器120通过从第一图 像的各个通道的图像减去使用估计的模糊核产生的第二图像的模糊图像，来产生各个通道 的残差图像。图像恢复器120使用估计的模糊核对各个通道的残差图像执行反巻积，以产 生去模糊的残差图像的恢复图像。 当如上所述对残差图像执行反巻积时，由于残差图像的信号幅度小于输入图像L 的信号幅度，所以可减小反巻积导致的振铃效应(ringing effect)。 因此，图像恢复器120使用估计的模糊核产生第二图像的模糊图像，并使用模糊 核和残差图像恢复图像，所述残差图像是第一图像的各个通道的图像与第二图像的模糊图 像之间的残差图像。图像恢复器120使用估计的模糊核，对第一图像的各个通道的图像与 第二图像的模糊图像之间的残差图像执行基于例如Richardson-Lucy算法等的反巻积，以 产生残差图像的恢复图像。然后，通过将第二图像与去模糊的残差图像相加，可恢复高清晰 度图像。 图像恢复器120可基于从第二图像的模糊图像提取的边缘数据执行反巻积。随着 迭代方法(诸如Richardson-Lucy方法)中迭代次数的增加，振铃效应也会增大。另外，振 铃的幅度可在图像的边缘区域增大。因此，图像恢复器120可使用分配给图像的各个区域 的权重来执行反巻积，从而在边缘区域发生较少的反巻积效应，并在平坦区域中执行普通 的反巻积。 根据上述示例，图像处理设备可获得高清晰度彩色图像，即，可恢复这样的图像， 该图像具有在低亮度环境下拍摄的长曝光图像的颜色数据以及短曝光图像的详细数据，并 且该图像与在高亮度环境下拍摄的图像在明度和清晰度方面具有相同或近似的明度和清 晰度。 图2是示出示例性的图像处理方法的流程图。可由上述图像处理设备执行该方 法。
在操作210，获得包括多通道颜色图像数据的第一图像。在操作220，获得包括单 通道图像数据的第二图像，其中，以比第一图像的曝光时间短的曝光时间获得所述第二图 像。可按照任何次序或同时获得第一图像和第二图像。 在操作230，使用第一图像和第二图像来估计第一图像的模糊核。在操作240，通 过将模糊核应用于第二图像来产生模糊的第二图像。 在操作250，通过从第一图像的各个通道的图像中减去模糊的第二图像，来产生各 个通道的残差图像。在操作260，使用第二图像、各个通道的残差图像以及模糊核来恢复图像。 图3是示出示例性的模糊核估计处理的流程图。 在操作310，接收包括多通道颜色图像数据的第一图像。在操作320，获得包括单
通道图像数据的第二图像，其中，以比第一图像的曝光时间短的曝光时间获得所述第二图
像。在操作330，对第一图像执行通道合并。将参照图4描述通道合并处理。 在操作340，从第二图像去除噪声，其中，以较短曝光时间拍摄第二图像，因此第二
图像具有较多噪声。 在操作350，使用通道合并的第一图像和去除了噪声的第二图像来估计模糊核。可
通过将估计的模糊核应用于去除了噪声的第二图像来获得模糊的第二图像。模糊的第二图
像用于在图像恢复处理中产生残差图像。 图4是示出示例性的通道合并处理的流程图。 在操作410，接收包括多通道颜色图像数据的第一图像。在操作420，第一图像被 转换为单通道灰度级图像。 在操作430，产生第一图像的各个通道的边缘图像。例如，当第一图像是红绿蓝 (RGB)图像时，获得R通道、G通道和B通道的边缘图像。可使用各种已知或即将已知的方 法提取并产生边缘图像。例如，可使用已知的边缘算子(诸如齐次(homogeneity)算子、差 分算子和罗盘梯度(compass gradient)算子)提取边缘图像。在操作440，通过例如高斯 模糊等对各个通道的边缘图像进行平滑，以去除噪声。 在操作450，将单通道灰度级图像与各个通道的平滑后的边缘图像进行合成。例 如，当第一图像是RGB图像时，将灰度级图像与R通道图像、G通道图像和B通道图像的平 滑后的边缘图像进行合成。作为示例，可通过对这四种图像进行平均化来对这四种图像进 行合成。可根据取决于设备的分辨率的数据格式对合成图像进行归一化处理。
根据上述示例，通过使用各个通道的边缘图像以及包括图像的详细数据(例如， 特定区域明度数据)的灰度级图像，可产生单通道图像，在单通道图像中保留了图像的详 细数据以及各个通道的边缘数据。因此，可使用单通道图像估计精确的模糊核。
图5是示出示例性的图像恢复处理的流程图。 在操作510，接收包括多通道颜色图像数据的第一图像。在操作520，获得包括单 通道图像数据的第二图像，所述第二图像以比第一图像的曝光时间短的曝光时间被获得。
在操作530，使用第二图像和估计的模糊核产生模糊的第二图像。在操作550，通 过从第一图像的各个通道的图像减去模糊的第二图像，来产生各个通道的残差图像。
在操作560，通过使用估计的模糊核对各个通道的各个残差图像执行反巻积，来产 生各个通道的去模糊图像。在操作540从第二图像获得边缘图像；在操作560，可基于第二图像的边缘图像设置特定区域的权重，并且在反巻积操作中可根据设置的权重执行反巻 积。因此，可减小在恢复结果中发生的振铃效应。 在操作570，可通过将获得的第二图像与各个通道的残差图像的去模糊图像相加， 根据通道来产生恢复的图像。 根据上述示例，可使用在低亮度环境下拍摄的较长曝光的图像和较短曝光的图像 来恢复图像，恢复的图像与在高亮度环境下拍摄的图像在明度和清晰度方面相同或近似。
为了产生较高清晰度的图像，可使用具有多通道颜色数据的第一图像和具有单通 道图像数据的第二图像，所述第二图像以比第一图像的曝光时间短的曝光时间被获得。第 二图像具有比第一图像的感光度高的感光度。另外，可在保留第一图像的边缘数据的同时 对第一图像执行通道合并，并且通道合并的第一图像可用于模糊核估计。因此，可提高模糊 核估计的精确性。 上述方法可被记录、存储或固定在一个或多个包括程序指令的计算机可读介质 上，程序指令被计算机执行，以使得处理器运行或执行程序指令。所述介质可包括独立于程 序指令或与程序指令结合的数据文件、数据结构等。计算机可读介质的示例包括磁介质， 诸如硬盘、软盘和磁带；光学介质，诸如CD ROM盘和DVD ;磁光介质，诸如光盘；被特定配置 为存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随即存取存储器(RAM)、闪速 存储器等。程序指令的示例包括诸如由编译器产生的机器代码；包含高级代码的文件，可 使用解译器由计算机执行高级代码。上述硬件装置可被配置为用作一个或多个软件模块， 以执行上述操作或方法，反之亦然。计算机可读介质可分布在通过网络连接的计算机系统 中，计算机可读代码可按照分布式方式被存储和执行。 上面已经描述了一些示例性实施例。然而，应该理解，可进行各种修改。例如，如 果所述技术以不同的次序被执行，和/或如果所述系统、架构、装置或电路中的组件以不同 的方式被组合和/或被其它组件或其等同物替换或补充，则也可实现适当的结果。因此，其 它实施方式落入权利要求的范围内。
权利要求
一种图像处理设备，包括模糊核估计器，使用第一图像和第二图像估计第一图像的模糊核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像；图像恢复器，使用模糊核产生第二图像的模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第二图像以及模糊核来恢复图像。
2. 根据权利要求1所述的图像处理设备，其中第一图像是从入射光信号中的属于可视区域的颜色波带的光信号检测的图像， 第二图像是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包 括红 外线的白信号中的至少一种或其组合检测的图像。
3. 根据权利要求1所述的图像处理设备，其中模糊核估计器包括用于执行通道合并的通道合并处理器，其中，通道合并处理器响应 于接收到多通道图像信号将所述多通道图像信号转换为灰度级图像，产生与所述多通道图 像信号相应的各个通道的图像的边缘图像，并且将灰度级图像与边缘图像进行合成以产生 单通道图像，通道合并处理器对第一图像进行通道合并处理，以估计模糊核。
4. 根据权利要求3所述的图像处理设备，其中，通道合并处理器通过对以比第一图像 的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
5. 根据权利要求3所述的图像处理设备，其中，残差图像的信号幅度小于经受通道合 并处理的第一图像的信号幅度。
6. 根据权利要求1所述的图像处理设备，其中，通过从第一图像的各个通道的图像减 去第二图像的模糊图像来产生残差图像。
7. 根据权利要求6所述的图像处理设备，其中，图像恢复器通过使用模糊核对残差图 像执行反巻积来产生各个通道的残差图像的去模糊图像，并且通过将第二图像与去模糊图 像相加来恢复图像。
8. 根据权利要求7所述的图像处理设备，其中，图像恢复器基于从第二图像提取的边 缘数据执行反巻积。
9. 根据权利要求8所述的图像处理设备，其中，图像恢复器使用分配给图像的各个区 域的权重来对图像执行反巻积。
10. 根据权利要求1所述的图像处理设备，还包括图像获取器，用于获得第一图像和第二图像。
11. 根据权利要求1所述的图像处理设备，其中，第二图像是以比第一图像的感光度高 的感光度获得的图像。
12. 根据权利要求l所述的图像处理设备，其中，第二图像与第一图像是相同场景，并 且第二图像是从宽带波长的光学信号获得的图像。
13. 根据权利要求1所述的图像处理设备，其中，模糊核估计器包括 通道合并处理器，用于在第一图像经受通道合并处理时保留第一图像的边缘数据； 模糊核提取器，用于从通道合并的第一图像和第二图像提取模糊核。
14. 一种图像处理方法，所述方法包括获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像；使用第一图像和第二图像估计第一图像的模糊核；使用模糊核产生第二图像的模糊图像；产生第一图像的各个通道的图像与第二图像的模糊图像之间的第一图像的各个通道的残差图像；使用第二图像、残差图像和模糊核来恢复图像。
15. 根据权利要求14所述的图像处理方法，其中第一图像是从入射光信号中的属于可视区域的颜色波带的光信号检测的图像，第二图像是从入射光信号中的属于补色波长带的光信号、红外信号、白信号和包括红外线的白信号中的至少一种或其组合检测的图像。
16. 根据权利要求14所述的图像处理方法，其中估计模糊核的步骤包括对第一图像执行通道合并，执行通道合并的步骤包括将第一图像转换为灰度级图像，产生第一图像的各个通道的图像的边缘图像；通过将灰度级图像与边缘图像进行合成来产生单通道图像。
17. 根据权利要求16所述的图像处理方法，还包括通过对以比第一图像的曝光时间短的曝光时间获得的多通道图像数据执行通道合并，来产生第二图像。
18. 根据权利要求14所述的图像处理方法，其中，产生残差图像的步骤包括通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像。
19. 根据权利要求18所述的图像处理方法，其中，恢复图像的步骤包括通过使用模糊核对残差图像执行反巻积来产生残差图像的去模糊图像；通过将第二图像与去模糊图像相加来恢复图像。
20. 根据权利要求19所述的图像处理方法，其中，恢复图像的步骤包括基于从第二图像提取的边缘数据执行反巻积。
21. —种存储有用于处理图像的程序的计算机可读存储介质，所述程序包括指令，所述指令使得计算机用于获得具有多通道颜色图像数据的第一图像以及具有单通道图像数据的第二图像，以比第一图像的曝光时间短的曝光时间来获得所述第二图像，使用第一图像和第二图像估计第一图像的模糊核；使用模糊内产生第二图像的模糊图像；产生第一图像的各个通道的图像与第二图像的模糊图像之间的第一图像的各个通道的残差图像；使用第二图像、残差图像和模糊核来恢复图像。
22. 根据权利要求21所述的计算机可读存储介质，其中，用于产生残差图像的指令包括用于通过从第一图像的各个通道的图像减去第二图像的模糊图像来产生残差图像的指令。
全文摘要
本发明提供一种图像处理设备和方法。所述图像处理设备包括模糊核估计器和图像恢复器。模糊核估计器使用第一图像和第二图像估计第一图像的模糊核，其中，第一图像包括多通道颜色图像数据，第二图像包括单通道图像数据，以比第一图像的曝光时间短的曝光时间来获得所述第二图像。图像恢复器使用模糊核产生第二图像的模糊图像，并使用第一图像的各个通道的图像与第二图像的模糊图像之间的残差图像、第二图像以及模糊核来恢复图像。
文档编号H04N5/235GK101742123SQ20091021084
公开日2010年6月16日 申请日期2009年11月11日 优先权日2008年11月19日
发明者李硕, 魏浩千 申请人:三星电子株式会社