专利名称：获得图像的设备和方法以及处理图像的设备和方法
技术领域：
本发明涉及一种获得和处理图像的设备和方法，更具体地，涉及一种通过有效地处理在低光照等级获得的图像来获得高质量彩色图像的设备和方法。
背景技术：
随着数字相机的使用的增多，有更多机会在低光照情况(诸如，弱光的室内或夜晚)下进行拍摄。此外，相机用户对于能够在甚至是低光照条件下获得清晰的图像的功能的需求增加。因此，相机制造商竟相研究和开发在低光照下具有优越性能的数字相机。然而，由于稳定由拍摄者的手抖或由去除拍摄的图像的噪声造成的不稳定图像会限制得到清晰的图像。
发明内容
提出本发明以克服上述问题，其目的在于提供一种获得互相对齐的长曝光彩色图像和短曝光参考图像的设备和方法，以不改变相机的现有结构而在低光照下恢复高质量的更清晰的彩色图像。
本发明还提供一种处理图像的设备和方法，以通过使用互相对齐的长曝光彩色图像和短曝光参考图像获得清晰的彩色图像。
本发明公开了一种图像获得设备，包括传感器，通过使用彩色滤光片检测像素阵列值，所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素；曝光控制器，控制彩色像素和参考像素的曝光时间；图像产生器，从检测的像素阵列值中产生长曝光彩
色图像信号和短曝光参考图像信号，所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。本发明还公开了一种获得图像的方法，该方法包括通过控制用于获得
彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的
曝光时间来获得像素阵列值，所述彩色像素和参考像素包括在彩色滤光片中；以及通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号，所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
本发明还公开了一种图像处理设备，包括图像获得单元，通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号；函数估计单元，通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数；图像恢复单元，通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复的图像信号。
本发明还公开了一种处理图像的方法，该方法包括通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号；通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数；以及通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复的图像信号。
被包括以提供对本发明进一步理解并合并于此的附图是本说明书的一部分，示出本发明的示例性实施例，并与本发明的描述一起用于解释本发明的各个方面。
图1是示出根据本发明实施例的图像获得设备的框图；图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置；
图3A和图3B是根据本发明实施解释例如何控制每个彩色滤光片的曝光时间的示图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同分辨率的长曝光彩色图像和短曝光单色图像；图5是根据本发明实施例的图像处理设备的框图；图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流程图7是根据本发明实施例的获得图像的方法的流程图；图8是根据本发明实施例的处理图像的方法的流程图；图9示出依照本发明的根据获得和处理图像的方法获得的图像。
具体实施例方式
以下参照示出本发明的示例性实施例的附图来更全面地描述本发明。在以下对本发明的描述中，当认为描述模糊本发明的观点时，将省略对该领域的技术人员共知的相关功能或结构的详细描述。考虑本发明中的组件的功能来定义在此使用的术语，可根据使用者或操作者的意图或习惯改变所述术语。
图1是示出根据本发明实施例的图像获得设备100的框图。参照图1，图像获得设备100包括传感器110、曝光控制器120和图像产生器130。
可用以下等式1表示将图像输入到图像获得设备(诸如，数字相机)。
等式l
B=I K
这里，B表示输入图像，I表示高质量图像，K指示模糊内核(blur kernel )，即是，手抖的点扩展函数(PSF), 0表示巻积操作。因此，需要准确估计模糊内核以获得高质量图像。
图像获得设备100期望获得作为完全对齐的图像的长曝光图像和短曝光图像。通过拍摄需要准确估计手抖的PSF的相同场景来获得长曝光图像和短曝光图像。众所周知，如果用于PSF估计的获得的图像信号没有被正确对齐，则PSF估计的准确度会大幅地降低。
传感器110通过获得经由形成彩色滤光片的像素发送的作为彩色信息的像素阵列值来感测图像。传感器110包括感测图像的图像传感器，诸如电荷耦合器(CCD)或互补金属氧化物半导体(CMOS)。彩色滤光片可如典型的数字相机一样被放置在图像传感器的光学元件的前方。
根据本发明的当前实施例，彩色滤光片可以是常规使用的彩色滤光片。例如，包括在彩色滤光片中的彩色像素包括红(R)像素、绿像素(G)和蓝像素(B)。通常，由彩色滤光片获得的像素阵列值仅用于获得彩色图像。
然而，在本发明中，控制用于包括在彩色滤光片中的像素的曝光时间以
7获得互相正确对齐的彩色图像和参考图像。参考图像是被参考用于估计手抖
(以下称为"手抖函数")的PSF的图像。
通过短曝光创建参考图像，从而将被用于获得参考图像的参考像素可以是能够发送具有高感光度的光的像素。例如，参考像素可以是黑和白(W)像素或绿(G)像素。然而，只要手抖函数可被有效地估计，彩色滤光片的类型或系统，或形成彩色滤光片的像素的颜色都可以以不同方式被改变。
因此，通过使用由R、 G、 B和W像素形成的彩色滤光片的阵列，传感器110可获得三通道长曝光彩色像素阵列值和单通道短曝光单色阵列值。
曝光控制器120控制传感器110的彩色像素和参考像素的曝光时间。曝光控制器120同步彩色像素和参考像素的曝光开始时间，并控制彩色像素的曝光时间长于参考像素的曝光时间。在这种情况下，由于在实质上短时间内获得参考图像，故曝光控制器120可控制传感器IIO感测具有高感光度的参考图像。
此外，曝光控制器120可控制传感器110，故在保持曝光彩色像素的同时，可重复发生参考像素的短曝光。可通过研究通过重复参考像素的短曝光获得的参考图像的改变的信息来估计手抖的轨迹，关于估计的手抖的轨迹的信息可被用作手抖函数的初始信息。
图像产生器130从感测的像素阵列值产生互相正确对齐的长曝光彩色图像和短曝光参考图像。才艮据本发明的当前实施例，图像产生器130对通过彩色像素和参考像素检测的像素阵列值执行插值，并产生彩色像素的各个颜色
的长曝光参考图像信号和短曝光图像信号。
如上所述，根据本发明的当前实施例，由于可获得互相完全对齐且具有相同开始时间的长曝光彩色图像和短曝光参考图像，故从开始就避免了对齐错误，从而以后不需执行对齐图像的附加过程。
图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置。
图2A示出包括R、 G、 B和W像素的彩色滤光片阵列。在图2A中，R、G和B像素被用作彩色像素，W像素被用作参考像素。
图2B示出包括R、 G和B像素的彩色滤光片阵列。在图2B中，R、 Gl和B像素被用作彩色像素，G2像素被用作参考像素。此外，在图2B中，由于Gl像素被用作彩色像素且G2像素被用作参考像素，故分别示出都是G像素的Gl和G2像素。
图3A和图3B是根据本发明实施例解释如何控制每个彩色滤光片的曝光时间的示图。
在图3A和图3B中，水平轴表示时间。如图3A所示，曝光控制器120将彩色像素(R、 G和B像素)和参考像素(W或G2像素)的曝光开始时间彼此同步，并控制彩色像素(R、 G和B像素)的曝光时间长于参考像素(W或G2像素)的曝光时间。
此外，为了获得如图3B中所示的手抖函数的初始信息，曝光控制器120可控制传感器110使得在曝光彩色像素的同时重复发生参考像素的短曝光。
图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同清晰度的长曝光彩色图像和短曝光单色图像。
如图4所示，拜尔型(Bayer-type)彩色滤光片可通过将从彩色像素阵列410获得的像素阵列值插值来产生三通道长曝光RGB彩色图像420和单通道黑白图像430。
图5是^f艮据本发明实施例的图像处理设备500的框图。
图像处理设备500包括图像获得单元510、函数估计单元520和图像恢复单元530。
图像获得单元510具有与图1中的图像获得设备100的结构相应的结构。图像获得单元510具有包括用于获得彩色图像的彩色像素和用于获得用于估计手抖函数的参考图像的参考像素的彩色滤光片，控制彩色像素的曝光时间和参考像素的曝光时间以获得互相正确对齐的长曝光彩色图像信号和短曝光参考图像信号。
图像获得单元510同步彩色像素和参考像素的曝光开始时间，并控制彩色像素的曝光时间长于参考像素的曝光时间，以获得长曝光彩色图像信号和短曝光参考图像信号。
函数估计单元520使用长曝光彩色图像信号和短曝光参考图像信号估计手抖函数。 ，
根据本发明的当前实施例，可通过最小化对象函数的等式(诸如，以下满足1^>0且5>,=1的等式2)计算手抖函数。
等式2 ''
A:* = argmin|5 _ / 《||2 +剩|2这里，2J&f是用于稳定解的Tikhonov正则化项，且参数入可被固定为 3。然而，Tikhonov正则化项仅是示例，能够表示手抖函数的特点的任何其它 项也能够被用作为正则化项。此外，参数可以是固定值，但是也可以是在优 化期间在每次重复时改变的值。
根据本发明的当前实施例，表示长曝光彩色图像信号的值取代B，表示 短曝光参考图像信号的值取代I,从而可估计手抖函数。
同时，根据本发明的当前实施例，在曝光彩色像素的同时，通过重复发 生参考像素的短曝光来获得参考图像，关于参考图像的信息被用作手抖函数 的初始信息，从而可更准确和快速地估计手抖函数。
为此，图像获得单元510通过在曝光彩色像素的同时重复参考像素的短 曝光来收集多个短曝光参考图像信号。随后，由于获得已经以预定时间间隔 拍摄的参考图像的信号，故函数估计单元520通过使用收集的参考图像信号 根据运动估计方法来追踪手抖的轨迹。追踪的手抖的轨迹被用作手抖函数的 初始信息，从而可更准确和快速地估计手抖函凄t。
图像恢复单元530使用估计的手抖函数对通过图像获得单元510获得的 长曝光彩色图像信号执行去巻积，并产生恢复图像信号。
此外，根据本发明的当前实施例，可对用于估计手抖函数的长曝光彩色 图像信号和短曝光参考图像信号执行以下处理。
首先，函数估计单元520减小长曝光彩色图傳_信号和短曝光参考图像信 号的噪声。随后，函数估计单元520将减噪的长曝光彩色图像信号转换为长 曝光单通道图像信号，以统一用于估计手抖函数的图像信号的通道数。
可使用各种方法统一图像信号的通道数。例如，在长曝光彩色图像中， 可使用三个通道中的一个(例如，红、绿和蓝)的图像，或RGB图像的平均 图像可被产生为单通道图像。或者，RGB图像可被转换为灰度图以产生单通 道图像。
接下来，函凄t估计单元520通过使用转换的长曝光单通道图像信号和减 噪的短曝光参考图像信号估计手抖函数。
图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流 程图。在图6中，对通过使用如图4所示的RGBW像素阵列产生的图像执行 处理。根据本发明的当前实施例，通过使用RGBW像素阵列获得的单色(W) 像素阵列和RGB像素阵列互相完全对齐。将从单色像素阵列获得的像素阵列值插值以产生短曝光黑白图像
img—white—SET,即是，参考图像(操作S610 )。随后，将从RGB像素阵列 获得的像素阵列值插值以产生长曝光彩色图像imgjgb—LET (操作S620)。
减小单通道黑白图像的噪声以获得减噪的短曝光黑白图像 img—white_SET_NR (操作S630 )。此外，同样通过减小长曝光彩色图像 img—rgb—LET的噪声获得减噪的长曝光彩色图像img—rgb—LET—NR (操作 S640)。在这种情况中，考虑到短曝光黑白图像具有短曝光时间，从而具有比 长曝光彩色图像更多的噪声的事实，对短曝光黑白图像使用噪声减小滤波器。
由于长曝光彩色图像img—rgb—LET—NR具有三通道且短曝光黑白图像 img—white—SET—NR具有单通道，故长曝光彩色图像img_rgb—LET一NR和短 曝光黑白图像img—white一SET一NR需要具有相同的通道数以估计手抖的PSF， 即，手抖函数。为此，在长曝光彩色图像img—rgb一LET—NR上执行灰度转换 以产生灰度图象img—gray—LET (操作S650 )。
随后，使用减噪的短曝光黑白图像img—white—SET—NR和灰度图象 img—gray—LET估计手抖的PSF (操作S660 )。使用估计的PSF和已经获得的 长曝光彩色图像img—rgb—LET—NR产生恢复的彩色图像(或恢复的RGB图像) (操作S670 )。
图7是根据本发明实施例的获得图像的方法的流程图。 通过控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间获得像 素阵列值(操作S710)。在这种情况下，彩色像素用于获得彩色图像且参考 像素用于获得参考图像以进行手抖函数估计。为了在操作S710中控制曝光时 间，使彩色像素和参考像素的曝光开始时间彼此同步，且彩色像素的曝光时 间被设置为长于参考像素的曝光时间。
通过使用获得的像素阵列值获得互相正确对齐的长曝光彩色图像信号和 短曝光参考图像信号(操作S720)。根据本发明的当前实施例，在操作S720， 可对从彩色像素和参考像素获得的像素阵列值执行插值，以产生彩色像素的 各个彩色的长曝光图像信号和短曝光图像信号。
图8是根据本发明实施例的处理图像的方法的流程图。 控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间以获得互相 正确对齐的长曝光彩色图像信号和短曝光参考图像信号(操作S810)。在这 种情况中，彩色像素用于获得彩色图像且参考像素用于获得参考图像以进行
ii手抖函数估计。此外，使彩色像素和参考像素的曝光开始时间彼此同步，且 彩色像素的曝光时间被设置为长于参考像素的曝光时间。
通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数
(操作S820 )。
通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积以产生恢复 的图像信号(操作S830)。
在操作S810，在曝光彩色像素的同时，通过重复参考像素的短曝光来收 集多个短曝光参考图像信号。随后，在操作S820，使用获得的参考图像信号 来追踪手抖的轨迹，所述轨迹信息可被用作手抖函数的初始信息。因此，可 更准确和快速地估计手抖函数。
在操作S820,长曝光彩色图像信号和短曝光参考图像信号的噪声被减小。 为了统一长曝光彩色图像信号和短曝光参考图像信号的通道数，将减噪的长 曝光彩色图像信号转换为长曝光单通道图像信号。随后，转换的长曝光单通 道图像信号和减噪的短曝光参考图像信号用于估计手抖函数。
图9示出依照本发明的根据获得和处理图像的方法获得的图像。
图像910是高感光度短曝光黑白图像，图像920是低感光度长曝光彩色 图像(图9中用黑白示出)。如果具有对齐错误，则不能够进行准确的PSF 估计，这会引起严重的伪影(artifact),致使如图像940的低质量图像恢复。
然而，根据本发明的当前实施例，当使用高感光度短曝光黑白图像和低 感光度彩色图像时，可解决由于对齐错误引起的手抖函数的不准确估计的问 题。
当比较通过根据本发明的图像处理方法的恢复的彩色图像930与通过使 用不准确的手抖函数恢复的彩色图像940时，显而易见地，根据本发明恢复 的图像930比图像940具有更高的质量。
根据本发明，控制包括在彩色滤光片中的彩色像素和参考像素的曝光时 间，从而具有相同图像获得开始时间的长曝光彩色图像信号和短曝光参考图 像信号互相完全对齐。使用所述长曝光彩色图像信号和短曝光参考图像信号， 从根本上避免了对齐错误，从而能够进行手抖函数的准确估计。
此外，通过使用根据本发明估计的手抖函数，可恢复清晰的彩色图像。 根据本发明，处理图像的设备和方法可用于在夜晚拍摄景色、实施夜晚监控、 拍摄室内场景等。本领域的技术人员应该理解在不脱离本发明的精神和范围的情况下， 可以对本发明进行各种修改和改变。因此，本发明覆盖提供的这些本发明的 修改和改变，该修改和改变落入附加权利要求和其同等物的范围内。
权利要求
1、一种图像获得设备，包括传感器，通过使用彩色滤光片检测像素阵列值，所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素；曝光控制器，控制彩色像素和参考像素的曝光时间；和图像产生器，从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号，所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
2、 如权利要求1所述的图像获得设备，其中，曝光控制器同步彩色像素和参考像素的曝光开始时间，并控制彩色像素的曝光时间长于参考像素的曝光时间。
3、 如权利要求2所述的图像获得设备，其中，为了获得手抖函数的初始信息，曝光控制器控制传感器在曝光彩色像素的同时，重复发生参考像素的短曝光。
4、 如权利要求1所述的图像获得设备，其中，图像产生器对通过彩色像素和参考像素检测的像素阵列值执行插值，从而产生彩色像素的各个颜色的长曝光图像信号和短曝光图像信号。
5、 一种获得图像的方法，该方法包括通过控制用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的曝光时间来获得像素阵列值，所述彩色像素和参考像素包括在彩色滤光片中；以及通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号，所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
6、 如权利要求5所述的方法，其中，在曝光时间的控制步骤中，彩色像素和参考像素的曝光开始时间彼此同步，且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
7、 如权利要求6所述的方法，其中，为了获得手抖函数的初始信息，在曝光时间的控制步骤中，在曝光彩色像素的同时，控制参考像素的曝光时间，从而重复发生参考像素的短曝光。
8、 如权利要求5所述的方法，其中，在图像信号的产生步骤中，对通过彩色像素和参考像素检测的像素阵列值执行插值，从而产生彩色像素的各个 颜色的长曝光图像信号和短曝光图像信号。
9、 一种图像处理设备，包括图像获得单元，通过控制包括用于获得彩色图像的彩色像素和用于获得 用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互 相对齐的长曝光彩色图像信号和短曝光参考图像信号；函数估计单元，通过使用长曝光彩色图像信号和短曝光参考图像信号来 估计手抖函数；和图像恢复单元，通过使用估计的手抖函数对长曝光彩色图像信号执行去 巻积来产生恢复的图像信号。
10、 如权利要求9所述的图像处理设备，其中，图像获得单元通过同步 彩色像素和参考像素的曝光开始时间并控制彩色像素的曝光时间长于参考像 素的曝光时间来获得长曝光彩色图像信号和短曝光参考图像信号。
11、 如权利要求IO所述的图像处理设备，其中，图像获得单元通过在曝 光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参考图 像信号，函数估计单元通过^f吏用收集的参考图像信号来追踪手抖的轨迹来获 得信息，并使用获得的信息作为手抖函数的初始信息。
12、 如权利要求9所述的图像处理设备，其中，函数估计单元减小长曝 光彩色图像信号和短曝光参考图像信号的噪声，将减噪的长曝光彩色图像信 号转换为长曝光单通道图像信号，并通过使用转换的长曝光单通道图像信号 和减噪的短曝光参考图像信号来估计手抖函数。
13、 一种处理图^f象的方法，该方法包括通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估 计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光 彩色图像信号和短曝光参考图像信号；通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数；以及通过使用估计的手抖函数对长曝光彩色图像信号执行去巻积来产生恢复 的图像信号。
14、 如权利要求13所述的方法，其中，在获得图像信号的步骤中，彩色 像素和参考像素的曝光开始时间彼此同步，且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
15、 如权利要求14所述的方法，其中，在获得图像信号的步骤中，通过 在曝光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参 考图像信号，通过使用收集的参考图像信号来追踪手抖的轨迹来获得信息， 并使用获得的信息作为手抖函数的初始信息。
16、 如权利要求13所述的方法，其中，手抖函数的估计的步骤包括 减小长曝光彩色图l象信号和短曝光参考图傳_信号的噪声； 将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号；以及 通过使用转换的长曝光单通道图像信号和减噪的短曝光参考图像信号估计手抖函数。
全文摘要
提供了一种获得图像和设备和方法以及处理图像的设备和方法。所述图像获得设备包括传感器，通过使用彩色滤光片检测像素阵列值，所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素；曝光控制器，控制彩色像素和参考像素的曝光时间；图像产生器，从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号，所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。因此，能够进行手抖函数的准确估计，从而实现高质量彩色图像恢复。
文档编号H04N9/04GK101494794SQ20081018692
公开日2009年7月29日 申请日期2008年12月10日 优先权日2008年1月22日
发明者吴炫和, 姜东求, 李性德, 魏浩千 申请人:三星电子株式会社;三星电机株式会社