提高图像的动态范围的方法和设备的制作方法

专利名称：提高图像的动态范围的方法和设备的制作方法
提高图像的动态范围的方法和设备本申请要求于2007年6月28日提交到韩国知识产权局的第 10-2007-0064613号韩国专利申请的优先权，该申请的公开通过引用全部包含 于此。技术领域与本发明一致的方法和设备涉及提高图像的动态范围，更具体地讲，涉 及通过。
背景技术：
图像捕获装置具有有限的动态范围，因此不能捕获呈现在自然景象中的 全部光照范围。当图像具有有限的动态范围时，图像的像素可处于图像的直 方图的暗侧或亮侧。在此情况下，即使在具有图像的不同亮度的部分中，图 像的较暗区域可能具有窄的动态范围，或者光可能在较亮区域饱和，从而图 像中的对象难以被识别。在极端的情况下，即使当在图像中存在一个对象时，由于有限的动态范围该对象也不能被看见。数字图像捕获装置通过将传感器单元采集的光转换为电信号来获得图 像。数字图像捕获装置通常原样捕获自然景象中的图像，并且也可根据用于 采集光的累积时间长度(duration of integration time )获得比实际图像暗或亮 的图像。换句话说，当数字图像捕获装置长时间采集光时，可获得更亮的图 像。因此，可假设较暗区域具有较短的累积时间，较亮区域具有较长的累积 时间。图1示出将被捕获的自然景象的实际动态范围102以及图像捕获装置的 动态范围112。动态范围102是将被捕获的自然景象的实际动态范围，动态范围112是 图像捕获装置的动态范围。图像捕获装置具有有限的动态范围，该有限的动 态范围不能包括自然景象的全部实际动态范围。特别是，由于在8位图像的 数字图像中亮度级仅由0-255表示，因此数字装置的动态范围不足以原样表现自然景象。因此，实际动态范围102的部分可能不位于图像捕获装置的动态范围112 之内。X和X，之间的范围104对应于自然景象的暗的范围，Y，和Y之间的范 围106对应于自然景象的亮的范围。在图像捕获装置的动态范围112中，范围104由指示动态范围112的最 暗的值的X表示，因此该范围之内的自然景象中的对象被识别为具有相同的 亮度，从而难以清楚地识别对象。同样地，范围106由指示图像捕获装置的动态范围112的最亮的值的Y 表示，因此光使该范围内的图像饱和，从而不可能识别图像中的对象。为了自然地表现图像同时提高有限的动态范围，适当地拉伸(stretch) 对象的亮度对比很重要，通常，直方图拉伸一般用于提高图像的亮度对比。然而，由于传统的拉伸方法使用像素的最大值和最小值，因此当在图像 中出现非常暗或非常亮的噪声时，动态范围被噪声调整而不是被实际亮度调 整，因此存在这样的问题，即，结果不是所期望的。此外，当存在人为生成 的像素时，人为生成的像素的输入值为0，从而输入像素的最小值变为0,因 此动态范围被人为生成的像素控制而不是被实际亮度所控制。除了图像中出 现噪声或人为生成的像素的情况之外，由于变亮或变暗的量小，因此调整动 态范围的结果不理想。发明内容本发明的示例性实施例克服上述缺点以及上面没有描述的其他缺点。此 外，本发明不需要克服上述任何缺点，并且本发明的示例性实施例可不克服 上述任何问题。本发明提供一种通过使用插值滤波控制图像的动态范围来提高所述动态 范围的方法和设备，所述插值滤波使用具有基于图像的特性而分别设置的不 同累积时间的线之间的相关性。本发明还提供一种通过使用插值滤波的图像处理提高图像的动态范围来 增强图像(例如，改善图像细节并减少噪声和运动模糊)的方法。根据本发明的一方面，提供一种提高由图像捕获装置的传感器单元获得 的图像的动态范围的方法，所述方法包括使用所述传感器单元产生输入图 像，所述传感器单元具有多条线，并且针对各条线具有不同的累积时间；通过使用具有不同累积时间的当前线的邻近线对所述输入图像执行插值滤波来 产生插值图像。在产生所述输入图像的步骤中，可以预先针对所述各条线确定传感器单 元的累积时间。产生所述输入图像的步骤可包括使用所述传感器单元获得初始图像；通过使用所述初始图像的特性针对所述传感器单元的各条线设置不同的累积时间；使用所述传感器单元产生所述输入图像，所述传感器单元具有针对所 述各条线确定的不同的累积时间。产生所述输入图像的步骤可包括计算当前线和邻近线之间的相关性； 基于所述相关性控制进行插值滤波的滤波器的系数。所述插值滤波步骤用于计算加权的和，所述加权的和是通过将当前线中 的像素的像素值和特定权重相乘，将每条邻近线中的至少一个像素值和另一 权重相乘，并将相乘的像素值相加获得的。在设置累积时间的步骤中，基于所述初始图像的动态范围，可分别控制 至少一条线的累积时间。在设置累积时间的步骤中，基于所述初始图像的噪声级，可分别控制至 少一条线的累积时间。在设置累积时间的步骤中，当在所述初始图像中存在运动时，基于发生 的运动模糊的量，可分别控制至少一条线的累积时间。可基于线的累积时间确定所述滤波器系数。可基于所述输入图像的动态范围确定所述滤波器系数。根据本发明的另 一方面，提供一种用于提高图像捕获装置的图像动态范 围的设备，所述设备包括输入图像产生单元，通过将光转换为电信号来产 生输入图像，所述光入射到各条线的时间长度为针对每条线不同的累积时间； 图像处理单元，通过使用具有不同累积时间的当前线的邻近线对所述输入图 像执行插值滤波，并产生插值图像。所述输入图像产生单元可包括传感器单元，所述传感器单元将光转换为 电信号，所述光入射到各条线的时间长度为针对每条线不同的累积时间。所述输入图像产生单元可包括传感器单元，通过将入射光转换为电信 号来获得图像；累积时间控制单元，通过使用所述传感器单元获得的初始图 像的特性针对所述传感器单元的各条线分别控制累积时间。所述输入图像产生单元可包括通过将入射光转换为电信号来获得图像的 传感器单元和针对所述传感器单元的各条线分别控制累积时间的累积时间控 制单元，并且所述图像处理单元包括用于发送通过使用所述输入图像产生单 元产生的初始图像的特性针对所述传感器单元的各条线分别控制的累积时间 的装置。根据本发明的另 一方面，提供一种其上包含有用于执行可实施的提高图 像的动态范围的任意 一种方法的计算机程序的计算机可读记录介质。


通过下面结合附图对其示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加清楚，其中图1示出将被捕获的自然景象的实际动态范围以及图像捕获装置的动态范围；岡2A .是栘据冬定明^例^实拔例的用于冲罢-高同傳的动态范阁的A备的框图；图2B是根据本发明的另一示例性实施例的用于提高图像的动态范围的 设备的框图；图2C是根据本发明的另 一示例性实施例的用于提高图像的动态范围的 设备的框图；图3A示出将被捕获的对象的实际动态范围以及图像捕获装置的动态范围；图3B示出当图像捕获装置具有较长的累积时间时图像捕获装置的动态范围；图3C示出当图像捕获装置具有短的累积时间时图像捕获装置的动态范围；图3D示出根据本发明的示例性实施例的当使用短线和长线来执行插值 滤波时图像捕获装置的动态范围；图4A示出用于说明图2A至图2C中的传感器单元如何控制每条线的累 ^K时间的示例；图4B示出用于说明图2A至图2C中的传感器单元如何控制每条线的累 积时间的示例；图5A示出在暗的区域具有窄的动态范围的图像； 图5B示出在亮的区域具有窄的动态范围的图像； 图6示出各条线具有不同的累积时间的图像；图7示出根据本发明示例性实施例的在应用累积滤波之后获得的图像； 图8A是示出根据本发明示例性实施例的提高图像的动态范围的方法的 流程图；图8B是示出根据本发明的另一示例性实施例的提高图像的动态范围的 方法的流程图。
具体实施方式
对于图像显示装置，图像的动态范围是图像显示装置可表现的图像从亮 的区域到暗的区域的光亮度(luminance)级。通过改变指示图像的明度 (lightness)(例如，光亮度)的像素值来调整动态范围。具有较宽的动态范 围的图像显示装置可具有更多的色调变化。以下，将详细描述本发明的示例性实施例。本发明用于解决由图像捕获装置的不足以完全表现自然景象的有限动态 范围造成的问题。根据本发明，通过调整传感器单元中的累积时间长度来提 高动态范围，以实现不同的动态范围。图2A是根据本发明示例性实施例的用于提高图像的动态范围的设备 200的框图。设备200包括输入图像产生单元210和图像处理单元220。输入图像产 生单元210包括镜头212和传感器单元214。输入图像产生单元210在光入射到针对各条线具有不同的累积时间长度 的传感器时，使用所述传感器产生输入图像，并将产生的图像输出到图像处 理单元220。镜头212沿感测光的传感器单元214的方向聚集透过镜头212的光。 传感器单元214感测由镜头212聚集在传感器单元214上的光，将光转 换为电信号，以产生输入图像，并将该图像输出到图像处理单元220。传感 器单元214包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体 (CMOS)传感器，所述传感器由nxM像素构成，采集入射到这些像素的 光，并将光转换为电信号。传感器单元214的每个像素获得的信息对应于图像的各个像素。因此，传感器单元214可基于像素的线来控制累积时间长度， 以控制图像的每条线的累积时间长度。传感器单元214的线的累积时间长度被预先设置为彼此不同。由于位于 固定位置或恒定环境的图像捕获装置具有特定的最佳累积时间长度，因此对 于每条线都具有固定的累积时间长度的传感器单元用于这样的图像捕获装置。图像处理单元220处理由输入图像产生单元210产生的输入图像，并输 出插值图像。根据本示例性实施例，图像处理单元220在考虑具有不同的累 积时间长度的当前线和邻近线之间的相关性的情况下，通过对输入图像应用 插值滤波来处理输入图像，以便设备200可通过使用包括不同动态范围的信 息将有限的动态范围提高至更宽的动态范围。图2B是根据本发明的另一示例性实施例的用于提高图像的动态范围的 设备200的框图。参照图2B,设备200包括输入图像产生单元230和图像处理单元220。 输入图像产生单元230包括镜头212、传感器单元234和累积时间控制单元 236。在该示例性实施例中，镜头212和图像处理单元220的结构和功能与图 2A中的镜头212和图像处理单元220的结构和功能相同。输入图像产生单元230使用输入图像的特性设置最佳累积时间长度，以 便设置每条线的累积时间长度，产生输入图像并将该图像输出到图像处理单 元220。到累积时间控制单元234和图像处理单元220。尽管传感器单元234的功能 与图2A中的传感器单元214类似，但是传感器单元234的累积时间长度可 被可变地控制。由传感器单元234最初获得的图像用于计算最佳累积时间长度。累积时间控制单元236计算感测光的传感器单元234的累积时间长度， 并将计算出的累积时间长度输出到传感器单元234和图像处理单元220。由 于必须设置每条线的累积时间长度，因此累积时间控制单元236需要确定每 条线的累积时间长度。根据图2B所示的本示例性实施例，分析由传感器单元234获得的初始 图像的特性，并基于所述特性控制累积时间长度。由于当传感器单元234的累积时间长度恒定时必须基于动态范围来分析初始图像的特性，因此应使用在设置传感器单元234的每条线的累积时间长度之前获得的初始图像。图2C是根据本发明的另一示例性实施例的用于提高图像的动态范围的 设备200的框图。参照图2C,设备200包括输入图像产生单元240和图像处 理单元250。输入图像产生单元240包括镜头212、传感器单元234和累积时 间控制单元246。镜头212和传感器单元234的结构和功能与图2B中的镜头 212和传感器单元234的结构和功能相同。输入图像产生单元240产生初始图像，将初始图像输出到图像处理单元 250，产生输入图像，并将输入图像输出到图像处理单元250。输入图像具有 从图像处理单元250接收的针对每条线不同地设置的累积时间。累积时间控制单元246从图像处理单元250接收针对各条线不同地控制 的累积时间，并控制传感器单元234的每条线的累积时间。图像处理单元250使用由传感器单元234获得的初始图像来计算每条线 的最佳累积时间长度，并将该最佳累积时间长度输出到输入图像产生单元240 的累积时间控制单元246。此外，像图2A或图2B所述的图像处理单元220 一样，图像处理单元250处理由输入图像产生单元240产生的输入图像，并 输出插值图像。在图2B中，累积时间控制单元236确定传感器单元234的每条线的累 积时间长度，并控制传感器单元234的累积时间。然而，根据图2C所示的示 例性实施例，图像处理单元250确定传感器单元234的每条线的累积时间长 度，并且累积时间控制单元246基于由图像处理单元250确定的累积时间来 控制传感器单元234的累积时间。以下，将参照图3A至图3D，以对比的方式来描述以不同的累积时间获 得的图像的特性。通常，入射到传感器的光的量与累积时间长度成比例。当采集足够时间 长度的光时，入射到传感器的光的量可增加，从而可提高图像的暗的区域的 动态范围。相反地，较短的累积时间导致较少量的光入射到传感器，这提高 了图像的亮的区域的动态范围，从而可获得在亮的部分具有更多细节的图像。 然而，在此情况下，暗的区域的动态范围减小，这导致色调分度(tonal graduation)的精细程度降低。因此，当图像非常亮时，需要缩短累积时间长度，当图像太暗时，控制增加累加时间长度以采集足够的光。图3A示出将被捕获的对象的实际动态范围102以及图像捕获装置的动 态范围112。如同图l所示的曲线图一样，出现在自然景象中的对象的实际动态范围 102在从X至Y的范围内，图像捕获装置的动态范围112从X，至Y，变化。 将被捕获的对象仅具有关于其亮暗范围的有效信息，而没有关于中间色调 (mid-tone )范围的有效信息。由于图像捕获装置的动态范围112不能覆盖对 象的全部动态范围102，因此图像捕获装置不能完全地表现对象，从而具有 有限的色调分度。图3B示出当图像捕获装置具有较长的累积时间时图像捕获装置的动态 范围。当以较长的时间采集光时，更多的光入射到传感器，这使图像的较暗的 区域被表现。尽管图像捕获装置的动态范围112是恒定的，但是图像捕获装 置可通过增加累积时间而具有从X"变化的动态范围，所述X"接近对象的动 态范围102中的X。因此，可实现在图3A中不能获得的暗的范围322的全部 信息。然而，由于图像捕获装置的动态范围112是固定的，因此Y，相应地移 动到Y", Y，和Y"之间的距离与X，和X"之间的距离相同。亮的区域与入射 光的量成比例而饱和，因此有限地获得相对暗的区域的信息。图3C示出当图像捕获装置具有短的累积时间时图像捕获装置的动态范 围112。当累积时间短时，较少的光入射到传感器，这使图像的较亮区域将被表 现。通过增加累积时间，图像捕获装置可获得关于亮的范围达到Y，"的信息， 所述Y"，接近对象的动态范围中的Y。因此，可获得亮的区域332的全部信 息，而该信息不能在图3A中获得。由于图像捕获装置的动态范围112是固定 的，因此X，移动到X，"与Y，移动到Y，"的距离相同。因此，较少的光入射， 从而有限地获得相对暗的区域的信息。图3D示出根据本发明的示例性实施例的当使用短线和长线来执行插值 滤波时图像捕获装置的动态范围。当使用在累积时间长和累积时间短时获得的每个图像的特性时，可补偿 每种情况的不足的动态范围，从而可表现暗的区域和亮的区域的细节。尽管 图像捕获装置的动态范围112是固定的，但是可使用在累积时间长和累积时间短时获得的信息322和332来显示亮的区域和暗的区域的信息。根据本发明的当前示例性实施例，尽管与将被捕获的实际对象的光亮度 值相比，亮的区域和暗的区域的信息322和332的光亮度值在中间光亮度范 围内彼此接近，但是当图像在中间色调范围内没有有效信息时可有效地表现 在暗的区域和亮的区域具有更多细节的图像。因此，可在细节上表现具有传统图像捕获装置不能表现的较宽动态范围 的自然景象中的对象的暗的区域，并且可避免难以识别的过亮的图像。在图像具有过暗和过亮的区域的情况下，如果增加累积时间以提高暗的 区域的动态范围，则在亮的区域光可能饱和。同样地，如果减小累积时间以 提高亮的区域中的色调分度，则整个图像可能变暗，从而在原来暗的区域的 色调分度可能恶化。因此，需要考虑暗的区域和亮的区域来设置累积时间。在本发明中，不针对整个图像设置累积时间，而是针对各条线设置累积 时间，并使用当前线和邻近线之间的相关性以及这样不同地设置的累积时间 来获得较宽的动态范围。根据本发明，累积时间控制单元236或图像处理单元250使用初始图像 的特性来确定每条线的累积时间。初始图像的可使用的特性可包括灰度级分 布、噪声的量以及将被捕获的对象的运动强度。可确定每条线的累积时间长 度以及多少条线将具有不同的长度。图4A示出用于"i兌明图2A至图2C中的传感器单元214或234如何控制 每条线的累积时间的示例。在图4A中，传感器单元214或234的奇数编号的线和偶数编号的线具 有不同的累积时间。由于奇数编号的线具有比偶数编号的线短的累积时间， 因此与累积时间较长时相比，图像更暗，并且由于偶数编号的线具有比奇数 编号的线长的累积时间，因此与累积时间较短时相比，图像更亮。因此，当 太多的光入射到传感器214或234并且图像非常亮时，奇数编号的线有效， 而当图像太暗而不能识别对象时，偶数编号的线有效。在本发明的当前示例性实施例中，存在至少 一条具有不同累积时间的线。 因此，如图4A所示，可分别针对奇数编号的线和偶数编号的线设置累积时 间，或者，例如，仅图像的一条线可具有与其他线不同的累积时间。图4B示出用于il明图2A至图2C中的传感器单元214或234如何控制 每条线的累积时间的示例。在图4B中，重复地针对每四条邻近线设置不同的累积时间。在此情况下，即使当多条线具有不同的累积时间时，也可通过使用线的动态范围的不 同特性应用插值滤波来执行图像处理。现在将描述图2A至图2C中的图像处理单元220和250执行的插值滤波。图像处理单元220和250使用具有不同累积时间的线之间的相关性对所 述线执行插值滤波。基于输入图像的特性和累积时间来定义线之间的相关性。 在当前示例性实施例中，使用垂直插值滤波器来执行使用线的插值滤波。基 于线之间的相关性决定插值滤波器的系数。可考虑输入图像的特性(例如，输入图像的动态范围的特性、在输入图 像中是否存在噪声以及在输入图像中是否存在运动对象)来确定线之间的相 关性和插值滤波器的系数。根据本发明，由于针对每条线设置累积时间，因 此可根据累积时间来改变图像的亮度。因此，需要确定插值滤波器的系数， 以便在执行插值滤波之后所获得的图像可以适当地亮。由于考虑图像特性(例如，图像的动态范围)来确定累积时间，因此可 假设用于确定插值滤波器的系数的因素是图像的各种特性。具有较短累积时间的线更有利于表现图像的亮的区域的细节，而具有较 长累积时间的线更有利于表现暗的区域中的细节。以下，假设奇数编号的线 具有较短的累积时间，偶数编号的线具有较长的累积时间。图像处理单元220和250基于奇数编号的线和偶数编号的线之间的相关 性通过执行插值滤波来提高亮的区域和暗的区域两者的细节。例如，为了补偿具有较短累积时间的奇数编号的线的暗的区域的较窄动 态范围，具有较宽动态范围的暗的区域的偶数编号的线被用于插值滤波。可 通过使用关于偶数编号的线的暗的区域的信息来补偿奇数编号的线的暗的区 域的动态范围。同样地，为了补偿具有较长累积时间的偶数编号的线的亮的区域的较窄 动态范围，具有较宽动态范围的亮的区域的奇数编号的线被用于插值滤波。 即，可通过使用关于奇数编号的线的亮的区域的信息来补偿偶数编号的线的 亮的区域的动态范围。根据本发明的示例性实施例，现在将描述对第n线中的像素执行插值滤波。通过将第n线上的当前像素和特定权重相乘获得的值与至少一个邻近像素和特定权重相乘获得的值相加来执行插值滤波，所述邻近像素具有与当前 像素不同的累积时间。当假设使用三阶(tap)插值滤波器[a,b,c]时，在第n线上的当前像素的 值为x，在第(n+l)线上的邻近像素的值为y,在第(n-l)线上的邻近像素 的值为z,通过等式X，=a*y+b*x+c*z来获得插值的像素的值。如上式所示，基于图像的动态范围和累积时间来设置邻近线的系数，这 些系数作为权重被应用到用于插值滤波的像素值。图5A示出在暗的区域具有窄的动态范围的图像。如上所述，由于暗的图像的累积时间比亮的图像的累积时间短，因此亮 的区域的动态范围是足够的，但难以表现暗的区域的灰度级。如图5A的画 圏部分所示，当使用丰富的(rich)灰度级很好地表现窗户周围的较亮区域和 荧光灯时，桌子周围的区域太暗而不能识别书桌以及书桌上的对象，并且不 能完全显示诸如桌子与书桌之间的边界的细节。图5B示出在亮的区域具有窄的动态范围的图像。当亮的区域的动态范围窄时，与当暗的区域的动态范围窄不同，累积时 间长，从而可完全表现暗的区域中的灰度级，但是由于过亮而不能显示亮的 区域中的细节。图5B中的画圏部分与图5A中的画圈部分相比，书桌上的对 象是可识别的，可完全显示诸如桌子和书桌之间的边界的细节，并且灰度级 被丰富地表现出来。然而，窗子周围的区域太亮而导致窗百叶和窗框不能被 识别出来。即，不能表现亮的区域的灰度级，因此细节减少。图6示出各条线具有不同的累积时间的图像。在图6中，该图像是由图像动态范围提高设备产生的，并且还没有对该 图像执行图像处理，所述图像动态范围提高设备包括具有具有较长累积时间 的奇数编号的线和具有较短累积时间的偶数编号的线的传感器。图6中的图 像是通过使用具有不同累积时间的各条线捕获与图5A或图5B所示的图像相 同的图像产生的。因此，奇数编号的线具有较短的累积时间，从而可完全示 出图像的亮的区域的细节，偶数编号的线具有较长的累积时间，从而可完全 示出暗的区域中的更多灰度级。图7示出根据本发明示例性实施例的在应用插值滤波之后获得的图像。 为了简单执行根据当前示例性实施例的插值滤波，使用垂直插值滤波器
。该插值滤波器的系数被设置为保持图像的平均亮度。由于针对奇数编号的线和偶数编号的线不同地设置累积时间，因此使用三阶滤波器。 由于奇数编号的线之间的累积时间彼此相同，并且偶数编号的线之间的累积 时间彼此相同，因此该插值滤波器的第 一和第三系数也彼此相同。通过使用图6中的图像的奇数编号的线和偶数编号的线执行插值滤波来产生图7的图像，并加强一般的灰度级表现。当图5A中示出的图像中书桌 以及书桌上的对象由于较暗区域的动态范围不足从而不能被识别出时，图7 中的图像的相应区域中的书桌以及书桌上的对象被清楚地示出。此外，当图 5B中的窗子、窗百叶和窗框由于过亮而不能被识别出时，图7中图像的相应 区域中窗子周围的细节被清晰地示出。因此，通过使用具有不同累积时间的线执行插值滤波，具有较短累积时 间的图像的亮的区域的较宽动态范围的特性与具有较长累积时间的图像的暗 的区域的较窄动态范围的特性被组合，从而图像的一般灰度级表现被提高。以下，将描述可应用通过使用具有不同累积时间的线进行插值滤波的其 他领域。控制累积时间的长度从而提高灰度级表现可被有利地用于其他图像处理 方法。由于累积时间与图像的亮度密切相关，因此本发明可应用于受亮度影 响的任何情况。例如，当累积时间较长时，长时间捕获光，图像可变亮，但是在捕获光 时可能发生运动模糊。如果缩短累积时间以避免运动模糊，则灰度级表现被 减弱。因此，根据本发明的示例性实施例，各条线的累积时间被不同地控制， 从而可避免运动模糊同时可提高灰度级表现。即，具有较短累积时间的线对避免运动模糊有效，具有较长累积时间的 线有利于提高灰度级表现。因此，通过使用这些线应用插值滤波，可产生在 较暗区域存在丰富的灰度级表现和运动模糊较少的图像。当累积时间较短时，图像可能较暗，并且图像中可能出现更多的噪声。 如果增加累积时间以避免噪声，则在图像的较亮区域中光可变得饱和。因此， 可控制累积时间，从而较少受到噪声的影响并可避免过度曝光。根据本发明的另一示例性实施例，控制各条线的累积时间，从而具有较 长累积时间的线可避免噪声，具有较短累积时间的线可提高光图像中饱和的 较亮区i或。如上所述，根据由图像处理单元实现的示例性实施例，可改善具有有限的灰度级表现的较暗区域和光变得饱和的较亮区域中的细节，并且也可避免 运动模糊和噪声，从而提高图像的质量。以下，将参照图8A和图8B描述提高图像的动态范围的方法。图8A是示出根据本发明示例性实施例的提高图像的动态范围的方法的流程图。在操作802，传感器单元的各条线的累积时间被不同地设置。考虑使用 图像捕获装置的环境来确定累积时间。在操作804,由具有针对各条线不同地设置的累积时间的传感器单元产 生输入图像。在操作820，通过使用具有不同累积时间的邻近线对在操作840产生的 输入图像应用插值滤波来产生插值图像。考虑具有不同累积时间的当前线和 邻近线之间的相关性来决定插值滤波器的系数。基于诸如累积时间和动态范 围的图像特性获得所述相关性。图8B是示出根据本发明的另一示例性实施例的提高图像的动态范围的 方法的流程图。在操作812,通过传感器单元获得初始图像。在操作814，使用初始图像的特性来不同地设置传感器单元的各条线的 累积时间。在操作816,通过对于各条线具有不同的累积时间的传感器产生输入图像。在操作820,通过使用具有不同累积时间的邻近线对输入图像执行插值 滤波，并产生插值图像。考虑设置的累积时间和输入图像的动态范围来获得 插值滤波器的系数。本发明的示例性实施例可被编写为计算机程序，并且可在使用计算机可 读记录介质执行程序的通用数字计算机中被实现。所述计算机可读记录介质 的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如， CD-ROM或DVD)。根据本发明，用于提高图像的动态范围的方法和设备可通过使用具有被 分别设置的不同累积时间的线之间的相关性执行插值滤波来产生较宽的动态 范围。传感器单元可具有针对各条线不同的累积时间，例如，可针对奇数编号的线和针对偶数编号的线不同地设置累积时间。考虑图像的动态范围、噪声 级和运动模糊来确定累积时间。考虑诸如传感器单元的累积时间和动态范围的图像特性以及线之间的相 关性来执行插值滤波。使用插值滤波的图像处理可减少图像中的噪声和运动 模糊并可改善图像的细节。尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的 普通技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的 情况下，可以对其进行形式和细节上的各种改变。
权利要求
1、一种提高由图像捕获装置的传感器单元获得的图像的动态范围的方法，所述方法包括使用所述传感器单元产生输入图像，所述传感器单元具有多条线，并且针对各条线具有不同的累积时间；通过使用具有不同累积时间的当前线的邻近线对所述输入图像执行插值滤波来产生插值图像。
2、 如权利要求l所述的方法，其中，在产生所述输入图像的步骤中，预 先针对所述各条线确定传感器单元的累积时间。
3、 如权利要求l所述的方法，其中，产生所述输入图像的步骤包括 使用所述传感器单元获得初始图像；通过使用所述初始图像的特性针对所述传感器单元的各条线设置不同的 累积时间；使用所述传感器单元产生所述输入图像，所述传感器单元具有针对所述 各条线设置的不同的累积时间。
4、 如权利要求l所述的方法，其中，产生所述插值图像的步骤包括 计算当前线和邻近线之间的相关性；基于所述相关性控制插值滤波的滤波器系数。
5、 如权利要求4所述的方法，其中，所述插值滤波步骤用于计算加权的 和，所述加权的和是通过将当前线中的像素的像素值和特定权重相乘，将每 条邻近线中的至少一个像素值和另一权重相乘，并将相乘的像素值相加获得的。
6、 如权利要求3所述的方法，其中，在设置累积时间的步骤中，基于所 述初始图像的动态范围，分别控制至少一条线的累积时间。
7、 如权利要求3所述的方法，其中，在设置累积时间的步骤中，基于所 述初始图像的噪声级，分别控制至少一条线的累积时间。
8、 如权利要求3所述的方法，其中，在设置累积时间的步骤中，如果在 所述初始图像中存在运动，则基于发生的运动模糊的量，分别控制至少一条 线的累积时间。
9、 如权利要求4所述的方法，其中，基于线的累积时间确定所述滤波器系数。
10、 如权利要求4所述的方法，其中，基于所述输入图像的动态范围确 定所述滤波器系数。
11、 一种用于提高图像捕获装置的图像动态范围的设备，所述设备包括 输入图像产生单元，通过将光转换为电信号来产生输入图像，所述光入射到各条线的时间长度为针对每条线不同的累积时间；图像处理单元，通过使用具有不同累积时间的当前线的邻近线对所述输 入图像执行插值滤波，并产生插值图像。
12、 如权利要求11所述的设备，其中，所述输入图像产生单元包括传感 器单元，所述传感器单元将光转换为电信号，所述光入射到各条线的时间长 度为针对每条线不同的累积时间。
13、 如权利要求11所述的设备，其中，所述输入图像产生单元包括 传感器单元，通过将入射光转换为电信号来获得图像；累积时间控制单元，通过使用所述传感器单元获得的初始图像的特性， 针对所述传感器单元的各条线分别控制累积时间。
14、 如权利要求11所述的设备，其中，所述输入图像产生单元包括传 感器单元，所述传感器单元通过将入射光转换为电信号来获得初始图像；累 积时间控制单元，针对所述传感器单元的各条线分别控制累积时间；其中，图像处理单元发送通过使用所述输入图像产生单元产生的初始图 像的特性针对所述传感器单元的各条线分别控制的累积时间。
15、 如权利要求11所述的设备，其中，所述图像处理单元包括 相关性计算单元，计算当前线和邻近线之间的相关性； 插值滤波器产生单元，基于所述相关性控制进行插值滤波的插值滤波器的系数；插值滤波器单元，使用所述插值滤波器执行插值滤波。
16、 如权利要求15所述的设备，其中，所述插值滤波步骤用于计算加权 的和，所述加权的和是通过将当前线中的像素的像素值和特定权重相乘，将 每条邻近线中的至少一个像素值和另一权重相乘，并将相乘的像素值相加获 得的。
17、 如权利要求13所述的设备，其中，所述累积时间控制单元基于所述 初始图像的动态范围，不同地控制并设置各条线的累积时间中的至少 一 个。
18、 如权利要求13所述的设备，其中，所述累积时间控制单元基于所述 初始图像的噪声级，不同地控制并设置各条线的累积时间中的至少一个。
19、 如权利要求13所述的设备，其中，当在所述初始图像中存在运动时， 所述累积时间控制单元基于发生的运动模糊的量，不同地控制并设置至少一 条线的累积时间。
20、 如权利要求14所述的设备，其中，所述图像处理单元基于所述初始 图像的动态范围不同地控制并设置至少 一 条线的累积时间。
21、 如权利要求14所述的设备，其中，所述图像处理单元基于所述初始 图像的噪声级不同地控制并设置至少 一条线的累积时间。
22、 如权利要求14所述的设备，其中，如果在所述初始图像中存在运动， 则所述图像处理单元基于发生的运动模糊的量，不同地控制并设置至少 一条 线的累积时间。
23、 如权利要求15所述的设备，其中，所述插值滤波器产生单元基于线 的累积时间确定所述插值滤波器的系数。
24、 如权利要求15所述的设备，其中，所述插值滤波器产生单元基于所 述输入图像的动态范围确定所述插值滤波器的系数。
25、 一种其上包含有用于执行提高由图像捕获装置的传感器单元获得的 图像的动态范围的方法的计算机程序的计算机可读记录介质，所述方法包括使用所述传感器单元产生输入图像，所述传感器单元具有多条线，并且 针对各条线具有不同的累积时间；通过使用具有不同累积时间的当前线的邻近线对所述输入图像执行插值 滤波来产生插值图像。
全文摘要
提供一种用于提高图像的动态范围的方法和设备。提高由图像捕获装置的传感器单元获得的图像的动态范围的方法包括通过使用所述传感器单元产生输入图像，所述传感器单元具有多条线，并且针对各条线具有不同的累积时间；通过使用具有不同累积时间的当前线的邻近线对所述输入图像执行插值滤波来产生插值图像。
文档编号H04N5/232GK101335821SQ200810009678
公开日2008年12月31日 申请日期2008年2月20日 优先权日2007年6月28日
发明者严圭会, 任娜丽, 李相珍 申请人:三星电子株式会社