专利名称：用于从多次曝光中创建高动态范围图片的方法和装置的制作方法
用于从多次曝光中创建高动态范围图片的方法和， 发明领域
本发明涉及一种用于仓犍图片的方法，更具体i鹏及一种用于舰多次连 续曝光而创建增强型图片的方法。结合曝光以创建具有增强属性的图片，特别 是具有更好颜色和亮度内容的图片。
本发明还涉及一种采用该方法的装置。
背景技术：
目前，数字照相机被广泛l顿，而且大范围销售，包括具有高于10M像 素的高分辨率图像传感器的高级照相机，以及例如并入移动电话中的简单照相 机。通常，当在低光条件下照相时就会存在问题。如果决门速度太短，贝,像 就不能得到足够的光线(曝光不足)。另一方面，如果快门速度太长，则由于 当握住照相机时手的抖动，或者如果)(^m在移动，而使图片质量就会體。
一般的解决方案是f顿闪光灯或相机光源。然而，通常^iM顿自然的可 见光。还有， 一些较小的照相机不适宜用闪光灯，或者没有内置闪光灯。此外， 闪光灯也增加了照相机的成本。
发明内容
在本发明中，通过执行一系列一次曝光并快,续地执行一个二次曝光来 获得足够的光线。 一次曝光被结合以提供足够的亮度和清晰度。进行二次曝光 用来收集颜色信息。 一次曝光和二次曝光结合来提供增强的图片。
在第一方面，本发明提供了一种用于创建图片的方法，包括以下步骤
4吏光ii传iitl经受一系列曝光，
其中可能曝光不足的一次曝光的数目为N，以及其中具有相对较强曝光的 二次曝光的数目为l，
其中N个一次曝光的亮度娜(Y)纟細来创建最终图片的清晰度，且二 次曝光的色度数据(UV)被用来创建最终图片的颜色含量(colour content)。
适当地，N ^次曝光的亮度娜(Y)被存储在存储器中。 在雌实施例中， 一次曝光的数目N大于1，且最后的一次曝光的亮度数
据被添加到存在于存储器中的亮度数据(Y)。
^Mi也，禾,用于清晰度增强的TO来添加亮度f(^ (Y)。 在tt^实施例中，计算偏移向量，偏移向量^1后的一次曝光和存储器
的内容之间的移动产生的差值，在寻址存储器时所述偏移向量在添加过程中被舰。
tmt也，亮度数据(Y)为大的亮度值而被优化。
适当地，亮度数据(Y)是三个颜色通道红(R)、绿(G)和蓝(B)的 加权和。
三个颜色M红(R)、绿(G)和蓝(B)的加权是相等的(Y=R+G+B)。 适当地，色度数据(UV)和亮度数据(Y)被发送，用于图像处理器中 的舰
在，实施例中，二次曝光最后执《亍，且从传1^1读取色度 (uv)， 从存储器读取亮度娜(Y)。
适当地， 一次曝光的数目N的范围^;人2到8 (2《N《8)。 --次曝光具有比二次曝光更短的单独曝光时间。
适当地，N ^次曝光的曝光时间的总和大约等于二次曝光的曝光时间。
可以利用比二次曝光更小的光圈进行一次曝光。
适当地，N t次曝光的曝光总和大约等于二次曝光。
第二方面，本发明提供一种用于创建图片的设备，包括用于使光敏传感器 经受曝光的光学系统，用于存储图像数据的存储装置，以及t嫩处理图像数据 的W器。
根据本发明，光学系统被配置来使光敏传感器经受一系列曝光，其中可能 曝光不足的一次曝光的数目为N，以及其中具有相对较强曝光的二次曝光的数 目为l，且，^l皮配置来使用Nt次曝光的亮度数据(Y)，以创建最终图 片的清晰度，且使用二次曝光的色度数据(UV)，以创建最终图片的颜色含量。
适当地，鹏器被Sfia来将N个一次曝光的亮度M (Y)存储在存储器中。
在,实施例中， 一次曝光的数目N大于1，且处理器被配置为将最后的
一次曝光的亮度 添加到存在于存储器中的亮度数据(Y)。
优选地，处理器被配置为利用用于清晰度增强的校正来添加亮度数据
(Y)。
在i^实施例中，M^l皮配置为计算偏移向量，偏移向量表示最后的一
次曝光和存储器的内容之间的移动产生的差值，且在寻址存储器时所述偏移向 量在添加过程中被舰。
^iMk，亮度数据(Y)为大的亮度值而被优化。
适当地，处理器被配置为提取離数据(Y)作为三个颜feffi道红(R)、 绿(G)和蓝(B)的加权和。
三个颜色ffiit红(R)、绿(G)和蓝(B)的力口权是相等的(Y=R+G+B)。
适当地，处理器被配置为从传感器(3)接收色度数据(UV)，从存储器 接收亮度麵(Y)。
在ite实施例中，光学系统被配置为最后执行二次曝光，且处理辦皮配置 为从传感器读取色度数据(UV)，从存储器读取亮度 (Y)。
适当地， 一次曝光的数目N的范围是从2到8 (2《N《8)。
一次曝光具有比二次曝光更短的单独曝光时间。
适当地，N t次曝光的曝光时间的总和大约等于二次曝光的曝光时间。
禾,比二次曝光更小的光圈进行一次曝光。
适当地，N ^次曝光的曝光总和大约等于二次曝光。
以下参考附图详细描述本发明，其中 图1是根据本发明的照相机的相关部件的示意图； 图2是根据本发明的方法进行的一系列曝光的示意图； 图3是根据本发明的方法的，实施例的流程图。
具体实施例方式
本发明涉及一种创建图片的方法，以及使用该方法的装置，例如数字照相 机、移动电话等。如在背景技术中所舰的，当希望采用可见光在低光条件下 照相时，本发明对于高级照相机和简单照相机都是很有用的。在某些情况下，
不希望4顿闪光灯，而湖于简单照相机并不总是可能的。
图1示出了根据本发明的照相机的相关部件。照相机包括光学系统，该光
学系统包括透镜1和快门2。光学系统使光敏传感器3曝光。包括处理器4的 控制单元控制透镜1和快门2的操作。快门2可以是机械快门，或者传感器3 可以是电控的，以获得所期望的曝光时间。处理器4与传感器3和存储器5通 信，其中可以在存储器中存储并驗图像M。处理器4能够执行用于进行图 像处S^f必须的计算。
透镜1、快门2和传感器3可以是常规的设计。市场上已经出现具有不同 质量和性能的许多部件。同样，以各种方式处理图像数据的图像处理器也是之 前就己知的。在本申请中，这些组件就不再详细描述了。存储器5可以是并入 装置中的存储器的工作空间，或者可以存在于单独的、可移动的存储器卡上， 膝储工作数据以及最终图片。处理器和存储器可以集鹏照相机设计中，或 者处于外部，或者与其它功能共享。
为了方便，描述了光敏传麟的一般工作原理，例如传感器3。传感器包 括分布在传感器区域上的通常在1M和10M像素(百万像素)之间的多个光 敏图片元素(称为像素)。当光照射像素时，像素产生电流，该电流被积分以 获得光强度值。为了使传自对颜色敏感，以在传感器上预定的镶嵌模式向每 个像素提供滤色器(红色、绿色或者蓝色)。*像素通过其自身和相邻像素 值的数学内值和数字化被分配有以分量R、 G或B表示的三分，色值。m 常由图像处理器来执行。通常，图片格式通过转换成亮度部分和色度部分而被 分区。亮度部分Y是光纟雖值，并对应于黑色和白色图片。Y被计算为三个颜 feil道的加权和，通常是Y=0,299R+0,587G+0,114B。色度部分UV包括两个 分量，其中U二B-Y， V=R-Y。 U和V还旨^l:接根据RGB值来计算。
可以调整RGB因f^达到各颜色之间的恰当平衡，以便实现适当的白平 衡。如本领域熟知的，这可以取决于可见光，例如日光、白炽灯等。
根据本发明，新颖的方法被用于获得最终图片中的足够亮度以及颜色。在 图2中示出了基本的原理。开始，快,续进行一系列的N个一次曝光。可以 采用短曝光时间禾口/或小光圈^it行一次曝光。短的曝光时间可以降低移动模糊 度，而小光圈可以增加Mif深度。每t次曝光都是清晰的，腿常曝光不足， 但是经过曝光的所有像素都禾,亮度值Y而起作用。亮度值、到Yw被结合以
获得在图片中足够的亮度。亮度衝腿以这种方式结合，即考虑各^次曝光
之间的图像移动，并进行校正。最后，使传感器经受二次曝光。可以采用长曝
光时间禾Q/或大光圈来进行二次曝光，从而获得比一次曝光更多的曝光。充分曝
光以确保光传感^l足够曝光来获得最佳的颜色信息。由于手抖动，可以预料到 二次曝光不如其它曝光清晰(或者视野深度减小)。然而，这可以接收更多的 光线，并包含不是由一系列一次曝光获得的更多有价值的颜色信息。颜色数据 应该，不是数字增强的。如果颜色数据是数字增强的，那么在图片中(特别
在蓝色中)会有很多噪点。来自曝光的亮度信息Y和色度信息UV被结合在一 起，以形成最终图片。
即使由于移动，二次曝光可能是抖动的，但是这不会以明显的方式使最终 图片恶化。公知的事实是，人的眼睛对于颜色信息中的模糊度并不敏感。人的 视觉主要，观察图片细节的亮度部分Y敏感。
在本发明的方法开始之前，如传统模式的一样，ffiil调整透镜焦距，选择 总曝光时间和光圈设置(F停止值)，照相lHiS4f^。各种曝光，旨都是可用 的。用户还可以使用光学系统 择进行放大和縮小。根据本发明的优选实施 例，选择一次曝光的数目N与总曝光时间一致。N可以是任意的数字(包括1)， 但是合适的范围是2到8。 一次曝光可以具有相同的曝光时间，或者一次曝光 时间可以根据预定，在一次曝光之间变化。 二次曝光时间也被选择与总曝光 时间一致。在典型实施例中， 一次曝光时间的总值大约等于二次曝光时间。利 用数目N=8的一次曝光，其中一个一次曝光大约是二次曝光的1/8。总的曝光 时间是一次曝光和二次曝光的总和。
参考图3的 ^呈图， 一步步地描述本方法。
101. 进行最初的一次曝光。
102. 如上所述，计算所有像素的RGB值。亮度信息Yi是从三个颜fefflit RGB提取的。所有的计算由处理器4进行。由于感兴趣的仅仅是亮度信息， 因雌当的白平衡是不必要的。因此，亮度Y可以禾佣分配纟^^分量的力口权 因数被计算成Y=R+B4<}。通常，为了良好的颜色再现，这个加权被优化。然 而，力口权因数可以用这种方式来优化，即在所产生Y的通道中最小化噪点，而
不考虑颜色属性。^ffi相等的力口权也是可行的。
103. 将亮度信息Y,存储在存储器5中。注意，色度信息UV根本不用计
算，im地也不存储在存储器中。
104. 在短暂间隔后，进行下一t次曝光n。间隔当然应该尽可能短，以 最小化曝光之间的移动。
105. 再次，从传麟中提取亮度信息，以形成Y^
106. 在 实施例中，亮度信息Yn没有被制虫存储在存储器5中。可替 代的，亮度信息Yn波添加到存在于存储器5中的亮度信息Y^M。以这种方式， 仅仅将一组完整的亮度 Y存储在存储器5中。
然而，因为由于齡照相机的移动，或者由于正在被拍照的对象的移动而 导致了先前的曝光，所以在传皿3上获得的图像可能已经移动了。为了更简 单的计算，假定旨照相机已经移动，并且该移动在传 的所有像素上相等。 考虑到该移动，计算偏移向量OSV。偏移向量g由于最后的一次曝光和存储 器5中的内容之间的移动产生的差值。
107. 亮度信息Yn因此被添加到之前存在于存储器5中的亮度娜，且偏 移向量OSV被用来寻址存储器5，以便所有像素值被加入到正确的位置。
108. 循环104至iJ107被重复N次，即n从l到N。如上所述，N可以是 固定的，或者是根据预期曝光时间而变化。在N循环后，总亮度数据Y存在 于存储器5中。
109. 在一系列的N^次曝光后，进行二次曝光。在没有数字化增3繊
色娜的情况下，这应该足够从传繊获得颜色翻。
110. 从传繊3的RGB值中提取色度值UV。这可以m首先计算亮度 Y，接餅算色度UV，或者可替换地根据RGB魅接计算亮度UV来完成， 所有这些RGB值具有恰当的白平衡。(白平衡可以如上所述调整。)由于二次 曝光可能是模糊的，因此不{顿这个二次曝光的亮度 Y，且不需要计算， 除非从编程的角度看，通51亮度Y计算UV数据是实用的。
111. 色度值UV没有与现在存在于存储器5中的全部亮度 Y —起存 储。替代地，亮度Y和色度UV被"实时(onthefly)"发超lj处理器4，以进 行常规的图像处理。常规地，色度值uv仅仅被分配纟^^第二像素，以节约 存储空间和处理器容量。
为了进一步进行图像处理，色度值UV在与亮度数据Y —起被发i^t前， 还可以被存储在存储器5中。应该注意的是， 一些工作存储区域可能是用于存
储来自一次曝光的最新亮度数据Y所必须的，以便通过榭言息与存储在另一存
储区的之前获取的亮度数据Y进行比较来计算偏移向量。这个工作存储区
获取所有的一次曝光之后就不需要了。因此，这可以用于存储最后的色度值UV。
可替代的，ffiM比较二次曝光的亮度数据Y和包含在存储器5中的亮度数 据Y,，来形成偏移向量OSV。当将二次曝光的色度 UV和总的亮度数 据Y结合时，可以使用这个偏移向量OSV。
另一个可替代的，当将二次曝光的色度繊UV和总的亮度 Y结合时， 也可以使用当将最后的亮度数据Y^添加到存储器5时所{吏用的最后偏移向量 OSV。这种方法是假设最后所计算的偏移向量适用于计算二次曝光的偏移向 量。因为眼睛对于色度图像的模糊度不太敏感，所以这种偏移向量不是关键性 的。
最后进行二次曝光是不必要的，但是可以在"一次"曝光之前或各个"一 次"曝光之间进行二次曝光。然而，如果是那样的话，色度数据UV就必须被 存储，直到已经进行了最后的"一次"曝光。这需要更多的存储空间。
在M器4中，可以执4豫规的图像鹏，例如减去黑色电平，伽马调整， 对比度调整，错误像素的误差校正，数字清晰化和JPEG压缩。这可以在通过 本发明创建的最终图像上执行，且不形成本发明的一部分。因此，这里不详细 描述了。
ffl31本发明，可以创建具有洽当曝光和颜色信息的清晰图像，甚至是在低 光条件下。本发明會,在许多条件下使得利用可见光而使闪光灯是多余的。极 少需要或不需要颜色信息的电子放大，这会在最终图片中产生较少的噪点。尽 管需要很长的曝光时间，但是本发明能够获得清晰的图片。本发明的范围仅仅 由以下权利要求限定。
权利要求
1、一种用于创建图片的方法，包括以下步骤使光敏传感器(3)经受一系列曝光，其中可能曝光不足的一次曝光的数目为N，以及其中具有相对较强曝光的二次曝光的数目为1，其中N个一次曝光的亮度数据(Y)被用来创建最终图片的清晰度，且二次曝光的色度数据(UV)被用来创建最终图片的颜色含量。
2、 根据权利要求1的方法，其中N ^次曝光的亮度数据(Y)被存储 在存储器(5)中。
3、 根据权利要求2的方法，其中一次曝光的数目N大于1，且最后的一 次曝光的亮度数据被添加到存在于存储器(5)中的亮度 (Y)。
4、 根据权利要求3的方法，其中禾拥用于清晰度增强的校正来添加亮度 (Y)。
5、 根据禾又利要求4的方法，其中计算偏移向量，偏移向量表示最后的一 次曝光和存储器(5)的内容之间的移动产生的差值，在寻址存储器(5)时所 述偏移向量在添加过程中被fOT。
6、 根据丰又利要求1到5中任一木又利要求的方法，其中亮度 (Y)为 大的亮度值而被优化。
7、 根据权利要求6的方法，其中離麵(Y)是三个颜色鹏红(R)、 绿(G)和蓝(B)的加权和。
8、 根据权利要求1到5中任一权利要求的方法，其中三个颜色通道红(R)、 绿(G)和蓝(B)的力口权是相等的(Y=R+G+B)。
9、 根据前面任一权禾腰求的方法，其中色度 (UV)和亮度 (Y) 被发送，用于在图像处理器(4)中的处理。
10、 根据如从属于权利要求2到8的任意一个的禾又利要求9的方法，其中 二次曝光最后执行，且从传感器(3)读取色度数据(UV)，从存储器(5)读 取亮度数据(Y)。
11、 根据前面任一权利要求的方法，其中一次曝光的数目N的范围^/人2 到8 (2《N《8)。
12、 根据^l利要求1到11中任一权利要求的方法，其中一次曝光具有比 二次曝光更短的^^曝光时间。
13、 根据权利要求12的方法，其中N个一次曝光的曝光时间的总和大约 等于二次曝光的曝光时间。
14、 根据权利要求1至lj 11中任一权利要求的方法，其中利用比二次曝光 更小的光圈进行一次曝光。
15、 根据权利要求14的方法，其中N t次曝光的曝光总和大约等于二 次曝光。
16、 一种用于创建图片的设备，包括用于使光敏传感器(3)经受曝光的 光学系统(1， 2);用于存储图像数据的存储装置(5);以及能够处理图像数据的处理器(4)，其特征在于光学系统(1， 2)被配置来使光敏传感器(3)经受一系列曝光，其中可 能曝光不足的一次曝光的数目为N，以及其中具有相对较强曝光的二次曝光的 数目为l，其中处理器(4)被1SS来使用N t次曝光的亮度数据(Y)，以创建最 终图片的清晰度，且4OT二次曝光的色度数据(uv)，以创建最终图片的颜色
17、 根据禾又利要求16的设备，其中处理器(4)被配置来将N个一次曝 光的亮度M (Y)存储在存储器(5)中。
18、 根据权利要求17的设备，其中一次曝光的数目N大于1，且处理器 (4)被配置为将最后的一次曝光的亮度M添加到雜于存储器(5)中的亮度翻(Y)。
19、 根据禾又利要求18的设备，其中M器(4)被配置为利用用于清晰度 增强的校正来添加亮度 (Y)。
20、 根据权利要求19的设备，其中处理器(4)被配置为计算偏移向量， 偏移向量表示最后的一次曝光和存储器(5)的内容之间的移动产生的差值， 且在寻址存储器(5)时所述偏移向量在添加过程中被使用。
21、 根据权利要求16到20中任一权利要求的设备，其中亮度M (Y)为大的亮度值而被优化。
22、 根据权利要求21的设备，其中处理器(4)被配置为提取亮度,(Y)作为三个颜feil道红(R)、绿(G)和蓝(B)的加权和。
23、 根据权利要求16到20中任一权利要求的设备，其中三个颜色鹏红 (R)、绿(G)和蓝(B)的力口权是相等的(Y=R+G+B)。
24、 根据权利要求16到23中任一权利要求的设备，其中处理器(4)被 配置为从传感器(3)接收色度数据(UV)，且从存储器(5)接收亮度数据(Y)。
25、 根据如/AM于^l利要求17到23的任意一个的禾又利要求24的设备， 其中光学系统(1， 2)被配置为最后执行二次曝光，且处理器(4)被配置为 从传麟(3)读取色度数据(UV)，且从存储器(5)读取亮度M (Y)。
26、 根据权利要求16到25中任一权利要求的设备，其中一次曝光的数目 N的范围是从2到8 (2《N《8)。
27、 根据权利要求16到26中任一权利要求的设备，其中一次曝光具有比 二次曝光更短的单独曝光时间。
28、 根据权利要求27的设备，其中N t次曝光的曝光时间的总和大约等于二次曝光的曝光时间。
29、 根据权利要求16到26中任一权利要求的设备，其中利用比二次曝光更小的光圈进行一次曝光。
30、 根据权利要求29的设备，其中N t次曝光的曝光总和大约等于二 次曝光。
全文摘要
本发明涉及一种用于创建图片的方法和设备，更具体地涉及一种通过多次连续曝光而创建增强图片的方法。结合曝光可以创建具有增强属性的图片，特别是更好的颜色和光含量。通过执行一系列一次曝光并快速连续地执行二次曝光获得充足的光线。结合一次曝光来提供充分的亮度和清晰度。进行二次曝光来收集颜色信息。一次曝光和二次曝光结合来提供增强的图片。
文档编号H04N5/235GK101116324SQ200680003952
公开日2008年1月30日 申请日期2006年1月31日 优先权日2005年2月3日
发明者J·尼勒恩, M·沃纳森 申请人:索尼爱立信移动通讯股份有限公司