专利名称：高动态范围图像的成像方法及其系统的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及图像处理领域中的高动态范围图像的成像技 术。
背景技术：
在典型的使用电荷耦合元件(Charge-coupled Device，简称“CCD”)或互补金属 氧化物半导体(Complementary Metal Oxide Semiconductor，简称“CMOS”)图像传感器的 成像系统中，由于受到图像传感器本身特性和后端图像信号处理系统的精度影响，所获得 的最终图像的动态范围很难超过60-70dB，体现为如果对一个具有明亮天空背景的景物进 行拍摄时，几乎很难找到一个曝光参数使得景物和背景同时正确曝光，通常获得的图像不 是因为背景过曝一片白色，便是前景欠曝一片漆黑。虽然可以通过改进图像传感器本身的 设计如降低读出噪声，提高满阱电荷量，引入非线性响应特性曲线以及在后端信号处理上 改进算法，提高处理精度等方法提高获得图像的动态范围。但这些方法都需要对成像系统 的核心硬件做出一定的改动，特别是如果对图像传感器的设计做出改进，将耗费大量的人 力物力。因此在一些低成本或对成本控制严格的成像系统应用如手机相机、普通数码相机 上，人们希望能够有一种增加最少成本对当前相机系统进行改进的方法，使其也同时拥有 高动态范围成像(High Dynamic Range Imaging，简称“HDRI ”)的能力。高动态范围成像是用来实现比普通数字图像技术更大曝光动态范围(即更大的 明暗差别)的一组技术。高动态范围成像的目的就是要正确地表示真实世界中从太阳光直 射到最暗的阴影这样大的范围亮度。随着数码相机的日渐流行以及桌面软件变得易于使 用，许多业余摄影师使用高动态范围成像的方法生成高动态范围场景的照片。通常在普通标准动态范围的成像系统上获取高动态范围图像的方法基本上都是 利用了采用不同曝光参数对同一个准静态场景拍摄多张图像(即拍摄一系列已知曝光比例 的图像)，并通过后期处理算法提取每一张图像中的在正常曝光范围内没有丢失的有用信 息，并将它们合成为一张最终的高动态范围图像，具体可参见文献“P. E. Debevec, J. Malik. Recovering highdynamic range radiance maps from photographs，，、“T. Mitsunage, S. K. Nayar. Radiometric self calibration，，、“M. D. Grossberg，S. K. Nayar. Whatcan be known about the radiometric response from images，，。然而，本发明的发明人发现，现有技术中生成高动态范围图像的方法要求拍摄的 一系列的原始图像的像素在景物的空间位置上具有亚像素精度的配准，而普通的便携式成 像设备在手持拍摄时往往每张图像之间都有一定的空间错位，也就是说，高动态范围图像 的获取方法在便携式成像设备上难以实现。
发明内容
本发明的目的在于提供一种高动态范围图像的成像方法及其系统，使得高动态范 围图像的获取方法也能在便携式成像设备上得以实现。
为解决上述技术问题，本发明的实施方式提供了一种高动态范围图像的成像方 法，包含以下步骤带有振动传感器的便携式成像设备采用不同曝光参数对同一幅画面进行拍摄，得 到用于生成高动态范围图像的一系列原始图像，其中，如果振动传感器探测到图像抖动的 范围大于预置门限，则提示用户重新拍摄；利用便携式成像设备自带的手抖补偿功能对拍摄的各原始图像进行抖动补偿，并 保存经抖动补偿后的图像和与图像相对应的曝光参数；根据保存的图像和相对应的曝光参数生成高动态范围图像。本发明的实施方式还提供了一种高动态范围图像的成像系统，包含便携式成像设 备和生成单元，便携式成像设备中包含拍摄单元，用于采用不同曝光参数对同一幅画面进行拍摄，得到用于生成高动态 范围图像的一系列原始图像；振动传感器，用于探测拍摄单元拍摄的图像的抖动范围；提示单元，用于在振动传感器探测到图像抖动的范围大于预置门限时，提示用户 重新拍摄；手抖补偿单元，用于对各原始图像进行抖动补偿；保存单元，用于保存经抖动补偿后的图像和与图像相对应的曝光参数；生成单元用于根据保存的图像和相对应的曝光参数生成高动态范围图像。本发明实施方式与现有技术相比，主要区别及其效果在于在采用不同曝光参数对同一幅画面进行拍摄，以获取用于生成高动态范围图像的 一系列原始图像时，如果便携式成像设备自带的振动传感器探测到图像抖动的范围大于预 置门限，则提示用户重新拍摄。并且，由利用便携式成像设备自带的手抖补偿功能对拍摄的 各原始图像进行抖动补偿，根据经抖动补偿后的图像和与图像相对应的曝光参数生成高动 态范围图像。由于在便携式可手持拍摄的设备上加入了振动传感器，配合成像系统自带的 防抖动算法，补偿手持拍摄多张不同曝光参数的图像时得到的系列图像的相对位移，因此 保证了所拍摄的图像的配准精确性，使得高动态范围图像的获取方法也能在便携式成像设 备上得以实现，大大放松了对原始图像的拍摄条件的限制。进一步地，如果在采用不同曝光参数对同一幅画面进行拍摄的过程中，便携式成 像设备检测到拍摄的画面中有活动物体，则该便携式成像设备提示用户重新拍摄。进一步 确保了一系列原始图像对应的是同一幅画面，从而保证了高动态范围图像的生成能得以实 现。进一步地，在根据保存的图像和相对应的曝光参数生成高动态范围图像之前，对 经抖动补偿后的图像进行第二次的抖动补偿并保存。根据经第二次的抖动补偿后的图像和 相对应的曝光参数生成高动态范围图像。由于进行的第二次抖动补偿能够进一步提高所拍 摄的图像的配准精确性，因此所进行的第二次抖动补偿处理能够进一步确保高动态范围图 像的生成质量。进一步地，在恢复高动态范围图像过程中，可以将恢复处理的重点放在系列图像 中像素值范围的两端。丢弃系列图像中具有这些范围像素值的点而采用其他图像中对应的 区域信息，在系列图像中像素值始终处于中段正常曝光范围内的点，只采用系列图像中一张的信息。由于通常来说像素值处于像素值两端范围内的点所在的区域的信息损失最为严 重，因此往往可以在使用不同曝光参数的图像中提取得到正确曝光的图像信息合成加入最 终的高动态图像，而对于系列图像中像素值始终处于中段正常曝光范围内的点，可以只采 用系列图像中一张的信息，以避免景物发生了场景内位移后所带来的恢复后高动态图像的 细节模糊。进一步地，在生成高动态范围图像后，对生成的高动态范围图像进行非线性映射， 将生成的高动态范围图像的动态范围压缩至显示设备兼容的范围内。由于最终恢复得到的 高动态范围线性图像往往具有超过显示设备的动态范围，因此通过对生成的高动态范围图 像进行非线性映射，可使得生成的高动态范围图像能够显示在普通动态范围的显示器上。
图1是根据本发明第一实施方式的高动态范围图像的成像方法；图2是根据本发明第二实施方式的高动态范围图像的成像方法示意图；图3是根据本发明第三实施方式的高动态范围图像的成像方法示意图；图4是根据本发明第四实施方式的高动态范围图像的成像系统的结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本 领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化 和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施 方式作进一步地详细描述。本发明第一实施方式涉及一种高动态范围图像的成像方法，具体流程如图1所示。
在步骤110中，采用不同曝光参数对同一幅画面进行拍摄，得到用于生成高动态 范围图像的一系列原始图像。具体地说，用户使用带有振动传感器的便携式成像设备，如手 机相机、数码相机(DC)、数码摄像机(DV)等，拍摄一系列已知曝光比例的图像，在拍摄过程 中使用者应该尽量保持手的固定不动。同时，振动传感器实时传感便携式成像设备的位移 情况，如果振动传感器探测到图像抖动的范围大于预置门限(如便携式成像设备自带的手 抖补偿功能的手抖补偿范围或其他根据需要设置的抖动门限)，则提示用户重新拍摄。另 外，如果在采用不同曝光参数对同一幅画面进行拍摄的过程中，便携式成像设备检测到拍 摄的画面中有活动物体，则便携式成像设备提示用户重新拍摄。也就是说，如果便携式成像 设备通过一定的图像处理算法探测到场景中有活动物体，则该便携式成像设备应该提示用 户此时不适合高动态范围图像的拍摄，请用户控制手抖或者确保场景内无明显活动物体后 再允许拍摄重新开始。值得一提的是，在本步骤中检测到场景内有活动物体提示无法拍摄只是一种具体 的处理方式。在实际应用中，还可以只在物体活动程度较大的情况下可以如此处理，而在物 体活动较小的情况下，可通过后期的处理解决较小的物体活动带来的鬼影现象，如在生成 高动态范围图像时，对于该活动物体区域的图像，只采用系列图像中的一张具有适合中段灰度值的信息作为生成高动态范围图像的依据等方式。接着，在步骤120中，利用便携式成像设备自带的手抖补偿功能对拍摄的各原始 图像进行抖动补偿。通过配合自带的手抖补偿将手持拍摄中不可避免的残余抖动补偿掉， 使得获得的系列图像具有较好的像素空间位置一致性。接着，在步骤130中，保存经抖动补偿后的图像和与图像相对应的曝光参数。接着，在步骤140中，根据保存的图像和相对应的曝光参数生成高动态范围图像。 具体地说，在获取得到一系列适合生成高动态范围图像的图像序列后，通过后期合成处理 获得一张高动态范围的图像，它可以同时包含亮处和暗处的细节信息也即对场景的明暗处 同时正确曝光。后期的生成高动态范围图像的具体方式与现有技术相同，在此不再赘述。后 期的生成处理可以在PC软件上执行，当然，如果便携式成像设备的计算能力足够强大，则 也完全可以在便携式成像设备上通过对应软件实现。不难发现，在本实施方式中，由于在便携式可手持拍摄的设备上加入了振动传感 器，配合成像系统自带的防抖动算法，补偿手持拍摄多张不同曝光参数的图像时得到的系 列图像的相对位移，因此保证了所拍摄的图像的配准精确性，对现有硬件系统无需做核心 器件的改动，即可使得高动态范围图像的获取方法也能在便携式成像设备上得以实现，大 大放松了对原始图像的拍摄条件的限制。另外，如果在采用不同曝光参数对同一幅画面进行拍摄的过程中，便携式成像设 备检测到拍摄的画面中有活动物体，则该便携式成像设备提示用户重新拍摄。进一步确保 了一系列原始图像对应的是同一幅画面，从而保证了高动态范围图像的生成能得以实现。本发明第二实施方式涉及一种高动态范围图像的成像方法。第二实施方式在第一 实施方式的基础上进行了改进，主要改进之处在于在根据保存的图像和相对应的曝光参 数生成高动态范围图像之前，先对经抖动补偿后的图像进行第二次的抖动补偿并保存，根 据经第二次的抖动补偿后的图像和相对应的曝光参数生成高动态范围图像。在生成高动态 范围图像时，丢弃像素值处于像素值两端范围内的点，采用其他帧图像中对应的区域信息； 对于保存的各图像中对应区域内的像素值始终处于中段正常曝光范围内的点，只采用保存 的一帧图像中的信息。根据采用的信息生成高动态范围图像。其中，像素值两端范围、中段 正常曝光范围，为预先设定的像素值范围。具体地说，由于便携式成像设备(如相机)的图像信号处理(Image SignalProcessing，简称“ISP”)能力有限，自带的手抖补偿效果并不能保证系列图像之间 完全没有错位。因此，为了确保更好的恢复效果应该对拍摄得到的系列图像采用更为高级 的算法进一步进行抖动补偿。完成了第二次的抖动补偿后，即可以采用文献“P. E. Debevec, J. Malik. Recovering high dynamicrange radiance maps from photographs，，中的不使用 标板在线恢复成像系统的响应曲线的方法或事先离线校正得到响应曲线并在线查表的方 法进行高动态范围图像恢复。在恢复高动态范围图像过程中，可以将恢复处理的重点放在系列图像中像素值范 围的两端，如[240-255]，W-20]。丢弃系列图像中具有这些范围像素值的点而采用其他图 像中对应的区域信息。因为通常来说这些区域的信息损失最为严重，但是往往可以在系列 图像中使用不同曝光参数的图像中提取得到正确曝光的图像信息合成加入最终的高动态 图像。而在系列图像中像素值始终处于中段正常曝光范围内的点，可以只采用系列图像中一张的信息，从而避免了景物发生了场景内位移带来恢复后高动态图像的细节模糊。在本实施方式中，第二次的抖动补偿以及高动态范围图像的生成过程可通过PC 上运行的软件实现，如图2所示。当然，在实际应用中，如果便携式成像设备的计算能力足 够强大，则也完全可以在便携式成像设备上通过对应软件实现。不难发现，本实施方式中在根据保存的图像和相对应的曝光参数生成高动态范围 图像之前，对经抖动补偿后的图像进行第二次的抖动补偿并保存。根据经第二次的抖动补 偿后的图像和相对应的曝光参数生成高动态范围图像。由于进行的第二次抖动补偿能够进 一步提高所拍摄的图像的配准精确性，因此所进行的第二次抖动补偿处理能够进一步确保 高动态范围图像的生成质量。本发明第三实施方式涉及一种高动态范围图像的成像方法。第三实施方式在第二 实施方式的基础上进行了改进，主要改进之处在于在生成高动态范围图像后，还需对生成 的高动态范围图像进行非线性映射，在保持场景信息不丢失的情况下将它的动态范围压缩 至显示设备兼容的范围内，如图3所示。由于最终恢复得到的高动态范围线性图像往往具有超过显示设备的动态范围，因 此在生成高动态范围图像后，对生成的高动态范围图像进行非线性映射，将生成的高动态 范围图像的动态范围压缩至显示设备兼容的范围内，可使得生成的高动态范围图像能够显 示在普通动态范围的显示器上。本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是 以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储 器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的 或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存 储器(Programmable Read Only Memory，简称 “PROM”)、只读存储器(Read-Only Memory, 简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简 称“EEPR0M”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。本发明第四实施方式涉及一种高动态范围图像的成像系统。如图4所示，该高动 态范围图像的成像系统包含便携式成像设备和生成单元，便携式成像设备中包含拍摄单元，用于采用不同曝光参数对同一幅画面进行拍摄，得到用于生成高动态 范围图像的一系列原始图像。振动传感器，用于探测拍摄单元拍摄的图像的抖动范围。提示单元，用于在振动传感器探测到图像抖动的范围大于预置门限(如便携式成 像设备自带的手抖补偿功能的手抖补偿范围)时，提示用户重新拍摄。活动物检测单元，用于在拍摄单元的拍摄过程中检测拍摄的画面中是否有活动物 体，如果检测到拍摄的画面中有活动物体，则指示提示单元向用户提示重新拍摄。手抖补偿单元，用于对各原始图像进行抖动补偿。保存单元，用于保存经抖动补偿后的图像和与图像相对应的曝光参数。生成单元用于根据保存的图像和相对应的曝光参数生成高动态范围图像。该生成 单元可位于PC机中，当然，如果便携式成像设备的计算能力足够强大，则该生成单元可位 于便携式成像设备中。
不难发现，第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可 与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然 有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用 在第一实施方式中。本发明第五实施方式涉及一种高动态范围图像的成像系统。第五实施方式在第 四实施方式的基础上进行了改进，主要改进之处在于高动态范围图像的成像系统中还包 含二次抖动补偿单元，用于对保存单元保存的经抖动补偿后的图像进行第二次的抖 动补偿，并指示保存单元对经第二次的抖动补偿的图像进行保存。生成单元根据经第二次的抖动补偿后的图像和相对应的曝光参数生成高动态范 围图像。二次抖动补偿单元和生成单元位于个人电脑PC中，或者，二次抖动补偿单元和生 成单元位于便携式成像设备中。生成单元通过以下方式生成高动态范围图像丢弃像素值处于像素值两端范围内的点，采用其他帧图像中对应的区域信息。对 于保存的各图像中对应区域内的像素值始终处于中段正常曝光范围内的点，只采用保存的 一帧图像中的信息。根据采用的信息生成高动态范围图像。其中，像素值两端范围、中段正 常曝光范围，为预先设定的像素值范围。不难发现，第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可 与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然 有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用 在第二实施方式中。本发明第六实施方式涉及一种高动态范围图像的成像系统。第六实施方式在第 五实施方式的基础上进行了改进，主要改进之处在于高动态范围图像的成像系统中还包 含非线性映射单元，用于对生成单元生成的高动态范围图像进行非线性映射，将生 成的高动态范围图像的动态范围压缩至显示设备兼容的范围内。不难发现，第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可 与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然 有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用 在第三实施方式中。需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上， 一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理 单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实 现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新 部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切 的单元引入，这并不表明上述设备实施方式并不存在其它的单元。虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但 本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发 明的精神和范围。
权利要求
1.一种高动态范围图像的成像方法，其特征在于，包含以下步骤带有振动传感器的便携式成像设备采用不同曝光参数对同一幅画面进行拍摄，得到用 于生成高动态范围图像的一系列原始图像，其中，如果所述振动传感器探测到图像抖动的 范围大于预置门限，则提示用户重新拍摄；利用所述便携式成像设备自带的手抖补偿功能对拍摄的各所述原始图像进行抖动补 偿，并保存经所述抖动补偿后的图像和与图像相对应的曝光参数； 根据所述保存的图像和相对应的曝光参数生成高动态范围图像。
2.根据权利要求1所述的高动态范围图像的成像方法，其特征在于，还包含以下步骤 如果在所述采用不同曝光参数对同一幅画面进行拍摄的过程中，所述便携式成像设备检测到拍摄的画面中有活动物体，则所述便携式成像设备提示用户重新拍摄。
3.根据权利要求1所述的高动态范围图像的成像方法，其特征在于，在根据所述保存 的图像和相对应的曝光参数生成高动态范围图像步骤之前，还包含以下步骤对经所述抖动补偿后的图像进行第二次的抖动补偿并保存；所述生成高动态范围图像的步骤中，根据经所述第二次的抖动补偿后的图像和相对应 的曝光参数生成高动态范围图像。
4.根据权利要求1所述的高动态范围图像的成像方法，其特征在于，所述生成高动态 范围图像的步骤中，包含以下子步骤丢弃像素值处于像素值两端范围内的点，采用其他帧图像中对应的区域信息； 对于保存的各图像中对应区域内的像素值始终处于中段正常曝光范围内的点，只采用 保存的一帧图像中的信息；根据采用的信息生成高动态范围图像其中，所述像素值两端范围、所述中段正常曝光范围，为预先设定的像素值范围。
5.根据权利要求1至4中任一项所述的高动态范围图像的成像方法，其特征在于，在生 成高动态范围图像后，还包含以下步骤对生成的高动态范围图像进行非线性映射，将生成的高动态范围图像的动态范围压缩 至显示设备兼容的范围内。
6.根据权利要求1至4中任一项所述的高动态范围图像的成像方法，其特征在于，所述 预置门限为所述便携式成像设备自带的手抖补偿功能的手抖补偿范围。
7.一种高动态范围图像的成像系统，其特征在于，包含便携式成像设备和生成单元，所 述便携式成像设备中包含拍摄单元，用于采用不同曝光参数对同一幅画面进行拍摄，得到用于生成高动态范围 图像的一系列原始图像；振动传感器，用于探测所述拍摄单元拍摄的图像的抖动范围； 提示单元，用于在所述振动传感器探测到图像抖动的范围大于预置门限时，提示用户 重新拍摄；手抖补偿单元，用于对所述各原始图像进行抖动补偿；保存单元，用于保存经所述抖动补偿后的图像和与图像相对应的曝光参数；所述生成单元用于根据所述保存的图像和相对应的曝光参数生成高动态范围图像。
8.根据权利要求7所述的高动态范围图像的成像系统，其特征在于，所述便携式成像设备中还包含活动物检测单元，用于在所述拍摄单元的拍摄过程中检测拍摄的画面中是否有活动物 体，如果检测到拍摄的画面中有活动物体，则指示所述提示单元向用户提示重新拍摄。
9.根据权利要求7所述的高动态范围图像的成像系统，其特征在于，所述高动态范围 图像的成像系统中还包含二次抖动补偿单元，用于对所述保存单元保存的经所述抖动补偿后的图像进行第二次 的抖动补偿，并指示所述保存单元对经第二次的抖动补偿的图像进行保存；所述生成单元根据经所述第二次的抖动补偿后的图像和相对应的曝光参数生成高动 态范围图像。
10.根据权利要求9所述的高动态范围图像的成像系统，其特征在于，所述二次抖动补 偿单元和所述生成单元位于个人电脑PC中，或者，所述二次抖动补偿单元和所述生成单元 位于所述便携式成像设备中。
11.根据权利要求7至10中任一项所述的高动态范围图像的成像系统，其特征在于，所 述生成单元通过以下方式生成高动态范围图像丢弃像素值处于像素值两端范围内的点，采用其他帧图像中对应的区域信息；对于保存的各图像中对应区域内的像素值始终处于中段正常曝光范围内的点，只采用 保存的一帧图像中的信息；根据采用的信息生成高动态范围图像；其中，所述像素值两端范围、所述中段正常曝光范围，为预先设定的像素值范围。
12.根据权利要求7至10中任一项所述的高动态范围图像的成像系统，其特征在于，所 述高动态范围图像的成像系统中还包含非线性映射单元，用于对所述生成单元生成的高动态范围图像进行非线性映射，将生 成的高动态范围图像的动态范围压缩至显示设备兼容的范围内。
全文摘要
本发明涉及图像处理领域，公开了一种高动态范围图像的成像方法及其系统。本发明中，在便携式可手持拍摄的设备上加入了振动传感器，配合成像系统自带的防抖动算法，补偿手持拍摄多张不同曝光参数的图像时得到的系列图像的相对位移，因此保证了所拍摄的图像的配准精确性，使得高动态范围图像的获取方法也能在便携式成像设备上得以实现，大大放松了对原始图像的拍摄条件的限制。
文档编号H04N5/235GK102104737SQ20091020200
公开日2011年6月22日 申请日期2009年12月21日 优先权日2009年12月21日
发明者林福辉, 陈远 申请人:展讯通信(上海)有限公司