融合图像系统中的场景运动校正的制作方法
【技术领域】
[0001] 本公开设及融合图像系统中的场景运动校正。
【背景技术】
[0002] 设及减少与相机运动关联的图像模糊的运一大类技术可被称为"图像稳定"。实际 上，图像稳定的主要目标是减少因拍摄者在图像捕获期间不能消除他们的手部运动而造成 的相机抖动。图像稳定可用于双筒镜、静态照相机和摄像机、W及天文望远镜。在静态照相 机中，对于慢快口速度或者长焦距（摄远）镜头，相机抖动可能是尤其有问题的。对于摄像 机，相机抖动可能造成所记录的视频中可见的帖跳动。在天文装置中，随时间推移可能造成 对象的视位置改变的大气中的变化会加重镜头抖动问题。
[0003] 例如可通过将相机安装到静止平台（例如，=脚架）或者通过专用图像捕获硬件 来提供图像稳定。采用后一种方式的装置通常被称为具有光学图像稳定（OIS)。理想上，图 像稳定会补偿所有相机运动，W便即使在长曝光时间下捕获时也产生场景的静态背景锐利 的图像。
【发明内容】
[0004] 在一个实施例中，所公开的构思提供了一种使用图像稳定平台捕获场景的多个图 像的方法（至少一个图像具有短曝光时间并且至少一个图像具有长曝光时间）。可WW使 得在输出图像中静止和移动对象都被清楚地表示并且没有伪影的方式融合被捕获图像。一 种提供运种能力的设及捕获短-长-短（化巧突发图像序列的方法包括：基于第一短曝光 图像和第二短曝光图像确定第一空间差异图，W及根据该图确定指示场景内的对象的运动 量的运动值。如果运动值小于第一阔值（指示极少运动或没有运动）或大于第二阔值（指 示大量运动），则使用单个长曝光图像作为输出图像可W是恰当的。另一方面，如果运动值 介于两个指定阔值之间，则可融合两个短曝光图像（使用空间差异图）W产生减噪的短曝 光图像。接着，可将长曝光图像与减噪的短曝光图像融合（也使用空间差异图）W产生输 出图像。
[0005] 另一种提供运种能力的设及捕获长-短-长化SL)突发图像序列的方法包括：通 过基于第一长曝光图像和短曝光图像之间的第一空间差异图融合第一长曝光图像和该短 曝光图像来产生第一中间图像，W及通过基于第二长曝光图像和该短曝光图像之间的第二 空间差异图融合第二长曝光图像和短曝光图像来产生第二中间图像。接着，可融合第一中 间图像和第二中间图像，W产生输出图像。如前，可W用第一中间图像和第二中间图像产生 空间差异图，并且在最终融合期间使用该空间差异图。
[0006] 又一种提供运种能力的设及在融合期间强调图像中的某些区域（例如，赋予更多 权重）的方法包括：通过突发捕获获得多个图像，其中存在至少一个短曝光图像和至少一 个长曝光图像。一旦获得，使用所述图像中的至少一个（例如，短曝光图像）来识别对象。 示例对象包括人、人脸、宠物、马等。可通过加重短曝光图像中发现了被识别对象的那些区 域来指导融合过程。运样做的目的在于强调区域边缘，从而增加了区域特别锐利的机会。
[0007]另一种方法通过在突发捕获序列期间捕获的任何数量的短图像和长图像的融合 期间使用空间差异图来综合化S和L化捕获序列二者。还公开了电子装置，W及存储有使得 电子装置中的一个或多个处理器或计算机执行描述的方法的指令的非暂态程序存储装置。
【附图说明】
[000引图1用流程图形式示出根据一个实施例的图像捕获操作。
[0009] 图2用流程图形式示出根据一个实施例的空间差异图产生操作。
[0010] 图3A和图3B示出根据一个实施例的差异图和空间差异图之间的差异。 W11] 图4A至图4C示出根据各种实施例的用于将短持续时间图像和长持续时间图像中 的像素组合的例示方法。
[0012] 图5用流程图形式示出根据另一个实施例的空间差异图产生操作。
[0013] 图6用流程图形式示出根据一个实施例的图像融合操作。
[0014] 图7用流程图形式示出根据另一个实施例的图像融合操作。
[0015] 图8用流程图形式示出根据一个实施例的短-长-短融合操作。
[0016] 图9用流程图形式示出长-短-长融合操作。
[0017] 图10用流程图形式示出融合操作受被检测对象（例如，人脸、马等）影响而产生 偏向的多图像图像捕获操作。
[0018] 图11用流程图形式示出根据一个实施例的多功能电子装置。
【具体实施方式】
[0019] 本公开设及用于改进稳定图像捕获装置的图像捕获操作的系统、方法和计算机可 读介质。总体上，公开技术用于通过稳定图像捕获装置捕获并且融合场景的短曝光图像和 长曝光图像。更特别地，本文中公开的技术不仅使用了共同捕获的短曝光图像和长曝光图 像之间的个体像素差异（如现有技术的差异图），而且使用了短曝光图像和长曝光图像中 的遮挡（occluded)区域的空间结构。用于体现运个特征的新的手段是"空间差异图"。空 间差异图可用于识别用于融合的短曝光图像和长曝光图像中的像素，在一个实施例中，可 用于识别可被过滤W减少最终输出图像中的视觉不连续（模糊）的短曝光图像的像素。如 本文中使用的，术语"数字图像捕获装置"、"图像捕获装置"或更简单地"相机"意指能够捕 获数字图像（包括静态和视频序列）的任何仪器。
[0020] 在下面的描述中，出于说明目的，阐述了众多具体细节，W提供对发明构思的彻底 理解。作为该描述的一部分，本公开的附图中的一些附图用框图或流程图的形式表现结构 和装置，W避免使本发明模糊。为了清晰，并没有描述实际实现方式的所有特征。此外，为了 可读性和指导目的，主要选择了本公开中使用的语言，并且可不选择运些语言来勾画或限 定发明主题、诉诸于确定此发明主题所需的权利要求。本公开中引用"一个实施例"或"实 施例"表示结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中， 多处引用"一个实施例"或"实施例"不应该被理解为一定都是指同一实施例。
[0021] 将理解，在任何实际实现方式的开发中（如在任何开发项目中），需要作出众多决 定来实现开发者的具体目标（例如，符合与系统和业务相关的限制），并且运些目标可随实 现方式而变化。还将理解，运种开发努力可能是复杂且耗时的，但却是普通技术人员在设计 具有本公开的益处的图像处理系统的实现方式时进行的常规工作。
[0022] 参照图1，根据一个实施例的图像捕获操作100在图像捕获装置105捕获场景的多 个图像110 (框115)时开始。在一个实施例中，图像110包括序列为化或LS的一个短曝 光图像（被标明为"S")和一个稳定长曝光图像（被标明为"L")。例示性的短曝光时间 介于1/15秒和1/60秒之间，并且通常是基于场景的LUX等级进行选择的。在一个具体示 例中，可在曝光时间为30毫秒（ms)并且ISO为500的情况下捕获短曝光图像，而可在曝光 时间为250ms并且ISO为64的情况下捕获长曝光图像。在一些实施例中，在短曝光设置和 长曝光设置之间可存在f制光圈（f-stop)的限制（例如，2或3档光圈）。稳定长曝光图 像提供了场景的静态区域（即，没有出现场景对象运动的那些区域）的锐利表示。短曝光 图像捕获由移动对象造成的模糊显著减少（相比于长曝光图像）的场景的锐利但含噪的表 示。在另一个实施例中，图像110可包括序列为S-SL、LS…S、SLS或S-SLS…S的多个 短曝光图像W及稳定长曝光图像。在运些实施例中，可融合短曝光图像中的一些或全部，W 提供接着可根据本公开使用的单个减噪的短曝光图像。在又一个实施例中，图像110可包 括序列为诸如L…化…、S…化…S、レ??S'"L…的两个或更多个稳定长曝光图像和一个或多 个短曝光图像。在运种性质的实施例中，可将多个长曝光图像融合在一起，W提供单个减噪 的长曝光图像。注意，一般而言，捕获的短曝光图像与稳定长曝光图像在时间上相差越大， 它对于正确识别长曝光图像中的高度相关的场景对象运动的意义越小。在一个或多个实施 例中，可控制短曝光图像和长曝光图像的增益，使得运两个图像的亮度"大致"匹配。（如运 里使用的，术语"大致"一般表示两个量的匹配足W满足实现方式的操作目的。）匹配短曝 光图像和长曝光图像的亮度允许更高效和准确的对准，然后可W通过其他方式实现去除伪 影。将理解，运个特征在被使用时可导致短曝光图像的增益比长曝光图像的增益高得多。
[0023]一旦被捕获，（减噪的）长曝光和（减噪的）短曝光图像就可被注册（120)。一旦 被注册，短曝光图像和长曝光图像就可被用于产生空间差异图（框125)。如本文中使用的， 空间差异图是其元素值表示两个图像之间的差异（或相似度）并且还解释了用来形成它的 两个图像之间的空间关系的对象。（参见W下针对图2和图5进行的讨论）。空间差异图 接着可用于融合短曝光图像和长曝光图像（框130)，W产生最终输出图像135。
[0024] 参照图2,根据一个实施例的空间差异图产生操作125在接收到短曝光图像200和 长曝光图像205时开始。（如上所述，短曝光图像200可代表减噪的短曝光图像，长曝光图 像205可代表减噪的长曝光图像。）可根据短曝光图像200和长曝光图像205产生差异图 210 (框215)。举例来说，差异图210中的各元素的值可等于该值的对应的短曝光图像像素 和长曝光图像像素之间的算术差、绝对差、平均绝对差或均方差。在一个实施例中，差异图 元素值可W基于亮度