低光高动态范围图像的无运动模糊捕捉的制作方法

文档序号:9529459阅读:677来源:国知局
低光高动态范围图像的无运动模糊捕捉的制作方法
【专利说明】低光高动态范围图像的无运动模糊捕捉
[0001]背景
[0002]诸如移动电话等移动设备所捕捉的图像的品质持续改进。然而,部分由于这些移动设备中一些移动设备的小形状因子,手运动和/或对象运动所导致的图像模糊仍旧是一个挑战。而且,随着移动设备变得更频繁地在低光照条件下使用,移动设备中的相机经常不具有足够长的曝光时间来补偿光的缺失。此外,移动设备中的相机的动态范围由于图像传感器的缩小的像素尺寸而被限制。结果,移动设备所捕捉的图像的品质可能低于期望。
[0003]—些现有系统使用光学图象稳定(0IS)来补偿移动。在此类系统中,相机透镜或图像传感器在曝光时间期间被移位以补偿相机移动。相机透镜或图像传感器由诸如内置在紧凑相机模块中的音圈马达或微机电系统(MEMS)等致动器来机械驱动。现有0IS系统昂贵、消耗大量功率、并且增大了移动设备中的相机模块的尺寸。在此类系统中,移动设备消耗珍贵的电池电力并且变大。而且,现有0IS系统尝试仅补偿手的颤动所导致的运动模糊,但是不补偿由场景内主体移动所导致的运动模糊。此外,现有解决方案没有解决图像的高光部分中的像素饱和。
[0004]概述
[0005]本公开的实施例访问由计算设备所捕捉的图像。来自与该计算设备相关联的加速度计和/或陀螺仪的读数被访问。每个读数对应于所访问图像中的至少一个图像。所访问图像中的每个图像的全局移动基于所访问的读数被计算。所访问图像中的每个图像被基于所计算的全局移动重新对齐。重新对齐后的所访问图像被组合为单一输出图像。
[0006]替换地或附加地,来自由计算设备所捕捉的图像序列的第一图像和第二图像被访问。将与第一图像中的像素相关联的强度值和与第二图像中的相应像素相关联的强度值相比较。基于所述比较将与第一图像中的像素相关联的强度值和与第二图像中的像素相关联的强度值累计,从而产生累计强度值。根据累计强度值生成输出图像。
[0007]提供该概述以便以简化形式介绍概念的选集,所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征,也不意图被用来帮助确定所要求保护的主题的范围。
[0008]附图简述
[0009]图1是解说包括与多个计算设备通信的服务器计算设备的基于云的系统的示例性框图。
[0010]图2是解说具有可执行组件的计算设备的示例性框图。
[0011]图3是解说用于从所访问图像产生输出图像同时补偿所访问图像中的全局移动的计算设备的操作的示例性流程图。
[0012]图4是解说用于通过补偿所访问图像中的场景内移动来从所访问图像产生输出图像的计算设备的操作的示例性流程图。
[0013]图5是在补偿全局移动和场景内移动之后的输出图像生成的示例性框图。
[0014]图6是解说用于估计图像位移的滤波操作的示例性框图。
[0015]图7是解说通过拒绝在预期输出范围之外的像素强度值来选择性累计在预期输出范围内的像素强度值的示例性图示。
[0016]图8是计算设备所捕捉的四个帧的序列的示例性解说。
[0017]图9A是未经处理的从图8中示出的四个帧的序列产生的累计帧的示例性解说。
[0018]图9B是在补偿场景内移动之后的从图8中示出的四个帧的序列产生的累计帧的示例性解说。
[0019]图10A是“无纠正”的样本输出图像、具有光学图像稳定(0IS)的样本输出图像、以及在使用图3和/或图4中解说的操作处理之后的样本输出图像的示例性解说。
[0020]图10B解说了来自图10A的样本输出图像的重新绘制版本。
[0021 ] 在全部附图中,相应的附图标记指示相应的部分。
[0022]详细描述
[0023]参考各图,本公开的各实施例补偿捕捉图像214时的全局运动和/或场景内运动。在一些实施例中,帧的粹发(burst)由计算设备102捕捉。帧的粹发表示按定义速率(例如,每秒帧数)捕捉的图像214的序列。加速度计读数216和/或陀螺仪读数218与帧一起(即,同时)被捕捉。计算设备102或其他处理实体使用加速度计读数216和/或陀螺仪读数218来计算所捕捉帧之间的全局移动。所述帧中的每个帧被基于所计算的全局移动重新对齐。在重新对齐帧之后,将与重新对齐后的帧中的像素相关联强度值与从参考帧得到的预期强度值相比较。基于该比较,选择性累计与重新对齐后的帧中的像素相关联的强度值,且根据选择性累计的强度值来生成输出图像。
[0024]本公开的各方面从而补偿了捕捉帧时的全局移动和场景内对象移动。而且,与重新对齐后的帧中的像素相关联的强度值的选择性累计组织了帧捕捉期间的饱和(saturat1n)。以此方式,本公开的实施例提供了低成本、低功率且稳健的解决方案,而无需操作与图像传感器206 —起驻留在计算设备102的相机模块中的任何机械或移动部件(例如,与光学图像稳定相对比)。如此,本公开的各方面补偿全局运动和场景内运动两者,同时阻止捕捉期间的饱和,而不增大相机模块的尺寸。
[0025]本公开的各方面进一步改善了在低光照条件下移动设备(例如移动电话)所捕捉的图像214的品质而不具有运动模糊伪像(或具有减少的运动模糊伪像),从而相对于光学图像稳定(10S)系统带来了改善的信噪比(SNR)。通过跨如本文描述的图像214的猝发针对每个像素选择性累计强度值,图像传感器206的动态范围因为每个像素能够在较高光照水平操作而被增大。例如,动态范围增大N倍,其中N是总帧数。通过扩展相机模块的动态范围,阻止图像传感器206在高照明下饱和。相对地,输出图像的有效曝光时间比传统图像传感器能处理地更长。
[0026]尽管本公开的一些方面被描述为补偿全局运动和场景内运动两者,然而构想了一些实施例补偿全局运动或场景内运动。而且,尽管本文所解说和描述的操作可由计算设备102(例如,相机、移动电话、平板等)作为独立设备执行,一些基于云的实施例构想了与一个或多个计算设备102通信的服务器计算设备106的操作的执行,如接下来参考图1描述的。
[0027]参考图1,图1是解说包括与多个计算设备102通信的服务器计算设备106的基于云的系统的示例性框图。在图1的示例中,计算设备102(诸如计算设备#1到计算设备測)经由网络104与服务器计算设备106通信。计算设备102表示执行指令(例如作为应用程序、操作系统功能或这两者)以实现本文描述的操作和功能性的任何设备。计算设备102可包括移动计算设备102或任何其它的便携式设备。在一些实施例中,移动计算设备102包括移动/蜂窝电话、相机、膝上型计算机、图形输入板、计算板、上网本、游戏设备和/或便携式媒体播放器。计算设备102还可包括较不便携的设备,诸如台式个人计算机、自助服务终端和桌面设备。另外,计算设备102可以表示一组处理单元或其它计算设备。
[0028]网络104可包括有线和/或无线网络。网络104还可使用任何类型的网络拓扑和/或通信协议来实现,并可被表示为或以其他方式实现为两个或更多个网络的组合,并可包括网际协议(IP)网络和/或因特网。网络104还可包括由移动网络运营商和/或其他移动运营商来管理的移动运营商网络,诸如通信服务提供商、移动电话提供商和/或因特网服务提供商。
[0029]在操作中,本文描述的功能性可被计算设备102和/或服务器计算设备106中的每一个执行。例如,计算设备102中的每一个可对该计算设备102捕捉的图像214的序列执行图像处理。在另一示例中,计算设备102之一将所捕捉图像214的序列连同相应的加速度计读数216和/或陀螺仪读数218 —起发送(例如,实时地、周期性地、间歇地、成批次地等)给服务器计算设备106。服务器计算设备106执行图像处理并将输出图像返回至计算设备102以用于显示。
[0030]接下来参考图2,示例性框图解说了计算设备102的架构。在图2的示例中,计算设备102包括至少一个图像传感器206、至少一个陀螺仪210、至少一个加速度计208、至少一个处理器204、以及至少一个存储器区域212。图像传感器206可以是任何类型的模拟传感器、诸如电荷藕合器件(CCD)或互补金属氧化物半导体(CMOS)等数字传感器、等。本领域已知的其他类型的图像传感器206可在计算设备102中使用以捕捉图像214的序列。
[0031]加速度计208操作以捕捉计算设备102的移动,诸如在捕捉图像214(例如帧)时。例如,加速度计208提供表示计算设备102的移动的数据。单轴加速度计、多轴加速度计、微机械加速度计、以及其他加速度计均在本公开的范围内。
[0032]陀螺仪210操作以捕捉计算设备102在捕捉图像214的序列时的旋转移动。例如,陀螺仪210提供表示计算设备102的旋转移动的数据。机械、电子、微芯片封装微机电系统(MEMS)、固态环激光器、光纤、量子陀螺仪以及其他陀螺仪在本公开的范围内。
[0033]在一些实施例中,加速度计读数216和/或陀螺仪读数218在与计算设备102捕捉图像214大致、基本或另外地在大约相同的时间被捕捉。例如,加速度计读数216和/或陀螺仪读数218与每个图像214的捕捉同
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1