自动图像捕捉的制作方法

专利名称：自动图像捕捉的制作方法
技术领域：
本公开涉及用于在移动电子设备中自动执行图像捕捉的方法、系统和装置。
背景技术：
当今的移动电子设备通常包括允许该设备捕捉并存储图像的硬件和相关联的软件。例如，包括图像捕捉功能的移动电话通常被称为相机电话，并且允许用户容易且快速地捕捉快照或实况视频。然而，由于相机电话是手持式的，因此用户手臂或手的运动直接传递到相机，图像质量不可避免地被降级。除了手抖动以外，相机电话中的图像捕捉通常通过触摸屏按钮来激活，这造成了额外的相机运动。此外，与移动电子设备一起使用的相机组件的设计和构造中的差异使其相比于常规的独立相机更易受到用户引起的运动的影响。例如 ，移动电子设备中所使用的相机组件通常出于紧凑性、简便性和价格而设计，从而导致组件不能以独立相机中其对应物的质量和精度来操作。

发明内容
本文描述了使用移动电子设备中的相机来捕捉静止或视频图像的技术和工具。本文公开的示例性技术之一包括感测相机运动并在相机静止时自动地触发图像捕捉。使用这一方法避免了在相机运动时拍摄照片，由此减少图像模糊。使用这一示例性方法还减少或消除了对后续图像更改或运动补偿的需求。在具体实施例中，通过利用高分辨率传感器以及移动设备可用来准确评估何时触发快门的计算器材，来在运动中间(in-between)捕捉图像。随后可将图像保存在设备内的存储器中。在所公开的自动图像捕捉技术的特定实施例中，用于图像接受的一组触发准则和阈值是(例如由用户)预选择的。所公开的技术可在各种各样的系统和设备中实现。例如，一个示例性系统包括移动设备，该移动设备包括相机、设备运动检测器、以及被编程为从运动检测器接收数据并触发图像捕捉的处理器(例如图像信号处理器(ISP))。提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。


图I是描绘示例性移动设备的系统图，包括各种可选硬件和软件组件。图2示出移动设备的一个通用示例，该移动设备包括触摸屏显示器、相机、近程传感器、和按钮。图3是示出移动设备内通常提供的、诸如图I和2中所示的那些组件之类的相机的基本组件的框图。图4示出当相机捕捉应用正在移动设备上运行时设备显示器的外观的一个通用示例。图5示出移动设备在呈现要由用户指定的图像捕捉设置和选项时的一个通用示例。图6是以自动图像捕捉为特征的移动设备的示例性软件架构的框图。图7是自动图像捕捉方法的第一示例性实施例的流程图。图8是自动图像捕捉方法的第二示例性实施例的流程图。图9是示出用于所公开的自动图像捕捉方法的实施例的图像处理流水线的框图。图10示出了其中可实现所描述的实施例、技术、和技艺的合适的计算环境的一个 通用示例。
具体实施例方式本发明是在代表性实施例的上下文中阐述的，各实施例不旨在以任何方式构成限制。如在本申请和权利要求书中使用的，单数形式“一”、“一个”、“该”包括复数形式，除非上下文清楚地另外指明。另外，术语“包括”意味着“开放性包含”。此外，术语“耦合的”涵盖了机械、电子、磁、光以及将物耦合或链接在一起的其他实用方式，并且不排除耦合的物之间中间元素的存在。另外，术语“和/或”意指短语中的任何一个项或项组合。本文描述的所述方法、系统和装置不应被解释为以任何方式构成限制。相反，本公开针对各公开的实施例(单独和在彼此的各种组合和子组合中)的所有新颖和非显而易见的特征和方面。所公开的方法、系统和装置不限于任何具体方面或特征或者其组合，所公开的方法、系统和装置也不需要存在任何一个或多个具体优点或解决一个或多个具体问题。虽然为方便呈现起见所公开的方法的一些方法的操作是以特定的顺序来描述的，但应当理解，这一描述方法涵盖重新安排，除非以下阐明的具体语言要求特定排序。例如，在某些情况下，可以重新安排、省略、或并发地执行被顺序地描述的操作。此外，为简明起见，附图可能未示出可结合其他方法、系统和装置使用所公开的方法、系统和装置的各种方式。此外，说明书有时使用像“产生”、“生成”、“选择”、“捕捉”和“提供”等术语来描述所公开的方法。这些术语是所执行的实际操作的高级抽象。与这些术语相对应的实际操作可取决于特定实现而不同并且易于由本领域普通技术人员辨别。所公开的方法中的任一个可使用存储在一个或多个计算机可读介质(例如，非瞬态计算机可读介质，诸如一个或多个易失性存储器组件(诸如DRAM或SRAM)、或非易失性存储器组件(诸如硬盘驱动器))上并且在计算机(例如，任何商业上可获得的计算机，包括智能电话或包含计算硬件的其它移动设备)上执行的计算机可执行指令来实现。用于实现所公开的技术的计算机可执行指令中的任何一个以及在所公开的实施例的实现期间所创建和使用的任何数据可被存储在一个或多个计算机可读介质(例如，非瞬态计算机可读介质)上。计算机可执行指令可以是例如专用软件应用或经由web浏览器或其他软件应用(诸如远程计算应用)访问或下载的软件应用的一部分。为清楚起见，只描述了基于软件的实现的某些所选择的方面。省略了本领域公知的其他细节。例如，应当理解，所公开的技术不限于任何特定计算机语言或程序。例如，所公开的技术可由用C++、Java、Perl'JavaScript、HTML5或任何其它合适的编程语言编写的软件来实现。同样，所公开的技术不限于任何特定计算机或硬件类型。合适的计算机和硬件的某些细节是公知的，并且无需在本公开中进行详细阐述。此外，基于软件的实施例中的任一个(包括例如用于使计算机执行所公开的方法中的任一种方法的计算机可执行指令)可以通过合适的通信手段来上传、下载或远程访问。这些合适的通信手段包括，例如，因特网、万维网、内联网、软件应用、电缆(包括光缆)、磁通信、电磁通信(包括RF、微波和红外通信)、电子通信或其它这样的通信手段。图I是描绘示例性移动设备100的系统图，该移动设备包括各种可选的硬件和软件组件，在102处概括地示出。移动设备中的任何组件102可与任何其他组件通信，但出于容易例示的目的而未示出所有连接。移动设备100可以是各种计算设备(例如，蜂窝电话、智能电话、平板计算机、上网本、手持式计算机、个人数字助理(PDA)、或其他此类设备)中的任一个，并且可允许与诸如蜂窝或卫星网络等一个或多个移动通信 网络104进行无线双向通信。所示移动设备100可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的一个或多个控制器或处理器110 (例如，信号处理器、微处理器、ASIC、或其他控制和处理逻辑电路)。在某些实施例中，移动设备100包括通用处理器和图像信号处理器(ISP)。ISP可被耦合到相机136，并且可包括用于执行为图像处理和/或渲染而特别设计的操作的电路组件。操作系统112可控制对组件102的分配和使用(包括功率状态)，并提供对一个或多个应用程序114的支持。应用程序可包括常见移动计算应用(例如电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、根据所公开的技术的自动图像捕捉应用、或任何其他计算应用。所示移动设备100包括存储器120。存储器120可包括不可移动存储器122和/或可移动存储器124。不可移动存储器122可包括RAM、ROM、闪存、硬盘、或其他众所周知的存储器存储技术。可移动存储器124可包括闪存或订户身份模块(SIM)卡，或者其他众所周知的存储器存储技术，诸如“智能卡”。存储器120可用于存储数据和/或用于运行操作系统112和应用程序114的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其他设备的网页、文本、图像、声音文件、视频数据、或其他数据集。移动设备100可支持诸如触摸屏132、话筒134、相机136、物理键盘138、跟踪球140、和/或近程传感器142等一个或多个输入设备130，以及诸如扬声器152和一个或多个显示器154等一个或多个输出设备150。其他可能的输出设备(未示出)可包括压电或触觉输出设备。一些设备可提供不止一个输入/输出功能。例如，触摸屏132和显不器154可被组合在单个输入/输出设备中。无线调制解调器160可被耦合至天线(未示出)，并且可支持处理器110与外部设备间的双向通信，如本领域中充分理解的那样。调制解调器160被一般性地示出，并且可包括用于与移动通信网络104进行通信的蜂窝调制解调器和/或其它基于无线电的调制解调器(例如蓝牙164或Wi-Fi 162)。无线调制解调器160通常被配置用于与一个或多个蜂窝网络(诸如，用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的GSM网络)进行通信。移动设备可进一步包括至少一个输入/输出端口 180、电源182、卫星导航系统接收机184，诸如全球定位系统(GPS)接收机、一个或多个加速计186、一个或多个陀螺仪187、和/或物理连接器190，它可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。加速计186和/或陀螺仪187可被实现成微机电系统(MEMS)，该微机电系统可被耦合到或嵌入在集成电路芯片中。所示组件102不是必需的或所有都包括的，因为可删除任何组件和/或可添加其他组件。图2描绘了示例移动设备200的正面和背面。具体而言，图2的左侧描绘了示例移动设备200的前视图210，而图2的右侧描绘了移动设备的后视图250。如所示，移动设备200包括若干硬件按钮，包括主界面(home)按钮220、电源按钮222和相机快门(图像捕捉)按钮224还描绘了触摸屏显示器230，它被示为正显示触摸屏相机快门按钮234。在特定实施例中，触摸屏相机快门按钮234代替相机快门按钮224，并改为使用触摸屏相机快门按钮234。在其他实施例中，触摸屏相机快门按钮234补充相机快门按钮224作为备用快门按钮、或完全不存在。 图2中还示出面向前方的镜头262。镜头262位于移动设备200的正面，并且由此可用于捕捉用户的图像。在特定实施例中，在移动设备200上执行的图像捕捉应用允许用户选择是激活面向前方的镜头262、面向后方的镜头(诸如镜头260)、还是激活两者。移动设备200包括话筒240和扬声器242，以及位于移动设备表面之下的两个近程传感器246和248。在某些示例中，近程传感器246和248发射红外光束并接收反射的红外光束，该反射的红外光束是被由所发射的红外光束照亮的附近物体的表面反射的。用于所接收的光束的强度测量或其他所测量的特性可用于确定是否有物体邻近移动设备200。移动设备200的相机快门按钮224是专用的双动作相机快门按钮，具有将“半按”和“全按”检测为不同的、独立的动作的能力。本领域技术人员容易理解，半按是指按钮或其他控件的部分启动，而全按是指按钮或控制的超过预定限制的进一步启动。在某些示例中，双动作相机快门按钮224与以下属性相关联。当检测到半按时，使用移动设备接收与自动聚焦功能相关联的输入数据。当检测到全按压时，接收与相机调用和图像捕捉相关联的输入数据。尽管示出了相机快门按钮224位于移动设备200的前表面205上，但在其他示例中，相机快门按钮可被置于替代位置。例如，相机快门按钮224可分别被置于移动设备的位置225 (在侧表面206上)或位置226 (在背面207上)。转向图2右面所示的后视图250，示例移动设备200包括相机镜头260和电子闪光灯265。在某些示例中，移动设备200上没有闪光灯。各个组件(例如，硬件按钮220、222和224，话筒240，扬声器242，触摸屏显示器230，相机镜头260和闪光灯265)可与移动设备机架(未示出)相耦合，该机架与移动设备200的内部组件相连接，例如一个或多个处理器、压电致动器、电源和调制解调器。如图2所示，存在可对移动设备200上的组件的放置作出的若干考虑因素，诸如主界面(home)按钮220、电源按钮222、相机快门按钮224、相机透镜260、电子闪光灯265、近程传感器246和248、以及光电二极管280。例如，期望的是相机快门按钮224的放置使得或甚至鼓励用户在捕捉图像时将移动设备200自然地置于水平位置。还期望的是相机快门按钮224被放置成使用食指或拇指来方便按钮的操作。例如，当使用位于水平位置的移动设备200捕捉图像时，使用用户的右手拇指可容易地触到所示的相机快门按钮224。在其他示例中，相机快门按钮224可被移至其他合适的位置，例如位置225或226。为了减少意外地启动图像捕捉应用的机会，还期望的是将相机快门按钮224和/或电源按钮222放置成避免意外的启动。图3是示出被配置成在相机电话或其他类似移动电子设备中使用的示例性数字电子相机300的组件的示意性框图。示例性数字电子相机包括镜头302 (可与图2中所示的面向前方的镜头260或面向后方的镜头262相对应)，图像传感器阵列305，以及可由处理器(例如图像信号处理器(ISP))生成的信号315来控制的电子快门310。镜头302将反射自对象的光引导到图像传感器阵列305上。图像传感器包括阵列305，阵列305可以是电荷耦合器件(CXD)、互补金属氧化物半导体(CMOS)器件、或其他类似的光敏电子组件。电子快门310控制图像传感器阵列300收集光的时间量，而不是使用机械快门来阻止光到达光传感器。 使用电子快门305是移动设备中的数字电子相机通常不同于常规的独立数字相机的一个方面。电子快门往往在用户激活图像捕捉时与图像实际被捕捉时的两者之间存在“快门滞后时间”。如同慢的快门速度一样，长的滞后时间可由于相机在图像捕捉期间振动带来的模糊而导致降低的图像质量。移动设备中的数字电子相机与独立数字相机之间的另一差别是镜头光圈通常小于与移动设备一起使用的相机。结果，较少的光进入镜头，从而需要使用较慢的快门速度来补偿小的光圈大小。在常规SLR (单镜头反射)或对准即拍的数码相机的情况下，可在低光条件下使用三脚架来稳定相机机身并防止振动使图像的锐度降级。然而，使用三脚架需要准备，这是不方便的，并且由此三脚架一般不是用于相机电话摄影的可行解决方案。因此，相机电话通常不配备有三脚架螺钉或其他安装硬件，由此排除了为克服与移动设备集成的相机的构造中固有的图像质量缺点而附加三脚架或其他稳定结构。图4描绘了在触摸屏显示器405上显示图像捕捉应用的示例移动设备400的前视图410。在使用图3所示的相机300来捕捉图像之后，示出了移动设备400。如图所示，移动设备400的显示器405包括控件430、432、433、434、436和438，这些控件可用于控制图像捕捉功能的子集。这些控件包括静止图像捕捉模式按钮430 (被突出显示以指示静止捕捉是当前所选的捕捉模式)、视频捕捉模式控件432、自动图像捕捉模式按钮433、放大和缩小控件434和436、以及选项控件438。自动图像捕捉模式按钮433可被实现为用于进入和退出自动捕捉模式的切换开关，使得一旦打开自动捕捉模式，按下模式按钮433就构成了使自动捕捉功能无效。自动捕捉模式也可通过其他机制来停用，如对相机快门按钮442的激活。自动图像捕捉模式可用在静止图像捕捉模式中或视频捕捉模式中。移动设备400还包括若干硬件按钮，包括位于移动设备的侧表面上的相机“快门按钮”442、以及位于移动设备前表面上的搜索按钮444、主界面(home)按钮446和回退按钮448。这些硬件按钮442、444、446和448可用于使用移动设备400来调用和/或执行各种操作。相机快门按钮442可用于调用和/或执行图像捕捉应用，以及控制图像捕捉应用内的诸如自动聚焦和/或操作相机快门之类的功能。用于在特定模式中可用的附加功能的控件包括用电子邮件发图像按钮470、保存图像按钮472、上传图像按钮474、以及删除图像按钮476。移动设备被示出正在显示示例“相机胶卷”应用，该应用允许用户通过在箭头492所示的方向上滑动手指490来观看先前捕捉的图像(例如，图像482)，在手指运动的方向上跨显示器405来移动图像415和482。尽管控件被示为正显示在触摸屏上，但可使用硬件按钮来实现控件中的某些或全部。图5是示出正显示自动捕捉模式设置屏幕540的移动设备500的前视图510的示意性框图。一般而言，自动捕捉模式设置屏幕540可用于调整并设置移动设备在自动模式中操作时所使用的各种参数和准则。例如，自动捕捉模式设置屏幕540列出一个或多个准贝U，该一个或多个准则用于确定当移动设备在自动捕捉模式中操作时图像何时要被捕捉并存储。可以使用各种准则，其中准则的示例子集在图5中示出。准则可包括以下各项中的一个或多个自动聚焦值、白平衡值、曝光值、设备稳定性值、锐度值、增益值、去噪值、对比度值、闪光值、或其他此类图像质量和处理参数。自动捕捉模式设置屏幕540可作为移动设备的通用设置的一部分来被访问，在自动模式被首次激活时显示，或在自动模式被激活时出现屏幕之后显示从而询问用户是否要改变设置。自动捕捉模式设置屏幕540包括允许用户为各种准则和参数设置阈值的一个或多个图形用户界面滑块输入。在特定实施例中，对 于图像传感器所感测到的当前图像，当满足阈值时并且无需来自用户的进一步输入，图像被捕捉并被存储。尽管示出了滑块输入，但也可使用任何其他合适的用户界面输入机制(例如，虚拟旋钮、下拉菜单、用户输入窗口、或任何其他用户输入控件)。在所示实施例中，自动捕捉模式设置屏幕540包括用于调节自动聚焦值的滑块541，用于调节相机的白平衡值的滑块542，以及用于调节曝光值的滑块543。在所示示例中，滑块541、542、543被示为或是“关闭”或是“低”和“高”之间的一般化设置。在其他实施例中，滑块541、542、543可示出每一滑块所设置的实际值。自动捕捉模式设置屏幕540还包括用于调节设备稳定性值(也被称为“模糊检测值”)的滑块544。设备稳定性值可使用从与移动设备相关联的一个或多个加速计和/或一个或多个陀螺仪(例如，加速计186和/或陀螺仪187)接收到的数据来计算。例如，如果加速计、陀螺仪、或加速计和陀螺仪两者在一个或多个测量(例如，角位移测量)中感测到的改变(或差别)在指定时间段处于特定阈值内，则移动设备可被认为是静止的。这一阈值的大小(在概念上可被看作对应于确定设备是否为静止的灵敏度)可用作设备稳定性值，或者它可以是设备稳定性值中的因素。在其他实施例中，阈值被设置为特定值，但其中加速计和/或陀螺仪在测量中感测到的改变必需满足阈值的时间段是可变的。在这样的实施例中，可变时间段被用作设备稳定性值或用作设备稳定性值中的因素。在另一些实施例中，阈值和时间段两者随着设备稳定性值的改变而被调节。用于确定设备稳定性和调节这一确定的灵敏度的其他技术也可用于所公开的技术的实施例。在所示示例中，示出了滑块544可在“低”(指示较低的灵敏度，由此允许在确定设备是否为静止时容许更多的移动)和“高”(指示较高的灵敏度，由此允许在确定设备是否为静止时容许更少的移动)之间调节。在其他实施例中，滑块544可示出该滑块所设置的实际值。自动捕捉模式设置屏幕540还包括用于调节设备在自动捕捉模式时所拍摄的照片数量的滑块545例如，当移动设备在自动捕捉模式中操作时，设备可自动地连续捕捉图像直到自动捕捉模式被停用，或可捕捉预定数量的图像。滑块545允许用户选择照片数量或设置设备以使该设备连续地捕捉图像。如所示，还向用户显示滑块的当前值。自动捕捉模式设置屏幕540还包括滑块546，该滑块546用于设置自动捕捉模式激活与图像捕捉和存储之间的暂停长度。例如，当移动设备首次被设置成自动捕捉模式时，图像捕捉和存储可暂时被挂起，使得用户能将相机定向到所打算的对象的方向。滑块546允许用户停用该暂停，或选择所需暂停长度(例如从I秒至30秒)。自动捕捉模式设置屏幕540还包括用于选择对象识别准则的下拉菜单547。例如，自动捕捉模式可结合面部识别或物体识别软件来操作，使得仅在图像是特定类型或类别的对象时捕捉并存储图像。例如，Viola-Jones物体检测技术的实现可用于检测图像传感器感测到的图像何时包括面部或其他物体，其中检测器是对该面部或其他物体被训练的。下拉菜单547允许用户停用将物体识别作为准则(例如，通过选择“无”作为选项)或从一个或多个可能的物体(例如，一个面部、多个面部等)之中进行选择。滑块541、542、543、544、545、546以及下拉菜单547所表示的值可使用从触摸屏显示器505接收到的输入数据来被调节。在其他示例中，输入数据是从可使用的硬件按钮或其他输入数据源接收的。图5中示出的示例准则和参数不应被解释成限制性的，因为可使用更少的准则或可添加附加的准则。一般而言，图像捕捉准则的任何 组合或子组合可用作触发自动图像捕捉的阈值，并且可通过自动捕捉模式设置屏幕(诸如自动捕捉模式设置屏幕540)来调节。此外，一旦所需图像捕捉准则被设置，用户就可通过按下退出按钮(例如，退出按钮548)来退出自动捕捉模式设置屏幕540。图6是示出图像捕捉应用610的示例性软件架构600的框图，该图像捕捉应用610被配置成在移动设备静止时并且在满足一组用户准则时自动地捕捉图像而无需进一步的用户交互。计算设备(例如，智能电话或其他移动计算设备)可以执行根据架构600所组织的软件来与运动感测硬件进行交互，解释感测到的运动，进入自动图像捕捉模式，以及对图像捕捉定时，以便避免可能由移动设备的运动另外导致的图像伪像。架构600包括设备操作系统(OS) 650和示例性图像捕捉应用610，示例性图像捕捉应用610被编程为接收来自一个或多个设备运动传感器(例如，一个或多个加速计、一个或多个陀螺仪、和/或一个或多个其他运动感测设备)的输入。在图6中，图像捕捉应用610包括诸如图像信号处理器组件612、自动捕捉设置存储614、图像数据存储618、以及相机模式和自动捕捉设置选择器组件620之类的组件。在所示实施例中，图像信号处理器组件612实现图像处理流水线616，图像处理流水线616与自动图像捕捉应用610 —起使用以便在一个或多个准则被满足时捕捉图像，并且由此将图像数据转换成图像格式(例如，JPEG、TIFF、或类似格式)供保留在图像数据存储618中和/或供向显示器渲染。图像信号处理器组件612和图像处理流水线616可包括由移动设备中的通用处理器、由适于图像处理的专用处理器(例如ISP)或两者的组合所执行的软件。在特定实施例中，相机模式和自动捕捉设置以及准则选择器组件620包括允许用户选择自动捕捉模式以及调节用于确定要在何时自动捕捉图像的一个或多个准则的软件。例如，相机模式和自动捕捉设置以及准则选择器组件620可实现图5中示出的自动捕捉模式设置屏幕540。在所示实施例中，自动捕捉设置存储614用于存储使用屏幕540设置的自动捕捉模式设置以及准则。图9中示出了可由图像信号处理器组件612实现的示例性图像处理流水线。具体而言，图9中示出的示例图像处理流水线900经由接口 902 (例如，由OS 650实现的接口)从图像传感器接收原始图像数据，执行图像处理，以及组成最终的彩色图像(例如，通过应用色彩校正和比色调节)。在所示实施例中，在捕捉图像之前，例如通过以下各组件中的一个或多个来处理原始图像数据去噪组件904、增益控制组件906、像素校正过滤器908、去镶嵌和白平衡组件910。去噪组件过滤器将噪声从原始图像数据中滤除。噪声值可按分贝数(dB)来测量，并且可由信噪比(S/N)来表示。增益控制组件906通过调制图像传感器的电响应来控制光强度。像素校正过滤器908可用于校正图像传感器中的坏像素，并且可使用低通滤波器来平滑图像的一个或多个部分。去镶嵌组件910处理从图像传感器输出的各个色彩通道信号，以创建全色图像。更具体地，由于各个色彩通道信号通常是欠采样的，因此去镶嵌在它们之间进行内插以便基于相邻像素信息来重构像素色彩。例如，滤色器阵列(诸如拜耳过滤器)可用于选择性地过滤并由此校正每一像素的色彩。还可以执行自动白平衡(AWB)。通常在去镶嵌之后执行白平衡。白平衡调节各个色彩通道的色彩强度，以补偿图像的照明效果。所得的经白平衡的图像会将色彩显示得更接近其真实色调。在所示实施例中，在去镶嵌之后，可将描述图像的数据(有时被称为“图像元数据”)汇编成一组图像统计数据(或其他图像数据930)。图像统计数据可包括例如噪声值 (例如以分贝数为单位的信噪比)、增益值、曝光值、聚焦值(例如，基于相邻像素强度值之间的相对对比度测量的值、指示在相位检测自动聚集系统中检测到的光强度模式之间的差异的值、或指示图像中聚焦水平或百分比的另一值)、锐度值(例如，基于聚焦值和其他图像值的组合)、和/或闪光值(例如，指示闪光灯充电的百分比的值、或闪光灯准备就绪或有关闪光的另一值)。图像统计数据可用于优化相机设置922-928。在所示示例中，相机设置包括增益设置922、曝光设置924、聚焦设置926、和闪光控制设置928。增益设置对图像传感器的电响应进行设置以获得最优强度。曝光设置924指示图像传感器被设置成主动地检测光线多久，或根据镜头光圈的大小或有效大小进入镜头的光量。聚焦设置926可调节数字光学系统的实际焦距(通过改变镜头和图像传感器之间的物理距离)，或可电子地调节图像传感器以便改变镜头的有效焦距。闪光控制设置928调节闪光灯源所提供的光的持续时间和/或强度，这可取决于闪光单元在拍摄之间充电的持续时间。相机控制组件920可基于对图像统计数据的观测值来对这些值作出合适的调节。在自动图像捕捉技术的特定实施例中，可以对图像统计数据中的每一个(例如，聚焦、曝光、增益等)独立地设置图像准则，或者可设置考虑多个相机设置的影响的合成“锐度”准则。锐度可被量化成例如至少对图像中的聚焦程度的评估(例如，通过基于图像中相邻像素强度值之间的相对对比度测量来执行计算)。在某些实施例中，对图像传感器接收到的新的每一组图像数据持续地生成图像统计数据930 (例如，其中新的每一组图像数据是根据当前增益和曝光设置来收集的)，并且持续地调节相机设置922-928。在具体实现中，这些组的图像数据尚未被认为是已捕捉的，因为它们没有经受特定的去镶嵌后处理(post-demosaicing)过程,这些过程可能是计算密集的并且除非旨在将图像转换成最终图像并存储否则不需要被执行。在某些实施例中，对自动图像捕捉设置一个或多个图像准则。图像准则可对应于在沿图像处理流水线的各个点处可用的数据。在具体实现中，如果准则中的任何准则没有被满足，则不再进一步处理或存储图像数据，并且图像不被认为是要被“捕捉的”。然而，当满足(例如由用户设置的)图像准则时，图像捕捉继续进行(例如，通过执行去镶嵌后处理过程，如缩放、YUV处理、后处理、和/或存储)。在所示实施例中，去镶嵌组件910下游的处理组件包括缩放组件912、YUV处理组件914、和照片后处理组件916。一般而言，缩放组件912调节图像大小供显示或用于合适的图像格式。YUV处理组件将图像(例如RGB图像)转换成包括亮度(Y)分量和色度(U和V)分量的图像(其中，UV色彩空间使用将人类色彩感知的频率依赖性考虑在内的带宽分配方案来编码彩色图像)。照片后处理组件916对图像执行进一步的处理，该处理使得图像更适于显示和/或存储。后处理可包括例如，红眼移除、色彩增强、图像稳定化、和/或模糊减少。后处理还可包括物体或面部识别。使用所公开的自动捕捉应用的实施例，如果图像不满足特定准则(例如用户建立的准则)，则沿图像处理流水线900的处理在沿该流水线的各个点处可以是不连续的。在特定实施例中，如果所选准则中的任何准则没有被满足，则丢弃图像数据并且图像不被用作自动捕捉的图像之一。在具体实现中，自动捕捉应用可包括计时器，使得在经过特定时间之后，发生图像捕捉而不管是否满足准则，以便不会完全遗漏图像捕捉。此外，在特定实施例中，如果对图像的处理继续进行至图像处理流水线900中稍后的去镶嵌后处理的各阶段(例如，至缩放组件912、YUV处理组件914、或照片处理组件916)，则图像被认为是“已捕捉 的”。用于触发图像捕捉的准则可包括例如以下各项中的一个或多个的百分比或值去噪组件904测量的噪声值或信噪比、增益值922、曝光值924、去镶嵌组件910检测到的一个或多个测量值、聚焦值926(例如，指示自动聚焦的精度或质量的值，如基于相邻像素强度值之间的相对对比度测量的值、指示相位检测自动聚焦系统中检测到的光强度模式之间的差异的值、或指示图像中的聚焦水平(或百分比)的另一值)、或闪光控制值928 (例如，指示闪光准备就绪水平的值)。在某些实施例中，如果满足一个或多个图像质量准则，并且如果移动设备是稳定的，则捕捉并存储图像。在具体实现中，最终照片还包括最初的原始图像数据(例如，采用.RAW格式)，从而允许用户执行对图像的备选处理或调节。返回图6,设备OS 650被配置成管理用户输入功能、输出功能、存储访问功能、网络通信功能、以及设备的其他功能。设备OS 650向自动图像捕捉应用610提供对这些功能的访问。例如，在图6中，设备OS 650包括用于最终图像渲染(例如，向存储器和/或显示器渲染视觉输出)的组件、用于图像或视频识别的组件(例如，与图像传感器硬件进行接口并且准备接收到的信号以供自动图像捕捉应用使用的组件)、以及用于运动识别的组件(例如，与加速计和/或陀螺仪进行接口并且准备接收到的信息以供自动图像捕捉应用使用的组件)。最终图像渲染通常在照片处理完成之后进行。由此，最终图像渲染可以通过OS 650来完成，或是作为图像处理流水线616中的最后阶段来完成。如所示，用户可经由基于屏幕的用户界面(UI)来生成到自动图像捕捉应用610的用户输入。Π检测到的用户动作可以是以下形式手指运动、触觉输入(诸如触摸屏输入)、按钮按压或键按压、或音频(声音)输入。设备OS 650包括用于以下各项的功能对于触摸屏的触觉输入识别诸如手指轻击、手指滑动之类的运动，识别来自语音输入、按钮输入或键按压输入的命令，以及创建可由自动图像捕捉应用610或其他软件使用的消息。Π事件消息可指示平扫、轻拂、拖曳、轻击、或设备触摸屏上的其他手指运动、键击输入、或另一 UI事件(例如，来自语音输入、方向按钮、跟踪球输入等)。图7是用于执行自动图像捕捉的示例性方法700的流程图。示例性方法可由执行图像处理过程的通用处理器和/或专用处理器(例如，图像信号处理器)来执行。示例性方法700使用一系列触发准则来确定何时要捕捉以及存储图像。在所示示例中，触发准则包括在执行图像捕捉事件和图像存储事件之前要满足的聚焦条件和运动条件。在702，作出关于当前图像是否在焦点上的确定。例如，可以将指示图像传感器所产生的图像聚焦得怎样的测量值与聚焦条件或聚焦阈值(例如，基于相邻像素强度值之间的相对对比度测量的值、指示相位检测自动聚焦系统中检测到的光强度模式之间的差异的值、或指示图像中的聚焦水平(或百分比)的另一值)作比较。如果当前图像不满足聚焦条件，则示例性方法等待直到聚焦条件被满足。通过比较连续图像帧来辨别对象在取景器中的焦点是否正在改变，可以确定相机是否满足聚焦条件。在具体实施例中，使用附加准则。例如，可以设置一个或多个附加的用户指定的准贝U。例如，准则可包括对象识别准则，诸如该对象是否是人脸。可调用图像识别软件来确定是否满足对象识别准则。附加准则可包括此处描述的其他准则中的任何准则，诸如聚焦值、白平衡值、曝光值、增益值、噪声值、对比度值、锐度值、闪光值、和/或其他 此类图像质量或处理参数。在框704，作出关于相机是否在移动的确定。在704处的确定可以至少部分地基于从设备运动传感器接收到的数据(例如，来自一个或多个加速计、一个或多个陀螺仪、和/或一个或多个其他运动感测设备的数据)。此外，可以处理数据以便确定设备稳定性值，该设备稳定性值与如上文参考图5所解释的所存储的值(例如，用户选择的设备稳定性值)作比较。当来自设备运动传感器的数据指示设备是静止时，在706图像捕捉被触发。例如，进一步的图像处理可在图像处理流水线中被执行，从而得到最终图像。在具体实现中，执行一个或多个去镶嵌后处理的过程(诸如缩放、YUV转换、后处理、或用于最终化图像以供查看和存储的其他处理步骤)。在708，存储最终图像。然而，当来自设备运动传感器的数据指示设备不是静止时，当前图像被丢弃(例如，该方法不执行对图像的进一步处理或存储)并且该方法返回702。图8是用于执行自动图像捕捉的另一示例性方法800的流程图。根据方法800，在图像满足一个或多个图像捕捉准则时执行图像捕捉。在804，记录用于触发对图像的自动捕捉的一个或多个阈值。例如，在用户使用合适的图形用户界面输入一个或多个阈值之后可以记录它们。在具体实现中，例如，使用合适的自动捕捉模式设置屏幕(例如诸如自动捕捉模式设置屏幕540)来设置一个或多个阈值。一个或多个阈值可以是例如，聚焦值、白平衡值、曝光值、设备稳定性值、±曾益值、噪声值、对比度值、锐度值、闪光值、或其他此类图像质量和处理参数。在具体实施例中，对象识别准则也由用户输入。例如，准则可包括图像应是人脸(或是另一可识别对象)。在806，作出关于是否将移动设备设置成自动捕捉模式的确定。自动捕捉模式可例如通过用户使用模式按钮(例如诸如图4中示出的模式按钮433)选择自动捕捉模式来被设置。在808，作出关于图像是否满足一个或多个图像触发条件(或准则)的确定。如所注意到的，图像触发条件可包括以下各项中的一个或多个聚焦值、白平衡值、曝光值、设备稳定性值、某一值、增益值、噪声值、对比度值、锐度值、闪光值、或其他此类图像捕捉和处理参数。例如，如果聚焦值被用作触发准则，则作出关于当前图像是否在焦点上的确定。例如，可以将指示图像传感器所产生的图像聚焦得怎样的测量值与聚焦条件或聚焦阈值作比较。如果当前图像不满足聚焦条件，则示例性方法丢弃当前图像(例如，该方法不对图像执行进一步处理或存储)，在图像处理流水线中评估下一图像，并且等待直到聚焦条件被满足。此外，当设置了对象识别条件时，在808还测试对象识别条件。例如，如果用户选择的条件之一是图像应为人脸，则面部识别过程可被执行以便确定当前图像是否包括脸部。如果当前图像不满足该附加条件，则示例性方法丢弃当前图像(例如，该方法不对图像执行进一步处理或存储)。类似地，如果条件之一是设备稳定性阈值，则在808作出关于相机是否正在移动的确定。设备稳定性确定可以至少部分地基于从设备运动传感器接收到的数据(例如，来自一个或多个加速计、一个或多个陀螺仪、和/或一个或多个其他运动感测设备的数据)。此外，可以处理该数据以便确定设备稳定性值，该设备稳定性值与如上文参考图5所解释的所存储的值(例如用户选择的值)作比较。如果当前图像满足一个或多个图像捕捉条件，则该方法在810处继续。
在810，触发图像捕捉。例如，进一步的图像处理可在图像处理流水线中被执行，从而得到最终图像。在具体实现中，执行一个或多个去镶嵌后处理的过程(诸如缩放、YUV转换、后处理、或用于最终化图像以供查看和存储的其他处理步骤)。在816，存储最终图像。图7和8中所示操作的具体顺序不应被解释为限制性的，因为它们可按各种其他顺序来执行。例如，对相机移动的确定可比所示顺序更早执行，或至少部分地与其他操作中的任何操作同时执行。对其他图像质量准则中的任何准则的评估可以类似地按不同顺序来执行，或至少彼此同时执行。尽管参考移动设备(诸如智能电话)描述了该技术，但该技术可在不同的计算环境中实现。例如，所公开的技术可用其他数字相机设备或计算机系统配置来实现，包括手持式设备、多处理器系统、基于微处理器的或可编程消费电子产品、网络PC、微型计算机、大型计算机等。所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块或指令可位于本地和远程存储器存储设备两者中。图10示出了其中可实现所描述的技术的各实施例的合适的计算环境1000的通用示例。参考图10，计算环境1000包括至少一个中央处理单元1010和存储器1020。在图10中，这一最基本的配置1030被包括在虚线内。中央处理单元1010执行计算机可执行指令，且可以是真实或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力，且由此，多个处理器可同时运行。存储器1020可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，R0M、EEPR0M、闪存等)或两者的某一组合。存储器1020存储可例如实现此处描述的技术的软件1080。计算环境可以具有附加特征。例如，计算环境1000包括存储1040、一个或多个输入设备1050、一个或多个输出设备1060、一个或多个通信连接1070、以及一个或多个触摸屏1090。诸如总线、控制器或网络等互连机制(未示出)将计算环境1000的组件互连。通常，操作系统软件(未示出)为在计算环境1000中执行的其他软件提供了操作环境，并协调计算环境1000的组件的活动。存储1040可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、⑶-ROM、CD-RW、DVD或可用于存储信息并可在计算环境1000内访问的任何其它的非瞬态存储介质。存储1040存储用于可实现此处描述的技术的软件1080的指令。
输入设备1050可以是诸如触摸屏、键盘、键区、鼠标、笔或跟踪球等触摸输入设备，语音输入设备，扫描设备，近程传感器，图像捕捉设备，或向计算环境1000提供输入的另一设备。对于音频，输入设备1050可以是声卡或者接收模拟或数字形式的音频输入的类似设备。输出设备1060可以是显示器、触摸屏、打印机、扬声器、CD刻录机或提供来自计算环境1000的输出的另一设备。触摸屏1090可用作输入设备(例如，通过接收触摸屏输入)并且可用作输出设备(例如，通过显示图像捕捉应用和认证界面)。通信连接1070允许通过通信介质(例如，连接网络)到另一计算实体的通信。通信介质在已调制数据信号中传达诸如计算机可执行指令、压缩图形信息、或其它数据等信息。计算机可读介质可以是可在计算环境1000内被访问的任何可用介质。作为示例而非局限，对于计算环境1000，计算机可读介质包括存储器1020和 /或存储1040。应当容易理解，术语计算机可读存储介质包括诸如存储器1020和存储1040的用于数据存储的非瞬态存储介质，且不包括诸如已调制数据信号等传输介质。在详细描述和附图中描述并例示了所公开的技术的原理之后，将认识到，各实施例可以在排列和细节上进行修改而不脱离这些原理。例如，此处描述的用于捕捉静态照片的任何技术也适用于捕捉视频。可以以硬件实现以软件示出的实施例的元件，反之亦然。鉴于可应用所公开的本发明的原理的许多可能的实施例，应当认识到，所示实施例仅是所公开的技术的优选示例，并且不应被认为是限制所公开的技术的范围。相反，所公开的技术的范围由随后的权利要求书及其等效方案来限定。因此，要求保护落入这些权利要求及其等效物的精神和范围内的所有内容。
权利要求
1.一种执行自动图像捕捉以减少图像模糊的方法，所述方法包括 接收指示用户选择的用于图像接受的触发准则的数据； 进入自动捕捉相机模式； 对于图像传感器感测到的图像，确定触发准则何时被满足； 在确定所述触发准则被满足之后，且无需来自所述用户的进一步输入，触发对所述对图像的捕捉；以及存储所述图像。
2.如权利要求I所述的方法，其特征在于，所述图像传感器是结合在移动电子设备中的相机的一部分。
3.如权利要求2所述的方法，其特征在于，所述触发准则之一是所述设备是否静止，并且所述方法还包括使用从加速计或陀螺仪中的一个或多个接收到的数据来确定所述设备是否静止。
4.如权利要求I所述的方法，其特征在于，所述触发准则包括与以下各项中的一个或多个相关联的阈值白平衡处理、自动聚焦处理、自动曝光处理、去噪处理、增益控制处理、或模糊检查。
5.如权利要求I所述的方法，其特征在于，对所述图像的捕捉包括执行以下各项中的一个或多个图像缩放、YUV处理、或图像渲染。
6.—种移动设备,包括 镜头; 电子图像传感器； 显示器； 被配置成感测所述移动设备的运动的一个或多个运动检测器； 存储器；以及 处理器，被编程为从所述一个或多个运动检测器所提供的数据中作出关于所述移动设备是否静止的确定，以及至少部分地基于该确定来触发图像捕捉并将所述图像存储在所述存储器中。
7.如权利要求6所述的移动设备，其特征在于，所述一个或多个运动检测器包括加速计或陀螺仪中的一个或多个。
8.如权利要求6所述的移动设备，其特征在于，所述处理器还被编程为通过评估一个或多个附加图像质量准则是否被满足来作出图像质量确定，并且至少部分地基于该图像质量确定来触发所述图像捕捉以及对所述图像的存储。
9.如权利要求6所述的移动设备，特征在于，所述移动设备还包括硬件按钮，其中所述处理器还被编程为在所述硬件按钮被按下时退出自动图像捕捉模式。
10.一种使用移动电子设备相机进行自动图像捕捉的方法，所述方法包括 确定所述相机何时聚焦于对象； 感测设备运动； 当所述设备静止时并且当所述相机聚焦于对象时，触发图像捕捉；以及 将所述图像保存在存储器中。
全文摘要
本发明涉及自动图像捕捉。文本公开了用于在移动电子设备中自动捕捉图像的示例性实施例。一个实施例包括感测设备运动并且在设备静止时自动触发图像捕捉。使用这一方法减少了图像模糊并且避免了对相机移动的后续图像更改或补偿的需求。通过利用高分辨率传感器以及移动设备可用来准确评估何时触发快门的计算器材，可简单地在运动中间捕捉图像。随后可将图像保存在设备内的存储器中。对所公开的自动图像捕捉方法的增强包括预选择一组用于图像接受的阈值。
文档编号G06F13/10GK102883104SQ20121032029
公开日2013年1月16日 申请日期2012年8月31日 优先权日2011年9月2日
发明者C·哈万德 申请人:微软公司