从视频产生图像的制作方法

文档序号:13688877
从视频产生图像的制作方法

数码相机的便捷性连同互联网通信的广泛使用已经使得用户所产生的诸如视频和照片之类的图像更加流行。在传统的对准拍摄式(point and shoot)相机保留有它们的价值的同时,相机技术也能够被整合到许多设备之中,例如智能电话、PDA、智能手表、平板计算机、膝上计算机。使得相机技术能够被用户随手可用,提供了捕捉到原本由于未能捕捉而被错过的风景的可能性。



技术实现要素:

实施方式总体上涉及从场景的一系列静态图像——例如视频——产生一个或多个静态图像。在一些实施方式中,一种方法可以采用计算设备来接收由捕捉设备在拍摄时间期间所捕捉的视频。所述拍摄时间会涉及到捕捉设备在捕捉视频的同时在至少两个维度进行移动。所述方法进一步可以使用所述计算设备来处理所述视频的多个帧并且检测相对于由于捕捉设备在拍摄时间期间的移动所导致的对象变化性的由于对象在场景中的移动所导致的所述对象在至少两个帧中的变化性。所述计算设备可以至少部分基于对象的变化性而确定一个或多个目标主体。所述目标主体是视频中的至少一个预期焦点并且可以是所述捕捉设备在拍摄时间的至少一部分的期间所指向并捕捉的场景中的主体。所述计算设备可以进一步基于具有所述目标主体的至少一部分的视频中的多个帧而生成一个或多个静态图像。在一些方面,所述视频在对视频的拍摄之前在确定捕捉设备的阈值启动移动时由所述捕捉设备自动捕捉。所述阈值启动移动可以包括两个或更多移动特性。在一些实施方式中,阈值启动移动的检测可以涉及到所述捕捉设备所检测的环境温度的阈值改变。在一些实施方式中,阈值启动移动可以至少部分基于在至少一个先前拍摄时间期间用来发起至少一个视频的手动捕捉的捕捉设备的至少一个移动。如下文关于图2A、2B和2C所描述的,捕捉设备的这种移动可以处于根据x轴、y轴和z轴方向的三个维度。在这样的情况下,可以通过在帧中利用捕捉设备对对象进行三角测量来识别所述目标主体。

在一些方面,所述方法可以包括对视频中的帧进行分析以识别包括目标主体的模糊开始的起始帧。所述方法可以进一步包括将所述起始帧之前的对焦帧与具有模糊的目标主体的模糊帧进行重叠以将所述对焦帧中所描绘的目标主体与所述模糊帧对齐。在一些方面,所述方法可以包括对所述一个或多个静态图像中所选择的一个的定向进行旋转,以及利用来自所述视频的帧中的内容填充所述所选择的一个静态图像的内容。

在再其它的实施方式中,讨论了一种用于存储指令的诸如介质的有形的、非瞬态可记录的、计算机可读存储设备,所述指令在被捕捉设备的一个或多个处理器所执行时使得操作得以实行。所述非暂时性计算机可读介质可以存储指令,所述指令使得由捕捉设备在拍摄时间期间自动捕捉视频。所述指令可以使得所述捕捉设备的一个或多个移动特性被接收。例如,所述捕捉设备的一个或多个传感器可以检测并提供移动特性。所述指令还可以使得至少部分基于所述一个或多个移动特性确定捕捉设备的阈值启动移动,所述一个或多个移动特性指示所述捕捉设备获取图像的意图,以及在确定所述阈值启动移动时激活利用所述捕捉设备在拍摄时间期间对视频进行自动捕捉。在一些实施方式中,所述指令可以使得检测所述捕捉设备在拍摄时间的至少一部分期间在至少两个维度的移动。所述指令可以使得确定相对于由于捕捉设备在拍摄时间的至少一部分期间所检测到的移动所导致的对象的变化性的由于对象在场景中的移动所导致的所述对象在视频的多个帧中的至少两个帧中的变化性。此外,所述指令可以使得至少部分基于对象的变化性和捕捉设备的移动来确定一个或多个目标主体。从具有所述一个或多个目标主体的至少一部分的视频中的多个帧,所述指令可以使得生成一个或多个静态图像。

在一些实施方式中,所述一个或多个移动特性可以包括所述捕捉设备所检测的环境温度的阈值改变。在再一些实施方式中,所述一个或多个移动特性包括环境光、压力和红外光中的一个或多个的阈值改变。所述阈值启动移动可以至少部分基于所述捕捉设备的两个或更多移动特性的组合。

有时,所述捕捉设备可以在根据x轴、y轴和z轴方向的三个维度移动,并且用于识别目标主体的帧处理可以进一步用于在帧中利用捕捉设备对对象进行三角测量。

在一些实施方式中,第二计算设备所进行的帧处理可以进一步用于确定其中首次能够检测到目标主体的模糊的起始帧;确定所述起始帧之前的对焦帧;将所述对焦帧与具有模糊目标主体的模糊帧进行重叠;以及将所述对焦帧中的目标主体与所述模糊帧中的目标主体对齐。在一些实施方式中,帧处理可以进一步用于对一个或多个静态图像中所选择的一个的定向进行旋转,以及利用来自所述视频的帧中的内容填充所述所选择的一个静态图像的内容。

在又一些实施方式中,一种图像捕捉系统被提供并且可以包括一个或多个处理器以及耦合至所述处理器的存储器。所述存储器可以被配置为存储诸如应用的指令,所述指令使得所述一个或多个处理器接收捕捉设备在拍摄时间期间所捕捉的场景的视频,所述视频包括所述捕捉设备在至少两个维度的移动。所述系统可以进一步确定相对于所述捕捉设备在拍摄时间期间的移动的对象在来自所述视频的多个帧中的至少两个帧中的变化性。所述系统可以至少部分基于所述对象的变化性以及所述捕捉设备的移动来确定所述捕捉设备在拍摄时间的至少一部分期间所指向的一个或多个目标主体,以及从具有所述一个或多个目标主体中的至少一部分的所述视频中的多个帧识别一个或多个静态图像以便进行存储。

在一些实施方式中,所述视频可以在对视频的捕捉之前在确定捕捉设备的阈值启动移动时由所述捕捉设备自动捕捉。所述阈值启动移动可以基于对两个或更多移动特性的检测。所述移动特性可以包括两个或更多传感器所检测的所述捕捉设备的环境温度、加速度、定向、海拔、倾斜和旋转移动中的两个或更多。所述阈值启动移动的检测可以包括所述捕捉设备所检测的环境温度的阈值改变。所述阈值启动移动可以至少部分基于在至少一个先前拍摄时间期间用来发起至少一个视频的手动捕捉的捕捉设备的至少一个移动。在一些实施方式中,捕捉设备的移动可以处于根据x轴、y轴和z轴方向的三个维度,以及识别目标主体可以进一步包括在帧中利用捕捉设备对对象进行三角测量。

在一些实施方式中,所述指令可以进一步使得所述一个或多个或处理器确定其中首次能够检测到目标主体的模糊的起始帧;确定所述起始帧之前的对焦帧;将所述对焦帧与具有模糊目标主体的模糊帧进行重叠;以及将所述对焦帧中的目标主体与所述模糊帧中的目标主体对齐。在一些实施方式中,所述指令可以进一步使得所述一个或多个处理器对一个或多个静态图像中所选择的一个的定向进行旋转,以及利用来自所述视频的帧中的内容填充所述所选择的一个静态图像的内容。

在一些实施方式中,一种装置(apparatus)可以被提供并且包括用于接收由捕捉设备在拍摄时间期间所捕捉的场景的视频的装置(means),所述视频包括所述捕捉设备在至少两个维度的移动。这样的用于接收的装置(means)例如可以包括所述装置(apparatus)的接口。所述装置(apparatus)可以进一步包括用于分析所述视频的帧以确定相对于由于所述捕捉设备在拍摄时间期间的移动所导致的对象的变化性的由于所述对象在场景中的移动所导致的至少两个帧中的对象的变化性的装置(means)。所述装置(apparatus)可以包括用于至少部分基于所述对象的变化性来确定所述捕捉设备在拍摄时间的至少一部分期间所指向的一个或多个目标主体的装置(means)。这样的用于确定一个或多个目标主体的装置(means)例如可以包括所述装置的选择组件。所述装置还可以包括用于从具有所述目标主体中的至少一部分的所述视频中的多个帧识别一个或多个静态图像以供存储的装置(means),诸如通过所述装置的选择组件和/或创建组件。

附图说明

图1是图示其中能够在图像捕捉系统中实施从视频产生静态图像的各个方面的示例环境的概念图;

图2A、2B和2C是图示捕捉设备在捕捉阶段期间拍摄视频的示例的概念图;

图3a和3b是示例过程的流程图,其中图3a示出了预捕捉阶段,而图3b则示出了捕捉后的帧处理以及产生静态图像;

图4是图示实施从视频产生静态图像的过程的图像捕捉系统中的捕捉设备和计算设备的所选择示例组件的示意图;所有附图都依据本公开。

具体实施方式

在各种实施方式中,一种图像捕捉系统提供了从利用捕捉设备所捕捉的一系列连续图像帧——诸如视频——生成静态图像的工具。所述图像捕捉系统可以提供使得能够对图像进行预捕捉、捕捉和捕捉后的方法。在一些实施方式中,在预捕捉阶段期间,捕捉设备可以被触发以自动捕捉图像和/或自动修复或改变捕捉设备设置以便捕捉图像。在捕捉阶段期间,例如视频或图像连拍之类的一系列连续帧可以被捕捉。在一些实施方式中,在拍摄时间期间,捕捉设备在捕捉阶段的至少一部分期间在各个方向发生波动。在捕捉后阶段,所述图像捕捉系统可以选择并处理所捕捉的帧中的一个或多个从而产生静态图像。所述帧可以包括从不同捕捉设备定向所拍的场景的各种视图,它们被用来产生所述场景的一个或多个静态图像。

在一些实施方式中,用于捕捉图像帧、选择帧以及处理帧以产生静态图像的过程中的一些或全部可以在相同设备上执行,诸如捕捉设备。在再一些实施方式中,所述预捕捉过程以及帧的捕捉可以在一个设备上执行——例如捕捉设备,而选择、编辑和产生静态图像的捕捉后过程可以在另一个设备上执行——例如,诸如客户端/服务器或云类型架构的计算设备。用于本文所描述的生成静态图像的各种过程的设备可以是移动设备、台式计算机等。

所述捕捉设备可以以各种速率拍摄视频,例如每秒钟24帧(fps)至30fps,或者以诸如60fps、120fps和240fps的更高速率,以及甚至更高的速率。在一些实施方式中,所述设备可以以例如2fps至5fps或10fps——诸如3fps——的各种速率在连续捕捉模式(连拍模式)下拍摄一系列的帧。所述速率可以在拍摄期间保持恒定,或者例如可以有所改变,例如以例如3-10fps的快速速率开始,随后则为较慢速率。在单个图像文件中可以在单次连拍中捕捉各种数量的帧,例如10至15帧或者多于15帧,例如20至40帧。

所述图像捕捉系统提供了大量帧的有效筛选从而创建较小数量的静态图像,所述静态图像可以以各种方式被使用,例如被存储、分享、观看等。例如,可以捕捉并分析超过数百或数千的视频帧以产生单个或数个静态图像。所述静态图像可以是视频中已经从所述视频的一个或多个帧或部分帧被创建或复制并且以电子形式被存储的分段,诸如照片。

所述图像捕捉系统的实施方式可以对尝试从场景捕捉静态图像的用户加以辅助。用户可能对拍图片感兴趣,但是使得捕捉设备(例如,相机、智能电话相机等)就绪的时间可能面临着失去画面机会的风险。准备设备以拍摄图片会耗费过多时间。例如,准备捕捉设备可能包括开启捕捉设备(例如,开机、从休眠唤醒、解锁,或者以其它方式激活捕捉设备)或者停止捕捉设备的另一项操作,启动相机应用(例如,在智能电话、平板计算机或可穿戴设备上加载软件应用;在独立相机上进入相机模式,等等),等待相机应用加载(例如,在智能电话的随机存取存储器中),使得相机在主体上对焦(例如,通过手动对焦、自动对焦等),以及激活捕捉按钮。在其它场境中或针对其它设备而言,准备捕捉设备还可能包含有其它操作,诸如调节分辨率、帧率、颜色模式等。准备捕捉设备所需的时间带来的后果可能是失去拍照片或者以其它方式捕捉瞬间的机会。

在一个说明性示例中,滑雪者可能遇到奔跑的山狮并且该滑雪者可能尝试快速捕捉这头动物的画面。该滑雪者用来将拍摄设备拿出他或她的口袋并且拍摄山狮照片的可用时间期间非常短(例如,一秒或更短)。更为复杂的是,该滑雪者还在尝试拍摄照片的同时可能正滑下斜坡。如果该滑雪者能够快捷且轻易地捕捉到具有山狮的瞬间将会是有利的。

要求稳定且对焦的平台的相机技术对于要拍摄清晰且完整的动物图像的滑雪者来说会带来挑战。在一些实施方式中,所述图像捕捉系统提供了一种快速响应工具,其使得滑雪者能够通过简单地拉出捕捉设备并且自动拍摄场景——例如在所述捕捉设备保持锁定的同时——而获得高质量的静态图像。该滑雪者可以避免对于激活相机技术并且使得捕捉设备对焦的需要。

在一些示例中,所述捕捉设备可以以各种方向和角度进行扫描从而获得场景的视频。因此,所述捕捉设备可以在捕捉视频的同时在水平位置、垂直位置或者任意有角度的定向被握持。所述捕捉设备在拍摄期间还可能在二维或三维中以随机或自由形式的方向发生移动以基本上绘制所要捕捉的场景。例如,该滑雪者可以在山狮穿过他或她的路径时将拍摄设备从一侧到另一侧摇摄。

在一些实施方式中,捕捉设备可以相对恒定地被握持,但是握持相机的人却可能发生移动或旋转。例如,进行跳跃的滑雪者,或者佩戴相机的舞者可能在捕捉其它周围舞者的同时表演舞蹈。因此,捕捉设备移动推断出在捕捉设备和场景之间存在相对运动。在一些实施方式中,这样的相对移动可以被辨识,并且在一些情况下在产生图像时得到补偿。

在滑雪者的情况下,在滑雪者通过崎岖的地形向山下行进的同时,捕捉设备可以在以奔跑的山狮的总体方向移动的同时捕捉山狮场景的视频。所述图像捕捉系统能够随着主体以及捕捉设备二者移动拍该看上去难以捕捉的视频,并且产生所述山狮的一个或多个充分静态的图像。

在上述示例中,捕捉设备可以检测到滑雪者捕捉具有山狮的场景的意图,并且作为响应而开始记录视频。例如,捕捉设备可以包括温度传感器,其检测到捕捉设备从口袋或袋子中被取出时的外部温度下降。环境光照计也可以检测到外部亮度的增加。加速计、陀螺仪和/或罗盘则可以检测到捕捉设备在其被移动就位时的移动和定向改变。

在一些实施方式中,视频的捕捉可以在被锁定且处于屏保模式的捕捉设备上被激活。所述捕捉设备并不需要被解锁从而自动捕捉视频。在一些示例中,捕捉可以被自动激活。在一些示例中,捕捉可以基于例如手势、语音命令等的用户动作被激活。

捕捉设备的自动激活可以使得能够在一些感兴趣的事情发生时或者在用户执行其它活动的同时进行图像捕捉,例如,在滑雪时检测到跳跃、滑行或另外的感兴趣事件;在打猎或徒步时检测到动物的出现并自动捕捉视频;在玩耍或观看运动时自动捕捉图像等。此外,自动捕捉可以在用户将相机固定在底座中(例如,腰包、头部固定、佩戴在颈部周围等)时被使用。例如,安装在颈部的捕捉设备可以自动检测到人的存在并且自动触发对那个人的视频捕捉。

在捕捉后阶段,来自捕捉设备的视频或者连续帧的其它文件可以被处理以确定满足某个选择标准的一个或多个帧。所述选择标准可以包括目标主体的描述。所述图像捕捉系统例如可以通过分析各个帧来确定所述视频或文件的预期目标主体。在其中视频或连续帧被捕捉的拍摄时间的至少一部分的期间,捕捉设备——诸如捕捉设备镜头、光圈或其它捕捉组件——可以指向或朝向目标主体以捕捉所述目标主体。

在滑雪者的示例中,一些视频帧可能至少包括山狮的多个部分以及例如雪、天空和树之类的大量周围对象。所述图像捕捉系统可以分析各个帧中的对象,并且确定帧中所描绘的特定对象——例如山狮——正在移动。由于捕捉设备可以跟随对象,所以移动对象可以是许多帧中的共有元素。所述图像捕捉系统可以将移动对象与背景和前景中并未表现为被捕捉设备所跟随的其它对象进行比较。

在滑雪者的情况下,所述图像捕捉系统可以选择山狮作为视频的目标主体,而不是在场景中被确定为静止的各种其它对象,例如树、雪和天空。即使可以捕捉到更多的周围对象,也可以逐帧地确定周边的类型有所变化,例如视频捕捉到多个不同的树、降雪区域和天空部分。然而,可以确定的是,所述视频仅捕捉到一头山狮。因此,所述图像捕捉系统可以推断出被跟随的对象是目标主体而不是变化的周边对象。

在一些实施方式中,所述目标主体可以由用户输入来确定。例如,用户可以在捕捉设备上查看所捕捉的帧并且通过触摸至少一个帧中所描绘的目标主体对象来选择目标主体,从呈现给用户的可能目标主体的选择中进行选取,以文本方式表述目标主体,以及图像捕捉系统可以使用自然语言处理和图像辨识来识别所述帧中的目标主体,使用语音输入或者其它输入形态来识别目标主体。

所述图像捕捉系统可以选择包括目标主体的视频或者一系列连续帧中的一个或多个帧。在一些实施方式中,可以创建并不存在于任何一个所捕捉帧中的新的静态图像。在一些实施方式中,来自视频或系列中的各个帧的内容可以在创建静态图像时被采用。例如,一个帧可以被选择以进行编辑并且内容可以从其它帧进行引用或融合从而获得主体的对焦更好的图像,减少主体的运动影响,改善主体的颜色特征,改善动态范围,诸如从阴影区域移动至明亮区域的主体,等等。

有时,具有目标主体的一个或多个帧可以被进一步处理以改善来自视频或系列连续帧的静态图像的质量。作为示例,感兴趣帧中例如模糊的缺陷可以通过访问视频中的其它帧的内容而被校正。在一些实施方式中,多个帧或者帧的部分可以被缝合在一起以完成对象,诸如目标主体。此外,由于非匹配边界的缝合所导致的数据丢失可以利用来自其它帧的内容而被填充。下文关于图1对编辑的一些示例进行描述。

图1图示了其中用来实施图像捕捉系统100的一些实施例的示例环境。在一些实施方式中,图像捕捉系统100可以包括捕捉设备106以便由用户102捕捉场景104的视频或一系列连续帧。系统100可以进一步包括计算设备120以处理所述视频并生成场景104的静态图像。在一些实施方式中,计算设备120可以被集成在捕捉设备106内。在又一些实施方式中,捕捉设备106和计算设备120可以跨网络112互相通信以实施场景104的静态图像的产生。图像捕捉系统100使得用户102即使在诸如图1所示的孩子玩耍的场景104之类的通常并不适宜的条件下也易于捕捉到高质量的静态图像。

在图1所示的示例中,用户102可以刻意地将捕捉设备106从静止位置移动至朝向所述场景的定向,并且这样的移动可以被解释为捕捉场景104的用户意图。在一些实施方式中,捕捉设备的某些移动特性可以通过使用与捕捉设备106相关联的一个或多个传感器来检测。所述传感器可以在内部定位于捕捉设备之内,被固定至捕捉设备的表面,可移除地接合至捕捉设备,等等。表示移动特性的传感器数据可以被提供至移动模块以解释传感器数据。所述移动模块可以将一个或多个移动特性辨识为满足指示用户捕捉一个或多个图像的意图的阈值启动移动。此外,可能存在可以被辨识为用户捕捉图像的意图并激活图像的自动捕捉和/或修复或改变捕捉设备设置的其它形态。一些附加形态可以包括用户的手势、语音命令、特定主体的检测、事件发生、捕捉设备的位置,等等。

捕捉设备106可以从静止处被移动至就绪位置从而捕捉场景。在各种实施方式中,捕捉设备106可以由于捕捉设备106检测到捕捉设备106的阈值启动移动而自动开始对视频或系列连续帧的捕捉,所述阈值启动移动指示用户捕捉视频的意图。所述启动移动可以包括表示捕捉设备106从静止位置到捕捉就绪位置的改变的各种移动特性,所述捕捉设备在所述捕捉就绪位置准备拍摄场景。在一些实施方式中,诸如曝光、对焦、高动态范围、滤镜等的各种捕捉设置也可以基于所检测到的例如捕捉设备定向之类的移动特性而被自动修复或改变。所述静止位置可以是捕捉设备106的任意位置,在所述设备并不被建议被定位于所述位置来捕捉图像。例如,捕捉设备106可能被放在口袋、袋子、背包、衣袖等之中。在一些实施方式中,捕捉设备106可以在处于静止位置的同时执行其它非捕捉功能。例如,捕捉设备106可以被用户拿着进行电话呼叫、文本、电子邮件、玩游戏、上网等。在一些示例中,捕捉就绪位置可以包括握持捕捉设备106以面对场景而使得相机镜头朝向目标主体或处于目标主体的总体方向。在一个示例中,捕捉就绪位置可以包括设备的大致垂直(或水平)位置,其中相机光圈或镜头并未被阻挡(例如,与设备放在用户口袋中时不同)。在一些示例中,捕捉就绪位置可以基于如一个或多个传感器所感测的捕捉设备的运动(例如,将设备提升某个量、旋转设备等)来确定。

移动特性可以包括对捕捉设备106的物理改变或移动的检测。例如,在一些实施方式中,移动特性可以包括设备的加速度。例如,捕捉设备106去往捕捉就绪位置的移动与捕捉设备执行诸如发送文本之类的不同功能的移动相比可以处于更高速率。加速率也可以比其它动作更慢,诸如比捕捉设备朝地面摔落的速度更慢。加速率的阈值或范围可以是捕捉图像的意图的一种指示。

移动特性的另一个示例可以包括其中捕捉设备106的相机镜头朝向远离用户的捕捉设备106定向改变。因此,阈值移动特性可以是从诸如水平或平放定向(例如,表示捕捉设备面朝下方的180度或者表示捕捉设备面朝上方的360度)的一个定向旋转到其中相机镜头朝外的向上位置(例如90度旋转)的定向增量。一些捕捉设备定向(如水平横向位置)可以表示有用户想要捕捉视频的有所增高的可能性。此外,捕捉设备的特定倾斜可以构成移动特性。

在另一个示例中,阈值高度或高度改变可以作为可以指示捕捉图像的意图的另一种移动特性。在一些示例中,捕捉设备的高度计或气压计可以检测到海拔。在一些实施方式中,诸如用户身高之类的用户的物理特性可以被用来将捕捉设备高度确定为移动特性。例如,捕捉设备被孩子握持来拍摄图像的高度可能比成人握持设备的高度更矮。在一些实施方式中,高度可以基于捕捉设备的环境场境而有所变化。例如,如果确定捕捉设备处于移动的车辆中,例如由GPS或加速计所确定的,则与站立用户的捕捉设备高度相比,捕捉设备高度可以针对坐着的用户而减小至适当高度。

涉及到物理移动的检测的其它移动特性可以包括捕捉设备106的位置。例如,捕捉设备106可以被确定为例如由捕捉设备106上的GPS所定位或者被定位在别处,处于诸如地标之类的流行图像捕捉的位置或其附近。在一些实施方式中,位置的流行度可以基于用户的偏好。例如,图像捕捉系统可以在索引中检测、存储并访问用户的先前行为并且可以访问数据库,例如存储在远程位置的数据库。在一些实施方式中,可以访问用户在之前的拍摄时间利用捕捉设备106手动拍摄过图像的位置。

所述图像捕捉系统还可以访问用户的先前web帖子、电子邮件或其它通信以确定所述用户特别感兴趣的位置和/或用户在日历中安排的事件。例如,用户可能发布了她将会在特定日期和时间在学校剧院参加她的孩子的聚会。例如GPS坐标的剧院位置以及事件时间可以作为移动特性被存储在索引中。当捕捉设备106被确定处于该位置——例如在事件处进行登记或者由匹配的GPS坐标所确定——以及到了事件时间时,捕捉设备106可以被自动激活以捕捉图像。

在一些实施方式中,捕捉设备的位置可以与该位置的其它捕捉设备进行比较以指示在该位置捕捉图像的意图。例如,如果处于该位置的某个数量的其它捕捉设备正在捕捉图像并且将所捕捉的图像上传至社交媒体站点,则该位置可能是单独或结合其它所检测的移动特性一起触发自动捕捉的移动特性。在一些实施方式中,诸如位置之类的移动特性可以针对捕捉设备导致监视诸如捕捉设备加速度和定向之类的其它移动特性的提醒,并且在阈值启动移动时激活自动捕捉。

移动特性还可以包括从捕捉设备106所检测到的各种条件变化。例如,表示条件变化的移动特性可以包括捕捉设备106暴露于其中的外部环境温度的变化。内部温度变化也可以作为移动特性被检测。这样的温度变化例如可以在捕捉设备106从口袋、背包或隔挡中取出时发生。温度会在捕捉设备行进至或暴露于开放环境以便拍摄视频时变得更凉。

表示条件变化的其它移动特性可以包括捕捉设备暴露于捕捉设备的环境中的外部光的变化。例如,在一些实例中,捕捉设备106在静止时可以被存放在诸如箱子、口袋、背包等的黑暗环境中并且被移动至具有更多光的环境。光变化可以在准备捕捉图像时通过有所增加的流明来检测。

传感器所检测的移动特性可以进一步包括红外光。例如,身体热量或运动可以被红外传感器所检测并且红外光的变化可以指示捕捉图像的意图。在一些实施方式中,移动特性可以包括来自对象的与背景热量相比的热量变化。在又一些实施方式中,压力可以作为移动特性被感测。在确定阈值启动移动时可以检测并使用其它移动特性。

在一些实施方式中,阈值启动移动可以被所检测的多个移动特性所满足,例如两个或更多、三个或更多,等等。在一些实施方式中,阈值启动移动可以被诸如加速度、高度和定向的移动特性的特定组合所达到。移动特性的某些组合可以改变用来确定启动移动的阈值。例如,捕捉设备106处于特定位置的检测可能导致要求一个附加移动特性来自动触发捕捉设备。作为对比,捕捉设备处于其它位置的检测则可能要求两个或更多移动特性才能达到阈值启动移动。

在一些实施方式中,所检测到的移动特性可以被赋予表示捕捉图像的意图的可能性的数值。阈值启动移动可以被一个或多个移动特性数值所达到,所述数值可以被组合评估以达到特定数值阈值。例如,捕捉设备去往基本上水平的横向定向的移动可以具有数值3,处于特定范围内的加速度速率可以具有数值5,以及处于特定范围内的高度变化可以具有数值2。总数值10可足以达到阈值启动移动并且触发捕捉设备的自动视频捕捉。

在一些实施方式中,用于启动移动的移动特性和/或阈值可以被预先设置并且基于被确定为指示用户捕捉图像的意图的动作或捕捉设备数据的可用性证据。这样的可用性证据可以包括被认为代表了拍摄照片和视频的用户的启动移动的用户研究群组的行为。

在一些实施方式中,所述图像捕捉系统可以利用捕捉设备106的特定用户的动作而应用诸如神经网络过程的各种学习技术。例如,基准移动特性可以在手动捕捉图像时被检测并存储在索引中。所述基准移动特性可以被用来改变指示捕捉图像的意图的各种参数,诸如调节——例如增大或减小——阈值,增加新的移动特性,改变移动特性的组合,改变阈值启动移动,等等。以这种方式,对图像的自动捕捉可以适应用户的特质。

在一些实施方式中,图像捕捉系统100可以使得捕捉设备的用户能够指定和/或同意某些信息的使用,这可以包括图像捕捉系统100使用并存储与捕捉图像以及捕捉设备的使用相关联的行为,辨识图像中所识别出的人的身份信息,等等。例如,图像捕捉系统100可以为用户提供以用来指定和/或同意特定信息的使用的多种选择。例如,有关指定和/或同意的选择可以与特定捕捉设备、捕捉设备的应用和组件、个体图像、所有图像、个体相册、所有相册等相关联。所述选择可以以各种方式来实施。例如,图像捕捉系统100可以使得按钮或复选框诸如在显示器108上被显示在各种选择旁。在一些实施方式中,系统100使得社交网络的用户能够总体上指定和/或同意使用他们的图像用于脸部识别的用途。

在这里所讨论的系统收集有关用户的某些信息或者对某些信息加以利用的情况下,用户可以被提供以控制程序或特征在用于使图像捕捉系统适应用户的学习技术中是否收集用户信息(例如,有关用户的社交网络、用户选择的先前图像、社交动作或活动、职业、用户的偏好或用户的当前位置的信息),或者对如何选择和/或处理所捕捉的可能与用户相关的图像进行控制的机会。

此外,某些数据可以在其被存储或使用之前以一种或多种方式被处理,而使得某些信息得以被去除。例如,用户的身份可以被处理而使得无法针对用户确定信息,或者可以对获得位置信息处的用户的地理位置进行一般化处理(诸如处理为城市、ZIP码或州的级别)而使得无法确定用户的特定位置。因此,用户可以对图像捕捉系统如何收集和使用有关该用户的信息加以控制。

捕捉设备106上的各种传感器可以检测可作为捕捉设备106的启动移动的特性的条件变化。一个或多个传感器可以将数据馈送至捕捉设备106中的移动模块以确定数据变化是否满足用来指示捕捉设备106的启动移动的阈值量。这样的传感器的示例可以包括相机、陀螺仪、加速计、气压计、罗盘、温度传感器、接近度传感器、环境光照传感器、麦克风、全球定位传感器、无线电收发器、电容触摸传感器、电阻触摸传感器、指纹传感器、生物计量传感器、红外成像传感器、压力传感器、磁场传感器、湿度传感器、时钟等。

可以检测移动特性的多个传感器包括以下中的一个或多个:用于确定线性加速度并且检测与移动相关联的重力的加速计;用于检测旋转角速度、横向定向、倾斜、滚转、俯仰和偏转的陀螺仪;用于确定捕捉设备106关于地球磁场的定向(例如,哪里是北方)以及以Tesla为单位(磁力单位)测量磁场强度的磁力计或罗盘;用于测量捕捉设备的位置的气压计;用于检测捕捉设备106是否接近于用户定位的接近度传感器,例如,用户的耳朵指示使用电话功能而不是拍摄照片或视频;用于通过与多个卫星相连接来确定位置的GPS。在一些实施方式中,温度传感器可以检测捕捉设备外部的温度变化。在一些实施方式中,捕捉设备106可以包括光传感器,诸如处于捕捉设备106上的各个位置的——包括处于显示屏旁且具有各种角度分布的——环境光照计。也可能有其它传感器。

在一些实施方式中,传感器可以被用来检测可指示停止图像捕捉的意图或阈值终止移动的移动特性。如上文针对阈值启动移动所描述的,表示移动特性的各种传感器数据可以被检测,诸如捕捉设备的加速度、定向、旋转移动、海拔、位置、外部光、外部温度等。在确定阈值终止移动时,捕捉设备可以自动结束视频捕捉并且转入捕捉后阶段。

在图1中,示出了智能电话类型的捕捉设备106。能够应用任何其它类型的适当捕捉设备来与当前系统一起使用,例如个人数字助理、平板计算机、移动互联网设备、数字静态相机、数字视频相机、个人导航设备、腕表、头戴式显示器以及其它可穿戴设备、其它移动设备,等等。依据各个实施例的捕捉设备106可以是能够捕捉视频或一系列连续帧——例如连拍模式——的任意计算设备。

在一些实施方式中,所述图像捕捉系统可以作为移动计算设备(例如,智能电话)上的移动应用进行操作。其它实施方式包括作为浏览器应用或独立应用而利用任意类型的计算设备运行的图像捕捉系统。一个示例可以是客户端/服务器架构,其中视频或连续系列帧可以从客户端捕捉设备提供至计算设备服务器,而所产生的静态图像可以从所述服务器被提供至客户端。在另一个示例中,所有数据存储和计算都可以在诸如捕捉设备106的一个设备上执行。

在一些实施方式中,捕捉设备106上的显示屏108可以被用来显示相机技术所捕捉的视图,捕捉设备106的状态通知——例如录制过程中,或者显示用于请求对所捕捉的帧进行处理的用户界面。在一些实施方式中,显示器在自动视频捕捉期间可能并不工作,并且可能不示出当前正被捕捉的视频。在这些情况下,所述显示器可以保持黑暗或者可以示出捕捉设备106中可排除相机视图的其它功能。

显示屏108可以是TFT(薄膜晶体管)、液晶显示器、OLED(有机发光二极管)显示器、头戴式显示器,或者其它适当的显示技术。在一些实施方式中,显示屏108是多点触摸敏感屏幕。用户可以使用诸如放大、敲击、滚动、划动等的命令来快速查看所捕捉的视频和/或静态图像。在一些实施方式中,捕捉设备106可以接受各种其它输入,诸如语音命令和键盘敲击。可以意识到的是,具有其它类型的显示屏108或者没有显示屏108的捕捉设备106也可以被用来对图像捕捉系统100的视频捕捉组件加以利用。

在捕捉阶段期间,捕捉设备106可以在拍摄时间的过程中捕捉场景的视频或一系列连续帧。在一些实施方式中,捕捉设备106在拍摄期间可以在各个方向移动,如图2A-C的示例所示。图2A示出了场景200的视频中的第一帧204。图2B示出了在帧204后所捕捉的场景200的帧208。图2C示出了在场景200的图2B所示的帧208之后的某时的帧212。

在拍摄时间期间,捕捉设备106例如可以沿x轴、y轴和/或z轴以及任意方向组合在各个方向移动。捕捉设备106在捕捉期间的路径可以是自由形式而没有预定义的航程。

在一些实施方式中,捕捉设备在拍摄时间期间的移动还可以包括改变捕捉设备的定向,例如横向(水平定向)、纵向(垂直定向),以及其间的任意角度,例如横向和纵向之间的45度。例如,捕捉设备在拍摄期间的路径可以是旋转移动设备的定向的同时的有角度扫动从而创建出基本上完整的拱形、部分拱形、或者部分圆形或圆形的路径。所产生的被捕捉帧可以是横向视图(零度)后跟有针对纵向视图(大约90度)的有角度视图的合集,这形成了部分拱形的场景描绘。继续该示例,所述部分拱形中的纵向视图(大约90度)进一步可以后跟有针对横向视图(大约180度)的有角度视图,这形成了完整的拱形描绘。进一步继续该示例,所述拱形的横向视图(大约180度)可以后跟有纵向视图(大约270度)从而形成部分圆形的描绘,或者继续到横向视图(大约360度)从而形成场景的完整圆形描绘。

在一些实施方式中,捕捉设备在拍摄时间期间的移动可以包括例如沿一条或多条轴线x、y或z改变捕捉设备的位置。在捕捉期间,捕捉设备106可以指向目标主体202的总体方向,所述目标主体202在该示例中是一只猫。例如,在拍摄时间期间,捕捉设备可以关于目标主体202以基本上水平的方向沿x轴移动。捕捉设备也可以关于目标主体202以基本上垂直的方向沿y轴移动。此外,捕捉设备可以沿z轴朝向或远离目标主体202移动。在一些实施方式中,捕捉设备106并不需要聚焦于目标主体上。有时,如图2A和2C所示,目标主体202仅有一部分可以在帧204、212中所表示的对象206、214中被捕捉。如图2B所示,帧208可以描绘整个目标主体对象210。

在一些实施方式中,目标主体对象可以通过比较目标主体相对于静止的背景树木的移动并且进一步考虑捕捉设备在拍摄时间期间的移动来确定。捕捉设备的移动可以在x、y和/或z方向进行评估,诸如通过利用场景对捕捉设备进行三角测量。

在一些实施方式中,描绘出整个目标主体对象210的帧208可以被选择为具有阈值质量来产生静态图像。然而,帧204和212也可以被选择,例如在这些帧被确定包括目标主体对象206、214的实质性部分的情况下。所述帧可以被编辑以从捕捉场景的系列帧中的其它帧加入目标主体202的缺失部分。帧还可以被编辑以提高质量,诸如减少模糊、改善量度、润饰色彩等,例如通过针对编辑帧引用或添加来自系列帧中的其它帧的像素。

参考图1,在一些实施方式中,捕捉设备106可以跨网络112向计算设备120传送请求以在捕捉后阶段的期间从视频或连续系列帧生成静态图像。例如视频的帧也可以跨网络112被传送至计算设备120以便进行处理。在一些实施方式中,计算设备120对例如视频的帧的接收可以用来触发计算设备120对所述视频进行处理,而无论是否发送或接收请求。

在一些实施方式中,捕捉设备的传感器数据诸如可以从捕捉设备通过网络112提供至计算设备。传感器数据可以包括表示捕捉设备在拍摄时间期间的移动特性的移动数据。移动数据可以表示捕捉设备的物理变化或移动以及捕捉设备在拍摄时间期间的条件变化,诸如光、压力等。如上文所描述的,传感器数据可以从捕捉设备中的各个传感器收集。

在各个实施方式中,捕捉设备和计算设备可以独立或联合工作以实施捕捉后阶段。例如,计算设备可以例如基于部分分析有选择地从捕捉设备请求个体帧而不是完整视频。捕捉设备也可以对视频的较低分辨率版本进行处理(例如,针对带宽有限设备)并且随所述较低分辨率的帧一起向计算设备发送指令以生成静态图像。在一些实施方式中,捕捉设备可以对视频进行预处理以识别一些帧以便由计算设备进行处理,等等。

在一些实施方式中,在捕捉后阶段期间,计算设备120的处理器122可以分析一个或多个所捕捉的帧(例如,帧206、210和214)。可以在帧中检测一个或多个对象,而且一个或多个对象可以被表征为视频的目标主体(例如,孩子、山狮等)。选择组件216可以选择视频中要从其创建一个或多个静态图像的一个或多个帧。选择标准可以包括识别目标主体,以及确定描绘所述目标主体的至少一部分的帧。选择标准还可以包括之前的选择信息,诸如用户或者用户的社交联系人之前对静态图像的选择。在一些实施方式中,可以访问用户的图像相册或其它图像存储以针对选择标准来确定静态图像的用户偏好。

继续所述处理,可以利用选择组件126对帧进行分析以确定各个对象的显著性,并且相对应的显著性数值可以被存储在存储器124中的索引128中。被认为显著的对象可以被用来从视频产生一个或多个静态图像。选择标准还可以包括帧的质量,诸如帧中所描绘的目标主体的部分、帧中所描绘的背景或前景、亮度、模糊等。在一些实施方式中,满足阈值选择标准的帧可以被选择作为静态图像。

在一些实施方式中,所述选择标准可以基于用户行为和偏好而被动态更新。例如,如果一个或多个视频帧中诸如通过脸部辨识所识别的人的特定对象或者诸如野生动物图像的对象类型被确定为受用户的欢迎,则具有所述特定对象的帧可以被选择用于静态图像。在一些实施方式中,所述图像捕捉系统可以访问用户的图像库以确定对象偏好。针对用户被认为受欢迎的对象可能随时间而有所改变并且选择标准也可以相应地有所改变。

计算设备120的创建组件130可以从所选择的一个或多个被捕捉帧编辑和/或构建新的静态图像,以例如针对任何给定帧中的瑕疵进行调节。在一些实施方式中,感兴趣帧中所描绘的对象可能被发现是模糊的并且可以对该模糊进行处理。例如,所述对象也可以在视频序列中的相邻帧或其它帧中被识别。在需要的情况下,具有所述对象的帧可以在帧的序列中被转移和重叠,而使得重叠帧中的所识别对象被对齐。一个或多个帧的对象的重叠可以减少感兴趣帧中的模糊从而生成更高质量的静态图像。

所述创建组件也可以以另外的方式将来自两个或更多帧的内容进行组合。在一些实例中,帧的至少一部分可以与感兴趣的帧进行合并从而例如将目标主体的一个或多个缺失部分添加至感兴趣的帧。帧可以被组合和缝合在一起以创建对场景更为完整的描绘。在一些实施方式中,帧可以被分析并且具有与感兴趣帧中的对象——例如目标主体——的缺失部分相匹配的内容的那些帧可以被缝合在一起。

移动的捕捉设备所拍摄的视频或连续系列帧可能处于各种定向和角度。例如,一些帧可能是横向,一些则是纵向,而一些在处于其间的角度。帧可以沿垂直边界、水平边界或者沿非对称边界被联合。例如,帧可以按照对角线关系而被缝合为帧的交叉模式或者在帧的角落进行缝合。在一些实施方式中,一系列视图中的帧或帧的一部分可以在各种定向之间进行旋转,例如,系列中的帧可能是纵向视图、横向视图和有角度视图从而形成场景的拱形、部分拱形或圆形描述。所述帧或部分帧可以按照需要被重新定向并且被缝合在一起,以及可选地被添加以描绘场景的其它帧,从而形成所述场景的静态图像。

在一些实施方式中,感兴趣的帧可以被旋转,填充以来自视频中的其它帧的内容,使用其它技术被裁剪、平滑或编辑,以产生高质量的静态图像。有时,在用于处理的捕捉后阶段期间,所述创建组件可以改变静态图像的定向。

在处理之后,所产生的一个或多个静态图像可以被存储,诸如被存储在计算设备120的数据存储132中。在一些实施方式中,所述静态图像可以跨网络112被传送至捕捉设备106以便进行显示、附加编辑、进一步传送至其它计算设备、发布在例如社交媒体站点的网站上,和/或进行存储。

在一些实施方式中,所述帧处理可以由捕捉设备执行,在一个或多个远程计算设备执行,或者由捕捉设备和一个或多个计算设备联合执行。另外,所述帧处理可以在捕捉之后立即执行,或者可以稍晚执行。例如,处理可以在预设的未来时间执行,以规律间隔执行,或者按照捕捉设备的用户、其它用户或设备的请求来执行。视频或系列连续帧可以被存储、备份、丢弃、标记为“自动捕捉”,等等。

图3a和3b是示例过程的流程图,其中图3a示出了预捕捉阶段300,而图3b则示出了捕捉后的帧处理以及产生静态图像320。

预捕捉过程可以由捕捉设备106中的处理器来执行。在如上文所描述的预捕捉阶段期间,一个或多个传感器收集传感器数据。在图3a中,传感器数据直接从传感器接收302,从传感器数据库集接收,等等。在决策框304中可以从传感器数据识别阈值启动移动。如果所述传感器数据并未满足启动移动的阈值,则另外的传感器数据可以在框302被接收并且针对阈值启动移动而被监视。

在框306,阈值启动移动可以触发帧的捕捉,例如视频或一系列连续帧。在一些实施方式中,在捕捉阶段期间,传感器数据可以在框308被接收,并且在框310被监视以确定是否确定了阈值终止移动。框308中在捕捉期间所接收的传感器数据可以与在框302被接收以触发捕捉的传感器数据相同或不同。如果传感器数据并未满足终止移动的阈值,则另外的传感器数据可以在框308被接收并且针对阈值终止移动而被监视。在框312,阈值终止移动可以触发对帧的捕捉的结束。该过程可选地可以移动至捕捉后阶段,例如图3b所示。

在本文所描述的各种实施方式中,计算设备120的处理器122可以执行所描述的步骤,诸如通过存储器124中的选择组件126或者通过捕捉设备106。在框322,视频或系列连续帧诸如从捕捉设备106、捕捉设备106的组件或者例如服务器的中间设备被接收。用于产生静态图像的捕捉后阶段可以被应用于以任何速率且利用各种捕捉设备期间所捕捉的视频或系列连续帧。以例如每秒60帧(fps)或更高的高速率捕捉的视频尤其可以从所述图像捕捉系统获益。

帧可以以各种顺序或群组被访问和分析。例如,在一些实施方式中,可以顺序或非顺序地对所有帧进行分析,可以对帧的子集进行分析,或者可以发生处理帧的不同子集的多次迭代。被分析的帧的数量可以至少部分取决于捕捉速率(每秒帧数)以及视频或系列连续帧的长度而有所变化。在一些实施方式中,可以分析数百或数千个帧。

在框324,可以识别来自帧中的移动和静止的对象。可以采用各种对象辨识技术来识别帧中所表示的对象。例如,可以使用树木和天空分割、面部检测、脸部辨识、诸如神经网络过程的各种学习技术、以及用于识别对象的其它过程或过程组合。对象辨识过程可以特定于正在处理的图像类型。例如,自然图像可以利用对通常在自然界中发现的对象进行检测的对象辨识技术。这样的辨识技术可以与图像捕捉系统100形成整体。图像捕捉系统100还可以通过图像捕捉系统100外部的软件或硬件来访问辨识算法技术。

在一些实施方式中,为了辨识对象,图像捕捉系统100可以将对象(例如,对象的图像)与基准图像进行比较和匹配。在一些实施方式中,图像捕捉系统100可以搜索基准图像以便识别出类似于图像中的对象的任意一个或多个基准图像。在一些实施方式中,针对给定基准图像,图像捕捉系统100可以从对象的图像中提取特征以便进行分析,并且随后将那些特征与一个或多个基准图像中的那些进行比较。例如,图像捕捉系统100可以分析诸如脸部特性、身体特性等的对象特征的相对位置、大小和/或形状。在一些实施方式中,图像捕捉系统100可以使用从分析所收集的数据而将图像中的对象与具有匹配或相似特征的一个或多个基准图像进行匹配。在一些实施方式中,图像捕捉系统100可以对多个基准图像进行规格化,并且将来自那些图像的对象数据压缩为具有信息(例如,对象特征数据)的复合表示,并且随后将图像中的对象与复合表示进行比较以便进行脸部辨识。在一些实施方式中,视频帧被捕捉的位置信息以及周围对象的场境可以在对象辨识中被使用。例如,可以在网球场上辨识出网球选手并且可以在学校或操场附近辨识出孩子。

在一些情况下,图像中的对象可能类似于与相同类别中的对象相关联的多个基准图像。这样,与图像中的对象相关联的对象就有高的概率和与基准图像相关联的对象(例如,山狮)为相同类型。

在一些实施方式中,为了促成对象辨识,图像捕捉系统100可以使用基于特征区分的几何辨识技术。图像捕捉系统100还可以使用基于将对象特征提取为数值以便进行比较的统计方法的光度分析技术。在将图像中的对象与一个或多个基准进行比较时也可以使用几何和光度方法的组合。

可以使用其它辨识技术。例如,图像捕捉系统100可以使用以下辨识技术,其使用主成分分析、线性判别分析、弹性束图匹配、隐马尔科夫模型和动态链路匹配中的一个或多个。将要意识到的是,图像捕捉系统100可以使用其它已知或后续研发的辨识技术和/或系统。

在一些实施方式中,图像捕捉系统100可以生成指示图像中的对象与给定基准图像相匹配的可能性(或概率)的输出。在一些实施方式中,所述输出可以被表示为量度(或数字值),诸如图像中的对象与给定基准图像相匹配的百分比置信度。例如,数值1.0可以表示100%的匹配置信度。这可以例如在所比较的图像相同或几乎相同时发生。所述数值可以较低,例如在有50%的机会匹配时为0.5。其它类型的输出是可能的。例如,在一些实施方式中,所述输出可以是匹配的置信度得分。

顺序帧之间例如对象的像素集群的变化可以被辨识。框324中的过程可以识别出逐帧变化的对象,例如改变位置、表达形式等,并且可以进一步对看上去在帧之间一起改变的对象群组进行归类。另外,可以在由于在拍摄时间期间移动的捕捉设备106所导致的对象变化(例如,如移动数据所表示的移动特性)、由于场景中的对象移动以及捕捉设备106同样移动所导致的改变、以及由于场景内的对象移动而捕捉设备106保持静止所导致的改变之间加以区分。

如之前所描述的,捕捉设备106的移动可以由传感器来检测。例如,一个或多个加速计、陀螺仪和/或气压计可以提供移动信息,诸如例如x和y方向的二维中的移动。在一些实施方式中,例如自动对焦之类的传感器可以确定深度并且计算对象距捕捉设备106的距离。所述距离数据可以被用来对捕捉设备106和对象之间的距离进行三角测量。可以使用各种三角测量的方法。利用三角测量,除了x和y方向的移动之外,还可以确定有关移动的深度的z轴数据。以这种分析一、二或三维移动的方式,图像捕捉系统100可以计算由于捕捉设备106的移动所导致的改变。例如,捕捉设备的移动数据可以被接收并解释以确定捕捉设备在帧的捕捉期间的移动。

基线可以通过在对象在场景中保持静止的情况下将会在帧中发生的变化量以及在帧之间由于捕捉设备106的移动所导致的对象位置变化所确定。帧之间的对象变化性的基线值可以与所观察到的帧之间的对象变化性相比较,从而确定在单独基于相机移动的移动之外对象在帧之间移动的程度。对象移动可以被隔离并被用来进一步确定视频或系列连续帧的目标主体。具有目标主体的帧可以在决策框326中被识别。在一些实施方式中,具有所描绘的目标主体的至少一部分的帧可以被用于进一步分析。如框328中所示,没有目标主体的帧则可以被忽视而并不被用来选择静态图像。

在框330,具有目标主体的帧可以被分析以进一步确定所述帧的质量。在决策框332,可以确定所述帧是否满足阈值质量。阈值质量可以包括各种质量因素,诸如在帧中描绘的显著量的目标对象或者整个目标对象。质量因素还可以包括帧的失真量、伪像、噪声、锐度、对比度、亮度、动态范围、色彩准确度、渐晕、曝光、横向色像差、镜头光晕、色彩摩尔纹等。其它质量因素是可能的,诸如基于用户偏好的因素。

如果帧的质量被认为满足阈值,则所述帧可以被标记为静态图像,如框334所示。如果所述质量低于阈值,则所述帧可以如框336中所示那样被忽视。在一些实施方式中,同样如框336所示,具有低于阈值的质量的帧可以被编辑——例如平滑——从而提高所产生图像的质量。

在一些实施方式中,所选择的帧可选地可以被编辑338以减少对象的模糊并且对捕捉设备的移动进行补偿。捕捉设备的三维移动——例如x、y和/或z方向——的确定可以有助于分析模糊以及可能由于对象在场景中的移动、捕捉设备106移动或者它们的组合所导致的其它图像缺陷,诸如阴影、动态范围、对焦等。可以对帧进行检查以确定示出帧序列中缺陷起始的一个或多个帧,所述缺陷诸如对象的模糊。在起始帧之前拍摄的帧,诸如紧接所述起始帧之前的在对象缺陷方面没有缺陷的帧,可以进行时间平移而使得所述在前帧和缺陷帧——例如模糊帧——被重叠。例如模糊对象的缺陷对象可以与例如在前的无缺陷帧的对焦对象的无缺陷对象对齐从而产生单个无缺陷图像,例如使用帧的组合的清晰的对象图像。

可以对帧使用其它编辑方案以提高图像质量,诸如减轻噪声,包括视频中不存在包括对象的清晰描绘的帧时的情况。在这些情形中,区分由于捕捉设备106所导致的移动和场景中的实际对象移动可以被用来推断对象的所期望图像,例如对象在所述对象例如对焦之类的没有缺陷的情况下将会看上去如何。可以对顺序帧进行分析以确定所描绘对象的各个方面的改变速率,所述方面诸如是如一些顺序帧中所示出的对象的颜色和形状。所述改变能够被平均从而确定所描绘对象的所述方面在没有缺陷——例如对焦——时应当如何出现。一旦确定了例如对焦的无缺陷外观,就可以应用各种平滑技术、着色、强度修改和其它编辑工具以生成具有对象的所期望描绘——例如不同的图片——的静态图像。

在图3b中,框340的决策步骤确立在视频中是否有另外的帧要分析。如果存在另外的帧,则该过程进行至步骤306以识别下一个帧中的移动和静止对象。然而,如果确定没有另外的帧,则在一些实施方式中,在框342,图像捕捉系统100可以传送(例如,向捕捉设备106)或存储(例如,在数据存储132中)一个或多个所选择的静态图像。

应当理解的是,除非以其它方式有所指出,否则对于本文所讨论的任何过程,在各种实施方式的范围之内,可能存在以类似或可替换顺序执行或者被并行执行的另外的、更少的或可替换的步骤。在各种实施方式中,响应于另一项操作而被执行的操作在在前操作并未成功的情况下不被执行。此外,被描述为从一个设备向另一个设备传送数据的步骤包括将所述数据送入网络112之中以用于其它设备。但是所述其它设备可能并未接收所述数据。类似地,被描述为一个设备从另一个设备接收数据的步骤可能并不包括其它设备传送数据。

在图4中,根据图像捕捉系统的实施方式而示出了捕捉设备106和计算设备120以及它们的至少一些组件。

捕捉设备106可以包括一个或多个控制器,诸如用于指示输入元件的输入控制器402和用于控制图像的捕捉的相机控制器404,以及处理器410。

一个或多个传感器406可以向移动模块408提供数据。所述移动模块可以确定移动特性是否满足阈值,并且进一步可以确定来自一个或多个传感器的移动特性的组合是否满足指示用户捕捉图像的意图的阈值启动移动。

索引412可以存储可由移动模块408所访问的各种数据,诸如移动特性和先前用户行为。所述先前用户行为数据可以在确定各种过程参数时被参考。例如,用于发起或停止捕捉图像的先前用户动作可以是用户设置或改变阈值启动和终止移动。而且,在选择帧时,用户先前对帧的选择可以被参考以确定选择标准。索引可以随着诸如阈值和范围之类的标准的改变而被动态更新。捕捉设备106还可以包括各种存储,诸如可以在其中存储经编辑和原始图像的存储414。

捕捉设备106可以从无线接口416通过网络112在计算设备120的接口420处与计算设备120进行通信。接口416和420使得能够通过一个或多个网络112与远程设备(例如,捕捉设备、服务器、其它计算设备)进行通信。接口416和420可以包括以太网适配器、USB(通用串行总线)、无线互连组件,或者其它基于有线或无线标准的接口或专用接口。

计算设备120可以包括一个或多个处理器122和存储器124。处理器122可以处理指令以便在计算设备120内执行,包括存储在存储器124中或数据存储132上的指令。处理器可以对计算设备组件进行协调,所述组件例如应用、通过接口的无线或有线通信等。在一些实施方式中,可以使用多个处理器和总线。

处理器410、122可以被实施为包括单独且多个的模拟数字处理器的芯片的芯片组。处理器还可以使用各种架构来实施。例如,处理器410、122可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或MISC(最小指令集计算机)处理器。

“处理器”包括处理数据、信号或其它信息的任意适当的硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统,或者其它系统。处理并不需要被局限于地理位置或者具有时间限制。例如,处理器可以“实时”、“离线”、以“分批模式”等来执行其功能。处理的多个部分可以由不同(或相同)处理系统在不同时间和不同位置来执行。

存储器124存储计算设备120内的信息。存储器124可以是任意适当的数据存储、存储器和/或非暂时性计算机可读存储介质,包括电子存储设备,诸如随机存取存储器(RAM)、只读存储器(ROM)、磁性存储设备(硬盘驱动器等)、闪存、光学存储设备(CD、DVD等)、磁盘或光盘,或者是适于存储指令(例如,程序或软件指令)以便由处理器执行的其它有形介质。例如,诸如硬件存储设备的有形介质能够被用来存储包括可执行指令的控制逻辑。所述指令也可以被包含在电子信号中或者作为电子信号被提供,例如以从服务器(例如,分布式系统和/或云计算系统)递送的软件即服务(SaaS)的形式。

一个或多个处理器122和存储器124可以实施选择组件126、创建组件130和数据存储132。计算设备120还可以包括存储对于利用选择组件126分析和选择帧以及利用创建组件130产生静态图像有用的数据的索引128。索引128中的数据可以包括先前用户行为数据、社交联系人行为、用户所输入的偏好,以及用于图像的捕捉和/或选择的其它数据。例如,特定的喜好目标主体或者帧的质量阈值可以基于用户之前对帧的选择、web发布、用户输入的偏好等在索引中进行归类。索引数据可以进一步包括用户或用户群组的图像库并且所述图像可以被访问以确定偏好。

数据存储132和存储414可以保持应用和其它数据。数据存储还可以被用来存储原始图像以及图像的各种编辑版本。所述信息的至少一部分也可以被存储在计算设备120和捕捉设备106内的磁盘驱动器或其它计算机可读存储设备(未示出)上。这样的存储设备包括软盘设备、硬盘设备、光盘设备或磁带设备,闪存或其它类似的固态存储器设备,或者设备的阵列。

也被称作程序、软件、软件应用或代码的计算机程序也可以包含指令,所述指令在被执行时实行诸如本文所描述的那些的一种或多种方法。所述计算机程序可以在诸如计算机或机器可读介质的信息载体中以有形方式被体现,所述计算机或机器可读介质例如存储器124、存储设备或者处理器122上的存储器。机器可读介质是被用来向可编程处理器提供机器指令或数据的任意的计算机程序产品、装置或设备。

计算设备120可以以多种不同形式来实施。在一些实施方式中,计算设备120可以被替换为一个或多个联网服务器,诸如云计算网络中的服务器。在一些实施方式中,其可以在诸如台式计算机的个人计算机中实施。

任何适当的编程语言和编程技术都可以被用来实施特定实施例的例程。可以采用诸如过程或面向对象的不同编程技术。所述例程可以在单个处理设备或多个处理器上执行。虽然步骤、操作或计算可以以具体顺序给出,但是所述顺序在不同的特定实施例中可以有所变化。在一些特定实施例中,在该说明书中被示为连续的多个步骤可以被同时执行。

已经描述了多种实施方式。利用条件语言所描述的特征可以描述可选的实施方式。如将会被本领域技术人员所知的,本公开中所描述的功能框、方法、设备和系统可以被整合或划分为系统、设备和功能框的不同组合。虽然已经关于其特定实施方式对具体实施方式进行了描述,但是这些特定实施方式仅是说明性而并非限制性的。示例中所说明的概念可以应用于其它示例和实施方式。因此,可以进行各种修改而并不背离本公开的精神和范围,并且其它实施方式处于所附权利要求的范围内。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1