处理被相机运动损坏的视频帧的制作方法
【专利摘要】示例实施例关于减少视频捕捉期间相机运动的负面影响。处理、传送或显示运动损坏的视频数据导致带宽、电池电量、内存及其他资源的低效使用。观看从移动的视频相机获得的视频可以引起运动不适。不像尝试通过增加帧拍摄速率来产生较好个别帧来解决运动的常规系统，示例实施例标识被运动数据损坏的帧并且不提供或呈现它们供观看。受损坏的帧可以从视频流或内存逻辑地或实体地删除。运动可以由物理装置(例如，加速度计)或者通过图像处理(例如，运动伪像、各帧之间的低相关、低信噪比)来检测。显示设备可以取决于在所捕捉的视频帧中检测到的运动被控制为在视频显示模式中或静止帧模式中操作。
【专利说明】处理被相机运动损坏的视频帧
[0001 ] 背景
[0002]移动设备上的视频相机是几乎无处不在的。随着太多相机被使用，有大量视频被捕捉然后被查看。视频可以在不同的场景被捕捉和查看。例如，用户可以在其智能电话上捕捉视频，然后观看他们自己的视频。在“见吾所见”模式中，用户可以在他们的智能电话上捕捉视频，然后将其发送给他人观看，可能是在事件开展时实时发生。此外，相机可被用于包括视频呼叫在内的其他实时应用。不像固定在三角架上的相机或甚至在便携式电脑上相对静止的网络摄像机，移动电话趋于在捕捉视频的同时显著地移动，特别是在见吾所见场景下。
[0003]正在移动的视频相机可能产生导致次佳观看体验的视频。所捕捉的视频可以包括由于相机的移动而产生的显著噪声或显著伪像。噪声量和伪像的显著性可以与帧捕捉速率和编码速度相关。当相机比阈值速度移动得快时，帧捕捉速率、编码及传输可能不能说明设备运动。出于不同的原因，在帧捕捉速率、编码及传输不能跟上移动的相机时产生的视频对于查看来说可能是不愉快的。在一些情况下，若查看者尝试观看视频甚至可能运动不适。尽管视频可能实质上不可观看，但视频在被存储于捕捉设备上时仍消耗内存，在被编码或解码时仍消耗处理器周期，在被传送时仍消耗带宽，并且仍消耗接收设备上的内存。
[0004]内存和带宽均是有限的资源。对实质上无用的视频消耗有限的资源是效率低下的。此外，带宽可能是昂贵的，特别是在视频通过蜂窝网络、卫星网络或其他网络被传送时。用户获悉他们已经为使他们晕船的实质上无用的视频的传送和接收付款，可能会失望。捕捉、存储和传送视频也消耗智能电话上的其他资源，如电池电量。电池电量可以通过设备处理器编码/解码具有不理想的信噪(SNR)比的视频流而被消耗。用户对于在不可观看的视频上浪费他们的电池电量可能会失望。
[0005]通常，当相机检测到它在捕捉视频时移动时，相机可以提高其帧捕捉速率或者其他捕捉参数，以尝试减轻个别帧中的运动伪像。改进帧捕捉速率可以更好地冻结运动场景，有更高的保真度，但没有任何方法来解决运动不适现象。尽管模糊或伪像可以通过较高的捕捉速率来减轻，但是观看这一视频所引起的运动不适可能实际地被增加。当相机提高其帧捕捉速率时，可以要求附加的内存，并且可以要求附加的编码和解码。此外，在捕捉设备和查看设备之间可以发送更多的帧。因此，在检测到相机运动时提高帧捕捉速率可能实质上加剧与运动相机相关联的问题。例如，可以使用更多内存，可以使用更多电池电量，并且可以消耗更多带宽，这些全都会产生仍实质上无用的或者使查看者运动不适的视频。
[0006]概述
[0007]提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
[0008]示例方法和设备针对为可能受相机运动影响的视频提供改进的查看体验。可能被视频运动损坏的帧可以以与未被视频运动损坏的帧不同的方式被处理。帧可能基于来自相机的传感器数据(例如，陀螺仪、加速度计)、基于帧到帧的分析(例如，注册)、基于帧内分析(例如，模糊)、或者以其他方式被标识为被损坏。一旦帧已经被标识为被损坏，则可以作出将该帧排除于呈现之外的决定。当阈值数量的帧在特定时间段内被损坏时，呈现可以被切换至静止帧模式，该静止帧模式不试图隐藏一些帧被丢弃的事实。实际上，静止帧模式可以呈现上一个非损坏帧达预定间隔(例如，半秒)或者可以以幻灯片放映格式呈现所选择的非损坏帧，伴随有在各帧之间有令人愉快的视觉效果转换。一旦在特定时间段内检测到阈值数量的非损坏帧，呈现就可以切换回视频模式。
[0009]示例装置的一些实施例可以包括控制与视频相机相关联的装置的一组逻辑(例如，电路)。该装置可以分析相机运动并且至少部分基于相机运动作出关于视频帧的决策。例如，在相机移动超过一移动阈值量时获得的帧可能不被存储于内存中，或如果帧被存储于内存中，则帧可以用运动标志来标记或者被排除于播放列表之外。在相机运动时被标记为已被获得的帧可能不被编码或解码或从获得设备被传送至另一设备来显示。该装置可以至少部分基于在视频捕捉期间检测到的运动来操纵如何显示帧。例如，如果相机运动过度导致仅有很短的时段使所显示的视频图像稳定并且免于运动伪像，则该装置可以停止尝试显示视频，而是可以显示满足查看标准的静止图像。
[0010]附图简述
[0011 ]【附图说明】了此处描述的各种示例装置、方法及其他实施例。将会理解，附图中图示的元件边界(例如，框、各组框、或其他形状)代表边界的一个示例。在一些示例中，一个元素可以被设计为多个元素，或者多个元素可以被设计为一个元素。在一些示例中，被示为另一元素的内部组件的一个元素可以被实现为一外部组件，反之亦然。而且，元件可能不按比例绘制。
[0012]图1图示了产生视频帧流的相机、以及处理被相机运动损坏的帧的示例控制器。
[0013]图2图示包括视频数据和静止帧的示例呈现流。
[0014]图3图示与处理被相机运动损坏的视频帧相关联的示例方法。
[0015]图4图示与处理被相机运动损坏的视频帧相关联的示例方法。
[0016]图5图示与处理被相机运动损坏的视频帧相关联的示例装置。
[0017]图6图示与处理被相机运动损坏的视频帧相关联的示例装置。
[0018]图7图示一示例云操作环境，其中示例方法或装置可以处理被相机运动损坏的视频帧。
[0019]图8是描述一示例性移动通信设备的系统示意图，该示例性移动通信设备被配置为处理被相机运动损坏的视频帧。
[0020]详细描述
[0021]示例装置和方法解决了在视频相机在捕捉帧时正在移动所产生的问题。不像在检测到相机运动时提高帧捕捉速率并由此消耗附加资源的常规系统，示例装置和方法想要通过采用不同的方法来减少资源消耗。与其捕捉更多帧，示例装置和方法可以通过仅显示被相机运动影响了少于阈值量的帧，来响应于相机运动。此外，与其加快相机，示例装置和方法可以在检测到运动时使相机变慢并且改变相机以便可以获得适合于幻灯片放映呈现而不是视频呈现的静止帧。
[0022]图1图示相机100，相机100产生视频帧的流110。视频帧的流110被控制器120处理。控制器120可以标识流110中被相机100的运动不理想地影响的帧。被认为可查看的帧可以在被认为不可查看的帧可能不被呈现时被呈现。如果由于相机100的运动、帧显示出少于阈值量的损坏，则该帧可以被认为可查看。损坏可以通过信噪比(SNR)、模糊量、运动伪像或其他标准来标识。
[0023]控制器120可以呈现被认为可查看的单个帧130，然后可以在呈现另一单个帧140之前跳过被认为不可查看的多个帧。在一实施例中，单个帧130可以被显示达一预定时间段(例如，一秒)或者可以在提供下一可查看帧140之前被显示。控制器120可以然后提供剪辑150。剪辑150可以包括在相机100移动少于阈值量时获得的一系列连续帧。在已经提供剪辑150之后，控制器120然后可以提供单个帧160 ο帧160可以被呈现达一长的时间段(例如，直到提供另一可查看帧)。除了控制提供哪些帧用于查看以外，控制器120也可以向相机100提供控制信号。控制信号可以例如确定相机100是否继续尝试获得视频数据或者相机100是否会获得静止帧。
[0024]图2图示相机100中的传感器102。传感器102可以例如是陀螺仪、加速度计或者从中可确定相机100的运动的其他电气的、机械的或电子的设备。相机100可以产生与流110中的帧有关的运动数据112。相机100也可以向分析器104提供数据。分析器104可以产生、改变或以其他方式操纵运动数据112。例如，传感器102可以向运动数据110提供原始加速度仪数据，同时分析器104可以向运动数据112提供一个提供/不提供值。
[0025]控制器120可以接收流110并且至少部分基于运动数据112决定提供哪些帧(若有)供查看。控制器120可以提供帧(例如，130、140、150、160)供查看，或者可以将帧或控制信息提供给显示设备170。显示设备170可以确定控制器120提供哪些帧供显示。显示设备170也可以决定如何对显示器设备170呈现的帧进行格式化。
[0026]考虑以下场景。用户在观看足球比赛的同时将其智能电话拿在手中。在比赛开始前，用户可以拍摄体育场的全景视频来显示他们周围的情况。如果用户沿平滑圆弧移动相机而没有突然的加速或减速，则视频可以是可观看的。正当比赛要开始时，用户可以站立不动并且在中心圆保持相机不动，其中中心正面等待开始比赛的信号。由于用户是不动的，并且因为没有动作，因此视频再次可接受用于查看。
[0027]然而，一旦比赛开始，如果用户四处移动，则视频可能变得难以观看。例如，如果用户踩脚来为他支持的队伍喝彩，则相机可能经历突然的加速。视频的大部分可以是可观看的，但在用户的脚碰到水泥地时的振动期间获得的帧可能被损坏。示例装置和方法可以在提供作为平滑视频的其他帧的同时丢弃那些被损坏的帧。
[0028]在比赛期间，可能有关于任意球的一组片段播放。用户可以更快地放大来捕捉该动作。快速缩放可以产生使视频非常难以观看的明显运动。还是一样，示例装置和方法可以丢弃这些帧。
[0029]在比赛期间，也可能有快速球员的端到端奔跑。用户可以尝试用平移相机来跟随该动作。然而，用户可能不能平滑地平移，这产生多个模糊的帧。或者，在脚部可能有太多移动，以使难以在不晕眩的情况下观看视频。取代呈现模糊的帧或引起晕眩的帧，示例装置和方法可以丢弃那些帧。
[0030]丢弃帧可以在相机处或在显示器处发生。在智能电话或其他手持设备的情况下，显示器也可以在相机上。丢弃帧可以包括不将帧存储在内存中、从内存移除帧、或者使内存中的帧被损坏。丢弃帧也可以包括不把帧从一个设备传送至另一个设备。
[0031]当帧被丢弃时，可以作出关于如何填充空白空间的决定。在一实施例中，可以显示上一个接收到的帧，直到接收到另一个帧。在另一实施例中，接收到的帧可以被缓冲或者以其他方式被存储，然后以设计好的转换以幻灯片放映方式被显示。
[0032]在该场景下呈现的视频可能较容易观看。视频可以包括从会是不可观看或至少不想要观看的剪辑中选择的一系列静止帧。丢弃帧可以减少内存要求，减少所执行的处理，以及减少通过网络传送的数据量。对于蜂窝电话而言，减少所传送的数据量可以得到电池电量的节约以及所消耗带宽的节约。
[0033]考虑更极端的情况，其中用户佩带着相机、或者相机被安装于自行车、皮艇、降落伞背带、攀岩头盔、或者其他肯定要产生显著运动的设备件。在该场景下，或者捕捉视频的相机可以标识不会被存储或传送至查看设备的帧，或者捕捉视频的相机可以标识查看设备可能想要移除的帧。
[0034]以下详细描述的一些部分以内存内数据位上的操纵的算法和符号表示来呈现。这些算法描述和表示由本领域技术人员用来将他们的工作传达给别人。算法被认为是产生结果的操作序列。操作可以包括创建和操纵可以采取电子值形式的物理量。创建和操纵电子值形式的物理量产生了具体、有形、有用的现实结果。
[0035]原则上出于共同习惯的原因，用位、值、元素、符号、字符、项、数字或其他项来指代这些信号有时是方便的。然而应当牢记，这些及其他类似项要与适当物理量相关联，并且仅仅是应用于这些量的方便标记。除非以其他方式特别声明，应当理解，在该描述中，包括处理、计算和确定在内的项是指操纵和变换被表示为物理量(例如，电子值)的数据的计算机系统、逻辑、处理器或类似电子设备的动作和过程。示例方法可以参照流程图更好地理解。为简洁起见，图示的方法被示出和描述为一系列框。然而，这些方法不受方框次序所限，因为在一些实施例中，这些框可以以和所示和所述次序不同的次序发生。然而，为实现示例方法可能要求比全部图示框更少的框。这些框可以被组合或分割成多个组件。而且，附加的或替代的非那根繁可以采用附加的、但非图示的框。
[0036]图3图示与处理被相机运动损坏的视频帧相关联的示例方法300。方法300包括在310访问由视频相机捕捉的帧。相机可以是智能电话相机(例如，智能电话设备的一部分)、平板电脑中的相机、个人电脑中的相机、个人数字助理中的相机、或其他相机。在一实施例中，相机可以是存储供下载或上传的图像的独立相机。在另一实施例中，相机可以直接连至云，并被配置为对实况视频进行流化。在一实施例中，相机可以无线地连至智能电话、平板电脑、计算机或者对视频进行流化的其他互联网相连设备。访问视频相机所捕捉的帧可以包括:检查内存的内容、接收到内存的指针、接收二进制大对象、接收对象或者其他动作。访问视频相机所捕捉的帧可以包括:访问捕捉了该帧的设备上存储的内容或数据、或者访问未捕捉该帧的另一设备上的内存或数据。访问帧可以包括:接收形式为帧流的帧、接收作为单个帧的帧、解析来自帧集合的帧、或其他动作。
[0037]方法300还包括在320根据在该帧被捕捉时视频相机的运动来确定或计算该帧的查看因子。在另一实施例中，视频相机的运动从与该帧被捕捉时与视频相机相关联的加速度计数据确定。在另一实施例中，视频相机的运动从与该帧被捕捉时与视频相机相关联的陀螺仪数据确定。尽管相机上的传感器可以提供从中可标识运动的一些信息，但是所捕捉的帧也可以提供从中可标识运动的数据。在一实施例中，视频相机的运动从与该帧相关联的单个帧运动分析数据来确定。在另一实施例中，视频相机的运动从与该帧相关联的帧到帧运动分析数据以及从视频相机获得的一个或多个其他帧来确定。在不同实施例中，可以使用加速度计、陀螺仪、单个帧以及帧到帧数据的不同交换和组合来标识相机运动。
[0038]在一实施例中，在确定查看因子不满足查看标准之际，帧可以用以前获得的满足查看标准的帧来替换。查看标准可以描述例如可接受的信噪比(SNR)、可接受的运动伪像数量、可接受的被运动损坏的图像百分比、帧已被损坏的程度、或者其他信息。替换可以是实体的，其中使用标识以前获得的帧的位来覆写该帧，或者，替换可以是逻辑的，其中到帧的指针用到以前获得的帧的指针来替换。替换可以在存储帧的内存中作出，可以在从源(例如，相机)提供至目的地(例如，显示器)的帧流中来作出，或者可以以其他方式作出。在一实施例中，为了保存内存或带宽，以前获得的帧在替换被损坏的帧之前可以被压缩为已压缩帧。在不同的实施例中，替换可以在相机处执行、在代表相机来流化视频的设备处执行、或者在显示视频的设备处执行。
[0039]在一实施例中，在确定查看因子不满足查看标准之际，方法300可以提供指示该帧不满足查看标准的信号。信号可以通过在内存中存储值而与该帧相关联，可以被置于出站的视频流中，可以在与提供帧的信道分开的信道上被提供，可以采取到处理该帧的编码器/解码器的中断的形式，或者可以以其他方式来提供。因此，取代多次发送上一个可接受的帧，发送设备可以将上一个可接受帧发送一次，然后发送接收设备可用来进入幻灯片放映模式的信号。
[0040]方法300也包括在330处控制帧将被如何呈现。控制帧将被如何呈现以供查看可以是查看因子的函数。控制帧将被如何呈现可以包括:控制视频相机是将在视频相机模式中操作、还是将在静止帧模式中操作。在一实施例中，视频相机模式和静止帧模式可以控制图像如何被获得和显示。例如，在静止帧模式中操作可以包括:将视频相机的帧捕捉速率调节为低于每秒二十四帧并且将视频相机的快门速度调节为快于1/500秒。在另一示例中，在视频相机模式中操作可以包括:将视频相机的帧捕捉速率调节为至少每秒二十四帧并且将视频相机的快门速度调节为慢于1/500秒。可以采用其他帧捕捉速率和快门速度。
[0041 ]在一实施例中，控制帧将如何被呈现供查看包括:控制帧是否会从捕捉该帧的装置被传送。如果帧不要被呈现，则帧可以不从捕捉设备被传送至显示设备或处理设备。在一实施例中，控制帧将如何被呈现供查看包括:从内存删除帧。删除可以是实体的，其中表示该帧的位实际上为零或以其他方式被操纵。删除可以是逻辑的，其中到表示该帧的位的指针被删除或操纵，其中显示列表中的成员资格被移除，或者采取防止表示图像的位被访问的其他实体动作。
[0042]方法300中描述的各种动作可以在不同的装置上执行。例如，在310处访问帧可以在捕捉该帧的第一装置上或者在不捕捉该帧的第二装置上发生。类似地，确定查看因子可以在第一装置上或者在不捕捉该帧的装置上发生。此外，控制帧将如何被呈现可以发生在第一装置上或在另一装置上。例如，一个设备可以发送具有运动噪声的视频流。第二设备可能能够纠正该运动，并因此向观察者显示出较佳视图。第二设备可能用较佳、较平滑、较慢的转换来替换可以使查看者晕眩或生病的分段。通过图示，用户可以在第一电话上拍摄视频，该视频产生不可接受的运动噪声。视频可以被发送至第二较智能的电话，该较智能的电话能够清除视图并且更令人愉悦地呈现视频。
[0043]图4图示示例方法400，该示例方法包括与方法300中的动作类似的一些动作。方法400包括在410处访问帧，在420处确定或计算查看因子，以及在430处控制帧将如何被呈现供查看。然而，方法400包括附加动作。
[0044]例如，方法400包括在425处为视频相机捕捉的一系列帧计算连续性因子。连续性因子可以至少部分基于该系列帧的成员的查看因子。像查看因子可被用于控制单个帧的呈现一样，连续性因子可被用于控制一系列帧的呈现。在一实施例中，在确定连续性因子不满足连续性标准之际，方法400可以控制在连续性因子确实满足连续性标准的情况下会显示该系列帧以进入静止帧显示模式的设备。此外，方法400可以包括控制该设备以便在确定连续性因子确实满足连续性标准之际进入视频显示模式。
[0045]在一实施例中，静止帧显示模式被配置为在满足查看标准的单个帧变得可用时有选择地显示该单个帧。为了防止起伏或抖动的查看体验，该单个帧可以被显示达至少预定的单个帧时间段(例如，I秒，0.25秒，0.5秒，I秒)。在一实施例中，当静止帧变得可用时被显示时，单个帧模式可以包括通过使用各种视频效果(例如，淡入、淡出、融化、左进入、右退出)在各帧之间不停顿地连接帧。在另一实施例中，静止帧显示模式可以被配置为显示满足查看标准的以前提供的帧，直到连续性标准被满足。这可以类似于“冻结帧”模式，其中，显示满足连续性因子的一系列帧中的满足查看因子的上一个帧，直到满足连续性因子的一系列帧中的满足查看因子的下一帧被提供。方法300或400均可以包括在确定运动已降低至阈值以下之际自动返回到视频模式。
[0046]尽管图3和4图示了按顺序发生的各种动作，但是应当理解，图3和4图示的各种动作可以基本上平行发生。通过图示，第一过程可以访问各帧，第二过程可以确定查看因子和连续性因子，第三过程可以控制相机操作，第四过程可以控制显示操作。尽管描述了四个过程，但是应当理解，可以采用更多数量或更少数量的过程，并且可以采用轻量过程、常规过程、线程以及其他方法。
[0047]在一实施例中，方法可以被实现为计算机可执行指令。因此，在一示例中，计算机可读存储介质可以存储计算机可执行指令，所述计算机可执行指令在由机器(例如，计算机)执行时使该机器执行此处描述或声明保护的方法，包括方法300或方法400。尽管与所列方法相关联的可执行指令被描述为存储于计算机可读存储介质上，但是应当理解，与此处描述或声明保护的其他示例方法相关联的可执行指令也可以被存储于计算机可读存储介质上。在不同的实施例中，此处描述的示例方法可以以不同方式来触发。在一实施例中，方法可由用户手动地触发。在另一示例中，方法可以自动触发。
[0048]图5图示与处理被相机运动损坏的视频帧相关联的装置500。在一示例中，装置500包括接口 540，接口 540被配置为连接处理器510、内存520以及一组逻辑单元530。装置500的元件可以被配置为彼此通信，但为说明清楚未示出全部连接。
[0049]装置500可以包括处理器510。处理器510可以是例如信号处理器、微处理器、专用集成电路(ASIC)或其他用于执行各任务的控制和处理逻辑电路，各任务包括信号编码、数据处理、输入/输出处理、功率控制或其他功能。处理器510可以被配置为执行支持该组逻辑单元530所执行的处理的动作。
[0050]装置500可以包括内存520。内存520可以包括不可移动内存或可移动内存。不可移动内存可以包括随机存取内存(RAM)、只读内存(ROM)、闪存、硬盘或者其他内存存储技术。可移动内存可以包括闪存或者其他诸如“智能卡”这样的内存存储技术。内存520可以被配置为存储由视频相机获得的一组帧、存储由相机获得的个别帧、或者存储关于帧的元数据。元数据可以包括例如帧的传感器数据、帧的运动分析数据、以及包含/不包含值、或者其他值。
[0051]在一实施例中，装置500可以是通用计算机，该通用计算机已经通过包括该组逻辑单元530而被转换为专用计算机。该组逻辑单元530可以被配置为处理被相机运动损坏的视频帧。处理被相机运动损坏的视频帧可以包括:删除帧、防止帧被显示、控制帧如何被显示、控制相机将如何获得帧、控制显示器将如何呈现帧、或者其他动作。装置500可以通过例如计算机网络与其他装置、过程和服务交互。
[0052]装置500可以包括第一逻辑531。第一逻辑531可以被配置成产生运动数据，该运动数据描述了在视频相机获得该组帧的成员时视频相机如何移动。运动可以使用来自各种传感器或过程的数据来标识。例如，运动数据可以是视频相机所产生的陀螺仪数据或者由视频相机产生的加速度仪数据的函数。此外，运动数据可以是单个帧运动分析、或者帧到帧运动分析的函数。单个帧运动分析可以例如标识运动伪像、信噪比或其他因子。帧到帧运动分析可以检查各对象间的注册、各对象间的连续性、或者其他因子。运动数据可以包括每帧运动数据或者每剪辑运动数据。剪辑是在预定时间段内获得的一组相关帧。在一实施例中，运动数据可以描述相机的实际移动(例如，用户将相机摆来摆去)或者可以报告明显的移动(例如，用户正在快速放大或缩小)。
[0053]装置500可以包括第二逻辑532。第二逻辑532可以被配置为控制该组帧的成员是被显示为连续视频显示、还是被显示为所选择的静止帧、还是根本不被显示。成员是否将被显示、以及成员是否将被显示为静止帧或连续视频显示可以至少部分基于运动数据。例如，在运动数据不满足运动阈值时获得的第一系列帧的成员可以在第一离散显示模式中被呈现，而在运动数据满足运动阈值时获得的第二系列帧的成员可以在第二连续显示模式中被呈现。更一般而言，来自运动相机的帧可以被呈现为静止图像，而来自未移动、或仅移动少量的相机的帧可以被呈现为视频。
[0054]在一实施例中，第二逻辑532被配置为基于每帧运动数据有选择地排除该组帧的个别成员。例如，尽管一系列帧可以满足供一系列帧内的总体移动的连续性标准，但是一个或多个个别成员可能不满足个别帧的查看标准。第二逻辑532也被配置为基于每剪辑运动数据有选择地排除该组帧的个别成员。例如，每剪辑运动数据可以标识导致不可接受的连续性或模糊的帧。第二逻辑532也被配置为基于每剪辑运动数据有选择地排除该组帧的成员的子集。例如，每剪辑运动数据可以标识不满足连续性标准的一系列帧并且可以排除整个系列。
[0055]图6图示装置500的另一实施例。该实施例包括第三逻辑533，该第三逻辑533被配置为控制视频相机的帧捕捉参数。帧捕捉参数可以是例如帧捕捉速率或快门速度。是否以及如何调节帧捕捉参数可以至少部分基于运动数据。例如，如果相机在移动，则相机可以被调节以优化静止帧的产生。如果相机未在移动，则相机可以被调节以优化连续系列帧的产生用于视频显示。在一实施例中，第三逻辑533可以被配置为防止相机在相机移动时捕捉帧。这可以例如通过将帧捕捉速率设为零来实现。
[0056]图7图示了示例云操作环境700。云操作环境700支持交付计算、处理、存储、数据管理、应用以及其他功能作为抽象服务而非作为独立产品。服务可由虚拟服务器提供，所述虚拟服务器可以被实现为一个或多个计算设备上的一个或多个进程。在一些实施例中，进程可以在各服务器之间迀移，而不破坏云服务。在云中，共享资源(例如，计算、存储)可以通过网络被提供至计算机，所述计算机包括服务器、客户机和移动设备。可以使用不同的网络(例如，以太网、W1-F1、802.x、蜂窝)来访问云服务。与云交互的用户可能不需要知道实际提供该服务(例如，计算、存储)的设备的细节(例如，位置、名称、服务器、数据库)。用户可以经由例如web浏览器、瘦客户机、移动应用或以其他方式来访问云服务。
[0057]图7图示了驻留在云内的示例视频处理服务760。视频处理服务760可以依赖于服务器702或服务704来执行处理，并且可以依赖于数据存储706或数据库708来存储数据。尽管图示了单个服务器702、单个服务704、单个数据存储706和单个数据库708，但是服务器、服务、数据存储的多个实例可以驻留在云中，并因此可由视频处理服务760所使用。视频处理服务760可以标识已经被相机运动影响、损坏或以其他方式负面影响的帧。在一实施例中，视频处理服务760可以实体地或逻辑地从查看流中删除这些帧。在另一实施例中，视频处理服务760可以防止帧被显示。在还有另一实施例中，视频处理服务760可以控制帧是被显示在冻结帧模式中、在幻灯片放映模式中、在视频模式中、还是在其他模式中。视频处理服务760也可以控制相机将如何获得帧(例如，为视频而优化、为静止图像而优化)。
[0058]图7图示了各种设备访问云中的视频处理服务760。设备包括计算机710、平板电脑720、膝上型电脑730、个人数字助理(PDA)740、移动设备(例如，蜂窝电话、卫星电话)750、游戏控制台770或者游戏控制器780。不同位置处使用不同设备的不同用户可能通过不同的网络或接口访问视频处理服务760。在一示例中，视频处理服务760可由捕捉视频的移动设备(例如，电话750)访问。视频处理服务760可以防止来自电话750的一些视频被显示、存储或传送。在另一示例中，视频处理服务760的各部分可以驻留于移动设备(例如，电话750)上。
[0059]图8是描述一示例性移动设备800的系统示意图，该示例性移动设备800包括各种任选的硬件和软件组件，一般在802示出。被此处描述的示例方法、装置和服务所处理的帧可以被设备800获得。移动设备800中的组件802可以与其他组件通信，然而为说明容易未示出所有连接。移动设备800可以是各种计算设备(例如，蜂窝电话、智能电话、手持电脑、个人数字助理(PDA)、等等)的任一种，并且可以允许与一个或多个移动通信网络804(诸如蜂窝或卫星网络)的无线双向通信。
[0060]移动设备800可以包括用于执行各任务的控制器或处理器810(例如，信号处理器、微处理器、ASIC或者其他控制和处理逻辑电路)，所述任务包括信号编码、数据处理、输入/输出处理、功率控制、或者其他功能。操作系统812可以控制各组件802的分配和使用，并且支持应用程序814。应用程序814可以包括视频捕捉、视频处理、视频显示、移动计算应用(例如，电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、或者任何其他计算应用。
[0061 ] 移动设备800可以包括内存820。内存820可以包括不可移动内存822或可移动内存824。不可移动内存822可以包括随机存取内存(RAM)、只读内存(R0M)、闪存、硬盘或者其他内存存储技术。可移动内存824可以包括闪存或订户身份模块(SHO卡，这在GSM通信系统或者其他内存存储技术中是公知的，诸如“智能卡”。内存820可用于存储运行操作系统812和应用814的数据或代码。示例数据可以包括视频相机捕捉的个别帧、视频相机捕捉的一系列帧、关于帧的元数据、以及其他数据。内存820可用于存储订户标识符和设备标识符，所述订户标识符诸如国际移动订户身份(IM SI )，所述设备标识符诸如国际移动设备标识符(ΠΙΕΙ)。这种标识符可以被发射至网络服务器以标识用户和设备。
[0062]移动设备800可以支持一个或多个输入设备830，包括、但不限于:触摸屏832、麦克风834、相机836、实体键盘838或者轨迹球840。移动设备800也可以支持输出设备850，包括但不限于:扬声器852和显示器854。其他可能的输入设备(未示出)包括加速度计(例如，一维、二维、三维)。其他可能的输出设备(未示出)可以包括压电或其他触觉输出设备。一些设备可以用于多于一个输入/输出功能。例如，触摸屏832和显示器854可以在单个输入/输出设备内被组合。输入设备830可以包括自然用户界面(NUI)t3NUI是使用户能以“自然”方式与设备交互、免受诸如鼠标、键盘、远程控件等输入设备所施加的人工约束的任一界面技术。NUI方法的示例包括依赖于语音识别、触摸和触笔识别、(屏上及屏侧的)手势识别、空气手势、头部和眼部跟踪、说话和语音、视觉、触摸、手势以及机器智能的那些方法。NUI的其他示例包括使用加速度计/陀螺仪、面部识别、三维(3D)显示器、头部、眼部和凝视跟踪的运动手势检测、沉浸式增强的现实和虚拟现实系统，这些中的全部都提供更自然的界面，还包括使用电场传感电极(EEG及相关方法)来传感脑部活动的技术。因此，在一个具体示例中，操作系统812或应用814可以包括语音识别软件作为话音用户界面的一部分，该话音用户界面允许用户经由话音命令来操作设备800。而且，设备800可以包括允许经由用户的空间手势进行用户交互的输入设备和软件，诸如检测和解释手势以便向游戏应用提供输入。
[0063]无线调制解调器860可以耦合至天线891。在一些示例中，使用射频(RF)滤波器，处理器810不需要为所选择的频带选择天线配置。无线调制解调器860可以支持处理器810和外部设备间的双向通信。调制解调器860被一般示出，并且可以包括用于与移动通信网络804通信的蜂窝调制解调器和/或其他基于无线电的调制解调器(例如，蓝牙864或W1-Fi862)。无线调制解调器860被配置成与一个或多个蜂窝网络通信，所述蜂窝网络诸如GSM网络，用于单个蜂窝网络内、多个蜂窝网络之间、或者在移动设备和公共交换电话网(PSTN)之间的数据和话音通信。移动设备800也可以使用例如近场通信(NFC)元件892本地通信。
[0064]移动设备800可以包括至少一个输入/输出端口 880、电源882、卫星导航系统接收机884(诸如全球定位系统(GPS)接收机)、加速度仪886、或者物理连接器890，物理连接器890可以是USB端口、IEEE 1394(火线)端口和/或RS-232端口。图示的组件802不是必须的或全包含的，因为其他组件可以被删除和添加。
[0065]移动设备800可以包括视频处理逻辑899，该视频处理逻辑被配置成为移动设备800提供功能。例如，视频处理逻辑899可以提供用于与服务(例如，图7的服务760)交互的客户机。视频处理逻辑899可以确定相机(例如，相机836)获得的帧是适合作为视频查看，还是更适合作为所选择的静止帧查看，还是根本不适合查看。视频处理逻辑899可以依赖于来自加速度仪866、陀螺仪或者设备800上的其他传感器的数据。此处所述的示例方法的各部分可由视频处理逻辑899执行。类似地，视频处理逻辑899可以实现此处描述的装置的各部分。
[0066]以下包括此处采用的所选术语的定义。定义包括落在术语范围内并且可用于实现的组件的各种示例或形式。这些示例不意图是限制性的。术语的单数和复数形式都可以在定义之内。
[0067]对“一个实施例”、“一实施例”、“一个示例”及“一示例”的引用表示这样描述的(诸)实施例或(诸)示例可以包括特定的特征、结构、特性、属性、元件或限制，但不必要每个实施例或示例都包括该特定的特征、结构、特性、属性、元件或限制。而且，短语“在一个实施例中”的重复使用不必要指同一个实施例，尽管它可以。
[0068]此处使用的“计算机可读存储介质”是指存储指令或数据的介质。“计算机可读存储介质”不意指传播信号。计算机可读存储介质可以采取各形式，包括但不限于非易失性介质以及易失性介质。非易失性介质可以包括例如光盘、磁盘、磁带以及其他介质。易失性介质可以包括例如半导体内存、动态内存以及其他介质。计算机可读存储介质的常用形式可以包括、但不限于:软盘、柔性盘、硬盘、磁带、其他磁性介质、专用集成电路(ASIC)、压缩盘(CD)、其他光学介质、随机存取内存(RAM)、只读内存(R0M)、内存芯片或卡、内存棒以及计算机、处理器或其他电子设备可以从中读取的其他介质。
[0069]此处使用的“数据存储”是指可以存储数据的物理实体或逻辑实体。数据存储可以是例如数据库、表格、文件、列表、队列、堆、内存、寄存器以及其他实体贮藏库。在不同的示例中，数据存储可以驻留在一个逻辑或物理实体中，或者可以分布在两个或更多个逻辑或物理实体之间。
[0070]此处使用的“逻辑”包括但不限于:硬件、固件、在机器上执行的软件或者各者的组合以执行(诸)功能或(诸)动作或者引起来自另一逻辑、方法或系统的功能或动作。逻辑可以包括软件控制的微处理器、离散逻辑(例如ASIC)、模拟电路、数字电路、已编程逻辑器件、包含指令的内存设备以及其他物理设备。逻辑可以包括一个或多个门、多个门的组合、或者其他电路组件。在描述多个逻辑性的逻辑单元时，可能将该多个逻辑性的逻辑单元结合到一个物理逻辑中。类似地，在描述单个逻辑性的逻辑单元时，可能将该单个逻辑性的逻辑单元分布在多个物理逻辑之间。
[0071]至于在详细描述或权利要求书中采用的术语“包括(includes)”或“包括(including)”，其与术语“包括(comprising)”类似地是包括性的，因为该术语在用作权利要求中的转换词时被解释。
[0072]至于在详细描述或权利要求书中采用的术语“或者”(例如，A或B)，它意图指“A或B或AB两者” ο当
【申请人】想要指示“仅仅A或B但非AB两者”时，将采用术语“仅仅A或B但非AB两者”。因此，此处术语“或”的使用是包括性的，而非排他性的使用。参见Bryan A.Garner所著，现代法律用途词典624(1995年第二版)
[0073]尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
【主权项】
1.一种方法，包括: 访问被视频相机捕捉的帧； 根据所述视频相机在所述帧被捕捉时的运动来确定所述帧的查看因子；以及 根据所述查看因子来控制所述帧将被如何呈现以供查看。2.如权利要求1所述的方法，所述方法包括:根据所述查看因子来控制所述视频相机是将在视频相机模式中操作还是将在静止帧模式中操作。3.如权利要求2所述的方法，其特征在于，在静止帧模式中操作包括:将所述视频相机的帧捕捉速率调节为低于每秒二十四帧并且将所述视频相机的快门速度调节为快于1/500秒。4.如权利要求2所述的方法，其特征在于，在视频相机模式中操作可以包括:将所述视频相机的帧捕捉速率调节为至少每秒二十四帧并且将所述视频相机的快门速度调节为慢于I/500秒。5.如权利要求1所述的方法，其特征在于，访问所述帧发生于捕捉所述帧的第一装置上，确定所述查看因子发生于所述第一装置上，控制所述帧将如何被呈现发生于所述第一装置上，访问所述帧发生于未捕捉所述帧的第二装置上，确定所述查看因子发生于所述第二装置上，或者控制所述帧将如何被呈现发生于所述第二装置上。6.如权利要求1所述的方法，其特征在于，所述视频相机的运动是从以下确定的:所述帧被捕捉时与所述视频相机相关联的加速度计数据、所述帧被捕捉时与所述视频相机相关联的陀螺仪数据、与所述帧相关联的单个帧运动分析数据、或者与所述帧以及从所述视频相机获得的一个或多个其他帧相关联的帧到帧运动分析数据。7.如权利要求1所述的方法，其特征在于，控制所述帧将如何被呈现供查看包括:控制帧是否会从捕捉所述帧的装置被传送。8.如权利要求1所述的方法，其特征在于，控制所述帧将如何被呈现供查看包括:从内存删除所述帧。9.如权利要求1所述的方法，其特征在于包括:在确定所述查看因子不满足查看标准之际，用以前获得的帧替换所述帧。10.如权利要求9所述的方法，其特征在于包括:在用所述以前获得的帧替换所述帧之前，将所述以前获得的帧压缩至已压缩帧。11.如权利要求1所述的方法，其特征在于包括:在确定所述查看因子不满足查看标准之际，提供指示所述帧不满足所述查看标准的信号。12.如权利要求1所述的方法，包括: 为所述视频相机捕捉的一系列帧计算连续性因子，其中所述连续性因子至少部分基于所述一系列连续帧的成员的查看因子，以及 在确定所述连续性因子不满足连续性标准之际，控制在所述连续性因子确实满足所述连续性标准时会显示所述一系列帧以进入静止帧显示模式的设备。13.如权利要求12所述的方法，包括: 在确定所述连续性因子满足所述连续性标准之际，控制所述设备进入视频显示模式。14.如权利要求12所述的方法，其特征在于，所述静止帧显示模式被配置为在满足所述查看标准的单个帧变得可用时有选择地显示所述单个帧，其中所述单个帧被显示达至少预定的单个帧时间段。15.如权利要求12所述的方法，其特征在于，所述静止帧显示模式被配置为显示满足所述查看标准的以前提供的帧，直到所述连续性标准被满足。
【文档编号】H04N5/232GK105830429SQ201480068330
【公开日】2016年8月3日
【申请日】2014年12月5日
【发明人】I·库瑞
【申请人】微软技术许可有限责任公司