处理全景画面的制作方法
【专利摘要】本发明涉及处理画面。在一种具体的实现方式中，存取被裁剪的画面。被裁剪的画面是使用虚拟摄像机窗口从画面序列中的画面裁剪的。基于虚拟摄像机窗口的运动和特征的运动产生被裁剪的画面中的特征的运动模糊。向被裁剪的画面中的特征添加所产生的运动模糊。在另一具体的实现方式中，一种信号或信号结构包括关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面的画面部分。该信号或信号结构还包括关于所述虚拟摄像机窗口的运动的指示的运动部分。
【专利说明】处理全景画面
[0001]对相关申请的交叉引用
[0002]本申请要求享有于2012年5月18日提交的标题为“Method to Create RealisticPan and Scanned Virtual Images from Panoramic, Fixed Posit1n Image CaptureDevices”的第61/688，658号美国临时申请的权益，出于所有目的通过引用将其内容并入本文。
【技术领域】
[0003]描述了涉及数字画面的实现方式。各种具体的实现方式涉及处理全景数字画面。
【背景技术】
[0004]经常期望提取全景数字画面的一部分。然而，得到的画面常常观看质量很差。
【发明内容】
[0005]根据一般方面，存取被裁剪的画面。被裁剪的画面使用虚拟摄像机窗口从画面序列中的画面裁剪。针对被裁剪的画面中的特征，基于所述虚拟摄像机窗口的运动和所述特征的运动来产生运动模糊。向所述被裁剪的画面中的特征添加所产生的运动模糊。
[0006]根据另外的一般方面，一种信号或信号结构包括画面部分，其关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面。所述信号或信号结构还包括关于所述虚拟摄像机窗口的运动的指示的运动部分。
[0007]下面在附图和说明书中阐述一种或多种实现方式的细节。尽管以一种具体方式进行了描述，但是应当清楚的是，可以以各种方式来配置或者实施实现方式。例如，可以将实现方式作为方法来执行，或者实施为装置，诸如例如被配置为执行一组操作的装置或存储用于执行一组操作的指令的装置等，或者实施为信号。根据结合附图和权利要求一起考虑的下面的详细说明，其他方面和特征将变得显而易见。
【专利附图】
【附图说明】
[0008]图1提供了示意图，图示覆盖全景画面(大画面)并且具有由摄像机矢量指示的运动的虚拟摄像机窗口的示例。
[0009]图2提供了示意图，图示在虚拟摄像机窗口中具有对象的图1的虚拟摄像机窗口的示例以及具有由固定运动矢量指示的运动的对象。
[0010]图3提供了示意图，图示图2矢量的矢量相加的示例,并且示出与虚拟摄像机窗口中的对象相关联的合成矢量。
[0011]图4提供了示意图，图示在第一全景画面中包含特定特征的虚拟摄像机窗口示例。
[0012]图5提供了示意图，图示在第二全景画面中的新位置处的图4的虚拟摄像机窗口示例以包含特定特征。
[0013]图6提供了示意图，图示包括图4和5中的特定特征并且例示表示特定特征的运动的矢量的全景画面的示例。
[0014]图7提供了示意图，图示包括图4和5中的虚拟摄像机窗口并且例示表示虚拟摄像机窗口运动的矢量的全景画面的示例。
[0015]图8提供了示意图，图示表示要用于确定图5的球的运动模糊的合成运动的矢量相加的示例。
[0016]图9提供了示意图，图示表示要用于确定图5的球员的运动模糊的合成运动的矢量相加的示例。
[0017]图10提供了流程图，图示用于应用运动模糊的过程的示例。
[0018]图11提供了流程图，图示用于应用运动模糊的过程的另一示例。
[0019]图12提供了框图，图示在应用运动模糊中使用的传送系统的示例。
[0020]图13提供了框图，图示在应用运动模糊中使用的接收系统的示例。
【具体实施方式】
[0021]本申请中描述的至少一种实现方式针对一种从全景、固定位置的图像捕捉设备生成逼真的经摇摄及扫描(pan and scan)的虚像的方法。一种这样的实现方式确定在摇摄及扫描过程中使用的窗口的运动，并且独立地确定在窗口中的特征的运动。
[0022]为了使得对大规模事件(例如在宽阔的场地上进行的运动)的观看更加个性化，或者减少覆盖该事件所需的摄像机数量，若干实现方式使用(i)单个超广角(very wideangle)超高分辨率的摄像机，或者(ii)覆盖超广角视图的摄像机阵列。来自单个摄像机的输出图像是极高分辨率的图像。或者，将来自摄像机阵列的输出拼接(stitch)在一起以将超宽视图置入单个极高分辨率的图像中。无论来自单个摄像机的还是来自摄像机阵列被拼接在一起的单个极高分辨率的图像都被称为大画面(megapicture)或全景画面。
[0023]在创建该大画面之后，执行摇摄及扫描操作，以仿真如果真实摄像机现场执行图像成帧和变焦则就会获得的视图。
[0024]注意，在各种实现方式中，单个摄像机或摄像机阵列是固定的。即，一个或多个摄像机不会在任何方向上移动。例如，一个或多个摄像机不会平移地或者旋转地移动。运动可以相对于该固定的参考点或视点来确定。例如，为了确定相邻画面之间的特征的运动，在每个画面中的特征的位置可以相对于公共(全局)坐标系来取得。例如，这与基于特征的位置在每个相邻画面的VCW内的坐标来确定特征的位置相反。
[0025]针对如下情况进行补偿是有利的:与物理摄像机不同，大画面是从固定位置创建的，具有移动对象，这造成移动对象(例如，运动员)中的运动模糊。物理摄像机将跟踪被摄体(运动员)，因此对于摄像机，背景将是模糊的。因为人习惯于观看具有清楚的被摄体和模糊背景的快速移动图像而不是用相反方式，所以未补偿的方案通常不符合高质量的观看。
[0026]在至少一种实现方式中，极高快门速度成像系统(或者用于经拼接的大画面的多个极高快门速度系统)创建源内容，根本没有运动模糊。通过平铺(tile)或者布置来自多个通常在同一时刻拍摄画面的摄像机的画面，创建经拼接的大画面。在其原始形式下观看该源内容通常是令人痛苦的，因为没有运动模糊通常会对人眼造成明显可感知的频闪效应(strobing effect)。
[0027]在创建源内容之后，由用户输入所期望的仿真摄像机运动，(从大画面)创建具有缩放和裁剪特性的虚拟摄像机窗口(VCW，Virtual Camera Window)以及方向矢量。
[0028]这在图1中示出，其中全景画面100包括具有摄像机矢量120的VCW110。
[0029]在不同实现方式中，以各种方式输入摄像机运动。例如，(i)用户可以规定方向，(?)用户可以识别要跟踪的对象或者其他特征，并且方向可以基于跟踪来自适应地更新，或者Qii)可以自动地选择并跟踪对象或者其他特征。在一种具体的实现方式中，自动选择足球作为足球比赛的要跟踪的对象。在仅仅作为示例的不同实现方式中，用户是创建用于广播的内容的操作者，或者是通过终端用户的电视(“TV”)在终端用户的家庭中观看内容的终端用户。
[0030]对于VCW内的任何特征，典型地有两个运动矢量。一个矢量是例如通过用户输入给出的(如上文针对几个示例所解释的)摄像机矢量。另一个矢量是通过对静态源进行运动分析给出的固定运动矢量。图2例示了对象的这两个矢量。
[0031]图2示出了具有摄像机矢量120的VCW 110。图2还示出了 VCW 110中的对象210。对象210具有固定运动矢量120。例如，可以通过比较大画面100中的对象210的位置与(在时间上)先前的大画面中的对象210的位置来确定固定运动矢量220。固定运动矢量220不考虑VCW 110的运动。
[0032]通过将摄像机矢量和固定运动矢量两者相加给出在图像中的任何特征的组合运动矢量。组合运动矢量提供了在针对VCW内的该特征进行运动模糊计算时应当应用的方向和强度。图3例示了组合运动矢量。
[0033]图3示出了对摄像机矢量120和固定运动矢量220进行矢量相加来生成组合运动矢量310。图3还示出了与VCW 110中的对象210相关联的组合运动矢量310。
[0034]在处理能力有限的情况下，或者为了使观看更加舒适，还可以在摄像机矢量上添加速度限制和速度改变缓冲器，以防止摄像机运动超过运动模糊计算能力或舒适水平。
[0035]针对一个或多个特征获得VCW和组合矢量之后，可以计算运动模糊(这一点在本领域中是公知的)并且将其添加(这一点在本领域中是公知的)到VCW中的那些特征。可以通过各种方式计算出最终的图像。
[0036]如果速度是主要因素(例如，对于考虑实时或近实时应用的应用)，同一种实现方式常常是适合的。在这种情况下，首先将虚拟摄像机图像裁剪到VCW，然后将其缩放到目标装置的分辨率。在缩放之后，应用关于运动模糊的计算和应用。与运动模糊相关联的计算通常是密集的，并且典型地将在目标分辨率下执行得更快。
[0037]如果质量是主要因素(例如，对于像电影拍摄这样的非实时应用)，另一种实现方式常常是适合的。在这种情况下，首先在VCW上应用运动模糊，如此，运动模糊化算法能够受益于最高的可能分辨率。随后，调整图像尺寸(缩放)以满足目标分辨率。
[0038]在本申请中，“裁剪”一般是指选择更大画面的有限部分进行显示。所选择的部分(而不是未选择的部分)通常被称为被裁剪的画面。在裁剪之后，通常基于显示装置的分辨率使用缩放操作转换被裁剪的画面(即，所选择的部分)，使得所裁剪的部分具有不同的分辨率和不同的纵横比。虽然某些实现方式可以使用“裁剪”表示选择和缩放操作的组合，但是如在本申请中所使用的那样，通常认为裁剪独立于缩放操作。
[0039]现在参照图4至9来描述另一种实现方式。参照图4，针对特定时间点示出了全景画面400。画面400包括球410和球员420。VCff 430中包括球410和球员420。
[0040]图5示出了在得到全景画面400之后的短时间内得到的全景画面500。画面500包括在不同位置处的球410和球员420。此外，与图4相比，还在不同位置示出了 VCW 430，使得VCW 430仍然既包括球410和球员420这两者。
[0041]在这种实现方式中，调整VCW 430，使得在VCW 430中，球410在水平方向上大致居中。其他实现方式尝试，例如(i)垂直且水平地将球410置于中心，或者(ii)确定感兴趣对象的集合(例如，球410和球员420)的重心(也称为质心)，并垂直且水平地将该重心置于VCW 430的中心。
[0042]图6示出了画面400以及画面500中的球410和球员420的重叠。这是对说明球410和球员420的运动有用的构造。图6还包括示出球410从画面400到画面500的运动的球矢量610 (也用“B”来标记)。图6还包括示出球员420从画面400到画面500的运动的球员矢量620 (也用“P”来标记)。
[0043]图7与图6类似，示出了画面400以及画面500中的VCW 430的重叠。这是对说明VCW 430的运动有用的构造。图7还包括示出VCW 430从画面400到画面500的运动的VCff矢量730 (也用“W”来标记)。VCW矢量730的方向与球矢量610和球员矢量620相反，因为可以考虑VCW矢量730来捕捉可归因于摄像机运动的特征的运动。
[0044]图8示出了产生球410的组合运动矢量的矢量相加。图8包括球410、球矢量610和VCW矢量730，矢量610和730这两者都具有适当的方向和量值。在图8的顶部部分，球矢量610和VCW矢量730源自球410，示出了这些矢量的独立运动。在图8的底部部分中，球矢量610源自球410，但是VCW矢量730源自球矢量610的终点端，以例示两个矢量610和730的相加。矢量相加的结果是没有量值和方向的零矢量。该结果是由于该实现方式中的VCW 430从图4到图5完美地跟踪球410。由球410出现在图4和图5的VCW 430中相同的相对位置处这一事实可以看出该结果的正确性。得到的零矢量是确定图5的球410的运动模糊时要使用的合成运动。
[0045]图9示出了要产生球员420的组合运动矢量的矢量相加。图9包括球员420、球员矢量620和VCW矢量730，矢量620和730这两者都具有适当的方向和量值。在图9的顶部部分，球员矢量620和VCW矢量730都源自球员420，示出了这些矢量的独立运动。在图9的底部部分中，球员矢量620源自球员420，但是VCW矢量730源自球员矢量620的终点端，以例示两个矢量620和730的相加。矢量相加的结果是具有如图9所示的量值和方向的组合球员矢量910。该结果是由于该实现方式中的VCW 430跟踪球410而不是球员420而造成的。因此，球员420出现在图4和图5中不同的相对位置处。组合球员矢量910在确定图5的球员420的运动模糊时要使用的合成运动。
[0046]参照图10，提供了流程图。该流程图示提供了用于应用运动模糊的过程示例的过程 1000。
[0047]该过程1000包括拍摄包括多个全景画面的全景视频(1010)。在各种实现方式中，使用单个摄像机或者使用多个摄像机来捕捉全景视频。在使用多个摄像机时，将来自摄像机的输出拼接或平铺在一起以形成单个全景视频。
[0048]过程1000包括识别一个或多个感兴趣的特征(1020)。在各种实现方式中，通过选择对象或面部自动识别一个或多个感兴趣的特征。在一个这样的示例中，自动选择足球作为在视频上正在被捕捉的足球比赛中的感兴趣的特征。在各种实现方式中，基于人的输入(例如，诸如由操作者或终端用户选择等)来选择一个或多个感兴趣的特征。
[0049]在各种实现方式中，由操作者或用户进行的选择包括从一组可用特征或者从一组可用VCW进行选择。在这样的实现方式中，该系统通常接收输入，然后响应于该选择来提供适当的输出视频序列。在一个这样的实现方式中，用户能够通过选择不同的经预编程的VCW来观看足球比赛的不同方面。
[0050]在各种实现方式中，准备不同的VCW以跟踪不同的特征。然而，不同的特征可能具有不同的出现频率，因此相应的VCW并非始终可用。一些感兴趣的特征(例如，足球比赛中的足球)在视频中绝大多数的画面中。其他感兴趣的特征(例如，电影中的次要人物)在视频中大部分(而不是绝大多数)的画面中。其他感兴趣的特征(例如，著名演员在电影中的特写出现)仅在视频中相对很小部分的画面中。
[0051]在各种实现方式中，针对整个视频一次确定(多个)感兴趣的特征。例如，在捕捉足球比赛的某些实现方式中，将感兴趣的特征确定为足球。在其他实现方式中，随着视频进展，(多个)感兴趣的特征改变或者至少更新。例如，在一种实现方式中，将正在讲话的任何角色确定为在该人物讲话的拍摄期间的感兴趣的特征。
[0052]过程1000包括执行摇摄及扫描以形成VCW画面(1030)。在典型的实现方式中，所形成的VCW将包括所有感兴趣的特征，并且VCW将被用于执行对全景视频中的多个画面的裁剪。那些多个画面例如是视频中的所有画面、场景中的所有画面或者镜头中的所有画面(镜头例如是从同一摄像机得到的视频中所有连续的画面)。摇摄及扫描操作一般导致选择每个全景画面的有限部分，并且被称为裁剪。
[0053]该过程1000包括确定摄像机矢量(1040)。摄像机矢量俘获虚拟摄像机的运动，这与俘获VCW的运动相同。因此，图4至9的实现方式的摄像机矢量与VCW矢量730相同。如图4至9所示，在各种实现方式中，通过向后看一个画面来确定摄像机矢量。在其他实现方式中，除了在时间上向后看之外或者替代在时间上向后看，通过在时间上向前看来确定摄像机矢量。此外，在各种实现方式中，通过向前或向后看多于一个的画面和/或通过过滤所指示的运动来确定摄像机矢量。在自动跟踪诸如球这样的快速运动的对象时，这种实现方式常常是有用的。使用跨越多个画面的平均能够阻止摄像机矢量过于剧烈地变化。摄像机的剧烈运动对于观看者的观看可能是不舒服的。
[0054]该过程1000包括确定一个或多个感兴趣的特征的运动矢量(1050)。在各种实现方式中，例如在图4至9中所解释的那样，相对于全景画面确定运动。在各种实现方式中，使用光流算法来确定一个或多个特征的运动，这一点是众所周知的。
[0055]该过程1000包括组合摄像机矢量和(多个)特征运动矢量(1060)。在典型的实现方式中，例如在图4至9中所解释的那样，针对每个感兴趣的特征确定独立的组合矢量(例如，所组合的球员矢量910)，每个特征使用摄像机矢量(在图7至9中被称为VCW矢量730)。
[0056]过程1000包括针对(多个)感兴趣的特征确定运动模糊并且应用该运动模糊(1070)。基于在操作1060中确定的针对该特征的组合矢量来确定针对所指定的感兴趣的特征的运动模糊。在各种实现方式中，针对画面的所有部分确定运动模糊，而在其他实现方式中，仅针对所选择的特征确定运动。
[0057]过程1000包括将VCW中的画面缩放到目标分辨率(1075)。在过程1000中操作的次序下，缩放VCW中的画面(1075)涉及在对一个或多个感兴趣的特征应用运动模糊(1070)之后缩放VCW中的画面。然而，预见到其他的操作次序，并且在本申请中的其他地方论述了各种实现方式。
[0058]过程1000包括传送信息(1080)。在各种实现方式中，传送的信息包括以下一种或多种:(i)全景画面、(ii) VCW画面、(iii)缩放后的VCW画面、(iv)摄像机矢量、(V)缩放后的摄像机矢量、(vi)特征运动矢量、(vii)缩放后的特征运动矢量、(viii)组合矢量、(iv)缩放后的组合矢量、(X)应用了运动模糊的VCW画面和/或(xi)应用了运动模糊的缩放VCW画面。在各种实现方式中，传送器例如是广播车(broadcast truck)和/或电缆分配网络的集线器。在一种实现方式中，广播车向电缆分配头端传送信息，电缆分配头端向集线器传送信息，集线器向很多家庭(例如，20到25户家庭)传送信息。
[0059]该过程1000包括接收信息(1085)。在各种实现方式中，接收的信息例如是在操作1080中传送的任何信息。
[0060]过程1000包括以目标分辨率显示经运动模糊的VCW画面(S卩，应用了运动模糊的VCff画面)。典型的实现方式涉及在家庭中的用户接收VCW画面，并且在TV或其他视频观看设备上显示VCW画面。接收的VCW画面已经被缩放到目的地分辨率并且已经应用了运动模糊。
[0061]可以在多种应用中使用过程1000。现在简要描述几种普通的应用。
[0062]在第一应用中，如前所述，广播车执行过程1000到并包括在操作1080中的传送信息。在这些应用中的某些中，广播车还能够在例如裁判员希望回顾在场地的不同部分发生的比赛部分时，根据需要创建不同的VCW。裁判员能够选择不同的感兴趣的特征来跟踪。
[0063]在第二应用中，广播车传送若干不同的VCW中的画面，每个VCW都跟踪一个或多个不同的感兴趣的特征。通过这种方式，用户(例如，在家庭中)能够选择观看哪个VCW。例如，第一 VCW可能跟踪球，第二 VCW可能跟踪距球最近的守门员。
[0064]在第三应用中，电缆分配头端或集线器接收全景视频(例如，从广播车或其他内容供应者)并执行操作1020至1080，并且向家庭中的用户提供(在操作1080中)一个或多个VCW。使电缆集线器执行大量计算和处理的一个优点是，针对电缆集线器的分配信道常常具有高带宽。高带宽允许传送全景视频。然而，从电缆集线器到单个家庭的分配信道(有时被称为“最后一英里”)的带宽常常低得多，因此从电缆集线器到单个家庭仅传送VCW画面是有利的。
[0065]通过以不同的次序布置过程1000的操作得到多种实现方式。现在通过参考仅仅重新排序⑴传送(1080)和接收(1085)操作和/或(ii)缩放(1075)操作来描述那些实现方式中的几种。
[0066]通过将传送操作1080和接收操作1085移动到过程1000中的以下位置中的一处或多处来得到第一组替代的实现方式:
[0067]1.在操作1010中捕捉全景视频之后:在这样的实现方式中，通常传送并接收整个全景视频。典型地，过程1000的其余部分发生在接收器处(或者接收器的下游)。
[0068]2.在操作1040中确定摄像机矢量之后:在这样的实现方式中，通常传送并接收VCW画面和摄像机矢量。典型地，过程1000的其余部分发生在接收器处(或者接收器的下游)。各种实现方式的一个暗示是，在操作1050中基于VCW画面而不是基于全景视频来确定运动矢量。典型地，由此确定的运动矢量将包括摄像机的运动。因此，通常不需要组合针对特征的运动矢量与摄像机矢量来获得组合矢量。
[0069]一个例外是不能精确地确定运动但是显然有运动的特征。示例是诸如草坪场地这样的带纹理的背景。可能难以确定与草坪的任何具体部分相关联的确切运动。然而，对于这样的特征，常常能够确定该特征是静态背景的一部分。这样，可以将特征(草坪)运动假设为零。相应地，可以将组合矢量取为与摄像机矢量相同。然后使用该组合矢量来确定要应用于该特征(草坪)的适当的运动模糊。
[0070]3.在操作1050中确定(多个)特征运动矢量之后:在这样的实现方式中，通常传送并接收VCW画面、摄像机矢量和特征运动矢量。典型地，过程1000的其余部分发生在接收器处(或者接收器的下游)。这种实现方式允许接收器进行组合矢量、确定并应用运动模糊以及缩放结果所需的处理。
[0071]4.在操作1060中组合摄像机矢量和(多个)特征运动矢量之后:在这样的实现方式中，通常传送并接收VCW画面以及针对(多个)特征的(多个)组合运动矢量。典型地，过程1000的其余部分发生在接收器处(或者接收器的下游)。这种实现方式允许接收器进行确定并应用运动模糊以及缩放结果所需的处理。
[0072]5.在操作1070中确定针对特征的运动模糊并且对VCW画面中的特征应用运动模糊之后:在这样的实现方式中，通常传送并接收经运动模糊的VCW画面。典型地，过程1000的其余部分发生在接收器处(或者接收器的下游)。这样的实现方式常常能够为用户提供更高的质量。如果系统使用有损耗的视频编码算法，并且如果出现的损耗在它们出现在更高分辨率的视频(在进行缩放之前)对于用户不太明显，则可以得到更高的质量。即，如果开始于更高质量的视频，则丢失的信息就不那么重要了。然而，如果在应用有损压缩方案之前缩小视频(假设缩放为缩小，但是一些实现方式使用放大)，则丢失的信息常常对于用户的主观观看体验更加重要。
[0073]通过将缩放操作1075移动到过程1000中的不同位置来得到第二组替代的实现方式。注意，所有这些变型都可以与还移动传送和接收操作的以上变型(1080，1085)组合。例如，可以将缩放操作1075移动到过程1000中的多个位置中的一处或多处。这样的位置包括例如(i)在形成VCW画面(1030)之后、(ii)在确定摄像机矢量(1040)之后、(iii)在针对一个或多个感兴趣的特征确定(多个)运动矢量(1050)之后或者(iv)在组合摄像机矢量和(多个)特征矢量(1060)之后。在这样的实现方式中，通常在确定和应用运动模糊(1070)之前缩放矢量(摄像机矢量和特征矢量，或者仅仅组合矢量)，使得组合矢量的分辨率与缩放后的VCW画面的分辨率一致。
[0074]根据关于各种实现方式的论述应当清楚，有很多对于想要实现过程1000的一种版本的系统设计者可用的选项和变型。系统设计者可以考虑几种系统度量作为用于确定实现过程1000的什么样的变型的标准。这些度量中的一些及其含意如下:
[0075]1.各个通信链路上的带宽:例如，全景画面典型地需要高带宽，而VCW画面典型地需要相对较低的带宽。
[0076]2.在最终显示器处所需的质量:例如，典型地，对全分辨率视频执行运动模糊处理比对缩小后的分辨率执行处理提供更高的最终质量。
[0077]3.分配链中各个点处的处理能力和速度:分配链中的点中的一些包括例如广播者或其他内容供应者、分配头端(例如电缆头端)、分配集线器以及家庭中的终端用户。关于处理，家庭系统通常将没有执行运动矢量确定(例如使用光流算法)或者运动模糊确定和应用的处理能力和速度。
[0078]4.所需的终端用户选择/控制:例如，如果给予家庭中的终端用户在预定节目中自由地选择感兴趣的特征的能力，则系统通常将需要更多的带宽，因为每个家庭都能够接收预定节目的不同VCW (以及VCW画面的关联流，也被称为VCW视频)。
[0079]这些度量还例如按照在下面的实现方式中所示出的那样地相互联系:
[0080]1.例如，在一种实现方式中，从电缆集线器到终端用户家庭的带宽低，因此系统设计者想要从电缆集线器向家庭传送缩小后的视频。
[0081]2.另外，期望高质量，因此系统设计者想要在缩小(在广播者、电缆头端或电缆集线器处)之前执行运动分析和运动模糊。
[0082]3.另外，给予终端用户很多选择/控制，从而可能导致电缆集线器同时传送多个VCW视频。这种要求增加了系统设计者从电缆集线器向家庭传送缩小后的画面的选择。此夕卜，为了降低在广播者或电缆头端上的处理负荷，系统设计者优选使电缆集线器为集线器下游的那些家庭产生所选择的VCW视频。
[0083]4.然而，如果处理速度和能力在电缆集线器处低，则系统设计者可能被迫在电缆头端或广播者处为分配系统中的所有家庭产生VCW视频(例如，执行运动分析和运动模糊)。
[0084]参照图11，提供了图示出用于应用运动模糊的过程1100的流程图。过程1100包括存取使用VCW形成的被裁剪的画面(1110)。在至少一个实现方式中，操作1110包括存取使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面。在某些实现方式中，操作1110包括存取由过程1000的操作1030形成的VCW画面。
[0085]过程1100包括基于VCW运动和特征的运动来产生运动模糊(1120)。在至少一种实现方式中，操作1120包括基于虚拟摄像机窗口的运动和特征的运动产生被裁剪的画面中的特征的运动模糊。
[0086]过程1100包括将所产生的运动模糊添加到该特征(1130)。在至少一个实现方式中，操作1130包括将所产生的运动模糊添加到被裁剪的画面中的特征。在某些实现方式中，如在过程1000的操作1070中所述的那样地，操作1120和1130包括针对感兴趣的特征确定运动模糊并且应用该运动模糊。
[0087]得到涉及向过程1100添加额外特征的各种实现方式。过程1100的若干变化包括以下实现方式中的特征中的一个或多个。
[0088]?在一种实现方式中，进一步定义过程1100，使得:(i)画面序列来自固定位置，(ii)相对于固定位置确定虚拟摄像机窗口的运动，以及(iii)相对于固定位置确定特征的运动。
[0089]?在另一实现方式中，进一步定义过程1100，使得:(i)画面序列还包括在时间上比该画面出现更早的更早画面，(ii)更早画面包括特征，(iii)虚拟摄像机窗口在更早画面中具有使得该特征在虚拟摄像机窗口之内的位置，(iv)基于虚拟摄像机窗口的位置从更早画面到该画面的任何变化来确定虚拟摄像机窗口的运动，以及(V)该特征的运动基于该特征的位置从更早画面到画面的任何变化。
[0090]?在另一实现方式中，进一步定义过程1100，使得:(i)将虚拟摄像机窗口的运动和特征的运动确定为组合运动，以及(ii)组合运动指示被裁剪的画面中的特征相对于使用虚拟摄像机窗口从画面序列中的另外的画面裁剪的另外的被裁剪的画面的运动。
[0091]?在另一实现方式中，进一步定义过程1100，使得:画面序列来自固定位置，并且该过程还包括基于被裁剪的画面确定该特征为相对于固定位置是静态的背景的一部分，并且指定该特征的运动为零。
[0092]?在另一实现方式中，进一步定义过程1100以包括:(i)存取画面，(ii)识别该画面中的特征，(iii)产生包括该画面内的特征的虚拟摄像机窗口，以及(iv)为该特征确定作为虚拟摄像机窗口的运动和特征的运动的组合的组合特征，其中，产生运动模糊包含基于该组合运动来产生运动模糊。
[0093]?在另一实现方式中，进一步定义过程1100以包括:(i)跨越画面序列中的多个画面跟踪特征，以及(ii)基于跟踪产生多个画面中的虚拟摄像机窗口。
[0094]?在另一实现方式中，进一步定义该过程1100，使得识别特征包括使用对象识别或面部识别。
[0095]?在另一实现方式中，进一步定义过程1100以包括基于虚拟摄像机窗口的运动和第二特征的运动为被裁剪的画面中的第二特征产生运动模糊。
[0096]?在另一实现方式中，进一步定义过程1100，使得被裁剪的画面是产生运动模糊之前被缩放到显示器分辨率的缩放后的画面。
[0097]?在另一实现方式中，进一步定义过程1100以包括在向被裁剪的画面中的特征添加所产生的运动模糊之后将被裁剪的画面缩放到显示器分辨率。
[0098]?在另一实现方式中，进一步定义过程1100以包括发送以下一个或多个:⑴在添加所产生的运动模糊之后的被裁剪的画面、(?)在添加所产生的运动模糊之前的被裁剪的画面、(iii)虚拟摄像机窗口的运动的指示器或者(iv)特征运动的指示器。
[0099]?在另一实现方式中，进一步定义过程1100，使得该画面是包括从多个摄像机取得的画面的合成画面。
[0100]?在另一实现方式中，进一步定义过程1100，使得该画面是从单个摄像机取得的单个画面。
[0101]?在另一实现方式中，进一步定义过程1100，使得该画面没有运动模糊。
[0102]?在另一实现方式中，进一步定义过程1100以包括:(i)接收将该特征识别为感兴趣的特征的输入，以及(ii)基于接收的输入来确定虚拟摄像机窗口。
[0103]?在另一实现方式中，进一步定义过程1100，使得在接收器处执行存取、产生和添力口，并且过程1100还包括:(i)从接收器发送信号，该信号指示第二特征是感兴趣的特征，以及(ii)响应于发送信号，在接收器处接收使用第二虚拟摄像机窗口从画面序列中的第二画面裁剪的第二被裁剪的画面，其中，第二虚拟摄像机窗口不同于虚拟摄像机窗口。
[0104]?在另一实现方式中，进一步定义过程1000，使得(i)该画面是全景画面，并且(ii)画面序列是全景画面序列。
[0105]图12提供了图示在应用运动模糊中使用的传送系统的示例的框图。参照图12，示出了可以应用上述特征和原理的视频传送系统或装置1600。视频传送系统或装置1600例如可以是使用多种介质中的任何一种(例如，诸如卫星、电缆、电话线或陆地广播等)传送信号的头端或传送系统。或者替代地，视频传送系统或装置1600也可以用于例如提供关于存储的信号。可以通过因特网或某种其他网络来提供传送。视频传送系统或装置1600能够产生并交付例如视频内容和其他内容(例如,诸如元数据等)。还应当清楚的是，图12的框除了提供视频传送系统或装置的框图之外，还提供了视频传送过程的流程图。
[0106]视频传送系统或装置1600从处理器1601接收输入的视频。在一种实现方式中，处理器1601向视频传送系统或装置1600仅仅提供视频图像(诸如节目中的图像)。然而，在另一种实现方式中，处理器1601替代地或额外地向视频传送系统或装置1600提供来自其他源的内容。处理器1601还可以向视频传送系统或装置1600提供元数据，其中，元数据涉及例如一个或多个输入的图像，并且可以包括例如关于用于对数据进行编码的编码方法的描述。
[0107]视频传送系统或装置1600包括编码器1602和能够传送经编码的信号的传送器1604。编码器1602从处理器1601接收视频信息。视频信息可以包括例如视频图像和/或其他内容。编码器1602基于视频和/或其他信息产生(多个)经编码的信号。在各种实现方式中，编码器1602是源编码器、信道编码器或者源编码器和信道编码器的组合。在各种实现方式中，编码器1602例如是AVC编码器(在本申请中的别处定义)。
[0108]编码器1602可以包括子模块，其包括例如用于接收并将各条信息组装成结构化格式以便存储或者传送的组装单元。所述各条信息可以包括例如经编码的或未编码的视频、其他内容、元数据或信息以及例如诸如运动矢量、编码模式指示器和语法元素这样的各种元素。在一些实现方式中，编码器1602包括处理器1601，并且因此执行处理器1601的操作。
[0109]传送器1604从编码器1602接收(多个)经编码的信号并以一个或多个输出信号传送(多个)经编码的信号。传送器1604例如可以适配于传送具有代表编码画面和/或与其相关的信息的一个或多个比特流的节目信号。典型的传送器执行诸如以下功能中的一种或多种:例如，提供纠错编码(可以在编码器1602中替代地或附加地执行)、交织信号中的数据(可以在编码器1602中替代地或附加地执行)、使信号中的能量随机化以及使用调制器1606将信号调制到一个或多个载波上。传送器1604可以包括或者连接天线(未示出)。此外，可以将传送器1604的实现限于调制器1606。
[0110]视频传送系统或装置1600还通信地耦合到存储单元1608。在一种实现方式中，存储单元1608耦合到编码器1602，存储单元1608存储来自编码器1602的编码比特流，并且可选地向传送器1604提供所存储的比特流。在另一实现方式中，存储单元1608耦合到传送器1604，并且存储来自传送器1604的比特流。来自传送器1604的比特流可以包括例如已经被传送器1604进一步处理了的一个或多个经编码的比特流。在不同的实现方式中，存储单元1608是标准DVD、蓝光盘、硬盘驱动器或者某种其他存储装置中的一种或多种。
[0111]图12还包括用户接口 1610和显示器1620，两者都通信地耦合到处理器1601。处理器1601通信地耦合到用于例如从操作者接受输入的用户接口 1610。处理器1601通信地耦合到用于显示例如数字图像的显示器1620。在各种实现方式中，在被处理器1601处理之前、期间和/或之后显示画面。
[0112]在各种实现方式中，显示器1620还包括用户接口 1610。一种实现方式对于用户接口 1610和显示器1620这两者使用触摸屏。
[0113]图13提供了图示在应用运动模糊中使用的接收系统的示例的框图。参照图13，示出了可以应用上述特征和原理的视频接收系统或装置1700。视频接收系统或装置1700可以被配置成通过多种介质(例如，诸如卫星、电缆、电话线或陆地广播等)接收信号。可以通过因特网或某种其他网络接收信号。还应当清楚的是，图17的框除了提供视频接收系统或装置的框图之外，还提供了视频接收过程的流程图。
[0114]视频接收系统或装置1700可以包括例如手机、计算机、平板、路由器、网关、机顶盒、电视或者其他接收经编码的视频并提供例如经解码的视频信号进行显示(例如显示给用户)、处理或存储的装置。因此，视频接收系统或装置1700可以将其输出提供给例如电视的屏幕、手机的屏幕、平板的屏幕、计算机监视器、计算机(用于存储、处理或显示)或者某种其他存储、处理或显示装置。
[0115]视频接收系统或装置1700能够接收和处理视频信息。视频信息可以包括例如视频图像、其他内容和/或元数据。视频接收系统或装置1700包括接收器1702，用于接收例如诸如在本申请的实现方式中描述的信号这样的经编码的信号。接收器1702可以接收例如(i)为节目中的画面序列提供经编码的层的信号或者(ii)从图12的视频传送系统1600(例如，从存储单元1608或传送器1604)输出的信号。
[0116]接收器1702例如可以适配于接收具有代表经编码的画面(例如，视频画面或深度画面)的多个比特流的节目信号。典型的接收器执行诸如以下功能中的一种或多种:例如，接收经调制并编码的数据信号、使用解调器1704从一个或多个载波解调数据信号、对信号中的能量去随机化、对信号中的数据解交织(可以替代地或额外地在解码器中执行)以及对信号进行纠错解码(可以在解码器中替代地或附加地执行)。接收器1702可以包括或者连接天线(未示出)。可以将接收器1702的实现限于解调器1704。
[0117]视频接收系统或装置1700包括解码器1706。在各种实现方式中，解码器1706是源解码器、信道解码器或者源解码器和信道解码器的组合。在一种实现方式中，解码器1706包括图1的信道解码器155和源解码器160。
[0118]接收器1702向解码器1706提供接收的信号。接收器1702向解码器1706提供的信号可以包括一个或多个经编码的比特流。解码器1706输出经解码的信号，例如，诸如包括视频信息、其他内容或元数据的经解码的视频信号。解码器1706例如可以是AVC解码器(在本申请中别处定义)。
[0119]视频接收系统或装置1700还通信地耦合到存储单元1707。在一种实现方式中，存储单元1707耦合到接收器1702，接收器1702从存储单元1707存取比特流和/或向存储单元1707存储接收的比特流。在另一实现方式中，存储单元1707耦合到解码器1706，解码器1706从存储单元1707存取比特流和/或向存储单元1707存储经解码的比特流。在不同的实现方式中，从存储单元1707存取的比特流包括一个或多个经编码的比特流。在不同实现方式中，存储单元1707是标准DVD、蓝光盘、硬盘驱动器或某种其他存储装置中的一种或多种。
[0120]在一种实现方式中，向处理器1708提供来自解码器1706的输出视频。在一种实现方式中，处理器1708是被配置成呈现经解码的数字画面的处理器。在一些实现方式中，解码器1706包括处理器1708，并且因此执行处理器1708的操作。在其他实现方式中，处理器1708是下游设备的一部分，例如，诸如机顶盒或电视的一部分。
[0121]图12还包括用户接口 1710和显示器1720，两者都通信地耦合到处理器1708。处理器1708通信地耦合到用于例如从家庭中的用户或电缆集线器处的操作者接收输入的用户接口 1710。处理器1708通信地耦合到用于显示例如数字画面的显示器1720。在各种实现方式中，在被处理器1708处理之前、期间和/或之后显示画面。
[0122]在各种实现方式中，显示器1720还包括用户接口 1710。一种实现方式对于用户接口 1710和显示器1720这两者都使用触摸屏。另外的实现方式包括视频接收系统1700中的用户接口 1710和/或显示器1720。
[0123]在各种实现方式中，可以使用图12至13执行过程1000或过程1100的全部或一部分以及参考过程1000或1100描述的任何额外特征。下面是若干这样的实现方式。
[0124]?在一种实现方式中，处理器1601结合用户接口 1610和显示器1620被用于执行操作1020至1075。传送器1604用于执行操作1080。接收器1702用于执行操作1085。处理器1708结合用户接口 1710和显示器1720被用于执行操作1090。
[0125]?在另一实现方式中，处理器1601结合用户接口 1610和显示器1620被用于执行操作1110至1130。
[0126]?在另一实现方式中，处理器1708结合用户接口 1710和显示器1720被用于执行操作1110至1130。
[0127]可以有选择地组合图12-13中的组件以形成其他实现方式。在一种实现方式中，电缆集线器包括继之以视频传送系统1600(可能包括存储装置1608)的图13的组件。在这样的实现方式中，电缆集线器例如能够使用视频接收系统1700从广播者、电缆头端或其他内容供应者接收全景视频。然后，电缆集线器能够使用处理器1706、用户接口 1710和显示器1720来执行例如过程1000的操作1020至1075 (还可以自动地执行这些操作1020至1075)。然后，电缆集线器能够例如向视频传送系统1600提供从操作1075得到的视频(以及可能的其他信息)，视频传送系统1600例如执行过程1000的操作1080。
[0128]各种实现方式提供了信号。在一种实现方式中，作为执行过程1000的操作1080的全部或部分，传送器1604提供包括画面部分和运动部分的信号。画面部分关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面。运动部分关于虚拟摄像机窗口运动的指示。在各种实现方式中，在信号结构中包括画面部分和运动。在几种这样的实现方式中，在处理器可读介质上存储该信号结构。
[0129]在各种实现方式中，显示器1620和/或显示器1720包括计算机显示器、膝上型电脑显示器、平板显示器、手机显示器、电视显示器或者任何其他在本申请中提到或现有技术中已知的显示器中的一种或多种，包括在诸如例如墙壁、天花板、地板或人行道这样的任何表面上可见的投影显示器。
[0130]在各种实现方式中，用户接口 1610和/或用户接口 1710包括鼠标、跟踪板、键盘、触摸屏、用于接受由处理器1601和/或处理器1708解释的声音命令的麦克风、遥控器、手机、远程或本地独立的计算机或者在本申请中提到或现有技术已知的任何其他输入设备。
[0131]在各种实现方式中，存储装置1608和/或存储装置1707包括在本申请中提到或现有技术中已知的任何存储设备。
[0132]在各种实现方式中，编码器1602包括AVC或H.264编码器(在本申请中别处定义)、针对任何其他标准的编码器或者在本申请中提到或现有技术中已知的任何其他编码设备。
[0133]在各种实现方式中，传送器1604包括任何集成电路的输出管脚、通用异步接收器/传送器(UART)、广播传送器、卫星传送器、电缆传送器或者在本申请中提到或现有技术已知的任何其他传送设备。传送器1604例如可以适于传送具有一个或多个表示经编码的画面和/或与其相关的信息的比特流的节目信号。典型的传送器执行诸如以下功能中的一种或多种:例如，提供纠错编码(可以在编码器1602中替代地或附加地执行)、交织信号中的数据(可以在编码器1602中替代地或附加地执行)、使信号中的能量随机化以及使用调制器将信号调制到一个或多个载波上。传送器1604可以包括或连接天线(未示出)。此外，传送器1604的实现方式可以限于调制器。
[0134]本申请提供了多个图，包括图1至9的示意图、图10至11的流程图以及图12至13的框图。这些图的每一个都提供了对多种实现方式的公开，对此针对以下示例进行简要解释。
[0135]作为第一示例，注意，图1至9的示意图当然至少部分地描述了向用户示出的输出屏幕或者例示了各种概念。然而，还应当清楚的是，示意图描述了一个或多个过程流。例如，至少图1至2和5至6还描述了为对象确定初始运动矢量的过程。此外，至少图3和8至9还描述了为对象确定组合运动矢量的过程。
[0136]作为第二示例，注意，流程图当然描述了流程。然而，还应当清楚的是，流程图提供了用于执行流程的系统或装置的功能框之间的相相互连接接。作为示例，图11还提供了用于执行过程1100的功能的框图。例如，(i)参考元素1110还代表用于执行存取被裁剪的画面的功能的框，(ii)参考元素1120代表用于执行产生运动模糊的功能的框，并且(iii)元素1110和1120之间的相相互连接接代表用于存取被裁剪的画面的组件和用于产生运动模糊的组件之间的耦合。在描述该系统/装置时类似地解释图11的其他框。
[0137]作为第三示例，注意，框图当然描述了装置或系统的功能框的相互连接。然而，还应当清楚的是，框图提供了各种过程流的描述。作为示例，图12还呈现了用于执行包括图12的框的功能的各种过程的流程图。例如，(i)编码器1602的框还代表对画面进行编码的操作，(ii)传送器1604的框还代表传送画面的操作，并且(iii)编码器1602和传送器1604之间的相互连接代表对画面进行编码并且然后进行传送的过程。在描述该流程时类似地解释图12的其他框。
[0138]如此，已经提供了多种实现方式。应当指出，将想到所述实现方式的变型以及另外的应用，并且认为它们在本公开之内。此外，所述实现方式的特征和方面可以适于其他实现方式。
[0139]关于全景画面描述了各种实现方式。然而，这样的实现方式可以适用于非全景画面的画面。应当清楚的是,例如可以针对非全景画面的画面来构造VCW。
[0140]实现方式中的几种提到了自动的或自动执行的特征。然而，这种实现方式的变型不是自动的并且/或者不自动地执行特征的全部或部分。
[0141]此外，若干实现方式提到了基于两个分开的运动(摄像机运动和独立的特征运动)来确定特征的组合运动矢量。然而，在各种实现方式中，基于超过两个的成分矢量来确定组合运动矢量。
[0142]可以将本申请中描述的若干实现方式和特征用于AVC标准和/或具有MVC(多视图视频编码)扩展(附录H)的AVC和/或具有SVC (可缩放的视频编码)扩展(附录G)的AVC的背景下。此外，可以将这些实现方式和特征用于另外的标准(现存的或将来的)的背景下或者不涉及标准的背景下。注意，AVC是指现存的国际标准化组织/国际电工委员会(“IS0/IEC”)活动画面专家组4( “MPEG-4”)第10部分高级视频编码(“AVC”)标准/国际电信联盟电信部分(“ITU-T”)H.264建议(在本文中各处以不同的方式称其为“H.264/MPEG-4 AVC标准”或者诸如“AVC标准”、“H.264标准”或简称为“AVC”或“H.264”这样的其变型)。
[0143]本原理提到的“一个实施例”或“实施例”，或“一种实现方式”或“实现方式”及其其他变型表示在本原理的至少一个实施例中包括了结合实施例描述的具体特征、结构、特性等。因此，在整个说明书中各处出现短语“在一个实施例中”或“在实施例中”或“在一种实现方式中”或“在实现方式中”以及任何其他变型未必都指同一个实施例。
[0144]此外，本申请或其权利要求可能提到“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一种或多种。
[0145]此外，本申请或其权利要求可能提到“存取”各条信息。存取信息可以包括如下一种或多种，例如:接收信息、检索信息(例如，存储器)、存储信息、处理信息、传送信息、移动Ih息、复制?目息、擦除息、计算?目息、确定?目息、予页测?目息或估计Ih息。
[0146]此外，本申请或其权利要求可能提到“接收”各条信息。与“存取”一样，接收旨在是一个广义的术语。接收信息可以包括例如存取信息或检索信息(例如从存储器)的一种或多种。此外，典型地，“接收”以一种方式或者另外的方式包括在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息等操作期间。
[0147]各种实现方式提到“图像”和/或“画面”。在本文中各处可互换地使用术语“图像”和“画面”，并且旨在广义的术语。“图像”或“画面”例如可以是帧或者场的全部或部分。术语“视频”是指图像(或画面)的序列。图像或画面例如可以包括各种视频成分的任一种或者其组合。这样的成分或其组合包括例如亮度、色度、(YUV或YCbCr或YPbPr的)Y、(YUV 的)U、(YUV 的)V、(YCbCr 的)Cb、(YCbCr 的)Cr、(YPbPr 的)Pb、(YPbPr 的)Pr、(RGB)的红、(RGB的)绿、(RGB的)蓝、S视频以及这些成分中的任何一个的负值或正值。“图像”或“画面”还可以或者替代地指各种不同类型的内容，例如包括:典型的二维视频、用于2D视频画面的视差图、对应于2D视频画面的深度图、或者边缘图。
[0148]此外，很多实现方式可能提到“帧”。然而，认为这样的实现方式同样适用于“画面”或“图像”。
[0149]“深度图”或“视差图”或“边缘图”或类似术语也旨在是广义的术语。图一般是指例如包括特定类型的信息的画面。然而，图可以包括未由其名称指示的其他类型的信息。例如，深度图典型地包括深度信息，但是也可以包括诸如例如视频或边缘信息这样的其他信肩、O
[0150]本申请在多种实现方式中提到“编码器”和“解码器”。应当清楚的是，编码器能够包括例如一个或多个(或没有)源编码器和/或一个或多个(或没有)信道编码器以及一个或多个(或没有)调制器。类似地，应当清楚的是，解码器能够包括例如一个或多个(或没有)调制器，以及一个或多个(或没有)信道编码器和/或一个或多个(或没有)源编码器。
[0151]要意识到，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下使用的以下和/或”和“至少一个”的任一种旨在包含仅选择第一所列选项㈧或者仅选择第二所列选项(B)或者选择两个选项(A和B)。作为另一示例，在“A、B和/或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的情况下，这样的短语旨在包含仅选择第一所列选项(A)或者仅选择第二所列选项(B)或者仅选择第三所列选项(C)或者仅选择第一和第二所列选项(A和B)或者仅选择第一和第三所列选项(A和C)或者仅选择第二和第三所列选项(B和C)或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员容易理解的那样，对于很多列出的项目，可以对此进行扩展。
[0152]此外，很多实现方式可以实现在诸如例如后处理器或预处理器这样的处理器中。在各种实现方式中，本申请中所述的处理器确实包括被共同地配置为执行例如过程、功能或操作的多个处理器(子处理器)。例如，在各种实现方式中，处理器1601和1708以及诸如例如编码器1602、传送器1604、接收器1702和解码器1706这样的其他处理部件由被共同地配置为执行该组件的操作的多个子处理器构成。
[0153]例如，本文所述的实现方式可以实现为方法或过程、装置、软件程序、数据流或者信号。尽管仅在单一形式的实现方式的背景下进行了论述(例如，仅作为方法进行了论述)，所述特征的实现方式还可以以其他形式中(例如装置或程序)来实现。例如，装置可以实现为适当的硬件、软件和固件。例如，方法可以实现在诸如例如处理器(通常被称为处理设备，包括例如计算机、微处理器、集成电路或可编程序逻辑器件)这样的装置中。处理器还包括通信设备，诸如例如计算机、手机、平板、便携/个人数字助理(“PDA”)以及便于在终端用户之间进行信息通信的其他设备。
[0154]可以在多种不同装置或应用中实施本文所述的各种过程和特征的实现方式。这种装置的示例包括编码器、解码器、后处理器、预处理器、视频编码器、视频解码器、视频编码解码器、网络服务器、电视、机顶盒、路由器、网关、调制调解器、膝上型电脑、个人计算机、平板计算机、手机、PDA和其他通信设备。应当清楚的是，装置可以是移动的，甚至可以安装于移动的交通工具中。
[0155]此外，方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式生成的数据值)可以存储于处理器可读介质上，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩盘(“CD”)、光盘(例如DVD，常称为数字多功能盘或数字视频盘或蓝光盘)、随机存取存储器(“RAM”)、只读存储器(“ROM”)、USB拇指驱动器或者一些其他存储装置这样的其他存储装置。指令可以形成有形地实施在处理器可读介质上的应用程序。例如，指令可以在硬件、固件、软件或组合中。例如，指令可以存在于操作系统、单独的应用或者两者的组合中。因此，例如可以将处理器表征为被配置为执行过程的设备以及包括具有用于执行过程的指令的处理器可读介质的设备(诸如存储设备)。此外，除指令之外或者替代指令地，处理器可读介质可以存储由实现方式生成的数据值。
[0156]对于本领域的技术人员显而易见的是，实现方式可以产生被格式化以承载例如可以存储或传送的信息的多种信号。该信息可以包括例如用于执行方法的指令或由所述实现方式之一产生的数据。例如，可以将信号格式化成承载用于写入或读取语法的规则作为数据或者承载使用语法规则产生的实际语法值作为数据。例如，可以将这样的信号格式化为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且调制具有经编码的数据流的载波。信号承载的信息例如可以是模拟或数字信息。如已知的那样，可以通过多种不同的有线或无线链路传送信号。信号可以存储在处理器可读介质上。
[0157]已经描述了若干种实现方式。然而，应当理解的是，可以做出各种修改。例如，可以组合、增补、修改或去除不同实现方式的元素以产生其他实现方式。此外，普通技术人员将理解的是，其他结构和过程可以替代那些公开的结构和过程，并且得到的实现方式将以与所公开的实现方式至少基本相同的方式执行与所公开的实现方式至少基本相同的功能以得到与所公开的实现方式至少基本相同的结果。相应地，本申请想到了这些以及其他实现方式。
【权利要求】
1.一种方法，包含: 存取使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面； 基于所述虚拟摄像机窗口的运动和所述特征的运动产生被裁剪的画面中的特征的运动模糊；以及 向被裁剪的画面中的特征添加所产生的运动模糊。
2.根据权利要求1所述的方法，其中: 所述画面序列来自固定位置， 相对于所述固定位置确定所述虚拟摄像机窗口的运动，并且 相对于所述固定位置确定所述特征的运动。
3.根据权利要求1或2中的任一项所述的方法，其中: 所述画面序列还包括在时间上比所述画面出现得更早的更早画面， 所述更早画面包括所述特征， 所述虚拟摄像机窗口在所述更早画面中具有使得所述特征在所述虚拟摄像机窗口之内的位置， 基于所述虚拟摄像机窗口的位置从所述更早画面到所述画面的任何变化确定所述虚拟摄像机窗口的运动，以及 所述特征的运动基于所述特征的位置从所述更早画面到所述画面的任何变化。
4.根据权利要求1所述的方法，其中: 将所述虚拟摄像机窗口的运动和所述特征的运动确定为组合运动， 所述组合运动指示被裁剪的画面中的特征相对于使用所述虚拟摄像机窗口从所述画面序列中的另外的画面裁剪的另外的被裁剪的画面的运动。
5.根据权利要求1所述的方法，其中: 所述画面序列来自固定位置，并且 所述方法还包括基于被裁剪的画面来确定所述特征为相对于所述固定位置是静态的背景的一部分，并且将所述特征的运动指定为零。
6.根据权利要求1所述的方法，还包含: 存取所述画面； 识别所述画面中的特征； 产生所述虚拟摄像机窗口，所述虚拟摄像机窗口包括所述画面内的特征；以及确定所述特征的组合运动，所述特征的组合运动是所述虚拟摄像机窗口的运动和所述特征的运动的组合， 其中，产生所述运动模糊包含基于所述组合运动来产生所述运动模糊。
7.根据权利要求1或6中的任一项所述的方法，还包含: 跟踪跨越所述画面序列中的多个画面的特征；以及 基于所述跟踪在所述多个画面中产生所述虚拟摄像机窗口。
8.根据权利要求6所述的方法，其中，识别所述特征包含使用对象识别或面部识别。
9.根据权利要求1所述的方法，还包括: 基于所述虚拟摄像机窗口的运动和第二特征的运动产生被裁剪的画面中的第二特征的运动模糊。
10.根据权利要求1所述的方法，其中，被裁剪的画面是在产生所述运动模糊之前被缩放到显示器分辨率的缩放后的画面。
11.根据权利要求1所述的方法，还包含在向被裁剪的画面中的特征添加所产生的运动模糊之后将被裁剪的画面缩放到显示器分辨率。
12.根据权利要求1所述的方法，还包含传送以下之中的一个或多个: 在添加所产生运动模糊之后的被裁剪的画面， 在添加所产生运动模糊之前的被裁剪的画面， 所述虚拟摄像机窗口运动的指示器，或者 所述特征运动的指示器。
13.根据权利要求1所述的方法，其中，所述画面是包括从多个摄像机取得的画面的合成画面。
14.根据权利要求1所述的方法，其中，所述画面是从单个摄像机取得的单个画面。
15.根据权利要求1所述的方法，其中，所述画面没有运动模糊。
16.根据权利要求1所述的方法，还包含: 接收将所述特征识别为感兴趣的特征的输入；以及 基于所接收的输入确定所述虚拟摄像机窗口。
17.根据权利要求1所述的方法，其中，在接收器处执行所述存取、所述产生和所述添力口，并且所述方法还包含: 从所述接收器发送信号，所述信号指示第二特征是感兴趣的特征；以及响应于发送所述信号，在所述接收器处接收使用第二虚拟摄像机窗口从所述画面序列中的第二画面裁剪的第二被裁剪的画面，其中，所述第二虚拟摄像机窗口与所述虚拟摄像机窗口不同。
18.根据权利要求1所述的方法，其中: 所述画面是全景画面，并且 所述画面序列是全景画面序列。
19.根据权利要求1所述的方法，其中，在广播车、电缆头端、电缆集线器或家庭中的一处或多处执行所述存取、所述产生和所述添加。
20.一种装置，包含: 存取使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面的部件； 基于所述虚拟摄像机窗口的运动和所述特征的运动产生被裁剪的画面中的特征的运动模糊的部件；以及 向被裁剪的画面中的特征添加所产生的运动模糊的部件。
21.一种包含一个或多个处理器的装置，所述一个或多个处理器被共同地配置成执行: 存取使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面； 基于所述虚拟摄像机窗口的运动和所述特征的运动产生被裁剪的画面中的特征的运动模糊；以及 向被裁剪的画面中的特征添加所产生的运动模糊。
22.—种在其上存储有指令的处理器可读介质，所述指令使一个或多个处理器共同地执行: 存取使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面； 基于所述虚拟摄像机窗口的运动和所述特征的运动产生被裁剪的画面中的特征的运动模糊；以及 向被裁剪的画面中的特征添加所产生的运动模糊。
23.—种信号,包括: 画面部分，其关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面；以及 运动部分，其关于所述虚拟摄像机窗口的运动的指示。
24.—种信号结构,包括: 画面部分，其关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面；以及 运动部分，其关于所述虚拟摄像机窗口的运动的指示。
25.一种在其上存储有信号结构的处理器可读介质，所述信号结构包含: 画面部分，其关于使用虚拟摄像机窗口从画面序列中的画面裁剪的被裁剪的画面；以及 运动部分，其关于所述虚拟摄像机窗口的运动的指示。
【文档编号】G06T5/00GK104335243SQ201380022200
【公开日】2015年2月4日 申请日期:2013年5月17日 优先权日:2012年5月18日
【发明者】P.H.卢提尔 申请人:汤姆逊许可公司