用于交互式视频帧选择的系统和方法

专利名称：用于交互式视频帧选择的系统和方法
技术领域：
本发明涉及视频搜索。本发明更具体地涉及针对 一 个或多个帧 来搜索视频镜头。
背景技术：
传统的视频搜索和编辑通常包括为了找到一个或多个特定帧而 在视频序列的各个帧中进行搜索。例如，来自停车场监控摄像机的 视频可能记录有数个小时的镜头，但是只希望得到显示了特定车辆 离开其停车位的帧。利用传统的编辑技术，为了找到车辆离开其停
车位的时间，用户可能需要在整个视频中顺序地搜索。这种强力搜 索可能是费时且低效的。此外，视频内可能并不存在所期望的帧。

发明内容
例如，本发明的一个实施方式包括一种方法，该方法包括使^L频 帧被显示；接收对帧内第一位置处的点的选择；以及确定该帧中与 点相关联的粒子(particle)。该方法进一步包括接收所述点向第 二位置的移动；至少部分地基于第二帧中所述粒子与所述点的第二 位置之间的距离来确定包括所述粒子的视频的第二帧；以及输出视 频第二帧的指示。在另一实施方式中，计算机可读介质包括用于执 行这种方法的代码。
记载这些说明性实施方式并非意在限制或限定本发明，而是为 了提供示例以帮助理解本发明。在具体实施方式
中对说明性实施方 式进行了讨论，并提供了对本发明的进一步描述。通过研究本说明 书，本发明各种实施方式提供的优势将得到进一步理解。


当参考附图阅读下述具体实施方式
时，本发明的这些和其它特
征、方面和优势将得到更好的理解，其中
图1示出了根据本发明一个实施方式的用于交互式视频帧选择
的系统。
图2示出了根据本发明一个实施方式的用于交互式一见频帧选择 的方法。
图3-图6示出了视频的第一帧和第二帧的视图。
具体实施例方式
本发明的实施方式提供了用于交互式视频帧选择的方法、系统 和产品。根据本发明的方法、系统和产品可以通过多种方式来具体 化。本发明的某些实施方式例如可以减少或；肖除视频制作编辑器工 作流程中的低效问题。例如，本发明的一个实施方式可以允许用户 查看和编辑视频本身，而不是操纵接口对象并将其注意力转移到查
看结果，通常将该低效问题称为"所见非所编辑(edit this, look at that)，，或者ETLAT。
示例性视频编辑工具
在本发明的一个示例性实施方式中，运行用于编辑:枧频的计算 机软件的计算机系统显示编辑窗口 。该窗口中显示有视频的帧。视 频帧包括屏幕上可见的 一 个或多个对象。编辑视频的用户可能希望 在视频中找到具有特定性质的帧，而不需要在视频中进行手动搜索。 利用本发明的示例性实施方式，用户可以在视频的帧中选择感兴趣 的点。例如，用户可能使用鼠标来选择点。随后，用户可以将该点 拖动到场景中的新位置。该示例性实施方式继而在一见频中找到这样
的帧所选择的点在该帧中已经移动到所述新位置。例如，假设用
户选4奪了对应于该帧右侧演员的点。用户继而可以将该点拖动到该
帧左侧的新位置，贝'J该示例性实施方式可以在视频中找到这样的帧
在该帧中，所选择的演员上的点最接近帧左侧新选择的位置。例如， 在视频中，演员可能已经从帧右侧走到左侧并离开了帧的左侧。一 旦示例性实施方式在视频中找到了合适的帧，则系统显示与所选点 的用户期待位置最佳对应的帧。
可替换地，在视频中可能并不存在所选择的点移动到了用户所 选新位置的帧。例如，演员可能从未出现在帧的左侧。在这种情况 下，示例性实施方式输出演员接近于用户所选新位置的帧。例如， 演员可能只走到了场景中央，而不是一直走到左边。在这种情况下， 示例性实施方式显示演员距离左边所选位置最近的帧，例如演员位 于场景中央时的帧。
本发明的实施方式可以用于在—见频中快速地向前或向后移动。 例如，在包括计算机应用的一个实施方式中，用户可以在视频帧中 选择点并将该点拖动到新位置。随着用户拖动该点，该应用可以输
出对应于该点位置的帧。这可以偵:视频快速前进或后退。例如，如 果用户选择了停泊的车辆上的点并拖动该点离开停车地点，则本发 明的实施方式可以连续地输出对应于该点移动的一见频帧。这样，如 果用户正在观看很长的监控视频，则用户可以选择感兴趣车辆上的 点并将该点拖动到该用户相信在将该车辆离开停车地点过程中将会 经过的位置。本发明的实施方式将找到并输出对应于车辆正在离开 停车地点的帧。用户随后可以将该点朝着停车场的出口拖动，随着 找到并输出连续的帧，这会产生车辆驶离的可感知动画效果。这可 以允许用户在较长的监控视频中进行搜索，以找到特定车辆离开停 车场所的时间，而不必使用诸如在视频中快进并监视车辆离开的传 统搜索技术。
本发明的实施方式可以进一步用于快速查找帧，以允许将一见频 片段拼接到视频中。如果对象的期待位置是已知的，则用户可以简 单地在视频中选择与该对象相关联的点，并将该点拖动到该期待位 置。可以快速地定位到所期待的帧，并且可以容易地将视频片段插入到视频中的适当位置。
给出此示例是为了向读者介绍在此讨论的一般主题。本发明不 限于此示例。下面对用于交互式视频帧选择的产品和方法的各种实 施方式的细节进行描述。
示例性系统
现在参考附图，其中贯穿若干附图，相同的附图标记表示相同
的元素。图1示出了用于交互式视频帧选择的系统100。系统100 包括计算机101、显示器102和输入设备103。计算机101包括处理 器IIO和例如存储器111的计算机可读介质，并且计算机101与显 示设备102和输入设备103相通信。存储器111包括用于交互式视 频帧选择的应用120、预处理器130、视频121和粒子信息122。处 理器101执行对视频121进行分析的预处理器130,并生成粒子信息 122。计算机随后可以执行应用120来编辑碎见频120。
在此示例性实施方式中，在用户利用应用120编辑—见频之前， 必须对视频121进行预处理。预处理器130分析视频121，并生成包 括视频帧中特征和对象的相关信息的粒子信息122。预处理器130 将粒子信息122存储在计算机可读介质上，供应用120稍后使用。
粒子代表可标识、不同的、并在一个或多个连续视频帧中持续 的视频部分。例如，粒子可以与演员手臂上的明亮区域中的像素相 关联。随着演员手臂的移动，相关联的明亮区域也移动。预处理器 分析明亮区域的移动，并在视频的连续帧上改变粒子的位置，使得 粒子跟踪明亮区域的移动。当明亮区域变暗或者移出帧时，析除相 关联的粒子。如果稍后明亮区域再次出现，则创建新的粒子并将其 与该明亮区域相关联。应当注意，当析除粒子时，这意口木着虽然该 粒子在其被跟踪的较早帧中仍然存在，但是其不再出现在随后的视 频帧中。相反，将创建新的粒子，即使该新粒子与新帧中的相同特 征相关联。在一个实施方式中，粒子仅在特征可见的连续帧中持续 出现。下文将对粒子进行更具体的描述。
随着预处理器分析视频的每个帧，其可以创建、更新或者析除
一个或多个不同的粒子。具有复杂场景的视频帧可以具有很多粒子， 每个粒子与帧中的特征相关联。随着特征的出现、移动和消失，预
处理器创建、移动和析除对应于这些特征的粒子。预处理器还存储 每个粒子在每个视频帧中的位置。这样，对于创建的每个粒子，存 储该粒子在其出现的每个视频帧中的位置。在此将粒子的连续位置 (即，粒子的移动)称为其"轨迹"。本发明的实施方式可以使用
作为粒子信息122而存储的粒子轨迹来在视频帧中进行搜索，以查 找具有用户期待特性的帧。
一旦确定并存储了粒子信息，则系统100的用户继而可以使用 应用120来从存储设备中获取视频121和粒子信息122，并将它们载 入存储器111。应用120在显示设备102上显示视频121的第一帧。 系统IOO的用户在视频121的帧中选择第一位置处的点。用户继而 可以将该点移动到不同的位置。应用120乂人输入设备103 4妻收对第 一位置处点的选择，并在帧中确定与该点相关联的粒子。应用120 进一步从输入设备103接收该点到不同位置的移动。应用120继而 部分地基于第二帧中该粒子的位置与用户所选点的第二位置之间的 距离，来确定视频121中具有与该点相关联的粒子的第二帧。 一旦 应用120确定了第二帧，则其诸如通过显示第二帧或者通过显示第 二帧的帧编号来输出第二帧的指示。
注意，在此使用的并且贯穿此具体实施方式
的术语"第一帧" 和"第二帧"仅表示视频中的任意帧，而不一定是一见频中的前两个 帧。
参照附图2-图6,下面更详细地描述本发明的其它实施方式。图 2示出了根据本发明一个实施方式的用于交互式视频帧选择的方法 200。将参考图1中所示的系统来讨论图2中所示方法200。图3-图 6示出了^L频121的第一帧和第二帧的一见图。
方法200开始于框201，其中系统100显示视频121的第一帧。 例如，用户可以在计算才几101上扭J亍^L频编辑应用120，以1更在显示
设备102上显示视频的第一帧。视频编辑应用120将一见频121从存 储设备(例如从计算机可读介质)载入存储器111。应用120还可以 将粒子信息122从存储设备载入存储器111。之前已经通过执行预处 理器130对视频121分析而产生了粒子信息122。计算机101继而在 显示设备102上显示视频的第一帧。
在图3所示的实施方式中，示出了视频121的第一帧300。第一 帧300包括演员301和其它组成部分，诸如树、鸟和人行道。在图3 所示实施方式中示出了第一帧，但是并未显示粒子信息122。粒子信 息122通常在执行方法200时由系统100使用，对于用户而言通常 是无用的。尽管在一个实施方式中可以显示帧中的粒子，但是也可 以选择不显示。
在框202中，系统100接收对视频第一帧300中第一位置处点 302的选择。利用系统IOO，用户可以使用诸如鼠标、触摸屏或其它 设备的输入设备103来选择帧300内的点。例如，从图4中可见， 已经选择了演员301头部中的点302。在图4所示实施方式中，用户 选择的点302包括与点302相关联的信息，诸如其位置、选择该点 的帧的编号以及目标位置。当最初选l奪该点时，可以将该点的位置 存储为笛卡尔坐标。可以将目标位置设置为与该点的位置相同的坐 标，或者可以将其设置为缺省值，例如"未定义"值。目标位置随 后可以存储所期待的该,泉的新位置。
在框203中， 一旦用户选择了点，则系统100在帧中确定与该 点302相关联的粒子。视频中的每个帧具有零个或多个与其相关联 的粒子。粒子(在下文更详细地描述)通常对应于帧中的特征或细 节，并且可以在连续的一见频帧中改变位置。在系统100接收到对点 302的选择后，系统IOO在帧300中确定最接近所选择点302的粒子。 在图4所示实施方式中，与所选点302最接近的粒子与所选点302 重叠。然而，用户可以选4奪不与^f壬^f可li子重叠的点。例如，在一个 实施方式中，帧中的粒子并未显示给用户。在这种实施方式中，用 户可能不能觉察到粒子位置，并且可能选择与粒子不相关联的任意
点。
在用户选择了与粒子不重叠的点的情况下，本发明的一个实施 方式确定与该点最4妄近的粒子。例如，实施方式计算^v该点到帧中 每个粒子的笛卡尔距离，并选择离该点最近的粒子。在另一实施方
式中，系统计算粒子与该点之间x坐标差值与y坐标差值的平方， 并将该差值相加，以此来计算该点与帧内每个粒子之间的平方距离。 具有最小平方距离的粒子被选做最近的粒子。
在所示实施方式中，用户选择了一个点302。然而，在其它实施 方式中，用户可以在帧中选^^多个点。例如，在本发明的一个实施 方式中，输入设备103可以包括允许用户同时选择多个点的多触摸 输入设备，例如多触摸的触摸屏。在这种实施方式中，在帧中选择 的每个点可以分别与不同的粒子相关联。可替换地，所选择的某些 点可以与相同的粒子相关联。例如，如果两个选择的点都与同一粒 子最近，则这些点可以每个都与同一粒子相关联。
在一个或多个选择的点并未与相关联的粒子位于相同坐标的情 况下，系统可以确定与点和粒子之间的距离相关联的偏移。在一个 实施方式中，偏移是点与粒子之间的距离，并且可以在搜索视频中 的帧时由系统使用，这将在下文进行更全面地描述。
在框204中，系统100接收点302到第二位置304的移动。从 图5中可见，用户指定了点302沿着箭头303的方向移动到新位置 304。注意，在一个实施方式中，图5中的箭头303表示点302的移 动，但实际上并不显示给用户。
为了移动点302,系统100的用户可以将光标移动到帧中的新位 置304，并点击鼠标按钮来选择新位置304。在一个实施方式中，用 户可以对点进行点击并将该点拖动到新位置。在另一实施方式中， 用户可以选择多个新位置或区域，而不是选择单个位置。这种实施 方式可以允许用户查找所选择的点已经移动到了所选择位置的多个 帧。
在图5所示实施方式中，到新位置304的移动是作为单个移动
而被^接收的。然而，在一个实施方式中，随着用户将点302拖动到 新位置，系统接收点302的多个移动。在这种实施方式中，系统IOO 可以针对每个接收到的移动来执行方法200。使用这种实施方式，系 统可以基于所检测到的点移动来显示连续帧。
在用户选择了多个点的实施方式中，用户可以选择移动这些点 的一个或多个，并将其余的点保持在原位，而不必移动每个所选择 的点。在试图搜索帧中特征的相对移动时，这种实施方式是有用的。 在这种实施方式中，用户指示这些点中一个点的目标位置是其当 前位置。例如，用户能够在该点处打开上下文敏感菜单，并选择将 该点保持原位的选项。在这种情况下，所接收的移动是不移动该点 的指示。
在框205中，系统100至少部分地基于第二帧中粒子与点302 的第二位置之间的距离来确定视频121的包括该粒子的第二帧。在 接收到该点302到第二位置304的移动后，系统100可以搜索粒子 信息来查找具有与点302相关联的粒子的所有帧，以便确定候选帧 的集合。系统100针对每个候选帧计算该粒子与第二位置304之间 的距离。该系统继而确定候选帧中的哪个帧具有位于与该点302的 第二位置304最近位置的粒子。
如前所述，在确定与所选择点最接近的粒子时，系统100已经 计算了偏移。在基于所选择点和最接近的粒子确定偏移的实施方式 中，该粒子与第二位置之间的距离还包括对偏移值的校正。例如， 如果粒子在其原始位置处比该点高十个单位，则可以向第二位置添 加十个单位的偏移，以便校正所选择点与该粒子之间的最初距离。
应当注意，"最接近"并不一定表示粒子与第二位置之间的位 置为零。"最接近"意味着，对于存在该粒子的任何帧，第二帧中 该粒子的位置与第二位置之间的距离是该粒子与第二位置之间的最 短距离。此外，粒子与第二位置最接近的帧可能不止一个。例如， 如果视频包括钟摆摆动的镜头，则视频中可能存在该粒子与第二位 置最接近的多个帧。在这种情况下，本发明的一个实施方式任意选
择粒子与第二位置最接近的帧之一。在本发明另一实施方式中，系 统选择粒子与第二位置最接近的两个帧。该实施方式可以进一步允 许用户选择这些帧中的一个。
在一个实施方式中，用户可以指定到新位置的最大距离，粒子 必须位于该最大距离之内。系统可以使用该最大距离来忽略粒子与 第二位置的距离大于该最大距离的帧。在这种实施方式中，系统可 以确定视频中没有包括与第二位置最接近、并且位于最大距离内的 粒子的帧。
如前所述，根据本发明 一 个实施方式的系统可以允许用户选择
并移动帧中的多个点。在这种情况下，系统首先确定^L频的哪些帧 包括与所选择点相关联的所有粒子。系统继而计算与多个点相关联 的粒子的位置与为所选择点指定的新位置之间的最小平方距离，以 此来确定^f见频的第二帧。系统继而选"t奪所述粒子与所选择点的新位 置之间距离的最小平方最低的帧，以此来确定第二帧。
除了粒子与所选择位置之间的距离之外，还可以^f吏用其它因素 来确定将要选择的视频的最佳第二帧。例如，在本发明一个实施方 式中，基于第二帧相对于第一帧何时出现，可以在确定中并入权重 因子。例如，可能期待第二帧是在视频的第一帧之后出现的帧。在 这种情况下，用户可以将实施方式配置为只搜索在第一帧之后出现 的帧。可替换地，用户可以指定其帧编号接近于第一帧的帧可能 更被期待。在这种实施方式中，该系统可能选择在第一帧之前十个 帧的第二帧，而不选择在第一帧之后500个帧出现的第二帧。还可 以并入其它权重因子。
例如，上述某些实施方式完全依赖于粒子与所选择点的第二位 置之间的物理距离来确定第二帧。然而，在基于其它变量(诸如帧 编号或者时间顺序)进行确定的实施方式中，也可以为物理距离赋 予权重因子。例如，本发明的一个实施方式可以将每个变量的值乘 以它们的权重因子，并将这些值相加在一起来为每个候选帧确定记 分。可以选择具有最高记分的候选帧。在这种情况下，可以选择最
佳帧，该帧中的粒子并非最接近所选择点的新位置。其它实施方式 对于本领域技术人员而言也是显而易见的。
在框206中，在系统100确定第二帧400后，系统100输出一见 频的第二帧400的指示。图6示出了系统IOO输出的视频第二帧400， 其中粒子最接近于点302的第二位置304。在图6所示实施方式中， 系统100显示^L频的第二帧400以供用户^见看。在一个实施方式中， 系统可以通过输出第二帧400的帧编号来^T出—见频第二帧400的指 示。在另一实施方式中，系统可以输出多个帧，其对应于具有最接 近于第二位置的粒子的帧。在一个实施方式中，系统可以输出第二 帧的缩略图。
一旦系统IOO输出了视频第二帧400的指示，则系统可以返回 到方法200中的其它框。例如，系统100可以返回到框204来4妾收 点到新位置的第二次移动并继续算法的剩余步骤。此外，系统100 可以返回到框202来接收第二点的选择。
识视频中特征的其它信息。例如，在一个实施方式中，系统包括关 于视频中对象的信息，而不是粒子。例如，视频可以被预处理，并 且虛拟对象可以与浮见频内的特征或可一见元素相关联。例如，可以创 建对象，并将其与演员相关联。继而可以在演员每次出现在视频帧 中时使用该对象，即使那些帧并不连续。例如，演员可以在视频的 早期场景中出现。他可能不在视频的中间场景中出现，却在视频后 期的场景中再次出现。该系统可以将相同的对象与视频早期场景中 的演员和后期场景中的演员相关联，即使该演员并未在视频的任何 中间场景中出现。此外，用于跟踪视频部分的其它方法也可以在本 发明系统中使用。例如，可以使用这样的模板跟踪，在该模板中， 可以使用 一个或多个定义好的模板来跟踪视频中的特定对象。例如， 可以使用能够标识车辆的才莫板跟踪系统在— 见频中标识并跟踪车辆的 位置。本发明的实施方式继而可以使用跟踪信息，而不是使用粒子 信息。
返回如上所述的使用粒子信息的本发明实施方式，预处理器确 定粒子，并且粒子表示视频的一个或多个帧中的点。
首先，基于光流场的发散性和像素投影差异，预处理器使用能 量函数(该函数包括经过图像梯度大小调制的平滑项)和用于表示 遮挡边界的遮挡因子在连续的帧配对上计算光流场。随后，在遮挡 边界附近进行双边滤波来改善边界锐度。接下来，使用考虑光流场、 图像强度、色彩通道和用于附近粒子的加权平滑项的优化过程来将 第一帧中标识的粒子传递给后续帧。在传递粒子之后，对于每个帧， 删除具有最高优化后误差的粒子，并且将新的粒子添加到已有粒子 之间的间隙。例如，如果^v帧中的区域裁剪了粒子，则将一个或多 个粒子添加到该区域中以增大粒子密度。在前向时间方向(从第一 帧到最后一个帧)和反向时间方向(从最后一个帧到第一个帧)二 者上对视频进行该分析，以提供较准确的粒子追踪信息。
以下文献记载了上文描述的用于处理视频的算法的特定实施方
式 "Particle Video: Long画Range Motion Estimation Using Point Trajectories", Peter Sand and Seth Teller, MIT Computer Science and Artificial Intelligence Laboratory, IEEE Conference on Computer Vision and Pattern Recognition, 2006 ("Sand"),在》匕并入其全^卩内容4乍为参考。
粒子视频方法的优势在于其既在空间上是密集的，在时间上 又是长期的。相反，其它试图成为长期的方法在空间上却是稀疏的， 或者在空间上是密集的方法却在时间上是短期的。因此，粒子视频 数据非常适于在视频中进行搜索来找到所选择的帧，因为我们可以 通过找到邻近的粒子来估计任意选择的像素在视频帧中的移动。
再次参考图1，本发明的实施方式可以由数字电子电路实现，或 者在计算机硬件、固件、软件或其组合中实现。在一个实施方式中， 计算机101可以包括一个(或多个)处理器110。处理器110包括计 算机可读介质，其例如耦合至处理器的随机访问存储器(RAM)。 处理器IIO执行存储器111中存储的计算机可执行程序指令，诸如
执行用于编辑图像的 一 个或多个计算机程序。这种处理器可以包括
微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现 场可编程门阵列(FPGA)和状态机。这种处理器还可以包括可编程 电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑设备 (PLD )、可编程只读存储器(PROM )、电可编程只读存储器(EPROM 或EEPROM)或其它类似i殳备。
这种处理器可以包括存储有指令的介质(例如计算机可读介质) 或与其通信，其中当这些指令由处理器执行时，可以使处理器执行 在此描述的、由该处理器完成或协助的步骤。计算机可读介质的实 施方式可以包括但不限于电子、光、磁或其它存储设备或能够向例 如网络服务器中的处理器之类的处理器提供计算机可读指令的传输 设备。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储 芯片、ROM、 RAM、 ASIC、经过配置的处理器、所有光介质、所有 磁带或其它磁介质，或计算机处理器可以从中读取的任何其它介质。 而且，计算机可读介质的各种其它形式可以将指令传输或携带至计 算机，诸如路由器、专用网或公共网或其它传输设备或信道。所描 述的处理器和处理可以在一种或多种结构中，并且可以分散在一个 或多个结构中。处理器可以包括用于执行在此描述的一个或多个方 法(或方法的步骤)的代码。
总结
本发明实施方式(包括优选实施方式)的上述描述仅仅是为了 说明和描述的目的而示出，并不意在穷举本发明或将本发明限制于 所公开的精确形式。在不脱离本发明精神和范围的前提下，本发明 的各种改进和调整对于本领域技术人员而言是显而易见的。
权利要求
1.一种方法，包括使视频的帧被显示；接收对所述帧内第一位置处的点的选择；确定所述帧中与所述点相关联的粒子；接收所述点到第二位置的移动；至少部分地基于第二帧中所述粒子与所述点的所述第二位置之间的距离，确定包括所述粒子的所述视频的所述第二帧；以及输出所述视频的所述第二帧的指示。
2. 根据权利要求1所述的方法，其中，输出所述视频的所述第 二帧的所述指示包括显示所述第二帧。
3. 根据权利要求1所述的方法，其中，输出所述视频的所述第 二帧的所述指示包括显示所述第二帧的帧编号。
4. 根据权利要求1所述的方法，进一步包括接收定义时间权重 的变量，并且其中，确定包含所述粒子的所述视频的第二帧包括 至少部分地基于所述时间片又重来确定所述 一见频的第二帧。
5. 根据权利要求4所述的方法，其中，所述时间权重随着所述 第 一 帧和候选帧之间时间的增加而降低。
6. 根据权利要求1所述的方法，进一步包括接收最大距离，并 且其中，确定包含所述粒子的所述视频的第二帧进一步包括至少 部分地基于所述最大距离来确定所述视频的第二帧。
7. 根据权利要求6所述的方法，其中，确定所述视频的第二帧 包括淘汰其中所述粒子与所述第二位置的距离大于所述最大距离 的一见频帧。
8. 根据权利要求1所述的方法，进一步包括预处理所述视频， 以在所述^L频的 一个或多个帧中确定一个或多个粒子。
9. 根据权利要求1所述的方法，其中，接收第一位置处的第一 点进一步包括接收多个位置处的多个点。
10. 根据权利要求9所述的方法，其中，在所述帧中确定与所述 点相关联的粒子包括在所述帧中确定与所述多个点相关联的多个粒子。
11. 根据权利要求10所述的方法，其中，接收所述点到第二位 置的移动包括接收所述多个点中至少一个点到新位置的移动。
12. 根据权利要求11所述的方法，其中，确定所述视频第二帧 包括确定所述多个点与所述多个关联粒子之间的最小平方距离。
13. —种计算机可读介质，其上编码有程序代码，所述程序代码 包括使视频的帧被显示的程序代码；接收对所述帧内第 一位置处的点的选择的程序代码；确定与所述帧中与所述点相关联的粒子的程序代码；接收所述点到第二位置的移动的程序代码；至少部分地基于第二帧中所述粒子与所述点的所述第二位置之 间的距离来确定包括所述粒子的所述视频的所述第二帧的程序代 码；以及输出所述视频第二帧的指示的程序代码。
14. 根据权利要求13所述的计算机可读介质，进一步包括接收 定义时间权重的变量的程序代码，并且其中，确定包括所述粒子的 所述视频第二帧包括至少部分基于所述时间片又重，确定所述—见频 的第二帧。
15. 根据权利要求13所述的计算机可读介质，进一步包括接收 最大距离的程序代码，并且其中确定包括所述粒子的所述视频第二 帧进一步包括至少部分地基于所述最大距离来确定所述视频的第二帧。
16. 根据权利要求13所述的计算机可读介质，进一步包括预处 理所述频以 <更在所述^f见频的 一 个或多个帧中确定 一 个或多个粒子 的程序代码。
17. 根据权利要求13所述的计算机可读介质，其中，接收第一 位置处的第 一点的程序代码进一 步包括接收多个位置处的多个点 的程序代码。
18. 根据权利要求17所述的计算机可读介质，其中，在所述帧 中确定与所述点相关联的粒子的程序代码包括在所述帧中确定与 所述多个点相关联的多个粒子的程序代码。
19. 根据权利要求18所述的计算机可读介质，其中，接收所述 点到第二位置的移动的程序代码包括接收所述多个点中至少 一 个 点到新位置的移动的程序代码。
20. 根据权利要求19所述的计算机可读介质，其中，确定所述 视频第二帧的程序代码包括确定所述多个点与所述多个关联粒子 之间的最小平方距离的程序代码。
21. —种系统，包括 处理器，被配置用于^f吏一见频的帧^皮显示；接收对所述帧内第 一 位置处的点的选择； 确定与所述帧中与所述点相关联的粒子； 接收所述点到第二位置的移动；至少部分地基于第二帧中所述粒子与所述点所述第二位置 之间的距离来确定包括所述粒子的所述视频的所述第二帧；以 及输出所述视频第二帧的指示。
22. 根据权利要求21所述的系统，其中，所述处理器被进一步 配置为接收多个位置处的多个点。
23. 根据权利要求22所述的系统，其中，所述处理器被进一步 配置为在所述帧中确定与所述多个点相关联的多个粒子。
24. 根据权利要求23所述的系统，其中，所述处理器被进一步 配置为接收所述多个点中至少一个点到新位置的移动。
25. 根据权利要求24所述的系统，其中，所述处理器被进一步 配置为确定所述多个点与所述多个关联粒子之间的最小平方距离。
全文摘要
本申请描述了用于交互式视频帧选择的系统、方法和计算机可读介质。一种实施方式包括一种方法，该方法包括使视频的帧被显示；接收对所述帧内第一位置处的点的选择；以及确定所述帧中与所述点相关联的粒子。该方法进一步包括以下步骤接收所述点到第二位置的移动；以及至少部分地基于第二帧中所述粒子与所述点的所述第二位置之间的距离来确定包括所述粒子的所述视频的所述第二帧。
文档编号H04N5/262GK101374206SQ20081013109
公开日2009年2月25日 申请日期2008年8月21日 优先权日2007年8月22日
发明者D·戈德曼 申请人:奥多比公司