视频合成的方法和系统的制作方法
【专利摘要】一种展示视频的方法包含接收来自视频源的多个视频数据；分析该多个视频数据；识别多个视频数据中与背景部分不同的前景对象的存在；将前景对象分类成前景对象类别；接收选择前景对象类别的用户输入；以及从多个视频数据中生成包含背景部分和只在所选前景对象类别中的前景对象的视频帧。
【专利说明】视频合成的方法和系统
[0001] 相关申请
[0002] 本申请是2011年12月29日提交的USSN 13/339, 758的继续并要求其优先权，在 此通过引用并入其全部教导。
[0003] 本申请还涉及两者都是2010年12月30日提交的USSN 12/982, 601和 12/982, 602,在此通过引用并入其全部教导。
【背景技术】
[0004] 在监控系统中，可能要求操作人员监视示出系统中的多台摄像机捕获的不同场景 的大量显示。该显示也可能包含显示来自系统中的不同摄像机的视频的多个窗口。操作人 员在实现这种监视功能时，可能由于监视的大量不同场景和出现在各种场景中的大量活动 而分散注意力。于是，在行业中需要向用户提供使用户能够更有效地把注意力放在用户需 要监视的视频信息上的显示的方法和系统。
[0005] 另外，监控系统捕获的大量视频数据使取证视频搜索的复杂性增加以及使对以容 易理解的和多信息的方式展示分析的结果、搜索或事件的方法的需要增加。
【发明内容】
[0006] -种展示视频的方法的例子包括接收来自视频源的多个视频数据；分析该多个视 频数据；利用像对象地点大小、颜色等那样的相关视频内容元数据识别多个视频数据中与 背景部分不同的前景对象的存在；将前景对象分类成不同前景对象类别；接收选择前景对 象类别的用户输入；以及从多个视频数据中生成包含背景部分和只在所选前景对象类别中 的前景对象的视频帧或静止画面。
[0007] 这样方法的实现可以包括一种或多种如下特征。该方法进一步包括如下步骤：根 据第一更新速率处理与所选前景对象类别中的前景对象相联系的数据；根据第二更新速率 处理与背景部分相联系的数据；动态地发送与所选前景对象类别中的前景对象相联系的数 据；以及根据第二更新速率发送与背景部分相联系的数据，其中第一更新速率大于第二更 新速率。该方法进一步包括如下步骤：接收对分类在所选前景对象类别中的第一前景对象 的故事板图像（storyboard image)的用户请求；分析生成的视频巾贞以便获取包含第一前 景对象的多个帧；以及生成包含背景部分的图像和示出第一前景对象在一段时间上的运动 的第一前景对象的多个图像。生成包含背景部分的图像和示出第一前景对象在一段时间上 的运动的第一前景对象的多个图像的步骤包括在第一前景对象的多个图像之间没有任何 重叠地生成包含背景部分的图像和示出第一前景对象在一段时间上的运动的第一前景对 象的多个图像。生成包含背景部分的图像和示出第一前景对象在一段时间上的运动的第一 前景对象的多个图像的步骤进一步包括生成示出第一前景对象的运动方向的线。生成示出 第一前景对象的运动方向的线的步骤包含生成示出第一前景对象的运动方向的线和第一 前景对象沿着该线的运动的时段的指示。从多个视频数据中生成包含背景部分和只在所选 前景对象类别中的前景对象的视频帧的步骤包括将所选前景对象类别中的前景对象拼接 到背景部分中的步骤。从多个视频数据中生成包含背景部分和只在所选前景对象类别中的 前景对象的视频帧的步骤包括将不同时间上的所选前景对象类别中的前景对象拼接到背 景部分中的步骤。将前景对象分类成前景对象类别的步骤包括如下步骤：利用透视变换校 准对象以确定物理尺寸；最初利用高斯概率模式或确定性模型，根据其物理尺寸和运动方 向分类对象；确定对象尺寸是否在一群人和一辆车的尺寸之间；如果对象尺寸在一群人和 一辆车的尺寸之间，则使运动斑点的垂直形状轮廓变平滑；以及分析运动斑点的变平滑垂 直形状轮廓，以便根据轮廓上峰的数量将对象识别成一群人或一辆车。
[0008] -种展示视频的系统的例子包括适用于执行如下步骤的处理器：接收来自视频源 的多个视频数据；分析该多个视频数据；识别多个视频数据中与背景部分不同的前景对象 的存在；将前景对象分类成前景对象类别；接收选择前景对象类别的用户输入；以及从多 个视频数据中生成包含背景部分和只在所选前景对象类别中的前景对象的视频帧。
[0009] 这样系统的实现可以包括一种或多种如下特征。该处理器进一步适用于：根据第 一更新速率处理与所选前景对象类别中的前景对象相联系的数据；根据第二更新速率处理 与背景部分相联系的数据；动态地发送与所选前景对象类别中的前景对象相联系的数据； 以及根据第二更新速率发送与背景部分相联系的数据，其中第一更新速率大于第二更新速 率。该处理器进一步适用于：接收对分类在所选前景对象类别中的第一前景对象的故事板 图像的用户请求；分析生成的视频帧以便获取包含第一前景对象的多个帧；以及生成包含 背景部分的图像和示出第一前景对象在一段时间上的运动的第一前景对象的多个图像。该 处理器进一步适用于在第一前景对象的多个图像之间没有任何重叠地生成包含背景部分 的图像和示出第一前景对象在一段时间上的运动的第一前景对象的多个图像。该处理器进 一步适用于生成包含背景部分的图像、示出第一前景对象在一段时间上的运动的第一前景 对象的多个图像、和示出第一前景对象的运动方向的线。该处理器进一步适用于生成示出 第一前景对象的运动方向的线和第一前景对象沿着该线的运动的时段的指示。该处理器适 用于将所选前景对象类别中的前景对象拼接到背景部分中。
[0010] 一种非短暂计算机可读介质的例子包括配置成使处理器执行如下步骤的指令：接 收来自视频源的多个视频数据；分析该多个视频数据；识别多个视频数据中与背景部分不 同的前景对象的存在；将前景对象分类成前景对象类别；接收选择前景对象类别的用户输 入；以及从多个视频数据中生成包含背景部分和只在所选前景对象类别中的前景对象的视 频帧。
[0011] 这样非短暂计算机可读介质的实现可以包括一种或多种如下特征。该非短暂计算 机可读介质进一步包括配置成使处理器执行如下步骤的指令：根据第一更新速率处理与所 选前景对象类别中的前景对象相联系的数据；根据第二更新速率处理与背景部分相联系的 数据；动态地发送与所选前景对象类别中的前景对象相联系的数据；以及根据第二更新速 率发送与背景部分相联系的数据，其中第一更新速率大于第二更新速率。该非短暂计算机 可读介质进一步包含配置成使处理器执行如下步骤的指令：接收对分类在所选前景对象类 别中的第一前景对象的故事板图像的用户请求；分析生成的视频帧以便获取包含第一前景 对象的多个帧；以及生成包含背景部分的图像和示出第一前景对象在一段时间上的运动的 第一前景对象的多个图像。生成包含背景部分的图像和示出第一前景对象在一段时间上的 运动的第一前景对象的多个图像的指令包括配置成使处理器执行如下步骤的指令：在第一 前景对象的多个图像之间没有任何重叠地生成包含背景部分的图像和示出第一前景对象 在一段时间上的运动的第一前景对象的多个图像。生成包含背景部分的图像和示出第一前 景对象在一段时间上的运动的第一前景对象的多个图像的指令进一步包括配置成使处理 器生成示出第一前景对象的运动方向的线的指令。配置成使处理器生成示出第一前景对象 的运动方向的线的指令包含使处理器生成示出第一前景对象的运动方向的线和第一前景 对象沿着该线的运动的时段的指示的指令。从多个视频数据中生成包含背景部分和只在所 选前景对象类别中的前景对象的视频帧的指令包括使处理器将所选前景对象类别中的前 景对象拼接到背景部分中的指令。
[0012] 通过审阅如下详细描述、图形和权利要求书将更充分地了解本文所述的过程和系 统，及其伴随的优点、应用和特征。
【专利附图】
【附图说明】
[0013] 图1是包括发送器和接收器的高清晰度视频传输系统的简化图；
[0014] 图2是显示在图1中的发送器的组件的示范性框图；
[0015] 图3是显示在图1中的接收器的组件的示范性框图；
[0016] 图4是编码视频的示范性过程的方框流程图；
[0017] 图5是解码视频的示范性过程的方框流程图；
[0018] 图6是摄像机捕获的视频内容中对象分类的示范性过程的流程图；
[0019] 图7是合成图像以便显示的过程的示范性实施例的流程图；以及
[0020] 图8是使用一个或多个所讨论实施例创建的故事板图像的示范性例示。
[0021] 在这些图形中，具有类似相关特性和/或特征的组件可以具有相同标号。
【具体实施方式】
[0022] 本文讨论提供高效地和有效地分析和展示视频内容的机制的技术。尤其，如与多 个视频帧所表示的场景的背景不同地识别前景对象。在识别前景对象时，区分语义明显的 和语义不明显的运动（例如，非重复与重复运动）。例如，可以将树叶微小的和重复的摆动 确定为语义不明显的，应归入场景的背景中。可以以帧速率处理视频，但可以动态地发送对 象。在我们的实现中，将根据时间和空间准则更新对象。如果对象运动了预定距离，则需要 更新，否则，如果停留了一段时间，则以预定速率（第一更新速率）再次更新。因此，第一更 新速率将是30个帧每秒。它可以是1个帧每秒或更慢。
[0023] 本文所述的技术可以用于在各种通信系统上传送视频和相关元数据。例如，可 以在像如下那样的各种有线和无线通信系统上发送高清晰度视频和相关元数据：基于以 太网、基于同轴、基于电力线、基于WiFi (802. 11系列标准）、码分多址（CDMA)、时分多址 (TDMA)、频分多址（FDMA)、正交 FDMA(OFDMA)、单载波 FDMA(SC-FDMA)系统等。
[0024] 如本文所使用，包括在权利要求书中，如用在以"的至少一个"结尾的项目的列表 中"或"指示选言列表以便，例如，"A、B或C的至少一个"的列表指的是A或B或C或AB或 AC或BC或ABC (即，A和B和C)。无线通信网络不包含无线发送的所有通信物，而是被配 置成包含无线发送的至少一些通信物。
[0025] 参照图1，所示的是包括发送器和接收器的视频传输系统的简化图。传输系统100 包括发送器102、网络104和接收器106。发送器102优选的是编码、分析和发送，例如，高 清晰度视频和视频内容元数据的设备。例如，发送器102可以是视频捕获设备（例如，包括 摄像机的计算设备、智能摄像机、视频采集卡、和相同类型的其它设备）、与一个或多个视频 捕获设备（例如，外部摄像机）和/或视频编码设备连接的计算设备（例如，台式计算机、 膝上型电脑、平板设备、计算机服务器、视频转码器、和相同类型的其它设备）、视频捕获设 备的模块、计算设备的模块等。例如，发送器102可以是嵌在摄像机内的模块或视频转码器 的模块。如本文所使用，视频包括整个运动视频和每隔一段时间拍摄的静止照片。接收器 106优选的是接收和解码，例如，高清晰度视频和元数据的设备。接收器106可以是，例如， 台式计算机、膝上型电脑、平板设备、计算机服务器、移动设备、移动电话、监视系统等。
[0026] 网络104优选的是有助于两个或更多个设备之间的通信的任何适当网络。例如， 网络104可以是闭环通信系统、局域网（像内联网那样）、广域网LAN(像互联网那样）等。 发送器102被配置成通过网络104将编码图像和像元数据那样的其它数据发送给接收器 106。例如，发送器102可以向接收器106提供可以解码成视频流（例如，高清晰度视频） 以便向用户展示的一系列编码图像。为了支持图像的编码和解码，发送器102可以进一步 将事件信息（例如，在视频流中出现了新对象的指示等）提供给接收器106。
[0027] 参照图2,发送器102包括成像设备202、处理器204、存储器206、通信子系统 208、和输入/输出（I/O)子系统210。处理器204优选的是智能硬件设备，例如，像INTEL 公司（INTEL? )、AMD公司（AMD? )、ARM公司（ARM?)制造的那些那样的中央处理单 元（CPU)、微控制器、专用集成电路（ASIC)、数字信号处理器（DSP)(例如，德州仪器公司的 DAVINCI?系列的DSP)、和相同类型的其它设备。存储器206包括物理和/或有形存储介 质。这样的介质可以采取许多形式，包括，但不限于，非易失性介质和易失性介质。非易失 性介质包括，例如，像只读存储器（ROM)那样的光和/或磁盘。例示性地，非易失性介质可 以是硬盘驱动器、闪存驱动器等。易失性介质非限制性地包括各种类型的随机访问存储器 (RAM)。例示性地，易失性介质可以是动态随机访问存储器（DRAM)、静态随机访问存储器 (SRAM)等。存储器206存储计算机可读、计算机可执行软件代码，其中包含配置成当被执 行时，使处理器204实现本文所述的各种功能的指令。这些功能实现视频传输系统。在一 些实现中，存储器206可以存储对象和背景图像。例如，存储器206可以存储在从成像设备 202接收的多个帧中检测的前景对象的图像。存储器206可以进一步存储包括与每个所检 测前景对象相对应的标识符、对象图像、出处、和/或其它属性的对象列表。
[0028] 成像设备202优选的是捕获原始视频数据的硬件和/或软件的任何适当组合体， 例如，基于电荷耦合器件（CCD)、互补金属氧化物半导体（CMOS)图像传感器技术、和/或热 成像传感器等的设备。发送器102可以包括任何数量的成像设备（包括零个）。
[0029] 发送器102另外或可替代地可以从直接与通信子系统208的一个或多个端口和/ 或I/O子系统210的一个或多个端口连接的外部视频捕获设备和/或视频编码设备（例如， 外部摄像机、生成编码视频的计算设备等）接收原始或编码视频数据。
[0030] 通信子系统208优选的是与其它设备（例如，显示在图3中的接收器106、其它摄 像机、和相同类型的其它设备）通信的硬件和/或软件的任何适当组合体。通信子系统208 可以配置成与，例如，闭环通信系统、局域网（例如，内联网）、广域网LAN(例如，互联网）、 和相同类型的其它设备连接。I/O子系统210优选的是管理与输入/输出设备的通信和/ 或输入/输出设备的操作的硬件和/或软件的任何适当组合体。
[0031] 发送器102接收的视频数据可以被处理器204编码或压缩成数字格式。例如，发 送器102可以按照一种或多种更新速率对数据进行分析、识别数据中的前景对象和背景部 分、编码数据并发送数据。编码视频数据可以经由网络104流动到或发送给接收器106。
[0032] 参照图3,接收器106包括显示器302、处理器304、存储器306、通信子系统308、 和I/O子系统310。处理器304优选的是智能硬件设备，例如，像INTEL公司（INTEL? )、 AMD公司（AMD?)、ARM公司（ARM?)制造的那些那样的中央处理单元（CPU)、微控制器、 专用集成电路（ASIC)、数字信号处理器（DSP)、和相同类型的其它设备。存储器306包括物 理和/或有形存储介质。这样的介质可以采取许多形式，包括，但不限于，非易失性介质和 易失性介质。非易失性介质包括，例如，像只读存储器（ROM)那样的光和/或磁盘。例示性 地，非易失性介质可以是硬盘驱动器、闪存驱动器等。易失性介质非限制性地包括各种类型 的随机访问存储器（RAM)。例示性地，易失性介质可以是动态随机访问存储器（DRAM)、静态 随机访问存储器（SRAM)等。存储器306存储计算机可读、计算机可执行软件代码，其中包 含配置成当被执行时，使处理器304实现本文所述的各种功能的指令。这些功能实现视频 传输系统。在一些实现中，存储器306可以存储前景对象和背景图像。例如，存储器306可 以存储前景对象的图像。存储器306可以进一步存储包括与每个所检测前景对象相对应的 标识符、对象图像、出处、和/或其它属性的对象列表。
[0033] 通信子系统308优选的是与其它设备（例如，显示在图3中的发送器）通信的硬件 和/或软件的任何适当组合体。通信子系统308可以配置成与，例如，闭环通信系统、局域 网、广域网LAN(例如，互联网）、和相同类型的其它设备连接。显示器302优选的是像阴极射 线管（CRT)监视器、液晶显示（LCD)监视器、基于等离子的监视器、投影仪、和相同类型的其 它设备那样、向用户显示图像的任何适当设备。I/O子系统310优选的是管理与像键盘、鼠 标、触摸板、扫描仪、打印机、摄像机、和相同类型的其它设备那样的输入/输出设备的通信 和/或这样输入/输出设备的操作的硬件和/或软件的任何适当组合体。像键盘、鼠标、和 触摸板那样的设备可以被用户用于向处理器304提供用户输入，以便如下面所详细讨论， 提供有关要拼接到背景图像中加以显示或供用户使用的前景图像的用户选择选项。
[0034] 虽然本文所述的各种配置针对视频的展示，但应当认识到，可以作出修改以覆盖 其它背景。例如，可以作出修改以便在窄带宽连线上实现RADAR、LIDAR和基于其它对象的 检测监视。
[0035] 参照图4,以及进一步参考图1和2,编码视频的过程400包括所示的方框。但是， 过程400只是示范性的，而不是限制性的。过程400可以，例如，通过添加、除去、重新排列 和/或同时执行一些方框加以变更。例如，可以同时执行处理前景对象和背景的方框406 和408。还可以对如所示和所述的过程400作出其它变更。
[0036] 过程400可以通过接收来自像成像设备那样的视频源的视频帧从方框402开始。 在方框404中，过程400应用排除静态背景图像和存在语义不明显运动（例如，红旗随风飘 扬）的图像的高斯混合模型。根据高斯模型的应用，可以在接收的帧中将前景对象（也就 是说，感兴趣的对象）识别成与帧的背景不同。在方框406中，根据第一更新速率处理前景 对象。还将附加信息作为视频内容元数据来发送。例如，可以发送像给定帧中的对象的外 娜I輿半忒彳云油抓垤的甜角車杜_亦古协4狀由.榀抿笛一 W瓿埔衮々卜拥作士呰兽的一部 识别的帧的一些部分。例如，更新速率可以规定每十五分钟一次地更新背景。其结果是，每 十五分钟一次地生成和发送编码背景图像。对象和背景的编码是可选的。如果不将背景和 对象嵌在元数据中，则需要在服务器上解码视频内容，以便在展示时重新创建背景图像和 提取对象。
[0037] 参照图5,以及进一步参考图1和3,解码视频的过程500包括所示的方框。但是， 过程500只是示范性的，而不是限制性的。过程500可以，例如，通过添加、除去、重新排列 和/或同时执行一些方框加以变更。
[0038] 过程500可以通过接收数据从方框502开始。该数据可以包括编码图像和/或事 件信息。在方框504中，过程500可以确定接收数据的数据类型。该数据类型可以包括事 件、背景、运动对象、和静止对象类型。在方框506中，根据识别的对象类型处理接收的数 据。例如，如果数据是事件类型的，则可以将对象添加到用于跟踪视频流的帧内的对象的对 象列表中或从其中除去对象。作为另一个例子，如果数据是背景类型的，则可以解码数据并 将其拼接到前景对象中，以便生成可以向用户展示的视频帧。作为又一个例子，如果数据是 对象类型的，则可以解码数据并与其它图像（例如，其它对象图像、背景图像、和相似类型 的其它图像）拼接，以便生成可以向用户展示的视频帧。
[0039] 作为过程400和500的结果，可以经由像计算机工作站那样的接收器向用户展示 包括多个视频帧以及相关视频内容元数据的视频流。
[0040] 图6是摄像机捕获的视频内容中对象分类的示范性过程1400的流程图。在方框 1401中，通过像图1中的发送器那样的摄像机捕获视频内容的帧。在方框1402中通过，例 如，图2中的处理器204或图3中的处理器304处理捕获的图像帧，以便模拟摄像机视场的 背景。如前所讨论，可以创建背景的模型以便识别摄像机视场中的哪些项目属于背景以及 哪些在前景中。无需通过视频分析算法跟踪或分类背景中像树木、石头、标牌、家具、和其它 这样的背景项目那样的项目。可以将像混合高斯模型、移动平均、和非参数手段那样的各种 技术用于开发背景的模型。也可以将其它技术用于创建背景的模型。一旦开发出背景的模 型，接着就可以通过处理器204从摄像机（例如，发送器102)捕获的视频内容中提取前景 像素，以及接着可以在方框1403中通过处理器204将前景像素分组在一起以便形成运动 块。然后可以在方框1404中通过处理器204在视频内容的相继帧上跟踪对象，以及处理器 204可以在方框1405中提取每个被跟踪对象的对象特征。然后在方框1406中，处理器204 可以使用提取的对象特征分类对象。
[0041] 可以按照对象的纵横比、物理尺寸和形状的垂直轮廓从一辆车或一群人中分类出 单个人来。摄像机的视场利用透视变换方法来校准。借助于透视变换，可以根据对象的底 部在地面上的假设获取对象在不同地点上的物理尺寸。根据校准的对象尺寸，可以细化分 类结果。如果对象的宽度在0.5米到1.2米之间以及高宽比1.5到4之间，则可以将该对 象分类成一个人。如果对象的宽度超过3米以及它的高宽纵横比在0. 1到0. 7之间，并且 它的运动方向向左或向右，则可以将它分类成车。如果对象的宽度超过1. 5米以及它的高 宽纵横比超过2,并且它的运动方向向上或向下，则可以将它分类成车。上面提出的方法可 以利用高斯模型来更新。给定每个类别的变量的均值和标准偏差，可以估计该类别的概率。 例如，对于人员检测，设μ pw = 〇. 8是人的平均宽度和〇 pw = 0. 3是人的宽度的平均偏差， 以及μ p。= 2. 7是商宽纵横比的平均值和〇 PR = 1. 2是人的商宽纵横比的平均偏差，则：
[0042]
【权利要求】
1. 一种展示视频的方法，包含：接收来自视频源的多个视频数据；分析该多个视频数 据；识别多个视频数据中与背景部分不同的前景对象的存在；将前景对象分类成前景对象 类别；接收选择前景对象类别的用户输入；以及从多个视频数据中生成包含背景部分和只 在所选前景对象类别中的前景对象的视频帧。
2. 如权利要求1所述的方法，进一步包含：根据第一更新速率处理与所选前景对象类 别中的前景对象相联系的数据；根据第二更新速率处理与背景部分相联系的数据；动态地 发送与所选前景对象类别中的前景对象相联系的数据；以及根据第二更新速率发送与背景 部分相联系的数据，其中第一更新速率大于第二更新速率。
3. 如权利要求1所述的方法，进一步包含：接收对分类在所选前景对象类别中的第一 前景对象的故事板图像的用户请求；分析生成的视频帧以便获取包含第一前景对象的多个 帧；以及生成包含背景部分的图像和示出第一前景对象在一段时间上的运动的第一前景对 象的多个图像。
4. 如权利要求3所述的方法，其中生成包含背景部分的图像和示出第一前景对象在一 段时间上的运动的第一前景对象的多个图像的步骤包含：在第一前景对象的多个图像之间 没有任何重叠地生成包含背景部分的图像和示出第一前景对象在一段时间上的运动的第 一前景对象的多个图像。
5. 如权利要求3所述的方法，其中生成包含背景部分的图像和示出第一前景对象在一 段时间上的运动的第一前景对象的多个图像的步骤进一步包含：生成示出第一前景对象的 运动方向的线。
6. 如权利要求5所述的方法，其中生成示出第一前景对象的运动方向的线的步骤包含 生成示出第一前景对象的运动方向的线和第一前景对象沿着该线的运动的时段的指示。
7. 如权利要求1所述的方法，其中从多个视频数据中生成包含背景部分和只在所选前 景对象类别中的前景对象的视频帧的步骤包含：将所选前景对象类别中的前景对象拼接到 背景部分上的步骤。
8. -种展示视频的系统，包含：适用于执行如下步骤的处理器：接收来自视频源的多 个视频数据；分析该多个视频数据；识别多个视频数据中与背景部分不同的前景对象的存 在；将前景对象分类成前景对象类别；接收选择前景对象类别的用户输入；以及从多个视 频数据中生成包含背景部分和只在所选前景对象类别中的前景对象的视频帧。
9. 如权利要求8所述的系统，其中该处理器进一步适用于：根据第一更新速率处理与 所选前景对象类别中的前景对象相联系的数据；根据第二更新速率处理与背景部分相联系 的数据；动态地发送与所选前景对象类别中的前景对象相联系的数据；以及根据第二更新 速率发送与背景部分相联系的数据，其中第一更新速率大于第二更新速率。
10. 如权利要求8所述的系统，其中该处理器进一步适用于：接收对分类在所选前景对 象类别中的第一前景对象的故事板图像的用户请求；分析生成的视频帧以便获取包含第一 前景对象的多个帧；以及生成包含背景部分的图像和示出第一前景对象在一段时间上的运 动的第一前景对象的多个图像。
11. 如权利要求10所述的系统，其中该处理器进一步适用于生成包含背景部分的图像 和示出第一前景对象在一段时间上的运动的第一前景对象的多个图像。
12. 如权利要求10所述的系统，其中该处理器进一步适用于生成包含背景部分的图 像、示出第一前景对象在一段时间上的运动的第一前景对象的多个图像、和示出第一前景 对象的运动方向的线。
13. 如权利要求12所述的系统，其中该处理器进一步适用于生成示出第一前景对象的 运动方向的线和第一前景对象沿着该线的运动的时段的指示。
14. 如权利要求8所述的系统，其中该处理器适用于将所选前景对象类别中的前景对 象拼接到背景部分上。
15. -种非短暂计算机可读介质，包含配置成使处理器执行如下步骤的指令：接收来 自视频源的多个视频数据；分析该多个视频数据；识别多个视频数据中与背景部分不同的 前景对象的存在；将前景对象分类成前景对象类别；接收选择前景对象类别的用户输入； 以及从多个视频数据中生成包含背景部分和只在所选前景对象类别中的前景对象的视频 帧。
16. 如权利要求15所述的非短暂计算机可读介质，进一步包含配置成使处理器执行如 下步骤的指令：根据第一更新速率处理与所选前景对象类别中的前景对象相联系的数据； 根据第二更新速率处理与背景部分相联系的数据；动态地发送与所选前景对象类别中的前 景对象相联系的数据；以及根据第二更新速率发送与背景部分相联系的数据，其中第一更 新速率大于第二更新速率。
17. 如权利要求15所述的非短暂计算机可读介质，进一步包含配置成使处理器执行如 下步骤的指令：接收对分类在所选前景对象类别中的第一前景对象的故事板图像的用户请 求；分析生成的视频帧以便获取包含第一前景对象的多个帧；以及生成包含背景部分的图 像和示出第一前景对象在一段时间上的运动的第一前景对象的多个图像。
18. 如权利要求17所述的非短暂计算机可读介质，其中生成包含背景部分的图像和示 出第一前景对象在一段时间上的运动的第一前景对象的多个图像的指令包含配置成使处 理器执行如下步骤的指令：生成包含背景部分的图像和示出第一前景对象在一段时间上的 运动的第一前景对象的多个图像。
19. 如权利要求17所述的非短暂计算机可读介质，其中生成包含背景部分的图像和示 出第一前景对象在一段时间上的运动的第一前景对象的多个图像的指令进一步包含配置 成使处理器生成示出第一前景对象的运动方向的线的指令。
20. 如权利要求19所述的非短暂计算机可读介质，其中配置成使处理器生成示出第一 前景对象的运动方向的线的指令包含使处理器生成示出第一前景对象的运动方向的线和 第一前景对象沿着该线的运动的时段的指示的指令。
21. 如权利要求15所述的非短暂计算机可读介质，其中从多个视频数据中生成包含背 景部分和只在所选前景对象类别中的前景对象的视频帧的指令包含使处理器将所选前景 对象类别中的前景对象拼接到背景部分上的指令。
22. 如权利要求1所述的方法，其中将前景对象分类成前景对象类别的步骤包括如下 步骤：利用透视变换校准对象以确定物理尺寸；最初利用高斯概率模式或确定性模型，根 据其物理尺寸和运动方向分类对象；确定对象尺寸是否在一群人和一辆车的尺寸之间；如 果对象尺寸在一群人和一辆车的尺寸之间，则使运动斑点的垂直形状轮廓变平滑；以及分 析运动斑点的变平滑垂直形状轮廓，以便根据轮廓上峰的数量将对象识别成一群人或一辆 车。
【文档编号】G08B13/196GK104160408SQ201280070986
【公开日】2014年11月19日 申请日期:2012年12月28日 优先权日:2011年12月29日
【发明者】L.王, F.阿格达西, G.米勒 申请人:派尔高公司