基于内容的视频分段的制作方法_2

文档序号:9757014阅读:来源:国知局
量内与所识别的控制图像中的一个相匹配,则视频标记模块6可以确 定该帧包括预先识别的演员的表示。具体地,在这种情形中,视频标记模块6可以确定该帧 包括在匹配的控制图像中表示的特定演员的视觉表示。
[0023] 进而,视频标记模块6可以将该帧标记、标明或以其它方式识别为包括该演员的表 示。视频标记模块6所执行的这样的识别在这里被称作帧中的"标记"演员。在特定情形中, 视频标记模块6可以针对单个演员标记帧的连续或持续序列,其中该帧的序列映射至该演 员在视频中的连续出现。此外,如果特定帧包括与所识别的控制图像以外的相匹配的面部 图像,则视频标记模块6可以对单个帧内的多个演员进行标记。
[0024] 作为结果,在一些情形中,视频标记模块6可以对关于不同演员标记重叠但不相同 的帧序列。作为一个示例,视频标记模块6可以标记在与视频的00:00:01至00:10:00的范围 相关联的帧序列中的第一演员,其中上述示例值是以[时:分:秒]的格式表达的。此外,根据 该示例,视频标记模块6可以标记在与视频的00:05:00至00:15:00的范围相关联的帧序列 中的第二演员。在该示例中,第一和第二演员的标签在视频的〇〇: 05:00至00:10:00范围中 重叠。以这种方式,视频标记模块6可以在视频的各个范围标记多个演员,因此针对各个演 员生成重叠但不是必然相同的标签序列。
[0025] 如图1所示,计算设备2还可以包括分段模块8。分段模块8可以被配置为或者能够 以其它方式进行操作以执行这里所描述的视频分段技术中的一个或多个。在示例中,分段 模块8在对视频内容进行分段时可以使用视频标记模块6所提供或生成的数据,诸如存储到 计算设备2或者能够以其它方式经由其进行访问的视频文件。在一些示例中,分段模块8可 以确定要将视频内容划分为的分段的数量。该数量在这里由变量"N"表示。分段模块8可以 以各种方式来确定数值N,诸如通过经由用户输入接收该数值,从服务器设备接收该数值, 或者通过将N设置为预定义的缺省数值。
[0026] 在示例中,分段模块8可以将视频内容划分为总共N个长度相等的分段。如这里所 描述的,作为结果的长度相等的分段均可以具有对应于该视频的"T"秒的时间跨度的帧计 数。在其它示例中,分段模块8可以将视频内容划分为N个分段,使得作为结果的分段中的至 少两个的长度不相等。在长度不相等的划分的各个示例中,分段模块8可以通过在随机点对 分段间转换划界,或者通过对长度相等的划分进行近似以在视频内容的某些时间标志处放 置分段间转换或确保该转换不与单个帧交叉来对视频进行划分。
[0027] 更具体地,分段模块8可以将作为结果的分段中的第一帧和/或最后一帧指定为相 应分段的"场景边界"或"章节边界"。更具体地,分段模块8可以将帧指定为章节边界以指示 分段间转换的点。在分段的第一帧的情况下,章节边界可以指示例如从之前分段转换至当 前分段中。相反地,在分段的最后一帧的情况下,章节边界可以指示转换出当前分段,例如 到后续分段。
[0028] 此外,分段模块8可以基于检测在帧转换处进入或离开视场的一个或多个演员来 检测视频的特定帧或帧转换处的事件。在一些示例中,分段模块8可以通过使用视频标记模 块6所生成的标记数据来检测事件。更具体地,在这些示例中,分段模块8可以检测每个帧转 换处指示所标记的演员进入视场或离开视场的事件。例如,分段模块8可以检测视频标记模 块6已经将"演员标记为出现在视频的帧jO中,但是视频的帧_11中不包括演员j的标 记。在这种情况下,分段模块8可以在帧_11处检测有关演员_1离开视场的事件。
[0029] 通过以所描述的方式检测个体事件,分段模块8可以识别指示具有不同量级的事 件的帧转换。在一些示例中,分段模块8可以识别多个演员离开视场的帧转换。在一个这样 的示例中,分段模块8可以确定该帧转换还指示一个或多个演员的不同集合进入视场。例 如,单个帧转换可以指示演员1至3离开视场,并且演员4至10进入视场。分段模块8所检测到 的事件的量级在这里被称作相应事件的"活动水平"。
[0030] 虽然以上关于视频标记模块6所标记的演员进行了描述,但是将要意识到的是,无 论视频标记模块6是否已经对演员进行了标记,分段模块8都可以针对视频中所表示的演员 实现所描述的功能中的一个或多个。在一些示例中,分段模块8可以实现一种或多种跟踪技 术,诸如通过确定演员的脸在一段时间内(例如,跨视频的连续帧)连续出现。基于演员是否 跨多个连续帧连续出现,分段模块8可以检测该演员进入或离开视场所触发的事件。在各个 示例中,分段模块8可以实现包括检测(例如,面部检测)和运动建模(例如,基于一个或多个 运动模型)中的一个或多个的技术,以关于未标记演员确定事件。
[0031] 此外,分段模块8可以确定每个章节边界的特定帧范围内的任意所检测事件的活 动水平。更具体地,分段模块8可以确定位于每个章节边界之前和/或之后的特定范围内的 帧的活动水平。如果分段模块8检测到与特定事件活动水平相关联的帧,则分段模块8可以 将章节边界设置为该所检测的具有该特定事件活动水平的帧。通过将章节边界设置为展现 某个活动水平的接近帧,分段模块8可以将分段间转换移动至视频的与视频场境(context) 的明显变化相关联的点。更具体地,高度演员轮转所导致的较大活动水平可以指示视频的 实质性内容的可能不同的部分之间的转换。作为一个特定使用情形,如果视频与电影相关 联,则高的演员轮转可以指示电影中的子图之间的变化。
[0032] 进而,分段模块8可以将章节边界设置为原始设置的边界的预定义范围内的这样 的帧以与视频的实质性内容中的潜在转换相符。在以上所描述的电影使用情形中,通过将 章节边界设置为高的活动水平帧,分段模块8可以在所寻址的不同子图的开始处开始电影 的下一个分段。以这种方式,分段模块8可以实现本公开的技术以将章节边界设置为与视频 内容转换相符,由此潜在地生成更为紧密地跟踪视频的实质性内容的章节。
[0033] 在图1所示的示例实现中,计算设备2可以可选地包括缩略图选择模块10。缩略图 选择模块10在图1中利用虚线边界进行图示以指示缩略图选择模块10的可选本质。缩略图 选择模块10可以被配置为或者能够以其它方式进行操作以针对视频的特定分段选择代表 帧。更具体地,缩略图选择模块10可以选择包括在特定分段中的帧以表示该特定分段。
[0034] 根据一些实现,缩略图选择模块10在针对特定分段选择代表帧时可以使用分段模 块8所生成的数据。例如,缩略图选择模块10可以基于分段模块8所设置的章节边界来识别 视频的分段。此外,在一些示例中,缩略图选择模块10可以选择分段模块8针对给定分段所 设置的章节边界帧中的一个作为该给定分段的代表帧。
[0035] 在各个示例中,缩略图选择模块10可以随机选择如分段模块8所确定的分段的两 个章节边界(即,起始和结束帧)中的一个。在其它示例中,缩略图选择模块10可以基于视频 标记模块6所生成的标签数据来确定这两个章节边界中的哪一个与较高活动水平相关联, 并且基于活动水平的任意差别来选择代表帧。在又其它的示例中,缩略图选择模块10可以 搜索比分段模块8所搜索的帧范围大的分段部分,并且例如将代表帧选择为是分段中具有 最高活动水平的帧。
[0036]此外,计算设备2和/或其各个组件可以生成UI 14,并且使得UI设备4输出UI 14。 分段模块8可以设置或调节章节边界以生成如时间单位或帧计数所表示的长度变化的视频 分段。针对分段模块8所生成的相对应分段,每个章节链接16包括以[分:秒]格式指示的时 间长度的指示。例如,章节链接A的数据标记20指示视频的相对应分段("章节Γ )具有38分 53秒的播放长度。类似地,章节链接16B-16D与视频的章节2-4相关联,其分别具有29分2秒、 21分16秒和12分9秒的播放长度。
[0037] 章节链接16A还包括缩略图18。在示例中,缩略图18可以包括缩略图选择模块10关 于视频的章节1所选择的代表帧的缩小版本。如所示出的,每个章节链接16包括不同缩略 图,具有变化的演员表示水平。例如,分段模块8和缩略图选择模块10中的一个或二者可以 确定缩略图18的单个演员表示供边界设置和/或代表帧选择所考虑的特定数量的帧内的最 高活动水平。
[0038] 作为另一个示例,分段模块8和缩略图选择模块10中的一个或二者可以确定所搜 索的章节3的帧不包括充分的基于演员的活动。作为结果,缩略图选择模块10可以关于章节 3选择不包括演员的任何视觉表示的代表帧。在其它实现中,计算设备可以生成章节链接16 以包括附加信息,诸如相应分段的开始时间标记、章节标题、章节中所表示的演员/角色的 姓名等等。在其中计算设备2不包括缩略图选择模块10的一些实现中,章节链接16可以不包 括代表帧的缩略图(例如,章节链接16A可以不包括缩略图18)。
[0039] 进而,计算设备2可以基于关于章节链接16中的一个或多个接收到的用户输入来 经由UI设备4输出视频的特定章节。例如,计算设备2可以检测用户已经将光标22放置在章 节链接16中的一个的上方,并且经由点击、敲击或致动输入选择了相应的章节链接16。此 外,计算设备2可以检测到用户已经经由输入激活了播放按钮24。作为响应,计算设备2可以 经由UI设备4生成视频,该视频在当前所选择的章节的开头处开始。如果计算设备2在当前 未选择章节时检测到对播放按钮24的用户激活,则计算设备2可以从缺省的起始帧开始视 频的输出,上述起始帧诸如章节1的第一帧。
[0040] 图2是图示依据本公开的一个或多个方面的能够进行操作以对视频进行分段的计 算设备2的一个示例实现的进一步细节的框图。图1和图2的共同编号的元件可以类似地操 作。为了便于讨论,仅关于图2对具有不同于图1的元件编号的那些元件进行描述。将要意识 到的是,图1所示的计算设备2的其它实现可以执行本公开的一个或多个技术,并且可以在 各个实例中使用不同的实现。虽然在图1和2中出于示例的目的被示为独立计算设备2,但是 计算设备2可以是包括处理器(例如,处理器32)的任意组件或系统,或者用于执行软件指令 的其它适当计算环境,并且例如无需包括图2中所示的一个或多个元件(例如,输入设备34、 UI设备4、输出设备38)。
[0041] 如图2的示例所示,生成设
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1