基于内容的视频分段的制作方法_5

文档序号:9757014阅读:来源:国知局
比原始章节边界大的D(e_t)数值的事件(70)。如果帧搜索模块 48检测到所调查的帧范围包括具有比原始章节边界大的D(e_t)数值的帧(70的"是"分支), 则帧搜索模块48可以使得边界设置模块50对章节边界进行调节以与具有较大D(e_t)数值 的帧相符(72)。此外,如果帧搜索模块48检测到所调查范围内均具有比原始章节边界大的D (e_t)数值的多个帧,则帧搜索模块48可以使得边界设置模块50调节章节边界以与所调查 的范围内具有较大D (e_t)数值(例如,D (e_t) "峰值")的帧相符。
[0073]另一方面,如果帧搜索模块48未在所调查的范围内检测到具有比原始章节边界大 的D(e_t)数值的帧(70的"否"分支),则帧搜索模块48可以使得边界设置模块50保持原始章 节边界(74)。此外,缩略图选择模块10可以选择分段的章节边界(例如,起始帧或结束帧)中 的一个作为该分段的代表缩略图(76)。在一个示例中,过程60可以根据由计算设备2和/或 其一个或多个组件执行的以下工作流进行描述:
[0074] 1)对视频中每个演员的每次出现进行标记。
[0075] 2)将视频分段为由N-1个场景边界定义的N个相等长度(T秒)的场景。
[0076] 3)定义一个或多个演员进入或离开视频(如该工作流的步骤1所确定的)的每个时 间t的事件e_t。
[0077 ] 4)针对每fe_t,计算D (e_t)=进入的演员的数量+离开的演员的数量。
[0078] 5)针对在该工作流的步骤2中所定义的每个场景边界,针对具有最大D数值的事件 搜索边界之前的T/4秒和边界之后的T/4秒,并且将边界重置为相对应的时间。换句话说,搜 索边界前后的T/2秒窗口中的D的峰值并且将边界重置为该点。如果在该T/2秒窗口中没有 事件,则保持原有边界。
[0079] 图4是图示依据本公开的一个或多个方面的计算设备2可以执行以对视频进行分 段的另一示例过程80的流程图。虽然过程80可以由依据本公开的方面的各种设备执行,但 是仅出于清楚的目的,过程80在这里关于如图1-2中所图示的计算设备2及其组件进行描 述。
[0080] 过程80包括分段模块8确定要将视频内容分段为的分段的数量(82)。所确定的数 量在各个示例中可以对应于一个或多个分段。此外,分段模块8可以将视频内容分段为所确 定的数量的分段(84)。分段模块8的边界设置模块50可以识别与每个分段相关联的边界帧 (86)。此外,边界设置模块50可以调节与该分段中的第一分段相关联的相应边界帧以生成 与该第一分段相关联的经调节的边界帧,其中该调节是基于与经调节的边界帧相关联的一 个或多个实体表示(88)。如这里所描述的,与帧相关联的实体表示的示例可以包括诸如演 员或运动员的一个或多个人的相应视觉表示,诸如建筑物、天际线或地标的无生命物体的 视觉表示,或者结合该帧输出的诸如歌曲或叙述中声音的各种音频实体的可听表示。
[0081] 根据一些示例,基于活动量度模块48确定与经调节的边界帧相关联的活动水平, 边界设置模块50可以使用一个或多个实体表示来调节相应的边界帧,该活动水平与一个或 多个实体表示中的变化相关联。例如,活动量度模块48可以在显示顺序上相对于经调节的 帧的相邻帧使得一个或多个实体表示变化。在一些示例中,边界设置模块50可以至少部分 基于活动量度模块48在从与视频内的第一分段相关联的相应边界帧起的预定时间跨度内 识别出在该预定时间跨度内的所有帧中具有最大活动水平的帧来调节与该第一分段相关 联的相应边界帧,并且边界设置模块50将具有最大活动水平的帧识别为经调节的边界帧。 在一个这样的示例中,缩略图选择模块10可以选择与第一分段相关联的经调节的边界帧作 为该第一分段的代表缩略图。
[0082]在一些示例中,活动量度模块48可以至少部分基于事件检测模块44针对第一分段 内的预定时间跨度中的每个帧确定以下至少一个:(i)进入视场的演员的数量和(ii)离开 视场的演员的数量,来识别具有最大活动水平的帧,其中该视场与第一分段内的相对应帧 的所显示的部分相关联。在一个这样的示例中,活动量度模块48可以至少部分地通过识别 第一分段内的预定时间跨度内的特定帧而使得该特定帧与第一分段中的该预定时间跨度 内的所有帧相比具有进入视场的演员数量和离开视场的演员数量的最大总和,作为具有最 大活动水平的帧,来识别具有最大活动的帧。
[0083]在一些示例中,活动量度模块48可以至少部分基于识别第一分段内的预定时间跨 度内的特定帧而使得该特定帧与第一分段内的该预定时间跨度内的帧的集合相比具有进 入视场的演员的数量和离开视场的演员的数量之间的最大差值,作为具有最大活动水平的 帧,来识别具有最大活动水平的帧。
[0084]根据一些示例,边界设置模块50可以至少部分通过调节相应边界帧以形成与第一 分段相关联的经调节的边界帧而使得第一分段与该视频内容被分段为的至少一个其它分 段的长度不相等,来对与第一分段相关联的相应边界帧进行调节。在一些示例中,视频标记 模块6可以识别视频内容中表示的一个或多个演员。根据一些示例,均与第一分段相关联的 相应边界帧和经调节的边界帧是相同的帧。根据一些示例,相应边界帧和经调节的边界帧 是不同的帧。在一些示例中,分段模块8可以至少部分地通过将视频内容划分为使得所有分 段都为相等长度来将该视频内容划分为所确定的数量的分段。
[0085] 以下对依据本公开的方面的示例进行描述。
[0086] 示例 1.
[0087] -种方法,包括:由计算设备确定要将视频内容划分成的一个或多个分段;由所述 计算设备将所述视频内容划分为所述一个或多个分段;由所述计算设备识别与每个所述分 段相关联的边界帧;以及由所述计算设备调节与所述分段中的第一分段相关联的相应边界 帧以生成与所述第一分段相关联的经调节的边界帧,其中所述调苄基于与所述经调节的边 界帧相关联的一个或多个实体表示。
[0088] 示例2.
[0089] 根据示例1所述的方法,其中,基于所述一个或多个实体表示调节与所述第一分段 相关联的相应边界帧包括确定与所述经调节的边界帧相关联的活动水平,所述活动水平与 所述一个或多个实体表示中的变化相关联。
[0090] 示例3.
[0091]根据示例1-2中的任一项所述的方法,其中,调节与所述第一分段相关联的相应边 界帧包括:在从与所述视频内的所述第一分段相关联的相应边界帧起的预定时间跨度内识 别在所述预定时间跨度内的帧集合中具有最大活动水平的帧;以及由所述计算设备将所述 具有最大活动水平的帧识别为所述经调节的边界帧。
[0092] 示例4.
[0093] 根据示例3所述的方法,其中,识别所述具有最大活动水平的帧包括:由所述计算 设备针对所述第一分段内的所述预定时间跨度的每个帧确定以下至少一个:(i)进入视场 的演员的数量和(ii)离开视场的演员的数量中,其中所述视场与所述第一分段内的相对应 帧的所显示的部分相关联。
[0094] 示例5.
[0095] 根据示例1-4中的任一项所述的方法,其中,识别所述具有最大活动水平的帧包 括:由所述计算设备识别所述第一分段内的所述预定时间跨度内的特定帧,使得所述特定 帧与所述第一分段中的所述预定时间跨度内的所有帧相比具有进入视场的演员的数量和 离开所述视场的演员的数量的最大总和,作为所述具有最大活动水平的帧。
[0096] 示例6.
[0097] 根据示例1-5中的任一项所述的方法,进一步包括:由所述计算设备选择与所述第 一分段相关联的经调节的边界帧作为所述第一分段的代表缩略图帧。
[0098] 示例7.
[0099] 根据示例1-6中的任一项所述的方法,其中,调节与所述第一分段相关联的相应边 界帧包括:由所述计算设备设置所述相应边界帧以形成与所述第一分段相关联的经调节的 边界帧,使得所述第一分段与所述视频内容被划分为的至少一个其它分段的长度不相等。
[0100] 示例8.
[0101] 根据示例1-7中的任一项所述的方法,进一步包括:由所述计算设备识别在所述视 频内容中表示的一个或多个演员。
[0102] 示例9.
[0103] 根据示例1-8中的任一项所述的方法,其中,均与所述第一分段相关联的所述相应 边界帧和经调节的边界帧是相同的帧。
[0104] 示例 10.
[0105] 根据示例1-9中的任一项所述的方法,其中,所述相应边界帧和经调节的边界帧是 不同的帧。
[0106] 示例11.
[0107] 根据示例1-10中的任一项所述的方法,其中将该视频内容划分为所述一个或多个 分段包括:将所述视频内容划分为使得所述一个或多个分段中的每一个的长度相等。
[0108] 示例12.
[0109] -种设备,包括:存储器;和一个或多个可编程处理器,所述一个或多个可编程处 理器能够进行操作以:确定要将视频内容划分成的分段的数量;将所述视频内容划分为所 确定的数量的分段;识别与每个所述分段相关联的边界帧;以及调节与所述分段中的第一 分段相关联的相应边界帧以生成与所述第一分段相关联的经调节的边界帧,其中所述调节 基于与所述经调节的边界帧相关联的一个或多个实体表示。
[0110] 示例13.
[0111] 根据示例12所述的设备,其中,为了基于所述一个或多个实体表示调节与所述第 一分段相关联的相应边界帧,所述一个或多个可编程处理器进行操作以确定与所述经调节 的边界帧相关联的活动水平,所述活动水平与所述一个或多个实体表示中的变化相关联。
[0112] 示例 14.
[0113]根据示例12-13中的任一项所述的设备,其中,所述一个或多个可编程处理器进一 步进行操作以:在从与所述视频内的所述第一分段相关联的相应边界帧起的预定时间跨度 内识别在所述预定时间跨度内的帧集合中具有最大活动水平的帧;以及将所述具有最大活 动水平的帧识别为所述经调节的边界帧。
[0114]示例15.
[0115]根据示例14所述的设备,其中,为了识别所述具有最大活动水平的帧,所述一个或 多个可编程处理器进行操作以针对所述第一分段内的所述预定时间跨度的
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1