视频的图像概要的制作方法_5

文档序号:9383089阅读:来源:国知局
管图像的质量如何。
[0188] -呈现单元460可以体现在各种不同的呈现装置中。这样的呈现装置包括例如(有 或没有画中画("PIP")功能的)电视("TV")、计算机显示器、膝上型计算机显示器、个人 数字助理("PDA")显示器、蜂窝电话显示器和平板(例如,iPad)显示器。在不同实现方 式中,呈现装置是主要或辅助屏幕。还有其它实现方式使用提供不同的或附加的感知呈现 的呈现装置。呈现装置通常提供视觉呈现。然而,其它呈现装置例如提供:(i)例如使用扬 声器的听觉呈现,或(ii)例如使用例如提供特定振动模式的振动装置或提供其它触觉(基 于触觉的)感知指示的装置的触觉呈现。
[0189] -可以重新排序或重新布置所描述的实现方式的许多元件以产生更进一步的实现 方式。例如,正如由系统400的讨论所建议的,可以重新排序过程300的许多操作。各种实 现方式将用户输入操作移动到过程300中的一个或多个其它位置,诸如例如,就在加权操 作330、预算操作340、评价操作350或选择操作360的一个或多个之前。各种实现方式将 评价操作350移动到过程300中的一个或多个其它位置,诸如例如,就在加权操作330或预 算操作340的一个或多个之前。
[0190] 描述的实现方式的若干变型涉及添加另外的特征。这种特征的一个示例是"无剧 透"功能,以便不会无意揭露关键故事点。视频的关键故事点可以包括例如凶手是谁,或者 如何完成营救或逃生。各种实现方式的"无剧透"特征例如通过不包含来自例如作为高潮、 结局、压轴或后记的一部分的任何场景或可替换地任意镜头的突出来操作。可以例如通过 以下来确定这些场景或镜头:(i)假设应当排除视频的(例如)最后十分钟以内的所有场 景或镜头,或者(ii)标识要被排除的场景和/或镜头的元数据,其中例如由评论者、内容制 作者或内容提供者提供元数据。
[0191] 各种实现方式将权重分派给分层细粒度结构的一个或多个不同级别。结构包括例 如场景、镜头和图像。正如在整个本申请中所描述的,各种实现方式以一个或多个方式对场 景进行加权。各种实现方式还要或者可替换地使用也在整个本申请中描述的一个或多个方 式对镜头和/或图像进行加权。可以例如以下面方式的一个或多个来执行镜头和/或图像 的加权:
[0192] (i)图像的吸引质量(AQ)可以提供图像的隐式权重(例如参见过程300的操作 350)。在某些实现方式中,给定图像的权重是给定图像的AQ的实际值。在其它实现方式中, 权重基于(但不等于)AQ的实际值,诸如例如,权重是AQ的缩放或标准化版本。
[0193] (ii)在其它实现方式中,给定图像的权重等于或基于AQ值的有序列表中的AQ值 的排名(例如参见对AQ值进行排名的过程300的操作360)。
[0194] (i i i) AQ还提供对于镜头的加权。在各种实现方式中,任何给定镜头的实际权重等 于(或基于)镜头的构成图像的AQ值。例如,镜头具有等于镜头中的图像的平均AQ的权 重,或者等于镜头中的任意图像的最高AQ的权重。
[0195] (iv)在其它实现方式中,给定镜头的权重等于或基于AQ值的有序列表中的镜头 的构成图像的排名(例如参见对AQ值进行排名的过程300的操作360)。例如,具有较高 AQ值的图像在有序列表(这是一个排名)中出现得较高,并且包括那些"较高排名"图像的 镜头具有被表示在最后的图像概要中(或者使用较多图像来表示)的较高概率。即使附加 规则限制可以被包含在最后的图像概要中的来自任何给定镜头的图像的数量,这也是真实 的。在各种实现方式中,任何给定镜头的实际权重等于(或基于)有序AQ列表中的镜头的 构成图像的位置。例如,镜头具有等于(或基于)镜头的图像(在有序AQ列表中)的平均 位置的权重,或者等于(或基于)镜头的图像的任一个的最高位置的权重。
[0196] 在本申请中提供了多个独立系统或产品。例如,本申请描述了用于以原始视频和 脚本开始的生成图像概要的系统。然而,本申请还描述了多个其它系统,例如包括:
[0197] -系统400的每一个单元可以独立作为分离且不依赖的实体和发明。因此,例如, 同步系统可以对应于例如同步单元410,加权系统可以对应于加权单元420,预算系统可 以对应于预算单元430,评价系统可以对应于评价单元440,选择系统可以对应于选择单元 450,并且呈现系统可以对应于呈现单元460。
[0198] -此外,至少一个加权和预算系统包括对场景(或视频的其它部分)进行加权并且 基于权重在场景(或视频的其它部分)之中分配图像预算的功能。加权和预算系统的一个 实现方式包括加权单元420和预算单元430。
[0199] -此外,至少一个评价和选择系统包括评价视频中的图像并且基于评价选择要包 含在图像概要中的某些图像的功能。评价和选择系统的一个实现方式包括评价单元440和 选择单元450。
[0200] -此外,至少一个预算和选择系统包括在视频中的场景之中分配图像预算并且然 后(基于预算)选择要包含在图像概要中的某些图像的功能。预算和选择系统的一个实现 方式包括预算单元430和选择单元450。类似于由评价单元440执行的评价功能的评价功 能也被包含在预算和选择系统的各种实现方式中。
[0201] 在本申请中描述的实现方式提供各种优点的一个或多个。这些优点例如包括:
[0202] -提供用于生成图像概要的过程,其中过程是⑴适用于用户输入的,(ii)通过评 价视频中的每个图像而细粒度的,和/或(iii)通过分析场景、镜头和单个图像而分层的,
[0203] -将权重分派给包括场景、镜头和突出图像的分层细粒度结构的不同级别,
[0204] -通过考虑诸如例如视频内的场景位置、主要角色的出现频率、场景的长度以及场 景中突出动作或对象的级别/数量这样的一个或多个特征来对场景(或视频的其它部分) 标识不同级别的重要性(权重),
[0205] -在选择图像概要的突出图像时考虑图像的"吸引质量"因素,
[0206] -在定义场景、镜头和突出图像的权重时保持叙述属性,其中保持"叙述属性"是指 保留图像概要中的视频的故事,使得图像概要的典型观看者通过仅仅观看图像概要仍然可 以理解视频的故事,
[0207] -在确定权重或排名时诸如例如通过考虑突出动作/词语的存在以及主要角色的 存在来考虑与场景、镜头或图像是多么"有趣"相关的因素,和/或
[0208] -在生成图像概要时分析场景、镜头和单个图像的分层的过程中使用以下因素的 一个或多个:(i)有利于开始场景和结束场景,(ii)主要人物的出现频率,(iii)场景的长 度,(iv)场景中突出动作或对象的级别,或(V)图像的"吸引质量"因素。
[0209] 本申请提供可以在各种不同环境中使用并且可以用于各种不同目的的实现方式。 一些示例包括但不限于:
[0210] -实现方式被用于DVD或通过顶端(OTT)视频访问的自动场景选择菜单。
[0211] -实现方式被用于伪预告片的生成。例如,提供图像概要作为广告。图像概要中的 每一个图像通过在图像上单击为用户提供从该图像开始的视频的剪辑。可以以各种方式来 确定剪辑的长度。
[0212] -将实现方式打包作为例如应用程序,并且允许(例如,各种电影或电视连续剧 的)粉丝来创建各集、各季、整个系列等的概要。例如,粉丝选择相关视频,或者选择一季或 一系列的指示符。例如,当用户想要在不必观看每个节目的每一分钟的情况下"观看"持续 几天的整季节目时,这些实现方式是有用的。这些实现方式对于回顾前一(几)季或者提 醒自己先前已观看过的东西是有用的。还可以将这些实现方式用作娱乐日记,允许用户跟 踪用户已经观看的内容。
[0213] 在没有完全结构化(例如,仅具有隐藏式标题)的脚本的情况下操作的实现方式 可以通过检查和处理TV信号而在电视上操作。TV信号不具有脚本,但这样的实现方式不需 要具有附加的信息(例如,脚本)。若干这样的实现方式可以被设置为自动创建所观看的所 有节目的图像概要。例如,(i)在创建娱乐日记时,或者(ii)在家长追踪他们的孩子已经 在TV上观看的东西时,这些实现方式是有用的。
[0214] -无论是否如上所述地在TV中操作,实现方式都用于改善电子节目指南("EPG") 节目描述。例如,某些EPG仅显示电影或连续剧集的三行文本描述。各种实现方式却提供 为潜在观看者给出节目的要点的具有对应、相关的对话的图像(或剪辑)的自动摘录。若 干这样的实现方式在播出节目之前在由提供商所提供的节目上批量运行,并且所得的摘录 通过EPG变得可用。
[0215] 本申请提供了多个附图,包括图1的分层结构、图2的脚本、图4的框图、图3和 7-8的流程图、以及图5-6的屏幕截图。这些附图的每一个都提供了各种实现方式的公开。
[0216] -例如,框图肯定描述装置或系统的功能块的互连。然而,还应当清楚的是,框图提 供处理流程的描述。作为示例,图4还呈现了用于执行图4的块的功能的流程图。例如,加 权单元420的块还表示执行场景加权的操作,并且预算单元430的块还表示执行场景预算 的操作。在描述此流程处理时类似地解读图4的其它块。
[0217] -例如,流程图肯定描述流程处理。然而,还应当清楚的是,流程图提供用于执行流 程处理的系统或装置的功能块之间的互连。例如,关于图3,用于同步操作320的块还表示 用于执行将视频和脚本进行同步的功能的块。在描述此系统/装置时类似地解读图3的其 它块。此外,也可以以类似的方式来解读图7-8以便描述各自的系统或装置。
[0218] -例如,屏幕截图肯定描述显示给用户的屏幕。然而,还应当清楚的是,屏幕截图描 述用于与用户进行交互的流程处理。例如,图5还描述了以下过程:为用户呈现用于构造图 像概要的模板、接受来自用户的输入、然后构造图像概要、以及可能地迭代该过程并且精细 化图像概要。此外,也可以以类似的方式来解读图6以便描述各自的流程处理。
[0219] 因此,我们提供了多个实现方式。然而,应当注意的是,所描述的实现方式的变型 以及附加应用被考虑并且被认为是在我们公开的范围以内。此外,可以将所描述的实现方 式的特征和方面进行调适以用于其它实现方式。
[0220] 各种实现方式涉及"影像"和/或"图像"。在整个文档中可互换地使用术语"影 像"和"图像",并且术语"影像"和"图像"意图是广泛的术语。"影像"和"图像"可以例如 是帧或半帧的全部或部分。术语"视频"是指影像(或图像)的序列。影像或图像可以例如 包括任意各种视频组件或它们的组合。这样的组件或它们的组合例如包括亮度、色度、(YUV 或 YCbCr 或 YPbPr 的)Y、(YUV 的)U、(YUV 的)V、(YCbCr 的)Cb、(YCbCr 的)Cr、(YPbPr 的) Pb、(YPbPr的)Pr、(RGB的)红、(RGB的)绿、(RGB的)蓝、S-Video以及任意这些组件的 底片或正片。"影像"或"图像"也可以或者可替代地指例如包括典型的二维视频、曝光图、二 维视频图像的视差图、与二维视频图像对应的深度图或者边缘图的各种不同类型的内容。
[0221] 提及本原理的"一个实施例"或"一实施例"或"一个实现方式"或"一实现方式"、 以及其它变型,意味着结合实施例而描述的特定的特征、结构、特性等被包含在本原理的至 少一个实施例中。因此,在整个说明书的各个位置出现的短语"一个实施例"或"一实施例" 或"一个实现方式"或"一实现方式"以及任何其它变型,不必全都指向同一实施例。
[0222] 此外,本申请或其权利要求可能提及"确定"各种信息。确
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1