视频数据的提供的制作方法
【专利说明】视频数据的提供
[0001]本发明涉及在通信媒体上提供视频数据。具体地，本发明涉及通过将“书签”数据应用于节目来识别记录节目的“最精彩部分(highlights)”。这些可以由创建这些节目的用户或其他用户来使用以识别最感兴趣的部分。例如，它们可以用来识别广播的部分以编辑成短视频序列。提供这种最精彩部分是许多电视服务(特别是体育赛事报道)的重要部分。
[0002]编辑“最精彩部分”片段的序列所需的提取通常使用标准数字视频编缉工具从较长的视频序列创建，所述标准数字视频编缉工具直接地或者参考该片段中的关键事件来定义每个视频片段的起点和终点。每个片段典型地存储为独立的文件，该独立的文件可以随后提供给观众。典型地，给请求“最精彩部分”序列的观众提供地址或地址集合，从该址或地址集合检索构成所需序列的片段。
[0003]例如从国际专利说明书W02004/025508中已知，提供识别视频序列中的“最精彩部分”的自动程序以便给观众提供导航设备或简化和减少视频生产和编辑中的成本。现有技术典型地通过分析视频序列中视频或音频的电平的变化来自动识别视频片段。更具体地，通过分析视频信号的可视部分、音频部分和文本部分，使用各种超级直方图、帧签名、剪切检测方法、隐藏字幕信息、音频信息等来典型地识别“最精彩部分”视频段落的边界。例如，基于响应于运动员的表现记录的观众欢呼的音量(US7831112)，或分析描述分数的图像区域来检测变化(US7983442)。
[0004]例如从欧洲专利申请EP142178中还已知，使观众手动地以书签标记“最精彩部分”以用于以后的访问。尽管人工输入比内容分析更可靠，但是单独的用户将以不同的方式反应，特别是将具有不同的反应时间，范围从响应于语音或手势命令、或者如果在预计事件的情况下用户使其手指保持适当控制的姿势，到如果用户不太熟悉系统和/或需要寻找控制单元、或者如果相关节目建立标记需要具有多功能(例如平板计算机)的几秒钟。因此，视频检索处理器难以响应单独以书签标记内容，精确地确定内容的哪部分适于针对视频片段来标记。根据以书签标记的事件是用户正期待的“定位球(set piece)”还是响应时间将变化较大的某些不期待的事情，能够发生其它变化。
[0005]本发明提供了一种用于从视频数据元素的序列生成视频片段以根据需要传输和重放的视频服务平台，该视频服务平台包括:
[0006]用户输入单元，其接收多个单独时间戳数据输入，每个单独时间戳数据输入由各用户生成，并且识别要用来生成片段的视频数据的一部分；
[0007]聚合系统，其用于计算从所述多个单独时间戳数据导出的聚合时间戳值；
[0008]事件标记器单元，其用于根据所述聚合时间戳数据，将事件标记器标志与视频数据序列的元素相关联；和
[0009]输出单元，其用于从与事件标记器标志相关地定义的多个视频数据元素生成视频片段。
[0010]本发明还提供了一种用于从视频数据元素的序列生成视频片段以根据需要传输和重放的方法，其中由多个用户中的每一个生成的识别要用于生成片段的视频数据的一部分的单独时间戳数据输入被聚合以计算聚合时间戳值，并且根据聚合的时间戳，将事件标记器标志与视频数据序列的元素相关联。
[0011]用于确定聚合时间戳值的处理可以根据与单独时间戳值相关联的元数据和/或时间戳数据输入的分布来选择。时间戳数据输入的分布例如通过选择整个持续时间，或者选择在事件标志之前出现的片段的比例还可用于控制在该片段的事件标记器之前和/或之后视频片段部分的持续时间。
[0012]本发明使观众能使用观众定义的“临时书签”在视频序列内识别多个关键事件(例如，在足球比赛中的进球)。与相关联的元数据一起地，这些书签被存储为时间代码，所述元数据将时间代码识别为属于某种类型的事件。在优选实施方式中，不是标记最精彩片段的开始和结束，而是第一值标记关键事件，第二值用来定义识别在标记点之前和标记点之后要提供的片段的相对持续时间的比率。因此，用户不需要识别对事件本身建立的开始。当保持该比率时，能够调整实际持续时间。
[0013]可以在关键事件的时刻由非专家用户通过单次交互在直播视频流上容易地且实时地识别和生成片段。但是，由于不熟悉控制设备，意识到事件的重要性所用时间的不同、外物分心等，用户响应于关键事件所用时间会不同。这会降低系统的有效性，因为不同的用户将接收不同的片段、显示或多或少感兴趣的事件。特别地，片段必须足够长以确保关键时刻(根据正在讨论的运动，进球、接球、击球、超过)被捕捉，导致任何被传输的片段很可能包括比期望更多的关键时刻之前和/或之后的事件。这反过来意味着在给定的时间内能给用户显示较少的片段。
[0014]更进一步的缺陷在于存储了大量的事件标记器。不但引起针对服务提供商的存储问题，而且它使检索变得困难，特别是如果这些片段对那些没有看到或以书签标记原始广播或者其中的一部分的观众可用，并且希望使用书签来创建最精彩的序列，更是如此。许多标签将与相同的事件有关，并且未经详细分析，对于用户来说很难识别与事件有关的多个标记中的哪一个将提供最精确的观看。即使对于创建标记的用户，他们的反应时间可能从一个标记到另一个标记而变化，导致某些片段的起点和终点比期望的更早或更晚。
[0015]本发明通过分析在视频传输(所述视频传输可以是流直播或可以视为“按需”时移纪录)期间由多个用户生成的事件标记器的临时分布，识别彼此临时靠近的事件标记器，生成聚合的时间戳，以及生成具有聚合时间戳的值的聚合事件标记器来克服这些缺陷。该聚合值可以为简单的中值，或者在时间戳的分布上的某些更早或更晚的点，例如第25%的点。与事件标记器相结合由用户提供的元数据不但可以用来最初识别与相同的事件相关的事件标记器，而且用于确定多个聚合处理中的哪一个用于每个这种群组，例如期望针对诸如罚球等的“定位球”的用户标记行为比诸如冲撞、自由运动的射门等的意外事件更集中。
[0016]通过HTTP (超文本传输协议)传送视频的通用方法包括将大的视频文件分成多个较小的文件(称为块)，且每个块对应于在长度上可能为几秒的视频段，并且每个视频段具有其自己的URL(统一资源定位符)。在这种系统中，服务器平台给客户提供清单文件，(所述清单文件指明请求的片段的每个块的URL)，以便客户能够请求、编辑并且然后重放视频。在该实施方式中，由客户端设备创建和解译清单文件的方式，以便通过首先下载与关键事件有关的块(诸如进球)，接着进一步下载在每个单独的事件之前或之后的序列中的“视频块”，来基于其叙述的重要性对传输的内容进行排序。还可以给不同事件提供不同的优先级，以便首先传输诸如进球的事件，稍后传输诸如没能进球、犯规等其它事件。通过将较低优先级事件的定义的“事件标记器”块排序在较高优先级事件的事件标记器之前或之后的一段距离发生的块之前，与较低优先级事件相关的块在完成所有较高优先级的事件的块的传输之前开始传输。在任何事件中，在传输之后，块被重新汇编为它们的用于观看的正确的序时顺序。
[0017]该配置能使适合于带宽的以灵活方式提供的“最精彩片段”可用。这对于使用低容量网络或处于不可靠覆盖范围(例如移动用户可能经历的那样)的观众是有益的。这种配置将允许观众可用的多个单独的最精彩片段，在可用带宽或可靠连接存在限制的情况下被优化。视频块的优先次序还使视频片段能被“飞速”动态编辑，以匹配专用回放长度限制。这种设备在提供“后来者”追赶设备时是有用的，所述“后来者”追赶设备能给观众提供在加入直播流之前发生的关键事件大纲。
[0018]现在，将通过示例的方式并且参照附图描述本发明的实施方式，在附图中:
[0019]图1描绘了