提供视频数据的制作方法
【专利说明】提供视频数据
[0001] 本发明涉及通过通信介质提供视频数据。具体地，涉及通过诸如"互联网"的数据 网络回放所记录的视频数据。
[0002] -种用于在网络上传送视频数据的技术是将数据拆分成相同尺寸的"±夬"。每个块 可以由URI(统一资源标识符)唯一标识，希望接收这样的视频序列的客户端将首先下载描 述需要请求的URI序列的清单文件，以便播放视频流。
[0003] 在一些系统中，一组单独的元数据(媒体呈现描述-MPD)与诸如针对不同的比特率 所需要的多种呈现模式中的每种相关联。当用户已经选择"特技模式"（诸如，由Irij Sodagar在"TheMPEG-DASHstandardformultimediastreamingovertheInternet" (IEEEMultimedia,NewYork,USA,vol.18,No.4-lstApril2011pages62-67ISSN1070-986X)中所描述的"快进"）时，可以提供一个单独的MH)供使用。因此，元数据将取决于用户 已经选择的回放速度(正常/快速）。
[0004] 已经设计用于生成"书签"元数据的各种方法，以在较长的视频序列中识别集锦位 置。已知的是，例如从国际专利说明书W02004/025508提供了一种自动程序，该自动程序用 于识别视频序列内的"集锦"，以便向观众提供导航帮助或以便简化和减少视频制作和编辑 的成本。现有技术通常通过对视频序列内的视频或音频水平的变化的分析自动地识别视频 剪辑。更具体地，通常使用各种超直方图、帧签名、切断检测方法、隐藏字幕信息、音频信息 等，通过分析视频信号的视觉、音频和副本部分来识别"集锦"视频片段的边界。例如，基于 响应于运动员的表现而记录的观众欢呼的音量(US7831112)，或分析描绘得分的图像区域 来检测变化(US7983442)。还已知的是，例如从欧洲专利申请EP0142178为观众提供了手动 用书签标记"集锦"以供后续访问。利用识别事件的性质(得分、出局、事故等）、涉及的单独 的竞争者等的元数据，可以增强书签，以允许用户或利用用户的偏好编程的自动化系统编 译针对用户的兴趣定制的序列。
[0005] 如在我们的国际专利申请GB2014/000036中所描述的，视频数据的每个块(其通常 可表示2秒的内容)被给予叙述兴趣值(NIV)，以指示观众对内容的可能的兴趣。这个值可用 于下载装置，以选择显示哪个块，从而允许根据个别观众的需求生成集锦节目。
[0006] NIV是从被认为是重要感兴趣的视频序列中的事件(例如，足球比赛中的进球)推 导出的。实际事件通过事件标记来记录，所述事件标记识别事件发生的视频的块。该数据的 块被给予为1的NIV。事件标记(EM)的任一侧数据的连续块具有下降的叙述兴趣，并且被适 当地标记为2、3、4等。NIV为1的块具有最多的兴趣的，随着NIV的数值增加，兴趣减少。
[0007] 如在我们的国际专利申请GB2014/000037中所描述的，元数据可被用来将视频剪 辑的持续时间偏离为相对于书签不对称。视频流中的不同事件将相对于事件标记具有叙述 兴趣的不同分布。例如，对于足球中的进球，观众最感兴趣的内容将是事件之前发生了什 么，而对点球或任意球的裁决来说事件之后发生了什么更有趣。考虑到这一点，定义了前/ 后事件比率(PPER)，其偏离围绕事件标记的NIV值的分布。例如，1:1的PPER表示事件标记任 一侧的块携带相等的重要性，然而，如果事件标志之前的内容比在该事件标记之后的内容 更有趣，则3:1的PPER是合适的。
[0008]视频序列可包含多个事件标记。视频序列中的每个块有可能因此具有多个NIV值， 每个值归属于特定事件标记。通过考虑与该块相关联的所有单独的NIV，能够为每个块计算 组合的NIV(CNIV)。在优选的方法中，每个块的CNIV被定义为与该块相关联的最小NIV值。 [0009]观看节目、尤其是体育赛事的观众，往往希望只看到"集锦"，而不是它的全部时 间。传统上，集锦节目已被广播员手动编辑和编译，经常具有添加的评论或分析。这样的安 排是规定的，并且对于产生来说可以是劳动密集的和费时的。
[0010]希望提供一种"追赶"设施，使得开始观看已经进行的比赛的观众在"实时"观看比 赛的剩余部分(实时地)前能够观看已经发生的比赛的该部分的集锦。比赛中事件的相对重 要性以及因此它们是否值得追赶序列中的空间将随着比赛进行而动态改变，所以用于覆盖 比赛前二十分钟的追赶序列可能包括覆盖前十分钟的相同长度序列的很少内容。"追赶"序 列的期望持续时间也可能改变:例如，如果在当没有发生实时活动时观众在间奏(诸如，半 场休息)期间加入，较长的追赶序列可能是合适的。
[0011] 大多数视频回放设备具有称为"加速播放"、"快进"或"特技播放"的设施，其允许 所存储或记录的内容的观众以快于(或慢于)节目的实时速度移动，以便快速地前进或后退 步进到序列的不同部分，或以便中断(暂停)序列。在许多系统中，一些内容在快速模式期间 继续是可见的，这有助于所需内容的识别。观众可以通过记录节目将这应用于"快速前进"， 恢复到正常速度以观看引起他兴趣的部分。然而，可能难以识别出感兴趣的部分。尤其是， 用户可能必须回溯，可能具有过冲。这可能是耗时的。
[0012] 本发明提供了用于播放从数据库中检索出的作为多个视频片段的视频数据，每个 片段具有与其相关联、指示数据的各个片段的相对叙述兴趣的元数据，其中，所述视频数据 能够以可选的多个速度播放，并且其中，由回放装置选择每个片段播放的速度，其中，所述 回放装置检测与每个片段相关联的元数据，执行元数据的分析以确定片段的相对叙述兴 趣，并且根据从与该片段相关联的元数据推导出的相对叙述兴趣为每个片段选择回放速 度。
[0013] 因此，本发明使用元数据来控制回放速度。因此，每个片段的回放速度(正常/快速 等)将取决于与该片段相关联的元数据。
[0014]在优选的布置中，根据从片段到事件标记的接近度而推导出的每个片段的叙述兴 趣值控制每个片段的速度。
[0015] 可以多种方式创建/确定事件标记。针对用于追赶设施，当事件发生时，将需要近 实时地创建事件标记。在一种方法中，事件标记可以由演播室/制造公司创建，作为编辑视 频流的一部分。另一种方法是通过由在我们较早的国际专利申请GB2014/000037中所述的 由其它观众提供的"书签"聚合(图2)。
[0016] 本发明还提供了一种视频回放设备，该视频回放设备具有:存储器，用于存储视频 内容和相关联的元数据；回放元件，用于播放所存储的视频内容；"特技播放"系统，用于控 制所述回放元件，以允许所存储的视频内容将以可选的多个速度播放，并且其中，所述特技 播放系统具有速度控制输入，该速度控制输入响应于从所述存储器中检索且与所述视频内 容相关联的元数据是可控的。
[0017] 因此追赶序列、或其它视频集锦序列可以通过根据相关联的元数据管理视频序列 的回放速度来进行编译。所述元数据可以根据对特定用户来说相关联的内容的可能兴趣被 编译，使得当向用户播放所请求的最感兴趣的内容时将以正常速度(或者甚至以慢动作)播 放，然而将以较快的速度播放不怎么有趣的内容。这为用户提供了潜在的视觉上吸引人的 内容。
[0018] 在"追赶"设施中，被提供以允许已经错过比赛开始的观众"实时"观看剩余的大部 分，但希望首先看到他已经错过部分的集锦，这就需要几乎实时生成的序列。满足该要求需 要对针对已经过去的内容定制的"进行中的"序列进行编译，并且即使当观看序列时也可能 需要修改，当正在观看追赶序列的同时应该发生更重要的事件，或者通过扩展追赶序列的 持续时间或者通过省略它的一部分来适应额外事件。
[0019] 可以在消费产品中实施回放装置(诸如，与用户的观看装置相关联的"机顶盒"）。 根据这个方面，可以提供一种包含在客户端设备中的视频回放设备，并且该视频回放设备 具有:接收系统，用于接收视频数据和相关联的元数据;处理器，用于根据所述相关联的元 数据调整所述视频数据的回放速度；以及视频回放系统，用于以适合的速度播放所述视频 数据。
[0020] 然而，在优选的布置中，与所述用户观看装置相关联的终端用户（客户端)设备可 通过诸如互联网连接的数据连接将本发明实施在服务器设备中以便于控制。在这个方面， 视频回放设备被结合在服务器平台中，该视频回放设备具有:可寻址的存储设施，用于存储 被布置为以不同的相应速度播放的多组视频数据；以及存储器，用于与所述视频数据相关 联的地址数据；以及存储器，用于与所述视频数据相关联的元数据;清单编译系统，用于根 据与所述视频数据相关联的元数据编译从所存储的多组视频数据中选择的视频数据的一 组地址。
[0021] 在优选的布置中，只有实际将被播放的视频内容通过数据提供者和用户之间的数 据连接传送。这减少了需要被下载的数据量，使其适合于移动网络和其它低带宽网络中的 设备，并减少了下载时间，从而避免了如果回放速度超过网络能够支持的速度时引起的缓 冲问题。这可以通过以下方式实现:或者通过在头端(服务提供商)执行选择过程，或者通过 使客户端设备执行选择过程并且编译以所要求的最终格式(分辨率、质量和相关联的比特 率)指定内容的各个部分的清单请求。几种机制可以用来实现这一目的，并且将在这里简要 描述，并在稍后更详细地描述。
[0022] 在第一种布置中，使用自适应比特率(ABR)技术，可以以针对许多预定义的回放速 度的随后重传所定义的比特率对实时视频流进行编码。然后MPD(媒体呈现描述)文件将被