视频数据提供的制作方法
【专利说明】视频数据提供
[0001]本发明涉及通过通信介质提供视频数据。具体涉及捕获和提供用于编辑成短视频序列的已录制或现场直播节目的视频提取物或视频“集锦”。这些集锦的提供是很多电视业务尤其是体育领域的重要部分。
[0002]通常使用直接或参考片段内的关键事件定义每个视频剪辑的开始点和结束点的标准数字视频编辑工具来从较长的视频序列中创建编辑“集锦”剪辑序列所需的提取物。通常将每个剪辑保存为独立文件，随后可以将该独立文件提供给观众。通常，向请求“集锦”序列的观众提供从中检索构成所需序列的剪辑的一个地址或者一组地址。
[0003]已知的是，例如，国际专利说明书W02004/025508提供了一种用于识别视频序列中的“集锦”以便向观众提供导航帮助或者简化和降低视频制作和编辑的成本的自动化过程。现有技术通常通过分析视频序列中的视频或音频水平的变化自动识别视频剪辑。更具体地，通常使用各种超直方图、帧签名、剪切检测方法、隐藏字幕信息、音频信息等等通过分析视频信号的视频、音频和转录本部分来识别“集锦”视频片段的边界。例如，基于记录的响应于运动员的表现的观众欢呼声的音量(US7831112)，或者基于对描述比分的图像的区域的分析来检测变化(US7983442)。另外已知的是，例如，欧洲专利申请EP142178为观众提供了手动标记“集锦”以便以后访问。
[0004]这些方法通过为每个视频剪辑的开始和结束指定具体时间码来定义每个视频剪辑。用于定义集锦剪辑的该方法本来是不可变更的，这是因为它只定义了剪辑的长度，没有关于该剪辑中的关键事件的进一步的信息(诸如，足球比赛中的进球)。类似地，通过开始点和结束点定义的剪辑必然确定了每个剪辑的长度和所得到的集锦序列的长度，该得到的集锦序列指示了传送和观看整个序列所需要的时间。
[0005]标准视频传送机制按片段下载视频序列，按从每个剪辑的开头到结束的序列进行传送。例如，当因为连接丢失时可能会发生一些状况，仅可以部分地下载视频剪辑，结果呈现的所下载的视频剪辑不包括实际进球(或救球)、赛点(赢或者救球)、接球(没接到球或者反之)，击球(入洞或者没入洞)等的关键时刻。
[0006]这种中断也可能导致不能一起传送序列中的后续剪辑。特别的问题是如果后来的剪辑丢失，观众将错过体育比赛的高潮和最终结果。
[0007]不同的观众可能也希望通过变化序列中的各个剪辑的数量和/或长度来观看不同时期的“集锦”序列。
[0008]当剪辑是集锦显示或播放列表中的将被顺序播放的剪辑序列中的一个时，剪辑中的关键事件的信息缺失也阻碍智能传送和回放。
[0009]本发明使用一种用于识别和规定视频序列中的“集锦”的新方法，该新方法可以用于改进视频集锦剪辑的传送并且向用户提供增强的视频回放工具。
[0010]本发明提供了一种从根据需要传送和回放的视频数据序列中产生视频剪辑的方法，其中，该序列由视频数据的离散元素组成，其中，由事件标签和前/后事件比率标识每个剪辑，该事件标签定义了序列中的离散元素中的一个，并且前/后事件比率确定了该剪辑在由事件标签定义的元素之前的持续时间与该剪辑在由事件标签定义的元素之后的持续时间的相对比例，并且其中，响应于对通过参考事件标签标识的视频剪辑数据的请求，组成每个剪辑的视频数据的离散元素被分配给以与事件标签有关的元素开始并且接下来按照由如/后时间比率确定的顺序的序列。
[0011]本发明还提供了一种用于从根据需要传送和回放的视频数据的序列中产生视频剪辑的视频服务平台，该视频服务平台包括:
[0012]视频存储器，其用于以视频数据的一系列离散元素的形式存储视频序列；
[0013]检索系统，其用于检索视频数据的离散元素；
[0014]客户端界面，其用于接收对一个或更多个视频剪辑的序列的请求，由标识视频数据的元素的事件标签定义每个请求的剪辑；
[0015]事件比率确定处理器，其用于识别与每个请求的剪辑相关的前/后事件比率，该前/后事件比率确定剪辑在由事件标签定义的元素之前的持续时间与剪辑在由事件标签定义的元素之后的持续时间的相对比例，
[0016]其中，检索处理器被布置成检索视频数据的离散元素，由事件标签和与所请求的数据相关的前-后事件比率确定这些离散元素被检索的顺序，使得将组成每个剪辑的离散元素分配给以与事件标签有关的元素开始并且接下来按照由前/后事件比率确定的顺序的序列。
[0017]作为对视频服务平台的补充，本发明还提供了一种用于从根据需要传送和回放的视频数据的序列产生视频剪辑的视频服务平台，该视频服务平台包括:
[0018]视频存储器，其用于以视频数据的一系列离散元素的形式存储视频序列；
[0019]检索系统，其用于检索视频数据的离散元素；
[0020]客户端界面，其用于接收对一个或更多个视频剪辑的序列的请求，由识别视频数据的元素的事件标签定义每个请求的剪辑；
[0021]事件比率确定处理器，其用于识别与每个请求的剪辑相关的前/后事件比率，该前/后事件比率确定该剪辑在由事件标签定义的元素之前和该剪辑在由事件标签定义的元素之后的相对持续时间，
[0022]其中，检索处理器被布置成检索视频数据的离散元素，由事件标签和与所请求的数据相关的前-后事件比率确定这些离散元素被检索的顺序，使得将组成每个剪辑的离散元素分配给以与事件标签有关的元素开始并且接下来按照由前/后时间比率确定的顺序的序列。
[0023]在优选的布置中，由事件标签定义前-后事件比率。这允许以不同的方式传送不同的事件类型。
[0024]本发明可以用于通过以序列的相反顺序丢弃来自剪辑的离散元素来限制剪辑或一组剪辑的总持续时间。本发明还可以用于根据离散元素在序列中的位置传送这些离散元素，从而确保在通信连接丢失的情况下，在这种中断之前已经被传送的片段对于创建简短的集锦序列而言是最重要的。
[0025]可以产生多个剪辑，将形成这些剪辑的元素形成为由它们各自的事件标签和前-后事件比率确定的单个序列。
[0026]为了降低正以与元素回放的顺序不同的顺序传送的元素所导致的传送的延迟，可以按照比形成后续剪辑的元素更高的压缩比传送早先以剪辑将被播放的顺序形成一个或更多个剪辑的元素。
[0027]在向客户端设备传送视频元素期间，可以将附加的剪辑和事件标签添加到数据库，根据附加的剪辑和形成原始序列的那些剪辑的相对优先顺序，将与该附加的剪辑相关的数据元素插入到传送序列中，从而允许在传送期间更新“追赶(catch up)”服务。
[0028]可以根据传送视频元素所花费的时间来定义预定的最大剪辑或序列长度，从而定义了最大下载时间，这防止了传送系统在低带宽下过载。反而可以根据由视频元素表示的序列的持续时间来定义该预定的最大值，从而定义了观看所得到的视频序列所花费的时间。无论在哪种情况下，如果与请求设备的连接丢失，则可以终止该传送处理，但是因为元素与事件标签一起首先被传送，所以存在由事件标签定义的关键时刻。
[0029]可以传送多个剪辑，形成剪辑的元素将被传送的顺序由它们各自的事件标签和前-后事件比率确定。因此，可以为按与由其各自的事件标签标识的事件的重要性和与其各自的事件标签相对的接近度二者相对应的顺序的传送设置形成剪辑的序列的元素的优先次序。
[0030]本发明利用了基于视频块(元素)与事件的关系允许视频块(元素)的优先次序的机制，以便关于带宽和可用时间的限制将视频灵活地传送和呈现给客户端设备。
[0031]本发明使用事件时间码和事件的知识以根据与视频序列中的关键事件有关的单一的事件时间码和比率来定义视频剪辑。该比率确定了由时间码识别的瞬间之前和之后的剪辑的相对持续时间。如我们的具有申请人参考A32513的共同未决申请所述，可以通过使用用户概况和与由其他观众提供的多个“事件标签”的比较和聚集进一步提炼事件时间码。在优选的方法中，接收客户端设备定义了剪辑的持续时间，但是在另选的实施方式中，剪辑的定义和提供可以由基于网络的服务器基于对终端客户端、网络连接和用户的知识(例如，通过提供定制化的清单文件)来执行。因此，用户设备可以从服务器请求剪辑并且根据所需要的剪辑的持续时间将剪辑组成视频序列。
[0032]本发明根据单个“书签”定义了视频剪辑，使用与书签相关的元数据，这使得在带宽和时间受限的情况下实现对体育视频“集锦”剪辑的优化的传送和动态编辑。本发明还向观众提供了为体育电视节目的最喜欢的部分作书签的能力，使得观众可以导航到节目中的具体事件并且分享视频剪辑。
[0033]本发明使用观众定义的“临时书签”使得观众能够识别出视频序列(诸如，足球比赛中的进球)中的多个关键事件。这些书签作为时间码与识别作为属于某一类型的事件的时间码的相关元数据一起被存储。这种技术的关键的好处是只需要一个“事件标签”来创建集锦剪辑，其中，通常“进”和“出”标签将需要被识别，以指定剪辑的开始点和结束点。具体地，因为单个“事件标签”与用于识别在所标记的点之前和之后提供的