在媒体流之间使时间线信息相互关联的制作方法
【技术领域】
[0001]本发明涉及用于在第一媒体流和第二媒体流之间使时间线信息相互关联的系统和方法。本发明此外涉及包括该系统的媒体分发网络，涉及如在该系统中使用的内容监视器、时间线监视器或相互关联子系统，并且涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。本发明此外涉及同步客户端。
【背景技术】
[0002]诸如视频内容和音频内容的媒体内容通常以数字形式递送给用户。如果媒体内容具有时间方面，并且特别地与指示将如何随时间播出媒体内容的时间线相关联，则这样的数字形式通常被称为媒体流。媒体流可以经由媒体分发网络被递送给用户的接收器。特别地，媒体流可以被流式传输到接收器，这允许接收器在接收到整个媒体流之前开始媒体流的播出。然而，媒体流也可以以非流式传输的方式被递送到用户的接收器，例如通过以文件的形式被递送到接收器。
[0003 ]媒体流的示例包括诸如相机记录的或计算机再现的流之类的视频流、诸如麦克风记录的流之类的音频流、诸如字幕流或社交媒体流之类的定时文本流、在接收器处示出广告图像或执行动作的定时事件流、以及包括不同类型的媒体流的多媒体流。
[0004]不同的媒体流可以与公共播出时间线相关联，因为在媒体流之间可能存在时间关系。特别地，媒体流可以打算以同步的方式被播出。如果媒体流涉及相同事件的不同记录，例如，其中第一媒体流是视频流并且第二媒体流是音频流，或者第一媒体流是表示从第一相机角度的事件的记录的视频流并且第二媒体流也是视频流但是表示从不同相机角度的记录，则情况可能是这样。
[0005]因此，可能存在对于使得能够以同步的方式播出不同媒体流的需要。此外，可能存在对于使得能够例如跨不同接收器、以同步的方式播出相同的、类似的或不同的媒体流的需要。以下是其中可以采用这样的媒体同步的已知示例:
?社交TV，其中期望跨多个TV或多个用户的其它设备的相同或类似的媒体流的同步。相同或类似的媒体流可以包括相同流的技术变型，但是它们还可以包括对于相同事件、然而构成不同内容的流，诸如对相同事件、从不同相机角度的记录。
[0006].混合TV，其中期望潜在地经由多个路由到达单个TV的多个媒体流的同步。这样的多个路由可以包括，例如，数字视频广播(DVB )、因特网协议(IP )多播和IP单播。
[0007].伴随屏幕，其中期望在TV和伴随屏幕(例如平板设备)之间同步相同或不同的媒体流。注意到，术语“伴随屏幕”也已知为第二屏幕。
[0008]注意到，上述示例主要是指电视，但是对于其它类型的设备或接收器存在类似的示例。此外，在上述示例中，媒体流中的一些或全部可以是实时或准实时的媒体流。附加地或替代地，媒体流中的一些或全部可以例如由媒体分发网络来高速缓存，或者例如由个人视频记录器(PVR)来记录，或者构成这样称呼的重放(catch-up)TV或用户特技模式(trick-mode)媒体流。
[0009]广播方可以采用媒体同步来提供同步的服务，其中用户可以以各种广播方提供的组合、经由多个路由和/或在多个设备上组合媒体流。这样的同步可以发生在所有媒体流聚集的广播方的演播室系统中。而且，增值服务提供商可以采用媒体同步以提供增值同步服务。增值媒体流的示例包括提供对另一媒体流(例如广播的视频流)的评论、加字幕、音频描述或手语解释的媒体流。
[0010]与媒体同步相关联的问题可能是，尽管不同的媒体流可以在广播方或第三方处被同步，但是它们可能在被分发到终端用户时失去其同步性。例如，媒体流可以经由不同的路由被递送。这些路由由于距离(传输速度)、复用和路由(缓冲)、经高速缓存和记录的递送、信号处理(例如混合、转码)等方面的差异而具有不同的延迟。类似地，在增值服务提供商的情况下，可以从服务提供商递送增值媒体流，而可以从广播方、即经由不同的路由来递送原始广播流。
[0011]F.B ο r ο n a t 等人的文章 “Mu 11 i me d i a group and inter-streamsynchronizat1n techniques: A comparative study”(Elsevier Informat1nSystems, 34，2009, pp.108-131)提供了已知的目的地间同步技术(即不同最终终端之间的同步)的全面概述。
[0012]大多数引用的目的地间同步技术利用被包括在媒体流中的时间线信息。这里，术语“时间线信息”是指使得接收器能够根据播出时间线来播出媒体流的媒体样本的元数据。例如，如果经由实时传输协议(RTP)来递送媒体流，即构成RTP媒体流，则可以使用诸如RTP时间戳的时间线信息。时间线信息的其它示例包括这样称呼的节目时钟参考(PCR)、呈现时间戳(PTS)和解码时间戳(DTS)。通过跨不同的接收器比较这样的时间线信息，可以计算适当的流调整。为了使得能够跨接收器实现这样的比较，可以在接收器上使用同步的挂钟(wal Ι-clock)，或者替代地，具有很少和/或已知延迟的高质量信令连接。例如，可以通过在接收器处缓冲媒体流来实现媒体流的播出时间的延迟。
[0013]已经认识到，媒体流可能在媒体分发网络中丢失其原始时间线信息。这样的媒体分发网络通常由有线运营商、电信运营商和因特网服务提供商(其通常与广播方或增值服务提供商不同)所拥有。在这样的媒体分发网络中，媒体流可以在头端中被修改，以便使得媒体流适合于通过网络分发。这些网络可以是例如基于DVB的(DVB-T、DVB-C、DVB-H)、基于IP的(RTP/RTCP、IP多播、IP单播)。不同的编解码器(MPEG 2、H.264、HEVC)、传输技术(广播、流式传输、渐进式下载、自适应流式传输)等可以使用在媒体流的最终递送中。在这些过程中的一个或多个期间，媒体流可能被剥去其原始元数据。结果，原始时间线信息可能没有被包括在修改的媒体流中。替代地，可能包括新的元数据，其可以包括新的时间线信息。
[0014]对媒体流的这样的修改的示例包括:
?(再)复用。用于MPEG TS(传输流)的大多数复用器在进行复用时生成新的PCR/PTS/DTS值。然而，通常仅改变PCR/PTS/DTS的绝对值，而其跨媒体流的关系被维持。因而，音频-视频声像同步(lip sync)可以被保持。
[0015]?转码和重编码。这里，在传入和传出的媒体样本之间的所有关系可能丢失。例如，在视频流的情况下，视频流的帧可以变成不同的类型，例如从I帧到B帧。此外，如果帧率在转码和重编码期间改变，则在传入和传出的帧之间的一对一关系可能丢失。另外，媒体流的整个容器可能改变，例如从这样称呼的TS到ISOBFF，由此也改变时间线信息的类型。
[0016]?技术或商业原因。媒体分发网络可能拒绝传递时间线信息。例如，DVB同步辅助数据分组标识符(SAD-PID)可能默认地从传输流(TS)中剥去。这可能是故意的，例如出于所述商业原因，或者参数可能只是不被当前网络所支持，从而构成技术原因。
[0017]除了媒体流被修改并且从而丢失其原始时间线信息之外，这样的时间线信息也可能固有地在意图被同步播放但是已经初始地(例如在媒体流发源处)没被提供有公共时间线信息的不同媒体流之间不同。同样，这里可能存在对于媒体同步的需要。
[0018]WO 2010106075 Al描述了一种用于至少第一和第二(媒体)流的目的地间媒体同步的方法和系统，其中第二流是使用第一流作为输入流的流修改单元的输出流。该方法包括以下步骤:提供到达第一同步点的第一流中的分组的第一到达时间信息以及到达第二同步点的第二流中的分组的第二到达时间信息;提供关于在所述输入流和所述输出流之间的同步性关系的同步相互关联信息；以及，基于第一和第二到达时间信息以及同步相互关联信息来计算延迟信息。
【发明内容】
[0019]虽然WO2010106075 Al使得能够在修改的和未修改的媒体流之间或者在两个不同地修改的流之间实现目的地间媒体同步，但是将会有利的是提供一种进一步在所述媒体同步的至少一个方面上有所改进的系统或方法。
[0020]本发明的第一方面提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，并且该系统包括:
-至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以使用媒体流来可再现地获得的数据，其中，所述至少两个内容监视器包括用于提供第一媒体流的第一持久标识的第一内容监视器以及用于提供第二媒体流的第二持久标识的第二内容监视器;以及-相互关联子系统，其被布置用于:
i)接收在时间上与第二持久标识相关的第一持久标识，
ii)接收在时间上与来自第二媒体流的时间线信息的第二时间戳值相关的来自第一媒体流的时间线信息的第一时间戳值，
iii)将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及
iv)基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而将第一时间线信息与第二时间线信息相互关联。
[0021]实施例在从属权利要求中被限定。
[0022]上述措施提供了一种系统，该系统包括至少两个内容监视器。所述两个内容监视器中的每一个提供不同媒体流的一个或多个媒体样本的持久标识。这里，术语“持久标识”是指可以使用媒体流可再现地获得的数据。持久标识的示例包括指纹、水印以及标记，其以持久方式被包括在媒体流中。将领会到，这样的标识可以是持久的，因为它们对着在例如经由媒体分发网络的媒体流的分发期间媒体流可能经受的各种处理可以是稳健的。这样的标识还可以因为以下而是持久的:它们可以间接地从媒体流、例如从接收器的所捕获的播出中获得。因而，第一内容监视器