用于实时同步的系统的制作方法

本发明涉及用于在多个用户之间共享多媒体内容的系统。本发明还涉及用于共享多媒体内容的对应的方法，并且涉及被配置成共享多媒体内容的系统的特定设备。

在过去的十年中，社交媒体平台的应用已大大增加。社交媒体平台使得大量用户能够通过例如共享通知、声音、图片或影片来交互。通常，要共享的内容被上载到服务器，该服务器主要取决于授权功能使得能够对其他用户进行访问。授权用户可以从服务器复制、流播或下载内容。

此外，一些社交媒体平台例如任何种类的信使或聊天程序实现了使得用户能够直接相互交互的功能。在这样的程序中，用户可以将多媒体内容发送到可以播放共享的多媒体内容的其他用户的设备。

然而，在任何情况下，均需要将要共享的数据从主用户设备传送到服务器并且从服务器传送到其他用户设备，或者直接在设备之间传送。因此，共享多媒体内容是烦琐的，并且涉及若干交互步骤直到其他用户可以播放多媒体内容。

本发明的目的是提供集成了多个设备的系统以及可以由计算机程序执行以改善和简化用户之间的多媒体内容共享的对应的方法。

根据本发明的第一方面，提供了系统，包括第一设备、至少一个第二设备和第三设备，其中，第一设备包括用于生成用于回放的邀请和基于多媒体内容的回放的播放时间戳并且将邀请和播放时间戳发送到至少一个第二设备的装置，第三设备包括用于生成系统时间并且将系统时间分发给至少一个第二设备和/或第一设备的装置，至少一个第二设备包括用于接收邀请和播放时间戳并接收来自第三设备的系统时间并当播放时间戳与系统时间匹配时与第一设备同步地播放多媒体内容的装置。

本发明提供了系统，该系统使得用户能够高效且快速地交互。此外，该系统使得用户能够邀请其他用户同步地播放相同的多媒体内容。在该情况下，多媒体内容包括音频、视频或任何通信介质。同步回放使得用户能够与其他用户共享自己的情感，使得所有用户同时对相应的多媒体内容体验其情感。例如，用户可以收听音乐，并且在收听音乐时，用户可以邀请朋友收听相同的音乐，并且同时共享感受。同样，受邀用户中的一些用户可以自己影响回放，从而在收听者社区中共享自己的组份。

通过生成并交换播放时间戳来启用同步回放。在该情况下，通常意义上的播放时间戳限定了相对于参考时间多媒体内容中的某个位置。

参考时间可以是系统时间，该系统时间可以用作系统中设备处的回放的参考。

此外，在该情况下，设备可以是任何种类的智能设备，例如，智能电话、计算机、收音机、电视。此外，可以对设备进行置换，即，每个设备可以用作第一设备、第二设备和第三设备。第一设备也可以用作第二设备或第三设备。反之，第二设备也可以用作第一设备或第三设备，第三设备也可以用作第一设备或第二设备。因此，设备不一定需要播放多媒体内容的装置，因为设备也可能仅分发并生成系统时间。

根据优选实施方式，第一设备包括用于直接和/或经由第三设备将播放时间戳发送到至少一个第二设备的装置。

该实施方式限定了在直接路径上将播放时间戳发送到至少一个第二设备，这减少了至少一个第二设备接收播放时间戳的等待时间。此外，可能有利的是，可以将播放时间戳从第一设备发送到第三设备，并且从第三设备发送到至少一个客户端设备。从而，播放时间戳可以被存储或可以不被存储在第三设备上。这使得能够捆绑若干播放时间戳，并且减少信号的传输延迟。在该意义上的信号可以是在设备之间交换的任何种类的电磁脉冲，特别是邀请、播放时间戳、系统时间或其他时间的传输。因为一些设备可能无法直接连接到第一设备，因此同样有利的是包括第三设备，至少一个第二设备中的每一个均可以获得对该第三设备的访问。

根据另一优选实施方式，第一设备包括用于直接和/或经由第三设备将邀请发送到至少一个第二设备的装置。

邀请可以是邀请用户加入回放的任何类型的电子信号。该实施方式的优点是，邀请可以直接从第一设备发送到至少一个第二设备，这减少了接收邀请的等待时间，并且增强了“我刚开始收听音乐并且邀请其他人”效果。在一些情况下，同样有利的是将一个或更多个邀请从第一设备发送到第三设备——其中，一个或更多个邀请可以可选地保存——并且将一个或更多个邀请发送到至少一个第二设备。在第三设备处，一个或更多个邀请可以被捆绑并同时发送。

根据另一优选实施方式，第一设备包括用于将第一设备的时间发送到第三设备的装置，并且其中，第三设备包括用于基于第一设备的时间生成系统时间的装置。

该优选实施方式限定了系统时间可以基于第一设备的时间。其优点是，最初开始回放的时间系统确定了系统中所有设备的时间。

根据另外的优选实施方式，第三设备包括用于将系统时间发送到第一设备的装置，并且其中，第一设备包括用于在接收到系统时间时基于系统时间生成播放时间戳的装置。

该优选实施方式限定了在第一设备处生成的播放时间戳可以直接基于系统时间。系统时间将由系统中的所有设备共享。因此，如果播放时间是基于系统时间生成的，并且然后直接或经由第三设备发送到至少一个第二设备，则至少一个第二设备可以立即开始回放而无需等待系统时间生成。

根据另一优选实施方式，邀请包含识别多媒体内容的信息，信息包括关于多媒体内容在至少一个连续的时间间隔中的数据包的预定信息和/或多媒体内容的元数据。

该优选实施方式限定了识别多媒体内容的信息可以与邀请一起发送。为了播放多媒体内容，至少一个第二设备可以使用这些信息。在邀请中或与邀请一起发送信息提供高效的传输方式，该传输方式减少了发送信号的数目。

此外，可以经由元数据来进行多媒体内容识别。在该情况下，这些元数据是指定多媒体内容的公共信息(例如，艺术家、标题、出版日期)。由于这些数据是共享的，因此很容易获得并且可供大量用户访问。此外，识别还可以基于关于多媒体内容在至少一个连续的时间间隔中的数据包的预定信息来进行。这些信息适合于文件匹配方法的应用，如以下进一步所讨论的。

根据另一优选实施方式，关于数据包的预定信息包括包位大小(bitsize)和/或包时间间隔和/或预定定时间隔中的包位大小和/或文件格式和/或预定定时间隔和包位大小的内容特定模式。

预定信息可以用于应用文件匹配方法。文件匹配方法使用多媒体内容所独有的以下数据包的大小进行识别。预定义的定时间隔中的若干以下数据包的大小可能形成单独的指纹。这些定时间隔的宽度可以为若干微秒至若干秒。指纹的模式和距离可以被扫描并且与外部或内部存储系统或数据库中存储的多媒体内容的指纹的模式和距离匹配，其中，指纹之间的距离可以在若干微秒到若干秒的范围内。此外，指纹的模式也可以被转换为散列模式。文件匹配方法使得能够高效且可靠地匹配多媒体内容。文件匹配方法也可以应用于设备处的回放同步。

根据另一优选实施方式，至少一个第二设备包括用于根据多媒体内容的元数据和/或预定信息来获得对多媒体内容的访问的装置。

在该优选实施方式中，至少一个第二设备可以经由元数据的匹配和/或经由文件匹配方法独立地获得对多媒体内容的访问。例如，这可以是从本地硬盘驱动器、基于应用的互联网、数据库或任何其他公共平台下载、流播、复制或经由任何其他普通处理(transaction)来获得多媒体内容。因此，不需要将多媒体内容从第一设备传送到至少一个第二设备或经由第三设备传送。这具有若干优点，例如，减少了数据量，提高了安全性，以及减少了等待时间。

根据另一优选实施方式，播放时间戳包含关于回放的开始或改变以及/或者相对于第一设备处的时间和/或与由参与设备所共享的系统时间相关的时间延时的信息。

播放时间戳可以限定多媒体内容回放相对于参考时间的位置。在该情况下，位置可以是回放中的帧、时间或任何其他显著单元。利用该信息，在每个设备上限定回放时间的开始。多媒体内容的回放可以参考系统时间从播放时间戳所限定的位置开始。这使得至少一个第二设备和第一设备能够开始与第一设备同步的回放。此外，可以将例如由信号传输时间导致的延时时间和/或用户响应时间计算到播放时间戳中，使得在生成播放时间戳之后的未来任何时间开始回放。

根据另一优选实施方式，至少一个第二设备包括用于使用第一设备和/或经由第三设备特别地根据预定信息和/或根据特定时间戳连续地同步多媒体内容的播放时间戳。

每次改变回放时，可以在改变(例如，暂停、停止、固定)回放的设备处生成新的播放时间戳。这可以由第一设备来进行，也可以由一个或更多个客户端设备中的每一个来完成。经由回放的播放时间戳改变的连续同步几乎立即在至少一个第二设备上实现。因此，同步速率的范围可以从微秒级到若干秒。在改变的播放时间戳的情况下，尚未生成新的播放时间戳的这些设备可以从由新的播放时间戳新限定的位置开始回放，并且从而跟随相应的生成设备。实际上，如果第一设备仅提供播放时间戳(文件中的时刻)以及播放时间戳的时刻处的系统时间就足够了，这样每个人将来均应当能够仅通过计算当前系统时间与生成播放时间戳的时刻处的系统时间之间的差异计算出当前播放时间戳。

根据另一优选实施方式，至少一个第二设备包括用于相对于第三设备和/或第一设备的系统时间特别是经由连续的同步和/或经由发送回音检测(ping)信号来调整时间延迟的装置。

该优选实施方式一方面确保在相应的设备处的系统时间中可以考虑信号传输期间的定时延时。这也可以确保设备处的回放完全同步并且不会由于信号传输延迟而偏移。因此，至少一个第二设备可以经由回音检测信号分开测量到第一设备和第三设备的信号传输时间，并且对应地调整相应的系统时间。

根据另一优选实施方式，第三设备包括用于将回音检测信号发送到至少一个第二设备和/或第一设备的装置，第三设备还包括用于根据至少一个第二设备、第一设备和第三设备之间的时间延迟来调整系统时间的装置。

该优选实施方式的优点是，在第一设备和至少一个设备上的回放是同步的，并且可以不受信号传输延迟的影响。因此，可以经由可以从第三设备发送的回音检测信号来确定传输时间。到至少一个第二设备和/或第一设备的各个传输时间可以作为校正因子被计算到相应的系统时间中。

附图说明

在以下附图中：

图1示意性地示出了根据一个实施方式的用于实时同步的系统。

图2示意性地示出了主设备和客户端设备处的同步回放。

图3示意性地示出了经由文件匹配的文件识别。

图4示意性地示出了文件匹配系统到散列模式的变换。

图5示意性地示出了根据第二实施方式的用于实时同步的系统。

图6示意性地示出了根据第三实施方式的用于实时同步的系统。

具体实施方式

附图中的图示是示意性的。在不同的附图中，相似或相同的元素设置有相同的附图标记。

实施方式1

图1示出了根据一个实施方式的用于实时同步的示例性系统。系统包括至少三个设备。设备中的第一设备可以是主设备(h)，设备中的第二设备或更多设备可以是客户端设备(c1，c2…)，并且设备中的第三设备可以是服务器设备(s)。在本申请的意义中，所有设备可以相等。设备可以是用于传输和接收以及存储多媒体内容的装置。本申请的意义中的设备可以例如是电话、个人计算机或平板电脑。用于回放的装置是有利的，但不是必需的，例如，可以用作服务器设备的设备不一定需要播放多媒体内容。

设备可以进行通信，并且信号可以通过任何种类的无线或有线绑定电信(例如，互联网、蜂窝或卫星网络、蓝牙、nfc、无线电)来发送。此外，应当理解，当从一个设备发送若干信号时，这些信号可以被组合地或单独地发送。

想要欣赏多媒体内容例如歌曲或音乐视频的回放的用户可能还想要与其他用户共享情感，使得他们同时体验情感。当使用可以用作主设备(h)的设备播放多媒体内容时，用户可以邀请具有客户端设备(c1，c2…)的其他用户同时欣赏多媒体内容。因此，用户的主设备(h)可以生成邀请(i)以邀请其他用户。

邀请(i)可以包括指定多媒体内容的信息。例如，这些信息可以是元数据，例如，标题、艺术家或预定指示号。此外，邀请可以包含关于使得能够进行文件匹配过程的多媒体内容的文件结构的信息，如下所述。

主设备(h)还可以根据主设备对多媒体内容的回放来生成播放时间戳。播放时间戳可以是分配给多媒体内容的数据包或时间间隔的任何种类的时间戳例如呈现时间戳(pts)，并且可以参考参考时间(例如，系统时间(st)或主机时间(ht))。

因此，播放时间戳(pt)限定了多媒体内容相对于参考时间的播放时间。

主设备(h)可以将邀请(i)连同播放时间戳(pt)一起发送到一个或更多个客户端设备(c1，c2…)，并且将邀请(i)连同主机时间(ht)一起发送到服务器设备(s)。在接收到主机时间(ht)时，服务器设备(s)可以基于主机时间生成系统时间(st)，并且将系统时间(st)分发给至少一个客户端设备(c1，c2…)并且可选地分发给主设备(h)。

已接收到邀请(i)和播放时间戳(pl)，一个或更多个客户端设备(c1，c2…)可以基于经由邀请(i)发送的信息获得对多媒体内容的访问(例如，下载、复制、流播)。这可以经由将元数据与数据库中存储的多媒体内容的元数据匹配来进行，或者经由文件匹配(见下文)对多媒体内容的内容特定文件结构进行匹配来进行。获得对多媒体内容的访问可以独立于主设备(h)，即，多媒体内容本身不需要被传送到一个或更多个客户端设备(c1，c2…)，这减少了发送的数据量和响应等待时间。

另外地但非必须地，一个或更多个客户端设备(c1，c2…)在接受了邀请(i)和播放时间戳(pl)时，也可以将定时请求(rq)发送到服务器设备，该服务器设备在接收到定时请求(rq)时将系统时间(st)分发给一个或更多个客户端设备(c1，c2…)。

可选地，一个或更多个客户端设备(c1，c2…)或服务器设备(h)可以将单独的时间延迟计算为系统时间(st)。可以经由对信号传输的时间延时进行测量的回音检测信号来测量时间延迟。此外，还可以经由回音检测信号来验证一个或更多个客户端设备(c1，c2…)和/或服务器设备(h)的可用性。从一个或更多个客户端设备(c1，c2…)中的每一个以及/或者从服务器设备(s)和/或主设备(h)发送或接收回音检测信号。

已接收到系统时间(st)和播放时间戳(pl)，当播放时间戳匹配对应的参考时间时，一个或更多个客户端设备(c1，c2…)可以开始播放从相应的数据时间间隔开始的多媒体内容或由播放时间戳指定的数据包。这在图2中示意性地示出。

播放时间戳(pt)可以在主机(h)与一个或更多个客户端设备(c1，c2…)之间连续同步。主设备(h)可以用作客户端设备(c1，c2…)的回放的控制器。例如，如果在主设备(h)处暂停回放、固定回放或重复回放，则将相对于系统时间修改播放时间戳(pt)。由于可以同样地同步一个或更多个客户端设备(c1，c2…)处的播放时间戳(pt)，因此多媒体内容的回放跟随主设备的回放。

以此方式，相同的多媒体内容在主机(ht)和客户端设备(c1，c2…)上同步播放。因此，多个用户可以同时欣赏相同的内容并且共享相同的情感。

应当理解，客户端设备(c)与主设备(h)之间可能没有差异。因此，每个客户端设备(c)可以用作主设备(h)，并且每个主设备(h)可以用作客户端设备(c)。因此，客户端设备(c)也可能影响主设备(h)和/或一个或更多个客户端设备(c1，c2…)中的其他客户端设备处的回放，例如，固定回放、暂停回放或停止回放。

文件匹配

为了可靠地识别多媒体内容文件，提供了在限定的时间和大小范围内比较数据包的方法。在该情况下，该方法可以被称为文件匹配方法并且在图3和图4中示出。

在时间和大小网格内单个数据包(1)的位置生成特定模式，在图3中示例性地示出。模式可以被划分为被标记为指纹的若干时间窗。示意性地示出了第一指纹(a)。指纹可以包括具有约2ms的窗(t1)的时间分辨率，并且包括若干数据包(1)例如帧。数据包的顺序以及因此时间尺度上的指纹是多媒体内容的特征。

多媒体内容在时间线上的第一指纹(a)限定了起点。通过扫描多媒体内容文件以得到这样的指纹，可以在数据库中找到相同的文件。数据结构与第一指纹(a)的匹配指示相同的文件。其中，若干指纹和相关的复查导致更准确的结果。由此，单独的指纹之间的间隔(t2)是相同文件的另一标识符。意味着不仅指纹可以匹配，指纹在时间上的顺序和布置也可以匹配。

实际上，如图4所示，可以扫描第一文件以得到其第一有效模式，并且可以将扫描的指纹变换为散列模式。扫描第一指纹可以通过扫描例如2ms的时间窗以得到该时间窗中的数据包的大小来进行。然后可以将特定时间处的数据包变换为散列模式。在下面，可以以相同方式扫描先前间隔中的第二指纹，并且可以形成第二散列模式。对于第二文件或更多文件，这可以同样地进行。

如果第一指纹、第二指纹或甚至更多指纹的散列模式以及它们的间距与第二文件的间距和指纹匹配，则找到匹配。

指纹之间的时间间隔可以以多种方式设置，例如，以相等的间隔设置，在数据结构的时间线上随机地设置，或者某种程度上与有效模式相关地设置。

这可能导致从属散列码(指纹及其相关间隔)以及描述指纹的特定模式的从属散列码。两种散列码的合并可以交付最终散列码。

此外，可以将这些散列码存储在数据库中。

实施方式2

图5示出了根据第二实施方式的用于实时同步的示例性系统。第二实施方式实质上与第一实施方式相同，在下文中将描述区别特征。

第二实施方式的系统包括至少三个设备。设备中的第一设备可以是主设备(h)，设备中的第二设备或更多设备可以是客户端设备(c1，c2…)，并且设备中的第三设备可以是主设备(h)。

主设备可以生成邀请(i)和播放时间戳(pt)。参数与第一实施方式相同。然而，在第二实施方式中，主设备(h)将邀请(i)连同播放时间戳(pt)和主机时间(h)一起发送到服务器设备(s)。

服务器设备基于主机时间(ht)生成系统时间(st)。服务器设备(s)还将邀请(i)连同播放时间戳(pt)和系统时间(st)一起发送到至少一个客户端设备(c1，c2…)。服务器设备(s)可以可选地将系统时间(st)发送到主设备(ht)。

在接收到邀请(i)、系统时间(st)和播放时间戳(pt)时，至少一个客户端设备(c1，c2…)可以播放与主设备(h)处的回放同步的多媒体内容。

此外，服务器设备(h)可以包括存储播放时间戳(pt)、系统时间(st)、主机时间(ht)和邀请(i)的装置。播放时间戳(pt)、系统时间(st)、主机时间(ht)和邀请(i)可以在主设备(h)、服务器设备(s)和至少一个客户端设备(c1，c2…)之间连续同步。

实施方式3

图6示出了根据第二实施方式的用于实时同步的示例性系统。第二实施方式实质上与第一实施方式相同，在下文中将描述区别特征：

服务器设备(s)生成系统时间(st)，并且将系统时间(st)分发给主设备(h)。在接收到系统时间(st)时，主设备(h)基于系统时间(st)生成播放时间戳(pt)。主设备(h)还生成邀请(i)，并且将邀请(i)连同播放时间戳(pt)一起发送到服务器设备(s)。

在接收到邀请(i)和播放时间戳(pt)时，服务器设备(s)可以将邀请(i)连同播放时间戳(pt)和系统时间(st)一起分发给至少一个客户端设备(c1，c2…)。如第一实施方式所述，至少一个客户端设备(c1，c2…)可以播放与主设备处的回放同步的多媒体内容。

在另外的实施方式中，可以理解的是，将播放时间戳(pt)、邀请(i)和系统时间(st)发送到设备以及在设备之间共享播放时间戳(pt)、邀请(i)和系统时间(st)的各种实施方案均是可行的，例如，将邀请(i)直接发送到一个或更多个客户端设备(c1，c2…)，并且经由服务器设备(s)发送播放时间戳(pt)和系统时间(st)。