专利名称：用于多媒体数据的时移重放的设备及其方法
技术领域：
本发明涉及用于音频/视频数据的时移重放的设备及其方法。
背景技术：
现在，数字解码器越来越普及地装配了大容量存储装置，使得音频/视频节目能够被现场记录。许多数字解码器具有复杂的功能，诸如便于记录并显示实时传输的节目。其还具 有时移重放的功能，使用户能够在记录节目的同时显示该节目，在继续记录节目的同时执行重放的暂停，以及使用已记录的数据来重新开始显示数据。这种系统的缺点如下在发起暂停之后，用户以相对于其传输的一定延迟来观看音频/视频数据。这对实时发生的事件，更具体地在特别适于实况模式下显示的体育事件的情况下，特别地不利。
发明内容
因此，本发明为用户提供了以下便利，即在不丢失可能在暂停时间内发生的重要事件的同时，在或长或短的暂停时间之后重新开始显示。为此，本发明提出了一种用于音频/视频数据的时移重放的设备，该设备包括-用于存储接收到的音频/视频数据的装置(13)，-用于将接收到的所述音频/视频数据记录在所述存储装置中的装置(12，17)，-用于在记录时显示接收到的所述音频/视频数据的装置，-用于在继续记录所述音频/视频数据的同时在给定时间暂停所述音频/视频数据的显示的装置(20b)，-用于在检测到用户发起的暂停时，触发创建在所述暂停期间接收到的所述音频/视频数据的视频摘要的装置(12，17)，所述设备的特征在于-用于在所述音频/视频数据被记录之前标记所述音频/视频数据，以便识别形成所述摘要的音频/视频数据，并通过分析所述音频/视频数据的内容来检测将要在所述摘要中保留的所述音频/视频数据的开始和结束的装置(12，17)，-在从暂停模式切换回重放模式时，所述显示装置在重新开始实时接收到的所述音频/视频数据的重放之前，显示在暂停期间接收到的音频/视频数据的所述摘要。根据本发明-在切换回重放模式时，所述显示装置在重新开始重放实时接收到的所述音频/视频数据之前，显示在暂停期间接收到的音频/视频数据的摘要。
因此，本发明使得可以在暂停时间后重新开始显示接收到的音频/视频数据，只是首先显示在暂停时间期间接收到的最重要数据。按照这种方式，用户不会错过重要时刻，并且可以逐渐恢复实时接收到的数据的显示。与已知的时移重放设备相比，这呈现出了某些优点，在已知的时移重放设备中，用户以由于请求暂停时的暂停所造成的延迟来显示接收到的音频/视频数据，因此赶不上实况模式下的显示。这样的设备特别适用于可以将诸如元数据的附加信息与所传输的流相关联的编码格式。在优选方式下，用于创建摘要的装置从在停止显示时接收到的音频/视频数据中提取重要的代表性时刻。根据优选实施例，用于创建摘要的装置创建了包括音频/视频数据的文件，该音频/视频数据与在停止显示时记录的音频/视频数据的代表性时刻相对应。本发明还涉及一种用于在包括存储装置的记录和显示设备中时移重放音频/视 频数据的方法，该方法包括以下步骤-存储接收到的音频/视频数据，-将接收到的音频/视频数据记录在所述存储装置中，-在记录时显示接收到的所述音频/视频数据，-在继续记录所述数据的同时，在给定时间暂停所述数据的显示，-检测用户发起的暂停，并且响应于所述检测，触发创建在所述暂停期间接收到的所述音频/视频数据的视频摘要，所述方法的特征在于，所述方法还包括以下步骤-在所述音频/视频数据被记录之前标记所述音频/视频数据，以便识别形成所述摘要的音频/视频数据，并通过分析所述音频/视频数据的内容来检测将要在所述摘要中保留的所述音频/视频数据的开始和结束；-在切换回重放模式时，在重新开始实时接收到的数据的重放之前，显示在暂停期间接收到的音频/视频数据的所述摘要。
参考附图，利用示例性实施例及其有利实现，可以更好对本发明进行理解以及例证，这些示例性实施例是非限制性的，在以下附图中图I示出了根据本发明的设备的示例，示出了正常操作模式下的数据流，图2示出了根据本发明的设备的示例，示出了在暂停显示节目时的数据流，图3示出了根据本发明的设备的示例，示出了切换到摘要显示模式时的数据流，图4示出了用于根据音频分量来检测节目的最显著部分的状态机。
具体实施例方式在各个附图中示出的模块为功能单元，该功能单元可对应于或不可对应于物理上可识别的单元。例如，这些模块或这些模块中的一些可以被组合为单一组件，或形成特定软件块的功能。另一方面，某些模块可以(如果必要的话)由物理上分离的实体构成。图I到图3示出了根据本发明的设备的示例，示出了各种操作模式以及在这些操作模式下的数据路径。图I示出了操作模式，其中以现有技术中已知的实时方式来记录并传输数据。所示出的设备优选地为数字解码器，或“机顶盒”。机顶盒包括两个调谐器Ia和lb，用于接收两个卫星节目。这两个调谐器Ia和Ib分别连接到解调器2a和2b。解调器2a和2b的输出端连接到过滤和解复用模块3。此模块3用于从卫星所接收到的流中恢复出各种节目。根据其标识符(PID)对这些不同的节目进行过滤。模块3连接到协处理2。协处理器12减轻了主处理器17的任务，该任务与管理通过专用总线连接的外围链路相关。协处理器12连接到各种接口，以及，具体地连接到-USB 接口 16，
-串行接口15,-调制解调器14，-硬盘13，-芯片卡读出器19,-付费专用芯片卡读出器18，-与SDRAM类型的主存储器相关联的主处理器。协处理器12也连接到PCM混合模块6.芯片卡读出器18和19分别容纳芯片卡21b和21a。主机处理器17运行由节目广播器所提供的应用程序，并驱动协处理器12。在这种操作模式下，将在调谐器Ia和Ib上接收到的数据记录在硬盘13中。也可以通过数字/模拟转换器7以及PAL/SECAM编码器10，将其分别传输到音频和视频输出，以便显示。记录为了将数据记录在硬盘13中，将数据从调谐电路Ia和Ib传送到解调器2a或2b，然后将其传输到解复用器3。将未解复用的音频/视频数据传输到协处理器12。通过协处理器12将音频/视频数据流记录在硬盘13上。显示可以在记录数据时将其显示。为此，将音频数据从解复用器3传输到音频解码器5。然后将该音频数据传输到PCM混合模块6。然后，在将该音频数据传送到音频输出以便收听之前，将其传输到数字-模拟转换器7。将视频数据作为解复用器3的输出传输到MPEG-2类型的解码器8。然后取决于显示设备，将已解码的数据传输到图形卡9和PAL/SECAM编码器。图2示出了在请求暂停显示时如图I中所描述的相同设备的操作。在按下暂停按钮时，设备继续将数据记录在硬盘13上。然而，数据不再被传输到显示器中所包括的多个模块。因此，将音频/视频数据从解复用器3的输出传输到协处理器12。协处理器12将接收到的音频/视频数据传输到硬盘13。处理器17创建接收到的音频/视频数据的摘要。
根据优选实施例，处理器17在接收数据时创建了接收到的数据的摘要。适时创建的摘要也被记录在硬盘13中。只要不将设备切换回显示模式，处理器17继续产生摘要。存在多种创建摘要的方法。根据这个优选实施例，处理器17使用音频数据和视频数据来创建摘要。处理器17首先分析音频分量。由此，检测事件的重要时刻。如果可以将音频用于检测体育事件时的观众反应，观众反应经常出现在要保留在摘要中的最重要部分的结尾处。然后，通过分析视频分量来对镜头变化进行后继检测，这补充了镜头变换的检测方法的稳健性，并且可以被用于得到将要保留在摘要中的事件的开始场景。摘要包括在暂停显示的同时接收到的节目的最佳时刻。在其它实施例中，摘要也可以只包括代表某些事件的某些特定片段。例如，对于足球比赛，摘要可以只包括射门。用 户可以通过用户界面20b输入这些偏好。稍后将描述的图4说明了如何考虑音频分量以便构造摘要。在Tong Zhang于2001年12月14日提交的US2003/0112261的美国专利申请中也描述了考虑音频和视频分量的自动摘要构造方法。在接收到音频/视频数据时，将该数据传输到以实况模式构造摘要的处理器17，使得该摘要在设备切换回重放模式时可用。摘要数据是重复了所传输事件的重要时刻的输入音频流的一部分。以文件形式将接收到的流的这些不同的部分记录在硬盘13上。对视频的重要时刻的检测是基于对镜头和场景的变化的检测。例如，在ThomsonLicensing SA于2003年7月I号提交的并于2004年9月3号公布的序列号为FR2851873的法国专利申请中提出了这样的一种方法。在所传输的节目为体育事件时，包括最佳时刻的摘要的自动构造尤其与以下有关在比赛中电视观众尤其注意的诸如足球比赛中的射门以及任意球的时刻，或网球比赛中的平分赛点的时刻。在其它实施例中，摘要的构造也可以不包括提取出重要的时刻，从而产生只包括摘要数据的数据流。摘要的构造也可以包括标记流以便界定重要场景。在重放流时，重放指示器只重放有标记的场景的图像。通过分析音频和视频分量，使用与摘要的构造相同的方式来标记重要场景。按照这种方式，在接收到数据时将其记录，只存储指示器或标记的地址，以便在观看摘要时只重放重要的场景。当设备处于暂停模式时，处理器17在接收到数据时，构造接收到的数据的摘要或
己 O图3示出了在暂停后请求重新显示时如图I和图2中所描述的相同设备的操作。在用户想要重新开始之前已经开始观看的节目的显示时，回复到显示模式。然后以摘要的形式在屏幕上显示暂停期间记录的数据。这样，用户迅速而有效地观看暂停期间所传输的节目，使得用户能够很快跟上直播。为此，在检测到重启模式(暂停结束)时，处理器17将与已创建的和创建中的摘要相关的信息发送到协处理器12，使得协处理器12能够读取硬盘13上的摘要的音频/视频数据，并通过解复用器12将音频/视频数据传输到MPEG视频解码模块8，以及通过复用器3将音频数据传输到PCM解码模块6。然后，对于音频而言，通过模块7将该数据传输到显示模块，而对于视频分量而言，通过模块9和10将该数据传输到显示模块。从处理器17传输到协处理器12的与摘要有关的信息包括硬盘上的摘要的开始地址。在不单独根据数据单独创建摘要，而只由指示器来识别重要时刻时，将重放指示器从处理器17传送到协处理器12，协处理器12从硬盘13中读取相应的音频/视频数据。因此显示该摘要，直至硬盘13上所记录的数据全部被概括。在显示摘要的同时，显示附加信息，这向用户表示了所观看的数据为摘要数据。同样地，在切换到实况显示模式时，通过屏幕上的消息来通知用户正在切换回实况模式。因此，由于摘要数据在数量上比节目的总量要少，因此可以赶上直播。在赶上直播时，设备切换回图I中所描述的实况显示模式。这对于体育事件特别有利，在体育事件中， 一方面，观众想要观看比较的重要时刻，另一方面，观众想要观看实况事件，因此不想在时移重放模式下逗留太久。如果用户在观看摘要数据的同时按了暂停，那么摘要的构造如之前所描述地自动地继续，直至显示模式重新开始。在切换回实况模式之前，连续地显示第一次暂停期间所创建的以及第二次暂停期间所创建的全部摘要数据。图4示出了在摘要构造中识别音频数据的状态机，增强了检测重要场景的稳健性。该方法基于如下假设在节目中发生事件时观众产生反应，该节目显示体育事件或其他类型的诸如美国式“脱口秀”的事件，上述事件中需要观众非常集中注意力。通过检测音频信号的能量峰值来搜索观众反应。当这个反应足够长时，则设想有关的时间段是令人感兴趣的。能量水平取决于所发生的情节，但是也取决于观众或其他因素。因此，搜索在事件期间观众反应较多的时刻。在mE表示从比赛开始的信号能量的平均值的情况下，如果计算的能量大于所计算的平均值mE，则存在能量峰值。更精确地，可以保持那些能量大于mE+k* σ E的峰值，其中σ E表示从比赛开始的相同能量的标准偏差。可以将参数k用于减少检测到的峰值数。可以确定的是，峰值实际上对应了事件中的令人感兴趣的时间段，考虑峰值的持续时间是很重要的。在某些情况下，平均起来，可以以3秒来估计这个时间。这个时间通常取决于观众。参考示出了状态机的图4，对此方法进行描述。在重传开始，状态SI处，测量能量。如果该能量大于之前所描述的预定阈值，那么可以估计可能存在反应，并且切换到状态S2。只要能量大于阈值水平，则保持状态S2。在此期间，估计状态S2所保持的时间。当能量下降到阈值水平以下时，则切换到状态S4。在此状态S4中，估计状态S2所保持的时间。如果状态S2保持了比最小持续时间长的持续时间，则认为此情节(action)是重要的情节，并且将其归入待保持的时刻，然后切换回等待状态S3，在状态S3中观察能量的峰值。否则，如果这个情节没有持续足够长，那么将这个时间段归为不感兴趣的，并且切换回等待状态S3。只要能量低于之前所描述的阈值，则保持状态S3。可以使用音频和视频的组合来增强检测重要时刻的稳健性，在体育事件的情况下声音特别重要。本发明并不局限于描述中所给出的示例性实施例，并且不具体局限于体育事件，而适用于任意电视节目。本发明还应用于根据MPEG-2标准之外的标准编码的数据。本发明还应用于卫星机顶盒类型之外的解码器，具体为ADSL解码器，以及可以用于记录并重放音频/视频数据的任意类型的设备。本发明还涉及另一个实施例，在其中由广播器来创建摘要，并在音频/视频流中将该摘要以元数据的形式传输到解码器。在解复用器3中对适时接收到的摘要进行解复用，并将其记录到硬盘13中。因此，处理器17只用于管理硬盘13以存储摘要和音频/视 频数据。
权利要求
1.一种用于音频/视频数据的时移重放的设备，包括 -用于存储接收到的音频/视频数据的装置(13)， -用于将接收到的所述音频/视频数据记录在所述存储装置中的装置(12，17)， -用于在记录时显示接收到的所述音频/视频数据的装置， -用于在继续记录所述音频/视频数据的同时在给定时间暂停所述音频/视频数据的显示的装置(20b)， -用于在检测到用户发起的暂停时，触发创建在所述暂停期间接收到的所述音频/视频数据的视频摘要的装置(12，17)， 所述设备的特征在于 -用于在所述音频/视频数据被记录之前标记所述音频/视频数据，以便识别形成所述摘要的音频/视频数据，并通过分析所述音频/视频数据的内容来检测将要在所述摘要中保留的所述音频/视频数据的开始和结束的装置(12，17)， -在从暂停模式切换回重放模式时，所述显示装置在重新开始实时接收到的所述音频/视频数据的重放之前，显示在暂停期间接收到的音频/视频数据的所述摘要。
2.如权利要求I所述的设备，其特征在于，所述显示装置仅重放所标记的所述音频/视频数据的内容。
3.如权利要求I或2所述的设备，其特征在于，用于进行标记的装置(12，17)从停止显示时接收到的音频/视频数据中确定并提取出重要的代表性时刻。
4.如权利要求1-3之一所述的设备，其特征在于，用于进行标记的装置(12，17)存储界定将要在所述摘要中保留的所述音频/视频数据的标记的地址。
5.如权利要求1-4之一所述的设备，其特征在于，处理器在接收所述音频/视频数据时构造对所述音频/视频数据的标记。
6.一种用于在包括存储装置的记录和显示设备中时移重放音频/视频数据的方法，包括以下步骤 -存储接收到的音频/视频数据， -将接收到的音频/视频数据记录在所述存储装置中， -在记录时显示接收到的所述音频/视频数据， -在继续记录所述数据的同时，在给定时间暂停所述数据的显示， -检测用户发起的暂停，并且响应于所述检测，触发创建在所述暂停期间接收到的所述音频/视频数据的视频摘要， 所述方法的特征在于，所述方法还包括以下步骤 -在所述音频/视频数据被记录之前标记所述音频/视频数据，以便识别形成所述摘要的音频/视频数据，并通过分析所述音频/视频数据的内容来检测将要在所述摘要中保留的所述音频/视频数据的开始和结束； -在切换回重放模式时，在重新开始实时接收到的数据的重放之前，显示在暂停期间接收到的音频/视频数据的所述摘要。
7.如权利要求6所述的方法，包括步骤仅重放所标记的所述音频/视频数据的内容。
8.如权利要求6或7所述的方法，包括步骤从停止显示时接收到的音频/视频数据中确定并提取出重要的代表性时刻。
9.如权利要求6-8之一所述的方法，包括步骤存储界定将要在所述摘要中保留的所述音频/视频数据的标记的地址。
全文摘要
本发明涉及一种用于音频/视频数据的时移重放的方法及其设备。所述设备包括用于存储接收到的音频/视频数据的装置(13)，用于将接收到的所述音频/视频数据记录在所述存储装置中的装置(12，17)，用于在记录时显示接收到的所述音频/视频数据的装置，用于在继续记录所述音频/视频数据的同时在给定时间暂停所述音频/视频数据的显示的装置(20b)。根据本发明，在切换回重放模式时，所述显示装置在重新开始重放实时接收到的所述音频/视频数据之前，显示在暂停期间接收到的音频/视频数据的摘要。
文档编号H04N5/76GK102932618SQ20121042473
公开日2013年2月13日 申请日期2005年12月12日 优先权日2004年12月17日
发明者菲利普·施莫克, 罗伯特·福尔托弗, 让-罗南·维古鲁 申请人:汤姆森许可贸易公司