再现多媒体数据的方法和装置的制造方法【专利摘要】本发明提供一种用于在广播和通信系统中再现多媒体数据的方法及装置。根据本发明实施例的用于再现多媒体数据的装置包括：接收器，用于接收多媒体数据；数据处理器，用于处理所接收的多媒体数据并且提取数据单元和信令信息；同步信息处理器，用于从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息；服务解复用器，用于从所述数据单元提取音频数据或视频数据；和广播图像播放器，用于解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。【专利说明】再现多媒体数据的方法和装置
技术领域：
[0001]本发明涉及一种在广播和通信系统中播放多媒体数据的方法和装置。【
背景技术：
】[0002]随着广播和通信的融合，通过多种媒介的多媒体服务变得越来越普遍。也就是说，使用包含地面波、卫星、电缆和类似的传统广播媒介的服务基于数字方法同时由于移动广播服务的引入而已经变得越来越多样化，诸如数字多媒体广播(DMB)、数字视频广播-手持(DVB-Η)和高级电视系统委员会-移动/手持(ATSC-M/H)和包含互联网协议TV(IPTV)的混合服务。尤其是，数字广播不仅提供具有比传统模拟广播高数十倍的图像质量和CD级声音质量的节目并且提供越来越多的频道以允许用户更大范围的选择，而且提供包括家庭购物、家庭银行、电子信箱和互联网服务的新交互式服务，从而提供比传统广播更高质量的广播服务。[0003]数字广播服务质量分为视频质量(VQ，其是与视频内容本身相关联的图像质量(诸如质量、分辨率和屏幕色彩呈现））、服务视频质量(V-QoS，其是与从服务提供商到终端用户通过网络发送多媒体数据的过程相关联的图像质量）、和体验质量(Q〇S，即由终端用户通常体验的服务质量，不仅包括视频内容，还包括服务的反应、相互关系、有效和环境条件）。尤其是，频道切换时间（其是用户选择频道并在该频道播放广播图像所花费的时间）用作Q〇E测试的主要指标。为播放广播图像，不仅需要压缩视频和音频数据，而且需要与经由解码在屏幕上播放这些数据的时间相关的同步信息。在传统技术中，同步信息(被包含在发送音频或视频数据的数据单元中）依据实时传输协议/实时控制协议(RTP/RTCP)发送，或者与音频/视频流分开的数据流依据MPEG媒体传输(MMT)被分配发送同步信息。通常，通过包含不同层的协议栈执行数据传输。因此，为获取播放广播图像所需的信息，需要从所接收的原始数据提取从最低物理层开始到发送压缩视频/音频数据和同步信息的协议栈特定层的封装数据的过程，该过程所需时间最终影响频道切换时间。[0004]图1是数字广播服务的通用数据传输协议栈的示意图。虽然图1以包含4个层（110到140)的协议栈作为示例说明，但是如果需要则可采用进一步细分层次的协议栈。[0005]参照图1，压缩音频/视频数据和有关图像的同步信息在通过数据传输协议栈层时被封装在用于各层的数据单元中。例如，在发送设备的应用/呈现/会话层110中压缩的视频数据被封装在用于网络/传输层120的数据单元的有效载荷中并且被发送给下一层，数据链路层130将从更高层发送的数据存储在其数据单元中的有效载荷中并将该数据发送给下一层。该过程被重复直到数据被发送给作为最低层的物理层140,物理层140中生成的数据单元通过传输介质被发送给接收设备。[0006]接收设备以与发送设备过程反向的顺序提取实际数据。也就是说，物理层140提取通过传输介质接收的数据单元的有效载荷中包含的数据，并将该数据发送给更高层（即数据链路层130)，并且数据链路层130分析所发送的数据以提取用于网络/传输层120的数据单元并将该数据单元发送给网络/传输层120。该过程被重复直到作为最高层的应用/表示/会话层110,应用/表示/会话层110最终提取所压缩的视频/音频数据和同步信息以在屏幕上播放图像。[0007]如上所述，接收设备解码所接收的视频/音频数据并基于相关同步信息确定播放经解码得到的图像的时间。根据传统技术，同步信息通过发送压缩视频或音频信息所生成的数据单元来发送，如图1所示，或者通过与发送音频/视频数据的数据流分开的单独数据流来发送。[0008]图2和3图解通过与发送音频/视频数据的数据流分开的单独数据流发送同步信息的示例。[0009]参照图2和3,同步信息是指在相应时间在屏幕上播放的音频和视频数据，其中第一音频数据Audiodata-Ι和第一视频数据Videodata-Ι需要在T1播放，而第二音频数据Audiodata-2和第二视频数据Videodata-2分别需要在T3和T2播放。同时，第三音频数据Audiodata-3和第三视频数据Videodata-3分别需要在T5和T3播放，第四视频数据Vediodata-4和第五视频数据Videodata-5分别需要在T4和T5播放。像这样，同步信息一般通过与发送音频和视频数据的协议层相同的层(层X)发送，其中网络/传输层或者更高层被使用。【
发明内容】[0010]技术问题[0011]压缩音频/视频数据和在屏幕上通过解码播放音频/视频数据的时间（即接收同步信息的时间）是确定频道切换时间的关键因素。接收同步信息的时间被细分为通过传输介质接收封装数据的时间和最终从物理层通过协议栈从所接收数据提取压缩音频/视频数据和同步信息的时间。然而，在传统技术中，当音频/视频数据和同步信息通过相同协议层传送时，在获取同步信息的时间方面存在两个问题。首先，当N个服务在单个传输流中经复用被发送时，N个服务以分区的方式(其中利用减少频带执行不仅发送关于每个服务的音频/视频数据而且还发送同步信息的数据单元的传输)使用带宽，从而引起接收同步信息时间的增加。第二，为提取同步信息，需要从作为协议栈的最低层的物理层到最高层提取封装数据的过程，因此处理时间可能增加，最终引起频道切换时间的增加。[0012]因此，基于上述问题做出本发明，本发明一方面提供一种用于播放能够通过层L2(即数据链路层)而不是通过发送压缩音频/视频数据的协议层发送同步信息的多媒体数据以减少接收和提取同步信息的时间、由此减少整个频道切换时间的方法及装置。[0013]技术方案[0014]-种根据本发明实施例的播放多媒体数据的装置包括:接收器，用于接收多媒体数据;数据处理器，其处理所接收的多媒体数据以提取数据单元和信令信息；同步信息处理器，其从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息;服务解复用器，其从所述数据单元提取音频数据或视频数据;和，广播图像播放器，其解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。[0015]-种根据本发明实施例的播放多媒体数据的方法包括:接收多媒体数据;处理所接收的多媒体数据以提取数据单元和信令信息;从所述信令信息提取与由当前服务提供的广播图像相关的同步信息；从所述数据单元提取音频数据或视频数据;并且解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。【附图说明】[0016]图1是数字广播服务的通用数据传输协议栈的示意图；[0017]图2和3图解通过与传输音频/视频数据的数据流分开的单独数据流发送同步信息的示例；[0018]图4是根据本发明实施例的使用通过数据链路层发送的同步相关信令信息来同步广播图像的音频和视频的设备的示意图；[0019]图5是根据本发明实施例的同步设备使用所发送的同步信息播放广播图像的处理过程的示意图；[0020]图6是根据本发明实施例的数字广播服务的逻辑示意图。【具体实施方式】[0021]以下，将参考附图对本发明实施例进行详细描述以使得本领域技术人员能够容易地实现本发明。然而，本发明可以以各种不同的形式实现，并且不限于在此描述的实施例。[0022]而且，与本发明无关的部分在附图中被省略以使得本发明清楚，并且在整个说明中，相同参考编号被指示相同或相似的组成部分。[0023]在整个说明和权利要求书中，除非另有说明，当描述特定部分包括特定元件时，表示该单元并不是排除任何其他元件，还可能包括任何其他元件。[0024]图4是根据本发明实施例的使用通过数据链路层发送的同步相关信令信息来同步广播图像的音频和视频的设备的示意图。[0025]参照图4,同步设备包括射频(RF)接收器410、解调器420、物理层处理器430、数据链路层处理器435、服务解复用器440、同步信息处理器450、视频数据缓冲器460、音频数据缓冲器470、同步信息缓冲器480和广播图像播放器490。当用户选择随机服务时，RF接收器410变换频道到服务被发送的频率以接收模拟信号。解调器420将通过RF接收器410接收的模拟信号转换为数字信号，并将该数字信号发送给物理层处理器430。物理层处理器430执行在传输协议栈的物理层中实现的操作并将该操作的结果发送给数据链路层处理器435。数据链路层处理器435执行在数据链路层实现的操作以将网络/传输层数据分组发送给服务解调器440,尤其是提取并将包含同步信息的表发送给同步信息处理器450。在数据链路层中实现的操作可包括从数据链路层数据单元提取网络/传输层数据单元的操作和从数据链路层数据单元提取信令信息的操作其中之一。同步信息处理器450从在数据链路层处理器435中处理的信令信息中提取与由当前服务提供的广播图像相关的同步信息，并将该同步信息经同步信息缓冲器480发送给广播图像播放器490。服务解调器440从自数据链路层处理器435发送的数据单元提取分别包括所选服务的音频流和视频流的形成该服务的数据流，并将该数据流经音频数据缓冲器470和视频数据缓冲器460发送给广播图像播放器490。而且，服务解调器440提取从高层发送的同步信息并将该同步信息经同步信息缓冲器480发送给广播图像播放器490。广播图像播放器490解码所接收的音频数据和视频数据并基于同步信息在相应时间播放广播图像。[0026]根据本发明实施例的同步设备的主要特点是同步信息处理器450。即同步信息处理器450只执行从数据链路层处理器435所发送的数据提取同步相关信令信息（即同步信息）的操作，当该操作完成时，将所发送的数据转发给服务解调器440。[0027]同时，虽然图4将物理层处理器430和数据链路层处理器435说明为分开的设备，但是这些处理器可以被配置成单个设备，例如数据处理器。而且，虽然同步信息处理器450被说明为与数据链路层处理器435分开的设备，但是这样的配置仅仅是本发明的一个实施例，并且同步信息处理器450可包含在数据链路层处理器435或数据处理器中。[0028]图5是根据本发明实施例的同步设备使用所发送的同步信息来播放广播图像的处理过程的示意图。[0029]参照图5,当用户选择特定服务时，同步设备变换频道到发送该服务的频率(501)并接收有关在相应频道上所选服务的数据单元以提取包含在有效载荷中的数据(502)。接着，同步设备从所接收数据提取数据链路层中所展示的信令信息并从该信令信息获取与用户所选择服务的广播图像相关的同步信息(503)。该服务可包括多个视频流、音频流和数据流，同步设备需要获取多条相关标识符(ID)信息以便过滤形成该服务的组成部分。因此，同步设备识别形成该服务的音频和视频流以及基于服务配置信息发送有关音频和视频流之间的同步的信息的同步信息流的ID(504)。可通过分析经数据链路层发送的信令信息或者使用用于应用程序层的信息(诸如电子服务指南(ESG))来获取服务配置信息。接着，同步设备使用服务组件的ID请求数据过滤(505)并识别是否在当前频率所发送的数据中接收到与该服务组件的ID相关的数据(506)。然后，同步设备接收音频和视频数据并识别是否接收到与被请求数据过滤的图像数据相关的同步信息(507)。当还没有接收到相关同步信息时，同步设备基于在503接收到的同步信息播放广播图像(508)，并返回识别是否接收到与服务组件的标识ID相关的数据的操作(506)。同时，当相关同步信息被接收到时，同步设备使用该相关同步信息播放广播图像(509)。当在操作506没有接收到音频和视频数据时，同步设备识别从请求数据过滤开始是否过去了特定长度的时间(α)(510)。当没有经过特定长度的时间时，同步设备返回操作506以等待接收音频/视频数据。在即使在过去特定时间后还没有接收到音频和视频数据时，同步设备将不可能接收到图像显示给用户并终止图像播放过程(511)〇[0030]图6是根据本发明实施例的数字广播服务的逻辑示意图。[0031]参照图6,通过每一频率发送的传输流(Multiplex)包括Ν个集合(Ensemble-ι到Ensemble-N)。每个集合包括多个包(Package-1到Package-M)，并提供相关包的分组。包是指实际广播服务并且内部包括多个音频/视频/数据流(Audio-Ι至Audi〇-P、Vide〇-l至Video-Q和Data-Ι至Data-R)。根据服务特性，可选择和播放一个音频流和一个视频流，或者可选择并通过分区的屏幕同时播放多个音频/视频/数据流。[0032]同时，在包括图6的本说明中使用的术语仅仅用于描述广播服务的逻辑概念，并且本发明也可应用于使用具有相同含义的不同术语的服务，而不限于上述术语。例如，传输流可指在一个频带中通过物理层帧发送的所有数据，而一个集合可指在物理层帧中展示的逻辑频道(物理层管道(PLP))。[0033]之后，将参考特定实施例详细描述媒体同步表(MST)的格式（即存储根据本发明实施例的通过数据链路层发送的同步信息的表格）。[0034]第一实施例[0035]在本发明第一实施例中，在表1所提供同步信息中，基于音频和视频播放时间来指定相关音频和视频数据，每个MST发送关于各个数据分组的同步信息。[0036][表1][0037][0038][0039]表1中的元素如下所述。[0040]table_id(表格ID)-指MST的唯一编号;8个比特;具有与数据链路层中所发送的其它表格相区别的唯一数值。[0041]section_syntax_indicator(分段句法指示符）-指示私有分段的种类，总是设置为"1"。[0042]privatejndicator(私有指示符）_指示私有分段的标志；总是设置为"1"。[0043]section_length(分段长度）-分段长度；后面跟uimsbf(无符号整数，最高有效位优先)格式。[0044]package_id(包ID)-与在MST分段包含的同步信息相关的包的ID。[0045]version_number(版本号）-关于MST分段的版本信息；当MST分段的内容改变时，递增（lmodulo32);当current_next_indicator(当前的下一标识符)被设置为"0"时，版本信息指关于下一个可应用的MST分段的版本信息，而不是当前可应用的MST分段。[0046]current_next_indicator(当前的下一指示符）_当被设置为"1"时，指示当前可应用的同步信息，当被设置为"〇"时，指示同步信息不是当前可应用的，而是下一个可应用的；后面跟bslbf(位串，左比特优先)格式。[0047]section_number(分段号）_总是设置为"0"。[0048]last_section_number(最后一个分段的号码总是设置为"0"。[0049]MST_protocol_version(MST协议版本）-指不MST句法的版本。[0050]multiplex_id_复用的ID。[0051]ensemble_id_集合的ID[0052]81：^3111；[1^_口1'01：0001(流协议）-指用于音频和视频数据的传输的流协议；同步信息依据所使用的流协议变化，表2列出了用于流协议的取值。[0053][表2][0054][0055]default_video_stream_id(缺省视频流ID)-当用户选择服务时首先播放的视频流ID。[0056]default_audio_stream_id(缺省音频流ID)-当用户选择服务时首先播放的音频流ID。[0057]num_sync_data(同步数据的数量)-在MST分段中发送的同步信息的条数。[0058]media_sync_data(媒体同步数据)-存储实际同步信息的结构。[0059]media_sync_data存储关于在解码后实际播放音频/视频数据的时间，并且这样的同步信息可依据传输音频/视频数据的流协议而具有不同的形式。[0060]表3说明在使用MMT协议时的media_sync_data的示例。.[0061][表3][0062][0063]在表3中的元素如下所述。[0064]audio_mpu_seq_num(音频MPU序号）-音频媒体处理单元(MPU)的序号。[0065]video_mpu_seq_num(视频MPU序号）-视频MPU的序号。[0066]presentation_time(呈现时间）-播放音频/视频数据的时间，经由解码在屏幕上通过audio_mpu_seq_num和video_mpu_seq_num来指不。[0067]表4说明在使用RTP协议时的media_sync_data的示例。[0068][表4][0069][0070]表4中的元素如下所述。[0071]audi〇_paCket_Seq_num(音频分组序号）_存储音频数据的RTP数据分组的序号。[0072]video_packet_seq_num(视频分组序号）-存储视频数据的RTP数据分组的序号。[0073]1：；[11168七31]^(时间戳）-播放音频/视频数据的时间，通过311(1；[0_。301^1：_869_1111111andvideo_packet_seq_num经由解码而在屏幕上指示。[0074]第二实施例[0075]在本发明第二实施例中，在表5中提供同步信息中，播放时间相对于音频和视频数据而独立存储。每个MST发送有关各个数据分组的同步信息。[0076][表5][0077][0078][0079]在表5中的各元素如下所述。与上面所述相同的元素的描述将在下表中省略。[0080]num_vido_sync_data(视频同步数据的数目）-在MST分段中发送的与视频相关联的同步信息的条数。[0081]num_audio_sync_data(音频同步数据的数目）_在MST分段中发送的与音频相关联的同步信息的条数。[0082]media_sync_data-存储实际同步信息的结构。[0083]media_sync_data存储关于在解码后实际播放音频/视频数据的时间，并且这样的同步信息可依据传输音频/视频数据的流协议而具有不同的形式。[0084]表6说明在使用MMT协议时的media_sync_data的示例。[0085][表6][0086][0087]表6中的元素如下所述。[0088]media_type(媒体类型）-定义与同步信息相关联的媒体类型。[0089]表7定义用于媒体类型的取值。[0090][表7][0091][0092]mpu_seq_num(MPU序号）-音频或视频MPU的序号，通过media_type定义。[0093]presentation_time_播放音频或视频的时间，经由解码在屏幕上通过mpu_seq_num指不。[0094]表8说明在使用RTP协议时的media_sync_data的示例。[0095][表8][0096][0097]表8中的元素如下所述。[0098]media_type-定义与同步信息相关联的媒体类型；可以被定义为与如上面在表7中的MMT示例中所示的相同值。[00"]packet_seq_num(分组序号）_存储音频或视频数据的RTP数据分组的序号，通过media_type来定义。[0100]timestamp-播放音频或视频的时间，经由解码在屏幕上通过packet_seq_num(分组序号)来指示。[0101]第三实施例[0102]在本发明的第三实施例中，在表9中提供同步信息中，基于音频和视频播放时间来指定相关音频和视频数据，每个MST发送关于在当前集合中包含的全部数据包的同步信息。[0103][表9][0104][0105][0106]表9中，num_packages(包数量)是存储同步信息的数据包的个数。[0107]第三实施例类似于第一实施例，但是与第一实施例不同的是关于在当前集合中出现的所有数据包的同步信息都包含在MST分段中。因此，第一实施例中使用的MST分段句法和media_sync_data结构句法可重新使用。[0108]第四实施例[0109]在第四实施例中，在表10提供的同步信息中，播放时间相对于音频和视频数据被单独存储。并且每个MST发送关于在当前集合中包含的所有数据包的同步信息。[0110][表10][0111][0112][0113]表10中，num_packages是存储同步信息的数据包的个数。[0114]第四实施例类似于第二实施例，但是与第二实施例不同的是当前集合中出现的所有数据包的同步信息都包含在MST分段中。因此，第二实施例中使用的MST分段句法和media_sync_data结构句法可以重新使用。[0115]根据本发明实施例，通过使用在数据链路层中发送的同步信息来同步广播图像的音频和视频数据，从而提供比通过经由数据过滤获取同步信息来执行的传统同步操作更短的频道切换时间。[0116]虽然上面已经描述了本发明的特定实施例，但是对本领域一般技术人员来说，很明显，本发明的范围不限于上述实施例，并且在不背离本发明的范围的情况下，可使用本发明的基本构思来做出各种修改和修改的形式。【主权项】1.一种播放多媒体数据的装置，所述装置包括：接收器，其接收多媒体数据；数据处理器，其处理所接收的多媒体数据以提取数据单元和信令信息；同步信息处理器，其从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息；服务解复用器，其从所述数据单元提取音频数据或视频数据;和广播图像播放器，其解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。2.如权利要求1所述的装置，其中，所述同步信息包括关于播放所述音频数据或视频数据的时间的信息。3.如权利要求1所述的装置，其中，所述同步信息具有表的格式。4.如权利要求2所述的装置，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。5.如权利要求2所述的装置，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息和通过所述数据类型信息定义的音频数据或视频数据的序号。6.如权利要求2所述的装置，其中，所述同步信息包括关于一个或多个数据包的信息。7.如权利要求6所述的装置，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。8.如权利要求6所述的装置，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。9.如权利要求2所述的装置，其中，所述同步信息还包括关于要首先播放的视频流和音频流的标识信息和多条同步信息。10.-种播放多媒体数据的方法，所述方法包括：接收多媒体数据；处理所接收的多媒体数据以提取数据单元和信令信息；从所述信令信息提取与由当前服务提供的广播图像相关的同步信息；从所述数据单元提取音频数据或视频数据；解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。11.如权利要求10所述的方法，其中，所述同步信息包括关于播放所述音频数据或视频数据的时间的信息。12.如权利要求10所述的方法，其中，所述同步信息具有表的格式。13.如权利要求11所述的方法，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。14.如权利要求11所述的方法，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。15.如权利要求11所述的方法，其中，所述同步信息包括关于一个或多个数据包的信息。16.如权利要求15所述的方法，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。17.如权利要求15所述的方法，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。18.如权利要求11所述的方法，其中，所述同步信息还包括关于要首先播放的视频流和音频流的标识信息和多条同步信息。【文档编号】H04N21/8547GK105900439SQ201580004082【公开日】2016年8月24日【申请日】2015年1月8日【发明人】黄承吾,李炳大,梁贤九,黄盛凞【申请人】三星电子株式会社,京畿大学校产学协力团