用于通过单独的路径接收并显示多个流的接收器、多个流的处理方法及其发送方法
【专利摘要】提供了一种接收器。该接收器包括：第一接收单元，通过广播网络接收第一流；第二接收单元，通过通信网络接收第二流；数据处理单元，从第一流和第二流中的至少一个检测聚合信息，并根据该聚合信息对第一流的数据和第二流的数据进行组装和处理；以及输出单元，输出由数据处理单元处理的数据。因此，可容易地对相关数据进行组装和处理。
【专利说明】用于通过单独的路径接收并显示多个流的接收器、多个流的处理方法及其发送方法
【技术领域】
[0001]本总的发明构思总体上涉及一种用于接收并处理多个流的接收器、流处理方法和流发送方法。更具体地讲，本总的发明构思涉及一种用于接收通过单独的路径发送的多个流并且根据聚合信息组合并处理这些流的接收器、流处理方法和流发送方法。
【背景技术】
[0002]由于电子器件和通信技术的发展，开发并供给了各种电子装置。这些电子装置的代表性示例是诸如TV的接收器。
[0003]最近，随着TV的性能增强，多媒体内容(比如，3D内容或全HD内容)被发送并被电视转播。然而，这样的内容的量远大于现存内容。
【发明内容】
[0004]技术问题
[0005]广播网络提供的发送带宽有限。因此，可发送内容的大小受限。在这个限制下，分辨率降低是不可避免的。结果，图像质量劣化。
[0006]为了解决这个问题，尝试在各种发送环境下发送各种媒体数据。然而，因为通过不同的路径发送数据，所以接收器不能确定数据是否彼此相关。
[0007]例如，当在单独的路径中发送3D内容的左眼图像和右眼图像时，应当组合这两个图像以用于回放。然而，难以确定这两个图像是否相关。
[0008]问题的解决方案
[0009]提供本总的发明构思的一方面来解决以上提及的问题和缺点和/或其他问题和缺点，并且本总的发明构思的一方面提供一种用于通过单独的路径接收、组合和处理多个流的接收器、流处理方法和流发送方法。
[0010]根据本总的发明构思的一方面，一种接收器包括:第一接收单元，通过广播网络接收第一流；第二接收单元，通过通信网络接收第二流；数据处理单元，从第一流和第二流中的至少一个检测聚合信息，并根据该聚合信息对来自第一流的数据和来自第二流的数据进行组装和处理；以及输出单元，输出由数据处理单元处理的数据。
[0011]聚合信息可包括在第一流和第二流中的至少一个的程序映射表的基本流循环中。
[0012]聚合信息可被记录在多媒体关联表(MAT)中，MT设置在第一流和第二流中的至少一个的程序关联表(PAT)上方。
[0013]数据处理单元可包括:第一解复用器，通过对第一流进行解复用来检测数据和聚合信息；关联控制器，根据聚合信息控制第二接收单元接收第二流；第二解复用器，从第二接收单元接收的第二流检测数据；第一解码器，对由第一解复用器检测的数据进行解码；第二解码器，对由第二解复用器检测的数据进行解码；以及渲染器，组装并渲染由聚合信息指定的数据。[0014]数据处理单元可包括:存储单元，存储第一流和第二流；第一解复用器，通过对第一流进行解复用来检测数据和第一聚合信息；第二解复用器，通过对第二流进行解复用来检测数据和第二聚合信息；关联控制器，使用第一聚合信息和第二聚合信息来在第一流和第二流中确定要组装的数据，并组装所确定的数据；解码器，对由关联控制器组装的数据进行解码；以及渲染器，渲染所解码的数据。
[0015]聚合信息可包括下列项中的至少一个:其他流中提供的数据类型、数据传输类型、数据分隔符、PID, URL和清单信息。
[0016]一种流处理方法包括:通过广播网络接收第一流；检测第一流中的数据和聚合信息；根据聚合信息通过通信网络接收与第一流相关的第二流；对第一流和第二流的数据进行解码；根据聚合信息组装所解码的数据；并且处理并输出所组装的数据。
[0017]聚合信息可被记录在第一流的程序映射表的基本流循环中。
[0018]一种流处理方法包括:通过广播网络接收第一流；通过通信网络接收第二流；从第一流和第二流中的至少一个检测聚合信息，并根据所检测的聚合信息对第一流的数据和第二流的数据进行组装和处理；并且输出所处理的数据。
[0019]聚合信息可被记录在第一流和第二流中的至少一个的程序映射表的基本流循环中。
[0020]聚合信息可被记录在MAT中，MAT设置在第一流和第二流中的至少一个的PAT上方。
[0021]处理操作可包括:存储第一流和第二流；通过对第一流进行解复用来检测数据和第一聚合信息；通过对第二流进行解复用来检测数据和第二聚合信息；使用第一聚合信息和第二聚合信息来在第一流和第二流中确定要组装的数据，并组装所确定的数据；对所组装的数据进行解码；并且渲染所解码的数据。
[0022]聚合信息可包括下列项中的至少一个:其他流中提供的数据类型、数据传输类型、数据分隔符、PID, URL和清单信息。
[0023]一种流发送方法包括:产生包括数据的基本流；产生用于基本流的程序映射表；产生与将与所述数据组装的其他数据相关的聚合信息，并将所产生的聚合信息记录在程序映射表的基本流循环中；并且产生并发送包括基本流和程序映射表的传输流。聚合信息可包括下列项中的至少一个:所述其他数据的类型、传输类型、数据分隔符、PID、URL和清单信息。
[0024]一种流发送方法包括:产生包括数据的基本流；产生用于基本流的程序映射表信息和程序关联表信息；产生MAT，MAT包括关于与所述数据相关的其他数据的聚合信息；并且产生并发送包括基本流、MAT、程序关联表和程序映射表的传输流。聚合信息可包括下列项中的至少一个:所述其他数据的类型、传输类型、数据分隔符、PID、URL和清单信息。
[0025]本发明的有利效果
[0026]因此，可使用聚合信息来组装并输出多个流。
【专利附图】
【附图说明】
[0027]图1是显示根据本总的发明构思的实施例的媒体发送和接收系统的示图；
[0028]图2是显示通过广播网络发送的第一流和通过通信网络发送的第二流的示图；[0029]图3是显示根据本的总发明构思的实施例的媒体发送和接收系统的操作的示图；
[0030]图4是显示根据本总的发明构思的实施例的接收器的框图；
[0031]图5是显示程序映射表中的聚合信息的放置的示图；
[0032]图6是显示图5的聚合信息的示图；
[0033]图7是显示包括聚合信息的基本流循环的示图；
[0034]图8是显示经由通信网络、使用基于IP的TS (TS over IP)发送的流的示图；
[0035]图9是显示通过通信网络、使用IP发送的流的示图；
[0036]图10是显示图4的接收器的数据处理单元的框图；
[0037]图11是显示使用多媒体关联表的聚合信息发送的示图；
[0038]图12是显示图11的多媒体关联表的示图；
[0039]图13是显示包括图11的聚合信息的流和以基于IP的TS的格式提供的流的示图；
[0040]图14是显示使用图13的多媒体关联表组装数据的方法的示图；
[0041]图15是显示包括图11的聚合信息的流和以IP格式提供的流的示图；
[0042]图16是显示使用图15的多媒体关联表组装数据的方法的示图；
[0043]图17是显示图4的接收器的数据处理单元的另一框图；
[0044]图18是显示根据本总的发明构思的实施例的流处理方法的流程图；
[0045]图19是显示根据本总的发明构思的另一实施例的流处理方法的流程图；
[0046]图20是显示图19的流处理方法中的数据处理步骤的详细流程图；
[0047]图21是显示根据本总的发明构思的实施例的发送器的框图；
[0048]图22是显示根据本总的发明构思的实施例的流发送方法的流程图；
[0049]图23是显示根据本总的发明构思的另一实施例的流发送方法的流程图。
【具体实施方式】
[0050]现在将详细论述本总的发明构思的实施例，这些实施例的示例在附图中示出，其中，相似的标号始终指示相似的元件。以下参照附图描述实施例以解释本总的发明构思。
[0051]图1是根据本总的发明构思的实施例的媒体发送和接收系统的示图。参照图1，各种源10和20通过各种传输路径发送媒体数据。传输路径包括，但不限于，广播网络和通信网络。通信网络包括，但不限于，各种网络(比如，互联网、云网络、本地网络和内联网)。
[0052]接收器100-1、100-2和100-3从连接的源(S卩，广播源10和通信网络源20)接收媒体数据并对该媒体数据进行处理。媒体数据可包括各种数据(比如，视频数据、音频数据、图像数据和文本数据)。尽管在图1中描绘了 TV100-1、移动电话100-2和PC100-3，但是可利用其他各种接收器(比如，机顶盒、笔记本PC、PDA、数字相框、电子书和MP3播放器等)。尽管在图1中描绘了三个接收器100-1、100-2和100-3，但是接收器的数量没有限制，可以是一个或多个。
[0053]作为接收器之一的TV100-1经由天线或卫星从对应区域的广播源10接收流。TV100-1可通过接入通过网络连接的通信网络源20来接收流。在这种情况下，从10或20接收的两个流中的至少一个包括聚合信息。TV100-1使用聚合信息对这两个流的相关数据进行组合，并且在屏幕上播放并输出所组合的数据。除了 TV100-1之外，其他接收器100-2和100-3可以以相同的方式组合并处理数据。
[0054]图2描绘通过广播网络发送的流(在下文中，称为第一流)和通过通信网络发送的流(在下文中，称为第二流)。参照图2，通过广播网络发送的第一流11包括视频数据、音频数据和附加数据，数据被封包为传输流(TS)包并且被作为TS包发送，每个TS包包括TS头和有效负荷。尽管在图2中一个包包括188个字节，但是包的大小可以根据通信中所遵循的广播通信标准而不同。
[0055]在图2中，第二流21可将视频数据、音频数据和附加数据封包为TS，并且以基于IP的TS的格式21a或IP包格式21b传载它们，基于IP的TS的格式21a是对TS进行IP封包，IP包格式21b通过对基本数据本身(即，视频数据、音频数据和附加数据)进行封包而产生。
[0056]尽管在图2中仅描绘了第一流11和第二流21，但是流的数量可超过两个。
[0057]图3描绘在图1的媒体发送和接收系统中使用聚合信息的数据组装。参照图3，第一流11包括视频、音频1、数据I和文本，第二流21包括音频2、数据2和应用(app)。
[0058]聚合信息30包括用于指定第一流11和第二流21中的数据的信息。接收第一流11和第二流21的接收器100-1、100-2和100-3对由聚合信息30指定的视频、音频1、音频
2、数据1、数据2、应用和文本进行组装和处理。
[0059]尽管在图3中描绘了视频、音频、数据、应用和文本，但是图像矢量图形、定时文本、语音、场景描述符、web内容和元数据可包含在流中，并且可根据聚合信息被组装。
[0060]图4是显示根据本总的发明构思的实施例的接收器的基本组件的框图。图4的接收器100的结构不仅可对应于图1和图3的系统的接收器100-1、100-2和100-3，而且还可对应于其他接收器。
[0061]参照图4，接收器100包括第一接收单元110、第二接收单元120、数据处理单元130和输出单元140。
[0062]第一接收单元110通过广播网络接收第一流。第一接收单元110可包括天线、调谐器、解调器、均衡器等。天线、调谐器、解调器和均衡器的结构和操作在相关领域中至少作为广播标准的一部分是已知的，在本文中不对它们进行详细讨论。
[0063]第二接收单元120通过经过通信网络接入外部源来接收第二流。第二接收单元120可包括网络接口卡。
[0064]数据处理单元130接收第一流和第二流并检测第一流和第二流中的至少一个中的聚合信息，并且根据该聚合信息对第一流中的数据和第二流中的数据进行组装和处理。数据处理单元130可作为处理的一部分执行比如解码、缩放和渲染的操作。这样的操作在相关领域中是公知的，它们的详细解释不包括在本文中。
[0065]输出单元140输出由数据处理单元130处理的数据。输出单元140可包括显示单元(未显示)和扬声器(未显示)。数据处理单元130通过渲染所组装的数据的视频数据和文本来产生屏幕，然后使用显示单元显示所产生的屏幕。使用扬声器输出由数据处理单元130处理的音频数据。因此，即使当通过单独的路径接收视频数据、音频数据、普通数据和其他数据时，也组合它们来提供一种多媒体服务。
[0066]聚合信息可被以各种方式记录到流。在下文中，描述聚合信息发送的各种实施例。
[0067]在第一实施例中，聚合信息可被记录到流的程序映射表中的基本流循环，并且被提供给接收器100。
[0068]图5描绘使用基本流循环提供聚合信息的方法。参照图5，通过信道I发送的第一流11包括程序关联表(PAT)、程序映射表(PMT)、视频数据V和音频数据A。
[0069]PAT列出了一个TS中提供的一个或多个程序的程序编号和PMT包标识符(PID)。PMT提供一个程序中的PID和媒体组件的信息。当一个TS包含多个程序时，可包括多个PMT。每个PMT的信息被存储到PAT。
[0070]在图5中，第一流11中的PMT包括记录基本流信息的基本流循环。在本实施例中，额外地定义基本流循环以提供聚合信息。与现存的基本流循环不同，聚合信息可指定TS中不提供的媒体数据。也就是说，如图5所示，PMT包括基本流循环1、基本流循环2和基本流循环3，基本流循环I包括第一流上的视频数据V的信息，基本流循环2包括第二流的音频数据A的信息，基本流循环3包括第二流的数据D的聚合信息30。
[0071]基本流循环I可包含视频流类型(VIDEO stream_type)信息、PID信息(VIDEOPID)和VIDEO DESCRIPTOR信息。基本流循环2可包含音频基本流A的音频流类型信息(AUDIO stream_type)、PID 信息(AUDIO PID)和 AUDIO DESCRIPTOR 信息。基本流循环 3 中的聚合信息30可包括下列项中的至少一个:其他流中提供的数据类型、数据传输类型、数据分隔符、PID、URL和清单信息。
[0072]数据类型指示聚合在其他流中的数据的类型，可包括视频、图像矢量图形、文本、定时文本、音频、语音、场景描述符、web内容、应用和元数据。数据传输类型指示其他流中的数据的传输格式，可包括TS、基于IP的TS和IP。分隔数据的数据分隔符包括信道频率、原始网络ID、网络ID和TSID。PID可以是指定其他路径中发送的流中的数据的基本PID，URL信息或清单信息可以是用于指定对应数据的源的信息。
[0073]同时，用于提供第二流的源的信息可基于第二流发送的协议的类型而变化。例如，第二流可以是使用比如RTP或HTTP的协议发送的实时流。当使用HTTP时，应当提供元数据。因此，聚合信息可包括用于获得元数据的源的地址信息。
[0074]元数据提供关于多媒体内容在哪被接收的信息。可根据基于HTTP的流的类型不同地区分元数据文件。也就是说，在平滑的流中，互联网信息服务(HS)平滑流媒体(ism)文件用作元数据文件。在互联网工程任务组(IETF) HTTP直播流中，m3v8文件用作元数据文件。在3GPP采用的自适应HTTP流Rel.9、OIPF采用的自适应HTTP流Rel.2和MPEG采用的通过HTTP的动态自适应流中，媒体呈现描述(MPD)可用作元数据文件。元数据文件可包含客户端预先应当知道的信息，比如，与多个单独的文件对应的内容时间位置、用于提供对应文件的源的URL、以及大小。
[0075]在图5中，使用第一流11的PMT中的基本流(ES)循环3来指定第二流21中的数据D。接收图5的流的接收器根据PMT的聚合信息对视频数据V、音频数据A和数据D进行组装和处理。
[0076]图6描绘PMT和ES循环。参照图6,程序映射表列出了程序编号、版本号、节号、指示符和保留区域、以及ES循环41至44。
[0077]第一 ES循环41和第二 ES循环42是可被现存接收器解释的信息，第三ES循环43和第四ES循环44是可被新接收器解释的信息。ES循环的数量根据媒体的数量来确定。媒体的属性可通过ES循环的流类型和描述符来提供。[0078]因为在其他路径中发送的流在第三ES循环和第四ES循环中被定义为新的流类型，所以不能辨识该新的流类型的现存接收器忽略对应的ES循环。因此，可保持与现存接收器的向后兼容性。
[0079]第三ES循环43包含聚合信息31，聚合信息31包括指示使用基于IP的TS发送矢量图形类型的流的数据及其数据ID。第四ES循环44包含聚合信息32，聚合信息32包括指示使用基于IP的TS发送定时文本类型的流的数据及其数据描述符。
[0080]为了构造由程序映射表提供的程序单元，能够识别新的流类型的新接收器可通过使用第三基本流循环和第四基本流循环的信息提取或关联其他路径中发送的数据来播放该数据。
[0081]图7是ES循环的详细示图，该ES循环包括用于指定其他路径的媒体的聚合信息。参照图7，在该ES循环中描述了各种聚合信息，比如，流类型、基本PID、传输类型、hybrid,descriptor、链接的URL、原始网络ID、网络ID和TSID。
[0082]图8描绘经由通信网络、使用基于IP的TS发送的流。参照图8，通过广播网络发送的流a和b包括PAT、PMT和各种基本流。PMT可包含如前所述的聚合信息。与之相比，通过通信网络发送的流c对附加IP头的TS进行IP封包，并发送该TS。当在图8中流a的PMT (其中TSID=XX)将流c的私有(Private) 1-3与视频1_1和音频1_2 —起指定时，流a的视频1-1和音频1-2、与流c的私有1-3被组装在一起并一起进行处理。这样的数据需要相关联地播放。例如，创建左眼图像和右眼图像或单个场景的视频数据、音频数据和字幕数据应当相关联地被播放。
[0083]图9描绘通过通信网络、使用IP发送的流。参照图9，通过广播网络发送的流a和b包括PAT、PMT和各种基本流。与之相比，通过通信网络发送的流c包含进行了 IP封包的各种数据，比如，视频数据、矢量图形、定时文本和应用。IP头被附加到每个包，并且数据被记录在IP有效负荷中。在图9中，根据记录在流a和b的PMT中的聚合信息，IP包的数据与流a和b的基本流数据也可被组装和处理。
[0084]图10是显示当PMT传载聚合信息时的数据处理单元的框图。参照图10，数据处理单元130包括第一 DEMUX131、关联控制器132、第二 DEMUX133和第三DEMUX134、第一解码器135、第二解码器136和第三解码器137、以及渲染器138。
[0085]在图10中，通过通信网络发送的传输流从属于通过广播网络接收的传输流。例如，当一个多媒体数据的大小太大并且难以通过广播网络接收全部数据时,可对该数据进行划分，并且可通过通信网络发送一些数据。在这种情况下，可预先通过广播网络用聚合信息传载用于提供通过通信网络发送的数据的源的信息。因此，在图10中，首先使用第一DEMUX131对通过广播网络接收的流进行解复用，并使用所检测的聚合信息来接收其他流。
[0086]在图10中，流#111是通过广播网络接收的流，流#221和#331是通过通信网络接收的流。也就是说，图4的第二接收单元120可通过通信网络接收两个或更多个流。在本文中，为了易于理解，通过广播网络接收的流被称为第一流，通过通信网络接收的流被称为第二流。在图10中，流#2和#3对应于第二流。
[0087]第一 DEMUX131通过对第一流11进行解复用来检测数据和聚合信息。可使用视频、音频、普通数据、附加数据和字幕数据来不同地实现该数据，并且第一 DEMUX131根据PID对该数据进行解复用。[0088]第一 DEMUX131从第一流11的PMT检测聚合信息，并将所检测的聚合信息提供给关联控制器132。
[0089]关联控制器132根据聚合信息控制第二接收单元120接收第二流。也就是说，关联控制器132通过使用聚合信息的URL信息或清单信息接入第二流的源来控制第二接收单元120接收第二流。
[0090]第二接收单元120在关联控制器130的控制下接收流#221和#331。第二 DEMUX133从在第二接收单元120接收的流#221检测数据。第三DEMUX134从流#331检测数据。
[0091 ] 第一解码器135、第二解码器136和第三解码器137对从流#111、流#221和流#331解复用的数据进行解码。也就是说，第一解码器135、第二解码器136和第三解码器137接收第一 DEMUX131、第二 DEMUX133和第三DEMUX134检测的数据，并对该数据进行解码。尽管在图10中一个解码器与一个流匹配，但是根据数据类型(比如，视频数据、音频数据和普通数据)配备单独的解码器。
[0092]渲染器138对由第一解码器135、第二解码器136和第三解码器137解码的数据之中的、由聚合信息指定的数据进行组装和渲染。渲染器138的操作可由关联控制器132控制。也就是说，关联控制器132可确认聚合信息，并通过根据确认结果控制渲染器138来组装数据。
[0093]渲染器138将所处理的数据提供给输出单元140以输出该数据。尽管通过图10的显示单元输出屏幕，但是当所组装的数据包括音频数据时，可通过扬声器输出声音信号。
[0094]尽管在图10中接收三个流并根据聚合信息组装传输流的数据，但是传输流的数量不限于三个。也就是说，可仅接收和组装两个流。在这种情况下，配备两个DEMUX和两个解码器。
[0095]到目前为止，尽管聚合信息仅包含在第一流的程序映射表中，但是聚合信息可以既包含在第一流的程序映射表中、又包含在第二流的程序映射表中，或者可以仅包含在第二流的程序映射表中。
[0096]尽管聚合信息记录在流的程序映射表的基本流循环中，但是可以以其他不同的方式提供聚合信息。
[0097]也就是说，例如，可在流中准备记录聚合信息的新区域。
[0098]图11描绘使用多媒体关联表的聚合信息发送。多媒体关联表(MAT)是被定义为组装在单独的路径中发送的数据的新表。MT是PAT的上层，可包括现存的PAT和PMT功能。
[0099]参照图11，MAT50包括记录要组装的数据的信息的ES循环51、52和53。ES循环353包括指定第二流21的数据D的聚合信息。
[0100]图12描绘MAT50。参照图12，包括指示符、版本号和节号的ES循环被记录在MAT50中。现存接收器绕开MAT50，新接收器可识别MAT50，并产生新的程序单元。
[0101]图13描绘包括MAT50的流和其他流。参照图13，MAT50被记录在通过广播网络和通信网络接收的流a、b和c中的第一流a中。通过通信网络接收的流c包括基于IP的TS的类型的包。
[0102]图14描绘使用图13的流的MAT50的对视频数据1_1、1_2和1_3、音频数据1_2和1-3以及私有1-1、1-2和1-3的组装。
[0103]图15描绘包括MAT50的流和其他流。在图15中，通过通信网络接收的流c包括IP类型的包。
[0104]图16描绘使用图15的流的MAT50的对视频数据、视频数据1_1和1_2、音频数据1-2和1-3、应用、定时文本和私有1-3的组装。
[0105]如图13至16所示，可使用MAT50对单独的路径的流的数据进行组装。尽管在图13和15中仅一个流包括MAT50，但是MAT50可包含在所有的流a、b和c中，或者可仅包含在其他流b和c中。
[0106]图17是显示当使用MAT50发送聚合信息时的数据处理单元130的框图。
[0107]参照图17，接收器100还可包括存储单元150。存储单元150存储在接收单元110和120接收的流#111、#221和#331。在图17中，与图10不同，可预先接收并存储这些流。也就是说，在数据处理单元130中，这些流的数据是相关的，但是不是从属的。例如，当广播棒球比赛时，流#1可发送在投手的视野内捕捉的视频数据和音频数据，流#2和#3可发送在接球手或一垒手的视野内捕捉的视频数据和音频数据。在这种情况下，接收器100可使用聚合信息组装数据，然后在不同的屏幕部分中显示所组装的数据，以使得用户可从各种视角观看内容，或者根据用户的选择仅播放特定数据。这样，当对相关的、但不独立的数据进行处理时，可如图17所示那样构造数据处理单元130。
[0108]参照图17，第一 DEMUX131、第二 DEMUX132 和第三 DEMUX133 接收流 #111、#221 和#331，并对这些流进行解复用。当每个流包括MAT时，第一 DEMUX131、第二 DEMUX132和第三DEMUX133将MAT的聚合信息与数据一起检测。为了易于理解，第一DEMUX131、第二DEMUX132和第三DEMUX133检测的聚合信息被称为第一聚合信息、第二聚合信息和第三聚合信息。
[0109]所检测的第一聚合信息、第二聚合信息和第三聚合信息被提供给关联控制器132。关联控制器132使用第一聚合信息、第二聚合信息和第三聚合信息来在流#111、#221和#331内确定要组装的数据，并组装所确定的数据。
[0110]关联控制器132将所组装的数据提供给第一解码器135、第二解码器136和第三解码器137以对该数据进行解码。
[0111]在不同实现中，关联控制器132的操作和解码器的结构可变化。
[0112]例如，当关联控制器132直接组装数据时，关联控制器132可根据聚合信息组装数据，基于数据类型对数据进行分类，并将数据发送到对应的解码器。在这种情况下，可基于数据类型(比如，视频解码器和音频解码器)来配备第一解码器135、第二解码器136和第三解码器137。例如，当第一解码器135、第二解码器136和第三解码器137是视频解码器、音频解码器和数据解码器时，可将所组装的数据的视频数据送给第一解码器135，可将音频数据送给第二解码器136，可将数据送给第三解码器137。
[0113]例如，当关联控制器132通过控制渲染器138来组装数据时，解码器135、136和137均可包括视频解码器、音频解码器和数据解码器中的所有这些解码器。在这种情况下，关联控制器132通过将第一解码器135、第二解码器136和第三解码器137映射到流#111、流#221和第三流#331来控制对数据进行解码。在解码器对数据进行解码之后，关联控制器132可控制渲染器138组装并渲染该数据。
[0114]渲染器138渲染的数据由输出单元140通过显示单元和扬声器中的至少一个输出。
[0115]MAT中的聚合信息可包括如以上所提及的数据类型、数据传输类型、数据分隔符、PID、URL和清单信息中的至少一个，已经对这些信息进行了描述，不应对它们进行进一步解释。
[0116]图18是显示根据本总的发明构思的实施例的流处理方法的流程图。参照图18，接收器通过广播网络接收第一流(S1810)。接收器从所接收的第一流检测数据和聚合信息(S1820)。如关于早前描述的各种实施例所描述的，聚合信息可单独地被记录在PMT的ES循环中或者MAT中。早前详细解释了聚合信息的放置、内容和格式，不应对它们进行进一步描述。
[0117]接收器通过根据所检测的聚合信息接入第二流的源来通过通信网络接收第二流(S1830)。接着，接收器检测所接收的第二流中的、聚合信息指定的数据，并对所检测的数据进行解码(S1840)。可使用PID来检查数据指定。也就是说，接收器检测具有聚合信息中的PID的包，并对该包进行解码。未被指定的其他数据可被丢弃或者被存储到单独的存储器。
[0118]当所有的指定数据都被接收和解码时，接收器组装所解码的数据(S1850)，并输出所组装的数据(S1860)。当仅视频数据被组装时，接收器在屏幕上显示视频数据。当仅音频数据被组装时，接收器通过扬声器输出声音信号。当视频数据和音频数据被组装时，接收器可使数据的输出点同步，并通过显示单元和扬声器输出数据。
[0119]图19是显示根据本总的发明构思的另一实施例的接收器的流处理方法的流程图。参照图19，接收器接收第一流和第二流(S1910)。当从第一流和第二流中的至少一个检测到聚合信息时，接收器使用所检测的聚合信息来组装数据(S1920)。接着，接收器输出所组装的数据(S1930)。如前所述，可使用PMT或MAT来发送聚合信息。
[0120]图20是显示图19的流处理方法中的数据处理步骤的详细流程图。参照图20，接收器存储所接收的第一流和第二流(S2010)。
[0121]接收器对所存储的流进行解复用(S2020)，检测聚合信息，并使用聚合信息来确定要组装的数据(S2030 )。接收器组装所确定的数据(S2040 )，并对该数据进行解码(S2050 )。因此，接收器通过将足够的信号处理(比如，渲染(S2060))应用于所解码的数据来产生输出格式的输出数据。接着，接收器将输出数据提供给显示单元和扬声器中的至少一个以输出该数据。因为已经在图17和相关描述中详细描述了接收器的操作，所以此处不提供它们的进一步解释。
[0122]图21是显示根据本总的发明构思的实施例的发送器的框图。参照图21，发送器300包括ES产生单元310、信息产生单元320、TS产生单元330和发送单元340。图21的发送器330可使用广播站的广播发送器或web服务器来实现。
[0123]ES产生单元310产生包括数据的基本流。将被包括到基本流的数据可包括，但不限于，视频、图像矢量图形、文本、定时文本、音频、语音、场景描述符、web内容、应用和元数据。ES产生单元310可通过从各种外部源(比如，内容提供者)接收数据来产生基本流。
[0124]信息产生单元320产生基本流的信息。
[0125]根据一个实施例，信息产生单元320产生与基本流对应的PMT信息。信息产生单元320产生与要与基本流的数据组装的其他数据相关的聚合信息，并将所产生的聚合信息记录在PMT中所包括的基本流循环中。信息产生单元320还产生包括PMT信息的PAT。如早前所提及的，聚合信息可包括其他数据的类型、传输类型、数据分隔符、PID、URL和清单信息中的至少一个。可从对应程序提供聚合信息，或者直接从内容提供者提供聚合信息。[0126]TS产生单元330产生包括基本流、PMT信息和PAT信息的传输流。
[0127]根据另一实施例，信息产生单元320产生基本流的PMT信息和PAT信息，然后产生MAT,该MT包括与基本流中的数据相关的其他数据的聚合信息。早前已经详细描述了 MT的构造和放置，这里不重复MAT的构造和放置。
[0128]TS产生单元330产生包括基本流、MAT、PAT和PMT的传输流。
[0129]同时，根据早前描述的实施例，TS产生单元330包括用于对所产生的数据进行复用、RS编码和交织的MUX、RS编码器和交织器。
[0130]发送单元340根据预设的通信标准对TS产生单元330产生的传输流进行处理，并发送该传输流。例如，根据ATSC标准，发送单元340可通过将随机化、RS编码、交织、网格编码、字段同步和节段同步复用、导频插入、8VSB调制和RF上变频应用于传输流来发送传输流。这些处理已在标准文档和相关技术文档中进行了详细描述，因此，应当省略。与之相t匕，当发送器通过通信网络发送传输流时，发送单元340可对TS产生单元330产生的传输流进行IP封包，并发送该传输流。
[0131]图22是显示根据本发明的总发明构思的实施例的发送器的流发送方法的流程图。参照图22，发送器产生基本流(S2210)，并产生包括与基本流中的数据相关的信息的PMT(S2220)。将聚合信息记录在PMT中(S2230)。为了更易于理解，尽管在图22中所示的流程图中在产生PMT之后记录聚合信息，但是可以在产生PMT时记录聚合信息。当产生了PMT时，发送器产生包括该信息的PAT，产生包括基本流、PMT和PAT的传输流(S2240)，然后发送该传输流(S2250)。
[0132]图23是显示根据本发明的总发明构思的另一实施例的发送器的流发送方法的流程图。
[0133]参照图23，发送器产生基本流(S2310 )，并产生PMT和PAT( S2320 )。接着，发送器产生包括聚合信息的MAT (S2330)。发送器产生包括所有的信息和基本流的传输流(S2340)。根据通信标准对所产生的传输流进行处理，并发送该传输流(S2350)。
[0134]如以上所阐述的，在单独的路径中发送构成一个程序单元的多个媒体数据，并将聚合信息一起提供，以使得接收器可适当地对数据进行组装和处理。
[0135]因此，如以上使用总发明构思所阐述的，不仅可对需要彼此相关联地播放的数据(比如，左眼图像和右眼图像、视频数据和音频数据)进行组装和处理，而且还可对相关的、但可独立地播放的数据进行组装和处理。
[0136]用于执行根据本总的发明构思的各种实施例的方法的程序可被存储在各种记录介质中，并且用于合适的装置中。
[0137]具体地讲，用于执行这些方法的代码可被存储到各种计算机可读记录介质，比如，随机存取存储器(RAM)、闪存、只读存储器(ROM)、可擦除可编程ROM (EPROM)、电可擦除和可编程ROM (EEPR0M)、寄存器、硬盘、可移动盘、存储卡、USB存储器和CD-ROM。
[0138]尽管已经显示并描述了本总的发明构思的若干实施例，但是本领域技术人员将意识到，在不脱离本发明的原理和精神的情况下，可在这些实施例中进行改变，本发明的范围在权利要求及其等同物中限定。
【权利要求】
1.一种接收器，包括: 第一接收单元，通过广播网络接收第一流； 第二接收单元，通过通信网络接收第二流； 数据处理单元，从第一流和第二流中的至少一个检测聚合信息，并根据聚合信息对来自第一流的数据和来自第二流的数据进行组装和处理； 输出单元，输出由数据处理单元处理的数据。
2.根据权利要求1所述的接收器，其中，聚合信息包括在基本流循环中，基本流循环包括在程序映射表中，程序映射表包括在第一流和第二流中的至少一个中。
3.根据权利要求1所述的接收器，其中，聚合信息包括在多媒体关联表中，多媒体关联表设置在第一流和第二流中的至少一个的程序关联表(PAT)上方。
4.根据权利要求1所述的接收器，其中，数据处理单元包括: 第一解复用器，通过对第一流进行解复用来检测数据和聚合信息； 关联控制器，根据聚合信息控制第二接收单元接收第二流； 第二解复用器，从第二接收单元接收的第二流检测数据； 第一解码器，对第一解复用器检测的数据进行解码； 第二解码器，对第二解复用器检测的数据进行解码； 渲染器，组装并渲染由聚合信息`指定的数据。
5.根据权利要求1所述的接收器，其中，数据处理单元包括: 存储单元,存储第一流和第二流； 第一解复用器，通过对第一流进行解复用来检测数据和第一聚合信息； 第二解复用器，通过对第二流进行解复用来检测数据和第二聚合信息； 关联控制器，使用第一聚合信息和第二聚合信息来在第一流和第二流中确定要组装的数据，并组装所确定的数据； 解码器，对由关联控制器组装的数据进行解码； 渲染器，渲染所解码的数据。
6.根据权利要求1所述的接收器，其中，聚合信息包括下列项中的至少一个:其他流中提供的数据类型、数据传输类型、数据分隔符、PID、URL和清单信息。
7.—种流处理方法,包括: 通过广播网络接收第一流； 检测第一流中的数据和聚合信息； 根据聚合信息通过通信网络接收第二流； 对来自第一流和第二流的数据进行解码； 根据聚合信息组装所解码的数据； 处理并输出所组装的数据。
8.根据权利要求7所述的流处理方法，其中，聚合信息包括在第一流中所包括的程序映射表的基本流循环中。
9.一种流处理方法,包括: 通过广播网络接收第一流； 通过通信网络接收第二流；从第一流和第二流中的至少一个检测聚合信息，并根据所检测的聚合信息对来自第一流的数据和来自第二流的数据进行组装和处理； 输出所处理的数据。
10.根据权利要求9所述的流处理方法，其中，聚合信息被记录在程序映射表中所包括的基本流循环中，程序映射表包括在第一流和第二流中的至少一个中。
11.根据权利要求9所述的流处理方法，其中，聚合信息被记录在多媒体关联表中，多媒体关联表设置在程序关联表上方，程序关联表包括在第一流和第二流中的至少一个中。
12.根据权利要求9所述的流处理方法，其中，处理操作包括: 存储第一流和第二流； 通过对第一流进行解复用来检测数据和第一聚合信息； 通过对第二流进行解复用来检测数据和第二聚合信息； 使用第一聚合信息和第二聚合信息来在第一流和第二流中确定要组装的数据，并组装所确定的数据； 对所组装的数据进行解码； 渲染所解码的数据；和 输出所渲染的数据。
13.根据权利要求9所述的流处理方法，其中，聚合信息包括下列项中的至少一个:其他流中提供的数据类型、数据传输类型、数据分隔符、PID、URL和清单信息。
14.一种流发送方法，包括: 产生包括数据的基本流； 广生用于基本流的程序映射表； 产生与将与所述数据组装的其他数据相关的聚合信息，并将所产生的聚合信息记录在程序映射表中所包括的基本流循环中； 产生并发送包括基本流和程序映射表的传输流， 其中，聚合信息包括下列项中的至少一个:所述其他数据的类型、传输类型、数据分隔符、PID、URL和清单信息。
15.—种流发送方法,包括: 产生包括数据的基本流； 产生将包括在基本流中的程序映射表信息和程序关联表信息； 产生多媒体关联表，多媒体关联表包括关于与所述数据相关的其他数据的聚合信息； 产生并发送包括基本流、多媒体关联表、程序关联表和程序映射表的传输流， 其中，聚合信息包括下列项中的至少一个:所述其他数据的类型、传输类型、数据分隔符、PID、URL和清单信息。
【文档编号】H04N21/434GK103503465SQ201280019812
【公开日】2014年1月8日 申请日期:2012年4月20日 优先权日:2011年4月22日
【发明者】张庸硕, 朴洪奭, 李栽准, 金喜琎, 李大钟, 朱有晟 申请人:三星电子株式会社