发送装置、接收装置及收发方法

发送装置、接收装置及收发方法
【专利摘要】公开的是一种发送装置。发送装置包括：缩减器，用于缩减多媒体数据；第一编码器，用于对缩减的多媒体数据进行编码；第一发送单元，用于通过第一传输网络发送编码的多媒体数据；解码器，用于对编码的多媒体数据进行解码；扩展器，用于对解码的多媒体数据进行扩展；恢复数据发生器，用于使用扩展的多媒体数据来产生恢复数据；第二编码器，用于对恢复数据进行编码；以及第二发送单元，用于通过第二传输网络发送编码的恢复数据。
【专利说明】发送装置、接收装置及收发方法
【技术领域】
[0001]本发明涉及发送装置、接收装置及其收发方法，并且更具体地，涉及用于提供多个流的发送装置、用于接收和处理多个流的接收装置及其收发方法。
【背景技术】
[0002]由于最近电子技术的发展，各种电子设备得以开发和普及。特别是，电视机(TV)可以提供三维(3D)内容或高分辨率内容。因此，已经开发了对于包括多个图像的内容(例如，3D内容、多角度内容和包括深度图像的内容、或超高清(UHD)图像质量的内容)的广播技术。
[0003]在传统广播网络中使用的信道带宽是有限的。另一方面，多角度内容\3D内容\UHD图像质量的内容等有比常规内容大的数据尺寸。因此，如不改变，则很难通过常规的广播网络发送具有大数据尺寸的内容。
[0004]从成本方面看，在新设备上投资以便提供新的内容是困难的。因此，需要一种通过常规的广播设备和接收装置来提供新的内容的方法。

【发明内容】

[0005]本发明提供一种用于提供多个流的发送装置、用于接收和处理多个流的接收装置及其收发方法。
[0006]根据本发明的一个方面，提供一种发送装置，包括:缩减器(down-scaler)，被配置成缩减(down-scale)多媒体数据；第一编码器，被配置成对缩减的多媒体数据进行编码；第一发送器，被配置成通过第一传输网络发送编码的多媒体数据；解码器，被配置成对编码的多媒体数据进行解码；扩展器Up-scaler)，被配置成对解码的多媒体数据进行扩展(up-scale);恢复数据生成器，被配置成使用扩展的多媒体数据生成恢复数据；第二编码器，被配置成对所述恢复数据进行编码；以及第二发送器，被配置成通过第二传输网络发送编码的恢复数据。
[0007]所述多媒体数据可以是2D内容数据，并且所述恢复数据生成器可以比较所述2D内容数据和扩展的2D内容数据以生成比较结果作为恢复数据。
[0008]所述多媒体数据可以是包含在3D内容中的左眼图像数据和右眼图像数据中的一个；并且所述恢复数据生成器可以比较左眼图像数据和右眼图像数据中的另一个和扩展的多媒体数据以生成比较结果作为恢复数据。
[0009]所述第一传输网络可以是射频(RF)网络，所述第二传输网络可以是互联网协议(IP)网络。
[0010]根据本发明的另一个方面，提供一种接收装置，包括:第一接收器，被配置成接收通过第一传输网络传输的多媒体数据；第一解码器，被配置成对所接收的多媒体数据进行解码；扩展器，被配置成扩展解码的多媒体数据；第二接收机，被配置成接收通过第二传输网络传输的恢复数据；第二解码器，被配置成对恢复数据进行解码；以及数据恢复器，被配置成将恢复数据应用于扩展的多媒体数据以恢复内容。
[0011]所述多媒体数据可以是2D内容数据；所述恢复数据可以是通过对2D内容数据依次进行缩减、编码、解码和扩展，然后从2D内容数据中减去结果数据来提取的，以及所述数据恢复器可以将所述恢复数据与扩展的2D内容数据相加以恢复原始的2D内容数据。
[0012]所述多媒体数据可以是包含在3D内容中的的左眼图像数据和右眼图像数据的其中一个，所述恢复数据可以是通过对包含在3D内容中的左眼图像数据和右眼图像数据的其中一个依次执行缩减、编码、解码和扩展，然后从左眼图像数据和右眼图像数据中的另一个中减去结果数据来提取的，并且所述数据恢复器可以将所述恢复数据与包含在3D内容中的扩展的左眼图像数据和右眼图像的其中一个相加，以恢复左眼图像数据和右眼图像数据中的另一个。
[0013]所述第一传输网络可以是射频(RF)网络；以及所述第二传输网络可以是互联网协议(IP)网络。
[0014]根据本发明的再一方面，提供一种发送装置的发送方法，所述发送方法包括:缩减多媒体数据；对缩减的多媒体数据进行编码；通过第一传输网络发送编码的多媒体数据；对编码的多媒体数据进行解码；对解码的多媒体数据进行扩展；使用扩展的多媒体数据生成恢复数据；对恢复数据进行编码；以及通过第二传输网络发送编码的恢复数据。
[0015]所述多媒体数据可以是2D内容数据，并且生成恢复数据可以包括:比较所述2D内容数据和扩展的2D内容数据以生成比较结果作为所述恢复数据。
[0016]所述多媒体数据可以是包含在3D内容中的左眼图像数据和右眼图像数据的其中一个；以及生成恢复数据可以包括:比较左眼图像数据和右眼图像数据中的另一个和扩展的多媒体数据以生成比较结果作为所述恢复数据。
[0017]根据本发明的再一方面，提供一种接收装置的接收方法，所述接收方法包括:接收通过第一传输网络传输的多媒体数据；对接收到的多媒体数据进行解码；对解码的多媒体数据进行扩展；接收通过第二传输网络传输的恢复数据；对所述恢复数据进行解码；以及通过将所述恢复数据应用到扩展的多媒体数据来恢复内容。
[0018]所述多媒体数据可以是2D内容数据；所述恢复数据可以是通过对2D内容数据依次进行缩减、编码、解码和扩展，然后从所述2D内容数据减去结果数据来提取的，以及内容的恢复可以包括:将所述恢复数据与扩展的2D内容数据相加以恢复所述2D内容数据。
[0019]所述多媒体数据可以是包含在3D内容中的左眼图像数据和右眼图像数据的其中一个；所述恢复数据可以是通过对包含在3D内容中的左眼图像数据和右眼图像数据的其中一个依次执行缩减、编码、解码和扩展，然后从左眼图像数据和右眼图像数据中的另一个中减去结果数据来提取的；并且内容的恢复可以包括:将恢复数据与包含在3D内容中的扩展的左眼图像数据和右眼图像中的其中一个相加，以恢复左眼图像数据和右眼图像数据中的另一个。
[0020]根据本发明的再一方面，提供一种内容处理装置，包括:缩减器，被配置成缩减多媒体数据；第一编码器，被配置成对缩减的多媒体数据进行编码；解码器，被配置成将编码的多媒体数据进行解码；扩展器，被配置成对解码的多媒体数据进行扩展；恢复数据生成器，被配置成使用扩展的多媒体数据生成恢复数据；以及第二编码器，被配置成对恢复数据进行编码。[0021]发明效果
[0022]根据本发明各种实施方式，不同的数据可以通过使用现有的设备的各自不同的路径被发送和接收以克服传输带宽的限制，从而提供新的内容给用户。
[0023]此外，即使数据可能不通过第二传输网络接收并且第二网络传输的接收环境比较差，新的内容仍然可以被提供给用户。
【专利附图】

【附图说明】
[0024]图1是表示根据本发明的实施方式的多媒体数据收发系统的图示。
[0025]图2是根据本发明的一个实施方式的多媒体数据收发系统的方框图。
[0026]图3是表示根据本发明的一个实施方式的发送装置的结构的方框图。
[0027]图4是表示根据本发明的一个实施方式的接收装置的结构的方框图。
[0028]图5是表示根据本发明另一实施方式的发送装置的结构的方框图。
[0029]图6是表示根据本发明另一实施方式的接收装置的结构的方框图。
[0030]图7是表示根据本发明另一实施方式的发送装置的结构的方框图。
[0031]图8是对通过第一传输网络和第二传输网络传输的数据进行解释的图示。
[0032]图9是表示根据本发明另一实施方式的接收装置的结构的方框图。
[0033]图10是根据本发明另一个实施方式的多媒体数据收发系统的图示。
[0034]图11是根据本发明一个实施方式的发送方法的流程图。
[0035]图12是根据本发明一个实施方式的接收方法的流程图。
【具体实施方式】
[0036]现在参照附图更加详细地说明本发明的某些典型的实施方式。
[0037]图1是根据本发明实施方式的多媒体数据收发系统101的图。参照图1所示，多媒体数据收发系统10包括发送装置100和接收装置200。
[0038]发送装置100处理多媒体数据，并通过各自不同的传输网络发送信号。例如，如图1所示，发送装置100可以通过第一传输网络发送第一信号以及通过第二传输网络发送第
二信号。
[0039]第一信号和第二信号可以是构成一个多媒体数据的不同的多媒体数据，或为了恢复多媒体数据的多媒体数据和恢复数据。例如，当多媒体数据是3D内容时，左眼图像或右眼图像可以通过第一传输网络传输，并且用于恢复另一图像的恢复数据可以通过第二传输网络传输。
[0040]这里，第一传输网络可以是射频(RF)网络，并且第二传输网络可以是互联网协议(IP)网络。然而，这纯粹是示范性的。因此，第一传输网络可以是IP网络，而第二传输网络可以是射频网络，或者第一传输网络和第二传输网络可以是相同类型的网络。
[0041]接收装置200可以接收从发送装置100传输的第一信号和第二信号，并处理数据以再现多媒体数据。
[0042]图2是根据本发明一个实施例的多媒体数据收发系统10的方框图。参照图2所示，多媒体数据收发系统10的发送装置100包括数据处理器110、第一发送器120和第二发送器130。[0043]数据处理器110的对多媒体数据进行信号处理，并将该信号处理后的多媒体数据和恢复数据发送到第一发送器120和第二发送器130。第一发送器120通过第一传输网络将信号处理后的多媒体数据发送到接收装置200。为此，第一发送器120可将信号处理后的多媒体数据转换为适应第一传输网络传输标准的形式。
[0044]第二发送器130通过第二传输网络将信号处理后的多媒体数据或恢复数据发送到接收装置200。为此，所述第二发送器130可将信号处理后的多媒体数据或恢复数据转换成为适应第二传输网络传输标准的形式。
[0045]这里，当多媒体数据是3D内容时，左眼图像或右眼图像可以通过第一传输网络传输，并且用于另一图像的恢复的恢复数据可以通过第二传输网络传输。或者，左眼图像或右眼图像通过第一传输网络传输，并且另一个图像可以通过第二传输网络传输。当多媒体数据是2D内容时，缩减的2D内容可以通过第一传输网络传输，并且用于恢复原始的2D内容的恢复数据可以通过第二传输网络传输。
[0046]此外，一些通过第二传输网络传输的数据也可以通过第一传输网络传输。例如，当3D内容的左眼图像和右眼图像分别通过第一传输网络和第二传输网络传输时，通过第二传输网络传输的右眼用图像的一些帧可以通过第一传输网络传输。这样，即使在通过第二传输网络传输的数据发生延迟、丢失等，仍可使用通过第一传输网络传输的数据再现3D内容。
[0047]多媒体数据收发系统10的接收装置200包括第一接收器210、第二接收器220和数据处理器230。
[0048]第一接收器210通过第一传输网络从发送装置100接收多媒体数据。第二接收器220通过第二传输网络从发送装置100接收多媒体数据或恢复数据。数据处理器230对通过第一接收器210和第二接收器220接收的多媒体数据或恢复数据进行信号处理，以通过输出单元(未示出)输出原始内容。
[0049]在下文中，根据本发明的各种实施方式，详细描述发送装置100和接收装置200的操作。
[0050]<传输2D内容和恢复数据的实施例>
[0051]参考图3和4，详细描述收发2D内容和恢复数据的一个实施例。这里，2D内容可以是超高清(UHD)的图像质量的2D图像、多视角图像等等。
[0052]图3是根据本发明实施例的发送装置100的结构的一个方框图。参照图3，发送装置100包括缩减器(d0Wn-SCaler)lll、第一编码器112、解码器113、扩展器(up-scaler) 114、恢复数据生成器115、第二编码器116、第一发送器120和第二发送器130。
[0053]当原始的2D内容数据被输入到缩减器111时，缩减器111缩减输入数据。对于大量的数据(如具有UHD图像质量的数据)，原始数据可能不会频繁地通过一个传输信道来传输。在这种情况下，可通过缩减来减小数据尺寸。
[0054]第一编码器112对缩减后的2D内容数据进行编码。详细地，为了与现有接收机兼容，第一编码器112可以对经缩减的2D内容数据执行MPEG-2编码。然而，通过第一编码器112进行编码的图像格式不限于此。可以根据当前可用的图像格式(如H.264、HEVC等等)以及将来开发的不同的图像格式执行编码，并将其适用于本发明的实施例。
[0055]第一发送器120将由第一编码器112所编码的2D内容数据发送到接收装置200。第一发送器120可对编码的2D内容数据执行额外的处理，以便以适合于传输网络，并将2D内容数据发送到接收装置200。例如，当第一传输网络是RF网络时，第一发送器120可以包括调制器(未示出)、上变频器(未示出)等等，并且为了发送RF信号而执行调制、上变频
坐寸ο
[0056]解码器113解码由第一编码器112所编码的2D内容数据。详细地说，解码器113可以执行第一编码器112的逆过程来解码2D内容数据。
[0057]扩展器114对解码的2D内容数据进行扩展。因而，扩展器114可以将2D内容数据恢复到原来的尺寸。
[0058]恢复数据发生器115接收原始的2D内容数据和由扩展器114扩展的2D内容数据以产生恢复的数据。可以通过缩减器111和第一编码器112缩减和编码原始的2D内容数据，以便通过第一传输网络传输原始的2D内容数据。此外，即使通过解码和扩展恢复了数据，但仍然可能发生错误。恢复数据发生器115可以比较原始的2D内容数据和从扩展器114输入并被扩展的2D内容数据，以产生比较结果作为恢复数据。即，恢复数据可以是原始的2D内容数据被缩减、编码、解码、和扩展时产生的误差数据。
[0059]恢复数据发生器115可以包括用于产生恢复数据的减法器。也就是说，可从原始2D内容数据中减去从扩展器114输入的2D内容数据，以产生恢复数据。
[0060]第二编码器116对由数据恢复产生器115产生的恢复数据进行编码。详细地说，第二编码器116可对恢复数据执行HEVC编码。然而，由第二编码器116所编码的图像格式不限于此。也就是说，可以以当前可用的图像格式(如MPEG-2、H.264等)，也可以以将来开发的各种图像格式来执行编码，并适用于本发明的实施例。
[0061 ] 第二发送器130将由所述第二编码器116所编码的恢复数据发送到接收装置200。例如，当第二传输网络是互联网协议(IP)网络时，第一发送器120可以通过因特网将编码后的恢复数据发送到接收装置200。
[0062]图4是根据本发明实施例的接收装置200的结构的一个方框图。参照如图4，接收装置200包括第一接收器210、第二接收器220、第一解码器231、扩展器232、第二解码器233和数据恢复器234。
[0063]第一接收器210通过第一传输网络接收2D内容数据。当第一传输网络是RF网络时，可以通过包括天线、调谐器、解调器、均衡器等来配置第一接收器210。在各种已知的广播标准中公开了天线、调谐器、解调器、均衡器等的结构和操作，因此，在此将不再给出其详细描述。
[0064]第一解码器231对从第一接收器210接收到的2D内容数据进行解码。详细地说，第一解码器231可以根据图像压缩格式执行发送装置100中的第一编码器112的逆过程来解码2D内容数据。例如，当将2D内容数据被MPEG-2编码时，可能执行MPEG-2解码。
[0065]扩展器232对解码的2D内容数据进行扩展。扩展器232可以将由发送设备100缩减的2D内容数据恢复到原始数据尺寸。
[0066]第二接收器220通过第二传输网络接收恢复数据。当第二传输网络是IP网络时，第二接收器220可以以IP流的形式接收恢复数据。
[0067]第二解码器233对从第二接收器220接收到的恢复数据进行解码。详细地说，第二解码器233可以根据图像压缩格式执行发送装置100的第二编码器116的逆过程以解码恢复数据。例如，当2D内容数据被HEVC编码时，可能执行HEVC解码。
[0068]数据恢复器234恢复原始的2D内容数据。详细地说,数据恢复器234将由第二解码器233解码的恢复数据应用到由扩展器232扩展的2D内容数据，并校正发送装置100和接收装置200在数据处理过程中所产生的误差以恢复原始的2D内容数据。为此，数据恢复器234可包括加法器。也就是说，数据恢复器234可将恢复数据与扩展的2D内容数据相加以恢复原始的2D内容数据。
[0069]根据本发明的另一实施例，当第一编码器112使用了未应用环路去块效应滤波器(in-loop de-blocking filter)的编解码器(例如MPEG-2编解码器)时，发送装置100和接收装置200还可包括对扩展的数据进行块伪像滤波(block-artifact-filtering)的解块滤波器(de-blocking filter)(未示出)。即，从发送装置100的扩展器114输出的数据可以由块滤波器(未示出)进行块伪像滤波，然后输入到恢复数据发生器115。此外，从接收装置200的扩展器232输出的数据可以由解块滤波器(未示出)进行块伪象过滤，然后输入到数据恢复器234。因此，由MPEG-2的块噪声引起的误差可以被减小，并且恢复数据的数据尺寸可以被减小。
[0070]此外，当多媒体数据具有数据尺寸，使得其只利用现有的传输信道的带宽传输而不被缩减时，可以从发送装置100和接收装置200中忽略缩减器111和扩展器114和232。
[0071]<传输3D内容的左眼图像和右眼图像中的任意一个和恢复数据的实施例>
[0072]参照图3和4详细说明收发3D内容和恢复数据的一个实施例。收发3D内容和恢复数据的实施例具有如收发2D内容和恢复数据的实施例的相同的配置，除了目标收发数据，因此，这里不再重复详细的说明。
[0073]图3是显示了根据本发明实施例的发送装置100的结构的一个方框图。参照图3，发送装置100包括:缩减器111、第一编码器112、解码器113、扩展器114、恢复数据产生器115、第二编码器116、第一发送器120和第二发送器130。
[0074]当构成3D内容数据的左眼图像和右眼图像数据被输入到缩减器111时，缩减器111缩减输入的数据。
[0075]第一编码器112对缩减的左眼图像或右眼图像数据进行编码。详细地说，第一编码器112可以对缩减的2D内容数据执行MPEG-2编码以兼容现有的接收机。
[0076]第一发送器120将由第一编码器112编码的左眼图像或右眼图像数据发送到接收装置200。
[0077]该解码器113解码由第一编码器112编码的左眼图像或右眼图像数据。
[0078]扩展器114可扩展解码的左眼图像或右眼图像数据，从而恢复原始数据的尺寸。
[0079]恢复数据生成器115接收由扩展器114扩展的左眼图像或右眼图像数据和构成3D内容数据的左眼和右眼图像中的另一个，以生成恢复数据。
[0080]详细地说，恢复数据产生器115可以比较扩展的左眼图像或右眼图像数据和构成3D内容数据的左眼图像和右眼图像中的另一个，以产生比较结果作为恢复数据。为此目的，所述恢复数据发生器115可以包括减法器。也就是说，从构成3D的内容数据的原始的左眼图像和右眼图像数据中的任何一个中减去从扩展器114输入的左眼图像和右眼图像中的任何一个，以产生恢复数据。
[0081]根据上述的实施例中，为了通过恢复数据生成器115产生恢复数据，使用扩展的左眼图像或右眼图像。可选地，恢复数据发生器115可以使用原始左眼图像和右眼图像生成恢复数据。在这种情况下，解码器113和数据处理器110的扩展器114可以被省略。
[0082]第二编码器116对由恢复数据发生器115产生的恢复数据进行编码。
[0083]第二发送器130将由第二编码器116所编码的恢复数据发送到接收装置200。
[0084]图4是根据本发明的一个实施例的接收装置200的框图。参照图4所示，接收装置200包括第一接收器210、第二接收器220、第一解码器231、扩展器232、第二解码器233以及数据恢复器234。
[0085]第一接收器210通过第一传输网络接收构成3D内容的左眼图像和右眼图像数据中的任何一个。
[0086]第一解码器231对从第一接收机210接收的数据进行解码。详细地说，第一解码器231可以根据图像压缩格式执行发送装置100中的第一编码器112的逆过程来解码左眼图像或右眼图像数据。
[0087]扩展器232可对解码的的左眼图像或右眼图像数据进行扩展来将由发送装置100缩减的左眼图像或右眼图像数据恢复成原始数据的尺寸。
[0088]第二接收器220通过第二传输网络接收恢复数据。当第二传输网络是IP网络时，第二接收器220可以接收IP流形式的恢复数据。
[0089]第二解码器233对从第二接收器220接收到的恢复数据进行解码。详细地说，第二解码器233可以根据图像压缩格式执行发送装置100中的第二编码器的116的逆过程来对恢复数据进行解码。
[0090]数据恢复器234恢复3D内容的左眼图像和右眼图像数据中的任何一个。详细地说，数据恢复器234可以将由第二解码器233编码的恢复数据应用到由扩展器232扩展的左眼图像或右眼图像数据，以恢复左眼图像和右眼图像中的另一个图像数据。为此，数据恢复器234可包括加法器。也就是说，数据恢复器234可将恢复数据与扩展的左眼图像或右眼图像数据相加来恢复左眼图像和右眼图像数据中的另一个。
[0091]在这里，从扩展器232和数据恢复器234输出的3D内容的左眼图像和右眼图像可以由输出单兀(未不出)输出。
[0092]根据本发明另一实施例中，当第一编码器112使用对其未应用环路去块效应滤波器的编解码器时，例如MPEG-2编解码器，发送装置100和接收装置200可进一步包括解块滤波器(未示出)，用于对扩展的数据进行块伪像滤波。即，从发送装置100的扩展器114输出的数据可以由解块滤波器(未示出)进行块状伪像滤波，然后输入到恢复数据发生器115。此外，从接收装置200的扩展器232输出的数据可以由解块滤波器(未示出)进行数据块伪像过滤，然后输入到数据恢复器234。因此，由于MPEG-2的块噪声引起的误差可以被减小，而且恢复数据的数据尺寸可以被减小。
[0093]此外，当多媒体数据具有数据尺寸，使得其只利用现有的传输信道的带宽传输而不被缩减时，可以从发送装置100和接收装置200中省略缩减器111和扩展器114和232。
[0094]<传输3D内容的左眼图像和右眼图像数据的实施例>
[0095]将参照图5和6详细说明收发3D内容的左眼图像和右眼图像数据的实施例。
[0096]图5是显示了根据本发明另一实施例的发送装置100的结构的框图。参照图5所示，发送装置100包括:缩减器111、第一编码器112、第二编码器116、第一发送器120和第二发送器130。
[0097]当构成3D内容数据的左眼图像和右眼图像数据被输入到缩减器111，缩减器111对输入数据进行缩减。对于大量的数据(如具有UHD图像质量的数据)，原始数据可能不会频繁地通过一个传输信道传输。在这种情况下，数据尺寸可通过缩减来减小。
[0098]第一编码器112对缩减的左眼图像或右眼图像数据进行编码。详细地说，第一编码器112可以对缩减的2D内容数据执行MPEG-2以兼容现有的接收机。然而，通过第一编码器112进行编码的图像格式不限于此。可以根据当前可用的图像格式(如H.264、HEVC等)以及将来待开发的的各种图像格式来执行该编码，并被适用于本发明的实施例。
[0099]第一发送器120将由第一编码器112编码的左眼图像或右眼图像数据发送到接收装置200。第一发送器120对编码的左眼图像或右眼图像数据执行额外的处理，以便适用于传输网络并将数据发送到接收装置200。例如，当第一传输网络是RF网络时，第一发送器120可以包括调制器(未示出)、上变频器(未示出)等等，并且为了发送RF信号，执行调制、上变频等等。
[0100]第二编码器116接收并编码3D内容的左眼图像和右眼图像数据中的另一个。详细地说，第二编码器116可以对3D内容的左眼图像和右眼图像数据中的另一个执行HEVC编码。然而，由第二编码器116所编码的图像格式不限于此。也就是说，可以以当前可用的图像格式(如MPEG-2、H.264等)以及将来开发的各种图像格式执行编码，并适用于本发明的实施例。
[0101]第二发送器130将由第二编码器116所编码的3D内容的左眼图像和右眼图像数据中的另一个发送到接收装置200。例如，当第二传输网络是互联网协议(IP)网络时，第二发送器130可以将编码数据通过因特网发送到接收装置200。
[0102]图6是表示根据本发明另一实施例的接收装置200的结构的一个方框图。图6的接收装置200除了存在数据恢复器234之外与图4的接收装置200 —样，因此，在此不再重复它们的详细描述。参照图6所示，接收装置200包括:第一接收器210、第二接收器220、第一解码器231、扩展器232和第二解码器233。
[0103]第一接收器210通过第一传输网接收构成3D内容的左眼图像和右眼图像数据中的任何一个。
[0104]第一解码器231对从第一接收机210接收的数据进行解码。详细地说，第一解码器231可以根据图像压缩格式来执行发送装置100的第一编码器的112的逆过程，以解码左眼图像或右眼图像数据。
[0105]扩展器232对解码的2D内容数据进行扩展。扩展器232可以将由发送设备100缩减的左眼图像或右眼的图像数据恢复到原始数据尺寸。
[0106]第二接收器220通过第二传输网络接收3D内容数据的左眼图像和右眼图像数据中的另一个。当第二传输网络是IP网络时，第二接收器220可以以IP流形式接收左眼图像和右眼的图像数据中的另外一个。
[0107]第二解码器233对从第二接收器220接收的左眼图像和右眼的图像数据中的另一个进行解码。详细地说，第二解码器233可以根据图像压缩格式执行发送装置100中的第二编码器的116的逆过程来解码数据。
[0108]这里，从扩展器232和第二解码器233输出的3D内容的左眼图像和右眼图像数据可以从输出单元(未示出)输出。
[0109]当多媒体数据具有的数据尺寸，使得其只利用现有的传输信道的带宽传输而不被缩减时，可以从发送装置100和接收装置200中省略缩减器111和扩展器232。
[0110]〈通过第一传输网络传输第一数据和第二数据，并通过第二传输网络传输第二数据的实施例>
[0111]参照图7和9详细说明通过第一传输网络传输构成一个内容的第一数据和第二数据两者，并且通过第二传输网络传输第二数据的实施例。这里，第一数据和第二数据可以对应于3D内容的左眼图像和右眼图像、构成多角度内容的多个图像、2D数据和深度的图像数
据坐坐
J/Π寸寸ο
[0112]图7是表示根据本发明另一实施例的发送装置100的结构的一个方框图。参照图7所示，发送装置100包括:第一编码器112、第二编码器116、复用器117、第一发送器120和第二发送器130。
[0113]第一编码器112对构成一个内容的多个多媒体数据的第一数据进行编码。详细地说，第一编码器112可以对第一数据执行MPEG-2，以便兼容现有的接收机。然而，通过第一编码器112进行编码的图像格式不限于此。可以根据当前可用的图像格式(如H.264.HEVC等等)以及在将来待开发的各种图像格式执行该编码，适用于本发明的实施例。
[0114]第二编码器116对构成一个内容的多个多媒体数据的第二数据进行编码。详细地说，第二编码器116可以对第二数据执行HEVC编码。然而，由第二编码器116所编码的图像格式不限于此。也就是说，可以以具有可扩展特性的当前可用的图像格式(如H.264等)及以将来开发的各种图像格式执行编码，并适用于本发明的实施例。
[0115]复用器117复用由第一编码器112编码的第一数据和由第二编码器116编码的第二数据，以构成一个数据。
[0116]第一发送器120将由复用器117复用的数据发送到接收装置200。第一发送器120可以对于复用数据进行附加的处理，以适用于传输网络并发送数据到接收装置200。例如，当第一传输网络是RF网络时，第一发送器120可以包括调制器(未示出)，上变频器(未示出)等等，并且为了发送RF信号，执行调制、上变频等。
[0117]第二发送器130将由第二编码器116所编码的第二数据发送到接收装置200。例如，当第二传输网络是IP网络时，第二发送器130可以通过因特网将编码数据发送到接收装置200。
[0118]因此，即使在现有的接收装置不支持通过第二传输网络的数据接收或不能顺利地通过第二传输网络执行数据接收时，接收装置可以通过第一传输接收第一数据和第二数据并将包括多个数据的内容提供给用户。
[0119]图8是对于通过第一传输网络和第二传输网络传输数据进行解释的示图。
[0120]例如，当第一传输网络是RF网络和所述第二传输网络是IP网络时，现有的RF广播信道可以以19.83Mbps的传输速率传输数据。例如，当第一数据以MPEG-2的格式压缩并且第二数据以H.264格式压缩时，H.264具有的压缩效率比MPEG-2格式大两倍。关于依此复用的数据，第一数据可以以大约12Mbps的速度进行传输，第二数据可以以大约6Mbps的速度进行发送。当第二数据以H.264的格式编码时，第二数据可以以6Mbps的速度通过第二传输网络传输。[0121]图9是表示根据本发明另一实施例的接收装置200的结构的方框图。参照图9所示，接收装置200包括:第一接收器210、第二接收器220、解复用器235、第一解码器231、第二解码器233。
[0122]第一接收器210通过第一传输网络接收通过复用第一数据和第二数据所获得的数据。
[0123]第二接收器220通过第二传输网络接收第二数据。当第二传输网络是IP网络时，可以以IP流的形式接收第二数据。
[0124]解复用器235可以对从第一接收器210接收到的数据解复用而形成第一数据和第二数据，并分别将第一数据和第二数据输出到第一解码器231和第二解码器233。
[0125]第一解码器231对从解复用器235输入的第一数据解码。详细地说，第一解码器231可以根据图像压缩格式执行发送装置100中的第一编码器112的逆过程来解码第一数据。
[0126]第二解码器233对从解复用器235输入的第二数据解码。详细地说，第二解码器233可以根据图像压缩格式执行发送装置100的第二编码器116的逆过程来解码第二数据。
[0127]根据上述的实施例中，通过第一传输网络传输的第二数据和通过第二传输网络传输的第二数据是相同的。然而，通过第一传输网络发送的数据的尺寸受到限制(例如，当第一传输网络是RF网络时，数据可以以19.38Mbps的最大速度传输)。此外，当通过所述第一传输网络传输的第二数据的量增加时，通过第一传输网络传输的第一数据的量可能会减少。
[0128]因此，通过第一传输网络传输的第二数据的量可能小于通过第二传输网络传输的第二数据的量。例如，第一传输网络可以以大约16Mbps的传输速率传输第一数据而以2Mbps的传输速度传输第二数据。
[0129]为此，第二编码器116可以接收第二数据，生成并编码将通过第一传输网络来传输的相对低图像质量的数据(在下文中称为基本数据)和将通过所述第二传输网络来传输的相对高图像质量的数据(在下文中称为增强数据)，然后，分别输出相对低图像质量的数据和相对高图像质量的数据到复用器117和第二发送器130。
[0130]可选地，第二编码器116可以生成、编码、并输出包括基本数据和附加信息的数据。此外，复用器117可以选择性地仅复用第一数据和基本数据，并且第二发送器130可一起发送基本数据和附加信息。
[0131]作为减少通过第一传输网络传输的第二数据的量的方法，可以传输构成第二数据的多个图像帧的一部分(例如，以每秒15帧的帧速率传输30帧每秒的帧速率的内容)，可以减小图像帧的分辨率(例如，将HD图像质量转换成SD图像质量或将SD图像质量转换为CIF图像质量)，或可以减小图像帧的比特率(例如，将2Mbps转换成512kbps)。
[0132]根据上述实施例的接收设备200还可以包括用于输出由数据处理器230进行了信号处理的多媒体数据的输出单元(未示出)。输出单元(未示出)可以包括用于输出图像数据的图像输出单元(未示出)和用于输出音频数据的音频输出单元(未示出)。虽然上述实施例已依据数据处理器230的图像处理器进行了描述，但是该数据处理器230还可以包括音频处理器(未示出)和附加的处理器(未示出)，用于处理包含在所接收的多媒体数据中的附加数据和音频数据。音频处理器(未示出)可以处理音频数据并通过音频输出单元输出音频数据，附加数据处理器(未示出)可以处理附加的数据(如字幕)和再现图像数据来形成图像。然后，可以通过显示单元输出形成的图像。
[0133]图10是根据本发明另一实施例的多媒体数据收发系统20的图示。收发系统20在其操作方面与图1和2的收发系统10是相同的，除了收发系统10的发送装置100被实现为包括多个设备的发送系统。参照图10所示，收发系统20包括内容处理设备300、第一发送装置400、第二发送装置500、接收装置200。
[0134]内容处理装置300对应于发送装置100的数据处理器110，第一发送装置400对应于发送装置100的第一发送器120，并且第二发送装置500对应于发送装置100的第二发送器130，其在此将不再进行详细描述。
[0135]图11是根据本发明一个实施例的发送方法的流程图。参照图11，对多媒体数据进行缩减(SlllO)。这里，多媒体数据可以是2D内容数据、3D内容的左眼图像和右眼图像数据之一。此外，对缩减的多媒体数据进行编码(S1120)。详细地说，可对缩减的多媒体数据执行MPEG-2编码以便与现有接收机兼容。然后，通过第一传输网络(S1130)来传输编码后的多媒体数据。这里，第一传输网络可以是RF网络。
[0136]此外，对编码的多媒体数据进行解码(S1140)，然后将解码的多媒体数据进行扩展(S1150)。此外，使用扩展的多媒体数据(S1160)产生恢复数据。当多媒体数据是2D内容数据时，可以比较2D内容数据和扩展的2D内容数据以产生恢复数据作为比较的结果。当多媒体数据是包含3D内容的左眼图像和右眼图像数据之一时，可以比较该多媒体数据与左眼图像和右眼图像中的另一个的扩展的多媒体数据，并且可以产生恢复数据作为比较结果O
[0137]此外，对恢复数据进行编码(S1170)，并且通过第二传输网络(S1180)传输。第二传输网络可以是IP网络(因特网)。
[0138]图12是根据本发明一个实施例的接收方法的流程图。参照图12，通过第一传输网络接收多媒体数据(S1210)。第一传输网络可以是RF网络。此外，对所接收的多媒体数据进行解码(S1220)。这里，多媒体数据可以是2D内容数据、以及3D内容的左眼图像和右眼图像数据之一。然后，对解码的多媒体数据进行扩展(S1230)。
[0139]此外，通过第二传输网络接收恢复数据(S1250)。第二传输网络可以是IP网络。可以通过对2D内容数据依次进行缩减、编码、解码以及扩展并从2D内容数据减去结果数据来提取恢复数据。可选地，可通过对3D内容的左眼图像数据和右眼图像数据的任意一个依次执行缩减、编码、解码和扩展，然后从左眼图像数据和右眼图像数据中的另一个减去结果数据来提取恢复数据。
[0140]然后，对接收到恢复的数据进行解码(S1250)，并将恢复数据施加到扩展的多媒体数据来恢复内容(S1260)。这里，当多媒体数据是2D内容数据时，恢复数据可与该扩展的2D内容数据相加以恢复2D内容数据。当多媒体数据是包含在3D内容中的左眼图像和右眼图像数据之一时，该恢复的数据可与扩展的3D内容的左眼图像数据和右眼图像数据中的其中一个相加来恢复的左眼图像和右眼图像数据中的另一个。
[0141]执行根据本发明上述各个实施例的方法的程序可以被存储并使用于不同类型的记录介质上。
[0142]具体地说，用于执行上述方法的代码可以被存储在各种类型的非易失性记录介质中，诸如闪速存储器、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电子可擦除和可编程ROM(EEPROM)、硬盘、可移动盘、存储卡、通用串行总线(USB)存储器、CD-ROM等等。
[0143] 在上述示例性实施例和优点仅仅是示例性的，并且不应当被解释为限制本发明。本教导可以容易地应用于其它类型的装置。另外，本发明的示例性实施例的描述期望是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对于本领域的技术人员将是显而易见的。
【权利要求】
1.一种发送装置，包括: 缩减器，被配置成缩减多媒体数据； 第一编码器，被配置成对缩减的多媒体数据进行编码； 第一发送器，被配置成通过第一传输网络发送编码的多媒体数据； 解码器，被配置成对编码的多媒体数据进行解码； 扩展器，被配置成对解码的多媒体数据进行扩展； 恢复数据生成器，被配置成使用扩展的多媒体数据生成恢复数据； 第二编码器，被配置成对恢复数据进行编码；以及 第二发送器，被配置成通过第二传输网络发送编码的恢复数据。
2.如权利要求1所述的发送装置，其中: 所述多媒体数据是2D内容数据，并且 所述恢复数据生成器比较所述2D内容数据和扩展的2D内容数据以生成比较结果作为所述恢复数据。
3.如权利要求1所述的 发送装置，其中: 所述多媒体数据是包含在3D内容中的左眼图像数据和右眼图像数据中的一个；并且所述恢复数据生成器比较所述左眼图像数据和所述右眼图像数据中的另一个和扩展的多媒体数据以生成比较结果作为所述恢复数据。
4.如权利要求1所述的发送装置，其中: 所述第一传输网络是射频(RF)网络；和 所述第二传输网络是互联网协议(IP)网络。
5.一种接收装置，包括: 第一接收器，被配置成接收通过第一传输网络传输的多媒体数据； 第一解码器，被配置成对所接收的多媒体数据进行解码； 扩展器，被配置成扩展解码的多媒体数据； 第二接收器，被配置成接收通过第二传输网络传输的恢复数据； 第二解码器，被配置成对所述恢复数据进行解码；以及 数据恢复器，被配置成将所述恢复数据应用于扩展的多媒体数据以恢复内容。
6.如权利要求5所述的接收装置，其中: 所述多媒体数据是2D内容数据； 所述恢复数据是通过对所述2D内容数据依次进行缩减、编码、解码和扩展，然后从所述2D内容数据中减去结果数据而提取的；以及 所述数据恢复器将所述恢复数据与扩展的2D内容数据相加以恢复原始的2D内容数据。
7.如权利要求5所述的接收装置，其中: 所述多媒体数据是包含在3D内容中的左眼图像数据和右眼图像数据的其中一个；所述恢复数据是通过对包含在所述3D内容中的左眼图像数据和右眼图像数据的其中一个依次执行缩减、编码、解码和扩展，然后从左眼图像数据和右眼图像数据中的另一个中减去结果数据来提取的，并且 所述数据恢复器将所述恢复数据加到包含在所述3D内容中的扩展的左眼图像数据和右眼图像的其中一个，以恢复所述左眼图像数据和所述右眼图像数据中的另一个。
8.如权利要求1所述的接收装置，其中: 所述第一传输网络是射频(RF)网络；以及 所述第二传输网络是互联网协议(IP)网络。
9.一种发送装置的发送方法，所述发送方法包括: 缩减多媒体数据； 对缩减的多媒体数据进行编码； 通过第一传输网络发送编码的多媒体数据； 对编码的多媒体数据进行解码； 对解码的多媒体数据进行扩展； 使用扩展的多媒体数据生成恢复数据； 对恢复数据进行编码；以及 通过第二传输网络发送编码的恢复数据。
10.如权利要求9所述的发送方法，其中: 所述多媒体数据是2D内容数据，并且 生成恢复数据包括:比较所述2D内容数据和扩展的2D内容数据以生成比较结果作为所述恢复数据。
11.如权利要求9所述的发送方法，其中: 所述多媒体数据是包含在3D内容中的左眼图像数据和右眼图像数据的其中一个；以及 生成恢复数据包括:比较所述左眼图像数据和所述右眼图像数据中的另一个和扩展的多媒体数据以生成比较结果作为所述恢复数据。
12.一种接收装置的接收方法，所述接收方法包括: 接收通过第一传输网络传输的多媒体数据； 对接收到的多媒体数据进行解码； 对解码的多媒体数据进行扩展； 接收通过第二传输网络传输的恢复数据； 对所述恢复数据进行解码；以及 通过将所述恢复数据应用到扩展的多媒体数据来恢复内容。
13.如权利要求12所述的接收方法，其中， 所述多媒体数据是2D内容数据； 所述恢复数据是通过对所述2D内容数据依次进行缩减、编码、解码和扩展，然后从所述2D内容数据减去结果数据来提取的，以及 所述内容的所述恢复包括:将所述恢复数据加到扩展的2D内容数据以恢复所述2D内容数据。
14.如权利要求12所述的接收方法，所述多媒体数据是包含在3D内容中的左眼图像数据和右眼图像数据的其中一个；所述恢复数据是通过对包含在所述3D内容中的左眼图像数据和右眼图像数据的其中一个依次执行缩减、编码、解码和扩展，然后从所述左眼图像数据和所述右眼图像数据中的另一个中减去结果数据来提取的；并且所述内容的所述恢复包括:将所述恢复数据加到包含在所述3D内容中的扩展的左眼图像数据和右眼图像中的其中一个，以恢复所述左眼图像数据和所述右眼图像数据中的另一个。
15.一种内容处理装置，包括: 缩减器，被配置成缩减多媒体数据； 第一编码器，被配置成对缩减的多媒体数据进行编码； 解码器，被配置成将编码的多媒体数据进行解码； 扩展器，被配置成对解码的多媒体数据进行扩展； 恢复数据生成器，被配置成使用扩展的多媒体数据以生成恢复数据；以及 第二编码器，被配置成对所述恢复数据进行编码。
【文档编号】H04N7/08GK103703765SQ201280036418
【公开日】2014年4月2日 申请日期:2012年7月23日 优先权日:2011年7月22日
【发明者】朴洪奭, 金容渧, 金喜琎, 朱盛晨, 李大钟, 李栽准, 张庸硕, 朱有晟 申请人:三星电子株式会社