专利名称：用于产生包括用于再现3维图像的附加信息的3维图像数据流的方法和设备以及用于接收 ...的制作方法
技术领域：
示例性实施例涉及在数字广播系统中发送和接收包括三维(3D)图像数据的数据流。
背景技术：
为了在保持与传统的二维QD)数字广播系统的兼容性的同时再现3D图像数据， 需要表示该3D图像的特性的附加信息。提供图像服务的发送端可发送3D图像的编码数据， 并可通过另外的信道发送关于3D图像的附加信息。接收图像服务的接收端可通过至少两个信道接收编码数据和附加信息。为了不占用另外的信道，可通过与编码数据相同的信道，以添加到现有数据的元数据的形式提供附加信息。
发明内容
技术问题示例性实施例提供一种用于通过使用广播收发系统中的节目引导信息来发送和接收用于3D图像的平滑再现的附加信息的方法和设备。技术方案根据示例性实施例的一方面，提供一种产生3D图像数据流的方法，所述方法包括产生包括3D图像数据的编码比特串的基本流；通过打包所述基本流来产生至少一个打包的基本流；产生包括3D图像数据的服务相关信息的至少一个区段；将再现所述3D图像数据所需的3D图像再现信息插入到产生的至少一个区段中的节目引导信息区段；针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；通过复用产生的至少一个传输流包来产生传输流。最优模式根据示例性实施例的一方面，提供一种产生3D图像数据流的方法，所述方法包括产生包括3D图像数据的编码比特串的基本流；通过打包所述基本流来产生至少一个打包的基本流；产生包括3D图像数据的服务相关信息的至少一个区段；将再现所述3D图像数据所需的3D图像再现信息插入到产生的至少一个区段中的节目引导信息区段；针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；通过复用产生的至少一个传输流包来产生传输流。插入3D图像再现信息的步骤可包括产生包括3D图像再现信息的至少一个3D图像再现描述符；将3D图像再现描述符插入到节目引导信息区段中的事件信息表区段的描述符区域。所述方法还可包括发送传输流。此外，所述方法还可包括存储传输流。
根据另一示例性实施例的一方面，提供一种接收3D图像数据流的方法，所述方法包括通过解复用接收的传输流来分离至少一个传输流包；通过对所述至少一个传输流包进行解包来恢复包括3D图像数据的至少一个打包的基本流以及包括3D图像数据的服务相关信息的至少一个区段；通过对所述至少一个打包的基本流进行解包来恢复基本流；从所述至少一个区段中的节目引导信息区段提取再现3D图像数据所需的3D图像再现信息；通过解码基本流的数据来恢复3D图像数据。所述方法还可包括通过使用3D图像再现信息来再现恢复的3D图像数据。所述3D图像再现描述符可包括3D信息开始描述符，该3D信息开始描述符指示3D 图像数据流包括在相应的节目中。所述3D图像再现描述符还可包括间隔3D再现描述符、3D相机描述符、低疲劳描述符、右和左不均衡描述符中的至少一个，所述间隔3D再现描述符指示在整个图像数据中以3D进行再现的时间间隔或空间间隔，所述3D相机描述符是关于获得3D图像的相机，所述低疲劳描述符减少在再现3D图像的同时产生的观看的不适，所述右和左不均衡描述符指示左视点图像和右视点图像的不均衡状态。所述3D信息开始描述符可以是用于平滑地再现3D图像数据的基本信息，并可包括3D图像格式信息，指示3D图像的左视点图像和右视点图像的格式；右和左布置信息，指示左视点图像和右视点图像的布置次序；全分辨率信息，指示形成3D图像的左视点图像和右视点图像的分辨率。所述3D图像再现描述符中的间隔3D再现描述符、3D相机描述符、低疲劳描述符以及右和左不均衡描述符是除基本信息之外的用于平滑地再现3D图像数据的附加信息。所述右和左不均衡描述符可使用下述中的一个来表示左视点图像像素值和右视点图像像素值之间的偏移量、左视点图像像素值和右视点图像像素值之间的线性函数以及左视点图像像素值和右视点图像像素值之间的查找表。所述附加信息可包括指示每条附加信息是否被定义的指示符。根据示例性实施例的另一方面，提供一种用于产生3D图像数据流的设备，所述设备包括基本流产生器，产生包括3D图像数据的编码比特串的基本流；打包的基本流产生器，通过打包所述基本流来产生至少一个打包的基本流；区段产生器，产生描述3D图像数据的服务相关信息的至少一个区段；3D图像再现信息插入器，将再现所述3D图像数据所需的3D图像再现信息插入到所述至少一个区段中的节目引导信息区段；传输流包产生器，针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；传输流产生器，通过复用产生的至少一个传输流包来产生传输流。所述设备还可包括发送传输流的传输流发送器。根据另一示例性实施例的一方面，提供一种用于接收3D图像数据流的设备，所述设备包括传输流解复用器，通过解复用接收的传输流来分离至少一个传输流包；传输流包解包器，通过对所述至少一个传输流包进行解包来恢复包括3D图像数据的至少一个打包的基本流以及包括3D图像数据的服务相关信息的至少一个区段；打包的基本流解包器， 通过对所述至少一个打包的基本流进行解包来恢复基本流；3D图像再现信息提取器，从所述至少一个区段中的节目引导信息区段提取再现3D图像所需的3D图像再现信息；3D图像恢复器，通过解码基本流的数据来恢复3D图像数据。
所述设备还可包括3D图像再现器，所述3D图像再现器通过使用3D图像再现信息来再现恢复的3D图像数据。根据另一示例性实施例的一方面，提供一种计算机可读记录介质，在其上已记录用于执行产生3D图像数据流的方法的程序。此外，根据另一示例性实施例的一方面，提供一种计算机可读记录介质，在其上已记录用于执行接收3D图像数据流的方法的程序。有益效果根据示例性实施例的3D图像再现信息可被用在计算机中的3D图像解码器、3D广播系统、3D数字电视(TV)系统或3D包媒体系统中。因此，在保持与传统的数字广播系统的兼容性的同时提供2D内容和3D内容的3D数字广播可被提供。上面的示例性实施例被用在基于TS的发送系统和接收系统中，但是3D图像再现信息被插入到PES级别的实施例可被用在基于节目流的系统中。
图1是根据示例性实施例的用于产生3D图像数据流的设备的框图；图2是根据示例性实施例的用于接收3D图像数据流的设备的框图；图3是示出根据示例性实施例的3D图像格式信息的表；图4是示出根据示例性实施例的右和左布置信息的表；图5示出根据示例性实施例的时间间隔3D再现信息；图6示出根据另一示例性实施例的时间间隔3D再现信息；图7示出根据示例性实施例的空间间隔3D再现信息；图8示出根据示例性实施例的3D相机信息；图9示出根据示例性实施例的低疲劳信息；图10示出根据示例性实施例的低疲劳范围；图11示出根据示例性实施例的右和左不均衡信息；图12示出根据另一示例性实施例的右和左不均衡信息；图13示出根据另一示例性实施例的右和左不均衡信息；图14示出根据示例性实施例的3D图像再现信息；图15是根据示例性实施例的用于通过使用3D再现信息来提供3D图像服务的3D 图像服务系统的示意性框图；图16是根据示例性实施例的用于发送3D图像的设备的示意性框图，其中，所述设备产生3D图像再现信息；图17是根据示例性实施例的用于再现3D图像的设备的框图，其中，所述设备使用 3D图像再现信息；图18是示出根据示例性实施例的将插入3D图像再现描述符的描述符区域标签的表；图19是示出根据示例性实施例的插入到描述符区域中的3D信息开始描述符的表；图20是示出根据示例性实施例的插入到描述符区域中的3D相机描述符的表；图21是示出根据示例性实施例的插入到描述符区域中的低疲劳描述符的表；
图22是示出根据示例性实施例的插入到描述符区域中的间隔3D描述符的表；图23是示出根据示例性实施例的插入到描述符区域中的右和左不均衡描述符的表；图M是示出根据示例性实施例的发送3D图像数据流的方法的流程图；以及图25是示出根据示例性实施例的接收3D图像数据流的方法的流程图。
具体实施例方式以下，将参照附图更加全面地描述示例性实施例。图1是根据示例性实施例的用于产生3D图像数据流的设备100的框图。根据当前示例性实施例的设备100包括基本流产生器110、打包的基本流(PES)产生器120、区段产生器130、3D图像再现信息插入器140、传输流(化)包产生器150和TS产生器160。基本流产生器110产生包括诸如视频或音频的多媒体的编码比特串的基本流。具体地，基础流产生器110可产生包括3D图像的编码比特串的基本流。PES产生器120通过接收从基本流产生器110输出的基本流并打包所述基本流来产生至少一个PES。PES可被划分为PES头区域和PES净荷区域。所述基础流的至少一部分可被存储在PES净荷区域中。区段产生器130产生关于3D图像的节目相关信息的至少一个区段。节目是包括视频和音频的比特串的标准单位。在数字广播中，若干基本流被复用，并随后通过各种传输介质或网络进行发送。多个基本流形成一个服务，多个服务形成一个TS。因此形成的数据流通过各种网络被发送到各种物理介质。为了搜索观看者期望的数据流、将数据流发送到接收器并提供关于由每个服务提供的各个节目的内容和类型的信息，需要发送除运动图像专家组(MPEG)-2标准定义的数据流之外的单独的信息。单独的信息被称为服务信息或节目引导信息。可使用当前的数字广播系统标准(诸如在欧洲使用的数字视频广播(DVB)标准或在美国使用的高级电视系统委员会(ATSC)标准)来发送所述单独的信息。区段是可经TS发送的数据形式，主要包括服务相关信息，诸如服务信息和节目引导信息。换句话说，服务相关信息可包括或被划分为至少一个区段。包括至少一个区段的服务相关信息可以是诸如节目关联表(PAT)或节目映射表(PMT)的节目特定信息(PSI)或者是诸如事件信息表(EIT)的系统信息(Si)。当MPEG-2系统将TS解复用为规定的数据时需要PSI。在DVB中，SI被称为Si，但是在ATSC中，SI被称为节目和系统信息协议(PSIP)。然而，SI和PSIP具有类似的功能， 诸如提供电子节目引导(EPG)服务。区段产生器130可产生包括编码的3D图像的服务相关信息的区段。3D图像再现信息插入器140将再现3D图像所需的3D图像再现信息插入到由区段产生器130产生的所述至少一个区段中的节目引导信息区段。插入3D图像再现信息的节目弓丨导信息区段以及其他区段被输出到TS包产生器150。3D图像再现信息可被插入到包括EPG信息的节目引导信息区段。EPG信息可包括广播时间表，通过使用机顶盒或私人录像机(PVR)来向用户显示该广播时间表。包括EPG信息的节目引导信息区段可以是EIT区段。EIT是用于发送广播时间表的数据的表，提供各个广播的时间次序和详细内容。根据示例性实施例的3D图像再现信息可以以描述符格式被插入到EIT。在这种情况下，3D图像再现信息插入器140产生包括3D 图像再现信息的至少一个3D图像再现描述符，并将所述至少一个3D图像再现描述符插入到EIT区段的描述符区域。TS包产生器150针对由区段产生器130产生的至少一个区段和由PES产生器120 产生的至少一个PES产生至少一个TS包。TS包具有固定长度，从具有4个比特的TS头区域开始。PES的区段的数据可被插入到TS头区域之后的TS净荷区域。根据示例性实施例的设备100将再现3D图像所需的3D图像再现信息插入到PES、 TS包或区段。通过将3D图像再现信息插入到区段级别的节目信息，准确再现3D图像所需的信息可被发送。TS产生器160通过复用由TS包产生器150产生的至少一个TS包来产生TS。TS 是所述至少一个TS包的连续。设备100还可包括发送产生的TS的发送器(未示出)。此外，设备100还可包括将TS存储在存储介质中的存储单元(未示出)。用于3D图像的准确再现的3D图像再现信息可包括通知3D图像再现信息的开始的3D开始信息。为了通知解码端3D图像再现信息需要被解释，3D开始信息可包括以下内容的信息3D图像再现信息包括在相应的数据流中，3D图像再现信息从3D开始信息开始。此外，3D图像格式信息、右和左布置信息和全分辨率信息可被确立为用于再现3D 图像的基本信息，其中，所述3D图像格式信息指示3D图像的左视点图像和右视点图像的格式，所述右和左布置信息指示左视点图像和右视点图像的布置次序。此外，当存在基本信息时，间隔3D再现信息、3D相机信息、低疲劳信息、右和左不均衡信息可被确立为用于再现3D图像的附加信息，其中，所述间隔3D再现信息指示在整个图像数据中以3D进行再现的时间间隔或空间间隔，所述3D相机信息是关于获得3D图像的相机，所述低疲劳信息减少在再现3D图像的同时可能产生的观看的不适，所述右和左不均衡信息指示左视点图像和右视点图像的不均衡状态。右和左不均衡信息可被定义为左视点图像像素值和右视点图像像素值之间的偏移量。此外，可通过使用左视点图像像素值和右视点图像像素值之间的线性函数关系来定义右和左不均衡信息。可通过使用左视点图像像素值和右视点图像像素值之间的查找表来准确地表示右和左不均衡信息。3D图像再现信息的附加信息的定义是可变的，因此附加信息可包括指示附加信息是否被定义的指示符信息。现将参照附图描述3D图像再现信息的详细特性。换句话说，图3的3D图像格式信息、图4的右和左布置信息、图5和图6的时间间隔3D再现信息、图7的空间间隔3D再现信息、图8的3D相机信息、图9的低疲劳信息、图11的右和左不均衡信息作为3D图像再现信息被描述。
8
3D图像再现描述符可包括与3D开始信息相应的3D信息开始描述符。此外，3D图像再现描述符还可包括与3D图像格式信息、3D相机信息、低疲劳信息以及右和左不均衡信息相应的描述符。根据一实施例，在使用预定图像通信标准的TS系统中，3D图像再现信息可被插入到PES、TS包或区段中预先分配的空间。因此，设备100可遵循现有的图像通信标准被应用到TS系统，而不改变该TS系统。此外，由于使用所述预先分配的空间，因此不需要另外的信道或另外的存储空间。EIT区段是ATSC标准和DVB标准中通常使用的节目引导信息，因此，根据示例性实施例的插入3D图像再现信息的数据流的发送和接收可在公知的数字广播标准中应用。图2是根据示例性实施例的用于接收3D图像数据流的设备200的框图。根据示例性实施例的设备200包括TS解复用器210、TS包解包器220、PES解包器 230、3D图像再现信息提取器对0、3D图像恢复器250、3D图像再现器洸0。TS解复用器210通过解复用由设备200接收的TS来分离至少一个TS包。TS可被划分为具有固定长度的TS包。TS包解包器220通过对由TS解复用器210分离的所述至少一个TS包进行解包来恢复至少一个PES和至少一个区段。所述至少一个PES包括3D图像数据，所述至少一个区段包括3D图像数据的服务相关信息。包标识符(PID)被记录在TS包的头区域中，PID是指示通过TS包发送的数据的类型的标识信息。节目列表信息被包括在PAT中，发送PAT的TS包的PID被设置为0。当TS被接收时，通过搜索具有被设置为0的PID的TS包来获得PAT，通过解析PAT 来提取发送PMT的TS包的PID。由于PMT包括与每个节目相关的信息，因此通过解析PMT来确定包括形成节目的比特串的TS包的PID。因此，可访问包括期望的节目(诸如音频或视频)的TS。EIT提供关于所有频道的至少下一 3小时内的节目的内容，并发送各个节目的信息，诸如标题、开始时间和广播时间段。通过EIT发送的这种信息可被用作EPG信息。PES解包器230通过对由TS包解包器220恢复的至少一个PES进行解包来恢复基本流。基本流可以是诸如音频或视频的节目。具体地，由PES解包器230恢复的基本流可包括3D图像的编码数据。3D图像再现信息提取器240从被解复用并恢复的至少一个区段提取3D图像再现信息。3D图像再现信息提取器240可从至少一个恢复的区段中的节目引导信息提取3D图像再现信息。3D图像再现信息提取器240可从节目引导信息区段的描述符区域提取3D图像再现描述符。这里，所述节目引导信息区段可以是EIT区段。3D图像再现描述符可包括3D信息开始描述符，所述3D信息开始描述符指示3D图像数据流被包括在相应的节目中。此外，3D图像再现描述符可至少包括作为与再现3D图像有关的信息的3D图像开始描述符、间隔3D再现描述符、3D相机描述符、低疲劳描述符以及右和左不均衡描述符。由设备200提取并使用的3D图像再现信息可对应于参照图1描述的设备100的 3D图像再现信息。
因此，3D图像再现信息提取器240可从3D图像再现描述符提取作为3D图像再现信息的3D图像格式信息、右和左布置信息、全分辨率信息、时间间隔3D再现信息、空间间隔 3D再现信息、3D相机信息、低疲劳信息以及右和左不均衡信息。3D图像恢复器250通过解码基本流的数据来恢复3D图像。可根据3D图像格式单独恢复左视点图像和右视点图像。可选择地，3D图像间隔的左视点图像和右视点图像以及 2D图像间隔的2D图像可被恢复以在图像序列中进行混合。3D图像再现器260通过使用3D再现信息，以3D再现方法再现由3D图像恢复器 250恢复的3D图像。由于设备200提取可被3D图像再现系统识别的3D图像再现信息，因此可在保持 3D图像的3D效果的同时提供具有低疲劳(由观看3D图像引起)的3D内容广播服务。此夕卜，由于由设备200恢复为3D内容广播服务的3D图像数据流还具有在传统的2D图像解码器中使用的数据结构，因此设备200可与传统的2D图像解码器兼容。此外，由于不需要另外的信道、另外的数据流或另外的存储空间以便接收3D图像再现信息，因此设备200可被用在受限的环境中。设备100和设备200可被用在计算机中的3D图像解码器、3D广播系统、3D数字电视(TV)系统或3D包媒体系统中。因此，在保持与传统的数字广播系统的兼容性的同时提供2D内容和3D内容的3D数字广播可被提供。上面的示例性实施例可被用在基于TS的发送系统和接收系统中，但是3D图像再现信息被插入到PES级别的实施例可被用在基于节目流的系统中。现将参照图3至图14描述根据示例性实施例的3D图像再现信息。图3是示出根据示例性实施例的3D图像格式信息的表。为了在保持3D效果的同时再现3D图像，需要左视点图像和右视点图像两者。3D 图像格式是包括左视点图像信息和右视点图像信息两者的图像格式，可以是3D合成格式、 3D连续格式或多流格式。3D合成格式是左视点图像和右视点图像被布置在一个画面中的图像格式。根据 3D合成格式，可在使用传统的编码和解码系统时通过解码、恢复并随后渲染3D图像来实现 3D图像再现系统。由于在3D合成格式中左视点图像和右视点图像两者被布置在一个画面中，因此左视点图像和右视点图像中的每个的分辨率比普通2D图像的分辨率低。然而，当传统的再现系统的帧率保持在预定比率或在预定比率之上时，在传统的再现系统中没有质量劣化地再现大多数3D图像。由于可在传统的再现系统中使用3D合成格式，因此3D合成格式是最广泛使用的3D图像格式。3D连续格式是以时间轴方向布置左视点图像和右视点图像的格式。3D连续格式包括帧序制格式和场序制格式，在帧序制格式中，左视点帧和右视点帧被连续地和交替地布置，在场序制格式中，左视点场和右视点场被连续地和交替地布置。当帧率等于或小于预定频率时，由于左视点帧和右视点帧的每个帧率减半，因此很难使用帧序制格式，场序制格式被广泛使用。多流格式是以单个流发送/接收形成3D图像的每个左/右视点图像的图像格式。 多流格式需要多个解码器，但是与传统的再现系统兼容。此外，可以以全分辨率产生图像。由于右/左视点图像或多视点图像被各自存储在流单元中，因此多流格式比3D合成格式或 3D连续格式需要更宽带宽的传输系统。图3的表示出可由设备100和设备200使用的3D图像格式信息的值。以下，在设备100和设备200中，3D图像格式信息可被称为名称是“3d_f0rmat_type”的变量。3D图像格式信息可包括关于以下内容的信息逐侧(side-by-side)格式、顶底格式、垂直行交错格式、水平行交错格式、棋盘格式、帧序制格式、场序制格式、多流类型格式中的第一视点图像、多流类型格式中的第二视点图像、深度映射格式以及3D图像格式中的 2D图像间隔。在逐侧格式中，左视点图像和右视点图像被分别布置在一个画面的左侧和右侧。 在顶底格式中，左视点图像和右视点图像被分别布置在一个画面的顶部和底部。在垂直行交错格式中，沿一个画面的垂直方向根据每行来交替地布置左视点图像的行和右视点图像的行。在水平行交错格式中，沿一个画面的水平方向根据每行来交替地布置左视点图像的行和右视点图像的行。在棋盘格式中，根据一个画面的每个像素的水平方向和垂直方向两者来交替地布置左视点图像的像素和右视点图像的像素。当第一视点图像和第二视点图像被插入到单个的流时，多流类型格式中的第一视点图像仅包括第一视点图像，多流类型格式中的第二视点图像仅包括第二视点图像。在深度映射格式中，包括右视点图像和左视点图像之间的深度差信息与右视点图像和左视点图像中的一个的映射被发送/接收。3D图像格式中的2D图像间隔是在混合3D图像间隔和2D图像间隔的图像中包括 2D图像间隔的图像格式。“无符号的整型(unsigned int) ”指表示数学的整数的一些有限子集的数据类型。 "3d_format_type"是具有7个字节的无符号的整型变量，并具有从0x00到0x7F的值。根据示例性实施例，“3d_f0rmat_type”的0x00到OxOA分别对应于逐侧格式、顶底格式、垂直行交错格式、水平行交错格式、棋盘格式、帧序制格式、场序制格式、多流类型格式中的第一视点图像、多流类型格式中的第二视点图像、深度映射格式以及3D图像格式中的2D图像间隔，从而定义3D图像格式信息。"3d_format_type"的剩余值(从OxOB到0x3F)可被设置为针对稍后添加的任意内容的预留的比特。图4是示出根据示例性实施例的右和左布置信息的表。当再现为左视点图像和右视点图像的3D图像被反转时，会增加观看3D图像所经历的视觉疲劳。因此，当3D图像格式包括左视点图像和右视点图像两者时，左视点图像和右视点图像需要彼此区分。右和左布置信息指示包括在3D图像格式中的不同的视点图像是左视点图像还是右视点图像，右和左布置信息可与3D图像格式一起被定义。图4的表示出根据右和左布置信息以3D图像格式(类型)的左视点图像和右视点图像的布置次序。在设备100和设备200中，右和左布置信息两者可被称为名称是“LR_ indicator”的变量。当右和左布置信息是1 ( "LR_indicator = 1，，)时，左视点图像和右视点图像被分别布置在逐侧格式的左侧和右侧。类似地，当右和左布置信息是1 ( "LRjndicator =1”)时，左视点图像和右视点图像可以被分别布置在顶底格式的顶部和底部、以垂直行交错格式被分别布置在奇数行和偶数行、以水平行交错格式被分别布置在奇数行和偶数行、以棋盘格式被分别布置在第一行中的第一像素和第二行中的第一像素、以帧序制格式被分别布置在奇数帧和偶数帧、以场序制格式被分别布置在顶场和底场以及以多流类型格式被分别布置在第一视点图像和第二视点图像。当右和左布置信息是0(“LR_indiCator = 0”)时，左视点图像和右视点图像可被布置在与上面的描述相反的方面。仅左视点图像和右视点图像以可应用于多视点图像的多流类型格式存在于立体图像中，因此图4中定义的右和左布置信息会是有效的。在逐侧格式、顶底格式、垂直行交错格式、水平行交错格式和棋盘格式中，左视点图像和右视点图像被同时布置在一帧中。这里，左视点图像和右视点图像中的每个的分辨率被减少为一半，因此，左视点图像和右视点图像可被合并为一个3D图像帧。然而，在支持标准分辨率的多媒体再现环境中，可在保持左视点图像和右视点图像的全分辨率的同时将左视点图像和右视点图像合并为一帧，从而产生具有两倍的分辨率的3D图像，该3D图像具有全分辨率的左视点图像和右视点图像。因此，在左视点图像和右视点图像被合并为一帧的3D图像格式中，确定3D图像的分辨率具有在保持全分辨率的同时被合并的左视点图像和右视点图像的分辨率的两倍的分辨率，还是具有与在具有减半的分辨率的同时被合并的左视点图像和右视点图像的全分辨率相同的分辨率。因此，在设备100和设备200中，使用指示左视点图像和右视点图像是否被合并为具有两倍分辨率的3D图像的全分辨率信息。所述全分辨率信息可被称为名称是“Full_ Res_indicator"白勺$fi。设备200可通过解析流来获得全分辨率信息。通过对接收的数据流进行解码而恢复的3D图像可通过使用全分辨率信息通过被转换为适合3D再现设备的3D图像格式而以 3D进行再现。现将参照图5至图7描述多个3D图像格式之中的3D图像格式中的2D图像间隔。 由于3D图像格式中的2D图像间隔部分以3D进行再现，因此需要定义“间隔3D图像”，即， 将被识别为3D图像的间隔。所述间隔3D图像可被划分为时间间隔3D图像和空间间隔3D图像。时间间隔3D图像信息可以以相对时间或绝对时间进行表示。可基于系统环境或系统规范确定表示方法。将参照图5和图6描述时间间隔3D再现信息的示例性实施例，将参照图7描述空间间隔3D再现信息的示例性实施例。由于时间间隔3D再现信息和空间间隔3D再现信息需要大量的比特，因此，通过使用指示符来确定时间间隔3D再现信息和空间间隔3D再现信息是否被定义。因此，当指示符被设置为0时，间隔3D再现信息未被定义。图5示出根据示例性实施例的时间间隔3D再现信息。可以以将以3D进行再现的3D图像的画面的数量来表示时间间隔3D再现信息。 在设备100和设备200中，指示时间间隔3D再现信息是否被定义的指示符可被称为叫做 "temporal_local_3d_indicator，，的变量。换句话说，如果“temporal_local_3d_indicator”声明是无符号的整型类型(510)，并且 “temporal_local_3d_indicator” 的值为 1 (520)，则可通过叫做"remaining_3d_pictures"的变量来定义作为时间间隔3D再现信息的间隔3D图像的画面的数量(530)。根据实施例，当“remaining_3d_piCtures”的全部比特是1时，可保持3D再现模式，直到完成相应的图像序列为止。图6示出根据另一示例性实施例的时间间隔3D再现信息。根据当前的示例性实施例，可定义将以3D进行再现的间隔3D图像的再现时间。 当 “ temporal_local_3d_indicator ”声明是无符号的整型类型(610)，并且“ temporal, l0cal_3d_indicat0r”的值为1(620)时，可通过指示间隔3D图像的再现时间的“DTS_3d_ period[] ”来定义作为时间间隔3D再现信息的再现时间(630)。在“DTS_3d_peri0d[]，，中的[]的数字表示再现时间，可以是相对时间或绝对时间。当3D再现间隔和2D再现间隔交替地存在，并且3D再现间隔彼此分离时，可用多个数字定义“DTS_3d_period[] ”。此外，可定义“marker_bit”，以便指示时间上彼此分离的3D 再现间隔之间的空间。图7示出根据示例性实施例的空间间隔3D再现信息。空间间隔3D再现信息指示将以3D进行再现的空间间隔3D区域在包括2D图像和 3D图像两者的一帧中的位置。可通过相应的3D区域的左上角的坐标、宽度或高度信息来指示空间间隔3D区域的位置。在设备100和设备200中，指示空间间隔3D再现信息是否的指示符可被称为叫做 "spatial_local_3d_indicator"白勺$fi。换句话说，当‘‘spatial_local_3d_indicator”声明是无符号的整型类型(710)， 并且‘‘spatial_local_3d_indicator”的值为1 (720)时，作为空间间隔3D区域的坐标的指示水平偏移量的变量"horizontaloffset”和指示垂直偏移量的变量“vertical offset”、指示空间间隔3D区域的宽度的变量“l0Cal_3d_Width”以及指示空间间隔3D区域的高度的变量“local_3d_height”可被定义为空间间隔3D再现信息(730)。语法730表示当空间间隔3D区域的数量是1时的情况，但是当空间间隔3D区域的数量是2或更多时，通过叫做“number_0f_l0Cal_3d”的变量来定义空间间隔3D区域的数量。可针对每个空间间隔3D区域定义水平偏移量、垂直偏移量、宽度和高度。图8示出根据示例性实施例的3D相机信息。根据立体图像中的3D相机信息，一个视点图像的相机参数可以以基于另一视点图像的相机参数的相对值进行表示。换句话说，右视点图像的相机参数可基于左视点图像的坐标进行表示，因此可仅发送/接收相对值，而不定义左视点图像和右视点图像两者的相机参数。然而，3D相机信息中的关于焦距和主点的坐标的信息具有绝对值，因此不能被相对地表示。因此，根据每个视点单独定义焦距和主点。在设备100和设备200中，指示3D相机信息是否被改变的指示符可被称为叫做 “iS_Cam_paramS_Changed”的变量。由于3D相机信息是大型数据，因此通过使用“is_cam_ params_changed"来预先操作3D相机信息以仅在当前的3D相机信息与先前的3D相机信息不同时被重新定义。因此，仅当需要重新设置或更新3D相机信息时，“iS_Cam_paramS_ changed”被设置为1。例如，当“is_cam_params_changed”声明是无符号的整型类型(810)，并且“is_ cam.params.changed"的值为1 (820)时，指示在x_y坐标中的第一视点相机和第二视
13点相机之间的旋转角度信息的变量“rotation”、指示在x-y坐标中第一视点相机和第二视点相机之间的转换信息的变量“translation”、指示第一视点图像的焦距信息的变量“primary_focal_length、指示第二视点图像的焦距信息的变量“ secondary_focal_ length”、指示屏幕高宽比信息的变量“aspectjatio”、指示第一视点图像的主点的χ轴坐标信息的变量“primary_principal_p0int_X”、指示第一视点图像的主点的y轴坐标信息的变量“primary_principal_p0int_y”、指示第二视点图像的主点的χ轴坐标信息的变量 "secondary_principal_point_x"以及指示第二视点图像的主点的y轴坐标信息的变量 "secondary_principal_point_y” 可被定义为 3D 相机信息(830)。考虑3D效果，使用具有相同规格的相机，因此，针对左/右视点图像或多视点图像，可仅定义一次屏幕高宽比信息。可以以第二视点图像的坐标基于第一视点图像的坐标的相对数值来表示旋转角度信息和并行转换信息。可根据每个视点定义焦距和主点信息。立体图像的3D相机信息可被定义一次，而不是如图8中所示的根据左视点图像和右视点图像中的每个被定义。同时，在可应用于多视点图像的多流类型格式的情况下，3D相机信息可根据每个视点独立地被定义，而不是以基于一个视点的坐标的相对数值被表示。可基于3D相机信息来确定获得两个视点的两个相机的布置。通常，当再现3D图像时，通过并行相机配置获得的3D图像具有比通过内束(toed-in)相机配置获得的3D图像低的视觉疲劳。因此，可使用3D相机信息通过修正操作将通过前束相机配置获得的3D 图像改变为通过并行相机配置获得的3D图像。可通过使用3D相机信息来确定极线，并且可使用该极线通过极线约束技术来方便地执行视差估计。如上所述，3D相机信息可被用在包括修正操作和视差估计的各种后处理操作中。图9示出根据示例性实施例的低疲劳信息。根据用于再现3D图像的显示屏的尺寸，3D效果可以不同。因此，当在与预期的环境不同的环境或者比预期的环境恶劣的环境中再现3D图像时，可执行后处理操作以便减少视觉疲劳。例如，当实际的显示尺寸大于预期的显示尺寸时，3D图像会被改变，因此会出现视觉疲劳。用于减少视觉疲劳的后处理操作的示例包括通过提取左视点图像和右视点图像之间的深度映射来产生具有调整后的深度的新的左视点图像和右视点图像的方法；合成中间图像的方法、平行移动左/右视点图像的方法。低疲劳信息可被用于确定将执行哪种低疲劳操作。在设备100和设备200中，指示低疲劳信息是否被改变的指示符可被称为叫做 “ i s_safety_paramS_Changed”的变量。由于低疲劳信息是大型数据，因此通过“ i s_safety_ params^hanged”来预先操作低疲劳信息，以仅在当前的低疲劳信息与先前的低疲劳信息不同时重新定义该低疲劳信息。因此，仅当需要重新设置或更新低疲劳信息时，“is_cam_ params_changed" 1 1。例如，当“is_safety_params_changed”声明是无符号的整型类型(910)，并且"is_safety_params_changed"的值为1 (920)时，指示预期的显示宽度信息的变量“expected_display_width，，、指示预期的显示高度信息的变量“expected_display_ height，，、指示预期的观看距离信息的变量“eXpected_Viewing_diStance”、指示3D图像内容中的最小视差信息的变量“min_0f_diSparity”以及指示3D图像内容中的最大视差信息的变量“max_0f_disparity”可被定义为低疲劳信息(930)。为了计算提供的3D图像内容的屏幕视差，需要预期的显示尺寸中的视差范围、预期的观看距离中的视差范围和3D图像中的视差范围。通过使用预期的显示宽度和高度信息以及预期的观看距离信息来表示预期的显示尺寸和预期的观看距离。可通过使用3D图像内容中的最小视差信息和最大视差信息来表示3D图像中的视差范围。因此，通过使用低疲劳信息将根据预期的显示的视差范围与实际的视差范围进行比较来确定是否将执行低疲劳操作。图10示出根据示例性实施例的低疲劳范围。可在士 Γ内确定3D图像的具有允许的视觉疲劳的屏幕视差范围。可基于显示尺寸、观看距离和视差范围来确定3D图像的屏幕视差范围。为了计算低疲劳范围，即，具有允许的视觉疲劳的屏幕视差范围，需要实际的显示器的像素间距。可在再现设备中将像素间距确定为固定值。现将参照图10描述低疲劳范围，其中，显示器1000的像素间距是0. 159mm，显示器 1000的显示尺寸是2. 5英尺，显示器1000的分辨率是320 X M0。观看者的眼睛之间的距离1010可以是65mm，观看距离1020可以是300mm。通过使用根据预期深度的两个视线之间的差角α、当深度朝观看者靠近时的两个视线之间的差角β、当深度离开观看者时的两个视线之间的差角Y来计算视差范围。在图10中，最小视差界限对应于差角β，最大视差界限对应于差角Y。换句话说， 低疲劳范围是在士 1°内，是I β-α I < 1°和I γ-α I < Γ。例如，当差角α是12. 37° 时，差角β是11. 37°或更大，差角Y是13. 37°或更小。此外，显示器1000的像素间距可用于表示像素单元中的低疲劳范围。当最小视差界限的差角β是11. 37°时，显示器1000上的图像尺寸是5. 32mm，当最大视差界限的差角 Y是13. 37°时，显示器1000上的图像尺寸是5. 73mm。可以以通过按照像素间距来划分视差而获得的值来表示视差的像素单位。因此，最大视差界限像素可以是5. 73/0. 159 = 36 个像素，最小视差界限像素可以是-5. 32/0. 159 = -33个像素。这里，(-)方向表示朝着观看者的方向。可通过将实际显示系统的最大允许的视差范围的最小视差界限和最大视差界限与实际的3D图像内容的最小视差和最大视差进行比较来确定当前的3D图像内容是否在低疲劳允许的范围中。当当前的3D图像内容不在低疲劳允许的范围内时，可执行与低疲劳有关的后处理操作。现将参照图11至图13描述指示左视点图像和右视点图像之间的不均衡的右和左不均衡信息。由于多个相机被用于获得立体图像(或多视点图像)，因此即使所述多个相机具有相同的规格，由所述多个相机获得的图像也可能根据相机的设置而不具有相同的色彩印象。左视点图像和右视点图像之间的这种差别可使诸如视差估计的后处理操作的性能恶化。此外，当以不同的色彩印象再现左视点图像和右视点图像时，会增加由3D图像导致的视觉疲劳。补偿左视点图像和右视点图像之间的差别的操作可作为预处理操作或后处理操作被执行。可根据观看者的需求作为在解码之后的后处理操作执行所述操作。这里，在编码之后的后处理操作需要右和左不均衡信息。
图11示出根据示例性实施例的右和左不均衡信息。通过下面的公式1表示简单的右和左不均衡模型。R = L+offsetl. . . (1)这里，R表示右视点图像的像素值，L表示左视点图像的像素值，offsetl表示指示左视点图像和右视点图像之间的偏移量值的变量。换句话说，通过一个偏移量值来定义左视点图像和右视点图像之间的不均衡信息。当右和左偏移量信息不能将大量比特分配给右和左不均衡信息时，所述简单的右和左不均衡模型是更可取的。例如，在设备100和设备200中，指示右和左不均衡信息是否被定义的指示符可被称为叫做“ imbalancejnfojndicator ”的变量，仅当右和左不均衡信息被定义时，该变量的值为1。根据公式1的右和左不均衡信息的语法，当“imbalancejnfojndicator”声明是无符号的整型类型(1110)，并且“imbalancejnfojndicator”的值为1(1120)时，指示右和左偏移量信息的变量“imbalance_0ffset”可被定义为右和左不均衡信息(1130)。图12示出根据另一示例性实施例的右和左不均衡信息。通过下面的公式2表示根据线性函数的右和左不均衡模型。R = scaleXL+offset2. . . (2)这里，R表示右视点图像的像素值，L表示左视点图像的像素值，scale表示线性函数的斜率，offset2表示指示左视点图像和右视点图像之间的偏移量值的变量。换句话说，左视点图像和右视点图像之间的不均衡信息可被定义为左视点图像和右视点图像之间的线性关系。可根据线性函数的精度调整分配给用于斜率信息的“scale”的比特的数量。依据根据公式2的右和左不均衡信息的语法，当“imbalancejnfojndicator ”声明是无符号的整型类型(1210)，并且“imbalancejnfojndicator”的值为1 (1220)时，指示右和左偏移量信息的变量“imbalance_0ffset”以及指示右和左不均衡模型的线性函数的斜率信息的变量“imbalancejcale”可被分别定义为右和左不均衡信息(1230)。图13示出根据另一示例性实施例的右和左不均衡信息。通过下面的公式3表示根据查找表的右和左不均衡模型。R
= first_valueR[L] = R[L-1]+increment[L-l],.· (3)这里，R表示右视点图像的像素值，L表示左视点图像的像素值，first_value表示右视点图像的像素值的初始值，increment表示右视点图像的像素值的增加量。随着左视点图像的像素值增加1，右视点图像的相应的像素值可被定义为右视点图像的像素值的增加量。根据关于公式3的右和左不均衡信息的语法，当“imbalancejnfojndicator ”声明是无符号的整型类型(1110)，并且“imbalancejnfojndicator”的值为1 (1320)时，指示右视点图像的像素值的初始值的变量“first_valUe”和指示右视点图像的像素值的增加量的变量“increment”可被分别定义为右和左不均衡信息(1330)。在公式1、2和3中，根据公式3的右和左不均衡信息遵循最精确的模型，根据公式 1的右和左不均衡信息遵循最简单的模型。图14示出根据示例性实施例的3D图像再现信息。
当根据当前示例性实施例的3D图像再现信息包括3D图像格式信息、右和左布置信息、全分辨率信息、空间间隔3D再现信息、时间间隔3D再现信息、3D相机信息、低疲劳信息以及右和左不均衡信息时，可使用如图14中示出的语法。在(1420)、(1430)和(1440)中，3D图像格式信息“3d_format_type，，、右和左布置信息“LRjndicator”以及全分辨率信息“Full_Res_indicat0r”被分别声明为3D图像再
现信息的基本信息。在3D图像再现信息的附加信息中，声明了指示每个参数是否被定义或者是否被改变的指示符。换句话说，在(710)和(510)中，声明了指示空间间隔3D再现信息是否被定义的指示符以及指示时间间隔3D再现信息是否被定义的指示符。另外，在(810)中，声明了指示3D相机信息是否被改变的指示符，在(910)中，声明了指示低疲劳信息是否被改变的指示符。同样地，在(1110)中，声明了指示右和左不均衡信息是否被定义的指示符。如上面参照图7所述，如果“spatial_local_3d_indicator”的值为1 (720)，贝丨J 空间间隔3D区域的坐标的水平偏移量信息和垂直偏移量信息(“horizontaloffset”和 "vertical_offset")以及空间间隔3D区域的宽度信息和高度信息(‘‘loCal_3d_width” 和“l0Cal_3d_height”)可被定义为空间间隔3D再现信息(730)。如上面参照图5所述，如果“temporal_local_3d_indicator”的值为1 (520)，则间隔3D图像的画面数量信息(“remaining_3d_piCtUres”)可被定义为时间间隔3D再现信息(530)。如上面参照图8所述，如果“iS_Cam_paramS_Changed”的值为1 (820)，则旋转角度信息(“rotation”)、转换信息(“translation”)、第一视点图像的焦距信息(“primary, focaljength”)、第二视点图像的焦距信息(“SeCOndary_fOCal_length”)、屏幕高宽比信息(、印6(^_1~站丨0”)、第一视点图像的主点的1轴坐标信息(“primary_principal_ 0士壯)”)、第一视点图像的主点的7轴坐标信息(“primary_principal_p0int_y”)、第二视点图像的主点的χ轴坐标信息(“Sec0ndary_principal_p0int_x”)以及第二视点图像的主点的y轴坐标信息(“Sec0ndary_principal_p0int_y”)可被定义为3D相机信息 (830)。如上面参照图9所述，如果“is_safety_params_changed”的值为1 (920)时，则预期的显示宽度信息(“expectecLdisplayjidth”)、预期的显示高度信息(“expectecL display_height”)、预期的观看距离信息(“expected_viewing_distance”)、3D 图像内容中的最小视差信息(“min_0f_diSparity”)以及3D图像内容中的最大视差信息(“maX_ of_disparity")可被定义为低疲劳信息(930)。如上面参照图12所述，如果“imbalance_info_indicator”的值为1 (1220)时，则右和左偏移量信息(“imbalance_0ffset”)以及右和左不均衡模型的线性函数的斜率信息 ("imbalance_scale")可被分别定义为右和左不均衡信息(1230)。3D图像再现信息可由于场合需要而被插入到数据流中的不同的空间。设备100可根据3D图像再现信息的重要性来确定在数据流中的插入区域。具有最高优先级的3D图像再现信息可从下面的区域进行布置在解码3D图像数据流的同时首先执行解复用操作或解析操作的区域。例如，当3D图像格式信息、右和左布置信息以及全分辨率信息具有比3D相机信息、低疲劳信息以及右和左不均衡信息更高的优先级时，3D图像格式信息、右和左布置信息以及全分辨率信息可以以下面这样的方式被插入到数据流3D图像格式信息、右和左布置信息以及全分辨率信息被首先解复用或解析。图15是根据示例性实施例的用于通过使用3D图像再现信息来提供3D图像服务的3D图像服务系统1500的示意性框图。制作者可将各种类型的3D图像服务提供给用户。3D图像服务的示例包括虚拟现实系统、3D用户创建内容(UCC)、视频点播(VOD)、3D商业以及3D广播或图像。3D UCC可由用户创建，并通过互联网提供给另一用户。广播公司可通过制作3D图像并经由无线电波或线缆发送所述3D图像来将3D广播提供给观看者。影视公司可通过经销商使用3D数字多功能盘(DVD)或3D蓝光盘(BD)将3D电影提供给消费者。可以以图像格式(诸如TS、节目流或基于ISO的媒体文件格式)提供3D图像服务。3D图像服务系统1500执行从制作者提供给消费者的3D图像服务的整体操作。 3D图像服务系统1500包括图像获得单元1510、预处理器1512、编码单元1514、通信单元 1520、解码单元1530、后处理器1532和3D再现单元15；34。图像获得单元1510、预处理器 1512和编码单元1514可被包括在发送端中，解码单元1530、后处理器1532和3D再现单元 1534可被包括在接收端中。图像获得单元1510获得通过使用至少两个相机在多个视点捕获的多视点图像。 除了用于获得彩色图像的普通相机之外，可直接获得具有不同的视点的图像之间的深度信息的深度相机可被用作3D图像获得单元1510的相机。预处理器1512通过预处理操作准备对由图像获得单元1510获得的图像进行压缩。预处理操作可将左视点图像和右视点图像合并到诸如立体图像格式的3D图像格式。可选择地，预处理操作可执行为执行视频压缩所需的预先的准备。例如，可通过相机校准来确定相机参数、低疲劳参数等。可选择地，可确定左视点图像和右视点图像之间的对应。编码单元1514可通过使用传统的编码方法通过在传统的2D图像帧上布置3D图像或者使用多个传统的编码器来编码3D图像。可选择地，编码单元1514可通过使用多视点视频编码(MVC)技术或由MPEG定义的3D视频编码技术使用新的3D编码器来编码3D图像。通信单元1520可通过互联网或广播发送压缩的图像数据，或者以打包的媒体形式存储压缩的图像数据。为了使通信单元1520发送压缩的图像数据，压缩的图像数据需要被转换为适合于相应的系统的数据格式。例如，在MPEG-TS系统中，压缩的图像数据被从基本流转换为打包的基本流。在更广泛的意义上，复用处理也可以是转换。打包的基本流的形式的数据可被转换为节目流的形式以便被存储为打包的媒体，并且被转换为TS的形式以便被传输。当压缩的图像数据被转换为MPEG-4系统的基于ISO的媒体文件格式时，将包括“moov”框的头添加到基本流的形式的图像数据的数据流可被产生、被发送或被存储。压缩并存储/发送图像数据的方法可遵循各种标准。根据示例性实施例的包括不均衡信息、全分辨率信息、右和左布置信息、间隔3D再现信息、3D相机信息以及低疲劳信息的3D图像再现信息可以以上述的各种数据格式与3D图像数据一起被发送。
接收端可接收转换为预定数据形式的数据，并随后将接收的数据转换为可被解码单元1530识别的形式。当接收端针对2D图像使用两个或更多个解码器时，3D图像再现信息被直接发送到3D再现单元1534，以便用于以3D再现由解码单元1530恢复的3D图像。后处理器1532将由解码单元1530恢复的3D图像转换为可由3D再现单元15；34 再现的形式。例如，后处理器1532可将3D图像格式分离为左视点2D图像和右视点2D图像。此外，后处理器1532可不仅渲染3D图像，还可通过使用3D相机信息和低疲劳信息来减少视觉疲劳。3D再现单元1534通过使用3D图像再现信息来以3D再现多视点图像。3D再现单元1534可使用3D再现技术，诸如透镜方法、屏障方法、快门镜片方法或偏光镜片方法。因此，3D图像服务系统1500有效地压缩、发送、接收、恢复并使用3D图像再现信
肩、ο图16是根据示例性实施例的用于发送3D图像的设备1540的框图，其中，所述设备1540产生3D图像再现信息。设备1540可产生关于立体图像的左视点和右视点的参数。设备1540包括两个相机1542、左视点图像捕获装置1544、右视点图像捕获装置1546、3D图像配置单元1548、视频解码单元1550、3D图像再现信息产生单元1560和复用器1570。通过相机1542的左视点相机和右视点相机分别拍摄并通过左视点图像捕获装置 1544和右视点图像捕获装置1546分别捕获的左视点图像序列和右视点图像序列被产生。3D图像配置单元1548以3D图像格式(诸如逐侧格式、顶底格式等)配置左视点图像序列和右视点图像序列。根据采用的3D图像格式，3D图像配置单元1548可输出再现信息(诸如3D图像格式信息、右和左布置信息、全分辨率信息、间隔3D再现信息等)，并将输出的再现信息发送到复用器1570。视频解码单元1550压缩3D图像格式，并以基本流的形式输出压缩的3D图像格式。复用器1570将基本流形式的压缩的3D图像数据转换为数据格式(诸如TS、节目流或基于ISO的媒体文件格式)。3D图像再现信息产生单元1560产生用于以3D再现分别从左视点图像捕获装置 1544和右视点图像捕获装置1546获得的左视点图像和右视点图像所需的各种类型的3D图像再现信息。这里，产生的3D图像再现信息可包括与相机有关的参数、与低疲劳有关的参数和不均衡信息。由3D图像配置单元1548输出的3D图像再现相关信息(诸如3D图像格式信息、右和左布置信息、全分辨率信息和间隔3D再现信息)以及由3D图像再现信息产生单元1560 产生的诸如与相机有关的参数、与低疲劳有关的参数和不均衡信息被输入到复用器1570 的3D图像再现信息插入器1575。3D图像再现信息插入器1575可将3D图像再现信息插入到由复用器1570产生的 3D图像数据格式。因此，由复用器1570产生的3D图像数据格式中不仅包括压缩的3D图像数据，而且包括3D图像再现信息。设备100可使用由设备1540产生的3D图像再现信息。可选择地，设备1540的复用器1570可对应于设备100。这里，3D图像再现信息插入器1575在区段中确定位置以插入3D图像再现信息。因此，3D图像再现信息插入器1575可控制区段产生器130将3D图像再现信息插入到特定位置。图17是根据示例性实施例的用于再现3D图像的设备1580的框图，其中，所述设备1580使用3D图像再现信息。设备1580可在左视点和右视点再现立体图像。设备1580包括解复用器1582、视频解码单元1586、3D图像分离单元1588、3D图像后处理器1590和3D图像再现器1595。设备1580以TS、节目流或基于ISO的媒体文件格式接收3D图像数据流。解复用器1582可解复用接收的3D图像数据流，并分类和提取关于3D图像的基本流以及关于3D 图像的3D图像再现信息。视频解码单元1586从提取的关于3D图像的基本流中恢复3D图像数据。3D图像数据可以不仅具有诸如逐侧格式的3D图像格式，而且具有使用深度数据的格式或者使用至少两个基本流的格式。包括在解复用器1582中的3D图像再现信息提取器1584在3D图像再现信息中提取3D图像格式信息、右和左布置信息、全分辨率信息、间隔3D再现信息、与相机有关的参数、与低疲劳有关的参数以及不均衡信息。3D图像格式信息、右和左布置信息、全分辨率信息、间隔3D再现信息可被输出到 3D图像分离单元1588，与相机系统有关的参数、与低疲劳有关的参数和不均衡信息可通过 3D图像后处理器1590被输出。 3D图像分离单元1588通过使用由3D图像再现信息提取器1584提取的3D图像格式信息、右和左布置信息、全分辨率信息、间隔3D再现信息而将3D图像分离为左视点图像和右视点图像。3D图像后处理器1590可通过使用与相机系统有关的参数、与低疲劳有关的参数和不均衡信息来校准3D图像以便减少3D疲劳。通过3D图像再现器1595再现由3D图像后处理器1590处理的3D图像。设备200可对应于设备1580。换句话说，TS解复用器210、TS包解包器220、PES 解包器230和3D图像再现信息提取器240对应于解复用器1582和3D图像再现信息提取器1584，四个物品对应于两个物品。此外，3D图像恢复器250可对应于视频解码单元1586 和3D图像分离单元1588。3D图像再现器260可对应于3D图像后处理器1590和3D图像再现器1595。现将参照图16至图21描述当3D图像再现信息被插入到至少一个区段中的节目引导信息区段时的情况。具体地，3D图像再现信息可以以描述符格式插入到区段的描述符区域。3D图像再现信息可被插入到包括EPG信息的节目引导信息区段。EPG信息表示广播时间表，通过使用机顶盒或PVR将广播时间表显示给用户。包括EPG信息的节目引导信息区段可以是EIT区段。EIT是用于发送广播时间表的数据的表，提供各个广播的时间次序和详细内容。数据被包括在区段中。EIT可包括一个区段，但是由于在许多情况下，多条数据被包括在EIT中，因此EIT可包括8个区段或小于8 个区段以按照包发送数据。因此，为了形成EPG数据，可能需要将多个区段集合到表中。由多个区段形成的表包括关于各个事件的信息。通过解析关于各个事件的信息、将解析的信息重新布置为对于用户便利的表格式并将重新布置的信息发送到同屏显示(OSD)或用户界面(UI)来形成EPG。可使用卫星或线缆发送数字广播节目。一种类型节目服务被准备为多个音频和视频，而多个节目服务被复用，在卫星的情况下通过一中继进行发送，在线缆或地面广播的情况下通过频率信道带进行发送。所需的流的位置需要被确定以便在多个发送的流中接收所需的流。服务信息提供一种确定所需的流的位置的方法。DVB标准定义在使用MPEG-2的数字广播中的服务信息传输。MPEG-2系统层定义 PSI的服务信息。PSI可将信息发送到接收器，从而接收器在复用的流中解复用特定的流， 并解码该特定的流。PSI的示例包括由MPEG-2标准定义的PAT、条件访问表(CAT)、PMT和网络信息表(NIT)。PAT发送与发送器提供的各种服务相应的PMT的PID信息，将稍后描述NIT的PID 信息。CAT发送关于发送器使用的收费的广播系统的信息，以不同于根据收费的广播系统发送的内容的方式定义和使用所述信息。此外，PMT发送包括服务和服务的类型的TS包的 PID信息以及关于节目时钟参考(PCR)信息的PID信息。由DVB定义NIT以与MPEG-2兼容，NIT发送关于实际的传输网络的信息。除了 PSI之外，提供关于提供给观看者的服务和各个节目的引导信息。引导信息不仅包括关于用于传输引导信息的传输网络的信息，而且包括关于其他传输网络的信息。 引导信息的一种类型是EIT。根据使用ATSC方法的节目引导和服务信息，以PSIP的表的组合来发送节目引导和信道传输信息。ATSC方法类似于DVB方法，其中，NIT表用在叫做SI的服务信息中，使用EIT、运行状态表(RST)、服务描述表(SDT)以及时间和日期表(TDT)来发送EPG信息。在ATSC方法中，各种类型的表(诸如系统时间表(STT)、评级区域表(RRT)、主引导表(MGT)和虚拟信道表(VCT))被发送到包括基本PID的基本传输包，EIT被发送到具有由MGT定义的PID的传输包，扩展文本表(ETT)被发送到具有由MGT定义的与接收EIT的传输包的PID不同的PID的第三类型的传输包。DVB方法使用PSI和DVB-SI标准，PSI是用于分类节目的MPEG-2的内在标准， DVB-SI包括通过线缆或卫星发送的网络信息和节目引导信息。然而，在ATSC方法中，PSIP 用于对发送到相应的传输信道的信息以及诸如节目引导信息的服务信息的分类。ATSC方法可在不使用作为MPEG-2系统标准中的一部分的PSI的情况下分类信道，并且即使不需要 PSI，也发送PSI以与MPEG-2兼容。尽管欧洲的DVB方法和美国的ATSC方法彼此不同，但是两种方法使用ΕΙΤ,ΕΙΤ是周期性地发送和接收以将各个节目信息提供给观看者。因此，3D图像再现信息被插入到周期性地提供给观看者的发送器的ΕΙΤ，从而平滑地再现3D图像。具有区段格式的数据表通过使用内在的描述和描述符发送多条服务相关信息。例如，数据表可显示可视时期，或发送字幕信息或时间位移信息。EIT是用于描述节目信息的表。接收器可通过使用EIT中的信息来实现电子节目引导服务(例如，EPG)。详细地，在特定时间的节目的标题和开始时间被包括在EIT中。根据每个事件设置指示符、开始时间和再现时间。此外，可针对每个事件分配描述符区域。图18是示出根据示例性实施例的将插入3D图像再现描述符的描述符区域标签的表。描述符区域用于定义节目和节目要素，所有的描述符以描述符标签(deSCript0r_ tag)和描述符长度(descriptorjength)为开始。根据描述符标签识别描述符类型，一些描述符标签可被分配给由用户使用的用户私人区域。描述符区域可被分配到节目引导信息区段或分配到单独的描述符区段。在设备100和设备200中，节目引导信息区段的描述符区域的部分可被用作3D图像再现描述符。3D图像再现信息可被划分为5个3D再现描述符，因此，根据系统规范和环境修改或划分每个3D再现描述符的格式。5个3D再现描述符是针对3D开始信息的3D信息开始描述符、针对3D相机信息的3D相机描述符、针对低疲劳信息的低疲劳描述符、针对空间间隔3D再现信息和时间间隔3D再现信息的间隔3D再现描述符以及针对右和左不均衡信息的右和左不均衡描述符。描述符标签的总数是256，其中，第64个到第255个描述符区域可由用户任意分配。因此，3D图像再现信息可以以描述符格式被存储在用户私人描述符区域中的一部分中。 可根据系统修改或分离描述符格式。可确保备用描述符区域，以便稍后增加用于3D图像再现的附加信息。例如，图1的3D图像再现信息插入器140可将3D相机描述符(3d_Camera_ descriptor)分配给第251个描述符标签，将低疲劳描述符(3d_safety_desCriptor)分配给第252个描述符标签，将间隔3D再现描述符(l0cal_3d_descript0r)分配给第253个描述符标签，将右和左不均衡描述符(imbalance_deScriptOT)分配给第2M个描述符标签， 将3D信息开始描述符(3d_inf0_desCript0r)分配给第255个描述符标签。现将参照图17至图21描述通过使用设备100插入到节目引导信息区段的描述符区域的3D图像再现信息。类似地，设备200可从描述符区域提取3D图像再洗信息。每个事件使用描述符区域，因此，当2D节目和另一 2D节目并存时，根据每个事件， EIT中可包括图像是2D图像还是3D图像的信息。用于3D图像再现的附加信息可根据每个节目变化。例如，不是所有的节目都需要 3D相机信息、低疲劳信息或右和左不均衡信息。节目可能或可能不支持附加信息。因此，可定义每个事件支持的描述符。图19是示出根据示例性实施例的插入到描述符区域的3D信息开始描述符(3d_ info_descriptor) 1700 的表。3D信息开始描述符1700包括描述符标签1710、描述符长度信息1720和3D图像再现信息中的基本信息1730。基本信息1730包括3D开始信息(threed_info_start_code)、 3D图像格式信息(3d_f0rmat_type)、右和左布置信息(LRjndicator)和全分辨率信息 (Full_Res_indicator)。由于3D开始信息描述符1700位于首先被解析或读取的区域，因此解码端可首先确定3D图像再现描述符存在于相应的区段。图20是示出根据示例性实施例的插入到描述符区域的3D相机描述符(3d_ camera_descriptor) 1800 的表。3D相机描述符1800包括描述符标签1810、描述符长度信息1820和如参照图8所述的3D相机信息1830。图21是示出根据示例性实施例的插入到描述符区域的低疲劳描述符(3d_ safety_descriptor) 1900 的表。低疲劳描述符1900包括描述符标签1910、描述符长度信息1920和如参照图9所述的低疲劳信息1930。图22是示出根据示例性实施例的插入到描述符区域的间隔3D描述符(l0Cal_3d_ descriptor) 2000 的表。间隔3D描述符2000包括描述符标签2010、描述符长度信息2020和如参照图6所述的间隔3D再现信息2030，间隔3D再现信息2030包括空间间隔3D再现信息和时间间隔
3D再现信息。图23示出根据示例性实施例的插入到描述符区域的右和左不均衡描述符 (imbalance_descriptor) 2010 的表。右和左不均衡描述符2010包括描述符标签2110、描述符长度信息2120和如参照图12所述的右和左不均衡信息2130。图M示出根据示例性实施例的发送3D图像数据流的方法的流程图。在操作2210中，产生包括3D图像的编码比特串的基本流。在3D图像中，3D图像或2D图像可被一起混合。在3D图像格式中，左视点图像和右视点图像可被包括在一帧中， 或者不同的视点图像可被布置在不同的帧中。可选择地，不同的视点图像可被形成在不同的基本流中。在操作2020中，打包所述基本流，因此，产生至少一个PES。在操作2230中，通过复用3D图像的节目和服务相关信息来产生至少一个区段。所述至少一个区段可包括PAT区段、PMT区段、CAT区段、EIT区段和私人区段。在操作2240中，再现3D图像所需的3D图像再现信息被插入到所述至少一个区段中的节目引导信息区段。3D图像再现信息可被插入到节目引导信息区段中的EIT区段中的描述符区域。在操作2250中，针对所述至少一个区段和所述至少一个PES中的每个产生至少一个TS包。所述TS包具有188个字节，所述188个字节包括4个字节的头区域和184个字节的净荷区域。换句话说，再现3D图像所需的3D图像再现信息可被插入到节目引导信息。3D图像再现信息包括关于3D图像格式的信息、关于左视点图像和右视点图像的布置次序的信息、关于左视点图像和右视点图像是否在保持全分辨率的同时形成3D图像的信息、关于针对空间间隔3D再现的图像的信息、关于针对时间间隔3D再现的图像的信息、关于3D相机系统的信息、用于低疲劳操作所需的信息以及关于左视点图像和右视点图像的不均衡模型的信息。3D图像再现信息(即，3D图像格式信息、右和左布置信息、全分辨率信息、间隔3D 再现信息、3D相机信息、低疲劳信息以及右和左不均衡信息)可根据描述符格式被插入到区段的描述符区域。在操作2260中，通过复用产生的TS包来产生TS。根据示例性实施例，在基于TS的系统中，可通过打包基本流来将基本流复用为TS，但是在基于节目流的系统中，可通过打包基本流来将基本流复用为节目流。在根据预定图像通信标准的TS系统中，3D图像再现信息可被插入到预先分配到区段的空间。因此，图M的方法可应用于根据传统的图像通信标准的TS系统，而不改变该 TS系统。此外，在不另外分配传输信道或信息存储空间的情况下，可提供3D图像再现信息。图25示出根据示例性实施例的接收3D图像数据流的方法的流程图。在基于TS的系统中，TS被接收并被解复用为基本流，然而，在基于节目流的系统中，节目流被接收并被解复用为基本流。在操作2310中，接收的TS被解复用，从而被分离为至少一个TS包。TS被解复用为具有188个字节的TS包。在操作2320中，所述至少一个TS包被解包，从而被恢复为至少一个PES和至少一个区段。PES存储3D图像数据，至少一个区段存储3D图像数据的节目和服务相关信息。在操作2330中，所述至少一个PES被解包，因此恢复基本流。3D图像数据的编码数据(诸如视频数据或音频数据)被插入到基本流。在操作2340中，从所述至少一个区段中的节目引导信息区段提取再现3D图像所需的3D图像再现信息。可从节目引导信息区段中的EIT区段提取3D图像再现信息。具体地，可提取以描述符格式插入到EIT区段的描述符区域的3D图像再现信息。在操作2350中，通过对所述至少一个PES解包来恢复基本流。通过解码基本流的数据来恢复3D图像。可通过使用提取的3D图像再现信息，使用3D再现方法来再现恢复的 3D图像。通过使用3D再现方法来提取可由3D再现系统识别的3D图像再现信息，从而提供保证3D效果和低疲劳的3D内容广播服务。由于所述方法具有在传统的2D图像系统中使用的传统的数据结构，因此，所述方法还可被用在传统的2D图像系统中。示例性实施例可被写成计算机程序，并可在通用数字计算机中被实现，通用数字计算机使用计算机可读记录介质来执行程序。计算机可读记录介质的示例包括存储介质， 存储介质包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。尽管已具体示出和描述了示例性实施例，但是本领域的普通技术人员将理解在不脱离权利要求所限定的本发明的精神和范围的情况下，可进行各种形式和细节上的改变。
权利要求
1.一种接收3维3D图像数据流的方法，所述方法包括通过解复用接收的传输流来分离至少一个传输流包；通过对所述至少一个传输流包进行解包来恢复包括3D图像数据的至少一个打包的基本流以及包括3D图像数据的服务相关信息的至少一个区段；通过对所述至少一个打包的基本流进行解包来恢复基本流；从所述至少一个区段中的节目引导信息区段提取再现3D图像数据所需的3D图像再现信息；以及通过解码基本流的数据来恢复3D图像数据。
2.如权利要求1所述的方法，其中，在提取3D图像再现信息的步骤中，从节目引导信息区段中的事件信息表区段的描述符区域提取3D图像再现描述符。
3.如权利要求2所述的方法，其中，在提取3D图像再现信息的步骤中，从3D图像再现描述符提取通知3D图像再现描述符开始的3D信息开始描述符，基于所述3D信息开始描述符提取3D图像再现描述符。
4.如权利要求2所述的方法，其中，所述3D图像再现描述符包括间隔3D再现描述符、 3D相机描述符、低疲劳描述符、右和左不均衡描述符中的至少一个，所述间隔3D再现描述符指示在整个图像数据中以3D进行再现的时间间隔或空间间隔，所述3D相机描述符是关于获得3D图像的相机，所述低疲劳描述符减少在再现3D图像的同时产生的观看的不适，所述右和左不均衡描述符指示左视点图像和右视点图像的不均衡状态。
5.如权利要求4所述的方法，其中，从3D图像再现描述符提取以下信息作为用于平滑地再现3D图像数据的基本信息3D图像格式信息，指示3D图像的左视点图像和右视点图像的格式；右和左布置信息，指示右视点图像和左视点图像的布置次序；全分辨率信息，指示形成3D图像的左视点图像和右视点图像的分辨率。
6.如权利要求5所述的方法，其中，从3D图像再现描述符提取以下内容作为除基本信息之外的用于平滑地再现3D图像数据的附加信息间隔3D再现描述符、关于获得3D图像的相机的3D相机描述符、低疲劳描述符以及右和左不均衡描述符。
7.如权利要求4所述的方法，其中，通过使用以下内容中的一个来表示所述右和左不均衡描述符左视点图像像素值和右视点图像像素值之间的偏移量、左视点图像像素值和右视点图像像素值之间的线性函数以及左视点图像像素值和右视点图像像素值之间的查找表。
8.如权利要求6所述的方法，其中，所述附加信息包括指示每条附加信息是否被定义的指示符。
9.如权利要求1所述的方法，还包括通过使用3D图像再现信息来再现恢复的3D图像数据。
10.一种产生3维3D图像数据流的方法，所述方法包括产生包括3D图像数据的编码比特串的基本流；通过打包所述基本流来产生至少一个打包的基本流；产生包括3D图像数据的服务相关信息的至少一个区段；将再现所述3D图像数据所需的3D图像再现信息插入到产生的至少一个区段中的节目引导信息区段；针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；以及通过复用产生的至少一个传输流包来产生传输流。
11.如权利要求10所述的方法，其中，插入3D图像再现信息的步骤包括 产生包括3D图像再现信息的至少一个3D图像再现描述符；以及将3D图像再现描述符插入到节目引导信息区段中的事件信息表区段的描述符区域， 其中，所述3D图像再现描述符包括3D信息开始描述符、间隔3D再现描述符、3D相机描述符、低疲劳描述符、右和左不均衡描述符中的至少一个，所述3D信息开始描述符指示3D 图像数据流包括在相应的节目中，所述间隔3D再现描述符指示在整个图像数据中以3D进行再现的时间间隔或空间间隔，所述3D相机描述符是关于获得3D图像的相机，所述低疲劳描述符减少在再现3D图像的同时产生的观看的不适，所述右和左不均衡描述符指示左视点图像和右视点图像的不均衡状态。
12.如权利要求11所述的方法，其中，所述3D信息开始描述符是用于平滑地再现3D图像数据的基本信息，并包括3D图像格式信息，指示3D图像的左视点图像和右视点图像的格式；右和左布置信息，指示左视点图像和右视点图像的布置次序；全分辨率信息，指示形成3D图像的左视点图像和右视点图像的分辨率，以及其中，所述3D图像再现描述符中的间隔3D再现描述符、3D相机描述符、低疲劳描述符以及右和左不均衡描述符是除基本信息之外的用于平滑地再现3D图像数据的附加信息。
13.一种用于接收3维3D图像数据流的设备，所述设备包括传输流解复用器，通过解复用接收的传输流来分离至少一个传输流包； 传输流包解包器，通过对所述至少一个传输流包进行解包来恢复包括3D图像数据的至少一个打包的基本流以及包括3D图像数据的服务相关信息的至少一个区段；打包的基本流解包器，通过对所述至少一个打包的基本流进行解包来恢复基本流； 3D图像再现信息提取器，从所述至少一个区段中的节目引导信息区段提取再现3D图像所需的3D图像再现信息；以及3D图像恢复器，通过解码基本流的数据来恢复3D图像数据。
14.一种用于产生3维3D图像数据流的设备，所述设备包括 基本流产生器，产生包括3D图像数据的编码比特串的基本流；打包的基本流产生器，通过打包所述基本流来产生至少一个打包的基本流； 区段产生器，产生描述3D图像数据的服务相关信息的至少一个区段； 3D图像再现信息插入器，将再现所述3D图像数据所需的3D图像再现信息插入到所述至少一个区段中的节目弓丨导信息区段；传输流包产生器，针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；以及传输流产生器，通过复用产生的至少一个传输流包来产生传输流。
15.一种计算机可读记录介质，在其上已记录用于执行权利要求1的方法或权利要求 10的方法的程序。
全文摘要
提供一种产生3维(3D)图像数据流的方法。所述方法包括产生包括3D图像数据的编码比特串的基本流；通过打包所述基本流来产生至少一个打包的基本流；产生包括3D图像数据的服务相关信息的至少一个区段；将用于再现所述3D图像数据的3D图像再现信息插入到在所述至少一个区段中的节目引导信息区段；针对所述至少一个区段以及所述至少一个打包的基本流中的每个产生至少一个传输流包；通过复用所述至少一个传输流包来产生传输流。
文档编号H04N13/00GK102484731SQ201080032679
公开日2012年5月30日 申请日期2010年7月27日 优先权日2009年7月27日
发明者张纹硕, 朱盛晨, 李栽准, 金容台, 金载承 申请人:三星电子株式会社