专利名称：：3d图像信号处理方法和用于实现该方法的图像显示器的制作方法
技术领域：
：本发明涉及显示装置和图像显示方法，具体地说，涉及用于显示3D图像的显示装置及其图像显示方法。
背景技术：
：电视技术的进步已经达到了实现用于显示立体图像的装置的水平。已经提出了各种立体图像显示方案，在进行本申请时，立体型3D电视的成熟的商业化即将到来。在立体3D系统中，使用类似于人眼的彼此分开约65毫米的两个图像传感器来采集两个图像，并且将所采集的图像作为广播信号发送到接收机。接着，该接收机对要输入到观众(即，用户)的左眼和右眼的这两个图像进行处理，由此模拟双目视差以允许深度感知和立体视觉。另外，正在针对多视点视频进行积极的研究，在该多视点视频中，通过多个相机采集多个图像，并且向接收机提供所采集的图像以使得各个视点的3D图像能够显示在该接收机上。多视点视频被期待具有经由宽屏幕和视点自由度提供三维(3D)图像效果的优点。然而，在以商业方式实现该多视点视频时，在发送侧和接收侧即时处理的数据的量增加，并且要求高价格的设备。具体地说，为了发送具有不同视点的图像，无论通过去除时间冗余和空间冗余将信号压缩得多么严重，发送过程都要求可观的带宽。尽管有线网络或卫星广播网络已经被延伸，但是在提交本申请时，相当大数量的接收机仍将经由空中接口接收电视信号，并且对多个图像进行编码以及通过分配给无线电信号的各个广播频道的带宽来发送这些经编码的图像并不容易。这种问题可能出现在除了多视点视频以外还发送用于立体3D显示的两个图像信号的系统中。因而，急迫需要一种显著地减少向接收机传送与多个图像信号相关的信息时的图像信号信息的量以实现立体3D显示或多视点视频的方法。
发明内容因此，本发明的目的是提供一种用于处理3D图像信号的方法，由此尽管图像信号发送侧发送要包括在多个图像信号中的信息，同时忽略该信息的一部分，但是接收机仍能够合成所发送的信息以再现图像。本发明的另一目的是提供一种实现该图像信号处理方法的图像显示装置。在3D图像显示装置中实现根据本发明的示例实施方式的3D图像信号处理方法。该3D图像显示装置从广播信号恢复至少一个图像，从所恢复的图像附加地产生虚拟相机视点处的图像，并且按照三维方式显示该图像。为此，该3D图像显示装置首先接收广播信号并解析该广播信号以提取信令信息，并且从该信令信息获得至少一组相机参数。接着，该3D图像显示装置根据这些相机参数产生虚拟视点图像，并且对该虚拟视点图像和所述广播图像中包括的广播图像进行格式化。该信令信息可以是地面虚拟频道表(TVCT)或者节目映射表(PMT)。在示例实施方式中，该广播信号可以包括深度信息。在该示例实施方式中，在产生所述虚拟视点图像时，首先，可以根据这些相机参数和深度信息产生虚拟视图视点(virtualviewviewpoint)处的深度信息。接着，可以根据所述广播图像和虚拟视图视点来产生该虚拟视图视点处的虚拟视点图像。在示例实施方式中，可以通过该信令信息来指定该虚拟视图视点。在修改例中，可以根据用户命令来指定或改变该虚拟视图视点。在该示例实施方式中，所述广播信号可以包括多个图像以及与所述多个图像中的一个相关的深度信息。在这种情况下，所述多个图像中的与所述深度信息相关的图像可以被确定为基础图像，并且可以基于所确定的基础图像、所述深度信息和所述相机参数来产生所述虚拟视图视点。对象的形式信息可以被附加地包括在所述广播信号中。在这种情况下，可以根据所述相机参数和形式信息来产生所述虚拟视图视点。该形式信息可以包括由于不同的对象的遮挡(occlusion)信息。根据本发明的一个方面，提供了一种图像显示装置，该图像显示装置包括广播信号接收单元、渲染(render)单元和格式化器。该广播信号接收单元可以接收广播信号并解析该广播信号以提取信令信息，并且从所述信令信息获得至少一组相机参数。该渲染单元可以根据这些相机参数产生虚拟视点图像。该格式化器可以按照三维方式对该虚拟视点图像和所述广播信号中包括的广播图像进行格式化。根据本发明的示例实施方式，在利用使用多个相机在不同方向上采集的立体3D图像或者多视点图像来实现3D显示时，限定用于用信号向接收机通知相机参数的句法和数据结构。由于接收机能够使用利用深度相机获得的深度信息和所述相机参数来合成虚拟视点处的3D场景，所以尽管获取端甚至已经从图像没有被清晰地发送的视点获取图像或者已经针对意在被接收端合成的视点获取图像，接收机也能够产生3D内容。尽管通过省略相机图像的一部分的发送来减少传输带宽，但是可以发送3D显示处理中的渲染所需要的足够信息，并且所述接收机能够通过使用所发送的图像和信息来简单地处理用于3D显示的信号。根据结合附图所考虑的以下详细描述，本发明的上述和其它目的、特征、方面和优点将变得更加明显。附图被包括进来以提供对本发明的进一步理解，并被并入本说明书且构成本说明书的一部分，附图例示了本发明的实施方式，并且与说明书一起用于解释本发明的原理。附图中图1是例示通过发送系统来发送包括相机参数的图像信号以及通过接收系统基于该相机参数来产生和恢复图像的处理的流程图；图2示出通过图1所例示的发送系统来进行编码的图像信息、深度信息和附加信息；图3示出由接收系统基于图像信息、深度信息和附加信息所产生和恢复的图像；图4是根据本发明的示例实施方式的用于产生和发送广播节目的系统的示意性框图；图5示出根据本发明的示例实施方式的相机参数被插入到的地面虚拟频道表(TVCT)的句法结构；图6是示出根据浮点数显示方案的相机参数与句法元素之间的关系的表；图7示出根据本发明的示例实施方式的固有相机参数描述符的句法结构；图8示出根据本发明的示例实施方式的外在相机参数描述符的句法结构；图9是根据本发明的示例实施方式的电视接收机的示意性框图；以及图10是例示在图9所例示的电视接收机中解析和渲染内部参数和外部参数的处理的流程图。具体实施例方式现在将详细参照本发明的优选实施方式，在附图中例示这些优选实施方式的示例。现在将参照图1描述根据本发明的示例实施方式的通过发送系统来发送包括相机参数的图像信号以及在接收系统中基于这些相机参数来产生和恢复图像的处理。发送系统通过使用多个相机(例如，一对立体相机)来采集图像(步骤S10)。所述多个相机中的至少一个是真实相机，而其它(多个)相机可以是(多个)虚拟相机。这里，真实相机是指向接收侧发送所采集的图像的流的相机。虚拟相机是指其图像流不被发送而其相机参数被发送到接收系统以使得该接收系统能够恢复对应的流(将被描述)的相机。该虚拟相机可以实际上不存在，并且该虚拟相机的相机参数(将被描述)可以由广播制造商或者工程师来确定。此外，用于获得与包含在图像中的各个主视点相关的深度(或范围)信息的深度相机被设置为使得这些深度相机对应于实际相机，以使得发送系统能够结合该图像获得深度信息。另外，该发送系统从相机所采集的图像提取要被发送到接收系统的附加信息。该附加信息可以包括用于估计对象的由于位于该对象前方的另一物体而导致被覆盖并因此不能被看到的部分的信息。例如，该附加信息可以包括诸如对象轮廓等的几何信息、对象透明度信息、颜色信息等。在示例实施方式中，从真实相机所采集的图像获得该附加信息。然而，作为修改例，可以从虚拟相机所采集的图像或者从实际相机图像和虚拟相机图像的组合获得该附加信息。该深度信息和/或附加信息不是必需的，而是可以被选择性地提取和发送，以帮助在该接收系统中产生虚拟图像。在步骤S12中，发送系统将图像信号复用为图像、深度信息和附加信息相结合的形式。随后，发送系统对相机参数和经复用的图像信号进行编码，并将所述相机参数和经复用的图像信号发送到接收系统(步骤S14)。当接收到经编码的图像信号时，接收系统对该经编码的图像信号进行解码以恢复图像、深度信息、附加信息和相机参数(步骤S20)。此后，该接收系统通过使用虚拟相机的相机参数来产生虚拟相机位置处的深度信息(步骤S2》。随后，该接收系统执行3D变换(warping)以产生虚拟相机位置处的图像(步骤S24)。最后，该接收系统根据对应的接收机的显示方案对在解码处理中恢复的图像和所产生的图像进行格式化以由此显示3D图像(步骤S26)。现在将描述由发送系统发送所述经编码的图像信息、深度信息和附加信息以及由接收系统对该图像信息、深度信息和附加信息进行解码以基于所解码的信息产生并恢复图像的处理的示例。图2例示一个真实相机和一个虚拟相机。然而，图2仅仅是例示性的，可以设置更大数量的真实相机和虚拟相机。在图2中，将真实相机所采集的图像标记为img，并将虚拟相机所采集的图像标记为img[l]。将图像img上的与3D真实世界中的点(P)相对应的点标记为ρW]，并且将图像img[l]上的与该点(P)相对应的点标记为ρ[1]。此外，针对各个相机提取相机参数。这些相机参数被分类为固有相机参数和外在相机参数。固有相机参数表现相机本身的特性(诸如包括相机镜头的焦距和主点(principalpoint)以及倾斜系数(skewfactor)等的光学特性)。外在相机参数指示真实相机或虚拟相机的几何位置和方向(包括各个相机的基准坐标系统相对于真实世界的基准坐标系统的平移、旋转量等)。在图2中，将针对第一相机(即，真实相机)的固有参数指示为“A”。当假设第二相机(即，虚拟相机)是与第一相机相同类型的相机并利用第一相机被充分地校准时，则与第一相机类似，该第二相机的固有参数也是“A”。此外，假设该第一相机的旋转量是r且平移是t。假设该第二相机的旋转量是r[l]且平移是t[l]。根据本发明的示例实施方式，将针对全部真实相机的图像和深度信息这两者发送到接收系统。基于一个图像创建附加信息，并将该附加信息发送到该接收系统。因而，在图2例示的设置了一个真实相机和一个虚拟相机的示例中，图像img和深度信息d印th被发送到该接收系统，并且该附加信息也被发送，以便该接收系统使用该附加信息来产生图像img[l]和深度信息depth[1]。该接收系统对经编码的图像信号进行解码以恢复针对第一相机(即，真实相机)的图像img、深度信息d印th和附加信息。另外，该接收系统恢复针对全部相机的相机参数A、r、tW]、r[l]和t[l]。参照图3，该接收系统通过使用这些相机参数A、r、t,r[l]和t[l]和针对第一相机的图像img、深度信息depth和附加信息来产生第二相机的位置处的深度信息d印th[1]。随后，该接收系统通过执行3D变换来产生第二虚拟相机的位置处的图像img[l]。由于除了第一相机所采集的图像img以外，还确保第二相机的位置处的图像img[l]，所以该接收系统能够对两个图像(即，真实图像img和虚拟图像img[l])进行格式化以显示3D图像。例如，该接收系统将该真实图像和该虚拟图像中的一个图像设置为左图像而将另一个图像设置为右图像，并根据3D格式以立体方式显示该两个图像。图4是根据本发明的示例实施方式的用于产生和发送广播节目的系统的示意性框图。根据本发明的示例实施方式的用于产生和发送广播节目的系统包括多个相机IOOa和102a、被设置为分别与所述多个相机IOOa和10相对应的深度相机IlOb和102b、预处理器104、相机参数组织器106、节目编码器108、PSI/PSIP产生器116、传输复用器、频道编码器和调制器120以及发送机122。各个相机IOOa和10包括镜头和被设置为与该镜头相对应的图像拾取(pickup)元件，并且所述相机IOOa和10采集场景的图像。在示例实施方式中，该两个相机IOOa和10的镜头被设置为类似于人眼彼此分开65毫米，因此，相机IOOa和10获得具有双目视差的两个2D图像。然而，本发明不限于实现除深度相机以外的用于采集图像的两个相机，并且可以设置包括虚拟相机的多个相机来采集多个图像以实现如上所述的多视点图像。预处理器104消除相机100a、100b、10和10所采集的图像中可能存在的噪声，对图像进行校准并解决亮度分量的不平衡现象。经预处理单元104预处理的图像可以被存储在存储单元中或者被编辑，因而当然，相机100a、100b、l(^a和102b所进行的采集与节目编码器108所进行的编码之间可以存在相当大的时间差。相机参数组织器106获得针对相机IOOa和10的相机参数。在示例实施方式中，相机参数组织器106从相机IOOa和10中的每一个接收针对相机IOOa和10中的每一个的诸如相机镜头的焦距、主点、倾斜系数等的固有参数，以及诸如平移、旋转量等的外在参数。作为修改例，相机参数组织器106可以从用于在图像采集地点设置相机的机械装置或计算机程序接收这些固有相机参数和外在相机参数。相机参数组织器106根据预定格式向PSI/PSIP产生器116提供这些相机参数，使得PSI/PSIP产生器116能够在PSIP中包括这些相机参数。在节目编码器108中，音频编码器110从安装在图像采集场景中的适当位置的多个麦克风(未示出)接收语音信号，根据预定的标准(例如，AC-3标准)对它们进行编码，以产生音频基本流(ESelementarystream)。视频编码器112根据特定标准对相机IlOa和10所采集的图像和相机IOOb和102b所采集的深度信息进行编码，并且去除时间和空间冗余以产生视频基本流(ES)。另外，视频编码器112通过使用真实相机IOOa所采集的图像和/或虚拟相机10所采集的图像来产生附加信息，并且对所产生的附加信息进行编码。如上所述，该附加信息包括用于估计遮挡(即，由于前方的物体而导致被覆盖并且不可见的部分)的信息，诸如包括对象轮廓等的几何信息、对象透明度信息、颜色信息等。优选地，视频编码器112独立地对所采集的图像、深度信息和附加信息进行编码，以产生独立的流。在示例实施方式中，视频编码器112根据IS0/IEC13818-2的MPEG-2标准和A/53第4部分的ATSC数字电视标准来对所述图像、深度信息和附加信息进行编码。然而，本发明不限于此，视频编码器112可以根据由IS0/IECJTCl/Sa9/WGll和ITU-TSG16Q.6的联合视频组(JVT)起草的H.264/AVC标准或者任何其它方案来对该图像进行编码。打包器(packetizer)114分别从音频编码器110和视频编码器112接收音频ES和视频ES，并且对所述各个流进行打包以产生经打包的基本流。PSI/PSIP产生器116产生节目专用信息(PSI)以及节目和系统信息协议(PSIP)数据。具体地说，在本发明的示例实施方式中，PSI/PSIP产生器116从相机参数组织器106接收相机参数，并将这些相机参数包括在PSIP中。在示例实施方式中，这些相机参数被插入到地面虚拟频道表(TVCT)中。然而，本发明不限于此，这些相机参数也可以被插入到PMT或任何其它表中。传输复用器118对PES和PSI/PSIP信息进行复用，并且将头部添加到该PES和PSI/PSIP信息以产生传输流(TS)。具体地说，在本示例实施方式中，在通过传输复用器118与PES进行复用的PSIP数据中，在TVCT中描述这些相机参数。此外，在图4例示的系统中，经由地面(陆地)波发送一个频道，但是例如，用于通过有线网络或卫星网络发送广播信号的系统可以附加地包括用于复用多个频道的广播信号的发送复用器以产生多节目TS。频道编码器和调制器120对该TS执行误差校正编码，以使得接收机能够检测和校正可能由于传输频道中的噪声所导致的误差。另外，频道编码器和调制器120根据系统所采用的调制方案(例如，8-VSB调制方案)来调制所述经误差校正编码的TS。发送机122例如通过天线根据频道特性来发送所述经调制的广播信号。现在将参照图5到图8来描述通过图4所例示的系统来发送相机参数的方法。如上所述，在示例实施方式中，可以按照PSIP内的TVCT中的描述符的形式来描述这些相机参数。图5示出根据本发明的示例实施方式的包括相机参数的描述符的TVCT的句法结构。该TVCT可以具有描述符以传送与虚拟频道相关的信息并扩展该信息。根据本示例实施方式的相机参数可以组成该TVCT的描述符中的一个。详细地说，在PSIP中定义各自具有特定目的的多个表，并且所述多个表中的每一个具有与MPEG的PSI(节目专用信息)中定义的表的段(section)结构相类似的段结构。也就是说，各个表被配置为具有用于发送的段的结构，并且根据表的类型可以包括一个或者多个段。各个段可以被划分为包括表和段的基本信息的头部、包括表的实际数据的主体以及包括用于误差校正的信息的尾部，以使得接收系统能够选择性地接收段。在描述图5例示的TVCT段时，将通过对从“table_id”字段到“protocoljision”字段的头部、从“num_channels_in_section，，字段至IJ“additional_descriptors_length，，字段的主体以及包括“CRC_32”字段的尾部进行区分来描述该TVCT段。首先，该头部中的“table_id”字段指示PSIP中的表类型。在TVCT的情况下，根据MPEG、ATSC、ARIB、SCTE或DVB标准将该“table_id”字段确定为具有“0xC8”的8比特的值。“sectiorusyntaxjndicator”字段指示表段的格式，并且在ATSCPSIP表的情况下，根据例如IS0/IEC13818-1、表2-30将该“section_syntax_indicator”字段确定具有为1的值。“privatejndicator”字段指示该段中从该字段到该表段的末尾的剩余字节的数量。“transport_stream_id”指示传输流的TS标识符。“version_number”字段指示该表段的版本号，而“currentjextjndicator”字段指示该表段是否遵循当前版本或下一版本。"section.number"字段指示该表段的序列号，而“last_section_number”指示先前表段的序列号。“protocoljersion”字段指示协议版本。在所述主体部分中，“num_channe1s_in_section”字段指示被限定为遵循该表段的虚拟频道的数量。针对各个虚拟频道重复描述“for”循环中的从“shortjame”到descriptor()指示字段的部分。"short_name"字段允许针对虚拟频道分配按照Unicode形成的短名称。“major_channel_number”字段和“minor_channel_number”字段被组合以指示虚拟频道数量。"modulation_mode"指示用于发送单独频道的调制模式，而“carrierfrequency"字段指示载波频率。“charmelTSID”字段指示包括虚拟频道所指的节目的频道的传输流ID。"program_number"字段使得能够唯一地识别传输流中存在的各个节目业务。“ETM_location”字段指示经扩展的事件表是否存在。“access_controlled”字段指示对应的虚拟频道是否被访问和控制。“hidden”字段指示虚拟频道是否能够被直接输入以访问对应的频道，或者频道是否被隐藏以使得当输入频道号码时或不断切换频道8(surfing)时将不显示该频道。“hide_gUide”字段指示对应的频道或者针对隐藏频道的相关事件是否出现在EPG显示上。“servicejype”字段指示虚拟频道中设置的业务类型。“sourcejd”字段指示是否在多个虚拟频道之间进行链接、输入到事件信息表中的内容，以及是否允许多个经扩展的事件文本表之间的链路，该“sourCe_id”字段可以指示与虚拟频道相关的节目资源。“descriptorsjength”字段指示该字段后面的描述符字段的总字节长度，而descriptor()部分是描述单独的描述符的地方。可以通过使用additional_descriptors_length和additional_descriptor()字段来包括不同的描述符循环。在尾部部分，“CRC_32”字段指示根据针对从“table_id”字段到该表的最后字节的每个字节的多项式运算所计算出的CRC数据，因而使得接收机能够检测误差。在本发明的示例实施方式中，可以如上所述在TVCT表中的“descriptor()，，部分按照固有参数描述符和外在参数描述符的顺序来描述和定义相机参数。可以在"descriptor()，，部分描述固有相机参数，并且可以在“additionaldescriptor()，，部分描述外在相机参数。在示例实施方式中，假设固有相机参数被校准，并且公共地应用于每个相机的一个固有相机参数描述符被传送到接收系统。然而，作为修改例，针对各个相机的单独的固有相机参数描述符可以被传送到该接收系统。在示例实施方式中，固有相机参数包括焦距、主点和倾斜系数。焦距被划分为水平焦距(f0Cal_length_X)和垂直焦距(f0Cal_length_y)并被描述。类似地，主点位置被划分为水平主点(principal_point_x)和垂直主点(principal_point_y)。根据IEC605501989到IEEE954-1985标准的浮点数显示方案来表示各个参数，并且将所述各个参数划分为符号(sign)、索引部分、有效数字尾数(mantissa)部分，并显示所述各个参数。在示例实施方式中，用1比特整数来指示所述符号，并且用6比特整数来指示所述索引部分和有效数字尾数部分。具体地说，为了指示负数，按照excess-31码的有偏差的指数形式来指示所述索引部分。图6是示出根据浮点数显示方案的相机参数与句法元素之间关系的表。如下式所示，上述固有参数组成固有参数矩阵[式1]权利要求1.一种用于处理三维(3D)图像信号的方法，该方法包括以下步骤接收广播信号；对所述广播信号进行解析以提取信令信息；从所述信令信息获得至少一组相机参数；根据所述相机参数产生虚拟视点图像；以及按照三维方式对所述虚拟视点图像和包括在所述广播信号中的广播图像进行格式化。2.根据权利要求1所述的方法，其中，所述广播信号中还包括深度信息，并且根据所述相机参数和所述深度信息来产生所述虚拟视点图像。3.根据权利要求1所述的方法，其中，所述信令信息是地面虚拟频道表(TVCT)。4.根据权利要求2所述的方法，其中，所述信令信息是节目映射表(PMT)。5.根据权利要求2所述的方法，其中，所述产生所述虚拟视点图像的步骤包括以下步骤根据所述相机参数和所述深度信息产生虚拟视图视点处的深度信息；以及根据所述广播图像和所述虚拟视图视点处的所述深度信息来产生所述虚拟视图视点处的所述虚拟视点图像。6.根据权利要求5所述的方法，其中，通过所述信令信息来指定所述虚拟视图视点。7.根据权利要求5所述的方法，其中，通过用户命令来指定所述虚拟视图视点。8.根据权利要求2所述的方法，其中，所述广播信号包括多个图像以及与所述多个图像中的一个相关的所述深度信息，其中，所述方法还包括以下步骤在所述多个图像中确定与所述深度信息相关的图像作为基础图像，以及其中，在产生所述虚拟视点图像时，基于所述基础图像、所述深度信息和相机参数来产生所述虚拟视点图像。9.根据权利要求1所述的方法，其中，将对象的形式信息附加地包括在所述广播信号中，并且根据所述相机参数和所述形式信息来产生所述虚拟视点图像。10.根据权利要求9所述的方法，其中，所述形式信息包括与不同对象的遮挡有关的信肩、ο11.一种用于显示三维(3D)图像的设备，该设备包括广播信号接收单元，其被配置为接收广播信号并对所接收的广播信号进行解析以提取信令信息，以及从所述信令信息获得至少一组相机参数；渲染单元，其被配置为根据所述相机参数产生虚拟视点图像；以及格式化器，其被配置为按照三维方式对所述虚拟视点图像和包括在所述广播信号中的广播图像进行格式化。全文摘要公开了一种用于3D图像处理的方法，该方法使得在图像信号发送侧部分省略了要被设置在要发送的多个图像信号中的信息的情况下，能够在接收机处合成并再现图像。本发明的用于3D图像处理的方法在3D图像显示器中实现。所述设备从广播信号恢复至少一个图像，并且从所恢复的图像额外地产生虚拟相机的视点处的图像并按照三维模式显示该图像。为此，该图像显示器首先接收广播信号，并且从所述信令信息获得至少一组相机参数。接着，该图像显示器根据所述相机参数产生虚拟视点图像，并且按照三维方式对所述虚拟视点图像和包括在所述广播信号中的广播图像进行格式化。文档编号H04N7/08GK102257824SQ200980150985公开日2011年11月23日申请日期2009年8月19日优先权日2008年12月18日发明者徐琮烈,梁正烋申请人:Lg电子株式会社