3d图像信号处理方法和用于实现该方法的图像显示器的制造方法
【专利说明】
[OOOU本申请是申请号为200980150985. 3、国际申请号为PCT/KR2009/004620、申请日 为2009年8月19日、发明名称为"3D图像信号处理方法和用于实现该方法的图像显示器" 的发明专利申请的分案申请。
技术领域
[0002] 本发明设及显示装置和图像显示方法，具体地说，设及用于显示3D图像的显示装 置及其图像显示方法。
【背景技术】
[0003] 电视技术的进步已经达到了实现用于显示立体图像的装置的水平。已经提出了各 种立体图像显示方案，在进行本申请时，立体型3D电视的成熟的商业化即将到来。在立体 3D系统中，使用类似于人眼的彼此分开约65毫米的两个图像传感器来采集两个图像，并且 将所采集的图像作为广播信号发送到接收机。接着，该接收机对要输入到观众（即，用户） 的左眼和右眼的该两个图像进行处理，由此模拟双目视差W允许深度感知和立体视觉。
[0004] 另外，正在针对多视点视频进行积极的研究，在该多视点视频中，通过多个相机采 集多个图像，并且向接收机提供所采集的图像W使得各个视点的3D图像能够显示在该接 收机上。多视点视频被期待具有经由宽屏幕和视点自由度提供=维（3D)图像效果的优点。
[0005] 然而，在W商业方式实现该多视点视频时，在发送侧和接收侧即时处理的数据的 量增加，并且要求高价格的设备。具体地说，为了发送具有不同视点的图像，无论通过去除 时间冗余和空间冗余将信号压缩得多么严重，发送过程都要求可观的带宽。尽管有线网络 或卫星广播网络已经被延伸，但是在提交本申请时，相当大数量的接收机仍将经由空中接 口接收电视信号，并且对多个图像进行编码W及通过分配给无线电信号的各个广播频道的 带宽来发送该些经编码的图像并不容易。
[0006] 该种问题可能出现在除了多视点视频W外还发送用于立体3D显示的两个图像信 号的系统中。
[0007] 因而，急迫需要一种显著地减少向接收机传送与多个图像信号相关的信息时的图 像信号信息的量W实现立体3D显示或多视点视频的方法。
【发明内容】
[000引因此，本发明的目的是提供一种用于处理3D图像信号的方法，由此尽管图像信号 发送侧发送要包括在多个图像信号中的信息，同时忽略该信息的一部分，但是接收机仍能 够合成所发送的信息W再现图像。
[0009] 本发明的另一目的是提供一种实现该图像信号处理方法的图像显示装置。
[0010] 在3D图像显示装置中实现根据本发明的示例实施方式的3D图像信号处理方法。 该3D图像显示装置从广播信号恢复至少一个图像，从所恢复的图像附加地产生虚拟相机 视点处的图像，并且按照=维方式显示该图像。为此，该3D图像显示装置首先接收广播信 号并解析该广播信号w提取信令信息，并且从该信令信息获得至少一组相机参数。接着，该 3D图像显示装置根据该些相机参数产生虚拟视点图像，并且对该虚拟视点图像和所述广播 图像中包括的广播图像进行格式化。
[001U该信令信息可W是地面虚拟频道表（TVCT)或者节目映射表（PMT)。
[0012] 在示例实施方式中，该广播信号可W包括深度信息。
[0013] 在该示例实施方式中，在产生所述虚拟视点图像时，首先，可W根据该些相机参数 和深度信息产生虚拟视图视点（virtualviewviewpoint)处的深度信息。接着，可W根据 所述广播图像和虚拟视图视点来产生该虚拟视图视点处的虚拟视点图像。在示例实施方式 中，可W通过该信令信息来指定该虚拟视图视点。在修改例中，可W根据用户命令来指定或 改变该虚拟视图视点。
[0014] 在该示例实施方式中，所述广播信号可W包括多个图像W及与所述多个图像中的 一个相关的深度信息。在该种情况下，所述多个图像中的与所述深度信息相关的图像可W 被确定为基础图像，并且可W基于所确定的基础图像、所述深度信息和所述相机参数来产 生所述虚拟视图视点。
[0015] 对象的形式信息可W被附加地包括在所述广播信号中。在该种情况下，可W根据 所述相机参数和形式信息来产生所述虚拟视图视点。该形式信息可W包括由于不同的对象 的遮挡（occlusion)信息。
[0016] 根据本发明的一个方面，提供了一种图像显示装置，该图像显示装置包括广播信 号接收单元、擅染（render)单元和格式化器。该广播信号接收单元可W接收广播信号并解 析该广播信号W提取信令信息，并且从所述信令信息获得至少一组相机参数。该擅染单元 可W根据该些相机参数产生虚拟视点图像。该格式化器可W按照=维方式对该虚拟视点图 像和所述广播信号中包括的广播图像进行格式化。
[0017] 根据本发明的示例实施方式，在利用使用多个相机在不同方向上采集的立体3D 图像或者多视点图像来实现3D显示时，限定用于用信号向接收机通知相机参数的句法和 数据结构。由于接收机能够使用利用深度相机获得的深度信息和所述相机参数来合成虚拟 视点处的3D场景，所W尽管获取端甚至已经从图像没有被清晰地发送的视点获取图像或 者已经针对意在被接收端合成的视点获取图像，接收机也能够产生3D内容。
[001引尽管通过省略相机图像的一部分的发送来减少传输带宽，但是可W发送3D显示 处理中的擅染所需要的足够信息，并且所述接收机能够通过使用所发送的图像和信息来简 单地处理用于3D显示的信号。
[0019] 根据结合附图所考虑的W下详细描述，本发明的上述和其它目的、特征、方面和优 点将变得更加明显。
【附图说明】
[0020] 附图被包括进来W提供对本发明的进一步理解，并被并入本说明书且构成本说明 书的一部分，附图例示了本发明的实施方式，并且与说明书一起用于解释本发明的原理。
[0021] 附图中：
[0022] 图1是例示通过发送系统来发送包括相机参数的图像信号W及通过接收系统基 于该相机参数来产生和恢复图像的处理的流程图；
[0023] 图2示出通过图1所例示的发送系统来进行编码的图像信息、深度信息和附加信 息；
[0024] 图3示出由接收系统基于图像信息、深度信息和附加信息所产生和恢复的图像；
[0025] 图4是根据本发明的示例实施方式的用于产生和发送广播节目的系统的示意性 框图；
[0026] 图5示出根据本发明的示例实施方式的相机参数被插入到的地面虚拟频道表 (TVCT)的句法结构；
[0027] 图6是示出根据浮点数显示方案的相机参数与句法元素之间的关系的表；
[002引图7示出根据本发明的示例实施方式的固有相机参数描述符的句法结构；
[0029] 图8示出根据本发明的示例实施方式的外在相机参数描述符的句法结构；
[0030] 图9是根据本发明的示例实施方式的电视接收机的示意性框图拟及
[0031] 图10是例示在图9所例示的电视接收机中解析和擅染内部参数和外部参数的处 理的流程图。
【具体实施方式】
[0032] 现在将详细参照本发明的优选实施方式，在附图中例示该些优选实施方式的示 例。
[0033] 现在将参照图1描述根据本发明的示例实施方式的通过发送系统来发送包括相 机参数的图像信号W及在接收系统中基于该些相机参数来产生和恢复图像的处理。
[0034] 发送系统通过使用多个相机（例如，一对立体相机）来采集图像（步骤S10)。所 述多个相机中的至少一个是真实相机，而其它（多个）相机可W是（多个）虚拟相机。该 里，真实相机是指向接收侧发送所采集的图像的流的相机。虚拟相机是指其图像流不被发 送而其相机参数被发送到接收系统W使得该接收系统能够恢复对应的流（将被描述）的相 机。该虚拟相机可W实际上不存在，并且该虚拟相机的相机参数（将被描述）可W由广播 制造商或者工程师来确定。
[0035] 此外，用于获得与包含在图像中的各个主视点相关的深度（或范围）信息的深度 相机被设置为使得该些深度相机对应于实际相机，W使得发送系统能够结合该图像获得深 度信息。另外，该发送系统从相机所采集的图像提取要被发送到接收系统的附加信息。该 附加信息可W包括用于估计对象的由于位于该对象前方的另一物体而导致被覆盖并因此 不能被看到的部分的信息。例如，该附加信息可W包括诸如对象轮廓等的几何信息、对象透 明度信息、颜色信息等。在示例实施方式中，从真实相机所采集的图像获得该附加信息。然 而，作为修改例，可W从虚拟相机所采集的图像或者从实际相机图像和虚拟相机图像的组 合获得该附加信息。该深度信息和/或附加信息不是必需的，而是可W被选择性地提取和 发送，W帮助在该接收系统中产生虚拟图像。
[0036] 在步骤S12中，发送系统将图像信号复用为图像、深度信息和附加信息相结合的 形式。随后，发送系统对相机参数和经复用的图像信号进行编码，并将所述相机参数和经复 用的图像信号发送到接收系统（步骤S14)。
[0037] 当接收到经编码的图像信号时，接收系统对该经编码的图像信号进行解码W恢复 图像、深度信息、附加信息和相机参数（步骤S20)。此后，该接收系统通过使用虚拟相机的 相机参数来产生虚拟相机位置处的深度信息（步骤S22)。随后，该接收系统执行3D变换 (wa巧ing)W产生虚拟相机位置处的图像（步骤S2