专利名称：用于编码及解码立体图像的系统的制作方法
技术领域：
本发明涉及一种用于编码及解码形成单一视频流的立体图像的系统。最初由John Logie Baird在二十年代实施了用于传送三维立体图像的测试，其使用了基于双螺旋尼普科夫(Nipkow)盘的系统。
背景技术：
后来几年实施了许多其他测试，并且开发了用于显示立体图像的不同技术。这种实验视频传输技术的一些例子是被称作“补色立体图”(基于两种补色，例如红色和绿色)、 “Pulfrich效应”(基于总是在相同方向上移动视频摄影机)、“时间分离”(其中针对用户左眼的帧与针对用户右眼的帧交替)和“两条分离通道”(一条针对用户的左眼，另一条针对用户的右眼)的技术。在所述最初的测试中，立体图像是被现场捕获的，这是因为尚不可能记录视频流； 只是在以后才把记录和重放技术用于该目的。到目前为止，具有三维内容的视频流的分发取决于二维电视标准并且取决于所采用的显示系统的类型。通过使用“时间分离”系统获得了最佳商用结果，其中复合视频信号的各条线的一半被针对一只眼编码(偶数线)，一半被针对另一只眼编码(奇数线)。为了观看三维内容，使用液晶快门式眼镜。随着计算机、高分辨率二维系统和因特网的出现，立体格式方案已经在不同方向上有所扩展，但是也存在几个共同点。实际上，在大多数情况下，关于全部两只眼的信息被编码到单一视频流中。在后一种情况下，每一幅立体图像被细分成两幅子图像，从而旨在针对用户的一只眼的图像集合形成所述视频流的第一子流，并且旨在针对另一只眼的图像集合形成同一视频流的第二子流。当前不知道针对例如关于视频流中的三维图像的位置、尺寸、旋转和布局的信息的参考标准。并且当前也没有允许译解所述两个视频子流如何被组织在整个视频流内的任何已知编码模式。因此，必须把视频流与显示系统对接的解码器设备无法自动提取关于所述两个立体视频子流的信息。由此得出结论对于形成所述两个立体视频子流的图像的解码需要用户(基于未被编码在视频流中的补充信息或者通过视觉检查)对解码器设备进行操作，用于确定应当如何完成解码的目的。
发明内容
本发明的一个目的是改进用于编码及解码立体图像的系统。另一个目的是提供一种用于编码及解码立体图像的系统，其不需要用户对解码器设备进行操作以便允许相应的显示系统正确地显示立体图像。本发明的上述和其他目的通过一种用于编码立体图像的方法和系统以及一种用于当在单一视频流中接收到所述图像时解码这种图像的方法和系统来实现。根据本发明，提供一种用于传送及接收在单一视频流中载送的立体图像的系统。所述系统的特征在于其包括编码装置，所述编码装置包括可以被嵌入到所述立体图像的各部分中的协议，所述协议包括关于所述立体图像的信息，特别是关于将针对右眼和左眼的子图像设置在所述立体图像内的模式(或配置)中的信息。因此，所述编码装置在所述立体图像中嵌入携带关于这种图像，特别是关于子图像布局的信息的代码。对于所述立体图像，由所述编码装置所嵌入的所述代码等效于可以通过其标识文档的标记(或协议)；因此在下面的描述中提到时将不再区分为代码或协议。被嵌入到图像中的这种代码变得独立于所使用的标准和编码，并且独立于其中将图像传送到接收器的格式。当前根据不同的配置来传送及存储立体图像。举例来说，旨在针对用户右眼和针对用户左眼的两幅图像可以被编码到单一立体图像中，这是通过将后者水平细分成每个包含旨在针对一只眼的图像的两幅子图像而实现的；可替换地，可以把所述单一图像垂直细分成两个部分。此外，根据本发明的代码(或协议)还允许知道这些配置当中的哪一种被应用于所述立体图像。所述图像可以被无差别地存储到光学介质(例如光盘或DVD或蓝光)中并且随后由适当的播放器再现，或要不然其可以例如通过任何DVB (数字视频广播)标准被广播到接收器；在任一种情况下，由于所述立体图像的代码(或协议)被嵌入到图像本身中，因此其总是可用于将对其进行读取和/或解码的接收器/播放器，因此独立于所述图像被生成、存储、 压缩、编码、传送、接收或再现的方式。在接收器侧，所述系统包括被适配成基于所述嵌入的协议来解码关于所述立体图像的所述信息的解码装置，以便按照与显示设备兼容的方式对所述立体图像进行格式化。本发明提供一种用于编码及解码立体图像的系统，其不需要用户对解码器设备进行操作以便允许相应的显示系统正确地显示立体图像。实际上，所述系统可以解释包含在视频流中的且与所述立体图像在视频流中被构造的方式有关或者与视频流类型有关的补充信息，即如果所述视频流包含二维或者三维图像。利用由编码装置适当地设置的该信息，解码装置可以处理视频流并且将其发送到显示设备，比如三维电视机。换句话说，一旦通过解码装置接收到(借助于播放器广播或读取的)立体图像之后，所述解码装置就将使用嵌入到所述图像中的代码(或协议)来对其进行解码，并且允许在必要情况下对其进行转换以及正确地显示。具体来说，立体图像包括至少两幅子图像(一幅针对右眼，一幅针对左眼)，并且由嵌入到所述图像中的代码(或协议)所携带的信息可以涉及这两幅子图像的配置；具体来说，所述信息可以表明所述子图像是否被并排、上下、旋转设置等等。由于嵌入到图像中的所述代码，解码装置理解所述子图像在立体图像内被如何设置，并且可以对其进行区分；因此，根据所使用的显示设备(例如微偏振LCD电视机或三维背投影DLP电视机)，所述两幅子图像被适当地格式化，即被构成给定格式。此外还有可能利用少数标识符元素(即形成编码代码的元素)对于低数据传输速度获得高度可靠的编码器系统。所述代码以一种方式被编码使得其除了解码器装置之外在必要情况下还可以由操作人员来解释。所述编码和解码系统与在因特网上使用的小图像尺寸和高压缩率兼容。
通过参照附图可以更好地理解及实施本发明，附图示出了本发明的一种示例性而非限制的形式，其中
图1是根据本发明的用于编码及解码立体图像的系统的示意图； 图2是包括两幅子图像的立体图像的示意图； 图3是包括四幅子图像的立体图像的示意图。
具体实施例方式图1示出了用于编码及解码立体图像的系统18。系统18被适配成接收例如由电缆17载送的视频流，其包括立体(三维)图像并且可能还包括二维图像。所述视频流可以来自图像传输装置19，其例如可以包括卫星解码器1，模拟或数字地面信号接收器2，有线电视适配器3，用于读取诸如数字多用盘(DVD)、蓝光盘(BRD)等光学设备的读取器设备4，或者计算机5。在这种框架下，术语“传输装置”指代能够输出视频流(特别是包括立体图像的类型)的任何设备。当它包括立体图像时，所述视频流可以被细分成两个立体子流。一个子流包括旨在针对用户的一只眼的图像，另一个子流包括旨在针对用户的另一只眼的子图像。一幅立体图像内的子图像可以是两幅或者两幅的任意倍数。可以按照多种方式将所述两幅子图像组织在一幅立体图像内，从而获得不同配置。所述不同配置取决于子图像在立体图像内的布局。实际上，所述子图像可以具有并排或上下布局。所述不同配置还取决于旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置。最后，所述不同配置取决于所述子图像可能经受的任何几何变换。实际上，所有或某些子图像可能沿着平行于所述立体图像各侧的轴被旋转和/或倒影和/或翻转。系统18包括编码装置20 (其被示意性地显示为矩形)和解码装置14。编码装置 20包括关于形成视频流的图像类型以及立体图像中的子图像配置的信息。编码装置20包括被适配成将图像传输装置19与解码装置14对接的协议。所述协议使用颜色代码(后面将更加详细地进行解释)，其允许对所述信息进行编码。在这里所描述的实施例中，所述协议包括基于所述色码插入的多个数据序列。所述数据序列至少沿着位于所述立体图像上方和/或下方的一条线延伸，并且具有与所述图像相同的宽度。在视频后期制作阶段期间，通过使用特定的软件程序或者适当的视频编辑软件包的一部分将所述协议嵌入到立体图像中。作为一种替换方案，可以通过使用类似于字幕器的适当设备来叠加所述协议。因此，对立体图像进行编码、即定义所述图像标识码(或协议)的编码装置20通常与传输装置19分离。在图1中，所述编码装置20被显示成连接到传输装置19仅仅是为了表明由它们嵌入到立体图像中的代码可以在视频信号中找到，其中所述视频信号被存储在由读取器4 或计算机5读取的介质(比如DVD)中或者在由接收器1、2和3接收到的视频信号中找到。包括在所述协议中的各个序列包含特定信息并且执行特定功能，比如
a)用于包含每个被细分成多幅子图像的立体图像的视频流的协议起始标识；
b)立体图像内的子图像设置(并排或上下，即垂直或水平划分)；
c)旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置；
d)子图像的相互设置；
e)子图像旋转和/或倒影(reflection)和/或翻转； f )可用于另外的协议扩展的自由部分；
a)对于包含(每个)被细分成多幅子图像的立体图像的视频流的协议结束标识。所述协议是基于三基色(红色、绿色、蓝色)、白色(三基色的组合)和黑色。所述协议包括多个相互交替的颜色元素，其被称作“色彩元素”和“基本元素”。色彩元素可以具有以下颜色红色、绿色、蓝色、白色或黑色。基本元素只可以是白色。在所述协议中，基本元素被插入在色彩元素之间，以便提高所述协议的可读性。所述元素的宽度与立体图像的水平宽度相关。实际上，为了定义基本元素的宽度， 把立体图像的总宽度除以预定数字，例如128。每一个的色彩元素是基本元素的宽度的两倍因此，如果每一个基本元素的宽度是1/128，则每一个色彩元素的宽度将是立体图像的总宽度的1/64。可替换地，每一个色彩元素的宽度可以是基本元素的宽度的整倍数。因此，由于交替的颜色和基本元素，所述协议例如将相继地包括具有宽度为(总宽度的)1/1 的基本元素，具有宽度为1/64的色彩元素，具有宽度为1/128的另一个基本元素，具有宽度为1/64的另一个色彩元素，并且沿着立体图像的整个宽度依此类推。这就允许获得与同样多的基本元素交替的42个色彩元素。为了完成立体图像的总宽度，在所述协议的末尾插入两个基本元素，以便涵盖立体图像的整个宽度。因此获得下面的公式
42x2+42+2=128
其中，42x2是色彩元素，其宽度是基本元素宽度的两倍；42是基本元素；2是协议末尾处的基本元素。从关于船舶和/或飞行器的导航灯设置的国际惯例(红灯在左，绿灯在右)开始，在根据本发明的协议中，红色和绿色分别标识左、右子图像。此外，所述协议利用蓝色来标识子图像的上部，而黑色标识子图像的下部。所述颜色元素序列的至少一部分可以包括会令人想起包括在国旗中的颜色序列的相继的色彩元素和基本元素。特定的含义与每一个色彩元素相关联，所述含义取决于该色彩元素在所述协议内的位置(正如下面将描述的那样)。当把立体图像细分成两幅子图像时，例如下方子图像和上方子图像，所述协议将包括含有特定信息并具有特定功能的序列
a)对于包含(每个)被细分成两幅子图像的立体图像的视频流的协议起始标识；
b)立体图像内的所述两幅子图像的设置(并排或上下，即垂直或水平划分)；
c)旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置；
d)子图像旋转和/或倒影和/或翻转；
e)可用于另外的协议扩展的自由部分；
f)对于包含(每个)被细分成两幅子图像的立体图像的视频流的协议结束标识。对于包含(每个)被细分成两幅子图像的立体图像的视频流的协议起始标识包括与基本元素交替的色彩元素序列。对于包含(每个)被细分成两幅子图像的立体图像的视频流的协议起始标识序列的所述色彩元素序列相继地包括绿色、红色和蓝色。因此，对于包含(每个)被细分成两幅子图像的立体图像的视频流的协议起始标识序列包括白色基本元素(其宽度等于立体图像的总宽度的1/1观)，绿色色彩元素(其宽度等于立体图像的总宽度的1/64)，白色基本元素(其宽度等于立体图像的总宽度的1/1观)， 红色色彩元素(其宽度等于立体图像的总宽度的1/64)，白色基本元素(其宽度等于立体图像的总宽度的1/1观)，蓝色色彩元素(其宽度等于立体图像的总宽度的1/64)，以及最后是白色基本元素(其宽度等于立体图像的总宽度的1/128)。色彩元素还包括白色分隔符元素，每个具有等于立体图像的总宽度的1/64的宽度。因此，所述分隔符元素是具有白色的色彩元素。分隔符元素被放置在前面列出的序列的末尾。由于对立体图像的总宽度的每3/128规则地重复并且还被用作分隔符元素，在其中将通过解码装置14对所述协议进行解码以及其中它必须由用户进行解码的两种情况中白色提高了协议可读性。作为(总共42个当中的)第四元素，在用于包含立体图像的视频流的协议起始标识序列之后插入白色分隔符元素。随后把表明所述两幅子图像在立体图像内的设置的序列插入到所述协议中，该序列被适配成把表明立体图像的子图像具有并排布局(立体图像的垂直划分)还是上下布局 (立体图像的水平划分)的信息转换成色彩元素。实际上，一个色彩元素(例如蓝色)标识水平划分，而另一个色彩元素(例如红色)标识垂直划分。在表明所述两幅子图像在立体图像内的设置的序列的末尾，将另一个白色分隔符元素插入到所述协议中，其位于表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列之前。表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列包括两个色彩元素。这是基于以下事实红色色彩元素与位于左侧的内容的概念相关联 (并且因此与用户左眼相关联)，而绿色色彩元素与位于右侧的内容的概念相关联(并且因此与用户右眼相关联)。图2示出了水平划分的立体图像44，其包括包含旨在针对用户左眼的信息的下方子图像38和包含旨在针对用户右眼的信息的上方子图像39。为了确定表明子图像38相对于子图像39的设置的序列是否包括绿色色彩元素和随后的红色色彩元素或者相反的情况，系统18根据所检测到的划分的类型沿着X轴或Y轴执行扫描。X轴与立体图像44的主侧45平行，而Y轴则与立体图像44的次侧46平行。由于立体图像44的划分是水平的，因此所述扫描将从下向上沿着Y轴进行。在所述扫描期间找到的子图像将确定将要插入到所述协议中的色彩元素的颜色。如果所述划分是垂直的， 则所述扫描将从左向右沿着X轴进行。在立体图像44的情况下，将要相继插入的两个色彩元素是红色色彩元素和绿色色彩元素。这是因为沿着Y轴实施的扫描首先找到旨在针对用户左眼(其与红色色彩元素相关联)的下方子图像38，其后是旨在针对用户右眼(其与绿色色彩元素相关联)的上方子图像39。在可被用于显示被细分成子图像对的立体图像的视频流的协议的情况下，在表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列的末尾将另一个白色分隔符元素插入到所述协议中。该分隔符元素位于所述子图像旋转和/或倒影和/或翻转序列之前。所述子图像旋转和/或倒影和/或翻转序列定义色彩元素序列，其提供有用于知晓所述子图像是否相对于将要显示的立体图像被旋转和/或倒影和/或翻转的信息。按照惯例，确定立体图像的左侧对应于红色色彩元素，右侧对应于绿色色彩元素， 上侧对应于蓝色色彩元素，并且下侧对应于黑色色彩元素。为了能够确定将要嵌入哪些颜色，有必要实施首先沿着X轴并且随后沿着Y轴的双重扫描，从而检验所述子图像的各侧涉及将要显示的立体图像的哪些侧。在其中上方子图像39被旋转180的水平划分的立体图像44的情况下，基于沿着 X轴执行的扫描，将必须相继地把一个红色色彩元素、一个绿色色彩元素、另一个绿色色彩元素和另一个红色色彩元素嵌入到所述协议中。这是因为从立体图像44的左下角(沿着X轴的扫描起点)开始，将相继遇到以下 一下方子图像38的左侧34，其对应于将要显示的立体图像的左侧；
一经过旋转的上方子图像39的左侧35，其对应于将要显示的立体图像的右侧； 一下方子图像38的右侧36，其对应于将要显示的立体图像的右侧； 一经过旋转的上方子图像39的右侧37，其对应于将要显示的立体图像的左侧。随后，基于沿着Y轴执行的扫描的结果，将把一个黑色色彩元素、一个蓝色色彩元素、另一个蓝色色彩元素和另一个黑色色彩元素插入到所述协议中。这是因为从立体图像44的底部开始，将相继遇到以下 一下方子图像38的下侧40，其对应于将要显示的立体图像的下侧； 一下方子图像38的上侧41，其对应于将要显示的立体图像的上侧；
一经过旋转的上方子图像39的下侧42，其对应于将要显示的立体图像的上侧； 一经过旋转的上方子图像39的上侧43，其对应于将要显示的立体图像的下侧。因此，由于所执行的双重扫描，所述子图像旋转和/或倒影和/或翻转序列包括两个子序列，其中每一个子序列对应于一次扫描并且每个包括由白色分隔符元素分开的四个色彩元素。
可以将自由部分序列插入到所述协议中以用于可能的另外的协议扩展，在其末尾处插入白色色彩元素。所述协议以用于包含立体图像的视频流的协议结束标识序列结束。用于包含立体图像的视频流的协议结束标识序列可以与用于包含立体图像的视频流的协议起始标识序列完全相同，也就是说其可以包括白色基本元素、绿色色彩元素、白色基本元素、红色色彩元素、白色基本元素、蓝色色彩元素以及最后是白色基本元素。如果所述立体图像被细分成两幅子图像，则没有表明子图像的相互设置的序列。 这是因为仅有两幅子图像，并且关于其相互设置的信息已经被包括在表明所述两幅子图像在立体图像内的设置的序列中。如前所述，所述协议还适用于包含被细分成多于两幅子图像的立体图像的视频流，例如四幅子图像(其中两幅旨在针对用户右眼，并且另外两幅旨在针对用户左眼)。当立体图像被细分成四幅子图像时，形成所述协议的各序列同样包含特定信息并且执行特定功能
a)用于包含(每个)被细分成四幅子图像的立体图像的视频流的协议起始标识；
b)所述四幅子图像在立体图像内的设置(并排或上下，即垂直或水平划分)；
c)旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置；
d)所述四幅子图像的相互设置；
e)子图像旋转和/或倒影和/或翻转； f )可用于另外的协议扩展的自由部分；
g)用于包含(每个)被细分成四幅子图像的立体图像的视频流的协议结束标识。用于包含(每个)被细分成四幅子图像的立体图像的视频流的协议起始标识序列可以与用于包含(每个)被细分成两幅子图像的立体图像的视频流的协议起始标识序列相同。因此，其可以相继地包括白色基本元素、绿色色彩元素、白色基本元素、红色色彩元素、 白色基本元素、蓝色色彩元素以及最后是白色基本元素。在这种情况下，同样在前面列出的每一个序列的末尾放置例如是白色的分隔符元
ο因此，在用于包含(每个)被细分成四幅子图像的立体图像的视频流的协议起始序列之后插入白色分隔符元素。随后把表明所述四幅子图像在立体图像内的设置的序列插入到所述协议中，该序列被适配成把表明立体图像的子图像具有并排布局(立体图像的垂直划分)还是上下布局 (立体图像的水平划分)的信息转换成色彩元素。正如前面参照用于被细分成两幅子图像的立体图像的协议所描述的那样，色彩元素(例如蓝色)标识水平划分，而另一个色彩元素(例如红色)则标识垂直划分。在表明所述四幅子图像在立体图像内的设置的序列的末尾，将另一个白色分隔符元素插入到所述协议中，其位于表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列之前。表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列仍基于惯例包括四个色彩元素，根据该惯例，红色色彩元素与位于左侧的内容的概念相关联，并且绿色色彩元素则与位于右侧的内容的概念相关联。
为了能够确定将要把哪些色彩元素插入到表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列中，系统18根据所检测到的划分的类型分别沿着X轴或Y轴执行扫描。X轴与立体图像47的主侧56平行，而Y轴则与立体图像47的次侧57平行。对于水平划分，所述扫描将从下向上沿着Y轴进行；对于垂直划分，所述扫描将从左向右沿着X轴进行。在所述扫描期间找到的子图像将确定将要插入到所述协议中的色彩元素的颜色。图3示出了立体图像47，其包括
一第一上方子图像21和第一下方子图像22，二者都旨在针对用户右眼并且一个在另一个之上地被设置在立体图像47的中心处，以便完全再现将要显示的图像；
一第二上方子图像23，其旨在针对用户左眼并且是通过关于与X轴平行的A轴翻转第一上方子图像21而获得的；
一第二下方子图像对，其旨在针对用户左眼并且是通过关于与X轴平行的B轴翻转第一下方子图像22而获得的。在这种情况下，由于立体图像47被水平划分，因此将要插入的四个色彩元素相继地是红色色彩元素、绿色色彩元素、绿色色彩元素和红色色彩元素。这是因为沿着Y轴实施的扫描按照这个顺序找到旨在针对用户左眼的第二下方子图像M (与红色色彩元素相关联)、旨在针对用户右眼的第一下方子图像22 (与绿色色彩元素相关联)、旨在针对用户右眼的第一上方子图像21 (与绿色色彩元素相关联)以及最后旨在针对用户左眼的第二上方子图像23 (与红色色彩元素相关联)。在表明旨在针对用户左眼的子图像相对于旨在针对用户右眼的子图像的设置的序列的末尾，将另一个白色分隔符元素插入到所述协议中，其位于所述子图像旋转和/或倒影和/或翻转序列之前。所述子图像旋转和/或倒影和/或翻转序列定义色彩元素序列，其提供有用于知晓所述子图像是否相对于将要显示的立体图像被旋转和/或倒影和/或翻转的信息。按照惯例，确定立体图像的左侧对应于红色色彩元素，右侧对应于绿色色彩元素， 上侧对应于蓝色色彩元素，并且下侧对应于黑色色彩元素。为了能够确定将要插入哪些颜色，有必要实施首先沿着X轴并且随后沿着Y轴的双重扫描，从而检验所述子图像的各侧涉及将要显示的立体图像的哪些侧。在立体图像47的情况下，基于沿着X轴的扫描结果，将必须相继地把八个色彩元素插入到所述协议中即四个红色色彩元素和四个绿色色彩元素。这是因为从立体图像47的左下角(沿着X轴的扫描起点)开始，将相继遇到以下 一第二下方子图像M的左侧25，其对应于将要显示的立体图像的左侧；
一第一下方子图像22的左侧沈，其对应于将要显示的立体图像的左侧； 一第一上方子图像21的左侧27，其对应于将要显示的立体图像的左侧； 一第二上方子图像23的左侧观，其对应于将要显示的立体图像的左侧； 一第二下方子图像M的右侧30，其对应于将要显示的立体图像的右侧； 一第一下方子图像22的右侧31，其对应于将要显示的立体图像的右侧； 一第一上方子图像21的右侧32，其对应于将要显示的立体图像的右侧；一第二上方子图像23的右侧33，其对应于将要显示的立体图像的右侧。随后，基于沿着Y轴的扫描结果，将把下面的色彩元素对(其由对应的颜色相继地标识)的序列插入到所述协议中
一蓝色，黑色； 一黑色，蓝色； 一黑色，蓝色；
.监.，O这是因为蓝色一黑色对与经过翻转的图像相对应，而黑色一蓝色对则与未经过翻转的图像相对应。实际上，从立体图像47的底部开始，第二下方子图像M被翻转，第一下方子图像 22未被翻转，第一上方子图像21未被翻转，并且第二上方子图像23被翻转。因此，由于所执行的双重扫描，所述子图像旋转和/或倒影和/或翻转序列包括两个子序列，一个子序列用于每一次扫描并且每个包括由白色分隔符元素分开的四个色彩元
ο随后将自由部分序列插入到所述协议中以用于可能的另外的协议扩展，在其末尾处插入白色色彩元素。所述自由部分序列可以被用于针对两只眼睛的新的信息编码形式以及/或者被用于考虑到对解码系统重新编程的数据传输。所述协议序列以用于包含被细分成四幅子图像的立体图像的视频流的协议结束标识序列结束。用于包含被细分成四幅子图像的立体图像的视频流的协议结束标识序列可以与用于包含被细分成四幅子图像的立体图像的视频流的协议起始标识序列完全相同。配置(如图3中所示的一个配置)最小化任何可视化缺陷，即所谓的“压缩伪像”， 其可能沿着平行于X轴的A轴出现，即在第一上方子图像21与第二上方子图像23之间，并且/或者沿着平行于X轴的B轴出现，即在第一下方子图像22与第二下方子图像M之间。这种配置类型证明与立体图像的二维可视化基本上兼容。这可以通过掩蔽第二上方子图像23和第二下方子图像M可获得，其与用于在4:3电视机上显示电影的方法类似。此外，这种配置类型使得所述协议还可用于非立体的16:9电视机。在这种情况下必需放大第一上方子图像21和第一下方子图像22，直到具有16:9比例的整个区域被覆盖为止。如果在所述16:9电视机的接收系统中包括卫星解码器，则可以对所述卫星解码器进行重新编程，以便能够识别出根据本发明的协议并且(利用黑色区域)掩蔽第二上方子图像 23和第二下方子图像对，正如对于其宽高比大于宿主图像(host image)的电影所已经发生的情况一样。可以通过当前用于分发包含二维图像的视频流的任何措施来传播利用根据本发明的协议编码的视频卫星、地面无线电链接、有线电视或者销售预先录制的数据介质(例如DVD、蓝光等等)。在另一种形式中，第二下方子图像M与第二上方子图像23可以交换。解码装置14包括模拟和/或数字输入电路装置11，其可以连接到可能的视频流源；图像处理装置12 ；以及输出立体图像格式化装置13，其可以连接到显示设备16，例如立体电视机。
因此，解码装置14在一侧通过输入电路装置11连接到可能的视频流源，并且在另一侧连接到显示设备16。特别是，参照图1的例子，解码装置14被插入在传输装置19 (为之提供包含立体图像的视频流)与在其上再现图像的显示设备16之间。图像处理装置12提供有允许不同操作模式的按钮6、7。图像处理装置12还配备有开关8，其允许与立体和/或二维视觉有关的不同操作子模式。第一子模式允许在输入视频流中存在所述协议的情况下对其进行自动解码。开关 8可以被操作来允许立体视觉或二维视觉，在后一种情况下仅仅在显示设备16上放大包含在输入流中的一部分子图像。在该自动操作的实例中，所述图像处理装置识别出在图像中所述协议的存在或不存在，并且操作所述开关以便允许二维或立体视觉。此外，在立体视觉的情况下，处理装置12识别出针对右眼和针对左眼的子图像的配置，并且随后提取出两种子图像并且将其存储在特定的存储器区域内；按照这种方式，在必要情况下可以通过格式化装置13重新组合所述子图像，下面将对此进行更加详细的描述。开关8可以被包括在用于控制显示设备16的不同音频/视频功能的遥控器中。在附图中未示出的一种形式中，解码装置14可以被内置在显示设备16中或者内置在卫星接收器或类似设备(比如接收器2)中。在图1的例子中，解码装置14还包括屏幕15，其可以连接到图像处理装置12。屏幕15允许用户看到允许哪一种操作模式，例如自动或人工解码、立体或二维视觉、所允许的立体编码类型。通过在屏幕15上检查所选择的模式是哪一种，将有可能通过按钮6和7允许另外的解码模式。举例来说，将有可能允许最常见的立体编码类型(上下、 并排或交织)。因此，也可以对来自DVD或来自因特网的并且缺少根据本发明的协议的视频流进行解码。在实践中，通过使用按钮6和7，有可能为所述图像处理装置提供关于所接收到的视频流的立体编码类型的信息。同样地，通过操作开关8，将有可能允许或禁用立体视觉。输出立体图像格式化装置13配备有附加的按钮9、10，其允许多种立体图像显示模式。输出立体图像格式化装置13允许连接不同类型的三维显示设备16 通过在屏幕上检验所选择的模式，用户可以通过所述其他按钮9和10允许最普遍的立体编码。可用模式如下水平线上的交织(其特别由微偏振LCD电视机采用)，垂直线上的交织(其被用在三维等离子电视机中)，方格式(其被用在三维背投影DLP电视机、等离子电视机以及某些使用单个DLP投影仪的立体图像投影系统中)，以及双视频输出，所述双视频输出例如用于连接到具有偏振滤波器的两个视频投影仪，以便把立体图像投影到金属化屏幕上或者用于偏振保持屏幕上的背投影。当通过按钮9和10选择了显示设备或立体图像可视化模式时，所述格式化装置将根据与显示设备所选择或需要的可视化模式兼容的格式来设置针对右眼和针对左眼的子图像。因此，整体来说，图像处理装置12识别出立体图像中的子图像配置，提取出它们并使它们可用于格式化装置，所述格式化装置随后基于由用户通过按钮9和10进行的选择将所述子图像重新组合成根据显示设备所要求的立体编码的立体图像；该后一种编码可以不同于包含在从输入电路装置11接收的视频流中的立体图像的编码。换句话说，解码装置14实施从第一立体编码到第二立体编码的转换，所述转换可以是由于编码装置20嵌入到图像中的代码(或协议)是自动的，或者在由用户通过按钮6、 7、9和10提供的信息的基础上成为可能。虽然前面参照图1 一 3的例子描述了本发明，但是可以明显看出，在不偏离如所附权利要求书中所阐述的本发明的保护范围的情况下，本领域技术人员可以对前面描述的立体图像编码和解码方法做出许多改变。具体来说，如前所述，解码装置14可以被集成到显示设备16中；在这种情况下，所述格式化装置将知道显示设备16的性质，并且因此将能够相应地格式化输出立体图像。在这种情况下，不需要按钮8和9。尽管它们没有被内置在所述显示设备中，但是可以对解码装置14进行编程以便输出具有预定义格式的立体图像；在这种情况下，解码装置14将接收到其中子图像根据第一编码被配置的立体图像，识别出子图像配置，并且将所接收到的立体图像转换成预设格式(即根据所述预定义配置来设置所接收到的立体图像的子图像)；具体来说，所述转换将基于由编码装置嵌入到图像中的协议而自动发生。此外，虽然在前面描述的优选实例中根据具有协议(代码)起始序列和结束序列的颜色序列来设置由编码装置嵌入到立体图像中的信息，但是可以明显看出，可以根据不同的序列来设置这种信息，并且其也可以不包括协议起始序列和协议结束序列；具体来说，通过定义所述颜色代码在立体图像内的预设位置可以省略协议起始序列；因此解码装置事先将知道其中提供关于立体图像中的子图像设置的信息的颜色代码在何处起始。为了降低二维图像具有可能被解释为表明立体图像中的子图像设置的颜色代码的风险，可以设想增大所述颜色代码的长度。此外还可以明显看出，可以将包括具有这里所描述的协议的立体图像的视频流作为数据存储到任何类型的大容量存储器中，即光学、磁、磁一光、固态介质等等。因此，所述大容量存储器将包括代表所述视频流的数据序列。
权利要求
1.用于解码在单一视频流中载送的立体图像的系统，其中由所述视频流载送的立体图像包括根据第一配置设置并且旨在分别针对用户的右眼和左眼的至少两幅子图像，其特征在于，所述系统包括被适配成执行以下操作的解码装置(14)接收所述立体图像；基于被嵌入到所述立体图像中的信息识别出所述至少两幅子图像的所述第一配置；以及根据第二预定配置来设置所述至少两幅子图像。
2.根据权利要求1的系统，其中，所述信息是关于被包括在所述立体图像中的所述至少两幅子图像的相互设置。
3.根据权利要求1或2的系统，其中，所述信息表明至少一组所述至少两幅子图像的旋转和/或倒影和/或翻转。
4.根据权利要求1或2或3的系统，其中，所述信息被编码为颜色代码。
5.根据权利要求4的系统，其中，所述代码包括与不同段的所述信息相关联的多个颜色元素序列，并且其中所述颜色元素以一种方式被设置成使得在前颜色元素和紧随其后的颜色元素具有不同颜色。
6.根据权利要求5的系统，其中，所述颜色元素序列当中的两个连续序列通过白色色彩元素分隔开。
7.根据权利要求4或5或6的系统，其中，所述代码包括多个相互交替的颜色元素，所述颜色元素包括色彩元素和基本元素，其中基本元素被插入在色彩元素之间，并且所述颜色元素的宽度与立体图像的水平宽度相关。
8.根据权利要求7的系统，其中，所述代码的长度等于立体图像的一条线。
9.根据权利要求7或8的系统，其中，通过把立体图像的总宽度除以预定数字而获得其中一个所述基本元素的宽度，所述预定数字特别是128，并且其中每一个色彩元素的宽度是基本元素的长度的整倍数，特别是两倍。
10.根据权利要求4到9当中的任一条的系统，其中，所述代码被设置在所述立体图像的上方和/或下方区域附近。
11.根据任一条在前权利要求的系统，其中，所述解码装置包括用于允许用户选择所述第二配置的选择装置(8，9 )，其特别是按钮。1
12.根据权利要求1到10当中的任一条的系统，其中，所述解码装置(14)被内置在显示设备(16)中或者与之相连，并且所述第二预定配置确保在所述显示装置上的正确可视化。
13.根据任一条在前权利要求的系统，其中，所述解码装置(14)还能够接收及传送二维图像的视频流。
14.根据任一条在前权利要求的系统，其中，所述解码装置(14)包括用户能够通过其为所述图像处理装置提供关于由所述图像处理装置接收到的视频流的立体编码类型的信息的装置(6，7)，其特别是按钮。
15.用于编码立体图像的系统，其中立体图像包括根据第一配置设置并且旨在分别针对用户的右眼和左眼的至少两幅子图像，其特征在于，所述系统包括被适配成在立体图像中嵌入适于提供关于所述第一配置的信息的编码装置(20)。
16.根据权利要求15的系统，其中，所述代码是颜色代码。
17.根据权利要求15或16的系统，其中，所述信息是关于被包括在所述立体图像中的所述至少两幅子图像的相互设置。
18.根据权利要求15到17当中的任一条的系统，其中，所述信息表明至少一组所述至少两幅子图像的旋转和/或倒影和/或翻转。
19.根据权利要求15到18当中的任一条的系统，其中，所述代码包括与不同段的所述信息相关联的多个颜色元素序列，并且所述颜色元素以一种方式被设置成使得在前颜色元素和紧随其后的颜色元素具有不同颜色。
20.根据权利要求19的系统，其中，所述多个颜色元素序列当中的两个连续序列通过白色色彩元素分隔开。
21.根据权利要求15到20当中的任一条的系统，其中，所述代码包括多个相互交替的颜色元素，所述颜色元素包括色彩元素和基本元素，其中基本元素被插入在色彩元素之间， 并且其中颜色元素的宽度与立体图像的水平宽度相关。
22.根据权利要求21的系统，其中，所述代码的长度等于立体图像的一条线。
23.根据权利要求21或22的系统，其中，通过把立体图像的总宽度除以预定数字而获得其中一个所述基本元素的宽度，所述预定数字特别是128，并且其中每一个色彩元素的宽度是基本元素的长度的整倍数，特别是两倍。
24.根据权利要求15到23当中的任一条的系统，其中，所述代码被设置在所述立体图像的上方和/或下方区域附近。
25.用于解码立体图像的方法，其中接收到包括立体图像的视频流，所述立体图像包括根据第一配置设置的并且旨在分别针对用户的右眼和左眼的至少两幅子图像，其特征在于，基于被嵌入到所述立体图像中的信息识别出所述至少两幅子图像的所述第一配置；根据第二预定配置来设置所接收到的立体图像的子图像。
26.根据权利要求25的方法，其中，所述预定配置由用户选择。
27.根据权利要求25或沈的方法，其中，在颜色代码的基础上识别所述两幅子图像。
28.根据权利要求25或沈或27的方法，其中，提取所述至少两幅子图像当中的至少一幅，但是优选地提取全部。
29.根据权利要求25或沈或27或28的方法，其中，所述信息是关于所述至少两幅子图像的相互设置。
30.根据权利要求25到四当中的任一条的方法，其中，所述信息表明至少一组所述至少两幅子图像的旋转和/或倒影和/或翻转。
31.根据权利要求25到30当中的任一条的方法，其中，在立体图像中没有所述信息情况下，则所述第一配置由用户定义。
32.用于编码立体图像的方法，其中立体图像包括根据第一配置设置并且旨在分别针对用户的右眼和左眼的至少两幅子图像，其特征在于，在所述立体图像中嵌入代码，所述代码适于提供关于所述配置的信息。
33.根据权利要求32的方法，其中，所述代码是颜色代码。
34.根据权利要求32或33的方法，其中，所述信息是关于被包括在所述立体图像中的所述至少两幅子图像的相互设置。
35.根据权利要求32或33或34的方法，其中，所述信息表明至少一组所述至少两幅子图像的旋转和/或倒影和/或翻转。
36.根据权利要求32或33或34或35的方法，其中，所述代码包括与不同段的所述信息相关联的多个颜色元素序列，并且其中所述颜色元素以一种方式被设置成使得在前颜色元素和紧随其后的颜色元素具有不同颜色。
37.根据权利要求36的方法，其中，所述多个颜色元素序列当中的两个连续序列通过白色色彩元素分隔开。
38.根据权利要求32或33或34或35或36或37的方法，其中，所述代码包括多个相互交替的颜色元素，所述颜色元素包括色彩元素和基本元素，其中基本元素被插入在色彩元素之间，并且其中颜色元素的宽度与立体图像的水平宽度相关。
39.根据权利要求38的方法，其中，所述代码的长度等于立体图像的一条线。
40.根据权利要求37或38或39的方法，其中，通过把立体图像的总宽度除以预定数字而获得其中一个所述基本元素的宽度，所述预定数字特别是128，并且其中每一个色彩元素的宽度是基本元素的长度的整倍数，特别是两倍。
41.根据权利要求32到40当中的任一条的方法，其中，所述代码被设置在所述立体图像的上方和/或下方区域附近。
42.包括至少一幅立体图像的视频流，其特征在于，通过使用根据权利要求31到41的方法来编码所述立体图像。
43.大容量存储器，其特征在于包括代表根据权利要求42的视频流的数据序列。
全文摘要
本发明描述了一种用于编码及解码立体图像的系统和方法。立体图像包括根据第一配置设置并且旨在分别针对用户的右眼和左眼的至少两幅子图像。在视频信号后期制作阶段期间，嵌入适于提供关于所述配置的信息的颜色代码。在接收器级别使用解码装置(14)，其被适配成执行以下操作接收所述立体图像；基于被嵌入到所述立体图像中的信息识别出所述至少两幅子图像的配置；以及根据第二预定配置来设置所述至少两幅子图像。
文档编号H04N13/00GK102204260SQ200980141533
公开日2011年9月28日 申请日期2009年9月4日 优先权日2008年10月21日
发明者A.卡拉梅利, S.塔巴雷利德法蒂斯 申请人:3维开关有限公司