立体视频序列编码系统和方法
【专利说明】
[00011 本申请是申请日为2003年4月9日、中国申请号为201210361273.X、发明名称为"立 体视频序列编码系统和方法"的中国专利申请的分案申请。
技术领域
[0002] 本发明一般地涉及一种用于编码和解码对偶节目（dual program)图像序列的过 程和系统，更具体地说，本发明涉及一种用于对一个视频信号上的图像序列信号进行压缩 并解码所述一个视频信号，以便以多种取景格式(viewing format)，再现两个图像序列节 目或三维立体节目的过程和系统。尽管将参考诸如电影的三维立体节目的处理过程对本发 明进行说明，但是应该认为在本发明的范围内，可以应用于对任何视频序列对进行处理，而 不考虑每个序列的相应视频内容的任何差别。应该明白，在本说明中，正如可互换使用术语 "编码"和"压缩" 一样，可互换使用术语"解码"和"解压缩"。
【背景技术】
[0003] 自从1947年发明了立体照相机，已经开发了几种系统，以通过再现观众的左眼要 观看的第一节目序列并再现仅由观众的右眼观看的、同时相对于第一图像序列存在视差 的、同一个场景图像的第二序列，从而复制自然三维视觉的原理，使观众观看三维（3D)节 目。从1950年开始，制作了许多电影，通过利用对偶摄像头系统摄取时间同步而具有视差的 立体像，以在再现时使观众感觉到深度效果，从而提供更完整、刺激的视觉体验。
[0004] 当前，家庭影院系统迅速渗透到家用市场，而且非常复杂，根据家庭对高质量电影 体验的需求，普遍使用高质量系统。然而，现有的立体再现系统仍不如观众所望，而且仍不 能集成到市售的最高级家庭影院系统中。原因主要在于，图像质量较差(衰落颜色和/或阶 梯对角）以及因为通常闪烁和缺少空间真实感产生的疲劳和不舒服。的确，由于利用用于一 个视频节目放映的设备，例如电视机，放映两个不同节目，所以两个视频信号之间共享技术 资源导致丧失图像空间分辨率和闪烁，因为对于每个眼睛的帧显示速率以及像域与黑色背 景之间的对比度降低了一半。
[0005] 现有的典型立体再现技术包括对交错视频信号的偶数行扫描场上的第一图像序 列信息以及该信号的奇数行扫描场上的第二图像序列信息进行编码。在回放时，在显示偶 数行期间，利用遮光眼镜（shutter spectacle)遮挡观众的眼睛之一，而在显示奇数行期 间，遮挡观众的另一只眼睛。由于通常在两个连续的l/60s的扫描周期内，显示包括偶数行 和奇数行的正常图像，所以每只眼睛分别观看立体节目，因为l/60s图像序列之后是l/60s 的截止周期，以使每只眼睛每秒观看30帧（fps)。此外，通过使图像行与黑色行（black line)交替，形成每个再现图像。显然，这样再现的、丧失了其一半拓扑信息而且占空因数为 50% (在空间和时间方面)的立体图像导致亮度降低而且闪烁，正如经验已经确定的那样。
[0006] 这些局限性、缺陷以及缺点的解决方案是以至少60fps(每只眼睛每秒观看30全 帧）的速率显示整个立体图像，这样所需的带宽通常至少是非立体(平面)节目所需信号带 宽的两倍。在在显示的图像与环境照明之间显示较高对比度的室内，消除闪烁进一步要求 最高120Hz的垂直扫描（以及遮光眼镜)频率，以便对每只眼睛每秒显示至多60全清晰度图 像。在不广泛使用这种频率时，利用当前制造的、每个分别以30fps的连续速率接收立体节 目的第一图像序列和第二图像序列的两个数字视频投影仪，可以无闪烁显示立体节目。利 用光学方法，对每个投影仪的输出进行滤光，以在喷涂银的特殊屏幕上，以良好时间同步， 配准产生垂直和水平偏光输出投影图像。观众可以佩戴包括不同偏光玻璃的护目镜，以表 现三维效果。显然，该解决方案非常昂贵，而且不能满足家庭影院系统的市场预期。
[0007] 然而，现在在市售采用DLP(数字光处理)技术的非常快速而且较有力投影仪，该投 影仪可以提供至多120fps的显示速率，因此一个投影仪可以以足够高的速率交替显示立体 序列，从而即使在高对比度环境下，仍可以基本消除闪烁。此外，高端CRT投影仪和计算机监 视器可以提供这种兼容清晰度和更新率。
[0008] 然而，这种系统的主要局限性在于，用于存储和广播视频节目信息的大多数当前 标准将全帧图像的流速限制为30fpS，30bps约是存储和显示初始包括两个24(美洲运动图 像）、25(PAL或SECAM)或30fps(NTSC视频)节目的高质量立体节目所要求能力的一半。此外， 由于始终以每秒24帧的速率捕获和记录运动图像电影，所以必须解决使两个24fpb节目包 括在一个30fps信号中，然后为了分别以30至60fps的速率显示两个节目而扩展该信号，产 生的问题。因此，3D家庭影院的未来取决于根据当前制造的、用于处理利用诸如MAIN提问文 件(prof i 1 e)(与MVP相比）的MPEG-1或MPEG-2 (运动图像专家组)压缩/解压缩协议的协议压 缩和解压缩的30fps信号的标准编码器、播放器以及广播设备，编码和解码立体视频信号的 能力，因此在整个过程中产生可忽略不计的信息丢失或失真。
[0009] 现有技术中有几种技术描述了可以克服上述一个或者多个缺陷和局限性的解决 方案。首先，根据24fbs交错图像序列，3: 2下拉压缩方法可以用于产生30fbs立体交错信号。 利用该方法，通过建立一个新图像并在每4个原始序列图像之后插入一个该新图像，对原始 图像序列进行时间扩展。新图像在一个域内包括偶数行先前图像，而在其另一个域内包括 奇数行的下一个图像。显然，原始节目的每个图像分别包括:第一域，包括部分左视图像；以 及第二域，包括立体节目的部分右视图像。因此，根据24fps左眼序列和24fps的右眼序列， 可以获得30fps立体节目。然而，利用这种技术，所获得的30fps节目过时了，而且显示拓扑 失真，因为属于在不同时间捕获的图像的各行的特定图像的组合。这样产生糟糕的结果，缺 少真实感，而且使观众的眼睛疲劳、不舒服。在用于显示立体节目时，这种技术也存在与上 面对交错信号压缩技术描述的相同的局限性和缺陷。
[0010]此外，已经开发了许多使用互相不兼容并要求不同传输(存储或分配)格式(交错 的列、交错的行、同时对偶显示、页闪烁、立体影片等）的不同输入信号的立体显示装置。在 允许进行2D观看的同时，使立体视频节目进入不同系统的解决方案将全部以现有格式同时 广播或者存储在几个物理介质上。显然，既不实际，又不经济。因此，未来的家用立体视频需 要能够产生与当前和未来立体显示装置兼容，并允许正常2D观看的多种/通用立体输出格 式的立体视频信号和视频处理设备。
[0011]许多专利还描述了减小通过具有30fps能力的一个频道承载的2个30fps信号的压 缩技术，某些这种技术对于MPEG压缩/解压缩过程是显而易见的。然而，这些技术不能在保 持图像质量并提供舒服观看感受的同时，为了产生丢失的帧，将例如24fps序列变换为 30fps，或者将30fps序列变换为48、60、72、96或12(^? 8序列，而根据需要特征化时间内插。 此外，它们不能由同样的视频信号和视频处理设备，产生多种立体输出格式。
[0012] 例如1997年5月6日授予Muramoto等人的第5,626,582号美国专利描述了 一种基于 时间的压缩方法，在该方法中，以给定的时钟频率数字化两个30fps视频信号并将它存储到 DRAM存储器中。然后，以两倍的写频率读该存储器，可以以1/30的间隔，并置1/30时间周期 的两个采样。然而，根据选择的采样频率，最终信号或者丢失清晰度，因为在一个数字数据 上排列两个相邻像素的信息，或者超过诸如DVD或广播频道的数据存储介质的容量。该发明 还不能根据给定的原始格式，产生多个输出格式，而且为了重构原始序列需要2个并联电 路。
[0013] 此外，在Briede提交的、于1997年11月20日公开的第W0 97/43863号国际申请中， 对根据图像的第一序列和第二序列的图像进行十取一处理，并利用2个连续原始行的互补 像素，重定向各像素，以形成一行，然后，从左眼和右眼交错新产生的行以形成要通过频道 发送的组合立体图像序列。在接收端，从立体图像序列多路分解并列域（juxtaposed field)，然后，将并列域发送到用于同时复原像素并重新产生其相应立体视频序列（右和 左）的丢失图像单元的并联扩展电路。然后，将这样重构的第一和第二图像序列输出到两个 用肉眼观看的显示器。
[0014] 尽管这种技术提供了一种用于空间压缩/解压缩全帧的感兴趣方法，但是为了利 用有限容量频道(传送介质)进行存储或分布，它未解决将两个24或25fps图像序列变换为 30fps立体序列或者升高回放速率以防止闪烁的问题。此外，该方法不允许利用一个显示监 视器或投影仪，通过时间排序重新建立的第一和第二图像序列，以包括页面交换（page flipping)模式的其它立体格式进行回放。此外，关于上面的例子，再要求两个并联电路对 两个图像序列进行重构处理，因为在重构图像之前，首先必须对该信号进行第一多路分解。
[0015] 尽管上面的例子说明已知用于将两个视频信号或图像序列编码为一个信号并用 于解码这种合成信号，以顺序检索原始信号或序列的不同方法和系统，然而，现有技术的这 些方法和系统没有提供，例如根据满足3D电影再现的家庭影院市场的需要，利用一个频道 和当前制造的传统记录、回放以及显示设备，可以进行高保真记录、广播和回放两个24fps 运动图像电影以及25或30fps立体视频节目的功能系统的重要特征。
[0016]因此，需要一种可以容易地仍以可承受成本利用现有家庭影院装置提供高质量立 体再现，同时允许以多种输出格式回放特定立体视频传送信号的新颖立体节目编码和回放 方法和系统。
【发明内容】
[0017] 因此，本发明的目的是提供一种用于解码编码图像流的方法，所述图像流包括多 个帧，每个帧包括合并图像，该合并图像包括左图像中的像素和右图像中的像素，该方法包 括步骤：
[0018] (a)接收每个合并图像；
[0019 ] (b)将原始输入信号中的时钟域变更为内