用于处理立体图像流的压缩图像流的方法和系统的制作方法

专利名称：用于处理立体图像流的压缩图像流的方法和系统的制作方法
技术领域：
本发明一般地涉及一种用于编码和解码对偶节目(dual program)图像序列的过 程和系统，更具体地说，本发明涉及一种用于对一个视频信号上的图像序列信号进行压缩 并解码所述一个视频信号，以便以多种取景格式(viewing format)，再现两个图像序列节 目或三维立体节目的过程和系统。尽管将参考诸如电影的三维立体节目的处理过程对本发 明进行说明，但是应该认为在本发明的范围内，可以应用于对任何视频序列对进行处理，而 不考虑每个序列的相应视频内容的任何差别。应该明白，在本说明中，正如可互换使用术语 “编码”和“压缩” 一样，可互换使用术语“解码”和“解压缩”。
背景技术：
自从1947年发明了立体照相机，已经开发了几种系统，以通过再现观众的左眼要 观看的第一节目序列并再现仅由观众的右眼观看的、同时相对于第一图像序列存在视差 的、同一个场景图像的第二序列，从而复制自然三维视觉的原理，使观众观看三维(3D)节 目。从1950年开始，制作了许多电影，通过利用对偶摄像头系统摄取时间同步而具有视差 的立体像，以在再现时使观众感觉到深度效果，从而提供更完整、刺激的视觉体验。当前，家庭影院系统迅速渗透到家用市场，而且非常复杂，根据家庭对高质量电影 体验的需求，普遍使用高质量系统。然而，现有的立体再现系统仍不如观众所望，而且仍不 能集成到市售的最高级家庭影院系统中。原因主要在于，图像质量较差(衰落颜色和/或 阶梯对角)以及因为通常闪烁和缺少空间真实感产生的疲劳和不舒服。的确，由于利用用 于一个视频节目放映的设备，例如电视机，放映两个不同节目，所以两个视频信号之间共享 技术资源导致丧失图像空间分辨率和闪烁，因为对于每个眼睛的帧显示速率以及像域与黑 色背景之间的对比度降低了 一半。现有的典型立体再现技术包括对交错视频信号的偶数行扫描场上的第一图像序 列信息以及该信号的奇数行扫描场上的第二图像序列信息进行编码。在回放时，在显示偶 数行期间，利用遮光眼镜(shutter spectacle)遮挡观众的眼睛之一，而在显示奇数行期 间，遮挡观众的另一只眼睛。由于通常在两个连续的l/60s的扫描周期内，显示包括偶数行 和奇数行的正常图像，所以每只眼睛分别观看立体节目，因为l/60s图像序列之后是l/60s 的截止周期，以使每只眼睛每秒观看30帧(fps)。此外，通过使图像行与黑色行(black line)交替，形成每个再现图像。显然，这样再现的、丧失了其一半拓扑信息而且占空因数为 50% (在空间和时间方面)的立体图像导致亮度降低而且闪烁，正如经验已经确定的那样。这些局限性、缺陷以及缺点的解决方案是以至少60fps (每只眼睛每秒观看30全 帧)的速率显示整个立体图像，这样所需的带宽通常至少是非立体(平面)节目所需信号 带宽的两倍。在在显示的图像与环境照明之间显示较高对比度的室内，消除闪烁进一步要求最高120Hz的垂直扫描(以及遮光眼镜)频率，以便对每只眼睛每秒显示至多60全清晰 度图像。在不广泛使用这种频率时，利用当前制造的、每个分别以30fps的连续速率接收 立体节目的第一图像序列和第二图像序列的两个数字视频投影仪，可以无闪烁显示立体节 目。利用光学方法，对每个投影仪的输出进行滤光，以在喷涂银的特殊屏幕上，以良好时间 同步，配准产生垂直和水平偏光输出投影图像。观众可以佩戴包括不同偏光玻璃的护目镜， 以表现三维效果。显然，该解决方案非常昂贵，而且不能满足家庭影院系统的市场预期。然而，现在在市售采用DLP (数字光处理)技术的非常快速而且较有力投影仪，该 投影仪可以提供至多120fps的显示速率，因此一个投影仪可以以足够高的速率交替显示 立体序列，从而即使在高对比度环境下，仍可以基本消除闪烁。此外，高端CRT投影仪和计 算机监视器可以提供这种兼容清晰度和更新率。然而，这种系统的主要局限性在于，用于存储和广播视频节目信息的大多数当前 标准将全帧图像的流速限制为30fps，30fps约是存储和显示初始包括两个M (美洲运动图 像)、25(PAL或SECAM)或30fps (NTSC视频)节目的高质量立体节目所要求能力的一半。此 外，由于始终以每秒M帧的速率捕获和记录运动图像电影，所以必须解决使两个Mfpb节 目包括在一个30fps信号中，然后为了分别以30至60fps的速率显示两个节目而扩展该信 号，产生的问题。因此，3D家庭影院的未来取决于根据当前制造的、用于处理利用诸如MAIN 提问文件(profile)(与MVP相比)的MPEG-I或MPEG-2 (运动图像专家组)压缩/解压缩 协议的协议压缩和解压缩的30fps信号的标准编码器、播放器以及广播设备，编码和解码 立体视频信号的能力，因此在整个过程中产生可忽略不计的信息丢失或失真。现有技术中有几种技术描述了可以克服上述一个或者多个缺陷和局限性的解决 方案。首先，根据Mfbs交错图像序列，3:2下拉压缩方法可以用于产生30fbs立体交错信 号。利用该方法，通过建立一个新图像并在每4个原始序列图像之后插入一个该新图像，对 原始图像序列进行时间扩展。新图像在一个域内包括偶数行先前图像，而在其另一个域内 包括奇数行的下一个图像。显然，原始节目的每个图像分别包括第一域，包括部分左视图 像；以及第二域，包括立体节目的部分右视图像。因此，根据Mfps左眼序列和Mfps的右 眼序列，可以获得30fps立体节目。然而，利用这种技术，所获得的30fps节目过时了，而且 显示拓扑失真，因为属于在不同时间捕获的图像的各行的特定图像的组合。这样产生糟糕 的结果，缺少真实感，而且使观众的眼睛疲劳、不舒服。在用于显示立体节目时，这种技术也 存在与上面对交错信号压缩技术描述的相同的局限性和缺陷。此外，已经开发了许多使用互相不兼容并要求不同传输(存储或分配)格式(交 错的列、交错的行、同时对偶显示、页闪烁、立体影片等)的不同输入信号的立体显示装置。 在允许进行2D观看的同时，使立体视频节目进入不同系统的解决方案将全部以现有格式 同时广播或者存储在几个物理介质上。显然，既不实际，又不经济。因此，未来的家用立体 视频需要能够产生与当前和未来立体显示装置兼容，并允许正常2D观看的多种/通用立体 输出格式的立体视频信号和视频处理设备。许多专利还描述了减小通过具有30fps能力的一个频道承载的2个30fps信号的 压缩技术，某些这种技术对于MPEG压缩/解压缩过程是显而易见的。然而，这些技术不能 在保持图像质量并提供舒服观看感受的同时，为了产生丢失的帧，将例如Mfps序列变换 为30fps，或者将30fps序列变换为48、60、72、96或120fps序列，而根据需要特征化时间内插。此外，它们不能由同样的视频信号和视频处理设备，产生多种立体输出格式。例如1997年5月6日授予Muramoto等人的第5，626，582号美国专利描述了一种 基于时间的压缩方法，在该方法中，以给定的时钟频率数字化两个30fps视频信号并将它 存储到DRAM存储器中。然后，以两倍的写频率读该存储器，可以以1/30的间隔，并置1/30 时间周期的两个采样。然而，根据选择的采样频率，最终信号或者丢失清晰度，因为在一个 数字数据上排列两个相邻像素的信息，或者超过诸如DVD或广播频道的数据存储介质的容 量。该发明还不能根据给定的原始格式，产生多个输出格式，而且为了重构原始序列需要2 个并联电路。此外，在Briede提交的、于1997年11月20日公开的第WO 97/43863号国际申请 中，对根据图像的第一序列和第二序列的图像进行十取一处理，并利用2个连续原始行的 互补像素，重定向各像素，以形成一行，然后，从左眼和右眼交错新产生的行以形成要通过 频道发送的组合立体图像序列。在接收端，从立体图像序列多路分解并列域(juxtaposed field)，然后，将并列域发送到用于同时复原像素并重新产生其相应立体视频序列(右和 左)的丢失图像单元的并联扩展电路。然后，将这样重构的第一和第二图像序列输出到两 个用肉眼观看的显示器。尽管这种技术提供了一种用于空间压缩/解压缩全帧的感兴趣方法，但是为了利 用有限容量频道(传送介质)进行存储或分布，它未解决将两个M或25fps图像序列变换 为30fps立体序列或者升高回放速率以防止闪烁的问题。此外，该方法不允许利用一个显 示监视器或投影仪，通过时间排序重新建立的第一和第二图像序列，以包括页面交换(page flipping)模式的其它立体格式进行回放。此外，关于上面的例子，再要求两个并联电路对 两个图像序列进行重构处理，因为在重构图像之前，首先必须对该信号进行第一多路分解。尽管上面的例子说明已知用于将两个视频信号或图像序列编码为一个信号并用 于解码这种合成信号，以顺序检索原始信号或序列的不同方法和系统，然而，现有技术的这 些方法和系统没有提供，例如根据满足3D电影再现的家庭影院市场的需要，利用一个频道 和当前制造的传统记录、回放以及显示设备，可以进行高保真记录、广播和回放两个Mfps 运动图像电影以及25或30fps立体视频节目的功能系统的重要特征。因此，需要一种可以容易地仍以可承受成本利用现有家庭影院装置提供高质量立 体再现，同时允许以多种输出格式回放特定立体视频传送信号的新颖立体节目编码和回放 方法和系统。

发明内容
因此，本发明的目的是提供一种用于解码编码图像流的方法，所述图像流包括多 个帧，每个帧包括合并图像，该合并图像包括左图像中的像素和右图像中的像素，该方法包 括步骤(a)接收每个合并图像；(b)将原始输入信号中的时钟域变更为内部域；(c)对于每个合并图像，将至少两个相邻像素装入输入缓冲器，并内插中间像素， 以根据所述相邻像素的出处，形成重构左帧和重构右帧；以及(d)根据所述左图像帧和右图像帧，重构立体图像流。
本发明还提供了一种用于解码编码图像流的系统，该系统包括(a)输入端，用于接收压缩图像流；(b)空间内插模块，可操作地连接到所述输入端，用于将每个合并图像空间内插到 重构右帧和重构左帧内；(c)输入存储控制器；(d)右与左存储器缓冲区，用于存储所述重构右帧和重构左帧；(e)输出存储控制器；(f)速率控制器；(g)同步模块，用于使立体显示装置同步；以及(h)输出端，用于输出重构右图像和重构左图像流。更具体地说，本发明的系统和方法包括步骤1-利用拓扑方法，将具有第一显示速率的第一和第二运动图像序列十取一为减少 的镶嵌(mosaics)，以形成具有第二显示速率的第三图像序列的相邻域，该第二显示速率比 所述第一显示速率小两倍。2-通过数据传送介质，编码并传送所述第三图像序列；3-从所述数据传送介质上检索所述第三图像序列；以及4-利用拓扑方法，内插所述第三图像序列的各域中的减少的图像，以从本质上重 新建立所述第一和第二图像序列的图像。该过程优选地包括附加步骤5，其中按时间排序所述第一和第二重新建立图像序 列，以形成输出图像序列，该输出图像序列分别由所述第一和第二重新建立图像序列(页 面交换模式)中的连续交替图像构成。根据第一和第二重新建立图像序列的实时交替读取 模式，可以设置输出序列格式，以便与页面交换、行交叉、列交叉、立体影片或二维显示模式一致。还公开了根据本发明的处理过程的另一个实施例，其中步骤4进一步包括通过时间内插重新建立的第一和第二图像序列的连续图像，建立新图像对，并将 每个所述时间内插图像对中的一个图像内插到每个所述第一和第二重新建立图像序列中， 从而提高其显示速率。还公开了根据本发明的处理过程的另一个实施例，其中步骤4进一步包括重复图像对，以形成所述第一和第二重新建立图像序列，从而提高其显示速率。还公开了根据本发明的处理过程的另一个实施例，其中在执行上述处理过程的步 骤1之前，通过插入新时间内插(建立的)的或重复(读取两次)的图像对，第一和第二运 动图像序列具有升高的显示速率。根据本发明的另一个实施例，所述输出图像序列具有每秒R个图像的常规显示速 率，而且所述输出图像序列包括从第一和第二图像序列开始的每秒12个图像、从第一和第 二图像序列的减小镶嵌开始空间内插的每秒36个图像以及R-48个插入图像。插入图像可 以是重复图像或时间内插图像。如果R等于每秒96个图像，则所述输出图像序列包括第一 和第二图像序列中的每秒12个图像、从第一和第二图像序列的减小镶嵌开始空间内插的 每秒36个图像，每个图像被重复两次。根据本发明的又一个实施例，所述输出图像序列具有每秒R个图像的常规显示速
6率，而且所述输出图像序列包括从第一和第二图像序列的减小的镶嵌开始空间内插的每秒 60个图像以及R-60个插入图像。插入图像可以是重复图像或时间内插图像。如果R等于 每秒120个图像，作为所述输出图像序列包括重复两次的60个空间内插图像。还公开了一种根据本发明的系统，该系统包括数字视盘播放器、解码器以及视频 显示装置，其中所述解码器从视盘播放器接收表示具有左域和右域的图像序列的信号，左域和右域分别表示 减小的图像镶嵌；禾_拓扑方法，从所述图像序列的各域开始内插减小的图像镶嵌，以形成 第一序列和第二序列的重新建立图像；通过时间内插重新建立的第一和第二图像序列的连 续图像，建立新图像；按时间排序重新建立的图像和建立的图像，以形成输出图像序列，该 输出图像序列包括从每个所述第一和第二重新建立图像序列开始的连续交替图像；以及将 表示所述输出图像序列的信号输出到所述视频显示装置。通过阅读下面的详细说明，更加容易明白，本发明克服了上述现有技术解决方案 的局限性和缺陷，着重指出下面的内容以及其它优点特征一本发明提供了一种编码方法和实现这种方法的系统，该方法和系统可以以适于 存储到传统数字视盘(DVD)上的格式，压缩两个对或3(^ 8图像序列或者利用传统设备进 行广播，而不显著感觉到丢失了空间信息和时间信息。一本发明提供了一种回放方法和系统，通过以渐进模式或交错模式，重构原始序 列并使显示速率从M到60提高每只眼睛每秒的全分辨率图像，该回放方法和系统以高视 觉质量再现立体节目。一本发明提供了一种编码和回放方法以及系统，该方法和系统的特征在于，与市 售的数据存储介质回放设备以及显示设备完全兼容，更具体地说，与MPEG主视图提问文件 压缩/解压缩协议以及商业电路兼容。一本发明提供了一种立体节目回放方法和系统，该方法和系统提供通用输出信 号，可以直接使用该通用输出信号，或者对该通用输出信号进行变换，以利用诸如头戴显示 器(HMD)、IXD、DLP以及CRT背投或正投TV的现有技术进行再现，利用遮光眼镜、偏振护目 镜或立体影片眼睛，直接观看在任何通用标准(NTSC、PAL、SECAM、SDTV、HDTV等)下工作的 TV和计算机监视器。一本发明提供了一种编码和回放方法和系统，该方法和系统可以消除或者显著减 少利用现有技术方法和设备观看立体电影时遇到的闪烁(flicking)和疲劳。一本发明还提供了一种可以编码和解码可能表示不同的无关场景的两个独立图 像序列的方法和系统。


图Ia是根据本发明用于将两个平面图像序列压缩编码为立体图像序列的原理 图，将该立体图像序列存储到数据存储介质或通过一个频道广播该立体图像序列。图Ib是用于说明解码并回放先前利用诸如图Ia所示系统编码的立体图像序列的 过程的根据本发明系统的原理图。图加是利用拓扑方法分离为两个互补镶嵌图像单元以形成合并图像60的域A和 域B的部分数字化图像60的原理图。
图2b是利用拓扑方法十取一(decimate)为减少镶嵌以分别形成合并图像60的 域A和域B的两个数字化图像50和50，的一部分的原理图。图2c是空间内插一对包括在合并图像60上的十取一图像以重新建立两个清晰度 图像72和72的过程的原理图。图2d是在具有时间延迟的情况下，根据两个图像50. 4和50. 5建立新图像52的 时间内插过程的原理图。图3a是根据本发明用于将两个平面图像序列压缩编码为立体组合图像序列的压 缩过程的第一实施例的原理图。图北是根据本发明用于重构并时间扩展先前根据图3a所示过程编码的立体图像 序列的解压缩过程的第一实施例的原理图。图如是根据本发明用于将两个平面图像序列压缩编码为立体图像序列的压缩过 程的第二实施例的原理图。图4b是根据本发明用于重构并时间扩展先前根据图如所示过程编码的立体图像 序列的解压缩过程的第二实施例的原理图。图5是根据本发明优选实施例的解码器的原理图。在各附图中，同样的参考编号表示同样的部件。
具体实施例方式现在，将参考附图详细说明根据本发明用于编码并回放立体视频序列的方法及其 相关系统的优选实施例。参考图1，图1示出根据本发明建立的用于将两个平面图像序列压缩编码为立体 图像序列的典型系统。将摄像机3和6表示的第一和第二图像序列源存储到公用或各自的 数字数据存储介质4和7内。作为一种选择，根据数字化电影片或者存储在数字数据存储 介质上的或者基于微处理器的系统作为适于读取的数字视频信号实时输入的任何其它数 字图像文件源，可以提供图像序列。在其中其相应捕获图像序列对并列场景100显示不同 视图的位置示出摄像机3和6，根据立体原理，刺激观众的左眼和右眼的感觉。因此，正确再 现第一和第二捕获图像序列可以使观众感觉到场景100的三维视图。然后，利用诸如5和8的处理器，将通常在诸如Betacam 4:2:2(运动图像)的 Mfps数字YUV格式下可用的存储的数字图像序列变换为RGB格式，并将它们送到运动图像 混合单元1的输入端四和30，运动图像混合单元1是本发明的编码系统的主要部件。然 而，应该注意，为了降低成本，根据时间共享原则，公用处理器可以交替变换两个图像序列。 混合器1将这两个平面RGB输入信号压缩为30fbs立体RGB信号，在输出端31发送该立体 RGB信号，然后，在输出端32，处理器9将该立体RGB信号变换为betacam 4:2:2格式，接着， 典型电路10将它压缩为标准MPEG2位流格式。然后，可以将获得的MPEG2编码立体节目记 录到诸如数字视盘(DVD) 11上，或者利用例如发射机13和天线14，通过一个标准频道广播 它。例如，替换节目传送介质可以是电缆分布网络或互联网。现在参考图lb，图Ib示出根据本发明利用图1所示系统解码并回放被编码或被广 播的立体节目的典型系统。立体DVD 11 (3DVD)包括由第一和第二图像序列获得的压缩信 息，利用当前制造的传统播放器15播放该立体DVD 11，将NTSC串行模拟信号送到立体图像解码器2的输入端观，该立体图像解码器2是本发明的解码/回放系统的主要部件。作为 一种选择，可以接收其模拟格式和数字格式的任何ATSC DTV信号。在输出端23和对，解码器2产生同步的RGB信号对，即第一和第二图像序列，以驱 动诸如头戴显示器(HMD) 16的对偶输入立体顺序显示装置。此外，解码器2还在输出端25 产生时序立体RGB信号，以将它送到诸如投影仪17、IXD显示器22、CRT监视器或SDTV或 HDTV 21的单输入顺序显示装置，从而以交替页面交换模式，显示由第一图像序列和第二图 像序列获得的图像。作为一种选择，可以将输出端25输出的立体RGB信号变换为待被模拟 CRT电视机再现的或者处于其它立体格式的交错NTSC信号(送到(ex)用于自动立体透镜 式显示器的列交错)。此外，还在内部这样配置解码器2，以在RGB输出端23或M之一输 出立体RGB信号，因此可以删除输出端25。解码器2还在输出端沈产生同步定时信号，以驱动红外遮光眼镜驱动器20，从而 驱动眼镜19。通过使观众利用一只眼睛看第一图像序列的图像，而利用其另一只眼睛看第 二图像序列的图像进行交替观看，观众可以佩戴遮光眼镜19观看例如立体输出端25提供 的、由投影仪17投影到屏幕18上的三维节目。如上所述，两个原始图像序列含有的信息太多，以致不能直接存储到传统DVD上， 或者不能利用以30fps的速率处理信息的MPEG2或等效复用协议，通过传统频道进行广播。 因此，混合器1进行十取一处理，以将每个图像的信息减半。现在，将参考图加和2b说明混合器1执行的空间十取一处理过程。图加示出混合器1和解码器2处理的RGB视频信号确定的一部分图像50。可以 看出，图像50包括多个像素(交替的实心点和空心点)。在RGB格式中，分别表示红、绿和 蓝光强的3个数字数的矢量确定每个像素。本发明以3个相邻像素在水平方向，或者在垂 直方向具有不显著不同的光强为根据。因此，有利的是，本发明便于进行可以将图像的大小 减小50 %而不显著破坏图像的压缩，或者十取一，或者分离的处理过程。在原理图中，图加示出这是如何实现的。如上所述，图像50包括多个像素。将整 个图像上，在每行上从左到右，从上面的行到下面的行，以图像的第一像素(行1的像素1) 开始的、后面是第三像素等等的序列像素(利用黑点表示)设置到帧缓冲器的一半上，以形 成镶嵌A。将剩余的像素，即，偶数编号像素(利用空心点表示)设置在镶嵌B上。在图加 所示的例子中，所示的图像50的两个互补镶嵌被分别存储到公用合并图像60的镶嵌A和 镶嵌B上。然而，实际上，优选地利用可以例如仅读取奇数编号像素或偶数编号像素并将它 们直接存储到帧缓冲器内的适当硬件和软件自动进行这种“分离”。正如图2b更清楚地示出的那样，通过仅保持诸如图像50的第一序列(扩展的左 眼序列)图像的镶嵌A以及诸如50’的第二序列(扩展右眼序列)图像，基本上可以在空 间上将图像压缩50%。当第一和第二序列表示同一个场景的不同视图时，对每个序列保持 不同类型的镶嵌有助于在回放时具有更高保真度。作为一种选择，对于两个输入序列，通过 保存偶数编号图像的镶嵌A和奇数编号图像的镶嵌B，进行空间压缩，因此可以根据可能以 同一种压缩格式存储的不同类型的镶嵌，重新建立同一只眼睛的两个连续图像。通过在某个时间将一个像素的数据输入到三像素输入缓冲器55中，可以完成上 面的操作，如图2b所示。然后，将像素信息传送到一个或者多个(各)帧缓冲器的正确存 储位置，分别存储它们以记录不同合并图像。使不同输入图像的镶嵌成对并排连接在一起
9以形成诸如60的原始尺寸的新系列合并帧的两个相邻域(左域和右域)。在图2b所示的 例子中，当前处理图像50’，而在完成处理图像50时，产生完成类型A镶嵌，将该A镶嵌存 储到合并图像60的左域(A)中。然而，应该指出，合并帧不必包括第一序列的图像和第二 序列的图像，或者同时捕获的图像，根据对压缩/编码(混合)方法的优选实施例进行详细 说明可以明白。事实上，在图加所示的例子中，合并图像60的域A和域B分别填充同一个 图像50的镶嵌A和镶嵌B。尽管为了简化说明而选择这种情况，而且这种情况对应于根据 在此设想的本发明实施例之一的实际情况，应该相信，诸如60的合并图像可以包括由输入 图像之任一产生的镶嵌。并排压缩传送格式最明显，而且在该处理过程中，不受用于特征化 MPEG2主视图下游协议的压缩/解压缩处理过程的影响。解码合并图像后，通过空间内插由位于诸如60的合并图像的域上的被压缩的一 半大小的图像(镶嵌)产生的丢失像素，可以重构完整图像。如图2c所示，在将解码器2 解码的输入合并帧60的每个像素传送到存储器，或者从存储器传送出来时，优选地实时完 成该过程。如上所述，本发明系统的优选地前提是相邻像素的值不这样不相同。因此，为了 根据镶嵌重构图像，对相邻像素进行加权，以内插丢失的像素。在本发明的优选实施例中，将某个时间的一个像素的数据存储到三像素输入缓冲 器65中。如图所示，将输入图像60的阴影部分存储到输入缓冲器65中，将由同一个镶嵌 获得的两个相邻像素识别为Pi和Pi+1。然后，作为相邻像素(Pi和Pi+1)的RGB矢量的3个 分量中每个分量的算术平均值，计算第三像素的数据Pj。例如，如果像素Pi具有(10，0，30) 的光强矢量，而像素Pj具有O0，0，60)的光强矢量，则作为(15，0，45)计算像素P」。因此， 两个相同像素的平均值是另一个相同像素。根据诸如50的以使图像序列产生镶嵌后，该计 算(拓扑内插的)的像素代替在被十取一的丢失像素。然后，将原始像素和内插像素存储到帧缓冲器内要重构相应图像的正确存储位置 (本例中的图像72)。通过合并图像60的每行的中心(进入右域)，将数据存储在第二帧缓 冲器72’上，以根据存储在立体图像的右域上的镶嵌重新建立图像。从左到右，逐行进行该 处理，直到在其相应缓冲区中，在空间上重构这两个图像。尽管上面的实施例内插像素，作为镶嵌的两个相邻像素的平均值，但是本发 明不止对两个像素进行加权。例如，如果要内插像素P」，则可以对从镶嵌开始的两个 或者3个前面的像素和后面的像素应用不同系数。更具体地说，参考图2c，可以利用 0. 6Pi+1+0. ΘΡ^-Ο. lPi+2-0. HV2，内插P」。当然，根据优选结果，可以使用各种不同的系数和 公式。此外，在同样的处理过程之后，不进行水平内插，而进行垂直内插，或者组合进行水平 内插与垂直内插。为了确保不闪烁观看，该解码方法进一步包括图像序列的时域扩展(temporal expansion)，正如下面所详细说明的那样。当完全填充帧缓冲器，以便重新建立或者暂时内 插图像(在重构过程和重构系统的任何实施例中均所需的帧缓冲器不超过4个。)时，根据 不同模式读取它们，以提供不同类型的要求输出信号。附图中的图3a示出根据本发明的混合器1执行的混合方法的第一实施例的原理 图，现在，将详细说明该第一实施例。通过每隔原始序列50的四个图像产生并插入新图像52，第一次使被识别为Ll至 L4的RGB 24fps格式50的图像的第一序列扩展25%，以形成诸如51的30fps的图像序列。根据紧接在前图像和在后图像的拓扑信息，时间内插(time-interpolated)新图像52(右 视图像50的#4和#5)。以与上面说明的空间内插技术相同的方式，利用在前图像和状态下 中的相应像素的算术平均值，计算新图像52的每个像素。图2d具体说明时间内插过程，其 中根据输入图像系列50的两个时间连续图像50. 4和50. 5，产生新图像52。通常，根据该 技术，完成产生本发明的新图像的过程，从而与简单重复各帧的例子相比，在回放时实现改 进的保真度，这样几乎不需要处理功率。作为一种选择，可以利用诸如基于运动预测方法的 任何已知方法时间内插图像。然后，根据图2b所示的技术，空间压缩时间扩展序列51的图像，并在下面的说明 中详细描述时间扩展序列51的图像，以形成新序列53表示的镶嵌。同样，将第二输入图像 系列50，时间内插为30fps的序列51’，然后，将它空间压缩为利用序列53，表示的镶嵌。 在该特定实施例中，分别使第一序列53和第二序列53’的压缩图像(镶嵌)对连续，以形 成30fps RGB序列60的合并图像的左域和右域。将序列60编码为流62，以传送到远程位 置。值得注意的是，尽管图3a示出原理图，但是优选地不并行而且不与长序列图像一 起对图像序列进行处理。实际上，在给定时间，仅缓存少量图像，以便临时内插，根据第一和 第二(左和右)序列交替引入图像，而且与图2b和2d所示处理步骤非常类似，逐个像素地 对该图像进行处理。现在，将参考图;3b、2c和2d说明根据本发明第一实施例的解码器2执行的解码过 程和重构过程。在图北所示的例子中，从DVD中读取立体MPEG信号62，然后，DVD播放器15 (图 lb)将它变换为模拟NTSC信号70，解码器2输入该模拟NTSC信号70。首先，将NTSC信号 70变换为RGB格式，以再生诸如序列60的合并图像。然后，通过空间内插镶嵌并逐个像素地 使镶嵌与序列60中的合并图像的左域和右域分离，开始重构第一和第二原始序列50、50’， 正如上面参考图2c所述，以诸如72和72，的30fps解压缩缓冲图像。因此，实际上，同时 进行空间内插和分离。可以直接输出RGB图像72和72’的序列，并将它显示在对偶输入装 置上，从而以60fps (每个眼睛30)的显示速率，产生原始节目或立体节目信号。还可以进 一步进行处理，从而以交错方式或以序列(页面交换模式)、立体影片、交叉的列、传统2D模 式等，使图像序列显示在多个现有单输入显示装置上。然而，为了在观看时舒服而且不疲劳，通过以每秒每只眼睛36全清晰度帧的典型 速率提供输出信号，解码器2显著减小闪烁，而利用高清晰度帧以每只眼睛30fps获得满意 的结果，从而与例如SDTV或HDTV的更新速率匹配。相反，对于非常高保真度再现过程，解码器2可以提供最高120fps (每只眼睛每秒 60幅图像)的输出信号，然而，这种输出与诸如DLP投影仪以及有限数量的高端装置的显 示装置兼容。根据经验，正如在此设想的那样，如果在编码/解码过程中保持图像质量，则 72fps的回放速率的效果非常好，该频率是家庭影院系统当前使用的大多数显示装置的标 准频率。因此，解码器2执行的回放处理优选地包括用于提高序列72和72’的显示速率的 附加步骤。采用参考图3a和2c对混合处理过程所做的描述中已经说明的时间内插技术， 以规则间隔在图像序列中插入附加图像。利用混合时存储到输入序列60的空白行上的帧数信息，仔细控制插入位置。作为一种选择，可以重复(读两次)序列72和72’中的图像， 以提高显示速率。例如，可以读取两次该序列上的各图像，以使显示速率加倍。在图北所示的例子中，分别利用序列72和72’的图像#2和#3中的信息时间内插 一个新中间图像对73、73’，并将它插在图像#2与#3之间，从而将获得的序列74和74’的 速率提高到36fps (对于立体节目总共72fps)。图2c示出该过程的一部分，其中利用72. 2 和72. 3识别序列72的图像#2和#3。作为一种选择，可以时间内插并插入其它图像，以便 对于总共96fps的速率，提供比方说每个序列每秒48帧的速率。每个序列(眼睛)60fps 的速率(对于立体节目总共120fps)也是一种令人感兴趣的情况，在这种情况下，不需要进 行内插。仅复制序列72和72’的所有图像，以使图像数量加倍。在回放时，以120Hz的速 率驱动遮光眼镜，而且以l/30s的速率，对相应眼睛，使给定序列的所有图像显示两次。因 此，可以提供最高清晰度，但是，当前，只有非常有限的显示装置可以处理这种高更新速率。应该注意，上面的说明基于以提供输入序列的事实，24fps的速率是运动图像电影 的常见速率。然而，人们容易明白，可以容易地对这种情况采用混合过程，从而通过跳跃图 3a所示的时间扩展序列51和51’表示的时间内插的初始步骤，可以提供两个30fps序列 (扩展的TV节目)。显然，由于解码过程始终对30fps输入序列进行处理，所以不要求对该 处理部分进行实质修改。作为一种选择，如图如所示，本发明的编码过程不需要在产生镶嵌之前进行时间 内插。在图如所示的例子中，通过正确分离各帧，使两个Mfps序列混合，以提供30fps序 列。由于可以将时间内插的图像插入该序列中(当输入序列包括Mfps时)，压缩序列80 变得没有规律。因此，根据本发明的当前实施例的编码(混合)过程进一步包括在压缩序 列60内插入信息，以识别重构过程所需的帧数，从而识别图像内容，并以该序列的适当位 置的正确序贯顺序(时序)重新建立序列。可以将这种信息存储到例如合并图像的空白行 上。在阅读了下面对解码过程所做的说明后，该过程的好处更加明显。这样本身可以完成 混合器1执行的混合过程。此外，在该过程中，正如参考图Ia所述，在被多路分解为MPEG2 位流，或者被直接变换为图3a中的编号62标记的MPEG2格式之前，可以将RGB合并图像序 列60 (扩展AVI文件)变换为数字Y U V格式。图4b示出为了提供2个36fps流，如何利用空间内插和时间内插，解码压缩的立 体序列80。图5更具体示出本发明的解码器2。然而，应该明白，例如，根据是选择全部软件、 全部硬件还是它们二者的组合解决方案，可以有各种变型。可以看出，该解码器具有两个输入端模拟输入端和数字输入端。如果信号是模拟 信号，则利用ADC 101，将它变换为数字信号。FIFO缓冲器103将输入信号的时钟域(clock domain)变更为该解码器使用的时钟域。实际上，以不同于RGB信号使用的频率的频率， 确定广播信号或DVD信号的时钟，因此，需要FIFO缓冲器103。然后，使该信号通过变换器 105，变换器105将该信号从Y Cb Cb信号变换为IX720X480(像素)的RGB信号。然后， 利用空间内插器107，根据本发明内容空间内插该信号，结果是对偶流的720X480像素。然 后，换算器对该对偶流进行换算，以提供两个640X480图像流(始终为RGB格式)。作为一 种选择，本发明的系统可以支持其它解决方案。然后，将各帧装入帧缓冲器113，一个帧缓冲 器113用于右帧，另一个帧缓冲器113用于左帧，输入存储控制器111控制其内容。
12
输出存储控制器115控制帧缓冲器的输出，而且如果需要，利用时间内插器控制 帧缓冲器的输出，以提高帧速率。优选地设置速率控制器119。速率控制器的用途是适应时钟信号的变化，该变化尽 管微小，但是仍使系统不同步。速率控制器监测速率的差别，并通过在该帧的无效行上增加 或者删除某个数量的像素，校正输出频率。例如，对于某个帧，需要增加少量像素，以便人为 降低内部时钟，并使时钟正确同步。解码器2的另一个有利部件是防闪烁滤波器(anti-flicker filter) 121。当在 图像与头部显示器的光闸附近存在对比度时，在佩戴遮光眼镜时，产生闪烁。我们惊奇地发 现，通过评估每个RGB像素中的绿电平的值，并且在绿电平高于某个值时，通过成比例降低 相应像素的颜色，可以显著进行闪烁。因此，该输出直接是数字的，或者利用DAC 123将它变换为模拟信号。为了在正确 时间打开或者关闭光闸，同步模块125使头部显示器与输出信号同步。此外，优选地进一步设置调节器127。在显示装置包括其自己的帧缓冲器时，使用 该调节器，否则，这样将导致光闸与实际显示器的同步信号之间不同步。为了减小图像的串 音/重影，用户可以进行手工调节。现在，将参考附图中的图4a，详细说明根据本发明的混合器1执行的混合方法的 第二实施例。该第二实施例对于解决对Mfps格式下可用的两个图像序列进行变换，以产 生完全兼容序列的30fps MPEG2(主视图提问文件)的问题特别有利。分别利用LiAB和IiiAB识别包括定义的镶嵌A和B的两个Mfps序列50和50，中 的全清晰度图像，索引“i”表示时间t时给定图像的顺序号。图如和4b中的虚线表示帧 序列。以与上面描述的第一实施例类似的方式，对8个输入图像进行空间压缩和时间扩展， 以在新30fps序列80上形成5个新合并图像。应该注意，在本发明的实施例中，保留要记 录或广播的25%以上的原始图像信息。的确，8个原始图像中的两个(所示例子中的图像 Ll和I^)均具有其镶嵌A和B，该镶嵌A和B保存在压缩序列80的域上，而非根据第一实 施例的域上。然而，通过在连续图像之间提供某种暂时冗余度，以存储在并排合并图像域内的 互补镶嵌的形式，编码这些全部保存的图像，以确定编码序列的均勻性(homogeneity)和 与MPEG2压缩/解压缩协议的兼容性。因此，对于先前说明的实施例，在回放时，通常可以 获得良好的清晰度和保真度，但是其代价是提高了处理功率的要求和系统硬件成本。对于 上述第一实施例，根据本发明当前实施例的编码(混合)处理过程还进一步包括在压缩序 列80内插入信息，以根据重构过程的需要，识别帧数，从而识别图像内容，并以正确序贯顺 序，重新建立序列，然后，在该序列上的适当位置插入内插图像。此外，还可以将这种信息存 储到例如合并图像的空白行上。图4b示出根据本发明的解码器2执行的相应解码过程的原理图，该解码过程的操 作过程如下。将表示30fps RGB输入序列80的5个合并图像81至85扩展为12个图像(每个 频道6个)，该12个图像提供总共36fbs的回放序列90和100 (对于三维立体节目，每只 眼睛36，总共7 。总之，根据虚线110表示的帧序列，以页面交换模式显示的回放序列90 和100的12个连续图像的每个组包括两个完整原始图像、6个空间内插图像以及4个时间内插图像。作为一种选择，根据诸如头戴装置或自动立体装置的一些显示装置的要求，可以 通过两个单独频道，分别并行输出序列90和100。在所示的例子中1.根据存储在序列80的帧81的左域上的镶嵌L1A和存储在其右域上的镶嵌L1B, 全部重新建立图像91 (L1AB)；2.从在序列80的帧82的左域获取的镶嵌R1A开始，空间内插图像IOl(R1AX)；3.从在序列80的帧82的右域获取的镶嵌开始，空间内插图像103 (R2BX)；4.从图像101和图像103开始，时间内插图像102 ；5.根据存储在序列80的帧83的左域上的镶嵌图像L2A和存储在其右域上的镶嵌 L2B,全部重新建立图像93 (L2AB)；6.从图像91 (L1AB)和图像93 (L2AB)开始，时间内插图像92 ；7.从存储在序列80的帧84的左域上的镶嵌L3A开始，空间内插图像94 (L3AX)；8.从存储在序列80的帧84的右域上的镶嵌L4B开始，空间内插图像96 (L4BX)；9.从图像94和图像96开始，时间内插图像95 ；10.从存储在序列80的帧85的左域上的镶嵌R3A开始，空间内插图像104 (R3AX)；11.从存储在序列80的帧85的右域上的镶嵌R4B开始，空间内插图像106 (R4BX)； 以及12.从图像 104和图像 106 开始，时间内插(temporally interpolated)图像 105。显然，我们容易理解，这种重构过程要求正确识别构成输入序列80的5帧序列中 的帧顺序。因此，在解码器2中设置帧识别电路，以解释混合器1存储到合并图像序列80 内的帧数信息。从该后者实施例以及上面的描述中公开的第一实施例中可以看出，全部独立编码 和解码第一图像序列和第二图像序列，而互相不产生任何干扰，从而对涉及独立场景的原 始视频序列进行处理。上面描述的第二实施例的例子以Mfps的速率处理信源，以产生72fps的显示速 率，该例子仅示出可以应用于M至30fps信源以诸如60、72、96或120fps的显示速率产生 立体输出的更一般处理过程。下面的表格列出M或30fps信源以及60、72、96或120fps 显示速率的附加典型排列
权利要求
1.一种用于编码包括多个右图像帧和左图像帧的立体图像流的方法，该方法包括步骤(a)读取每个所述右帧的所述奇数编号像素或偶数编号像素，并将它们装入帧缓冲器 的一半上；(b)读取对应于所述右帧的每个所述左帧的所述偶数编号像素或奇数编号像素，并将 它们装入帧缓冲器的另一半上，以形成镶嵌，因此所述镶嵌的一侧包括所述右帧的奇数编 号像素或偶数编号像素，而所述镶嵌的另一侧包括所述左帧的互补偶数编号像素或奇数编 号像素。
2.根据权利要求1所述的方法，其中所述方法进一步包括时间内插所述图像，以在进 行步骤(a)之前提高帧速率的步骤。
3.一种根据权利要求1所述的方法解码被编码的立体图像流的系统，该系统包括(a)输入端，用于接收压缩图像流；(b)空间内插模块，可操作地连接到所述输入端，用于将每个合并图像空间内插到重构 右帧和重构左帧内；(c)输入存储控制器；(d)右与左存储器缓冲区，用于存储所述重构右帧和重构左帧；(e)输出存储控制器；(f)速率控制器；(j)同步模块，用于使立体显示装置同步；以及 (h)输出端，用于输出重构右图像和重构左图像流。
全文摘要
一种用于处理立体图像流的压缩图像流的方法，该图像流具有多个帧，每个帧包括合并图像，该合并图像包括左图像中的像素和右图像中的像素，该方法包括步骤接收每个合并图像；将原始输入信号中的时钟域变更为内部域；对于每个合并图像，将至少两个相邻像素装入输入缓冲器，并内插中间像素，以根据相邻像素的出处，形成重构左帧和重构右帧；以及根据左图像帧和右图像帧，重构立体图像流。本发明还公开了一种用于处理立体图像流的压缩图像流的系统。
文档编号H04N13/04GK102098529SQ20111004303
公开日2011年6月15日 申请日期2003年4月9日 优先权日2002年4月9日
发明者丹尼尔·马卢安, 克劳德·蒂博, 吉恩·贝尔齐勒, 尼古拉斯·鲁蒂埃, 皮埃尔-保罗·卡彭蒂耶, 马丁·达莱尔 申请人:森西欧技术公司