移动图像记录方法和装置、移动图像编码方法和移动图像编码器的制作方法

专利名称：移动图像记录方法和装置、移动图像编码方法和移动图像编码器的制作方法
技术领域：
本发明涉及移动图像记录方法和装置、以及移动图像编码方法和移动图像编码 器。更具体地，本发明涉及其中可以以高质量处理以移动图像形式检索(retrieve)的右眼 图像和左眼图像以获取视频流的移动图像记录方法和装置、以及移动图像编码方法和移动 图像编码器。
背景技术：
通过处理在三维拍摄装置中在两个视点处拍摄的右眼图像和左眼图像来产生三 维视图的移动图像。为此，已知多种记录方法。U. S. P. No. 5，767，898和6，075，556 (对应 于JP-A 8-070475)公开了沿水平方向交替地进行每一个扫描的右眼图像和左眼图像的 合成。通过MPEG格式的编码来压缩合成移动图像。并且，U. S. P. No. 5，923，869 (对应于 W097/032437)公开了右眼图像和左眼图像的压缩以在等于或大于IGOP的帧数目中交替地 设置右侧和左侧的多个帧。通过在一个图像文件中交织来记录压缩图像。此外，以运动JPEG 格式在两个单独的文件中压缩右眼图像和左眼图像，并通过使用时间戳来使其同步以便显不。在U. S. P. No. 5, 767, 898 禾口 6，075，556 (对应于 JP-A 8—070475)禾口 U. S. P. No. 5，923，869 (对应于WO 97/032437)中的MPEG编码的压缩根据运动估计来执行帧 相关性处理，以形成B帧和P帧。然而，存在的缺点是，在移动图像的B帧和P帧的静止图 像显示中由于压缩而引起的失真通常很明显，因此三维视图的质量将是低的。在自由立体显示领域中，在右眼图像和左眼图像中共同存在的主要被摄物的一些 部分(诸如人的脸、中心处的物件等)之间获取视差的视差信息。为了减少观看三维图像 的观看者的眼睛的生理疲劳，对右眼图像和左眼图像进行修正以在三维显示中在被摄物处 将视差信息减小至零。然而，必须执行帧相关性处理以进行MPEG压缩。对于视差信息的附 加处理将使操作过度复杂。并且，在B帧和P帧的视差信息中在低正确性方面发生问题。如果以运动JPEG格式在两个单独图像文件中压缩右眼图像和左眼图像，则时间 戳的精度必须严格地很高。如果在时间戳中发生小的误差，则不能三维地显示移动图像。

发明内容
鉴于前述问题，本发明的目的是提供一种能够以高质量处理以移动图像的形式检 索的右眼图像和左眼图像以获取视频流的移动图像记录方法和装置、以及移动图像编码方 法和移动图像编码器。为了实现本发明的以上及其它目的和优点，提供了 一种用于三维移动图像的移动 图像文件的记录移动图像的移动图像记录方法，并且其包括确定在从多个视点同时捕捉 的图像集合的图像中共同存在的一个主要被摄物的视差的视差信息的步骤。以静止图像压 缩编码对图像进行压缩以便单独地对图像集合中的图像进行编码，以获取压缩图像数据。在存储介质中记录由多个块构成的移动图像文件，所述多个块中的每一个包括图像集合的 压缩图像数据和所确定的视差信息。此外，在确定步骤之前，周期性地捕捉图像集合的图像。图像集合中的图像是右眼图像和左眼图像。所述确定步骤包括检测右眼图像和左眼图像中的被摄物。从右眼图像和左眼图像 中的特定一个检测所检测被摄物的特征点。从右眼图像和左眼图像中的剩余的一个中检索 对应于该特征点的相应点。确定该特征点与该相应点的像素位置之间的差，以获取视差信 肩、ο所述被摄物是人的脸部区域。特征点和相应点是人的脸部区域中的瞳孔部分或虹膜部分所述静止图像压缩编码是JPEG编码。此外，扩展所记录的移动图像文件。根据每一个块的视差信息来修正扩展图像文 件以使图像集合的视差信息最小化。根据用于根据图像之间的相关性信息进行顺序压缩的 移动图像压缩编码对已修正图像文件进行压缩。所述移动图像压缩编码是MPEG编码。并且，提供了一种用于三维移动图像的移动图像文件的移动图像记录装置，并且 其包括视差检测设备，该视差检测设备用于确定用于三维移动图像的流的图像集合之中的 来自多个视点的图像集合的图像中共同存在的一个主要被摄物的视差的视差信息。压缩器 以静止图像压缩编码来压缩图像以便在三维移动图像中单独地对图像进行编码，以获取压 缩图像数据。记录控制单元将由多个块构成的移动图像文件记录在存储介质中，所述多个 块中的每个块包括图像集合的压缩图像数据和来自视差检测设备的视差信息。此外，扩展设备扩展记录的移动图像文件。修正设备根据每一个块的视差信息来 修正来自扩展设备的扩展图像文件以使图像集合中的视差信息最小化。移动图像压缩器根 据移动图像压缩编码来压缩来自修正设备的已修正图像文件，所述移动图像压缩编码用于 根据图像之间的相关性信息进行顺序压缩。在一个优选实施例中，用于三维移动图像的移动图像文件的移动图像编码方法 包括确定用于三维移动图像的流的图像集合之中的来自多个视点的图像集合的图像中共 同存在的一个主要被摄物的视差的视差信息的步骤。以静止图像压缩编码来压缩图像以便 在三维移动图像中单独地对图像进行编码，以获取压缩图像数据。在存储介质中记录由多 个块构成的移动图像文件，所述多个块中的每个块包括图像集合的压缩图像数据和所确定 的视差信息。对记录的移动图像进行扩展。根据每一个块的视差信息来修正扩展图像文件 以使图像集合的视差信息最小化。根据移动图像压缩编码来压缩已修正图像文件，所述移 动图像压缩编码用于根据图像之间的相关性信息进行顺序压缩。并且，提供了一种用于三维移动图像的移动图像文件的移动图像编码器，并且其 包括视差检测设备，该视差检测设备用于确定用于三维移动图像的流的图像集合之中的来 自多个视点的图像集合的图像中共同存在的一个主要被摄物的视差的视差信息。压缩器以 静止图像压缩编码来压缩图像以便在三维移动图像中单独地对图像进行编码，以获取压缩 图像数据。记录控制单元将由多个块构成的移动图像文件记录在存储介质中，所述多个块 中的每个块包括图像集合的压缩图像数据和来自视差检测设备的视差信息。扩展设备扩展
5所记录的移动图像文件。修正设备根据每个块的视差信息来修正来自扩展设备的扩展图像 文件以使图像集合的视差信息最小化。移动图像压缩器根据移动图像压缩编码来压缩来自 修正设备的已修正图像文件，所述移动图像压缩编码用于根据图像之间的相关性信息进行 顺序压缩。在另一优选实施例中，提供了一种用于三维移动图像的移动图像文件的移动图像 编码的计算机可执行程序，并且其包括用于确定用于三维移动图像的流的图像集合之中的 来自多个视点的图像集合的图像中共同存在的一个主要被摄物的视差的视差信息的程序 代码。程序代码用于以静止图像压缩编码来压缩图像以便在三维移动图像中单独地对图像 进行编码，以获取压缩图像数据。程序代码用于将由多个块构成的移动图像文件记录在存 储介质中，所述多个块中的每个块包括图像集合的压缩图像数据和来自视差检测设备的 视差信息。此外，程序代码用于扩展所记录的移动图像文件。程序代码用于根据每一个块的 视差信息来修正来自扩展设备的扩展图像文件以使图像集合的视差信息最小化。程序代码 用于根据移动图像压缩编码来压缩来自修正设备的已修正图像文件，所述移动图像压缩编 码用于根据图像之间的相关性信息进行顺序压缩。因此，可以以高质量处理以移动图像的形式检索的右眼图像和左眼图像以获取视 频流，因为考虑了视差信息并将其一起记录在移动图像文件中。


结合附图阅读时，通过以下详细说明，本发明的以上目的和优点将变得更加显而 易见，在附图中图1是图示三维拍摄装置的透视图；图2是图示三维拍摄装置的后透视图；图3是示意性地图示三维拍摄装置中的电路元件的框图；图4是示意性地图示视差检测设备的框图；图5是图示二维模式下的移动图像文件的说明图；图6是图示三维模式下的移动图像文件的说明图；图7是图示修正之前和之后的图像状态之间的关系的说明图；图8是图示三维拍摄装置的操作的流程图；图9是图示视差检测设备的操作的流程图；图10是示意性地图示移动图像记录装置的框图；图11是图示图像处理器的操作的说明图；图12是图示MPEG编码之后的移动图像文件的说明图。
具体实施例方式在图1和2中，三维拍摄装置2包括盒形的拍摄装置主体10，并且是用于在两个 视点处拍摄被摄物以形成三维图像的仪器。设置在拍摄装置主体10的前表面上的元件包 括透镜系统IlL和11R、闪光灯光源12和取景器的物镜窗口 13。透镜系统IlL和IlR中的每一个包括多个透镜/透镜组，诸如主透镜、放大透镜、聚焦透镜等等。透镜系统IlL和IlR相对于拍摄装置主体10的前表面的中心是相互对称 的。拍摄装置主体10的基线长度是沿纵向的透镜系统IlL和IlR之间的间隔，并且具体地 说为60mm。透镜系统IlL和IlR的光学轴之间所限定的会聚角是1. 5度。在拍摄装置主体10的上表面上设置有电源开关14和释放按钮15。释放按钮15 具有两级开关。LCD显示面板16或电子取景器用于静止图像模式下的被摄物的成帧。当释 放按钮15在成帧过程中被按下至一半步幅时，执行图像拾取之前所需的多种步骤，包括曝 光条件(AE)的控制、自动聚焦(AF)等。然后，完全按下释放按钮15，以在已确定条件下拍 摄一个图像。在移动图像模式下，在完全按下释放按钮15时开始图像拾取。当第二次完全 按下释放按钮15时，终止记录。并且，麦克风(未示出)拾取在拍摄装置主体10的附近距 离处检测的声音或语音。在拍摄装置主体10的后表面上设置有取景器的目镜窗口 17、输入面板18和IXD 16。IXD 16显示操作菜单的多种图像和信息，所述图像包括从作为存储介质的存储器卡19 读取的记录图像、即时图像(Iiveimage)等等。在IXD 16的前表面上设置有柱状透镜(未 示出)以用于三维观看。目镜窗口 17连同物镜窗口 13 —起构成电子取景器。输入面板18包括操作模式选择器20、前进按钮21、倒转按钮22、变焦按钮23、用 于视图维度模式的视图选择器24、以及确认按钮25。当滑动操作模式选择器20时，针对 IXD 16上的图像设置操作模式中的所选的一个，所述模式包括再现模式、图像拾取的静止 图像模式、和图像拾取的移动图像模式。操作变焦按钮23以使透镜系统IlL和IlR中的 放大透镜移动以便朝着广角末端位置或长焦末端位置变焦。当操作视图选择器24时，设定 视图模式之一，所述视图模式包括用于通过透镜系统IlL和IlR之一进行图像拾取的二维 模式和用于通过其中的两者进行图像拾取的三维模式。在拍摄装置主体10的下表面上设置有可开门(未示出)。当该门打开时，出现开 口或插槽(未示出)，并且其用于以可移除方式装载存储器卡19、电池(未示出)等等。在图3中，分别在透镜系统IlL和IlR后面设置孔径光阑设备30L和30R。由透 镜系统IlL和IlR以及孔径光阑设备30L和30R构成透镜组件31L和31R。驱动机构32L 和32R分别与透镜组件31L和31R相关联。在驱动机构32L和32R中包括步进式电动机， 并且步进式电动机响应于用变焦按钮23生成的信号而使透镜系统IlL和IlR中的放大透 镜朝着广角末端位置和长焦末端位置之一移动。聚焦检测/测光单元33L和33R输出信号 以控制驱动机构32L和32R，以通过在光学轴上的移动使透镜系统IlL和IlR中的聚焦透镜 停在对焦位置。并且，由驱动机构32L和32R来驱动孔径光阑设备30L和30R打开和关闭 而调整孔径光阑的直径。在透镜组件31L和31R后面分别设置有CXD 34L和34R。CXD 34L和34R的示例是 对于读取中的逐行扫描而言兼容的行间转移C⑶图像传感器。CXD 34L和34R被设置为使 得通过透镜组件31L和31R的来自被摄物的图像光变得入射在其图像拾取表面上。在CXD 34L和34R的图像拾取表面上形成多个色段的颜色过滤器，例如贝尔样式中的原色过滤器。模拟信号处理器35L和35R中的每一个包括相关双采样设备(⑶S)、自动增益控制 设备(AGC)、和A/D转换器。⑶S在相关双采样中处理来自CXD 34L或34R的图像信号，以 去除可能由于CCD34L和34R引起的复位噪声和放大噪声。AGC以预定的输入增益将来自 CDS的图像信号放大。A/D转换器将已放大图像信号转换成预定位数的数字信号。
由用于诸如白平衡调整、伽玛修正等处理的多种功能的图像处理器(未示出)来 处理数字形式的图像信号。存在数据总线36，SDRAM37作为工作存储器与之相连。处理之 后的图像信号通过数据总线36来发送并被以临时的方式输入且写入SDRAM 37中。定时生成器(TG) 38L和38R生成来自CXD 34L和34R的驱动脉冲和用于模拟信号 处理器35L和35R的同步脉冲。驱动脉冲的示例包括垂直/水平扫描脉冲、电子快门脉冲、 读脉冲、复位脉冲等等。(XD34L和34R响应于来自定时生成器38L和38R的驱动脉冲而拍 摄图像，并以恒定的帧速率输出图像信号。根据来自定时生成器38L和38R的同步脉冲来 驱动包括在模拟信号处理器35L和35R中的元件。YC转换器39从SDRAM 37读取图像，并在YC转换中将R、G和B的信号转换成亮 度信号Y和色度信号Cr和Cb。压缩器/扩展器40以JPEG编码格式来压缩已转换的图像 数据。介质控制器41将压缩图像数据写入存储器卡19。写入存储器卡19的图像被介质控 制器41传送，以临时方式存储在SDRAM 37中，并随后被压缩器/扩展器40读取并在压缩 之前以图像的形式被扩展。请注意，以类似于CXD 34L和34R的方式安装SDRAM 37、YC转 换器39和压缩器/扩展器40的两种组合。出于简单目的，未描绘组合中的第二个。如果通过使用视图选择器24设定了二维模式，则操作CXD 34L和34R之一，例如， CXD 34L。如果设定了三维模式，则CXD 34L和34R都被驱动并同时输出图7的右眼图像和 左眼图像GL和GR。请注意，在本文中使用术语右眼图像和左眼图像来意指用于三维视图的右分量图 像和左分量图像，但并不意指人眼的图像。IXD驱动器42将YC转换器39中的YC转换之后的图像转换成模拟形式的复合信 号，并促使IXD 16显示即时图像。IXD驱动器42还促使IXD 16显示由压缩器/扩展器40 扩展的图像。在图像拾取的三维模式中或者对于根据三维模式获取的三维图像的再现，IXD驱 动器42向IXD 16输出复合图像，该复合图像通过逐行地以交替方式从右眼图像和左眼图 像GL和GR获取的两组条形区域而形成。在IXD 16的前面设置有柱状透镜，并且其通过将 右眼图像GR引向观看者的右眼并将左眼图像GL引向他或她的左眼来引起三维图像的显
7J\ οCPU 43通过控制总线(未示出)向三维拍摄装置2中的多种元件发送控制信 号，并且从所述元件接收应答信号以完全控制它们。除释放按钮15、输入面板18等之外， EEPROM 44还被连接到CPU 43，并存储用于控制的程序和简档信息。CPU 43从释放按钮15 接收输入信号，根据释放按钮15的一半和完全按下来执行多种元件的任务。由输入面板18 生成输入信号，以促使CPU 43驱动多种元件。并且，CPU 43将程序和数据从EEPROM 44读 取到内部RAM。聚焦检测/测光单元33L和33R检测被摄物的亮度和到被摄物的距离，以根据所 检测的亮度和距离来确定曝光量、白平衡修正量、和焦距。聚焦检测/测光单元33L和33R在显示即时图像的同时循环地操作。同时，根据 由聚焦检测/测光单元33L和33R确定的曝光量来激励驱动机构32L和32R，以控制孔径光 阑设备30L和30R的孔径直径。如果不能仅仅通过改变孔径直径来使曝光量最优化，则控 制CCD 34L和34R的电荷存储时间。
8聚焦检测/测光单元33L和33R开始检测亮度和距 离，并连续地向CPU 43发送检测结果。根据该检测结果，CPU 43控制闪光灯控制单元45、 透镜系统IlL和11R、孔径光阑设备30L和30R、CCD 34L和34R等等。视差检测设备46仅在三维模式下操作。视差检测设备46在YC转换之前从SDRAM 37读取右眼图像和左眼图像GL和GR，并以算术方式确定在右眼图像和左眼图像GL和GR 中共同存在的主要被摄物的特征点的视差的视差信息。在图4中，视差检测设备46包括被 摄物检测器50、特征点检测器51、相应点确定单元52、以及减法器53或算术确定单元。被摄物检测器50从左眼图像GL检测作为主要被摄物的人的脸部区域。为此，从 图像中的许多像素中提取具有肉色(flesh color)的候选像素。从图像中的提取像素集合 中获取肉色部分。根据众所周知的样式识别技术，在与脸部区域的模板信息的比较中检查 该肉色部分，以判断该部分是否构成脸部区域。如果该肉色部分具有等于或大于阈值的面 积，则提取该部分作为脸部区域。此外，使用众所周知的样式识别技术来提取脸部区域的特 定部位，诸如眼睛、鼻子、嘴等等。如果在左眼图像GL中存在多个人，则被摄物检测器50确定其中的一个人的主要 被摄物，该一个人例如在最近距离处的一个人，具有有最大面积的脸部区域，或距离图像的 中心处最近。如果在左眼图像GL中没有确定人，则被摄物检测器50从距离图像中心最近 的人之一确定主要被摄物。特征点检测器51根据来自被摄物检测器50的检测信号来提取一只眼睛(右眼) 的图7的瞳孔部分或虹膜部分EL作为出自作为主要被摄物的人的人脸部的特征点。对于 瞳孔部分或虹膜部分EL的提取，以与被摄物检测器50类似的方式使用作为众所周知的技 术的样式识别。相应点确定单元52根据特征点检测器51中的提取结果来检测与左眼图像GL中 的瞳孔部分EL相对应的右眼图像GR的瞳孔部分或虹膜部分ER(参见图7)。用于检测相 应点的方法示例包括块匹配法、KLT(Kanade Lucas Tomasi)跟踪方法等。将具有与特征点 的最高相关性的点确定为相应点。特征点检测器51和相应点确定单元52将右眼图像和左 眼图像GL和GR中的瞳孔部分EL和ER各自的信息输出到减法器53。对于像素位置，使用 X-Y坐标系统，其中，原点(0，0)在图像的左下角处，X轴是水平方向，并且Y轴是垂直方向。 如果总共存在1068X768个像素，则帧的右上角的点的坐标是(1067，767)。特征点和相应点可以是除以上瞳孔部分或虹膜部分EL之外的其它点。特征点能 够是像素，其中像素值在主要被摄物区域35内在表示特性上改变。特征点的优选示例是像 素值水平地和垂直地改变的角、端点处的像素。特征点和相应点可以是两个或更多点。提 取特征点的方法的示例是Harris算法、Moravec方法、Shi-Tomasi的方法等。如果在左眼 图像GL中未检测到脸部区域，则用以上方法来提取图像中心处的被摄物的特征点。减法器53确定来自特征点检测器51和相应点确定单元52的瞳孔部分EL和ER的 X和Y坐标的差ΔΧ和ΔΥ。请注意，差ΔΧ和Δ Y的单位是像素。Δ X是通过沿拍摄装置 主体10的纵向方向设置透镜系统IlL和IlR而产生的视差的视差信息。ΔΥ是通过与其光 轴垂直地设置透镜系统IlL和IlR而产生的视差的视差信息。除左眼图像GL之外，还可以 向被摄物检测器50和特征点检测器51输入右眼图像GR，以便确定被摄物和特征点。并且， 可以确定与投影变换和仿射变换有关的参数并将其作为视差信息输出，该参数被用于图像
9的平移、旋转、缩放、梯形变形等的几何变换。现在参照图5和6来描述通过在移动图像模式下向存储器卡19写入而进行的图 像拾取。在图5中，以由压缩器/扩展器40以运动JPEG格式压缩的形式来图示移动图像 模式和二维模式的移动图像文件的文件结构。在图6中，图示了移动图像模式和三维模式 的移动图像文件的文件结构。移动图像文件80和82分别包括报头区和图像数据区84和86。在每个报头区中， 写入文件元数据(流信息)和条件信息。图像数据区84和86中的每一个具有多个组块 (chunk)(块)作为用于包含移动图像的一定数目的帧。图5中的每个组块由一个流构成。 图6中的每个组块由三个流构成。在每个流中写入多种数据，首先包括数据流ID、和组块中 的图像数据的数据长度、以及一个帧的图像(更确切地说，是压缩图像数据)。文件元数据与在每个数据流中存在哪些信息有关，并包括定义和属性。该定义与 相应数据流的目的有关，并包括视图维度模式(图像类型)、再现时间、(再现时的)每个组 块的数据大小、(存储器卡19中图像相应帧的)起始地址等。属性包括数据流ID、分辨率、 压缩编码、视图维度模式、每个组块的帧数目等的信息。条件信息包括视点的数目、会聚角、 基线长度等的信息。在图5中，图像数据区84中的每个组块由被称为数据流1的一个流构成。在每个 数据流中，写入一个帧的左眼图像GL。从第一帧到作为最后一个帧的第η帧连续地记录左 眼图像GL。通过在帧之间进行交织来记录由麦克风拾取的声音(未示出)。定义的信息仅用于数据流1，并且包括作为视图模式的2D (二维)和作为图像类型 的左眼图像的信息。属性的信息包括数据流ID = 1、压缩编码=JPEG、视图模式=2D、每 个组块的帧数目=1等的信息。条件信息的视点的数目是1。未定义会聚角和基线长度。 对于静止图像模式和二维模式的设定，仅记录组块1。在图6中，图像数据区86中的每个组块由三个数据流构成，它们是数据流1、2和 3。在数据流1中，写入一个帧的左眼图像GL。在数据流2中，写入一个帧的右眼图像GR。 从第一帧到作为最后一个帧的第η帧连续地记录右眼图像和左眼图像GL和GR。由麦克风 拾取的声音被以预定间隔(例如一定数目组块一个)记录在数据流2和3之间的单独音频 流中(未示出)。修正信息88被写入数据流3，用于数据流1和2的右眼图像和左眼图像GL和GR。 修正信息88是通过改变由视差检测设备46的减法器53输出的视差信息ΔΧ和ΔΥ的正符 合和负符号而定义的值。修正信息88表示为了使右眼图像GR的相应点与左眼图像GL的 特征点配准而使右眼图像GR垂直地和水平地移位的像素的数目。请注意，修正信息88可 以由视差信息ΔΧ和Δ Y本身构成。具体地说，在仅通过在图7中的修正之前叠加右眼图像和左眼图像GL和GR而形 成的三维图像中，在右眼图像和左眼图像GL和GR中的特征点与相应点之间的瞳孔部分处 发生未配准的失配，视差信息的两个值ΔΧ和ΔΥ等于零(0)的情况除外。然而，能够根据 修正信息88对失配进行补偿，以如图7的下半部分所示使右眼图像和左眼图像GL和GR之 间的相应点与特征点配准。由IXD驱动器42来执行用于使右眼图像和左眼图像GL和GR中的相应点与特征 点配准的修正。因此，以明显地以在背景中突出的方式或缩回的方式观看除特征点和相应
10点外的部分的方式，形成并由观看者观看三维图像。用于数据流1和2的定义信息包括作为视图模式的3D(三维)和作为图像类型的 右眼图像或左眼图像的信息。属性的信息包括数据流ID = 1或2或3、压缩编码=JPEG、 视图模式=3D、每个组块的帧数目=2等的信息。条件信息包括视点的数目=2、会聚角= 1. 5度、基线长度=60mm等的信息。对于静止图像模式和三维模式两者的设定，仅记录组块 1。图5的移动图像文件的文件结构与以本领域中众所周知的运动JPEG格式压缩的 单视点的移动图像相同。相比之下，图6的移动图像文件82的文件结构采取通过在一个组 块中使右眼图像和左眼图像GL和GR中的每个图像集合(立体对)与其修正信息88相交 织而记录的形式。现在描述三维拍摄装置2的操作。首先，操作电源开关14，以对三维拍摄装置2进 行供电以便拍摄。对操作模式选择器20进行操作，以选择静止图像模式和移动图像模式之 一。用视图选择器24来选择三维模式。除CCD 34R的不活动状态不同之外，二维模式的操 作基本上与三维模式的相同。通过透镜组件3IL和3IR进入的图像光聚焦在CXD 34L和34R的图像拾取表面上， CXD 34L和34R输出图像信号。由模拟信号处理器35L和35R来处理由CXD 34L和34R输 出的图像信号以进行相关双采样、放大、以及A/D转换。通过模拟信号处理器35L和35R中的处理产生的图像通过数据总线36被输入到 SDRAM 37，并被临时存储。YC转换器39在简化YC转换中转换从SDRAM 37读取的图像。然 后，所述图像被IXD驱动器42转换成复合信号并且在IXD 16上被显示为即时图像。在显示即时图像的同时将释放按钮15按下一半。聚焦检测/测光单元33L和33R 检测被摄物的亮度和到被摄物的距离，以确定曝光量、白平衡修正量、以及焦距(用于聚 焦的聚焦透镜的移动距离)。CPU 43响应地控制透镜系统IlL和11R、孔径光阑设备30L和 30R、以及(XD34L和34R的操作，以准备进行图像拾取。当释放按钮15被完全按下时，用确定的曝光量拍摄图像。SDRAM37中的YC转换之 后的图像被压缩器/扩展器40压缩，并由介质控制器41写入存储器卡19。在移动图像模式下，以高达每秒30帧的恒定帧速率连续地创建并写入图像，直至 释放按钮15下一次被完全按下为止。同时，由麦克风来拾取附近区域的声音。在图8中，在步骤10中选择移动图像模式和三维模式。释放按钮15被完全按下， 以在步骤Sll中开始拍摄移动图像。驱动视差检测设备46，以在YC转换之前将右眼图像和 左眼图像GL和GR从SDRAM37读取到视差检测设备46。在步骤S12中，以算术方式来确定 在右眼图像和左眼图像GL和GR中存在的共同主要被摄物的特征点的视差信息。在图9中，在步骤S20中，被摄物检测器50从左眼图像GL中检测人的脸部区域。 然后，在步骤S21中，特征点检测器51提取脸部区域中的瞳孔部分或虹膜部分EL。在步骤 S22中，相应点确定单元52检测与左眼图像GL中的瞳孔部分EL相对应的右眼图像GR中的 瞳孔部分或虹膜部分ER。然后，减法器53确定在瞳孔部分EL和ER的X和Y坐标中的差 ΔΧ和ΔΥ。在步骤S23中，该差被作为视差信息输出到介质控制器41。在确定视差信息之后，在步骤S 13中，在YC转换中右眼图像和左眼图像GL和GR 被YC转换器39转换，并被压缩器/扩展器40以运动JPEG格式进行压缩。参见图8。经压缩的右眼图像和左眼图像GL和GR被输入到介质控制器41。介质控制器41在存储器卡19中形成图6的移动图像文件82的文件结构，并将文 件元数据和条件信息写入报头区。并且，相对于图像数据区86中的每个组块，介质控制器 41操作以便在步骤S14中进行交织记录以根据来自视差检测设备46的视差信息，将左眼图 像GL写入数据流1、将右眼图像GR写入数据流2、并将修正信息88写入数据流3。重复此 过程，直至终止移动图像的图像拾取为止(步骤S15中的“是”)。移动图像文件被记录在 存储器卡19中，其中用于图像集合的多个组块作为包含右眼图像和左眼图像GL和GR及修 正信息88的块。为了再现以三维模式记录的移动图像文件82，通过IXD驱动器42中的修正以便根 据组块的修正信息88使右眼图像和左眼图像GL和GR中的特征点与相应点配准，来连续地 在IXD 16上显示每个组块的右眼图像和左眼图像GL和GR。由于根据MPEG格式的运动估计由帧相关性处理创建的B帧或P帧不存在，因此可 以以清晰的形式观看具有高质量的三维图像。由于使一个图像集合(立体对)的右眼图像 和左眼图像GL和GR与一个组块相关联，所以在右眼图像和左眼图像GL和GR之间不发生 显示的时间迟滞。虽然对于在数据方面具有相对低精度的B帧或P帧而言不能以MPEG格 式获取精确的修正信息，但在本发明中，由于没有因压缩而引起的损耗，所以可以根据右眼 图像和左眼图像GL和GR来准确地获取修正信息88。在图10中，具有移动图像编码器的移动图像记录装置60包括数据接口 61、内部存 储介质62、记录控制单元63、显示控制单元65和三维显示设备66。移动图像文件通过数据 接口 61被从存储器卡19中检索，被写入内部存储介质62，并以MPEG格式被编码。然后，记 录控制单元63将移动图像文件写入诸如DVD、BD等的可移除存储介质64。显示控制单元 65促使三维显示设备66三维地显示移动图像。此外，移动图像记录装置60通过数据接口 61来传送移动图像文件，以便向网络进行视频流式传输。CPU 67控制移动图像记录装置60中的多种元件。数据总线68将它们连接到CPU 67。输入接口 69中操作中用于生成命令信号。由CPTO7向应于该命令信号来访问存储器 70。由CPU 67从存储器70读取数据和程序，其通过运行所述程序来执行用于控制多种元 件的任务。图像处理器71从内部存储介质62读取移动图像文件，并在受CPU67控制的同时 执行图11中的移动图像文件的多种处理任务。在步骤S30中，图像处理器71以JPEG格式 扩展移动图像文件。在图6的移动图像文件存在修正信息88的情况下，图像处理器71根 据修正信息88来修正每个图像集合(立体对)的右眼图像GR，以使右眼图像和左眼图像 GL和GR中的相应点与特征点配准，其采取与三维图像拍摄装置2中的LCD驱动器42类似 的方法。如果是图5的移动图像文件中不存在修正信息88的情况，则不执行修正。然后，在步骤S32中，以由CPU 67确定的数据速率，即每秒再现的帧数目，再次在 MPEG编码中压缩移动图像文件。MPEG编码可以是移动图像领域中众所周知的方法。最后，将初始移动图像文件的文件元数据和条件信息写入以MPEG格式压缩的移 动图像文件的报头区。参见步骤S33。这样，以MPEG格式对运动JPEG格式的移动图像文件 进行编码。由图像处理器71获取的MPEG格式的移动图像文件90具有图12的文件结构。移
12动图像文件90在结构上类似于如图5和6所示的运动JPEG格式的移动图像文件80和82。 通过重写运动JPEG格式的移动图像文件80和82中的报头区中的多种集合的信息来形成 报头区中的多种集合的信息。图像数据区92具有多个组块(GOP)。以类似于图6的数据的方式，在数据流1和 2中交替地设置图像的图像集合。使图像的四个图像集合与每个组块相关联，即作为分量图 像的八个帧。一个组块具有用于右侧和左侧的一个I帧、一个P帧和两个B帧。请注意，通 过根据运动估计的帧相关性处理来产生对应于B帧和P帧的第二帧和第三帧，并且其不同 于图6的第二帧和第三帧。移动图像记录装置60通过使用由图像处理器71以MPEG格式编码的移动图像文 件90进行操作以进行记录、三维显示、和网络中的视频流式传输。由于运动JPEG格式的移 动图像文件82采取与图12的MPEG格式的移动图像文件90的文件结构类似的文件结构， 所以可以顺利地对移动图像文件82进行编码。由于在根据修正信息88的修正之后以MPEG 格式对数据进行编码，所以甚至能够精确地修正B帧和P帧，这与不可能有精确修正的已知 技术不同。虽然以已知技术的方式，在B帧和P帧的图像质量方面存在轻微下降，但根据本 发明，由于修正中的高精度，可以对图像质量的下降进行补偿。通过在图像处理器71中运行控制程序来执行步骤S30至S33的任务。然而，能够 准备硬件或设备并且将其用于执行那些任务。并且，可以由程序的操作来执行三维拍摄装 置2中的视差检测设备46的任务。通过使用程序来执行任务在高兼容性方面是有效的，因 为能够仅仅通过添加或交换程序来利用没有新功能的装置的构造。在以上实施例中，静止图像压缩编码的格式是JPEG格式。移动图像压缩编码的格 式是MPEG格式。然而，能够使用其它编码格式作为替代，例如GIF格式、H. 246格式等。根据以上实施例，视点的数目是两个，但可以是三个或更多，例如四个。在一个组 块中使来自多个视点的分量图像与修正信息相关联，以便以类似于以上实施例的方式构成 移动图像文件。在以上实施例中，在三维拍摄装置中透镜系统的基线长度和会聚角是固定的。然 而，它们能够是可变的。可以用传感器来检测基线长度或会聚角，或者手动地输入基线长度 或会聚角，以根据其中的任何一个来调整条件信息。虽然已参照附图借助于本发明的优选实施例全面地描述了本发明，但多种变更和 修改对于本领域的技术人员来说将是显而易见的。因此，除非这些变更和修改脱离本发明 的范围，否则应将其视为被包括在其中。
权利要求
一种用于三维移动图像的移动图像文件的移动图像记录方法，包括以下步骤确定在从多个视点同时捕捉的图像集合中的图像中共同存在的一个主要被摄物的视差的视差信息；以静止图像压缩编码来压缩所述图像，以便单独地对所述图像集合中的所述图像进行编码，以获取压缩图像数据；以及将由多个块构成的所述移动图像文件记录在存储介质中，所述多个块中的每个块包括所述图像集合中的所述压缩图像数据和所确定的所述视差信息。
2.如权利要求1所述的移动图像记录方法，还包括以下步骤在所述确定步骤之前，周 期性地捕捉所述图像集合中的所述图像。
3.如权利要求2所述的移动图像记录方法，其中，所述图像集合中的所述图像是右眼 图像和左眼图像。
4.如权利要求3所述的移动图像记录方法，其中，所述确定步骤包括 检测所述右眼图像和左眼图像中的所述被摄物；从所述右眼图像和左眼图像中的特定的一个中检测所述检测到的被摄物的特征点； 从所述右眼图像和左眼图像中的剩余图像中检索对应于所述特征点的相应点；以及 确定所述特征点与所述相应点的像素位置之间的差，以获取所述视差信息。
5.如权利要求4所述的移动图像记录方法，其中，所述被摄物是人的脸部区域。
6.如权利要求5所述的移动图像记录方法，其中，所述特征点和所述相应点是所述人 的所述脸部区域中的瞳孔部分或虹膜部分。
7.如权利要求2所述的移动图像记录方法，其中，所述静止图像压缩编码是JPEG编码。
8.如权利要求1所述的移动图像记录方法，还包括以下步骤 扩展从所述存储介质读取的所述移动图像文件；根据所述块中每个块的所述视差信息来修正所述扩展图像文件，以使所述图像集合中 的所述视差信息最小化；以及根据移动图像压缩编码来压缩所述已修正图像文件，所述移动图像压缩编码用于根据 所述图像之间的相关性信息来进行顺序压缩。
9.如权利要求8所述的移动图像记录方法，其中，所述移动图像压缩编码是MPEG编码。
10.一种用于三维移动图像的移动图像文件的移动图像记录装置，包括多个图像传感器，用于同时从多个视点捕捉图像，以生成图像集合中的所述图像； 视差检测设备，用于确定所述图像集合中的所述图像中共同存在的一个主要被摄物的 视差的视差信息；压缩器，用于以静止图像压缩编码来压缩所述图像，以便单独地对所述图像集合中的 所述图像进行编码，以获取压缩图像数据；以及记录控制单元，用于将由多个块构成的所述移动图像文件记录在存储介质中，所述多 个块中的每个块包括所述图像集合的所述压缩图像数据和所确定的所述视差信息。
11.如权利要求10所述的移动图像记录装置，还包括扩展设备，用于扩展从所述存储介质读取的所述移动图像文件； 修正设备，用于根据所述块中每个块的视差信息来修正来自所述扩展设备的所述扩展 图像文件，以使所述图像集合中的所述视差信息最小化；以及移动图像压缩器，用于根据移动图像压缩编码来压缩来自所述修正设备的所述已修正 图像文件，所述移动图像压缩编码用于根据所述图像之间的相关性信息来进行顺序压缩。
12.一种用于三维移动图像的移动图像文件的移动图像编码方法，包括以下步骤 确定在从多个视点同时捕捉的图像集合中的图像中共同存在的一个主要被摄物的视差的视差信息；以静止图像压缩编码来压缩所述图像，以便单独地对所述图像集合中的所述图像进行 编码，以获取压缩图像数据；将由多个块构成的所述移动图像文件记录在存储介质中，所述多个块中的每个块包括 所述图像集合中的所述压缩图像数据和所确定的所述视差信息； 扩展所述记录的移动图像文件；根据所述块中每个块的所述视差信息来修正所述扩展图像文件，以使所述图像集合中 的所述视差信息最小化；以及根据移动图像压缩编码来压缩所述已修正图像文件，所述移动图像压缩编码用于根据 所述图像之间的相关性信息来进行顺序压缩。
13.一种用于三维移动图像的移动图像文件的移动图像编码器，包括视差检测设备，用于确定同时从多个视点捕捉的图像集合中的图像中共同存在的一个 主要被摄物的视差的视差信息；压缩器，用于以静止图像压缩编码来压缩所述图像，以便单独地对所述图像集合中的 所述图像进行编码，以获取压缩图像数据；记录控制单元，用于将由多个块构成的所述移动图像文件记录在存储介质中，所述多 个块中的每个块包括所述图像集合中的所述压缩图像数据和所确定的所述视差信息； 扩展设备，用于扩展从所述存储介质读取的所述移动图像文件； 修正设备，用于根据所述块中每个块的所述视差信息来修正来自所述扩展设备的所述 扩展图像文件，以使所述图像集合中的所述视差信息最小化；以及移动图像压缩器，用于根据移动图像压缩编码压缩来自所述修正设备的所述已修正图 像文件，所述移动图像压缩编码用于根据所述图像之间的相关性信息来进行顺序压缩。
全文摘要
本发明提供了用于三维移动图像的移动图像文件的移动图像记录方法、移动图像记录装置、移动图像编码方法和移动图像编码器。该移动图像记录装置包括用于确定在用于三维移动图像的流的图像集合之中的来自多个视点的图像集合的图像中共同存在的一个主要被摄物的视差的视差信息的视差检测设备。压缩器以静止图像压缩编码来压缩图像以便单独地对三维移动图像中的图像进行编码，以获取压缩图像数据。记录控制单元将由多个块构成的移动图像文件记录在存储介质中，所述多个块中的每个块包括图像集合的压缩图像数据和来自视差检测设备的视差信息。优选地，所述被摄物是人的脸部区域。所述静止图像压缩编码是JPEG编码。
文档编号H04N13/00GK101959042SQ201010232980
公开日2011年1月26日 申请日期2010年7月16日 优先权日2009年7月16日
发明者中村敏, 渡边干夫 申请人:富士胶片株式会社