压缩编码装置、解压缩解码装置的制作方法

专利名称：压缩编码装置、解压缩解码装置的制作方法
技术领域：
本发明涉及应用于对在多视点上所拍摄的图像进行编码/解码的装置 和方法等中十分有效的技术。
背景技术：
近些年来，应用在多视点中同时拍摄的动态图像的技术受人瞩目。 通过使用这种动态图像，以往在立体照相机系统中无法实现的技术得以 实现。例如，可以不使用立体显示器而由用户以自由的视点来观看相机 动态图像。具体而言，通过在多视点同时拍摄演唱会的情形，用户可以 不仅从一个视点观看演唱会的状况，还能从横向和后方等任意的视点来 鉴赏。
但一般动态图像的信息量非常大。因此，不压縮动态图像的数据来 进行媒体蓄积和网络传输，在传输速度和成本方面十分不利。因而，已 开发有用可逆或者不可逆的方式对动态图像数据进行压縮编码的技术。
例如，用Moving Picture Experts Group (MPEG)所标准化的MPEG-1 、 MPEG-2、 MPEG-4等。
但伴随同时进行拍摄的视点数量增加(相机台数增加)，动态图像的 数量也增加。因此，相比使用单一的相机拍摄的动态图像的数据量，在 多视点同时拍摄的动态图像的总数据量增大。所以，希望出现一种能高 效地对在多视点同时拍摄的动态图像的数据进行压縮编码的技术。
对于这种问题，提出了通过使用在各视点中所拍摄的动态图像之间 的相关性，从而提高预测效率的技术。在这些技术中，伴随预测效率的 提高，编码效率也提高。所谓在各视点中所拍摄的动态图像之间的相关 性，指反映在某视点的相机中的物体和背景的一部分也反映于其他视点 的相机中的情况。例如如果比较相机m中的帧和相机n中同一时刻的帧，
则具有两个相机在相近的位置拍摄相近的方向的情况、拍摄相同物体和 相同背景的情况。因此，通过将这种用不同相机在相同时刻拍摄的帧看 作为用相同的相机所拍摄的帧，可以进行使用了动作矢量的预测编码。
例如相比以前那样的仅使用相同相机(相机n)所拍摄的帧对相机n的帧 进行动作预测编码的情况，还使用其他相机(相机m)的帧来进行动作 预测编码的情况可以提高编码效率。此时，动作矢量相当于两个相机之 间的视差。作为这种技术的例子具有专利文献1~7。
专利文献h日本特开2001-186516号公报
专利文献2:日本特表2002-523943号公报
专利文献3:日本特开2002-300607号公报
专利文献4:日本特许3426668号公报
专利文献5:日本特开平06-98312号公报
专利文献6:日本特幵平10-191394号公报
专利文献7:日本特开2000-23918号公报
但是，为了提高视差预测的效率，需要设定最合适的基准相机。所 谓基准相机是指拍摄用于相机间的预测的帧的相机。并且，将除此以外 的相机称为参照相机。以往停留于仅根据各视点相机的配置信息设定基 准相机，没有提出过有效的设定基准。因而没有充分实现编码效率的提 高。
图9、 10是表示以往的技术的问题点的图。使用图9、 IO说明现有 技术的问题点。在图9中，三个三角形分别表示相机C1、 C2、 C3。而且 在图9中，排列在相机的移动方向上的三个椭圆表示被摄体。并且，相 机C1、 C2、 C3分别一边向右方向移动一边在摄像方向上拍摄。图10是 表示在各时刻T (n-l)、 T (n)、 T (n+l)各相机C1、 C2、 C3所拍摄的 帧(a) ~ (i)的例子的图。
研究一下仅根据相机C1的时刻T (n-l)的帧(b)来预测作为相同 相机的相机Cl的时刻T (n)的帧(b)的情况。该情况下，右端的被 摄体A没有拍摄到用于预测的帧(a)中。因此，预测效率降低。另一方 面，该时刻T (ri)的相机C2的帧(e)中拍摄有被摄体A。所以如果用
该帧(e)来预测帧(b)，则预测效率提高。
再研究一下使用时刻T (n)的相机Cl的帧(b)来视差预测相机 C2的同时刻T (n)中的帧(e)的情况。该情况下，拍摄于帧(e)中的 被摄体C的右侧部分没有拍摄于帧(b)中，因而预测效率不提高。这样， 与预测效率在想要从帧(b)来视差预测帧(e)的情况下得到提高的情 况不同，即使想要从帧(e)来视差预测帧(b)也不会提高预测效率。
这样，为了提高预测效率，需要根据该相机所拍摄的帧的状态来选 择最适用于预测的帧。

发明内容
因而本发明的目的在于，解决这些课题，通过选择最适用于预测的 帧，从而提供一种可以提高预测效率、编码效率的装置和方法。
为了解决上述课题，本发明采取如下结构。本发明的第一方式是一 种压縮编码装置，该压縮编码装置对用多台相机所拍摄的帧进行压縮编 码，该多台相机包括通过仅使用了本身所拍摄的帧的动作预测来对本身 所拍摄的帧进行压縮编码的基准相机、和通过使用了本身所拍摄的帧的 动作预测和使用了其他的相机所拍摄的帧的动作预测来对本身所拍摄的 帧进行压縮编码的参照相机，该压縮编码装置包含确定单元、压縮编码 单元、预测信息制作单元和合成单元。
确定单元在对参照相机所拍摄的帧进行压縮编码时，根据在拍摄成 为处理对象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预 测的其他的相机的帧。
压縮编码单元对于参照相机所拍摄的帧，通过使用了确定单元所确 定的其他相机的帧和该参照相机所拍摄的其他帧的动作预测来进行压縮 编码。另外，压縮编码单元对于基准相机所拍摄的帧，通过帧内预测或 者仅使用了该基准相机所拍摄的其他帧的动作预测来进行压縮编码。换 言之，压縮编码单元对于基准相机所拍摄的各帧，通过与仅使用由相同 相机所拍摄的帧来进行动作预测的现有方法相同的方法，进行压縮编码。
预测信息制作单元生成预测信息，该预测信息包含表示各帧是基准
相机所拍摄的帧还是参照相机所拍摄的帧的信息，和针对参照相机所拍 摄的帧，将该帧与用于动作预测的其他帧对应起来的信息。
合成单元生成一个动态图像数据，该一个动态图像数据包含由基准 相机所拍摄的多个编码后的帧、由参照相机所拍摄的多个编码后的帧和 动作预测信息。
根据这样构成的本发明的第一方式，通过确定单元根据以前所拍摄 的帧中的被摄体的动作来确定对参照相机所拍摄的帧进行压縮编码时用 于动作预测的帧。而且通过使用了由确定单元所确定的帧的动作预测， 对参照相机所拍摄的该帧进行压縮编码。因此，根据被摄体在过去的帧 中的动作来确定用于动作预测的最合适的帧，可以实现预测效率、编码 效率的提高。
并且，本发明的第一方式的确定单元还可以构成为按照在拍摄成为 处理对象的帧之前所拍摄的帧中实施的动作预测时所获得的动作矢量的 朝向来判断被摄体的动作，确定用于动作预测的其他相机的帧。
并且，本发明的第一方式的确定单元还可以构成为对于拍摄了成为 处理对象的帧的参照相机，将设置在与在拍摄成为处理对象的帧之前所 拍摄的帧中实施的动作预测时所获得的动作矢量的朝向相反的方向上的 其他相机所拍摄的帧确定为用于动作预测的帧。通过这样构成，可以使 用与处理对象的帧的相关性更高的帧来进行动作预测。因此，可以实现 预测效率、编码效率的提高。
并且，本发明的第一方式还可以构成为该压縮编码装置还具有以规 定周期来判断应将多台相机中哪个相机判定为基准相机的基准相机判断 单元。通过这样构成，可以准确地选择基准相机，确定用于动作预测的 最合适的帧，可以实现预测效率、编码效率的提高。
并且，本发明的第一方式的基准相机判断单元还可以构成为根据在 拍摄成为处理对象的帧之前所拍摄的帧中的被摄体的动作来确定基准相 机。
并且，本发明的第一方式的基准相机判断单元还可以构成为按照在 拍摄成为处理对象的帧之前所拍摄的帧中实施的动作预测时所获得的动
作矢量的朝向来判断被摄体的动作，确定基准相机。
并且，本发明的第一方式的动作预测信息制作单元还可以构成为在 动作预测信息中包含有对由参照相机所拍摄的帧不实施使用由其他相机 所拍摄的帧的动作预测而进行压縮编码的时间的信息。
本发明的第二方式是对由作为本发明的第一方式的压縮编码装置所
制作的动态图像数据进行解压縮解码的解压縮解码装置，包含判断单元 和解压縮解码单元。
判断单元从动态图像数据中提取出动作预测信息，判断各帧是由基 准相机还是参照相机所拍摄的帧。并且，解压縮解码单元对于由判断单 元判断为是基准相机所拍摄的帧的帧，通过仅基于由相同的相机所拍摄 的其他帧的动作预测进行解压縮解码，对于由判断单元判断为是参照相 机所拍摄的帧的帧，通过基于由相同的相机所拍摄的其他帧和由其他相 机拍摄的帧的动作预测进行解压縮解码。
第一方式和第二方式都可以通过由信息处理装置执行程序来实现。 即，本发明可以特定为用于使信息处理装置执行上述第一方式和第二方 式的各单元所执行的处理的程序或者记录了该程序的记录介质。另外， 本发明还可以特定为信息处理装置执行上述各单元所执行的处理的方 法。
根据本发明，可以确定用于动作预测的最合适的帧，实现预测效率、 编码效率的提高。


图1是表示基准相机所拍摄的各帧的预测编码方法和参照相机所拍 摄的各帧的预测编码方法的图。
图2是表示动态图像数据的结构例的图。 图3是表示压縮编码装置的功能框的例子的图。 图4是表示基准相机确定处理和参照目的地确定处理的处理例的流 程图。
图5是表示相机的配置例的图。
图6是表示各相机是否为基准相机以及为参照相机时成为参照目的 地的帧为哪个基准相机的表。
图7是表示解压縮解码装置的功能框的例子的图。
图8是表示解码相机判断处理的处理例的流程图。
图9是表示现有技术的问题点的图。
图IO是表示现有技术的问题点的图。
符号说明
1压縮编码装置
101输入帧缓冲器
102减法器
103 DCT量子化部
104 IDCT逆量子化部 105加法器
106帧缓冲器
107动作/视差矢量补偿部
108可变长度编码部
109头附加部
110控制部
2解压縮解码装置
201头解析部
202编码动态图像缓冲器
203可变长度解码部
204 IDCT逆量子化部
205加法器
206显示动态图像缓冲器 207帧缓冲器 208动作/视差矢量补偿部 209控制部
具体实施方式
[原理]
首先，说明本发明中的预测编码的方法的原理。图1是表示基准相 机所拍摄的各帧的预测编码方法和参照相机所拍摄的各帧的预测编码方 法的图。在图1中，位于箭头根部的帧通过参照位于箭头尖部的帧来进 行预测编码。
I帧表示进行帧内编码的帧。I帧一概不参照其他帧来进行编码。P 帧表示前方向时间预测编码帧。P帧是由相同相机所拍摄的帧，通过参照 位于时间上之前的I帧或者其他的P帧来进行预测编码。通过这样参照 相同相机所拍摄的其他帧来进行预测编码的情况在下面称为"动作预测
编码"。B帧表示双向时间预测编码帧。B帧是由相同相机所拍摄的帧，
通过参照位于时间上之前的I帧或者p帧和位于时间上之后的I帧或者p
帧来进行预测编码。I帧、P帧、B帧的概念与MPEG-1、 2、 4相同。
r帧通过仅参照由基准相机所拍摄的同时刻的I帧而进行预测编码。
这种通过参照由其他相机所拍摄的帧来进行预测编码的情况在下面被称 为"视差预测编码"。P'帧通过参照基准相机所拍摄的同时刻的P帧和作 为相同相机所拍摄的帧且位于时间上之前的I'帧或者其他的P'帧来进行 预测编码。B'帧通过参照基准相机所拍摄的同时刻的B帧、作为相同相
机所拍摄的帧且在时间上位于之前的r帧或者p'帧、以及作为相同相机 所拍摄的帧且在时间上位于之后的r帧或者p'帧来进行预测编码。
接着，说明用本发明的预测编码制作的动态图像数据的结构。图2 是表示动态图像数据的结构例的图。动态图像数据包含SEQH和GOP。 SEQH插入于GOP (Group of pictures)的全部相机单位中。SEQH (n) 表示以下连接的GOP为第n个GOP。 SEQH包含相机总数、各相机的视 差预测方式(即，拍摄了各帧的相机是基准相机和参照相机之中的哪个)、 表示各参照相机中的参照目的地的相机的识别符。GOP是对沿时间轴排 列的帧分组后的数据。GOP (m、 n)表示相机m的第n个GOP。
一个GOP包含GOPH和多个Frame。 GOPH是GOP的头信息。GOPH 包含表示拍摄了该帧的相机的识别符、未进行视差预测的时间信息(从
GOP开头起的帧号码相对值)。Frame是被编码的帧的数据。
一个Frame中包含Frame Header和多个MB (Macro Block)。 Frame Header是帧的头信息。Frame Header包含该帧的预测类别(1、 P、 B、 I'、 P'、 B')。 MB表示宏块信息。
各MB包含MBType、 MV和DCTCoeff。 MBType包含各宏块的预 测类别(Intra, Inter, Bi-Direction)和量子化系数。预测类别还包括在单 向预测(Inter)和双向预测(Bi-Direction)中进行参照的帧的识别符。 预测类别在单向预测时包含一个识别符，在双向预测时包含两个识别符。 MV是矢量信息。下面将该矢量信息区分为动作矢量和视差矢量来描述。 所谓动作矢量表示相同相机所拍摄的帧之间的矢量信息，所谓视差矢量 表示不同相机所拍摄的帧之间的矢量信息。DCTCoeff是预测误差的量子 化DCT系数信息。
接着，说明通过对各相机所拍摄的动态图像进行压縮编码来生成上 述那样的动态图像数据的压縮编码装置1和对由该压縮编码装置1生成 的动态图像数据进行解码的解压縮解码装置2。
首先，说明压縮编码装置1的结构例。压縮编码装置1在硬件上具 有经由总线连接的CPU (中央运算处理装置)、主存储装置(RAM)、辅 助存储装置等。辅助存储装置使用非易失性存储装置来构成。此处所说 的非易失性存储装置指所谓的ROM (Read-Only Memory:包含EPROM
(Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory),掩模ROM等)、FRAM
(Ferroelectric RAM)、硬盘等。
图3是表示压縮编码装置1的功能框的例子的图。压縮编码装置1 将存储在辅助存储装置中的各种程序(OS、应用等)加载到主存储装置 中，并使用CPU执行，从而作为包含输入帧缓冲器101、减法器102、 DCT量子化部103、 IDCT逆量子化部104、加法器105、帧缓冲器106、 动作/视差矢量补偿部107、可变长度编码部108、头附加部109和控制部 110等的装置而发挥作用。DCT量子化部103、 IDCT逆量子化部104、
动作/视差矢量补偿部107、可变长度编码部108、头附加部109和控制部 IIO通过由CPU执行程序来实现。另外，DCT量子化部103、 IDCT逆量 子化部104、动作/视差矢量补偿部107、可变长度编码部108、头附加部 109和控制部110也可以构成为专用的芯片。接着，说明压縮编码装置l 包含的各功能部分。 <输入帧缓冲器〉
输入帧缓冲器101对输入给压縮编码装置1的动态图像进行缓存。 压縮编码装置1被输入基本相机拍摄的动态图像、参照相机拍摄的动态 图像。因此，输入帧缓冲器101缓存基本相机拍摄的动态图像和参照相 机拍摄的动态图像。输入帧缓冲器101按照来自控制部110的指示，以 各相机的编码处理单位输出帧数据。所谓编码处理单位，既可以是1帧， 也可以是1G0P (Group of Pictures)那样的多帧。下面将输入帧缓沖器 101所输出的帧、即成为压縮编码的处理对象的帧称为输入帧。
<减法器〉
减法器102计算输入帧和基于动作补偿及视差补偿的预测信息之间 的差值，将该结果作为预测差值信息输出。 < DCT量子化部>
DCT量子化部103进行DCT (Discrete Cosine Transform)运算、量 子化运算。DCT量子化部103以块单位对减法器102所计算出的预测差 值信息进行DCT运算，将DCT系数量子化，输出作为其结果的量子化 DCT系数。
〈IDCT逆量子化部〉
IDCT逆量子化部104进行IDCT (Inverse Discrete Cosine Transform) 运算(下面称为"逆DCT运算")、逆量子化运算。IDCT逆量子化部104 进行量子化DCT系数的逆量子化和逆DCT运算，得到逆DCT运算结果。
<加法器〉
加法器105对逆DCT运算结果和基于动作补偿及视差补偿的预测结 果进行相加，生成本地解码动态图像。 <帧缓冲器〉
帧缓冲器106蓄积本地解码动态图像。另外，帧缓冲器106按照来 自控制部110的指示，输出由所指定的相机动态图像所指定的帧。下面 将帧缓冲器106输出的帧、即用于动作预测和视差预测的帧称为预测方 帧。
<动作/视差矢量补偿部>
动作/视差矢量补偿部107按照来自控制部110的指示，使用输入帧 和预测方帧进行基于块匹配的预测。动作/视差矢量补偿部107将动作矢 量信息和视差矢量信息输出给可变长度编码部108。另外，动作/视差矢 量补偿部107将预测信息输出给减法器102。动作矢量信息和视差矢量信 息以及预测信息用于使预测误差最小化。而且，动作/视差矢量补偿部107 将帧整体的动作矢量信息输出给控制部IIO。所谓动作矢量信息，例如是 所有块中的动作矢量信息的平均和方差等。
<可变长度编码部>
可变长度编码部108通过使量子化的结果进行可变长度编码，生成 被压縮编码的帧的数据。另外，将用于动作补偿的动作矢量信息和用于 视差补偿的视差矢量信息交给头附加部109。
<头附加部>
头附加部109通过将相机号码、相机类别(基准相机或者参照相机)、 要参照的其他相机等的信息附加在被压縮编码后的各帧或者多帧单位 上，从而生成动态图像数据。
<控制部>
控制部110进行各相机所拍摄的动态图像的编码控制、基准相机的 确定(基准相机确定处理)、为了参照相机所拍摄的帧的预测编码而对要 参照的帧进行确定(参照目的地确定处理)等。另外，控制部110连接 成可对各功能部进行指示。另外，从外部向控制部110输入有各相机的 参数(关于各相机的配置信息)。配置信息可以是各相机的绝对位置也可 以是相对位置。下面说明基准相机确定处理和参照目的地确定处理。
图4是表示基准相机确定处理和参照目的地确定处理中的控制部110 的动作例的流程图。使用图4说明控制部110的动作例。而且，下面的
17
处理以一组GOP单位来执行。即，以由一个SEQH所归纳的多个GOP 单位来执行图4的处理。
首先，控制部110判断在之前的GOP的最后帧中是否产生了平移 (Panning) (SOl)。控制部110例如根据之前的GOP的最后帧中的动作 矢量信息(例如在整块中的动作矢量信息的平均和方差等)判断平移的 产生。换言之，根据该最后帧中所拍摄的被摄体在图像内的动作，判断 平移的产生。此时，控制部110判断横向的动作矢量的平均值是否在阈 值以上而且方差是否在阈值以下。在满足该两个条件的情况下，控制部 110判断为产生了平移。另一方面，这两个条件都没有满足的情况下，控 制部110判断为没有产生平移。
当判断为没有产生平移时(S01"否")，控制部110计算C(N/2土nK), 将对应该计算结果的相机作为基准相机(S03)。而且，C (m)是表示第 m个相机的识别符，假定数字以排列的顺序被分配到朝一个方向排列的 多个相机上。另外，N表示相机总数。而且，n表示0以上的整数。并且， K的值是表示正值的值，是根据相机间的间隔和相机与被摄体之间的距 离等而由设计者适当设定的值。该情况下，将相机列的中心以及从中心 起等间隔(K)位于左右两个方向上的相机设定为基准相机。
然后，确定成为处理对象的GOP所含的帧中用于对参照相机所拍摄 的帧进行预测编码的参照目的地帧。此时，控制部110对各帧进行确定 以使中心侧临近处的基准帧成为参照目的地帧(S06)。图5是表示相机 的配置例的图。另外，图6是表示各相机是否为基准相机以及为参照相 机时成为参照目的地的帧为哪个基准相机的表。在图5中按照号码顺序 在X轴上排列着7台相机C (1) C (7)。而且，在图5中各相机在垂直 于拍摄方向(Z轴方向)的方向上以等间隔或者任意的间隔排列着。另外 在图6中将K的值设定为"2"。而且在图6中，O表示基准相机，C(m) 表示该相机所拍摄的帧成为参照目的地帧。上述那样被判断为没有产生 平移时，在S03的处理的结果中，将C (2)、 C (4)、 C (6)设定为基准 相机。而且，C (1)将C (2)作为参照目的地、C (3)和C (5)将C (4)作为参照目的地、C (7)将C (6)作为参照目的地。 接着，说明被判断为产生了平移的情况(S01 "是")。此时，控制部
110判断向哪个方向产生平移(S02)。该方向可以通过判断平移的产生时 所用的动作矢量信息来判断。即，可以通过该矢量的朝向来判断平移的 产生方向。控制部110在判断为向左产生平移时(S02"左")，将C(l+nK) 作为基准相机(S04)。然后控制部110将对于参照相机所拍摄的各帧而 言的参照目的地帧确定为右侧临近处的基准帧(S07)。换言之，控制部 110将对于参照相机所拍摄的各帧而言的参照目的地帧设定为设置于与 产生平移的方向相反的方向上的临近处的基准相机。
另一方面，控制部110在判断为向右产生平移时(S02 "右")，将C (N-nK)作为基准相机(S05)。然后控制部110将对于参照相机所拍摄 的各帧而言的参照目的地帧确定为左侧临近处的基准帧(S08)。
接着，说明解压縮解码装置2的结构例。解压縮解码装置2在硬件 上具有经由总线连接的CPU (中央运算处理装置)、主存储装置(RAM)、 辅助存储装置等。辅助存储装置使用非易失性存储装置来构成。此处所 说的非易失性存储装置指所谓的ROM(Read-Only Memory:包含EPROM
(Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory),掩模ROM等)、FRAM
(Ferroelectric RAM)、硬盘等。
图7是表示解压缩解码装置2的功能框的例子的图。解压縮解码装 置2将存储在辅助存储装置中的各种程序(OS、应用等)加载到主存储 装置中，使用CPU执行，从而作为包含头解析部201、编码动态图像缓 冲器202、可变长度解码部203、 IDCT逆量子化部204、加法器205、显 示动态图像缓冲器206、帧缓冲器207、动作/视差矢量补偿部208和控制 部209等的装置而发挥作用。头解析部201、可变长度解码部203、 IDCT 逆量子化部204、动作/视差矢量补偿部208和控制部209通过由CPU执 行程序来实现。另外，头解析部201、可变长度解码部203、 IDCT逆量 子化部204、动作/视差矢量补偿部208和控制部209也可以构成为专用 的芯片。接着，说明解压缩解码装置2包含的各功能部分。
<头解析部〉
头解析部201从所输入的动态图像数据(压縮编码装置1所制作的 动态图像数据)中提取头信息。所谓头信息，具体而言为拍摄了各帧的 相机的识别符及其类别(基准相机或者参照相机)、拍摄了参照目的地帧
的相机的识别符等。另外，头解析部201从控制部209接受拍摄了应该 解码的帧的相机的识别符。然后，头解析部201根据该识别符判断是否
应该对所输入的各帧进行解码，仅将判断为应该解码的帧交给编码动态
图像缓冲器202。具体而言，头解析部201判断包括各相机所拍摄的帧的 GOP中对应于应该进行解码的相机的GOP (解码相机判断处理)。通过 执行该处理，可以省略对不需要的帧的解码处理，可以实现处理的高速 化。同时，也能削减应缓存的数据量，可以减小例如显示动态图像缓冲 器206和帧缓冲器207的规模。还有，头解析部201对控制部209通知 已交给编码动态图像缓冲器202的帧的识别符。
下面说明解码相机判断处理。而且，在下面的说明中，假定参照相 机所拍摄的图像仅使用作为参照目的地帧而由基准相机所拍摄的帧进行 了压縮编码。但没有必要限定于此。图8是表示解码相机判断处理中的 头解析部201处理例的流程图。该流程图所示的处理每当检测出SEQH 时执行。首先，头解析部201从控制部209获得表示相机的识别符(Sll)。 接着，头解析部201从所输入的动态图像数据中提取出SEQH进行解析 (S12)。通过该解析，头解析部201获得各相机的误差预测方式和成为 参照目的地的相机的识别符等。
接着，头解析部201探索GOPH。此时，在检测出下一个SEQH时， 即没有由下一个相机所拍摄的帧的情况下结束该处理(S13 "否")。另一 方面，当检测出GOPH时(S13 "是")，头解析部201解析该GOPH，获 得相机的识别符。然后，头解析部201判断GOPH所含的识别符和控制 部209给予的识别符是否一致。 一致的情况下(S14"是")，判断为应该 对该GOP所含的各帧执行解码(S19)。然后再次执行S13及以后的处理。
另一方面，头解析部201在识别符不一致的情况下(S14"否")，判 断是否为与从控制部209发送来的识别符的相机的参照目的地对应的相
机。不是参照目的地时(S15"否")，执行S13及以后的处理。另一方面， 是参照目的地时(S15 "是")，头解析部201解析GOPH并解析没有进行 视差预测的时间(S16)。然后，在整个时间内进行视差预测的情况下(S17 "是")，判断为应对该GOP所含的各帧执行解码(S19)。另一方面，在 一部分时间内没有进行视差预测的情况下(S17"否")，头解析部201判 断正在进行视差预测的帧，判断为应该仅对该帧进行解码(S18)。然后 再次执行S13及以后的处理。 <编码动态图像缓冲器>
编码动态图像缓冲器202对被头解析部201判断为应执行解码的各 帧进行缓存。编码动态图像缓冲器202按照来自控制部209的指示，以 解码处理单位输出帧。所谓解码处理单位，既可以是1帧，也可以是GOP 那样的多帧。
<可变长度解码部〉
可变长度解码部203对进行了可变长度编码的量子化DCT系数进行 可变长度解码，将该结果交给IDCT逆量子化部204。另外，可变长度解 码部203还对动作矢量信息和视差矢量信息进行可变长度解码，并交给 动作/视差矢量补偿部208。
< IDCT逆量子化部>
IDCT逆量子化部204进行IDCT运算、逆量子化运算。IDCT逆量 子化部204进行量子化DCT系数的逆量子化和逆DCT运算，得到逆DCT 运算结果。
<加法器〉
加法器205对逆DCT运算结果和基于动作补偿及视差补偿的预测结 果进行相加，生成解码动态图像。 <显示动态图像缓冲器>
显示动态图像缓冲器206对加法器205生成的解码动态图像的数据 进行缓存。此时，显示动态图像缓冲器208将与从外部指定了进行显示 的相机对应的解码动态图像的数据进行缓存。然后，显示动态图像缓冲 器206依次输出正在缓存的数据。
<帧缓冲器>
帧缓冲器207与显示动态图像缓冲器206同样地缓存解码动态图像 的数据。另外，帧缓冲器207不管来自外部的指定如何，还蓄积处理对 象的帧的解码所需的其他相机所拍摄的帧。
<动作/视差矢量补偿部〉
动作/视差矢量补偿部208按照来自控制部209的指示，将成为处理 对象的帧的解码所需的动作预测/视差预测所用的帧从帧缓冲器207中读 取。然后，动作/视差矢量补偿部208从可变长度解码部203获得动作矢 量信息/视差矢量信息。然后，获得预测结果，将该预测结果交给加法器 205。
<控制部>
控制部209对所输入的动态图像数据进行解码控制。另外，控制部 209连接为可以对各功能部进行指示。另外，从外部向控制部209输入表 示拍摄了应该从显示动态图像缓冲器208向外部输出的动态图像的相机 的识别符。该识别符可以是一个也可以是多个。然后，控制部209将所 输入的该识别符交给头解析部201。
用参照相机所拍摄的各帧(r帧、P'帧、B'帧)不限于用基准相机在 同时刻拍摄的帧，也可以参照其他的参照相机拍摄的帧进行预测编码， 还可以参照用基准相机和其他的参照相机在不同时刻拍摄的帧进行预测 编码。
另外，没有必要将相机设置为排列在一条直线上，例如可以设置为 按照波浪状或圆形或十字形或四边形等任意形状进行排列。 产业上的可利用性
本发明通过应用于对在多视点中所拍摄的图像进行编码/解码的装置 中可以得到效果。
权利要求
1.一种压缩编码装置，该压缩编码装置对用多台相机所拍摄的帧进行压缩编码，该多台相机包括通过仅使用了本身所拍摄的帧的动作预测来对本身所拍摄的帧进行压缩编码的基准相机、和通过使用了本身所拍摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预测来对本身所拍摄的帧进行压缩编码的参照相机，其特征在于，该压缩编码装置包含确定单元，其在对上述参照相机所拍摄的帧进行压缩编码时，根据在拍摄成为处理对象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的其他的相机的帧；压缩编码单元，其对于上述参照相机所拍摄的帧，通过使用了上述确定单元所确定的帧和该参照相机所拍摄的其他帧的动作预测来进行压缩编码，对于上述基准相机所拍摄的帧，通过帧内预测或者仅使用了该基准相机所拍摄的其他帧的动作预测来进行压缩编码；动作预测信息制作单元，其生成预测信息，该预测信息包含表示各帧是基准相机所拍摄的帧还是参照相机所拍摄的帧的信息，和针对参照相机所拍摄的帧，将该帧与用于动作预测的其他帧对应起来的信息；以及合成单元，其生成一个动态图像数据，该一个动态图像数据包含由上述基准相机所拍摄的多个编码后的帧、由上述参照相机所拍摄的多个编码后的帧、和上述动作预测信息。
2. 根据权利要求1所述的压縮编码装置，其特征在于，上述确定单 元按照在拍摄成为处理对象的帧之前所拍摄的帧中实施的动作预测时所 获得的动作矢量的朝向来判断上述被摄体的动作，确定用于动作预测的 其他相机的帧。
3. 根据权利要求2所述的压縮编码装置，其特征在于，上述确定单 元对于拍摄了成为处理对象的帧的参照相机，将设置在与在拍摄成为处 理对象的帧之前所拍摄的帧中实施的动作预测时所获得的动作矢量的朝 向相反的方向上的其他相机所拍摄的帧，确定为用于上述动作预测的帧。
4. 根据权利要求1所述的压縮编码装置，其特征在于，该压縮编码 装置还具有以规定周期来判断应将上述多台相机中哪个相机确定为上述 基准相机的基准相机判断单元。
5. 根据权利要求4所述的压縮编码装置，其特征在于，上述基准相机判断单元根据在拍摄成为处理对象的帧之前所拍摄的帧中的被摄体的 动作来确定基准相机。
6. 根据权利要求5所述的压縮编码装置，其特征在于，上述基准相 机判断单元按照在拍摄成为处理对象的帧之前所拍摄的帧中实施的动作 预测时所获得的动作矢量的朝向来判断上述被摄体的动作，确定基准相 机。
7. 根据权利要求1所述的压縮编码装置，其特征在于，上述动作预 测信息制作单元还在上述动作预测信息中包含有对由上述参照相机所拍 摄的帧不实施使用了由其他相机所拍摄的帧的动作预测而进行了压縮编 码的时间的信息。
8. —种解压縮解码装置，该解压縮解码装置对由压缩编码装置所制 作的动态图像数据进行解压縮解码，上述压缩编码装置对用多台相机所 拍摄的帧进行压縮编码，该多台相机包括通过仅使用了本身所拍摄的帧 的动作预测来对本身所拍摄的帧进行压縮编码的基准相机、和通过使用 了本身所拍摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预 测来对本身所拍摄的帧进行压縮编码的参照相机，该压縮编码装置包含-在对上述参照相机所拍摄的帧进行压缩编码时，根据在拍摄成为处理对 象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的其他 的相机的帧的确定单元；对于上述参照相机所拍摄的帧，通过使用了上 述确定单元所确定的帧和该参照相机所拍摄的其他帧的动作预测来进行 压縮编码，对于上述基准相机所拍摄的帧，通过帧内预测或者仅使用了 该基准相机所拍摄的其他帧的动作预测来进行压縮编码的压缩编码单 元；生成预测信息的动作预测信息制作单元，该预测信息包含表示各帧 是基准相机所拍摄的帧还是参照相机所拍摄的帧的信息，和针对参照相 机所拍摄的帧，将该帧与用于动作预测的其他帧对应起来的信息；以及 生成一个动态图像数据的合成单元，该一个动态图像数据包含由上述基 准相机所拍摄的多个编码后的帧、由上述参照相机所拍摄的多个编码后 的帧、和上述动作预测信息，其特征在于，该解压缩解码装置包含判断单元，其从上述动态图像数据中提取出动作预测信息，判断各 帧是由基准相机还是参照相机所拍摄的帧；以及解压縮解码单元，其对于由上述判断单元判断为是基准相机所拍摄 的帧的帧，通过仅基于由相同的相机所拍摄的其他帧的动作预测进行解 压縮解码，对于由上述判断单元判断为是参照相机所拍摄的帧的帧，通 过基于由相同的相机所拍摄的其他帧和由其他相机拍摄的帧的动作预测 进行解压縮解码。
9. 一种压縮编码方法，该压縮编码方法对用多台相机所拍摄的帧进 行压缩编码，该多台相机包括通过仅使用了本身所拍摄的帧的动作预测 来对本身所拍摄的帧进行压縮编码的基准相机、和通过使用了本身所拍 摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预测来对本身 所拍摄的帧进行压縮编码的参照相机，其特征在于，该压缩编码方法包 含信息处理装置在对上述参照相机所拍摄的帧进行压缩编码时，根据 在拍摄成为处理对象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的帧的步骤；信息处理装置对于上述参照相机所拍摄的帧，通过使用了上述确定 步骤所确定的帧和该参照相机所拍摄的其他帧的动作预测来进行压縮编 码，对于上述基准相机所拍摄的帧，通过帧内预测或者仅使用了该基准 相机所拍摄的其他帧的动作预测来进行压縮编码的步骤；信息处理装置生成预测信息的步骤，该预测信息包含表示各帧是基 准相机所拍摄的帧还是参照相机所拍摄的帧的信息，和针对参照相机所 拍摄的帧，将该帧与用于动作预测的其他帧对应起来的信息；以及信息处理装置生成一个动态图像数据的步骤，该一个动态图像数据 包含由上述基准相机所拍摄的多个编码后的帧、由上述参照相机所拍摄 的多个编码后的帧、和上述动作预测信息。
10. —种解压縮解码方法，该解压縮解码方法对由压縮编码装置所制 作的动态图像数据进行解压缩解码，上述压縮编码装置对用多台相机所 拍摄的帧进行压缩编码，该多台相机包括通过仅使用了本身所拍摄的帧 的动作预测来对本身所拍摄的帧进行压縮编码的基准相机、和通过使用 了本身所拍摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预 测来对本身所拍摄的帧进行压縮编码的参照相机，该压縮编码装置包含: 在对上述参照相机所拍摄的帧进行压縮编码时，根据在拍摄成为处理对 象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的帧的 确定单元；对于上述参照相机所拍摄的帧，通过使用了上述确定单元所 确定的帧和该参照相机所拍摄的其他帧的动作预测来进行压縮编码，对 于上述基准相机所拍摄的帧，通过帧内预测或者仅使用了该基准相机所 拍摄的其他帧的动作预测来进行压縮编码的压缩编码单元生成预测信息的动作预测信息制作单元，该预测信息包含表示各帧是基准相机所拍 摄的帧还是参照相机所拍摄的帧的信息，和针对参照相机所拍摄的帧，将该帧与用于动作预测的其他帧对应起来的信息；以及生成一个动态图 像数据的合成单元，该一个动态图像数据包含由上述基准相机所拍摄的 多个编码后的帧、由上述参照相机所拍摄的多个编码后的帧、和上述动 作预测信息，其特征在于，该解压縮解码方法包含-信息处理装置从上述动态图像数据中提取出动作预测信息，判断各 帧是由基准相机还是参照相机所拍摄的帧的步骤；以及信息处理装置对于由上述判断步骤判断为是基准相机所拍摄的帧的 帧，通过仅基于由相同的相机所拍摄的其他帧的动作预测进行解压縮解 码，对于由上述判断步骤判断为是参照相机所拍摄的帧的帧，通过基于 由相同的相机所拍摄的其他帧和由其他相机拍摄的帧的动作预测进行解 压缩解码的步骤。
11. 一种用于使信息处理装置执行多台相机所拍摄的帧的压縮编码 的程序，该多台相机包括通过仅使用了本身所拍摄的帧的动作预测来对 本身所拍摄的帧进行压縮编码的基准相机、和通过使用了本身所拍摄的 帧的动作预测和使用了其他的相机所拍摄的帧的动作预测来对本身所拍 摄的帧进行压縮编码的参照相机，其特征在于，该程序用于使信息处理 装置执行下面的步骤'在对上述参照相机所拍摄的帧进行压縮编码时，根据在拍摄成为处 理对象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的 帧的步骤；对于上述参照相机所拍摄的帧，通过使用了上述确定步骤所确定的 帧和该参照相机所拍摄的其他帧的动作预测来进行压縮编码，对于上述 基准相机所拍摄的帧，通过帧内预测或者仅使用了该基准相机所拍摄的其他帧的动作预测来进行压縮编码的步骤；生成预测信息的步骤，该预测信息包含表示各帧是基准相机所拍摄 的帧还是参照相机所拍摄的帧的信息，和针对参照相机所拍摄的帧，将该帧与用于动作预测的其他帧对应起来的信息；以及生成一个动态图像数据的步骤，该一个动态图像数据包含由上述基 准相机所拍摄的多个编码后的帧、由上述参照相机所拍摄的多个编码后 的帧、和上述动作预测信息。
12. —种用于使信息处理装置执行压縮编码装置所制作的动态图像 数据的解压縮解码的程序，上述压縮编码装置对用多台相机所拍摄的帧 进行压縮编码，该多台相机包括通过仅使用了本身所拍摄的帧的动作预 测来对本身所拍摄的帧进行压縮编码的基准相机、和通过使用了本身所 拍摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预测来对本 身所拍摄的帧进行压縮编码的参照相机，该压縮编码装置包含在对上 述参照相机所拍摄的帧进行压縮编码时，根据在拍摄成为处理对象的帧 之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的帧的确定单 元；对于上述参照相机所拍摄的帧，通过使用了上述确定单元所确定的 帧和该参照相机所拍摄的其他帧的动作预测来进行压缩编码，对于上述 基准相机所拍摄的帧，通过帧内预测或者仅使用了该基准相机所拍摄的 其他帧的动作预测来进行压縮编码的压縮编码单元；生成预测信息的动 作预测信息制作单元，该预测信息包含表示各帧是基准相机所拍摄的帧 还是参照相机所拍摄的帧的信息，和针对参照相机所拍摄的帧，将该帧 与用于动作预测的其他帧对应起来的信息；以及生成一个动态图像数据的合成单元，该一个动态图像数据包含由上述基准相机所拍摄的多个编 码后的帧、由上述参照相机所拍摄的多个编码后的帧、和上述动作预测信息，其特征在于，该程序用于使信息处理装置执行下面的步骤从上述动态图像数据中提取出动作预测信息，判断各帧是由基准相 机还是参照相机所拍摄的帧的步骤；以及对于由上述判断步骤判断为是基准相机所拍摄的帧的帧，通过仅基 于由相同的相机所拍摄的其他帧的动作预测进行解压縮解码，对于由上 述判断步骤判断为是参照相机所拍摄的帧的帧，通过基于由相同的相机 所拍摄的其他帧和由其他相机拍摄的帧的动作预测进行解压縮解码的步 骤。
13. —种压縮编码装置，该压缩编码装置对由多台相机所拍摄的帧进 行压縮编码，其特征在于，该压縮编码装置具有拍摄单元，其由上述多台相机中的分别至少一个基准相机和参照相机构成，所述基准相机仅使用本身的相机所拍摄的帧来进行压縮编码， 所述参照相机使用本身和其他相机所拍摄的帧来进行压縮编码；确定单元，其在对上述参照相机所拍摄的帧进行压缩编码时，根据 在成为处理对象的帧在时间上前后所拍摄的帧中的被摄体的动作矢量来 确定用于动作预测的本身或者其他相机所拍摄的帧；以及编码单元，其至少对上述参照相机所拍摄的帧通过使用了由上述确 定单元所确定的帧和由该参照相机所拍摄的其他帧的动作预测来进行压縮编码。
全文摘要
本发明提供一种压缩编码装置、解压缩解码装置，可以通过选择最适用于预测的帧来提高预测效率、编码效率。压缩编码装置和方法对用多台相机所拍摄的帧进行压缩编码，该多台相机包括通过仅使用了本身所拍摄的帧的动作预测来对本身所拍摄的帧进行压缩编码的基准相机、和通过使用了本身所拍摄的帧的动作预测和使用了其他的相机所拍摄的帧的动作预测来对本身所拍摄的帧进行压缩编码的参照相机，该压缩编码装置和方法在对参照相机所拍摄的帧进行压缩编码时，根据在拍摄成为处理对象的帧之前所拍摄的帧中的被摄体的动作，来确定用于动作预测的帧。
文档编号H04N7/32GK101099392SQ200580046159
公开日2008年1月2日 申请日期2005年1月7日 优先权日2005年1月7日
发明者伊藤隆, 山田幸二, 数井君彦 申请人:富士通株式会社