编码装置及具有编码装置的运动图像记录系统的制作方法

专利名称：编码装置及具有编码装置的运动图像记录系统的制作方法
技术领域：
本发明涉及一种高效率对运动图像的图像数据进行压縮编码的压縮 编码技术。
背景技术：
近年来，伴随着多媒体应用程序的发展， 一般能够对所有媒体的信息 (例如图像、声音、文本)进行数字数据化，来统一进行处理。其中，例 如由于图像、特别是运动图像的数字数据(图像数据)的数据量非常大， 因此为了进行存储/传送，需要高效率压縮运动图像数据的压縮技术。为了实现运动图像的压縮编码而开发出来的压縮技术，公知的例如有由ISO(国 际标准化组织)标准化的MPEG-1/2/4等压縮方式。这些压缩方式中，均能够将输入图像数据分割成多个块，针对各个块 选择画面内编码(不进行运动补充的编码模式)或画面间预测编码(进行 基于运动补偿的预测的编码模式)并进行编码。其中，对画面间预测编码 的运动补偿预测而言，根据运动补偿所使用的运动矢量的种类而存在多个 预测模式。编码时，从其中选择适当的预测模式，对各个块进行编码。预测模式根据预测方向大体上分为前向预测编码、后向预测编码、以 及双向预测编码这3种。这些编码方式还能够进一步分为以编码块的帧全 体为对象的帧预测编码、以及分别以第l (奇数)场(field) /第2 (偶数) 场为对象的区域预测编码。S卩，预测模式存在6种。图1中示出了现有的运动图像编码装置100的构成。运动图像编码装 置100具有输入图像存储器101、减法部102、正交变换部103、量化部 104、可变长度编码部105、逆量化部106、逆正交变换部107、加法部108、 参照图像存储器109、运动检测部110、预测模式决定部111以及运动补 偿部112。
上述画面间预测编码的运动补偿预测中所使用的预测模式的决定，主 要由运动检测部110及预测模式决定部111来进行。运动检测部110针对输入图像存储器101所输出的块单位的输入图像 数据，根据参照图像存储器109中存储的参照图像数据的指定范围中，检测出类似的块区域，并输出相当于移动量的运动矢量及表示块的类似度的误差量。在能够使用上述6种预测模式时，对按每一个预测模式所指定的 参照图像数据进行运动检测。预测模式决定部111根据由运动检测部IIO检测出的对各个预测模式 的运动矢量的误差量，决定运动补偿部112中所使用的预测模式。这里，对现有的预测模式的决定方法进行说明。运动检测部110为了 对某个预测模式检测出与编码对象块类似的块，而计算出编码对象块与参 照图像块之间的各个像素位置的差分绝对值总和(误差量)，并用作评价 值。然后，将到误差量最小位置为止的移动量采用为该预测模式的运动矢 量，与误差量一起输出。例如，对于MPEG中所使用的预测模式之一的单向帧预测的误差量 AE (i， j)而言，能够通过公式l计算出来。其中，"单向帧预测"是前 向预测与后向预测的总称。(公式1) AE (i， j) =2|Y (x， y) —RefY (i+x， j+y) |公式1中，Y (x， y)表示输入图像数据的编码对象块中的位置(x， y)的像素值，RefY(i+x，j+y)表示参照图像数据的探索范围内的位置(i+x， j+y)的像素值。另夕卜，AE (i， j)表示块间匹配的误差量。运动矢量被确 定为使误差量AE (i， j)达到最小的位置(i， j)为止的移动量。图2中 示出了编码对象块(Y)与使误差量AE (i， j)最小的位置(i, j)处所 存在的参照图像数据(RefY)中的块的关系。从基准点(0， 0)到(i， j) 的矢量是运动矢量。预测模式决定部111对运动检测部IIO所输出的各个预测模式的误差 量AE进行比较，选择误差量AE为最小的预测模式，并将其决定为运动 补偿所使用的预测模式。该方法是基于误差量小则一般来说编码所引起的 失真以及发生编码量也少的想法。预测模式的决定方法还可以考虑其他各种方法。例如专利文献1中公
开了一种方法，在编码的目标位速率与输入图像大小(像素数)的比为规 定阈值以上的情况下，禁止双向的预测模式，只选择前向或后向的预测模 式。专利文献l的方法，在目标的位速率较低的情况下，对运动矢量的编 码量较多，对预测误差图像数据的编码量相对较少，结果是画质恶化这一 问题较为明显。由于认为双向预测模式的编码量比前向或后向预测模式的 编码量大，因此该方法在上述的比为规定阈值以上时，被禁止双向预测模 式。作为MPEG标准的编码位流中含有的块单位的主要信息，例如有表示是画面内编码还是画面间预测编码的信息、画面间预测编码时的预测模式 与运动矢量、编码图像数据(画面内编码时为输入图像数据，画面间预测 编码时为对预测误差图像数据的编码数据)、以及量化尺度。这些信息中， 通过量化生成的编码图像数据，能够随着量化尺度的设定动态地控制发生 编码量。但是，由于是伴随量化的不可逆压縮，因此如何抑制发生编码量并降 低编码噪声这一点非常重要。 一般来说，在对输入图像数据的图像尺寸通 过非常高的目标位速率进行编码的情况下，在编码数据全体中所占据的运 动矢量的比率较低，只考虑对预测误差图像数据的量化失真与发生编码 量，就能够抑制编码噪声的发生。专利文献2中公开了预测模式的决定方法的另一例。具体而言，专利 文献2预先保持有对预测误差图像数据的各个要素与运动矢量的编码量的 表，按每一个预测模式计算出包含有预测误差图像数据与运动矢量的编码 量，选择成为适当的编码量的预测模式。根据该方法，只要不是目标位速 率特别低的情况，就能够选择预测模式。专利文献l:日本国特开2000-13802号公报专利文献2:日本国特开平9-322176号公报但是，对画面间预测编码处理而言，在现有的预测模式的决定方法中， 特别存在着对实时编码的适用很困难这一问题。实时编码中，不管目标位 速率的高低如何，都需要对该位速率适当控制发生编码量。但是，实际输 入的输入图像数据中存在各种各样的种类(静止图像、运动图像、高精细
图像、或S/N比较低的图像等)，这些输入图像数据时刻在变化。因此，为了维持稳定的画质，时时刻刻来选择适当的预测模式这一点很重要。例如，专利文献l的预测模式决定方法中，在对输入图像数据的图像 大小通过低目标位速率进行编码的情况下，由于预测模式总是被限制，因 此在要求运动补偿的精度的这种画面间的相关较高的输入图像数据中，无 法选择最佳的预测模式。另外，在实时处理中，无法预先保持如专利文献2中所述的对预测误 差图像数据的各个要素与运动矢量的编码量的表。发明内容本发明的目的在于，不管用来对运动图像进行编码的目标位速率的高 低如何，都能够以尽可能的高画质来实时编码运动图像。本发明的编码装置，对切换显示多个图像的运动图像数据，根据从多 个预测模式中决定的预测模式，进行基于运动补偿的画面间预测编码。所述编码装置具备检测部，其根据分别对应于多个预测模式而使用的参照 图像的块，检测出编码对象的图像中含有的块的误差量及运动矢量；评价 部，其计算出各个误差量与规定的第1系数的乘积、与基于各个运动矢量 的预测矢量和第2系数的乘积之和，作为评价值；决定部，其根据所述评 价值决定多个预测模式中的l个；系数更新部，其至少利用编码对象的所 述块的量化时所使用的量化尺度，来更新所述比例系数；以及编码部，其 根据所决定的预测模式，对编码对象的所述块的数据进行编码。优选所述编码装置还具有将与编码对象的所述块的误差量对应的数 据，变换成多个频率成分的系数的变换部；以及根据预先设定的量化矩阵 及所述量化尺度，对各个频率成分的系数进行量化，生成量化值的量化部； 所述编码部根据所决定的预测模式来编码各个量化值。优选所述量化部根据所述量化矩阵及预先设定的量化尺度的乘积，对 每一个所述块的所述各个频率成分的系数进行量化，生成量化值。优选所述系数更新部根据与过去被编码过的块相关的预测模式的误 差量、编码后的数据量以及所述量化尺度、及与编码对象的所述块对应的 量化尺度，更新所述第l系数。
优选所述系数更新部根据表示对所述参照图像设定的所述块的存在 范围的像素数，确定所述第2系数。优选所述评价部在各个预测模式的误差量，比与过去被编码过的块相关的量化变换系数的所有系数都变成了 o的误差量的平均值小时，将所述 各个预测模式的误差量与规定的第1系数的乘积设为o，计算出所述评价值。优选所述评价部对所述各个误差量与规定的第1系数的乘积加上修正 系数，将相加结果和规定阈值中较大一方的值，与基于各个运动矢量的预测矢量和第2系数的乘积相加，计算出所述评价值。优选所述系数更新部根据所述预测模式的误差量中，与所述误差量对 应的量化变换系数的所有系数都变成了 0的误差量的平均值、与所述误差 量对应的量化变换系数的任意一个系数都没有变为0的误差量的平均值， 来更新所述第1系数；根据所述第1系数及与所述误差量对应的量化变换 系数的所有系数都变成了 0的误差量的平均值，更新所述修正系数。本发明的运动图像记录系统，具有接收可切换显示多个图像的运动 图像的视频信号，并输出运动图像的数据的视频信号接收部；根据从多个 预测模式中决定的预测模式，对所述运动图像的数据进行基于运动补偿的 画面间预测编码，输出编码数据的编码装置；以及将所述编码数据写入到 记录介质中的记录部。所述编码装置具有检测部，其根据分别对应于多 个预测模式而被利用的参照图像的块，检测出编码对象的图像中含有的块 的误差量及运动矢量；评价部，其计算出各个误差量和规定的第1系数的 乘积、与基于各个运动矢量的预测矢量和第2系数的乘积之和，作为评价 值；决定部，其根据所述评价值决定多个预测模式中的l个；以及系数更 新部，其至少使用编码对象的所述块的量化时所使用的量化尺度，来更新 所述比例系数。发明效果通过采用本发明，在编码的过程中，对在画面间预测编码的运动补偿 预测中，用来决定预测模式的评价值计算方法中所使用的系数进行学习并 更新。系数的更新，根据对过去被编码过的图像(更为详细是图像的块) 的预测模式的误差量、实际的发生编码量、以及由量化部决定的量化尺度(过去使用过的尺度及对当前的编码对象块使用的尺度这两方)来进fi1。 另外，评价值的计算不但使用与系数相乘后的误差量，还使用与运动矢量 相关的变化量来进行。这样，与只使用误差量的情况相比，能够进行接近 实际的发生编码量的误差量推定。因此，能够总是决定适当的预测模式， 得到稳定的画质。


图1是表示现有的运动图像编码装置100的构成的图。 图2是表示编码对象块(Y)与存在于误差量AE (i， j)最小的位置 (i， j)处的参照图像数据(RefY)中的块的关系图。图3是表示实施方式1的记录器(recorder) 200的构成的图。 图4 (a) (c)是表示3种预测方法的概念图。 图5 (a)与(b)是表示与非帧内编码相关的、成为编码对象的块与 参照帧内的块之间的关系图。图6是表示量化尺度的分配表的图。图7是表示MPEG-2标准的默认矩阵群的图。图8是对表示比例系数Kl及误差量AE与推定编码量B之间的关系 的图解进行示出的图。图9是表示编码装置210中的编码处理的顺序的流程图。图10是表示实施方式的编码装置300的构成的图。图11是对表示与预测误差数据相关的推定编码量(公式6的右边第 一项)的图解进行示出的图。图中100...现有的运动图像编码装置，IOI...输入图像存储器，102... 减法部，103...正交变换部，104...量化部，105...可变长度编码部，106... 逆量化部，107...逆正交变换部，108...加法部，109...参照图像存储器， IIO...运动检测部，111、 211...预测模式决定部，112…运动补偿部，200... 记录器，205...视频信号接收部，210...实施方式1的运动图像编码装置， 213、 313...评价部，214、 314...系数更新部，215-1、 215-2...记录部，300... 实施方式2的运动图像编码装置。
具体实施方式
下面对照附图，对本发明的数据处理装置的实施方式进行说明。在以 下的说明中，设数据处理装置是用来录制运动图像的记录器，及/或对记录 器中含有的运动图像进行压縮编码的编码装置。 (实施方式l)图3示出了本实施方式的记录器200的构成。记录器200例如作为接 收电视广播信号，并实时录制到硬盘或光盘中的节目录像机，或作为用户 实时将被摄体的视频/声音记录到硬盘或光盘中的录像机而实现。记录器200具有视频信号接收部205、编码装置210、记录部215-1 以及215-2。视频信号接收部205是接收电视广播的模拟信号，并将该信 号变换成数字信号(数字数据)而输出的调谐器。或者，视频信号接收部 205是将被摄体的视频作为数字数据而输出的CCD元件。编码装置210对运动图像的数字数据进行压縮编码，生成编码图像数 据。运动图像被切换显示为多个图像，压縮编码以图像单位，更为具体是 以构成图像的块单位来进行。编码装置210例如作为安装在1个基板上的 编码板(encoderboard)来实现。另外，以下将构成1枚图像的16像素X 16像素的集合称作宏块(macro block)。而且，将比大块小的单位的块(例如8像素X8像素的集合)称 作子宏块(sub macro block)。这例如与MPEG标准一样。但是，由于基 于编码处理会使得单位发生变化，因此以下将大块与子块总称作"块"。记录部215-1例如是硬盘驱动器。另外，记录部215-2例如是光盘驱 动器。硬盘驱动器与光盘驱动器分别能够在硬盘与光盘中写入编码过的图 像数据(视频数据流)，读出所写入的该数据。另外，为了简化附图，记 录部215-2表示为光盘。编码装置210还能够作为l个框体来实现。此时，记录器200例如能 够通过由作为调谐器的视频信号接收部205、编码装置210、以及记录装 置215-1/215-2构成的记录系统而实现。接下来对编码装置210进行详细说明。编码装置210具有输入图像 存储器101、减法部102、正交变换部103、量化部104、可变长度编码部 105、逆量化部106、逆正交变换部107、加法部108、参照图像存储器109、
运动检测部110、预测模式决定部211、运动补偿部112、评价部213、以 及系数更新部214.编码装置210通过两种编码方法中的任意一个，对构成运动图像的图 像(图片)的数据进行压縮编码。即，是画面内(帧内)编码与画面间预 测(帧间或非帧内)编码。在这些编码方法中，能够以块单位对图像数据进行编码。帧内编码中， 只使用编码对象的块的数据来进行编码。不使用时间方向的预测。帧内编 码后的块(及图片)，在解码处理中也能够只使用该图像数据来进行解码。另一方面，在非帧内编码中，参照其他图片的图像数据来对处理对象 的块数据进行编码。该编码方法利用时间上前及/或后的图片的图像数据， 可使用时间方向的预测。由此，能够进一步提高数据的压縮率。图4 (a) (c)中表示了3种预测方法的概念。图4 (a)中表示了 前向预测的概念。构成编码对象的当前帧的块，利用时间上之前(过去) 所显示的帧的数据进行编码。图4 (b)中表示了后向预测的概念。构成编 码对象的当前帧的块，利用时间上之后(将来)所显示的帧的数据进行编 码。图4 (c)中表示了双向预测的概念。构成编码对象的当前帧的块，利 用时间上之前与之后所显示的双方帧的数据来编码。将对当前帧的数据进 行编码时所使用的其他帧称作"参照帧"。帧内编码及非帧内编码中的任意一个，都能够切换是对成为编码对象 的块一体进行编码，还是将该块分为第1 (奇数)场和第2 (偶数)场， 来分别编码各自的数据。为了进行区别，本说明书中将前者称作"每一帧 的编码"，将后者称作"每一场的编码"。这里应当注意的是，"帧"以 及"场"并不表示l幅图片。图5 (a)与(b)中表示了与非帧内编码相关的、成为编码对象的块 与参照帧内的块之间的关系。图5 (a)表示了每一帧的编码的例子。成为 编码对象的左侧的块，参照右侧的参照帧内的块整体被编码。另外，图5 (b)中示出了每一场的编码的例子。成为编码对象的左侧的块的第一场， 通过对参照帧内的块的第1场及第2场进行参照而被编码，成为编码对象 的左侧的块的第二场，通过对参照帧内的块的第1场及第2场进行参照而 被编码。 从上述说明可以得知，非帧内编码处理可以采用下述6种预测编码方 法中的任意一个。(1) 前向预测且对每一帧进行编码(2) 前向预测且对每一场进行编码(3) 后向预测且对每一帧进行编码(4) 后向预测且对每一场进行编码(5) 双向预测且对每一帧进行编码(6) 双向预测且对每一场进行编码 将以上预测编码方法称作"预测模式"。接下来再次参照图3，对编码装置210的各个构成要素进行说明。输入图像存储器101是用来将所输入的各图片的图像数据一直保存到 编码时的存储器。输入图像存储器101相对因编码顺序的变更而引起的图 像数据的输出延迟具有足够的存储容量。所输入的各图片的图像数据在编 码时被分割成多个块，以块单位进行编码。输入图像存储器101能够以块 单位输出图像数据。减法部102将从输入图像存储器101输出的块单位的输入图像数据输 入到正输入端子。在不进行运动补偿预测的帧内编码的情况下，将从正输 入端子输入的输入图像数据直接输出。另一方面，在进行运动补偿预测的 非帧内编码的情况下，将从运动补偿部112输出的块单位的运动补偿图像 数据输入给负输入端子并进行减法运算，作为减法运算结果，输出块单位 的预测误差图像数据。正交变换部103对减法部102所输出的块单位的图像数据进行正交变 换，变换成频率成分。正交变换公知的例如有离散余弦变换。量化部104按照由量化尺度与量化矩阵确定的量化特性，对正交变换 部103所输出的正交变换系数进行量化，并将其结果作为量化变换系数输 出。下面对量化尺度及量化矩阵具体进行说明。在MPEG-2标准中规定了 2个类型的量化尺度。图6中示出了量化尺 度的分配表。对左栏的量化尺度码(quantiser—scale—code) 1 31，分别规 定了类型0 (qscale—type-O)与类型1 (qscale—type=l)，将任意一方的值
作为量化尺度进行分配。量化部104例如根据目标位速率及编码图像数据的发生编码量来决定量化尺度的值。例如，在相对目标位速率，基于过去的发生编码量的实际 位速率较高的情况下，增大量化尺度，使得实际位速率接近目标位速率， 在实际位速率相对目标位速率较低的情况下，减小量化尺度，使得实际位 速率接近目标位速率。另外，量化尺度类型一般固定为类型0或类型1中的任一方，但也可 以不固定。对于所决定的量化尺度而言，参照图6的表与量化尺度码 (quantiser—scale—code)对应。该量化尺度码在后述的可变长度编码部105 中被编码。另外，目标位速率例如由用户在录制开始前直接设定。或者，通过由 用户选择与目标位速率对应的录制模式来设定。目标位速率是压縮编码的 编码条件。接下来，对量化矩阵进行说明。在MPEG-2标准中，规定了标准使用 的量化矩阵(默认矩阵)。图7中示出了MPEG-2标准的默认矩阵群。图 7 (a)与图7 (b)所示的各个矩阵，分别在帧内编码时及非帧内编码时使 用。量化部104将所决定的量化尺度的值乘以量化矩阵的各个要素值，得 到各个频率成分的量化特性。块单位的图像数据根据该量化特性被量化。再次参照图3。可变长度编码部105对量化部104所输出的量化变换 系数进行可变长度编码，输出编码图像数据。在非帧内编码的情况下，可 变长度编码部105进一步将由运动补偿部112求出的运动矢量等信息与量 化变换系数一起进行可变长度编码，输出编码图像数据。逆量化部106对量化部104所输出的量化变换系数进行逆量化，生成 正交变换系数。此时，当进行逆量化时，可利用与量化部104中所使用的 量化特性相同的量化特性。逆正交变换部107对逆量化部106所输出的正交变换系数进行逆正交 变换，生成解码图像数据。此时，当在减法部102中选择了帧内编码时， 逆正交变换部107生成对块单位的输入图像数据的解码图像。另一方面， 当在减法部102中选择了非帧内编码时，逆正交变换部107生成对块单位
的预测误差图像数据的解码图像。加法部108将预测误差图像数据的解码图像、与运动补偿部112所输出的块单位的运动补偿图像数据相加，生成最终的解码图像数据。参照图像存储器109具有用来存储并保持编码时所使用的参照图像数 据的存储容量。参照图像存储器109对帧内编码时由逆正交变换部107生 成的块单位的解码图像数据进行直接保存。另一方面，参照图像存储器109 保存非帧内编码时由加法部108生成的块单位的解码图像数据。参照图像 存储器109中存储的解码图像数据，被用作对以后的输入图像进行基于运 动补偿的画面间预测编码时的参照图像。运动检测部IIO对由输入图像存储器101输出的块单位的输入图像数 据，从参照图像存储器109中存储的参照图像数据被指定的范围中，检测 出类似的块区域，并输出表示块的类似度的误差量及相当于移动量的运动误差量作为上述公式1的AE (i, j)被求出。而且，运动矢量被确定 为使误差量AE (i， j)为最小的位置(i， j)为止的移动量。求出误差量及运动矢量的处理被称作运动检测处理。运动检测部110 在能够使用上述6种预测模式时，对按每个预测模式而指定的参照图像数 据进行运动检测处理。运动补偿部112使用运动检测部IIO所检测出的运动矢量中，针对由 后述的预测模式决定部211决定的预测模式的运动矢量，从参照图像存储 器109中存储的图像间预测编码用参照图像，生成块单位的运动补偿图像 数据。预测模式决定部211 (以下称作"决定部")根据由评价部213计算 出的各个预测模式的评价值，决定运动补偿部112中所使用的预测模式。评价部213使用按每个预测模式由运动检测部110输出的误差量与运 动矢量，以及由系数更新部214决定的比例系数(后述)，计算出对各个 预测模式的评价值。例如，能够使用公式2与公式3所示的公式，作为用 来计算出对MPEG中所使用的预测模式之一的单向帧预测的评价值J的评 价函数。(公式2) J=Kl*AE+Kmv*AMV(公式3) AMV=|MVx—PMVx|+|MVy-PMVy|公式2的Kl是对与预测误差图像数据相关的误差量AE乘以的比例 系数，Kmv是对与运动矢量相关的变化量(预测矢量)AMV乘以的比例 系数。公式2的右边第1项对应于与预测误差图像数据相关的评价值(推定 编码量)，右边第2项对应于与运动矢量相关的评价值(推定编码量)。另外，公式3的MVx及MVy分别表示运动矢量的水平成分与垂直成 分，PMVx与PMVy分别表示刚刚编码过的块的运动矢量(MVx及MVy)。 Kmv例如在运动检测部110中能够使用检测的对象范围中含有的像素数 (N)，如公式4那样来确定。(公式4) N<400时Kmv=0.8， N>400时Kmv=0.4在检测的对象范围内含有的像素数(N)为400以上时，换言之，在 检测的对象范围较大时，公式4的Kmv被设定得比像素数(N)小于400 时更小。这是考虑到即使运动矢量较大，也能够高效进行编码的可变长度 编码的特性。通过将运动检测部110所输出的误差量AE与运动矢量(MVx， MVy) 应用于公式2及公式3，能够计算出对单向帧预测的评价值J。其中，公 式3的PMVx及PMVy分别保持刚刚编码过的块的MVx及MVy。而且， 在对位于输入图像数据的最左侧的块计算评价值之前，先复位为0。另外，例如在从图像的左上的块开始顺次向右下的块进行编码的情况 下，"刚刚编码过的块的MVx及MVy"表示左边相邻的块的运动矢量(MVx 及MVy)。以上，示出了单向帧预测的例子。关于其他的预测模式，也能够通过 同样的方法来计算出评价值。因此，求出了接近实测值的评价值J。另外，本实施方式中为了求出 尽可能准确的评价值J，而适当变更了 Kmv的选择方法，求出与运动矢量 相关的推定编码量。系数更新部214根据由决定部211决定的预测模式的误差量、由可变 长度编码部105输出的发生编码量(即编码后的数据量)、以及由量化部 104决定的量化尺度(过去所使用的尺度及对现在的编码对象块使用的尺 度这两方)，对过去编码过的块更新比例系数。例如，更新前述公式2的Kl。公式5中示出了K1的更新方法的例子。(公式5) Kl= (B—ave*Q—ave) / (AE—ave*Qcur)公式5中的AE—ave、 B—ave以及Q_ave，分别是过去一定期间中被编 码的输入图像数据的各块中所使用的误差量AE、发生编码量B、以及量 化尺度Q的平均值。预测模式可以按每一个块不同。另外，Qcur是编码 对象块中所使用的量化尺度。如果系数更新部214从量化部104接收到量化尺度Qcur，则更新比例 系数K1。将更新后的比例系数K1发送给评价部213，评价部213使用新 的系数来评价编码量。这里，对利用了比例系数K1的编码量的评价进行说明。图8是表示比例系数Kl及误差量AE与推定编码量B之间的关系的 图解。推定编码量B作为B=K1 AE得到。这与公式2的右边第1项对 应。根据上述的公式5，比例系数Kl可以作为量化尺度Qcm"的函数来获 得。下面，以给出由图8的实线所示的直线8=〖1 'AE的Qcur为基准。 此时的Qcur称作"基准Qcur"。根据公式5，如果Qcur大于基准Qcur，则K1会减小。SP，曲线的倾 斜减小。因此，如果与使用了基准Qcuf时进行比较，则由于即使是同样 的误差量AE，推定编码量B也会减小，所以画质变差。另一方面，如果 Qcur小于基准Qcur，则K1会增大。即，曲线的倾斜增大。因此，如果与 使用了基准Qcur时进行比较，则由于即使是同样的误差量AE，推定编码 量B也会增大，所以画质变得精细。在实际的量化处理中也一样，如果增 大量化尺度Qcur，画质就变差，如果减小量化尺度Qcur，画质就变精细， 因此，如果使用该系数，则能够可靠地对推定编码量进行推定。接下来，对编码装置210的处理顺序进行说明。图9中示出了编码装 置210中的编码处理的顺序。首先，在步骤S90中，评价部213将比例系 数K1的值设为规定值(例如1/16)。这是因为编码开始时尚且不能求出 Kl。接着，在步骤S91中，编码装置210接收运动图像数据，并存储到输 入图像存储器101中。在步骤S92中，输入图像存储器101输出图片的每 一部分(块)的图像数据。在步骤S93中，评价部213使用比例系数Kl，计算出与各个预测模 式对应的评价值J。然后，在步骤S94中，评价部213比较针对各个预测 模式计算出的评价值J，将赋予最小评价值J的预测模式选择为运动补偿在步骤S95中，编码装置210通过所选择的预测模式中的画面间预测 编码或没有进行运动补偿的画面内编码中的任意一个，编码对象块的图像 数据。当在刚才的步骤S95中进行了画面间预测编码时，在接下来的步骤 S96中，评价部213将存储对运动补偿中所使用过的预测模式的AE、 Q、 B。进而，评价部213在步骤S97中使用过去一定期间中所存储的AE、 Q、B的平均值AE—ave、Q一ave、B一ave以及下一个对象块的量化尺度Qcur， 更新比例系数K1。在步骤S98中，编码装置210判断是否对该图片的所有块进行了编码。 在没有对所有的块进行编码时，继续从步骤S92开始的处理，在编码完成 时进入步骤S99。在步骤S99中，编码装置210判定是否完成了所有的运 动图像数据的编码。在没有完成时，继续从步骤S92开始的处理。另外，在图9的流程图中，对每一个块进行了步骤S97的处理，但例 如也可以按每水平一列的块列或每一画面来进行更新处理。而且，图9的 流程图中，在块单位的处理步骤(S92至S97的处理)全部结束之后，进 入下一个块的处理，但这些处理也可以作为流水线处理(例如第N个块被 执行S92、第(N-l)个块被执行S93、第(N-2)个块被执行S94等)而 并列进行。而且，本实施方式中，使用了块间的差分绝对值总和作为预测误差图 像数据的误差量，但如果是预测误差图像数据的二次方总和、二次方总和 的平方根、分散、标准偏差之类的与预测误差图像数据的类似度相关联的 值，则也可以是其他的统计量。并且，本实施方式中，使用了编码对象块的左邻块的运动矢量或大小为O的运动矢量中的任意一个作为预测矢量。但是，预测矢量的决定方法 并不仅限于此。例如，还可以使用与编码对象块相邻的1个以上的块的运 动矢量的平均值、中央值、最频繁值中的任意一个来决定矢量。另外，运动矢量成分的评价值也可以不使用推定编码量，而使用对编码对象块的运动矢量实际进行了可调制编码(VLC)而得到的编码量。或 者，还可以使用由将可变长度编码简化了的计算式求出的推定编码量。(实施方式2)图10中示出了本实施方式的编码装置300的构成。编码装置300可 以代替实施方式1中所说明的编码装置210，安装为图3的记录器200的 一部分。下面对编码装置300进行说明。其中，对编码装置300的构成要素中， 与实施方式1的编码装置210的构成要素和功能相同的部分，标注相同的 参照符号，并省略其说明。图像编码装置300具有输入图像存储器101、减法部102、正交变 换部103、量化部104、可变长度编码部105、逆量化部106、逆正交变换 部107、加法部108、参照图像存储器109、运动检测部110、预测模式决 定部211、运动补偿部112、评价部313以及系数更新部314。评价部313按每一个预测模式，使用由运动检测部110输出的误差量 和运动矢量、由系数更新部314决定的比例系数以及修正系数，计算出对 各个预测模式的评价值。例如，考虑使用公式6所示的值，作为用来计算 出对MPEG中所使用的预测模式之一即单向帧预测的评价值J的评价函 数。公式6的右边第1项是与预测误差图像数据相关的评价值(推定编码 量)，右边第2项分别对应与运动矢量相关的评价值(推定编码量)。 (公式6) J=Max (K1*AE+K2， 0) + Kmv*AMV这里，公式6的Kl是比例系数，K2是修正系数。Kmv及AMV是与 实施方式l相同的参数。图11中示出了公式6的右边第1项(与预测误差数据相关的推定编 码量)的图解。该图解与图8所示的实施方式1的推定编码量曲线的不同 点在于，如果误差量AE的值大于点A的AE坐标值，则是推定编码量开 始增加的点。艮口，根据图8所示的图解，即使在误差量AE较小的情况下，也可推定会发生编码量，与此相对，图ll所示的图解从原点O到点A之间，被 推定编码量为0。其原因在于，当误差量AE小时(AE的值包括在原点0 点A之间时)，通过量化使得变换系数都变为0，因此认为没有发生编码 量。另外，也可以使用O附近的值来代替"0"。当对基于该理论的计算顺序进行说明时，评价部313对各个预测模式 的误差量，是否比与过去被编码过的块相关的量化变换系数的所有系数变 成0的误差量的评价值小进行判断。然后，在小于的情况下，作为公式6 的Max (K1*AE+K2， 0) =0计算出评价值，这与将K1*AE+K2计算作0 意义相同。另外，上述的说明中，对各个预测模式的误差量、和与过去编 码过的块相关的误差量的评价值进行了比较。但是，也可以不是评价值而 是最大值。可以理解为本实施方式的推定对实际的量化处理进行了考虑而计算推定量。因此，如图6所示通过使用K1与K2，能够计算出更高精度的推 定编码量。另外，公式6中给误差量AE乘以K1并加上K2之后，通过阈 值O来限制下限的原因是为了让推定编码量不会变为负数。系数更新部314对比例系数及修正系数进行更新。每当这些系数被更 新时，系数更新部314都会使用在过去编码过的块中，由预测模式决定部 211决定的预测模式的误差量、由可变长度编码部105输出的发生编码量、 以及由量化部104决定的量化尺度(过去使用的尺度及对当前的编码对象 块使用的尺度这两方)。系数更新部314例如对上述公式6中含有的Kl及K2进行更新。公 式7、公式8中示出了K1、 K2的更新方法的例子。(公式7) Kl= (B—ave*Q—ave) /{ (AE2—ave—AE1—ave) Qcur} (公式8) K2= (—1) *K1*AE1—ave这里，AE1—ave、 AE2—ave分别表示在过去一定期间中被编码过的输 入图像数据中，各块中所使用的预测模式的预测误差数据中，变换系数通 过量化都变成了 0的块的误差量AE的平均值，以及通过量化还残留有非 0的变换系数的块的误差量AE的平均值。图6的图表中的点A相当于坐 标(AE1—ave， 0)。另外，B—ave、 Q—ave、 Qcur是与实施方式1相同的 参数。通过使用公式6至公式8,并考虑因量化而使得变换系数变成了 0的 AE的范围，能够以更高的精度计算出推定编码量。上述编码装置及解码装置中所执行的处理，能够通过在通用计算机中 执行计算机程序来实现。这样的计算机程序例如含有执行图9所示的流程 图中所规定的处理的命令。计算机程序可记录在以光盘为代表的光记录介 质、SD存储卡、以EEPROM为代表的半导体记录介质、及以软盘为代表 的磁记录介质等记录介质中，作为产品在市场上流通。另外，计算机程序 可经由以互联网为代表的通信网络进行传送。工业上的可利用性本发明所涉及的编码装置以及安装有这种编码装置的运动图像记录 装置，能够对运动图像数据高效率地进行压縮编码。特别是在画面间预测 编码的运动补偿预测中，由于在编码的过程中学习并更新在用来决定预测 模式的评价值计算方法中所使用的系数，因此能够总是使用适当的预测模 式，得到稳定的画质。
权利要求
1.一种编码装置，根据从多个预测模式中决定的预测模式，对可切换显示多个图像的运动图像数据，进行基于运动补偿的画面间预测编码，该编码装置具有检测部，其根据分别对应于多个预测模式而被利用的参照图像的块，检测出编码对象的图像中含有的块的误差量及运动矢量；评价部，其计算出各个误差量和规定的第1系数的乘积、与基于各个运动矢量的预测矢量和第2系数的乘积之和，作为评价值；决定部，其根据所述评价值决定多个预测模式中的1个；系数更新部，其至少使用编码对象的所述块的量化时所使用的量化尺度，来更新所述比例系数；以及编码部，其根据所决定的预测模式，对编码对象的所述块的数据进行编码。
2. 如权利要求1所述的编码装置，其特征在于还具有将与编码对象的所述块的误差量对应的数据，变换成多个频率 成分的系数的变换部；以及根据预先设定的量化矩阵及所述量化尺度，对各个频率成分的系数进 行量化，生成量化值的量化部；所述编码部根据所决定的预测模式来编码各个量化值。
3. 如权利要求2所述的编码装置，其特征在于所述量化部根据所述量化矩阵及预先设定的量化尺度的乘积，对每一 个所述块的所述各个频率成分的系数进行量化，生成量化值。
4. 如权利要求3所述的编码装置，其特征在于所述系数更新部根据与过去被编码过的块相关的预测模式的误差量、 编码后的数据量以及所述量化尺度、及与编码对象的所述块对应的量化尺 度，更新所述第l系数。
5. 如权利要求1所述的编码装置，其特征在于所述系数更新部根据表示对所述参照图像设定的所述块的存在范围 的像素数，确定所述第2系数。
6. 如权利要求4所述的编码装置，其特征在于所述评价部在各个预测模式的误差量，比与过去被编码过的块相关的 量化变换系数的所有系数都变成了 0的误差量的平均值小时，将所述各个 预测模式的误差量与规定的第1系数的乘积设为0，计算出所述评价值。
7. 如权利要求4所述的编码装置，其特征在于-所述评价部对所述各个误差量与规定的第1系数的乘积加上修正系 数，将相加结果和规定阈值中较大一方的值，与基于各个运动矢量的预测矢量和第2系数的乘积相加，计算出所述评价值。
8. 如权利要求7所述的编码装置，其特征在于所述系数更新部根据所述预测模式的误差量中，与所述误差量对应的量化变换系数的所有系数都变成了 0的误差量的平均值、和与所述误差量 对应的量化变换系数的任意一个系数都没有变为0的误差量的平均值，来 更新所述第1系数；根据所述第1系数及与所述误差量对应的量化变换系数的所有系数都 变成了0的误差量的平均值，更新所述修正系数。
9. 一种运动图像记录系统，具有对可切换显示多个图像的运动图 像的视频信号进行接收，并输出运动图像的数据的视频信号接收部；根据从多个预测模式中决定的预测模式，对所述运动图像的数据进行 基于运动补偿的画面间预测编码，输出编码数据的编码装置；以及 将所述编码数据写入到记录介质中的记录部； 所述编码装置具有检测部，其根据分别对应于多个预测模式而被利用的参照图像的块， 检测出编码对象的图像中含有的块的误差量及运动矢量；评价部，其计算出各个误差量和规定的第1系数的乘积、与基于各个 运动矢量的预测矢量和第2系数的乘积之和，作为评价值；决定部，其根据所述评价值决定多个预测模式中的l个；以及系数更新部，其至少使用编码对象的所述块的量化时所使用的量化尺 度，来更新所述比例系数。
全文摘要
为了实现不管用来对运动图像进行编码的目标位速率的高低，都能够尽可能地以高画质实时编码运动图像。编码装置根据从多个预测模式中决定的预测模式，对运动图像数据进行基于运动补偿的画面间预测编码。编码装置具有检测部，其根据分别对应于多个预测模式而被利用的参照图像的块，检测出编码对象的图像的块的误差量及运动矢量；评价部，其计算出各误差量和规定的第1系数的乘积、与基于各个运动矢量的预测矢量和第2系数的乘积之和，作为评价值；决定部，其根据评价值决定多个预测模式中的1个的；系数更新部，其至少使用编码对象块的量化时所使用的量化尺度来更新所述比例系数；及编码部，其根据所决定的预测模式对编码对象块的数据进行编码。
文档编号H04N7/32GK101116343SQ200680004360
公开日2008年1月30日 申请日期2006年3月22日 优先权日2005年3月22日
发明者河原田诚, 甲野和彦, 福田秀树, 稻垣寻纪 申请人:松下电器产业株式会社