专利名称：变换活动图像编码方式的方法及其装置的制作方法
技术领域：
本发明涉及用于将以某一编码方式记录的活动图像数据变换为另一编码方式的活动图像数据的方法及其装置。
近年来，迎来了对声音、图像、其他数据进行综合处理的多媒体时代，向来使用的信息媒体，例如报纸、杂志、电视、无线电、电话等向人们传递信息的手段被作为多媒体的对象采纳。
通常所谓多媒体不仅是指文字，还指同时相关地表示图形、声音、特别是图像等，以上述已有的信息媒体作为多媒体对象的必要条件，是以数字形式表示其信息。
但是，将上述各信息媒体所具有的信息量作为数字信息量估计，在文字的情况下所需要的信息量是，每一文字1～2字节，声音的情况下是每一秒64kb(电话质量)，对于活动图像，则是每一秒100Mb(现行电视接收质量)以上。上述信息媒体中，这样庞大的信息量以数字形式原封不动地加以处理是不现实的。
例如电视电话已经借助于具有64kbps～1.5Mbps的传输速率的综合业务数字网(ISDN)实用化了，但是摄像机拍摄的图像原封不动地用ISDN传输是不可能的。
因此，信息压缩技术越来越需要了，例如在电视电话的情况下，使用ITU-T(国际电信联合会电信标准化部)提出的国际标准化的H.261标准和H.263标准的活动图像压缩技术。
采用MPEG标准的信息压缩技术，能够把通常的电视广播活动图像数据压缩到2～15Mbps。
这里所谓MPEG(Moving Picture Experts Group)是指世界标准化机构(International Organization for Standardization、ISO)的进行声音、活动图像标准化的工作小组(ISO/IEC JTC1/SC29/WG11)，同时也意味着该小组制定的数据压缩国际标准。现在，可以利用MPEG以物体为单元进行编码、操作，实现多媒体时代需要的新功能的MPEG4正在标准化。
这样，现在想要使用多种活动图像编码标准，而今后的课题是编码数据(下面称为“位流”)没有互换性。
例如以MPEG4为依据的译码器有能够译码H.263位流的规定，但是，通常在上述H.261、H.263、MPEG2、MPEG4的编码方式之间，位流没有互换性(亦即不能够把以不同方式为依据的编码器和译码器配对使用)。
因此需要以不同编码方式为依据的位流的变换装置(下称代码转换器)。
图1是代码转换器的概念图。在这里，A和B是不同的编码方式，以方式A为依据的译码器101和以方式B为依据的编码器103通过帧存储器及图像变换部102连接。
例如，分别考虑方式A和方式B分别为MPEG2(图像规模为704×480像素)和H.263(图像规模为360×228像素)。虽然图像规模不同，但是可进行变换，以暂时把位流变换为图像后，再次编码。
但是，上述H.261、H.263、MPEG2、MPEG4的编码方式都把运动补偿离散余弦变换(Motion-Compensated Discrete Cosine Transformation)编码方式(下面简称“MC-DCT编码”)作为共同的构架使用。在MC-DCT编码方式中，把图像分割为16×16像素构成的称为宏数据块的数据块，在连续的图像(帧)之间计算宏数据块的差分变成最小值的活动量(运动矢量)，对该差分进行离散余弦变换(DCT)编码。
求运动矢量，使帧间差分达到最小，从而得到去除冗余性的差分图像。此工作称为运动补偿。
DCT用于去除残留于运动补偿过的图像(差分图像)中的空间冗余性。
还有，第一帧由于没有进行与其他帧的差分编码，只使用DCT编码。这称为I图片。经过MC-DCT编码的一般帧称为P图片。
上述MC-DCT编码方式用于编码方式A、B，则在图1的译码时能够得到活动信息和DCT系数量化等MC-DCT编码时的副信息(下称“补充信息”)，可望改善再次编码时的计算效率和编码效率(图像质量和编码量)。
利用这种补充信息的已有代码转换器的例子有日本申请特开平10-271494号公报公开的活动图像代码变换装置。
其概念示于图2。
把图1所示的代码转换器的方式A置为MPEG2，把方式B置为H.263，则相当于图2的202到203的结构。
在这一已有例中，两种编码方式具有MD-DCT方式作为共同的构架，因此，缩放(乘以图像规模的比变换绝对值)MPEG译码时得到的运动矢量，在H.263的编码时能够省略运动矢量检索。
在图2所示的已有例中，从补充信息取得运动矢量，利用在MPEG2的译码时得到的信息提高再次编码的计算效率。
但是，构成实际代码转换器时，除了运动矢量的再次利用外还有许多应该研究的课题。
在实际编码器中，为了调整其输出位流的数据量，需要有称为“速率控制”的机构。
通常，预先在输出侧设置吸收数据发生量的变动的缓存器，根据在该输出缓存器滞留的数据量(下面称为“缓存器充填量”)调整代码量。
MC-DCT编码方式中，通常该代码量的调整利用改变DCT系数的量化精度的方法进行(精度高则图像质量提高，但是发生的代码量增加，精度低则反之)。
图3是表示代码转换器的课题的概念图。
在输出缓存器304的前面有通信线路或存储媒体。现在假定为具有固定的数据速度的通信线路，则从输出缓存器以一定的速度输出位流。采用方式B的编码器303必须对发生的代码量进行调整(速率控制)，使缓存器204的数据不下溢也不溢出。另一方面，为了提高再次编码的图像的质量，必须利用与编码模式等编码步骤有关的补充信息。一般地说，如果使采用方式B的编码器与采用方式A的编码步骤无关地运作，则采用方式B引起的图像质量损失叠加于采用A方式引起的图像质量损失。例如采用方式A的位流定为以10帧/秒编码。
利用方式B以15帧/秒独立地将其再现结果再次编码，则与方式A的编码时刻一致的方式B的帧在3帧中只有1帧。也就是说，其他2帧译码间隔与原来的活动图像不一致。因此，方式B的译码结果，尽管提高了帧速率也不能维持方式A的图像质量，而且担心变坏。
这也可以说成DCT系数的量化。方式A的量化采取按1/2舍入。为了防止再次量化引起的累积误差，方式B的量化也采取按1/2舍入，这在代码量衔接的意义上是最理想的。代码转换器中的帧速率的变换、DCT系数的再次量化、图像规模的变换在广义的意义上都是对活动图像进行“再量化”操作。这种再量化最好是使在图3中的采用方式B的编码器303从属于采用方式A的译码器301地进行工作。
归纳上面所述，进行速率控制时，最好是采用方式B的编码器303一边观察输出缓存器304的充填量一边独立于译码器301地进行工作，以便能够对再量化进行控制。另一方面，为了抑制广义的再量化引起的图像质量下降，采用方式B的编码器303最好是从属于采用方式A的译码器301地进行工作。但是，关于代码转换器的已有技术是根据利用按运动矢量定标再编码等补充信息以提高计算效率的观点研究出来的，尚未见到能够同时进行速率控制与抑制再量化引起的图像质量下降的技术。
鉴于上述各点，本发明的目的在于，提供在变换活动图像编码方式时一边抑制图像质量下降一边进行速率控制的方法及装置。
本发明的第1种形态是，把利用由帧内编码模式与帧间差分编码模式的组合构成的第1活动图像编码方式生成的第1数据系列变换为利用同样由帧内编码模式与帧间差分编码模式的组合构成的第2活动图像编码方式生成的第2数据系列，而且从数据的前头依次变换的方法/装置，1.从第1数据系列中读出1帧份额的数据，再先读后续帧的编码模式进行记录，2.在所述先读的后续帧的编码模式是帧内编码时，根据变换为第2活动图像编码方式的第2数据系列的发生代码量进行控制，或不进行当前帧的编码，或减少发生代码量。然后，把第1数据系列中存在的以帧内编码模式编码的数据优先变换为第2数据系列。
采用这样的方法/装置，先读出后续帧的编码模式加以记录，根据该模式相应于发生变换时的代码量对当前帧的代码量进行控制，以此使得在“I”帧编码时能够进行稳定的编码，而不发生溢出。
本发明的第2种形态是，把利用第1活动图像编码方式生成的第1数据系列变换为利用第2活动图像编码方式生成的第2数据系列，而且从数据前头起把帧或分割帧得到的部分图像按每一编码单元依次变换的方法/装置，1.从第1数据系列中读出1编码单元的数据时，对该1编码单元的数据量进行记录，2.在把1编码单元变换到第2活动图像编码方式时，把第2数据系列的发生代码量的目标值定为所述数据量乘以规定系数的值。而且控制得使构成第1数据系列的各编码单元的数据量的比接近构成第2数据系列的各编码单元的数据量的比。
采用这样的方法/装置，对原图像数据的1帧份额的数据量进行记录，将其变换到第2活动图像编码方式时，把发生代码量的目标值定为所述数据量乘以规定系数的值，借助于此，能够在原来的速率控制下可靠地进行再编码，能够抑制再次量化引起的累积误差造成的图像质量下降。
本发明的第3种形态是，把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为同样利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列，而且从数据前头依次变换的方法/装置，在第2数据系列的发生代码量没有达到作为目标值的代码量的情况下，在第2活动图像编码方式中更多地选择帧内编码模式。
采用这样的方法/装置，在输出缓存器有余裕时，利用插入帧内编码模式的方法进行调整。借助于此，即使不改变量化特性也能够进行速率控制，能够抑制再次量化引起的图像质量下降。
本发明的第4种形态是，从数据前头依次把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为同样利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列的方法/装置，在第2数据系列的发生代码量超过作为目标值的代码量的情况下，在第2活动图像编码方式中更多地选择帧间编码模式。采用这样的方法/装置，在输出缓存器没有余裕时，利用插入帧间编码模式的方法进行调整。借助于此，即使不改变量化特性也能够进行速率控制，能够抑制再次量化引起的图像质量下降。
本发明的第5种形态是，依次把利用带有量化引起的信息损失的第1不可逆活动图像编码方式生成的第1数据系列变换为同样利用带有量化引起的信息损失的第2不可逆活动图像编码方式生成的第2数据系列的方法/装置，1.从第1数据系列读出数据时，记录量化宽度，2.在对第2数据系列的发生代码量进行调节时，将量化宽度变换为所述记录的量化宽度的整数倍。
采用这样的方法/装置，在利用量化宽度的变更进行速率控制时，能够利用对变更取整数倍的方法抑制再次量化引起的图像质量下降。
考虑下面结合附图在一个例子中进行的描述，本发明上述的和其他的目的和特征将会更加清楚地得到理解。
图1是代码转换器的概念图。
图2表示已有的代码变换装置。
图3是代码转换器的课题的概念图。
图4是H.261的图像数据结构图。
图5是H.261的图像数据结构图。
图6是MPEG4图像简单类(profile)的图像数据结构图。
图7是MPEG4图像简单类的数据结构图。
图8表示代码转换器中间数据。
图9是代码转换器全系统流程图。
图10是从H.261变换到MPEG4时的帧内、帧间编码模式控制部分的流程图。
图11是从H.261变换到MPEG4时速率控制用的宏数据块单元编码信息变更部分的流程图。
图12是从MPEG4变换到H.261时的帧内、帧间编码模式控制部分的流程图。
图13是从MPEG4变换到H.261时速率控制用的宏数据块单元编码信息变更部分的流程图。
图14是本发明的代码转换器的概念图。
图15表示从H.261变换到MPEG4的代码转换器。
图16表示从MPEG4变换到H.261的代码转换器。
作为实施例，考虑了把以依据ITUO-T H.261建议的活动图像编码方式编码的位流变换为以依据ISO MPEG-4标准的活动图像编码方式的位流及其相反变换。不管哪一种都是依据MC-DCT方式的代表性编码方式，其详细内容记述于ITU-T建议H.261文件(H.261 Recommendation、LINE TRANSMISSION OF NON-TELEPHONE SIGNALS03/1993)和ISO标准化文件(文件号ISO/IEC JTC1/SC29/WG11 N2502文件名INFORMATION TECHNOLOGY-GENERIC CODING OF AUDIO-VISUAL OBJECTS Part2VisualISO/IEC 14496-2、出版日期1998.10)。又，标准化中未作出规定的H.261编码器的运作参考CCITT(现在为ITU-T)SG15 Working Party 15/4、Specialists Group oncoding for Visual Telephone Document 525、Description of Ref.Mode 18(RM8)、June 1989。
首先对H.261的数据结构加以说明。
图4表示H.261的图像数据结构。编码的图像称为QCIF(Quarter CommonInterface Format)，取横向176像素，纵向144像素。在H.261也把图像分割为16×16像素的宏数据块。以宏数据块单元进行运动补偿，但是DCT编码以构成宏数据块的DCT数据块进行。DCT数据块的大小为8×8像素，共由6个DCT数据块构成宏数据块，其中辉度数据块4个，色差数据块对辉度数据块纵横各1个，因为析像度在这两部分平分。汇集3行宏数据块的单元称为GOB(Group of block)。
图5表示根据H.261编码的数据结构。为了便于理解，把位流分成4层说明。首先，位流是图片(Picture，与“帧”意义相同)的重复。从PSC(Picture Start Code，即“帧开始码”)开始，接着是TR(Temporal Reference，即“帧编号”)。然后是PTYPE(Picture Type，即“类型信息”)。H.261中，在PTYPE表示出图像规模和再现模式，没有关于在后面叙述的该帧是经过帧内编码还是帧间编码的信息。此后是GOB层的重复(QCIF的情况下是3次)。
QOB层的前头是GBSC(GOB开始码)。从GOB开始码开始，接着是GN(GOB Number，即GOB编号)，然后传送GQUANT(量化特性信息)。在H.261中，DCT系数的量化，对于帧间编码是以从1到31的索引号表示的量化宽度进行的。对于帧内编码，只是相当于索引号8的一种。
该GOB的DCT系数量化宽度由GQUANT指示。GOB层的最后是宏数据块的重复。宏数据块的数据以MBA(Micro block Address，即“宏数据块地址”)开始。这相对表示包含有效码的宏数据块的位置。在MC-DCT编码时，静止区域中即使运动矢量和DCT系数都不传送也能够重现图像。
因此，也可以不传送宏数据块。这被称为宏数据块跳跃，因此需要MBA。MTYPE(类型信息)用于指示出宏数据块是进行了帧间编码，还是进行了帧内编码。除了H.261以外的MC-DCT编码中，通常在进行帧单元的帧内/帧间切换之外，还按宏数据块单元进行帧内/帧间切换。
又，同时在MTYPE中包含回路滤波器是否施加于该宏数据块的信息。回路滤波器以H.261特有的(其他编码标准中所没有的)处理对运动补偿后的预测图像实施利用局部平均的滤波。有时为了提高预测效率适当加以利用。MQUANT(量化特性)利用GQUANT决定该GOB的DCT系数量化宽度，在需要变更量化宽度的情况下，以宏数据块为单元将其传送。MVD(运动矢量数据)是用于运动补偿的运动矢量。CBP(Coded BlockPattern，即编码数据块模式)表示有效数据块模式。
共计6DCT数据块中，DCT后的系数量化结果完全为零的数据块没有必要传送。因此CBP只指定具有非领系数的数据块传送DCT系数。
下面对MPEG-4标准进行说明。
在MPEG-4利用称为“类”(profile)的应用进行使用功能的划分。在这里，作为变换的对象的是最简单的简单类。
图6表示MPEG-4的图像数据结构。在H.261中，图像规模定为QCIF及其纵横2倍规模的CIF(Common Interface Format)图像，但是在MPEG-4中，这是任意的，也没有图像规模为16的倍数的限制。像素的纵横尺寸比(把一个像素看成矩形时的纵横比率)也是任意的。在H.261中为4∶3。
因此，为了简单，在这里使处理的图像的规模全部统一于H.261。
在MPEG-4，定义称为视频数据包(Video packet)的结构代替GOB。GOB是将图像分割为固定的矩形得到的，与此相反，视频数据包的开始位置在宏数据块单元是任意的。其他DCT数据块的结构和H.261大致相同，因此在图6中省略其说明。
MPEG-4中，把相当于1帧或1图片的图像称为视频对象平面(Video Objectplane)。下面将其简称为VOP。
首先，从VSC(VOP Start Code，即VOP开始码)开始，借助于VTYPE(vop#coding#type)，了解该帧是被帧内编码还是帧间编码。在H.261中，利用TR(temporal Reference，即时间基准)，进行时间显示作为帧编号，对于MPEG-4，详细情况在引用的文献中已有叙述，因此加以省略，而从基准帧起经过的时间，利用MTB(module#time#base)以秒单位的粒度直接指示时间，利用VTI(vop#time#increment)以小于秒的粒度直接指示时间。VQUANT是量化特性信息，相当于H.261的GQUANT，对整个图像的量化宽度进行指定。RSM(Resync Mark，即再同步标记)附于视频数据包的前头，遇到传输出错时能够迅速进行再同步。视频数据包首部收容着再同步之后需要的有关VOP的信息。
宏数据块数据的结构从NCD(Not Coded，即无效标志)开始。在H.261中，利用MBA，作为转向下一有效的宏数据块的相对地址，跳过无效宏数据块，而在MPEG-4中，利用建立1位的标志的方法表现无效的宏数据块。MCBPC(microblock type andthe coded block pattern for chrominance，即宏数据块信息)与MTYPE一样，使用于进行帧内/帧间的切换。
但是，由于在MPEG-4不存在回路滤波器，所以不包含该表示。另一方面，信号的DCT数据的有效/无效模式在MCBPC得以表示。也就是说，H.261的CBP中，包含有关色差信号的信息。关于辉度DCT数据块的有效/无效模式，利用CBPY(辉度有效数据块模式)表示构成宏数据块的4个辉度数据块的模式。
DQUANT使用于以宏数据块单元变更DCT系数的量化宽度的情况。与MQUANT不同，以±2的范围指示增减值。MVD(运动矢量信息)是使用于运动补偿的运动矢量。H.261的精度以整数的像素为单位，而在MPEG-4则不同，以半像素(0.5像素)为单位。DCT系数数据块的结构大致与H.261相同。
将上面所述加以归纳表明，H.261与最单纯的结构的MPEG-4共有MC-DCT的框架，数据结构虽然表现方法(编码的文法)不同，但是数据上有许多互换性。H.261与MPEG-4在编码方式变换方面较大的不同为以下各点。
运动补偿H.261整数精度+回路滤波器MPEG-4半像素精度搜索范围能够借助于称为F值的定标变更运动矢量是每一宏数据块存在4个的模式，DCT系数量化DCT系数量化H.261、MPEG-4都是具有相同的量化宽度的线形量化。
但是，对于帧内编码模式的直流分量，在MPEG-4中有非线形量化的模式。
H.261的帧内编码固定于量化索引号8。
由于上述不同，代码转换器不采取原封不动转储DCT系数的结构，如图3所示，将方式A(这时是H.261或MPEG-4)变换为方式B(MPEG-4或H.261)时，采取通过帧存储器302，暂时译码为图像数据后，再次编码的方式或装置。
这时，作为补充信息，考虑图8所示的代码转换器中间数据。
在图8中，表示出存储于存储器的存储目的地的是为了与下面所示的实施例的结构取得对应。
下面对各数据的意义加以说明。
根据迄今为止所说明的数据结构，以下各项可以作为H.261和MPEG4共同的中间数据使用。
*下一帧编码模式NPTYPE＝[‘I’、‘P’、‘U’]利用方式A的译码中先读求得。如果是MPEG4则为VTYPE，如果是H.261则‘U’为不定。
*当前帧编码量Pcontent(单位Kbits)利用方式A的1帧译码求得。
在1帧结束后进行再编码时，与1帧份额的数据量相当。从原图像译码的中途开始再编码时，数据量是从该帧的开始到该时刻为止。
*当前帧编码模式PTYPE＝[‘I’、‘P’]‘I’表示帧内编码，‘P’表示帧间编码。在H.261，如果所有的宏数据块是帧内编码，不是‘I’则是‘P’。这可以根据下述PREDi、j判定。
*当前帧编号TR(整数值)
从MPEG4，利用MTB和VTI求得。
*有效无效标记CDij＝
表示为，宏数据块的有效0，无效1。i、j表示宏数据块的水平、垂直位置。‘U’表示不定的情况。
例如，对A方式的P图片以B方式I图片再次进行编码等情况下为不定。
*数据块有效无效标志CBPi、j、k＝
表示DCT数据块的有效、无效。根据MPEG4由MCBPC与CBPY决定。
由于是Y×4、Cr×1、Cb×1，所以k取0～5的数值。
*量化定标QUANTi、j＝[1、～、31、‘U’]表示宏数据块单元的量化宽度的索引号*编码模式MTYPEi、j＝[‘I’、‘P’、‘U’]表示宏数据块单元的帧内、帧间编码模式。‘U’表示不定。
运动矢量(MVXi、j、MVYi、j)值是[-15、～、15、‘U’]以整数精度表示运动矢量的水平、垂直绝对值。由于H.261是整数精度，所以与其一致。
*帧内间隔PERIODi、j＝
的整数值在MC-DCT方式中，帧间DCT运算的精度被积累，在编码、译码间发生运算的失配。
因此，必须在132编码帧间隔以内对宏数据块进行帧内编码。
这称为帧内更新。这是用于周期性进行该帧内更新的计数器。初始值取0。
*运动区域标志MOVi、j＝
是表示该宏数据块是否包含于运动区域的标志。以‘1’表示是运动区域。
在实施例中，(MVXi、j、MVYi、j)的要素中，任何一个绝对值在1以上就作为运动区域。
以上说明了对H.261、MPEG4的数据结构之后，在图9对第1实施例和第2实施例的共同的流程图加以说明。
首先，利用初始化，PERIODi、j对全部i、j设定于0。该数据涉及宏数据块单元的帧内、帧间控制。
下面利用方式A(H.261或MPEG4)图像的再次构成及中间数据生成的步骤，生成重放图像和中间数据NPTYPE、Pcontent、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、j(MVXi、j、MVYi、j)、MOVi、j。
在这里，对于全部实施例，代码转换器的基本方针如下。
基本方针1以方式A编码时生成的补充信息中，PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、j基本上全部转移到方式B的编码模式使用。借助于此，可以抑制再次量化引起的累积造成的图像质量下降。
但是，变更方式A译码时生成的补充信息中的一部分以控制速率。进行变更的方法将在下面叙述。
基本方针2运动矢量信息(MVXi、j、MVYi、j)在进行方式B的再编码时作为参考信息使用。也就是说，运动矢量信息的值确定的情况下，以在其近旁宏数据块之间的差分为最小的位置作为运动矢量使用于再次搜索。在‘U’的情况下从(0、0)开始搜索。
在图9中，生成中间数据后进入条件转移。
当前帧的编码模式是中间编码，后一帧的编码模式是帧内编码，并且如果当前的缓存器充填量(图中Bcontent)满足如下条件，即Bcontent(该帧的累积数据量)＞缓存器容量的一半则废弃当前输入帧，停止编码，对下一帧进行帧内编码。
又，从译码侧给出对后一帧进行强制性帧内编码的指示时也一样。在出错的情况下，从译码侧给出对后一帧进行强制性帧内编码的指示。
在MC-DCT编码中，称为I图片的帧内编码过的帧是重要的。因为以后的以帧间编码模式编码的帧没有这一帧就不能译码。另一方面，在输出缓存器的容量没有余裕的情况下按照上述基本方针1进行再编码的情况下，在进行I图片的再编码时恐怕要发生输出缓存器溢出的情况。一旦发生由于输出缓存器溢出，I图片不能够编码的事态，图像质量将发生下降。
因此，先读出后续于当前输入帧的后续帧的NPTYPE，考虑后续帧的NPTYPE和当前的缓存器充填量(Bcontent)，对B方式的编码处理加以切换。也就是说，如果后续帧是I图片，而且I图片再次编码时输出缓存器有可能溢出，则废弃当前输入帧(P图片)，为再次编码的后续帧的I图片确保输出缓存器的容量。图9表示的就是这一概念。
还有，在H.261中，帧内、帧间编码的模式表示不存在于帧的前头，所以图9的条件转移只能够用于MPEG4→H.261的情况。
在图9的条件转移中，如果是“否”(“NO’)(H.261→MPEG4的变换中通常为“否”)则进入帧内、帧间编码模式控制。关于该控制以后的处理，将把从H.261变换为MPEG4的变换方法作为实施例1，把从MPEG4变换为H.261的变换方法作为实施例2加以说明。
实施例1实施根据图9、10、11所示的流程进行的变换。图9中的粗线条框所示的处理步骤中，帧内、帧间编码模式控制(S1)按照图10所示的流程图实施，速率控制用的宏数据块单元编码信息的变更(S2)按照图11所示的流程图实施。
在这里，关于速率控制的条件，H.261的编码速率取64Kbps，MPEG4的编码速率也同样取64Kbps。又，输出缓存器的缓存器规模采取6.4kbit。
在图10所示的帧内、帧间编码模式控制中，从H.261的数据系列变换为MPEG4的数据系列时，将属于运动区域的宏数据块中的更新间隔为高端的N个(在本实施例中为3个)宏数据块强制性变更为帧内编码模式。
借助于上述处理，以运动区域的宏数据块为中心进行帧内更新，因此MPEG4的位流的耐出错特性得到改善。这是因为在静止图像区域发生传输错误的情况下，利用拷贝前一帧的结果的方法进行补救，而在运动区域则图像质量下降。
图11表示对判定为是帧间模式的宏数据块进行再编码处理的步骤。运动预测实施代码转换器的基本方针2所示的处理。
这时，把运动补偿过的数据块间差分的辉度色散作为VAR、把输入图像的数据块内辉度色散作为VAROR计算。
作为H.261编码器的典型，在典型的RM8(记载于上述引用的文献)中，使用该VAR和VAROR对宏数据块的编码模式进行是帧内模式还是帧间模式的判定。具体地说，在VAR＜64的情况下，也就是帧间差分的信号功率绝对小的情况下，或是VAR＜VAROR，亦即帧间差分的信号功率比帧内信号功率小的情况下，进行帧间编码。
在进行帧间编码时，进行速率控制，调整编码发生量，使缓存器充填量(Bcontent)接近预定代码量。在本实施例中，预定代码量根据下式进行计算。
预定代码量＝Pcontent×(MPEG-4编码速率/H.261编码速率)×当前的宏数据块处理数/总数在本实施例中，编码速率二者是64kbps，因此(MPEG-4编码速率/H.261编码速率)＝1。
这样，以Pcontent为依据对预定代码量(换句话说，就是目标代码量)进行计算，能够一边尽可能保存H.261的量化控制，一边还能够实现原来进行的速率控制。例如，进行速率控制，使构成方式B的数据系列的各编码单元之间的数据量的比接近构成方式A的数据系列的各编码单元之间的数据量的比。其结果是，构成方式A的数据系列时的概念在变换后的方式B的数据系列中也被保存下来。
又，乘VAR的系数r根据下式计算。
r＝max(1、0，预定代码量/发生代码量)因此，VAR在发生代码量低于预定代码量时大于1。所以，在由于取VAR＝VAR*r，输出缓存器的容量有余裕时(发生代码量低于预定代码量时)，加大VAR，对模式进行控制，以更多地选择帧内编码模式。还有，VAR是运动补偿过的帧间差分像素均方值(辉度色散)，表示帧间差分的信号功率。又VAROR是输入图像的数据块内的像素均方值(辉度色散)，表示帧内信号功率。
通常的编码器控制中，在位速率有余裕的情况下减小量化宽度，提高图像质量，而在本发明这样的发生变换编码的情况下，如上所述，最好是量化特性尽可能不改变，因此量化宽度的变更限制于最低限度，使帧内编码模式的帧(I图片)数目增加。以此增加对于数据包丢失的耐出错特性。通常MPEG-4比H.261编码效率高，因此在相同编码速率的变换中，在输出缓存器的充填量有余裕的范围进行控制以采用帧内模式有如上所述的好处。
又，图11所示的流程图的最后的步骤是QUANTi、j的控制。在RM8中，64Kbps的情况下用下式求量化宽度。
量化宽度＝2×int(缓存器充填量[bit]/200)+2根据上式控制量化宽度，则得以实现如果缓存器充填量增加，量化宽度就变大，发生代码量就减少的缓存器控制。
在本实施例中，考虑量化误差的累积与发生的二进制位量的关系，变更量化宽度如下。
缓存器充填量＞缓存器容量的70％时量化宽度＝QUANTi、j×2缓存器充填量＞缓存器容量的80％时量化宽度＝QUANTi、j×3缓存器充填量＞缓存器容量的90％时量化宽度＝QUANTi、j×4
但是，在MPEG-4中，在邻接的宏数据块中QUANTi、j的值的变更最大只允许到2为止，因此变更幅度限制于最大为2。
这样，先进行控制编码模式，使缓存器充填量接近目标代码量的控制，如果需要变更量化特性(量化宽度)，就设定方式B的量化宽度，使其为方式A的量化宽度的整数倍。
以上对第1实施例进行了叙述。所实现的是一边保存变更前的量化特性一边对速率进行控制的方法的一个例子。
还叙述了在输出缓存器有余裕时利用对VAR值的再定义增加帧内宏数据块的方法，但是也可以与此不同，对属于运动区域的宏数据块的帧内更新值N进行调整。
下面对实施例2进行说明。
实施例2是从MPEG-4变换为H.261的变换方法，依据图9、12、13所示的流程图实施变换操作。
图9中的粗线框所示的处理步骤中，帧间、帧内编码模式控制按照图12内的流程图执行，速率控制用的宏数据块单元编码信息的变更按照图13内的流程图执行。
为了便于理解，以不同于实施例1的内容为中心进行说明。
在这里MPEG-4的编码效率比H.261高，但是为了提高耐出错性能，假定对宏数据块进行帧内编码到超过需要的程度。
图12所示的帧内、帧间编码模式的控制中，除了在帧内宏数据块中PERIODi、j是最大的，或是PERIODi、j超过宏数据块总数(99)外，编码模式取‘U’(不定)。这样，即使当前帧的编码模式是帧间差分编码模式的情况下，也余留最低限度的帧内宏数据块，除此以外，编码模式取‘U’(不定)。其结果是，在下一步骤(图13)产生再次进行帧间编码的机会。
在这里，从编码效率高的方式B变换为编码效率相对较低的方式A时，如果把包含于方式B的数据系列的全部I图片(帧内编码图像)变换为方式A的数据系列，则I图片比P图片(帧间编码图像)数据量多，因此有可能发生输出缓存器溢出的情况。本实施例为了在不对量化宽度进行控制的情况下避免缓存器溢出，减少帧内编码的宏数据块的数目。相对增加帧间编码的宏数据块的数目。
图13所示的帧内/帧间判定是在RM8叙述的使用VAR和VAROR的一般判定方法。作为图13的最后步骤的QUANTi、j控制与实施例1相同，因此省略其说明。
采用实施例2，对变换为通常编码效率据说比MPEG-4差的H.261的方式变换，进行模式变换，把帧内宏数据块变换为帧间宏数据块，借助于此，即使不对其他宏数据块进行量化宽度的控制，也能够避免缓存器溢出。
下面就图像代码变换装置的实施例进行2项叙述。图14是实施例3、实施例4共同的代码转换器的概念图，是实施图9的方法的装置。
在帧编码模式存储器406、运动矢量存储器407、宏数据块编码模式存储器408、速率控制信息存储器409存储图8所记载的中间数据。图9所记载的控制用编码器控制部409实现。接收该控制信号后，帧编码模式变更部410、宏数据块编码模式变更部411分别进行变更。
该图表示只要编码器控制部405的控制信号无特别控制，PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、j的信息就原封不动被传递到方式B的编码器的结构。将图14详细化，以第1个方法实施例相应的装置实施例作为实施例3示于图15。图15中，501是可变长度译码部，502是进行逆量化处理的逆量化部，503是进行逆DCT处理的逆DCT部，504是加法器，505是帧存储器，506是进行运动补偿处理的运动补偿部，507是回路滤波器。由这些部分构成H.261译码器。被译码的图像通过帧存储器505传递到MPEG-4编码器。
该图中，508是减法器，509是进行DCT运算的DCT部，510是对DCT系数进行量化的量化部，511是进行逆量化的逆量化部，512是进行逆DCT运算的逆DCT部，513是加法器，514是帧存储器，515是进行运动预测及运动补偿处理的运动预测-运动补偿部，516是可变长度编码部，517是输出缓存器。由这些部分构成MPEG-4编码器。
518是MPEG-4速率控制部，实施图9、10、11的控制。中间数据存储于速率控制信息存储器519、宏数据块编码模式存储器520、帧编码模式存储器521，在其中接收PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、j的信息后，对MPEG-4编码器进行控制。更具体地说，数据块模式变更部522改变宏数据块的编码模式，帧内-帧间模式变更部以PTYPE与MTYPE的信息为依据控制预测编码。
还有，模式信息由可变长度编码部516多路复用后传送到输出缓存器，但是为了简化，在图中没有表示出这一点。
下面利用图16对实施例4加以说明。
实施例4进行与实施例3相反的从MPEG-4到H.261的变换。在图16中，601是可变长度译码器，602是逆量化部，603是逆DCT部，604是加法器，605是帧存储器，606是运动补偿部。由这些部分构成MPEG-4译码器。
译码过的图像通过帧存储器605传送到H.261编码器。
该图中，607是减法器，608是DCT部，609是量化部，610是逆量化部，611是逆DCT部，612是加法器，613是帧存储器，614是运动预测-运动补偿部，615是回路滤波器，616是可变长度编码器，617是输出缓存器。由这些部分构成H.261编码器。618是H.261速率控制部，实施图9、12、13的控制。中间数据存储于速率控制信息存储器619、宏数据块编码模式存储器620、帧编码模式存储器621，在其中接收PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、j的信息后，对H.261编码器进行控制。更具体地说，数据块模式变更部622改变宏数据块的编码模式，帧内-帧间模式变更部以PTYPE与MTYPE的信息为依据控制预测编码。还有，模式信息由可变长度编码部623多路复用后传送到输出缓存器，但是为了简化，在图中没有表示出这一点。
作为包含对实施本发明的电子计算机进行编程能够使用的命令的记录媒体的电子计算机程序产品包含于本发明的范围。该记录媒体是软盘、光盘、CD-ROM及磁盘等盘片、ROM、RAM、EPROM、EEPROM磁卡或光卡等，但是并不特别限定于此。也考虑到把该程序记录于记录媒体上移送到世界各地的终端，或经过互联网等通信线路传输(加密发信)，从而在电子计算机或便携式信息终端上实施。
本发明不限于上述实施例所描述的内容，在不背离本发明的范围的情况下，可作各种变化和更改。
本说明书以1999年2月25日提出申请的日本特愿平11-047613号为依据。其内容全部包含于此。
权利要求
1.一种变换方法，把利用由帧内编码模式与帧间差分编码模式的组合构成的第1活动图像编码方式生成的第1数据系列变换为利用由帧内编码模式与帧间差分编码模式的组合构成的第2活动图像编码方式生成的第2数据系列，其特征在于，包括从所述第1数据系列中先读出接在当前帧的后面的后续帧的编码模式，判断先读出的所述后续帧的编码模式是否帧内编码，在所述后续帧的编码模式是帧内编码时，根据所述第2数据系列的发生代码量，决定是否利用所述第2活动图像编码方式对所述当前帧进行编码，其中所述第1数据系列中存在的以帧内编码模式编码的数据被优先变换为第2数据系列。
2.根据权利要求1所述的变换方法，其特征在于，在所述后续帧的编码模式是帧内编码时，如果所述第2数据系列的发生代码量大于规定值，则撤销所述当前帧，跳到所述后续帧。
3.根据权利要求2所述的变换方法，其特征在于，将利用所述第2活动图像编码方式生成的所述第2数据系列写入输出缓存器，其中所述第2数据系列的发生代码量使用所述输出缓存器的缓存器充填量。
4.根据权利要求1所述的变换方法，其特征在于，从所述第1数据系列读出1编码单元的数据时，记录该1编码单元的数据量，对于每一所述编码单元，决定第2数据系列的发生代码量的目标值，所述目标值是所述记录的数据量乘以系数的值，利用所述第2活动图像编码方式从所述1编码单元的数据生成所述第2数据系列时，进行速率控制，以使所述第2数据系列的发生代码量接近所述目标值，其中，构成所述第1数据系列的各编码单元之间的数据量之比接近构成对应的第2数据系列的各编码单元之间的数据量之比。
5.根据权利要求1所述的变换方法，其特征在于，从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度，在利用所述第2活动图像编码方式对所述当前帧进行编码时对所述第2数据系列的发生代码量进行调整的情况下，将所述第2活动图像编码方式的量化宽度变更为上述取得的量化宽度的整数倍。
6.根据权利要求1所述的变换方法，其特征在于，利用所述第2活动图像编码方式对所述当前帧进行编码，并且在对所述第2数据系列的发生代码量进行调节的情况下，变更所述第2活动图像编码方式的量化宽度。
7.一种变换方法，把利用第1活动图像编码方式生成的第1数据系列变换为利用第2活动图像编码方式生成的第2数据系列，其特征在于，包括从所述第1数据系列中读出1编码单元的数据，对该1编码单元的数据量进行记录，对于每一所述编码单元，决定第2数据系列的发生代码量的目标值，所述目标值是所述记录的数据量乘以系数的值，利用所述第2活动图像编码方式从所述1编码单元的数据生成所述第2数据系列时，进行速率控制，以使所述第2数据系列的发生代码量接近所述目标值，其中，构成所述第1数据系列的各编码单元之间的数据量之比接近构成对应的第2数据系列的各编码单元之间的数据量之比。
8.根据权利要求7所述的变换方法，其特征在于，所述1编码单元以1帧或多帧构成。
9.一种变换方法，把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列，其特征在于，包括在所述第2数据系列的发生代码量没有达到目标值的情况下，在所述第2活动图像编码方式中使利用帧内编码模式编码的数据块数目增加。
10.根据权利要求9所述的变换方法，其特征在于，从所述第1数据系列中读出1数据块单元的数据时，对该1数据块单元的数据量进行记录，对于每一所述数据块单元，把所述记录的数据量乘以系数的值作为第2数据系列的发生代码量的目标值使用。
11.根据权利要求9所述的变换方法，其特征在于，从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度，在利用所述第2活动图像编码方式对当前帧进行编码的情况下调节所述第2数据系列的发生代码量时，将所述第2活动图像编码方式的量化宽度变更为所述取得的量化宽度的整数倍。
12.根据权利要求9所述的变换方法，其特征在于，所述数据块单元是帧单元或宏数据块单元。
13.根据权利要求9所述的变换方法，其特征在于，对运动补偿的数据块间差分的辉度色散进行再定义，使帧内编码模式方式选择得更多，以使利用帧内方式编码的数据块数目增加。
14.根据权利要求9所述的变换方法，其特征在于，缩短属于运动区域的宏数据块的内更新间隔，以使利用帧内编码模式编码的数据块数目增加。
15.一种变换方法，把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列，其特征在于，包括在所述第2数据系列的发生代码量超过目标值的情况下，在所述第2活动图像编码方式中使利用帧间编码模式编码的数据块数目增加。
16.根据权利要求15所述的变换方法，其特征在于，从所述第1数据系列中读出1数据块单元的数据时，对该1数据块单元的数据量进行记录，对于每一所述数据块单元，把所述记录的数据量乘以系数的值作为第2数据系列的发生代码量的目标值使用。
17.根据权利要求15所述的变换方法，其特征在于，从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度，在利用所述第2活动图像编码方式对当前帧进行编码的情况下调节所述第2数据系列的发生代码量时，将所述第2活动图像编码方式的量化宽度变更为所述取得的量化宽度的整数倍。
18.一种变换方法，把利用带有量化引起的信息损失的第1不可逆活动图像编码方式生成的第1数据系列变换为利用带有量化引起的信息损失的第2不可逆活动图像编码方式生成的第2数据系列，其特征在于，包括从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度，在对所述第2数据系列的发生代码量进行调节时，将所述第2不可逆活动图像编码方式的量化宽度变更为所述取得的量化宽度的整数倍。
19.一种变换装置，把利用由帧内编码模式与帧间差分编码模式的组合构成的第1活动图像编码方式生成的第1数据系列变换为同样利用由帧内编码模式与帧间差分编码模式的组合构成的第2活动图像编码方式生成的第2数据系列，其特征在于，包含从所述第1数据系列中先读出接在当前帧的后面的后续帧的编码模式的手段(系统)、判断先读出的所述后续帧的编码模式是否帧内编码的手段(系统)，以及在所述后续帧的编码模式是帧内编码时，根据所述第2数据系列的发生编码量，决定是否利用所述第2活动图像编码方式对所述当前帧进行编码，其中所述第1数据系列中存在的以帧内编码模式编码的数据被优先变换为第2数据系列。
20.一种变换装置，把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列，其特征在于，具有在所述第2数据系列的发生代码量没有达到目标值的情况下，在所述第2活动图像编码方式中使利用帧内编码模式编码的数据块数目增加的机构。
21.一种变换装置，把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列，其特征在于，具有在所述第2数据系列的发生代码量超过目标值的情况下，在所述第2活动图像编码方式中使利用帧间编码模式编码的数据块数目增加的机构。
22.一种变换装置，把利用带有量化引起的信息损失的第1不可逆活动图像编码方式生成的第1数据系列变换为利用带有量化引起的信息损失的第2不可逆活动图像编码方式生成的第2数据系列，其特征在于，具备从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度的手段，以及在对所述第2数据系列的发生代码量进行调节时，将所述第2不可逆活动图像编码方式的量化宽度变更为所述取得的量化宽度的整数倍的手段。
23.一种记录媒体，存储把利用由帧内编码模式与帧间差分编码模式的组合构成的第1活动图像编码方式生成的第1数据系列变换为利用由帧内编码模式与帧间差分编码模式的组合构成的第2活动图像编码方式生成的第2数据系列的程序，而且该存储的程序能够利用电子计算机读取，其特征在于，所述程序包含从所述第1数据系列中先读出接在当前帧的后面的后续帧的编码模式的步骤、判断先读出的所述后续帧的编码模式是否帧内编码的步骤，以及在所述后续帧的编码模式是帧内编码时，根据所述第2数据系列的发生代码量，决定是否利用所述第2活动图像编码方式对所述当前帧进行编码的步骤。
24.一种记录媒体，存储把利用第1活动图像编码方式生成的第1数据系列变换为利用第2活动图像编码方式生成的第2数据系列的程序，而且该存储的程序能够利用电子计算机读取，其特征在于，所述程序包含从所述第1数据系列读出1编码单元的数据，对该1编码单元的数据量进行记录的步骤、对于每一所述编码单元决定所述第2数据系列的发生代码量的步骤，所述目标值是所述记录的数据量乘以系数的值，以及利用所述第2活动图像编码方式从所述1编码单元的数据生成所述第2数据系列时，进行速率控制，以使所述第2数据系列的发生代码量接近所述目标值的步骤。
25.一种记录媒体，存储把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列的程序，而且该存储的程序能够利用电子计算机读取，其特征在于，所述程序包含在所述第2数据系列的发生代码量未达到目标值的情况下，在所述第2活动图像编码方式中使利用帧内编码模式编码的数据块数目增加的步骤。
26.一种记录媒体，存储把利用以数据块单元切换帧内编码模式与帧间差分编码模式的第1活动图像编码方式生成的第1数据系列变换为利用以数据块单元切换帧内编码模式与帧间差分编码模式的第2活动图像编码方式生成的第2数据系列的程序，而且该存储的程序能够利用电子计算机读取，其特征在于，所述程序包含在所述第2数据系列的发生代码量超过目标值的情况下，在所述第2活动图像编码方式中使利用帧间编码模式编码的数据块数目增加的步骤。
27.一种记录媒体，存储把利用带有量化引起的信息损失的第1不可逆活动图像编码方式生成的第1数据系列变换为利用带有量化引起的信息损失的第2不可逆活动图像编码方式生成的第2数据系列的程序，而且该存储的程序能够利用电子计算机读取，其特征在于，所述程序包含从所述第1数据系列读出数据时，取得在所述第1活动图像编码方式中对该数据进行量化时的量化宽度的步骤，以及在对所述第2数据系列的发生代码量进行调节时，将所述第2不可逆活动图像编码方式的量化宽度变更为所述取得的量化宽度的整数倍的步骤。
全文摘要
本发明涉及变换活动图像编码方式的方法及其装置,这种活动图像编码方式的变换方法是从第1活动图象编码方式的第1数据系列读出1帧的数据,再先读出后续帧的编码模式进行记录,在先读出的后续帧的编码模式是帧内编码的情况下,根据交换为第2活动图像编码方式的第2数据系列的发生代码量进行控制,决定是否不对当前帧进行编码,或减少发生代码量。然后将第1数据系列中存在的以帧内编码模式编码的数据优先交换为第2数据系列。
文档编号H04N7/26GK1264988SQ0010362
公开日2000年8月30日 申请日期2000年2月25日 优先权日1999年2月25日
发明者荣藤稔, 上野山努, 岩崎修, 小宫大作 申请人:松下电器产业株式会社