图像编码装置及图像编码方法

专利名称：图像编码装置及图像编码方法
技术领域：
本发明涉及一种图像编码技术及图像解码技术，尤其是涉及一种使用可 变位速率方式或可变帧速率方式的图像编码技术。
背景技术：
以前，MPEG (Moving Picture Expert Group)标准等图像编码技术中控 制位速率的方式之一中有可变，率(Variable Bit Rate)方式。这主要是 所谓为了遵守存储编码数据的缓冲存储器的容量等约束、或在记录媒体中记 录时的映像记录时间的约束，允剤^I率随着编码图像的复杂性而局部变化， 并将规定时间长度(例如1秒)中的发生比特数抑制在一定数量以内的控制 方式。艮f]，通OT编码困难的画面(、〉一>)多产生编码用比特(位速率变 高)，在编码容易的画面中减少发生的比特数(位速率变低)，根据画面来控 先扮配的比特数。艮P，将一定时间内发生的比特数保持为恒定(即在缓冲存 储器容量的约束或记录时间的约束范围内)，可再现高画质图像地进行编码 (例如参照特开2001—25015号公报)。
用图1的图像编码装置100来说明iOTJJS现有可变位速率方式的图像
编码装置。该图像编码装置100由正交变换部105、量化部106、可变长编码 部107、逆量化部108、逆正交变换部109、帧存储器102、动作检测部103、 动作补偿部104及，率控制部110构成。
正交变换部105以宏块(macro block)单^X^接收的被编码帧信号101 (图像{言号 )进行离散余弦变换(DCT: Discrete Cosine Transform), 生成DCT系数后，输出到量化部106。这里，在画面内编码模式下对I (帧内编码Intra coded)图像的帧进行DCT运算。根据时间上位于过去的I图像 或P图像，在前向预测编码模式下对P (Predictive coded)图像的帧进行 DCT运算。根据时间上位于前后的I图f誠P图像，在双向预测编码模式下 对B (Bidirectionally)图像的)i贞进行DCT运算。
量化部106对于从正交变换部105输入的DCT系数，通过齡宏块中从 位速率控制部110接收的量化步骤(也可以是量化参数)进4 S化，输出到 可变长编码部107皿量化部108。可变长编码部107对从量化部106输入 的量化的DCT系数等进行可变长编码及复用，输出到输出缓冲器(未图示)。
逆量化部108对从量化部106接收的量化的DCT系 ^预量{战算， 输出到逆正交变换部109。逆正交变换部109根据7Aif量化部108输入的逆 量化的DCT系数，进纟瑰正交变换运算，再现图像信号i(^，输出到帧存储 器102。
帧存储器102将I图像或P图像的解码j后图像信号数据与动作补偿部104 生成的动作补偿 相加后进行存储。动作检测部103根据帧存储器102中 存储的参照图像来检测运动矢量，将表示该动作矢量的数据输出到动作补偿 部104。
动作补偿部104为了编码P图<滅B图像，根据帧存储器102中存储的 参照图像和从动作检测部103输入的表劍作矢量的iag，生成动作补偿数 据(参照图像 )。顿率控制部110从可变长编码部107接收发生比特数， 根据该发生比特数，决定量化步骤，将该量化步骤发送到量化部106。
鄉控制部140是例如具备ROM或訓等的微型计^m等，题行图像 编码體100整條制的部分。整術空制部140根据控制信号等鄉行各处 理定时的控制等。
图2是表示现有图《織码體100中的腿率控制部110的功能结构框 图。如图2所示，{魏率控制部110由帧群目标比特数导出部111、下一帧 目标比特数导出部112及量化步骤导出部113构成。
帧群目标比特数导出部111从可变长编码部107接收发生比特数Nn131， 存储在内部存储器(未图示)中。此时，帧群目标比特数导出部111计,收的发生比特数Nn131的次数(即进^1i码的帧的帧数)。并且，帧群目标比 特数导出部111算出可向还未以帧群单位编码的帧分配的比特数，发送到下 —帧目标比特数导出部112，同吋，使用由实际编码产生的发生比特数Nn131， 依次更新上述可分配的比特数。这里，)m胃[帧群]是指在规定时间长度内 编码得到的帧的集合。
下一帧目标比特数导出部112根据可从帧群目标比特数导出部111接收 的可按帧群单位分配的比特数，导出分配给下一帧的比特数目标值，发送给 量化步骤导出部113。通过用乘除的帧数去除该时亥何由帧群单位分配的比 特 算出±^目标值。
量化步骤导出部113根据从下一帧目标比特数导出部112接收的分配给 下一帧的比特数目标值，算出量化步骤141 (也可是量化参数)，输出给量化 部106。
图3是表示现有图像编码装置100的Mi材空制部140及位速率控制部110 的处理流程的流程图。
最初，若由{魏率控制部110接雌生比特数Nn131 (S1401)，则^[本 控制部140判断下一编码X^m帧是否是帧群的开头(S1402)。此时，在下一 帧是顷群的开头帧盼瞎况下(S1402:是)，位速率控制部110初始化可分酉己 比特数Na、分KX^时间Ta及分酉SX^帧数Nt (S1405—1407)。这里，"NA，， 是分配给帧群单位的比特数的初始值。"TA"是帧群单位整体的期间。"Rf"是 本图{象编码 100的编码帧速率。
另一方面，在下一帧不是帧群的开头帧的情况下(S1402:否)，位速率 控制部110更新可分配比特数Na及分酉浏象时间Ta (S1403—S1404)。
接着，腿率控制部110根据可分配比特数Na和分酉嫩帧数Nt，算 出分酉己比特数Nb (S1408)，见新(M^、)分酉S^帧数Nt (S1409)。
之后，顿率控制部110判断是否有必要对编码帧进行抽取，在必需抽 取的情况下，将诙瞎 JCT知辦控制部140 (S1410:是)。另一方面，在不 必需^由取的情况下，(S1410:否)，算出量化步骤，输出到量化部106(S14U)。
1^制部140及顿率控制部110重复以上处理，直到编码处理结束(S1401—1412)。
图4是表恭见有舰率控制部110中分配比特数Nb的算出方法的具体例 的图。此时，为了方便，设发生比特数Nnl31与分配比特数Nb—致。
在图4的实例中，以15 [fps]的帧速率对以30 [fps]输入的图像信号 (被编码帧信号皿)进纟彌码，原则上每秒z诚由15帧构成的帧群。 在该实例中，用[输入图像li贞序号1701]来表示输入的被编码帧信号101， 用[帧群帧序号1702]来表示编码帧信号121。在图4中，帧群li贞序号1702 及发生比特数Nn131的栏变为[X]表示，对对应的输入图像lJ贞序号1701的
帧不进t彌码，进行[抽取]。
并且，图4中，由于已分酉&合4个帧的比特数共计1180比特，乘蜍帧数 为[11],所以对于例如输入图像帧序号[9](即帧群帧序号[5])的发生比 特数Nn变为((3600—1180) / 11=220比特)。
另一方面，因为[抽取]输入图像帧序号[ll]，由于已分配的比特数共 计1400比特，剩余帧数为[9]，所以对于输入图像帧序号[13](即帧群帧 序号[6])的发生比特数在舍去小数点以下后，变为((3600—1400) /9= 244比特)。
另外，图4中对应于输入图像帧序号[29]的帧群帧序号1702栏中记载 的"(14)"是在输入图像帧序号1701为[13]的时亥ij、最后帧群帧序号1702
如上戶脱，M现有的图像编码装置110向下一编码对象的帧分配比特。 但是，祉述现有技术中^(顿可变顿率的图像编码體100中，在编 码困难(复杂)的帧连续的情况下，即使将量化步骤变为大的值，伴随编码 的发生比特数也变多(此时，位速率的值变大)。此时，为了将规定时间长度 (1个帧群)中的发生比特数保持为恒定，贝树编码困难的帧连续的在后帧 分配的比特数变少。因此，必需对在后帧增大量化步骤鄉纟彌码，存在这 些,勺画质极端恶化的第1问题(作为此时的现象，位速率变为明显小的值)。 图5是说明±^现有技术的第1问题的图。在图5中，将从帧1601至帧 1602的15个帧定义为帧群，向針帧群(如，图4中所示)分配3600 [比特]来作为目标值。此时，从时刻tl开始编码困难的画面连续，向这些帧的 编码分配多的比特的情况下，因为分配给帧群后半的比特数变少，所以必需 增大量化步骤(与此同时，位速率变小)，但在将量化步骤设为大的值的情况
下，画质极端恶化。在图5中，在[t3-14]之间，量化步骤特别大，可推测 与此同时，产生画质恶化。
并且，分配的比特数变得更加少，若必需在帧群途中变4七帧速率(即， 必需抽取帧)的情况下，贝lj尽管顷速率变化，但由于分配给1个帧的比特数 根据当初的帧速率来决定，所以尽管帧速率降低，但不能多分配比特数，并 且，必需降側魏率，顯希疏遣化步骤，存在画质进一步恶化的第2问题。
图6是说明上述现有技术的第2问题的图。在图6的实例中，编码困难 的画面连续，因为向这些顷的编码分配多的比特，所以缓慢斷氐帧速率的结 果是帧间隔拉大，从而变为动作不灵活的图像，显示作为图像的质量恶化的 状态。

发明内容
鉴于上述课题，本发明的目的在于J^共一种图像编码装皿其方法，即 使在编码困难的画面(scene)连续的情况下，也可防止分配给剩余帧的比特 数极端不足导致的画质恶化，同时，还考虑了编码帧的比特变化，可进行高 画质图像的编码。
为了实SUl述目的，本发明的图像编码装置魏以帧单位依次输入的图 像信号进4彌码，其特征在于具备编码单元，对±^齡帧量化战图 像信号的频率分量，根据上述量化的结^it行编码；量化幅度计算单元，根 据Si本上分配给由多个帧构成的帧群的总比特数和分配完的比特数，计算后 续编码的帧的量化幅度；帧速率计算单元，根据，计算的量化幅度，计算 表示舰后续编码的帧编码的周期的编码帧速率；和输入控制单元，根据上 述编码帧速率，控制输入J^编码单元的，图像信号的取舍，
战编码单^13ii^量化幅度来量化输入的战图像信号。
所述的图像编码體，^tf征在于还具备发送缓冲器，保持由战
编码单元编码的编码数据，每次以一定量向外部输出保持的，编码数据，」二述量化幅度计算单元根据未输出而原样残留在，发送缓冲器内的编
码数据的i^量，计算上述量化的幅度。
所述的图像编码装置，其特征在于若通过，编码发生的编码量超过 规定量，则±^量化幅度计算单元增大后续编码帧的±^量化的幅度。
所述的图像编码装置，其特征在于Jl^量化幅度计算单元具备
比较部，比较M上述编码发生的编码量、和规定阈值的大小；
乘法部，上述比较的结果，若上述发生编码量超3Ul述阈值，则向对之 前的输入帧计算的Jl^量化幅度乘以比1大的规定系数；禾口
量化幅度决定部，将上述乘法结果作为量化幅度的预测值，将规定值范 围中最接近上述预观値的值决定为后续编码帧的量化幅度。
所述的图像编码装置，其特征在于Jl^量化幅度计算单^it行计算， 使通过说编码发生的编码量一旦小于规定量，则述量化的幅度变小。
所述的图像编码装置，其特征在于上述比较的结果，在J^发生编码 量小于上述阈值的情况下，±^乘法部还在对紧前面的输入帧计算的，量 化幅度上乘以比1小的规定系数。
所述的图像编码體，其特征在于战比较的结果，在战发生编码 量大于上述阈值的情况下，Jl^乘法部还在对之前的输入帧计算的上述量化 幅度上乘以比1大的规定系数。
戶脱的图像编码装置，其特征在于Jl^量化幅度计算单顽具备
系数表保持部，事先保持使M，编码发生的编码量变多、将增大上 述量化幅度的系数f，应于i^发生编码量所表示的系数表；禾口
第2乘法部，根据，系数表，向对紧前面的输入帧计算的，量化幅 度乘以对应于战发生编码量的系数，
上述量化幅度决定細每上述第2乘^^的乘法结果作为量化幅度的预测 值，决定后纟魏码帧的量化幅度。
所述的图像编码装置，其特征在于，量化幅度计算单元对于就近的 帧，向用于量化的战量化幅度乘以上述系数后，计算后续编码帧的量化幅 度。所述的图像编码装置，其特征在于若，量化幅度的预淑lM^Ul^ 阈值，则上述帧速率计算单元增大后纟魏码帧的编码ll贞速率。
所述的图像编码装置，其特征在于若上述量化幅度的预测值超过i^ 阈值，则Jl^帧速率计算单元向当前编码帧速率乘以比1大的规定系数后， 设为后续编码帧的编码帧速率。
所述的图像编码装置，其特征在于若战量化幅度的预领値小于上述 阈值，则上述帧速率计算单元减小后续编码帧的编码帧速率。
所述的图像编码装置，其特征在于若战量化幅度的预湖値小于战 阈值，则上述帧速率计算单元向当前编码帧速率乘以比1小的规定系数，并 设为后续编码帧的编码帧速率。
所述的图像编码装置，其特征在于若决定的J^量化幅度皿规定阈 值，则战帧速率计算单元增大后续1H码帧的编码帧速率，若小于战阈值， 则减小后续编码tl贞的编码ll贞速率。
所述的图像编码装置，其特征在于Jl^帧速率计算单元具备计算决定 的上述量化幅度平均值的量化幅度平均部，
若战量化幅度的平均《鹏过规定阈值，则战帧速率计算单元增大后 续编码帧的编码帧速率，若小于上述阈值，则减小后续编码帧的编码顷速率。
所述的图像编码装置，其特征在于在M上述编码发生的编码a^过
规定阈值的情况下，上述帧速率计算单元向上述计算的编码帧速率乘以比1 小的规定系数，并重新设为，计算的编码帧速率。
所述的图像编码装置，其特征在于在通过，编码发生的编码量小于
规定阈值的情况下，上述帧速率计算单元向±3^计算的编码帧速率乘以比1
大的规定系数，并重新设为战计算的编码帧速率。
所述的图像编码装置，其特征在于上述输入控制单，具备帧速率平 均部，算出作为Jl^帧速率计算单元的计算结果的编码顷速率的平均值，
上述输入控制单元根据由战帧速率平均部算出的上述平均值，控制上 述输入的图像信号的取舍。
一种编码帧单位的图像信号的图^^码方法，其特征在于包含编码步骤，对i^旨帧量化上述图像信号的频率分量，根据上述量化 的结果进行编码；量化幅度计算步骤，根据战帧群的总比特数和分配完的 比特数，计算下面应编码帧的量化幅度；帧速率计算步骤，根据J^计算的 量化幅度，计算表示应对后续编码的帧编码的周期的编码帧速率；和输入控 制歩骤，根据上述编码帧速率，控制上述编码步骤中输入的上述图像信号的 取舍，
J:述编码步^M:上述量化幅度来量化输入的J^图像信号。
本发明的图像编码装置^t以帧单位依次输入的图像信号进行编码的图 像编码装置，其中具备帧速率接受单元，接受表^t行上述编码的周期的 帧速率；总比特数确定单元，确定作为整体可向由多个帧构成的帧群分配的 总比特数；帧数确定单元，根据上述接受的帧速率禾口已编码帧的帧数，确定 上述帧群中还未编码的帧的帧数；目标比特数算出单元，根据上述确定的总 比特数和上述确定的帧数，算出分配给后续编码帧的比特数的目标值；平均 值算出单元，随着战帧群中的帧的编码，算出分配确定的比特数的平均值； 运算单元，根据上述目标值和J^平均值，对上述算出的上述比特数的目标
值与上述比特数的平均值进行比较运算，确定新的比特数的目标值；以及量 化步骤导出单元，使用由上,算单元确定的比特数的目标值，导出涉及后 续编码的帧的量化步骤；和编码单元，根据，导出的量化步骤5!6ttTM化， 根据该量化細彌码。
由此，根据分酉改合帧群衝本的总比特数和已分配完的比特数，计算应分 配给后续编码帧的比特数，i树帧群而言变为恒定的^il率，所以避免分配 的比特数局部偏差的情况于未然，可平均分配比特，最终可防止极端的画质 恶化。而且，根据基于接受的帧速率算出的g编码的帧数、和帧群中可分 配的比特数，决定应分配给后纟^Tg码帧的比特数，所以可进纟瑰循帧速率变 4七的编码。
并且，为了实JJUl^目的，本发明的图像编码方法是对以帧单位依次输 入的图像信号进行编码的图像编码装置，其特征在于包含帧速率接受步 骤，接受表織行战编码的周期的帧速率；总比特数确定步骤，确定辦上可向由多个帧构成的帧群分配的总比特数；帧数确定步骤，根据上述接受 的帧速率和已编码帧的帧数，确定，帧群中还未编码的帧的帧数；目标比 特数算出步骤，根据上述确定的总比特数和战确定的帧数，算出分配给后 续编码帧的比特数的目标值；平均值算出步骤，随着战帧群中的帧的编码， 算出分配确定的比特数的平均值；运算步骤，根据，目标值和JJi平均值， 对上述算出的上述比特数的目标值与上述比特数的平均值进行比较运算，确 定新的比特数的目标值；量化步骤导出步骤，使用由上逸运算单元确定的比 特数的目标值，导出涉及后续编码的帧的量化步骤；以及编码步骤，根据上 述导出的量化步骤鄉《请化，根据该量化鄉《彌码。
由此，在确保在规定时间长度内观观l」情况下的腿率恒定的同时，在缓 冲器中有足够空间的情况下，M以低的量化步骤来编码，可比以前高画质 地编码，且抑制移动到复杂画面瞎况下的帧速率的急剧下降(不编码而瑕K1 多个帧)，与以前相比，可进行动作平滑的编码。
另外，为了实Ul^目的，本发明可实现为将战图像编码装置的装置 特征单元设为步骤的图像编码方法，或实现为包含这些步骤的禾聘。另外， 该禾Mi,不仅存储在图像编码装置具备的ROM等中，也可经CD—R0M等记录媒 体或通信网络等传繊某体 衍荒通。


图1是表示JOT现有可变位速率的图像编码装置的功能结构框图。 图2是g现有图^^码装置中的，率控制部的功能结构框图。 图3是表示现有图像编码體的整{鹏制部及顿率控制部中处理的流 程的流程图。
图4是表示现有位速率控制部中分配比特数的算出方法的具体实例的图。
图5 (a)是说明现有技术的第1问题用的帧群的结构例。
图5 (b)是说明现有技术的第1问题用的^ai率的一例。
图6 (a)是说明现有技术的第2问题用的帧群的结构例。 图6 (b)是说明现有技术的第2问题用的位速率的一例。图7是表示实施例1中图像编码装置的功能结构的框图。
图8是表示图7中位速率控制部的详细功能结构的框图。
图9是表示一般图像编码中的不同图像类型的发生比特数特征的图。
图10是图9中定义的帧群的具体例。
图11是图9中定义的帧群的 例。
图12 (a)是说明如Jl3^图11那样由两个帧组构成顷群所产生的效果的图。
图12 (b)是说明如上述图ll那样由两个帧组构成帧群、且编码帧速率 变化瞎况下的效果的图。
图13是表示实施例1中图像编码装置的鄉控制部及腿率控制部中的 处理流程的流程图。
图14 (a)是表示1M实施例1的图像编码^S来执行编码的情况下的 帧群的构成例的图。
图14 (b)是表示使用实施例1的图《象编码装置来执行编码的情况下的 位速率变化的一例。
图15 (a)是表示由两个帧组来构成1个帧群的情况下各帧的状态的一例。
图15 (b)是表示由两个帧会脉构成1 ^Hi贞群的情况下^3I率变动状态 的一例。
图16 (a)是表示由两个帧会tt构成1个帧群、并且编码的帧速率变化
的情况下各帧的状态的一例。
图16 (b)是表示由两个帧会tt构成1个帧群、并且编码的帧速率变化
的情况下{魏率变动状态的一例。
图17是表裙算部中比特数算出方法的具体例的图。
图18是表示未设置在图7中帧抽取部、从其它部件获得帧速率值Rf的
值来构成的图像编码装置的功能结构的一部分的框图。
图19是表示根据实施例2的图像编码装置的功能结构的框图。 图20是表示图19中速率控制部的详细功能结构的框图。图21是说明图20中的量化步骤预测部的功能用框图。 图22是说明图20中帧速率计算部的功育調框图。 图23是表示图22中帧速率计算部的各输入信号和输出信号的图。 图24是说明图20中帧数计算部的动作的图。 图25是表示图像编码装置的输入图像信号与被编码帧的图。 图26是表示变形例的帧速率控制部的功能结构框图。 图27是表示图26中的)i贞速率计算部的各输入信号和输出信号的图。 图28是表示变形例的帧速率控制部的功能结构框图。 图29是表示图28中平均量化步骤计算部的结构框图。 图30是说明图28中帧速率计算部功能用框图。 图31是表示图28中的帧速率计算部的各输入信号和输出信号的图。 图32是表示变形例的帧速率控制部的功能结构框图。 图33是说明图32中的帧速率计算部和帧速率存储器的功能用框图。 图34是表示图32中的帧速率计算部的各输入信号和输出信号的图。 图35是表示实施例3中的图f,码^S的功能结构的框图。 图36是表示图35图像编码装置中帧速率控制部的功能结构的框图。 图37是说明存储ffiil—般的计^m系统来实现实施例l一3中的图像编 码,用的f，的存4诸夂某1本的图。
具体实施例方式
下面，参照附图来详细说明根据本发明的实施例。在以下的说明中，对 与现有技术共同的结构标以相同符号，省略其说明。 (实施例l)
图7是g根据实施例1的图像编码^S 10的功能结构的框图。图#^ 码装置10 M将在规定时间做(例如1秒)观测情况下的^3I率保持为恒 定，并抑制局部的^I率变动，可进行更高质量的图像再现用的编码。
图像编码装置10由帧存储器102、动作检测部103、动作补偿部104、 正交变换部105、量化部106、可变长编码部107、逆量化部108、逆正交变 换部109、帧抽取部(间引部)20、速率控制部30及 ^制部40构成。帧抽取部20对在一定周期内输入的被编码帧信号101决定该帧的编码/ 不编码，同吋，将该时亥啲帧速率值Rf21通知纟誠率控制部30。
速率控制部30根据从可变长编码部107接收的发生比特数和从帧抽取部 20接收通知的帧速率值Rf21，决定后续帧的编码中的量化步骤(或量化参 数)，发送^S化部106。
整体控制部40是例如具备ROM或RAM等的微型计算机，进行图像编码装 置10整体的控制。更详细地说，整鹏制部40根据控制信号(图7的整体 控制部40中的虚线表示控制信号线)，进行各部处理定时的控制。并且，整 体控制部40进行在一定周期中输入的被编码帧信号皿的图像种类的识别(I 帧、B帧及P帧的识别)，将识别结果通知速率控制部30。
图8是表示图7中速率控制部30的详细功能结构的框图。速率控制部 30由帧群目标比特数导出部31、下一帧目标比特数导出部32、平均帧比特 数导出部33、运算部34、量化步骤导出部35及存储部36构成。
帧群目标比特数导出部31 M31帧群单位，依次算出并更新可分配给剩余 应编码的全部帧的总比特数的目标值。详细说明时，帧群目标比特数导出部 31从可变长编码部107接收发生比特数Nn131，存储在存储部36中。并且， 帧群目标比特数导出部31从存储部36中，读取可分配给从下一应编码帧到 帧群的最后帧的总比特数，从该总比特数中减去Jl^发生比特数Nnl31，将 该值发邀合下一帧目标比特数导出部32，同时存储在存储部36中。
下一帧目标比特数导出部32根据从帧抽取部20接收的帧速率值Rf21及 从帧群目标比特数导出部31接收的可分配总比特数，考虑剩余的应编码帧的 帧数，算出分酉^合下一帧的比特数目标值。
平均帧比特数导出部33根据从帧抽取部20接收的帧速率值Rf 21及存储 在存储部36中的分ffi^it去帧的比特数，算出分配的比特数的平均值。
运算部34算出向由平均帧比特数导出部33算出的比特数中乘以规定系 数(例如0.8)后的比特数，将其与由下一帧目标比特数导出部32算出的比 特数目标值相比，选择1l^的一方的比1t数。并且，运算部34将选择的比特 数与事先设定的下限值相比，选撤大值的比特数(即选择不低于下限值的比特数)，发送到量化步骤导出部35。，规定系数不限于
，也可是 大于0小于1的其它值。
量化步骤导出部35导出量化步骤的值，使从运算部34接收到的比特数 与发生比特数相等。
存储部36存储作为编码从可变长编码部107接收到的各帧的结果的发生 比特数Nnl31。并且，存储部36还根据帧群目标比特数导出部31的控制来 更新顷群目标比特数。
图9是表示图像编码中的不同图像类型的发生比特数的一般特征的图。 如图9所示，通常，画面间编码(P图像或B图像)的帧(P或B帧)中的发 生比特数Nn画面内编码(I图像)的帧(I帧210—250)中的发生比特数Nn 少。因此，iiil将从I帧到下一 I帧定义为一个帧群，与根据其它标准来定 义帧群的情况(例如与图像类型无关，以每15个帧来构成帧群的情况)相比， 可减少各帧群中发生比特数的偏差。另外，在图9的实例中，为了方便，设 各帧群的编码所需时间为TA，设为相同周期。
即使仅帧群的最初帧处述I帧，帧群的最后帧是I帧，但也可得到减 少各帧群中比特数偏差的效果。
图10是表示，图9中定义的帧群的具体例的图。如图10所示，设帧 群310由从画面内编码(I)帧210到画面内编码(I)帧220紧前画顷的15 个帧构成。同样，设帧群220或帧群230也分别由15个帧构成。此时，事先 决定可分配给l个帧群的总比特数的初始值(例如3600 [比特]等)。另外， 帧群的定义方式不限于图10。
图11 ^Jl述图9中定义的帧群的z，例。如图11所示，也可将由相当 于上述图10中的两个帧群310、 320的第1帧组和第2帧组构成的帧的集合 定义为1个帧群410。此时，设可分酉改剖贞群410的总比特数的初始值为7200 [比牛寺](第1帧纟ISm 2帧组分别为3600 [比特])。
图12是说明，图11那样由两个帧组构j^li贞群戶;f产生的效果图。图12 (a)中，即使在1个帧群中有难以编码的画面的情况下，因为可以决定包含 下面第2帧组中的可分配比特数的TM被编码帧的分配比特数，所以可进一步缓和，率的变化。例如，设作为初始值，在帧群410整体中分配1000比 特，暂定向第1帧组分配500比特，向第2帧组分配500比特。之后，在实 际编码中，可控制成即j顿第1帧组4顿700比特，但在后纟斜贞群420中， 作为初始值，在鳖体中分配800 [比特](上一帧群410剩余的300 [比特] +新的第2帧组500 [比特])。
图12 (b)中，即使是因为编码困难所以必需变更帧速率的情况下，也 可通过与上述图12(a)—样的方法，避免位速率急剧变为小的值(即量化步 骤急剧变大)。
图13是表示图f,码装置10的^#^制部40及j^3I率控制部30中的 处理流程的流程图。
首先，速率控制部30从可变长编码部107接收发生比特数Nnl31 (S701 )， 从帧抽取部20接收帧速率值Rf 21 (S702)。
接着，整4權制部401识别后续帧是否是I帧(S703)。此时，在后续帧 是I帧盼瞎况下(S704:是)，速率控制部30初始化可分配比特数Na、分配 对象期间Ta及分酉d^帧数Nt (S708—S710)。
另一方面，在后续帧不是I帧的情况下(S704:否)，速率控制部30更 新可分配比特数Na及分酉am帧数Nt (S705、 S706)。另夕卜，速率控制部30 舍掉分酉B樣帧数Nt的小数点以后的值，对Nt进行纖化(S707)。
之后，速率控制部30根据可分配比特数Na及分酉dX^帧数Nt来算出分 配比特数Nb (S711)，更新分酉浏象期间Ta (S712)。此时，分酉树象期间 Ta在帧速率值Rf21的值相同的帧群途中变更的情况下也考虑进行更新。
由此，速率控制部30根据分配比特数Nb导出量化步骤，縱到可变长 编码部107 (S713)。
劐本控制部40及速率控制部30重复以上处理，直到编码处理结束(S701 一S714)。
图14是表示使用图像编码装置10来执行编码的情况下的，率变化的 一例。若观察图14所示位速率的变化，则由于运算部34的系数(例如0. 8)， 与现有技术的情况(上述图5)相比，将可分配的比特WP制得少，所以位速率变化有钝化倾向。并且，在图14中，算出量化步骤，使J^it算部34 选择不低于下限值的比特数，编码后的比特数变为该比特数。并且，根据算 出的量化步骤来执行编码，决定发生比特，所以即使对位速率也示出变为大 于下限值的值的状态。
图15是表示如上述图11所示，由两个帧会tt构成1个帧群的情况下位 速率变动状态的一例。如图15所示，示出在现有技术(，图5)中， 率的值明显小(即量化步骤明显大)的[t3—t4]中，可抑制腿率的帧小， 抑制画质恶化，但第1帧组中j柳多个比特数的影响出现于第2帧组的最初 部分([t4一t6]中)(即，不能减小量化步骤，位速率it不变，仍小)的状 态。
图16是表示由两个帧乡tt构成1个帧群、并且在帧群途中编码的帧速率 变化的情况下位速率变动状态的一例。在图16中，帧速率从15 [fps]变化 到7. 5 [fps]，但j魏率变化方式与Jl^图14的位速率一样(即在图16的 情况下，因为以1 / 2量化步骤中进行编码发生2倍的比特数，所以在假设是 作为位速率变为相同的情况，即使在该瞎况下也可在[t3—t4]中抑制画质 恶化)。
图17是表示战图8的运算部34中比特数算出方法的具体例的图。在 图17的实例中，由15 [fps]的帧速率对以30 [fps]输入的被编码帧信号 皿实施编码。即使在该实例中也与战图6 —样，用[输入图像帧序号1701] 来表示输入的被编码帧{言号101，用[帧群帧序号1102] ^^i码帧信号 121。在图17中，帧群帧序号1102及发生比特数Nnl31的栏为[X]表示， 对对应的输入图像帧序号1701的帧不进fill码而[抽取]。
另外，在图17中，例如因为已分配的比特数^i十为1180 [比特]，乘除 帧数为[ll]，所以对输入图像帧序号[9](即帧群帧序号[5])的发生比特 数目标《鼓为((3600—1180) / 11=220 [比特])。另外，算出平均帧比特 数导出部33中过去帧的发生比特数的平均值(1180/4=295 [比特])，运算 部34向发生比特数的平均值乘以系数(例如0.8)，将其与Jl^比特数的目 标值相比较，选择{駄的一方。结果，)(#贞群帧序号[5]的发生比特数变为236 [比特]。
另一方面，因为对输入图像帧序号[11]的帧进行[抽取](因此，帧速 率值Rf21变更为7.5 [fps])，所以根据剩余帧数(因为以7.5 [fps]来计 算帧速率值Rf21) [5]来计算对输入图像顷序号[13](即帧群帧序号[6]) 的发生比特数。并且，因为对计算的值舍掉小数点以下的值，所以变为(3600 —1416) / 5=436 [比特]。另外，算出平均帧比特数导出部33中过去帧的 发生比特数的平均值(1416/5=383 [比特])，运算部34向发生比特数的平 均f魏以系数(例如0.8)，将其与J^比特数的目标值相比较，选择歡的 一方。结果，对输入图像li贞序号[13]的发生比特数变为436 [比特]。
若比较图17与上述现有技术图4中的帧群帧序号[5]及[6]的发生比 特数Nn，贝体图像编码装置10 (即上述图17)中的发生比特数都变为大的 值，因为可分配较多的比特数，所以与以前相比，可知可进行高品质的图像 用编码。
另外，M"应于战图17的输入图像帧序号[29]的帧群帧序号栏中记 载两个数字，"(15)"是输入图像帧序号为[9]的时刻、帧速率为15 [fps] 情况下帧群帧序号1102的预测值，"(10)"是输入图像帧序号为[13]的时 亥U、帧速率为7.5 [fps]情况下帧^lJ贞序号1102的预测值。
在上述实施例1中，构成为设置帧抽取部20，根据从帧抽取部20 m 的)i贞速率值Rf21，控制位速率，但也可从帧抽取部以外来获糊'贞速率的值。
图18是表示构成为未设置，图7中的帧抽取部20、从其它部i牛获得 帧速率值Rf21的值的图^^码装置50的功能结构的1分的框图。图像编 码装置50与上述图7的图像编码装置10的不同之处在于没有帧抽取部20， 和具备劍射空制部60来代替 |^制部40。
另外，因为战实施例中的量化步骤与量化参数唯一对应，所以也可将 该量化步骤置换成量化参M^ffl 。
如上戶，，根据本实施例的图像编码装置，因为对应于编码帧速率的变 化来决定分配的比特数，所以不管是否图像编码困难，可确僻均良好的画 质，可避免动作极端不灵活、画质恶化。并且，fflM—般的图像解码方法可解码由J:^实施例1所示图像编码装 置编码的位流。另外，进行本实施例1的编码的流随着图像的复杂，各帧的 量化步骤变动，但该变动不极端，在由从画面内编码帧到画面内编码帧之前 的帧构成的帧群中，可将发生比特数保雜本恒定。
在上述实施例l中，设各帧群编码所需的周期为[TA]，相同，但不限于 相同的情况，各帧群的编码所需时间也可不同。
另外，在上述实施例中，构成为仅向平均顷比特数导出部算出的比特数 平均值乘以规定系数(例如0.8)，将其与由下一帧目标比特数导出部算出的 比特数目标值相比，选择值大一方的比特数，但也可构成为向两者乘以规定 系数后进行比较。 (实施例2)
图19是表示实施例2的图像编码體2100的功能结构的框图。图像编 码装置2100考虑如，实施例1的图11所示由现有的两倍数帧构成的1个 帧群，通过控制量化步骤或帧抽取，抑制急居啲位速率或顷速率的变动，并 可进行高画质的编码。
图像编码装置2100具备帧抽取部2101、帧存储器102、动作检测部103、 动作补偿部104、正交变换部105、量化部106、可变长编码部107、，缓 冲器2108、逆量化部2109、逆正交变换部2110、差分器2111、加法器2112 和帧速率控制部2113。
帧抽取部2101对以作为基准的帧速率(例如30Hz)输入的图像信号的 各帧，根据从帧速率控制部2113输入的抽取信息舰行抽取处理，纟糊取后 的图像信号输出至恸作检测部103和差分器2111。例如，设当从帧速率控制 部2113输入到帧抽取部2101的抽取信息值为[1]时，表示未抽取原样编码 的指示，在值为
时，表示抽取1帧后进《彌码的指示。艮P，帧抽取部 2101在抽取信息为[1]时，将作为图像信号输入的帧原样作为被编码巾赠俞 出到动作检测部103和差分器2111。相反，当抽取信息为
时，进行所 谓抽取输入帧(例如废弃)的处理。
帧存储器102由應或石鹏執实现，是以帧单 {呆持图像 用的存储装置。并且，帧存储器102存储作为下面画面间预测编码帧的参照图像 的参照帧数据。动作检测部103在输入的被编码帧题行画面间预测编码的 帧的情况下，{顿帧存储器102中存储的参照帧繊，检测被编码帧的动作。 动作补偿部104生舰应于动作检测部103检测的动作的动作补偿娜。动 作补偿数据是表示参照帧与被编码帧的块间对应的动作矢量、和表示由该动 作矢量表示的块间图像信号差分的数据。
差分器2111在被编码帧皿行画面间预测编码的帧的情况下，根据被编 码帧的动作矢量禾恸作补偿部104生成的动作补偿繊，求出与动作矢量的 差分。另一方面，在被编码帧题行画面内预测编码帧的情况下，差分器2111 对输入的图像信号不进行求出与参照帧的差分的处理，在画面内进纟"员测后， 将图像信号输出到正交变换部105。
正交变换部105通过DCT (Discrete Cosine Transform)变换等，将动 作补偿部104中生成的动作补偿数据正交变换为表示频率分量的数据。将变 换结果输出到量化部106。量化部106 i顿从帧速率控制部2113输入的量化 步骤，量化正交变换的麵，将量化的结果输出到可变长编码部107和逆量 化部2109。可变长编码部107使用霍夫曼代码等可变长编码量化部106进行 量化后的 。将可变长编码部107可变长编码后的 存储在发送缓冲器 2108中，作为编码位流ll出。
发送缓冲器2108是由謹等实现的FIFO (First-In First~0ut)存储 器。发送缓冲器2108例如战实施例1的图11所示，在存储分配给由多个 帧构成的帧群的总比特数的同时，监视内部的数据余量或空闲容量，在将可 变长编码 ，给发送缓冲器2108的时刻，即在1帧的图像信号编码完成 的时刻，将发送缓冲器2108的 余量縱到顷速率控制部2113。
逆量化部2109为了生成预测图像而逆量化由量化部106量化的娜，输 出到逆正交变换部2110。逆正交变换部2110逆正交变换由逆量化部2109逆 量化的麵。加法器2112将逆正交变换部2110逆量化的娜和动作补偿部 104生成的动作补偿 相加，输出到帧存储器102。从縱缓冲器108向帧 速率控第嘟2113输入该錢缓冲器2108内的 縫。帧速率控制部2113算出对应于皿缓冲器2108内的 ^*的量化步骤后，输入到量化部106， 同时，计算对应于算出的量化步骤的帧速率，决定表示是否抽取后续帧的抽 取信息，输出劍l'贞抽取部2皿。这里，戶刑胃[量化步骤]是量化各帧的频率 分量吋作为基准的值(幅度)，例如由从[1]到[31]的自然数(将其称为)来确定。该量化参数1对1地对应于量化步骤，定义为其数值 越大，则量化的幅繊大。下面，将量化参数说明为量化步骤。
图20是表示上述图19中帧速率控制部2113的详细功能结构的框图。帧 速率控制部2113具备量化步骤预测部2201、帧速率计算部2202、量化步骤 决定部2203、帧数计算部2204和比较器2205。量化步骤预测部2201对应于 从发送缓冲器2108输入的 余量，对当前时刻的量化步骤实施规定运算， 算出量化步骤预测值，输出到帧速率计算部2202和量化步骤决定部2203。 量化步骤决定部2203选择距从量化步3野顾嘟2201输入的量化步骤预观隨 最近的从[1]到[31]的自然数之一，将选择的自然数决定为下面量化步骤。 具体而言，在输入的量化步骤预测值包含小数点以下的值的情况下，进行四 舍五入、舍掉^t位等圆整处理。此时，在该值小于[1]的情况下，选择[l]， 在超过[31]的情况下，选择[31]。
帧速率计算部2202根据从发送缓冲器2108输入的 余量和从量化步 骤预测部201输入的量化步骤预测值，计算从当前岐速率到后续编码时的最 佳帧速率。帧数计算部204根据从比较器205输出的抽取信息，计算当前的 帧速率。比较器205比较作为帧速率计算部202的输出的最佳帧速率和作为 帧数计算部204的输出的当前帧速率，在最佳帧速率比当前帧速率大的情况 下，将表示不抽取指示的D]作为抽取信息输出。另一方面，在最佳帧速率 比当前帧速率小盼瞎况下，将表^i行抽船旨示的
作为抽取信息输出。 图21是说明战图20中的量化步骤预测部2201的功育巨用框图。图21
(a)是图示表^1化步骤预测部201内的量化步^f页测方法的图。图21 (b) 是表雜化步^f页测部201中保持的预湖係数表格303的图。量化步骤预测 部201保持图21 (a)中示出的当前值存储器2302、和图21 (b)中示出的 预测系数表格2303。当前值存储器302在编码开始时保體化步骤的初始值，在编码开始后，保持由量化步骤预测部201算出的量化步骤预测值。预测系 数表格303将錢缓冲器2108的娜余量与预观係辦应后进行存储，量化 步骤预测部201向当前值存储器302中保持的当前量化步骤预测f魏以对应 于从发送缓冲器2108输入的繊余量的预测系数，算出后续lJ贞的量化步骤预
如图21 (a)和图21 (b)所示，预测系数被设定鹏发送缓冲器2108 内的数据余量大于50%小于80%时为[1. 2]，大于80%小于90%时为[1. 5]， 大于90%小于100%时为[2]，发送缓冲器2108内的空闲容量变少，贝赠大 其值，降低编码数据的比特量。另外，预测系数在发送缓冲器2108的数据余 量大于40%小于50%时，设定为[l]，以维持原来的量化步骤不变。与±^ 相反，预测系数被设定为在发送缓冲器2108内的 余量大于30%小于40 %的情况下为
，大于20%小于30%的情况下为
，大于0%小于 20%时为
。艮口，预测系数被设定成錢缓冲器2108内的空闲容量变多， 则编码数据的比特量变大(即，量化步骤减小，则致密进行量化，提高画质 的品质)。
例如，设当前值存储器302内的量化步骤预测值为[7. 5]、錢缓冲器 2108内的 余量为75%时，在后续帧中，向当前值存储器2302内的量化 步骤预测值[7. 5]乘以预测系数[1. 2]，将针对该顷的量化步骤预测j鼓为 [9]。算出的量化步骤预测值[9]通过量化步骤预测部2201写入当前值存 储器302。因为量化步骤预测值[9]是从[1]到[31]的自然数，所以由 量化步骤决定部2203决定为对该帧的量化步骤。在用量化步骤[9]量化该 帧后，即使对后续帧还有70%的发5^崖冲器2108的 余量的情况下，向 当前值存储器302内的量化步骤预观値[9]乘以预测系数[1.2]，下面量化 步骤预测值变为[10.8]。若量化步骤决定部203将小数以后的值四舍SA后 决定量化步骤，则由量化步骤[11]来量化后续帧。因此，通过设定预测系 数，若錢缓冲器2108内的 縫大于50%，贝咽为量化步骤增大，所 以编码的图像画质缓漫粗糙，可缓侵降低编码的 比特量。另一方面，若 发送缓冲器2108内的娜縫小于40%，贝咽为量化步骤M^、，所以麵比特量缓慢增大，但可缓慢提高编码图像的画质。
图22是说明上i图20中帧速率计算部2202的功能用框图。帧速率计算 部202是根据，缓冲器2108的 余量和量化步骤预测{1^计算最佳帧速 率的部件，具备比较器2401、比较器2402、帧速率表格2403、阈值存储器 2404、阈值存储器2405和空闲容量算出部2406。阈值存储器2404和阈值存 储器2405由闩锁电路或RAM等实现。向比较器2401中输入作为量化步骤预 测部2201的输出的量化步骤预测值、和保持在阈值存储器2404中的阈值B。 比较器240U匕较这两铺入，例如，若量化步骤预测《I^1阈值B，贝懒出 [1]作为输出D1，若量化步骤，测值小于阈值B，贝懒出
作为输出D1。 向比较器2404输入空闲容量算出部2406算出的发送缓冲器2108的空闲容量 和阈值存储器2405中保持的阈值C。比较器2402比较这两^ii入，例如， 若发送缓冲器2108的空闲容量超过阈值C，贝嚇出[1]作为输出D2，若空 闲容量小于阈值C，则输出
作为输出D2。帧速率表格2403是表示对应 于比较器2401的输出Dl和比较器2402的输出D2的组合的最佳帧速率的表 格。阈值存储器2404保持事先设定的量化步骤预领値的阈值B。阈值存储器 2405保持事先设定的发送缓冲器108的阈值C。空闲容量算出部406根据发 送缓冲器2108的所有 容量和从发送缓冲器2108输入的数据余量，算出 发送缓冲器2108当前的空闲容量。
具体而言，帧速率计算部2202根据帧速率表格2403，计算对编码m 帧的最佳帧速率。例如，在m缓冲器2108的空闲容i^过阈值C且量化步 骤预测值小于阈值B的情况下，即尽籠化步骤值小而縱缓冲器2108中有 空余的情况下，决定最佳帧速率(例如为30Hz)，使帧速率最大。相反，在 发送缓冲器2108的空闲容量小于阈值C且量化步骤预测HB过阈值B的情况 下，即尽管量化步劍I^而m缓冲器2108中没有空余的情况下，决定最佳 帧速率(例如为10Hz)， 4糧化步骤变大。并且，在m^冲器2108的空闲 容量和量化步骤预测值都比阈f直大、或都小于阈值的情况下，决定最佳帧速 率，4吏帧速率变为中间值。
图23是表示，图22中帧速率计算部2202的各输^信号和输出信号一例的图。图23 (a)是表示作为帧速率计算部2202的输出信号的最佳帧速率 的图。图23 (b)是表示作为帧速率计算部202 —方的输入信号的量化步骤 预测H直的图。图23 (c)是表示作为帧速率计算部202另一方的输入信号的 发送缓冲器108的空闲容量的图。根据$俞入的 余量，由空闲容量算出部 2406来正确算出该空闲容量。图23 (b)的曲线L1表^M化步骤预测值随时 间经过而变化的状态，图23 (c)的曲线L2表示发送缓冲器2108的空闲容 量的吋间变化。如图23 (b)所示，在量化步骤-预测值小于阈值B期间，比 较器2401输出D1=0，若量化步骤预测值超过阈值B，则比较器2401输出 Dl=l。另外，若量化步骤预测值再小于阈值B，则比较器2401输出D1二0。 另一方面，如图23 (c)所示，在发送缓冲器2108的空闲容量小于阈值C期 间，比较器2402输出D2二0，若空闲容:Kg过阈值C，则比较器2402输出 D2=l。另外，若空闲容量再小于阈值C，则输出D2二0。
在帧速率计算部2202保持的帧速率表格2403中，对应于比较器2401的 输出Dl的值
或[l]、与比较器2402的输出D2的值
或[1]的4 种组合，记述4种帧速率。帧速率计算部2202在D1二0 (量化步骤预测值小) 且D2二0 (空闲容量少)期间，如图23 (a)戶标，输出20Hz作为最佳帧速 率。另外，如图23 (b)和图23 (c)所示，在仅曲线Ll所祿化步骤预测 〈腿过阈值B的情况下，即D1二1 (量化步骤预测使大)且D2二0 (空闲容量 少)期间，帧速率计算部2202输出15Hz作为最佳帧速率。之后，若量化步 骤预测值和空闲容量两者都超过阈值，即W二1 (量化步骤预测fli:)且D2 =1 (空闲容量多)期间，帧速率计算部2202为了将量化步離制得小，输 出20Hz作为最佳帧速率。并且，仅在量化步骤预观値小于阈值B的情况下， 即D1二0 (量化步骤预测值小)且D2二1 (空闲容量多)期间，帧速率计算部 2202输出30Hz作为最佳帧速率。因此，帧速率计算部2202对应于量化步骤 预测值和发送缓冲器2108的空闲容量(这里为4个阶段)，缓t曼增减帧速率。
图24是说明，图20所示帧数计算部204的动作的图。图24 (a)是 表示从比较器2205输出的抽取信息一例的图。图24 (b)是表示帧数计算部 2204的详细结构的框图。如图24 (a)所示，帧数计算部2204以30Hz输入从比较器2205输出的抽取信息。该抽取信息是
或[1]的双值信号。抽 取信息
表示抽取该帧，抽取信息[1]表示编码该帧。图24 (b)的帧 数计算部2204是根据从比较器2205输出的抽取信息来计算当前的帧速率， 以规定周期(例如5Hz)来输出计算结果的处理部或电路。帧数计算部2204 具紛li]取信息存储器2601、计数器2602和运算器2603。抽取信息存储器2601 是由先进先出保持的FIFO (first—in first-out)存储器装置，从当前帧开 始追溯以30Hz输入的1比特的抽取信息，保持30帧。计数器2602以规定的 周期(例如5Hz)计数信息存储器2601内的就超由取信息为[1]的帧数m 和抽取信息为
的帧数n，在下一周期中(例如1 / 5秒后)复位m和n 的值。运算器2603在JJi规定周期中计算[m/ (m+n)]，将结果作为当前 帧速率输出。从而，帧数计算部2402在例如1秒内计算5次当前帧速率并输 出的情况下，可以每0. 2秒来算出适当的量化步骤。
帧速率控第嘟2113的比较器2205比较由帧数计算部2204计算的当前顷 速率和由帧速率计算部2202计算的最佳帧速率，若最佳帧速率大于当前顷速 率，则将表満码指示的[1]作为抽取信息输出。另一方面，若最佳帧速率 小于当前顷速率，贝IJ将表示抽取指示的
作为抽取信息输出。结果，被编 码帧的帧速率等于由帧速率计算部2202算出的最佳帧速率。艮口，本图像编码 装置2100对应于发送缓冲器2108的空闲容量来控制量化步骤，在更缓和发 送缓冲器2108的空闲容量的时间变化鹏制量化步骤的情况下，艮口，对应于 量化步骤预测值和皿缓冲器2108的空闲容量，缓優增减帧速率来编码的情 况下，或避免图像急剧恶化。
图25是说明图像编码^g 2100的输入图像信号与*皮编码帧的示意图。 图25 (a)是表示输入图像编码體2100的图像信号各帧的图。如图25 (a) 所示，图像编码驢2100与战实施例1的图11的情况相同，由两个帧组 构成1个帧群2604，将帧群2604设为决定上述量化步5M帧速率时的1单 位。图26 (b)是表示由图傳编码装置2100编码的各被编码帧的图。
如图25 (a)所示，在输入图像编码^S2100中的图像信号中包含编码 容易的画面和编码困难的画面，在编码容易的画面中，编码数据的发生比特量变少。另一方面，在编码困难的画面中，编码数据的发生比特量增加。例
如，若在吋刻a向图像编码體2100输A^码困难的画面，则因为编码困难 的画面最初的帧编码产生的发生比特量多，所以，缓冲器2108的空闲容量 变少，在量化步骤预测部2201中，量化步骤预测劍应于该空闲容量而增大。
例如，由量化步骤预测部2201预测的量化步骤预测fl^:到对应于之前帧的量
化步骤预测值的1. 5倍。从而，抑帝U后续顷编码产生的发生比特量。结果， 编码产生的发生比特量越是在使用当初的量化步骤来量化的情况下越不会变 大，发送缓冲器2108的空闲容量也不会急剧降低。因此，即使在以前必需连 续大幅度的帧抽取的情况下，图像编码装置2100也可更缓和地降低帧速率。
可是，在，，缓冲器2108的空闲容量下降并小于阈值Cr情况下， 帧速率计算部2202将最佳帧速率变更为低1阶的帧速率。例如，在时刻a之 前，用30Hz的帧速率来编码盼瞎况下，帧速率计算部2202将来自后续帧的 最佳帧速率变更为20Hz。因此，即使量化步骤变大，帧速率变小，发送缓冲 器2108的容量中也没有空余，量化步骤预测值进一步变大，鹏阈值B的情 况下，帧速率计算部2202将下面最佳帧速率变更为更低1阶的帧速率。例如， 在时刻b之前，用20Hz的帧速率来编码的情况下，帧速率计算部2202将下 而的最佳帧速率变更为15Hz。
从而，图像编码装置100即使在输入编码困难的画面的情况下，1M应 于编码的发生比特量来算出量化步骤预观値，同时，将量化步骤预测值反映 到最佳帧速率，所以可更稳定地阶段性地降低帧速率。相反，对输入的图像 信号而言，例如在时刻c，在从编码困难的画面切换到编码容易的画面的情 况下，M3i首先减小量化步骤，尽可能高画质i舰t彌码。可是，在发送缓 冲器中有空余(为编码容易的画面)的情况下，将帧速率变更为大1级的值， 所以可更稳定地阶段性地增加帧速率。例如，在时刻c输入编码容易的画面， 即使量化步骤变小，但在^i^I冲器2108中有空余的情况下，在时刻d，将 帧速率变为上1级的20Hz，在时刻e，量化步骤变为充分小的值的情况下， 将帧速率变更为处l级的30Hz，所以可进一步稳定地增加帧速率。结果， 在用解码装置解码图像编码装置100编码的图像信号的情况下，即使编码困难的画面，图像也不会急剧变粗糙，动作也不会急剧变得不灵活，可再现动 态图像。相反，即使切换为编码容易的画面的情况下，图像的浓淡也不会急 剧平滑，动作也不会急剧平滑，人眼不会感到不自然，可再现高画质的图像。
如上戶腿，根据本实施例的图像编码體2100，将在规定时间长度(例 如1秒)中观测情况下的^3I率保持恒定，缓冲器中有足够空间的情况下， 通过由低的量化步骤来进行编码，与以前相比，可高画质编码，并且可抑制 在移动到复杂画面膚况下的帧速率的急剧下降(多个帧不编码而瑕挝)，与以 前相比，可进行动作平滑的编码。
在Jl^实施例中，帧速率计算部2202 4顿錢缓冲器2108的 余量 和量化步骤预测部2201的量化步3慰弼鹏魏计算最佳帧速率，但本发明不限 于此，也可4顿任一方舰行计算。另外，帧速率计算部2202 {顿战图 22所示帧速率表格2403来计算30Hz、 20Hz、 15Hz和10Hz4阶段的最佳li贞速 率，但最佳帧速率不限于该值，另外，也不必是4阶段。并且，不必{顿这 种ti贞速率表格来计算最佳帧速率，例如，也可设在，缓冲器的空闲容量大 于阈值C的情况下，最佳帧速率是当ltPli贞速率的2倍，小于阈值C的情况下 为当前帧速率的1 / 2 {§ 行计算。另外，也可再设置1个阈值D，设在发 送缓冲器的空闲容量大于阈值C的情况下，最佳帧速率是当llPli贞速率的2倍， 小于阈值D的情况下为当前帧速率的1/2倍^6S行计算。由此，可防止对于 阈值C和阈值D各自附近发送缓冲器的 余量的稍微变化，每次都变更最 佳帧速率。另外，最佳帧速率即4顿量化步^f页测值的变化，也可进行与之 一样的计算来求出。并且，最佳帧速率不限于当前帧速率的1 / 2倍、2倍的 值。下面实施例中也一样。
另外，在战实施例中，说明了量化步骤预测部2201 il3U:^图21所 示预测系数表格2302来计算量化步5野厠则值的情况，但本发明的量化步骤预 测方法不限于此，也可J顿事先确定的函IBl6a行计算。并且，预测系数表 格2303内的量化步驟页测系数也不限于[2]、 [1.5]、 [1.2]、 [l]、
、
、
的值。下面实施例中也一样。
另外，本实施例2的帧数计算部2204具备剤紐去1秒内(即30帧)的抽取信息用的抽取信息存储器2601，但本发明不限于此。另外，当fp))贞速 率的计算方法也不限于上述计算方法，也可4柳其它方法。下面实施例中也一样。
另外，也可代替战发送缓冲器的繊余量来作为平均4魏率。下面实 施例中也一样。
下面，说明战帧速率控制部2113的z鄉例的帧速率控制部2800、 3000 及3400。另外，在以下变形例中，省略对战帧速率控制部2113相同结构 的说明。重点说明不同点。
图26是表示变形例的帧速率控制部2800的功能结构框图。帧速率控制 部2800具备量化步骤预测部2201 、量化步骤决定部2203 、帧速率计算部2202 、 帧数计算部2204和比较器2205。帧速率控制部2800与±^图20所示帧速 率控制部2113的不同之处在于输入由量化步骤决定部2203决定的量化步骤， 来代替向帧速率计算部2202输入量化步5野照则部2201的量化步骤预测值。
图27是表示±3^图26中的帧速率计算部2202的各输入信号和输出信号 一例的图。图27 (a)是表示作为帧速率计算部2202的输出信号的最佳帧速 率的图。图27 (b)是表示作为帧速率计算部2202—方输入信号的量化步骤 的图。图27 (c)是表示作为巾贞速率计算部2202另一;51俞入信号的发送缓冲 器2108的空闲容量的图。量化步骤决定部2203根据量4七步5i!负测部2201求 出的量化步骤预湖!Ktt决定从[1]到[31]的整数值，将决定的值作为量化 步骤输出。因此，如图27 (b)所示，输入帧速率控制部2800的量化步骤与 量化步骤预测值不同，最大为[31]。
从而，帧速率计算部2202代替量化步骤预测值，根据作为量化步骤决定 部2203输出的量化步骤，计算最佳帧速率，从而可不过于偏离实际编码引起 的发生比特量来算出最佳帧速率。
图28是表示郷例的帧速率控制部3000的功能结构框图。帧速率控制 部3000根据由量化步骤决定部2203得到的量化步骤求出过去编码的帧的平 均量化步骤，根据求出的平均量化步骤 行帧速率诸部2202的最佳帧速率 的计算，具备量化步骤预测部2201、量化步骤决定部2203、平均量化步骤计算部300K帧速率计算部3002、帧数计算部2204和比较器2205。平均量化 步骤计算部3001计算用于过去1秒间编码的量化步骤的平均值。帧速率计算 部3002根据由平均量化步骤计算部3001计算的量化步骤的平均值和发送缓 冲器2108的空闲容量来计算最佳帧速率。
图29是说明上龙图28中平均量化步3Ii十算部3001的功能框图。平均量 化步骤计算部3001对过去编码的帧计算量化步骤的平均值，具备量化步骤存 储器3101、抽取信息存储器3102、加法器3103和除法器3104。量化步骤存 储器3101是从当ftPlJ贞开始追溯1秒、按30帧先进先出来f親作为量化步骤 决定部2203的输出的量化步骤值的FIFO。抽取信息存储器3102是从当ltPfi贞 开始3I溯1秒、按先进先出来保持从比较器2205输出的、对应于各帧的抽取 信息(即例如1秒内有30帧的情况下输30比特)的FIFO。加法器3103 将对应于每个帧的抽取信息和量化步骤相乘的结果相加，(即合计在过去1 秒中编码的所有帧的量化步骤)，输出给除法器3104。除法器3104用过去1 秒中编码的帧数来去除从加法器3103输入的量化步骤的^i十，算出量化步骤 的平均值。
图30是说明战图28中帧速率计算部3002的功售調框图。帧速率计算 部3002保持上述图22所示的帧速率表格2403，还具备滞后比较器3201、阈 值存储器3202、滞后比较器3203、阈值存储器3204和空闲容量算出部2406。 滞后比较器3201是从阈值存储器3202向一方的输入端子输入阈值a 1、 P 1 (M〈ci1)，向另一方输入端^f俞入的平均量化步骤超过阈值al时，此后
输出D1二1，直到平均量化步骤小于阈值ei，即使平均量化步骤M:阈值e
1 ，也输出Dl =0，直到超过阈值a 1为止的比较器。阈值存储器3202是保持 阈值a 1 、 P 1的闩锁电路或存储器。滞后比较器3203是从阈值存储器3204 向一方的输入端子输入阈值a2、 02 (P2〈a2)，向另一^f俞入端子输入的 发送缓冲器2108的空闲容M过a2时，输出D2二1，之后输出D2=l，直 到发送缓冲器2108的空闲容量小于P 2。阈值存储器3204是保持阈值a 2和 P 2的闩锁电路或存储器。
图31是表示上述图28中的帧速率计算部3002的各lr入信号和输出信号一例的图。图31 (a)是表示作为帧速率计算部3002的输出信号的最佳帧速 率的图。图31 (b)是表示作为帧速率计算部3002—方的输入信号的平均量 化步骤的图。图31 (c)是表示作为帧速率计算部3002另一方的输入信号的 发送缓冲器2108的空闲容量的图。如图31 (b)所示，平均量化步骤取从[l] 到[31]的值，但未必象各帧的量化步骤那样为自然数，另外，变化的禾號也 缓慢变小。帧速率计算部3002根据如此输入的滞后比较器3201的输出D和 滞后比较器3203的输出D2的值来计算最佳帧速率的方法如上所述。
从而，帧速率控制部3000代替量化步骤预测{直，根据作为平均量化步骤 计算部3001的输出的平均量化步骤来控制帧速率，从而在量化步骤的值在阈 〈直附近上下的情况下，可防iW^h帧变更帧速率。
在上述实施例中，说明平均量化步骤计算部3001计算过去1秒间编码帧 的量化步骤的平均值的实施例，但本发明不限于此，也可对过去数秒间或过 去数顷-数十帧算出量化步骤的平均值。另外，也可还包含未编码的帧， 一律 计算过去的量化步骤的平均值。
图32是表示变形例的帧速率控制部3400的功能结构框图。帧速率控制 部3400的帧速率计算部3401具备滞后比较器3201和滞后比较器3203来代 替比较器2401和比较器2402，与，实施例1的帧速率计算部202 —样， 计算最佳帧速率，fi^求出过去1秒间计算的最佳帧速率的平均值，将求出 的平均帧速率设为最佳帧速率。
帧速率控制部3400具备量化步骤预测部2001、量化步骤决定部2203、 帧速率计算部3401、帧速率存储器3402、帧数计算部2204、和比较器2205。 帧速率计算部3401输入滞后比较器3201的输出Dl和滞后比较器3203的输 出D2，根据帧速率表格2403的标准(真值表)，计算最佳帧速率。并且，帧 速率计算部3401根据过去多个最佳帧速率的计算结果来计算其平均值。
帧速率存储器3402魏从当前帧开々腿溯1秒的30帧以先进先出来保 持作为帧速率计算部3401的计算结果的FIF0。
图33是表示上遙图32中的帧速率计算部3401和帧速,储器3402的 详细结构的框图。帧速率计算部3401保持帧速率表格2403，并且，具备滞后比较器3201、阈值存储器3202、、滞后比较署l3203、阈H存储器3204、空 闲容量算出部2406、加法器3501、和除法器3502。帧速率计算部3401对每 ,俞入的图像信号帧，根据从量化步骤预测部2201输入量化步骤预测值的滞 后比较器3201的输出Dl和输入发送缓冲器2108的数据^M的滞后比较器 3203的输出D2，基于帧速率表格2403算出最佳帧速率，以30Hz将算出的最 佳晚速^$俞出到顿速率存储器34020加法器3501将帧速率存储器3402内的 各最佳帧速^ffi加。除法器3502用[30]去除从加法器3501输出的值，参照 帧速率表格2403，从4个阶段的最佳帧速率中将距除法结果最近的帧速率决 定为平均最佳帧速率后输出。结果，最佳帧速率例如在变化为30Hz—10Hz的 情况下，平均最佳帧速率必需如30Hz—20Hz—15Hz—10Hz那样，经由中间的 帧速率依次变化，所以可较平滑地控制编码的帧速率。
图34是表示，图32中的帧速率计算部3401的各输入信号和输出信号 一例的图。图34 (a)是表示作为帧速率计算部3401的输出信号的平均最佳 帧速率的图。图34 (b)是表示作为帧速率计算部3401 —方的输入信号的量 化步骤预测值的图。图34 (c)是表示作为帧速率计算部3401另一方的输入 信号的，缓冲器2108的空闲容量的图。如图34 (a)所示，平均最佳帧速 割各从当前帧开始追溯1秒，平均化30帧的最佳帧速率，选歸舰该值的 最佳顷速率，所以抑制大的帧速率变更，结果，可得到动作更平滑的编码结 果。
说明本帧速率计算部3401计算过去1秒间30帧的最佳帧速率的平均值， 但本发明不限于此，求出平均值的最佳帧速率的范围也可以是过去几秒间或 几帧。
(实施例3)
图35是表示实施例3中的图像编码装置4100的功能结构的框图。图像 编码装置4100使用，实施例1的图像编码装置10中的可变皿率方式和 ，实施例2的图像编码装置2100中的可变帧速率方式来实现更适宜的编 码。
如图35所示，图像编码體4100除総缓冲器2108、帧速率控制部4113和l)贞抽取部4116外，与上述实施例1中的图像编码装置10的功能结构相同。 另外，下面，对与战实施例1或实施例2中的功肖臨构相同的部分附力湘 同符号，省略说明。
帧速率控制部4113仅具有战实施例2的图像编码装置2100的帧速率 控制部2113功能中生成抽取信息的功能。
帧抽取部4116从帧速率控制部4113接收抽取信息，决定帧速率，将决 定的该时刻的l)贞速率值通知腿率控制部30。
图36是表示上述图35的帧速率控制部4113的详细功能结构的框图。如 图36所示，帧速率控制部4113构成为AUi3i实施例2的li贞速率控制部2113 (参照，图20)中去除量化步骤预测部2201和量化步骤决定部2203。因 此，帧速率控制部4113根据从发送缓冲器2108获得的 余量，仅生成抽 取信息，将该抽取信息发送给帧抽取部4116。
如上戶腿，Mil本实施例的图像编码體4100，由发送缓冲器的 余 量来控制帧速率，同时，根据该帧速率和分酉^合帧群的总比特数，可实现更 好的比特分配。 (实施例4)
在以下实施例中，说明将±3^实施例1-3中的图像编码装置的结构实现 为图像编码程序的步骤，并在一般的计算机系统上实5见与上述图像编码装置 同等功能的方法。
图37是4OT存储图像编码禾M^的软盘来在一般的计^t几系统上实现与 上述实施例1-3的图像编码装置同等功能瞎况的说明图。
图37 (b) 是从软盘正面看的夕卜观、截面构3t^M:，图37 (a)是表示
作为记录媒体主体的软盘的物理格式实例。
软盘1301内置在壳体1302中，在该盘的表面M卜周向内周形成同心圆 形的多个轨道沿角度方向将各轨道分割成16个扇区。因此，在存储战图像 编码禾歸的软盘中，在战鄉1310上分配的区域中，记录作为战图像编 码辦的娜。
另外，图37 (c)表示在鄉1301中记录再5JLh^图像编码禾聘用的装置结构。在车爐1301中记录战图itti码禾Mff的情况下，从计^m系统1304 经软盘驱动器1303写入图像编码f辨的繊。另外，在计算4几系统中iM软 盘1301内的程序来构^±^编码 码装置的情况下，从$^驱动器1303 中读取程序，传送纟^i十^m系统1304。
另外，在上述说明中，将软盘用作数据记录媒体来进行说明，但也可通 过光盘或IC卡、ROM盒等可记录，骄的媒体来同样实现Jl^图像编码體。
权利要求
1、一种图像编码装置，对以帧单位依次输入的图像信号进行编码，其特征在于具备编码单元，对上述每个帧量化上述图像信号的频率分量，根据上述量化的结果进行编码；量化幅度计算单元，根据整体上分配给由多个帧构成的帧群的总比特数和分配完的比特数，计算后续编码的帧的量化幅度；帧速率计算单元，根据上述计算的量化幅度，计算表示应对后续编码的帧编码的周期的编码帧速率；和输入控制单元，根据上述编码帧速率，控制输入上述编码单元的上述图像信号的取舍，上述编码单元通过上述量化幅度来量化输入的上述图像信号。
2、 根据权禾腰求1戶舰的图像编码驢，其特征在于还具备发送缓冲器，保持由上述编码单元编码的编码数据，每次以一 定量向外部输出保持的Jl^编码数据，上述量化幅度计算单元根据未输出而原样残留在，发送缓冲器内的编 码 的1^居量，计算，量化的幅度。
3、 根据权利要求2戶脱的图f魏码體，其特征在于若通3ih^编码发生的编码量超过规定量，则战量化幅度计算单元增大后续编码帧的，量化的幅度。
4、 根据权禾腰求3戶舰的图ft^码體，其特征在于.-战量化幅度计算单元具备比较部，比较MJ^编码发生的编码量、和规定阈lt的大小； 乘法部，上述比较的结果，若上述发生编码量超处述阈值，贝U向对之前的输入帧计算的i^量化幅度乘以比1大的规定系数；禾口量化幅度决定部，将战乘法结果作为量化幅度的预测值，将规定值范围中最舰±^预则值的值决定为后纟^|码帧的量化幅度。
5、 根据权禾腰求4戶腿的图^^码驢，其特征在于 上述量化幅度计算单元皿行计算，使通31±述编码发生的编码量一旦小于规定量，则Ji3i量化的幅度变小。
6、 根据权利要求5戶，的图^^码，，其特征在于 上述比较的结果，在上述发生编码量小于上述阈值的情况下，上述乘法部还 "紧前面的输入帧计算的±^量化幅度上乘以比1小的规定系数。
7、 根据权利要求5戶腿的图像编码驢，其特征在于 上述比较的结果，在Jl^发生编码量大于上述阈值的情况下，上述乘法部还在对之前的输入帧计算的，量化幅度上乘以比1大的规定系数。
8、 根据权禾腰求4戶腿的图像编码體，其特征在于 上述量化幅度计算单^S具备系数表保持部，事先保持使MJl^编码发生的编码量变多、将增大上述量4七幅度的系数4M应于J^发生编码量所表示的系数表；禾口第2乘法部，根据，系数表，向对紧前面的输入帧计算的，量化幅度乘以对应于上述发生编码量的系数，—卜i量化幅度决定細每上述第2乘法部的乘法结果作为量化幅度的预测值，决定后续编码帧的量化幅度。
9、 根据权利要求4戶腿的图像编码驢，其特征在于上述量化幅度计算单就于就近的帧，向用于量化的战量化幅麟以 ，系数后，计算后纟，码帧的量化幅度。
10、 根据权利要求4戶脱的图像编码装置，其特征在于-若战量化幅度的预测^MJl^阈值，则J^帧速率计算单元增大后续编码j帧的编码帧速率。
11、 根据权利要求10戶做的图像编码體，其特征在于若战量化幅度的预测il^ll:述阈值，则战帧速率计算单元向当前编码帧速率乘以比1大的规定系数后，设为后续编码帧的编码帧速率。
12、 根据权利要求10戶脱的图像编码，，其特征在于-若上述量化幅度的预测值小于战阈值，则战帧速率计算单元减小后 续编码帧的编码()贞速率。
13、 根据权利要求ll所述的图像编码装置，其特征在于 若说量化幅度的预领値小于上述阈值，则战帧速率计算单元向当前编码帧速率乘以比1小的规定系数，并设为后续编码帧的编码帧速率。
14、 根据权禾腰求4戶腿的图像编码装置，其特征在于 若决定的上述量化幅度超过规定阈值，则上述帧速率计算单元增大后续编码帧的编码帧速率，若小于，阈值，贝嘁小后续编码剛勺编码帧速率。
15、 根据权利要求4戶;M的图像编码，，其特征在于上述顷速率计算单元具备计算决定的上述量化幅度平均值的量化幅度平 均部，若上述量化幅度的平均f腿过规定阈值，则战帧速率计算单元增大后 续编码帧的编码顷速率，若小于Jl3^阈值，则减小后续编码帧的编码l贞速率。
16、 t艮据权利要求1所述的图像编码装置，其特征在于-在通iUi述编码发生的编码量超过规定阈值的情况下，Ji^帧速率计算单元向，计算的编码帧速率乘以比1小的规定系数，并重新设为±^计算 的编码帧速率。
17、 根据权利要求1所述的图像编码装置，其特征在于在通3UiM编码发生的编码量小于规定阈值的情况下，上述帧速率计算单元向，计算的编码帧速率乘以比1大的规定系数，并重新设为Jl^计算 的编码帧速率。
18、 根据权利要求1戶，的图像编码^g，其特征在于 上述输入控制单元还具备帧速率平均部，算出作为上述帧速率计算单元的计算结果的编码帧速率的平均值，上述输入控制单元根据由J^帧速率平均部算出的上述平均值，控制上 述输入的图像信号的取舍。
19、 一种编码帧单位的图像信号的图像编码方法，^^寺征在于包含编码步骤，对，^帧量4ti述图像信号的频率分量，根据上述量化的结魏纟彌码；量化幅度计算步骤，根据战帧群的总比特数和分配完的比特数，计算 下面应编码帧的量化幅度；帧速率计算步骤，根据战计算的量化幅度，计算表示舰后续编码的 帧编码的周期的编码l'贞速率；禾口输入控制步骤，根据上述编码帧速率，控制Jl^编码步骤中输入的战 图像信号的取舍，上述编码步3WiJd^量化幅度来量化输入的，图像信号。
全文摘要
一种图像编码装置及方法，在编码困难的画面连续的情况下，也可防止分配给剩余帧的比特数极端不足导致的画质恶化，可进行高画质图像的编码。其对以帧单位依次输入的图像信号进行编码，其具备编码单元，对上述每个帧量化上述图像信号的频率分量，根据上述量化的结果进行编码；量化幅度计算单元，根据整体上分配给由多个帧构成的帧群的总比特数和分配完的比特数，计算后续编码的帧的量化幅度；帧速率计算单元，根据上述计算的量化幅度，计算表示应对后续编码的帧编码的周期的编码帧速率；和输入控制单元，根据上述编码帧速率，控制输入上述编码单元的上述图像信号的取舍，上述编码单元通过上述量化幅度来量化输入的上述图像信号。
文档编号G06T9/00GK101408986SQ20081016937
公开日2009年4月15日 申请日期2003年4月24日 优先权日2002年4月25日
发明者内林京子, 西孝启, 角野真也, 高桥润 申请人:松下电器产业株式会社