专利名称：编码比特率控制方法和装置、其程序以及记录有程序的记录介质的制作方法
技术领域：
本发明涉及在能够切换帧内预测和帧间预测的视频图像编码中使用的编码比特率控制方法及其装置，用于实现该编码比特率控制方法的编码比特率控制程序及记录有该程序的计算机能够读取的记录介质。
本申请基于2007年3月14日申请的日本专利申请特愿2007-064271号主张优先权，并在这里引用其内容。
背景技术：
在众多视频图像编码方式中，根据被输入的视频图像的性质而产生码量进行变化。因此，需要控制产生码量，使编码比特率保持为固定的编码比特率控制技术。
产生码量与量化步长有密切的关系，产生码量通过使量化步长变动从而进行控制。
在MPEG-2实验模型5(以下略记为TM5)中，利用量化步长和产生码量之间的关系，进行码量控制(例如，参照非专利文献1)。
以下，对在MPEG-2TM5的码量控制进行说明。
在MPEG-2TM5中，利用被称为GOP(Group ofPictures，图像组)的、由I、P、和B图像等不同的图像类型构成的图像群(I/P/B)的单位进行码量控制。
图7表示MPEG-2TM5的码量控制的流程图。
在MPEG-2TM5的码量控制中，如该流程图所示，首先，最初在步骤S301，按图像类型的每一个以下式 Xx＝Sx·<Qx> 求取复杂度指标Xx(x＝i，p，b(分别与I、P、B图像对应))。
这里，x表示图像类别，Sx表示最近被编码了的同一图像类型的产生码量，<Qx>表示该编码的量化步长的平均值。
通常，产生码量Sx与量化步长Qx成反比例。因此，通过计算该复杂度指标Xx，能够得知产生码量与量化步长的关系。
接着，在步骤S302，按照下述计算式，按图像类型的每一个设定目标码量Tx(x＝i，p，b)。
[数式1] 这里，R表示对GOP分配的码量，Np表示GOP内的P图像的数量，Nb表示GOP内的B图像的数量，Kp，Kb表示常数。
该式意味着，在设定目标码量Ti的情况下，按照Xp/Xi将P图像换算为I图像，按照Xb/Xi将B图像换算为I图像，基于该换算值和图像数Np，Nb和分配到GOP的码量R，计算目标码量Ti。
而且，意味着在设定目标码量Tp的情况下，按照Xb/Xp将B图像换算为P图像，基于该换算值和图像数Np，Nb和分配到GOP的码量R，计算目标码量Tp。
而且，意味着在设定目标码量Tb的情况下，按照Xp/Xb将P图像换算为B图像，基于该换算值和图像数Np，Nb和分配到GOP的码量R，计算目标码量Tb。
接着，在步骤S303，基于以该方式设定的图像单位的目标码量Tx，对成为编码对象的小块的量化步长进行决定。
接着，在步骤S304，使用决定了的量化步长，按小块的每一个进行量化和编码处理。
接着，在步骤S305，在1图像的量的编码结束后，计算量化步长的平均值<Qx>。
接着，在步骤S306，计测(在1图像的量的编码结束后，)实际的产生码量Sx。
基于该计测的产生码量Sx和该计算出的平均量化步长<Qx>，再次在步骤S301，更新下一个同一图像类型的复杂度指标Xx。
通过这样的方法，在MPEG-2TM5中，按图像的每一个设定目标码量进行编码处理，控制产生码量。
在现有方法中，对GOP分配的码量基于图像类型的每一个的复杂度指标决定目标码量。该方法是以量化步长和产生码量之间有反比例关系为前提。
可是，当运动补偿预测的运动矢量或编码模式等、与量化步长的大小无关地产生的码量占据支配地位时，存在该前提崩溃的可能性。在该前提崩溃的情况下，在产生码量的推定中发生错误，存在不能设定正确的目标码量的问题。
为了解决该问题，在下述所示的专利文献1中，提案了一种除去固定长度码量进行量化控制的方法。
在该方法中，将作为不依赖于比特率的要素的MPEG-2的帧内编码模式中的DC成分的码量或运动矢量的码量，作为不依赖于量化步长的码量。
非专利文献1MPEG-2，Test Model5(TM5)，Doc.ISO/IECJTC1/SC29/WG11/N0400，Test Model Editing Committee，pp.59-63，Apr.1993. 专利文献1日本专利申请特开平10-290461号公报 本发明要解决的课题 在非专利文献1中，由于在编码模式选择时不考虑量化步长，所以与量化的粗糙程度无关地选择预测误差成为最小的预测模式。
在现有的众多视频图像编码方式中，由于与运动矢量等的码量相比，正交变换系数的码量所占的比例高，所以在该方法中编码效率的下降不成为严重的问题。
可是，在ITU-T H.264那样的在一个宏块中最大存在32运动矢量的编码方式中，正交变换系数的码量占全部产生码量的比例不总是占据支配地位。
在正交变换系数以外的产生码量较多地产生的编码方式中，当总是选择预测误差最小的预测模式时，正交变换系数以外的产生码量变多，结果编码效率下降。
因此，在预测模式选择时，使用量化步长，在预测误差功率之外，以运动矢量等正交变换系数以外的码量赋予权重来计算相关成本。
在H.264的参照软件中，在预测模式选择时，使用 Cost＝D+λ·A 这样的成本函数。
这里，D是预测误差功率，A是正交变换系数以外的产生码量，λ是通过量化步长决定的常数。
当量化步长变小时，λ变小，预测误差功率占据成本函数的多数。相反地，当量化步长变大时，λ变大，正交变换系数以外的产生码量成为支配地位。
这样，在ITU-T H.264那样的正交变换系数以外的产生码量较多地产生的编码方式中，在利用上述成本函数进行预测模式选择的情况下，由于在专利文献1的方法中，以正交变换系数以外的信息的产生码量不依赖于量化步长作为前提，因此，存在产生码量的推定变得不正确，码量的控制变得困难的情况。
发明内容
本发明正是鉴于上述情况而完成的，其目的在于提供一种新技术，即使是正交变换系数以外的产生码量占据支配地位的编码方式，也能够设定考虑了该产生码量的目标码量，由此，实现稳定的编码比特率控制。
用于解决课题的方法 为了实现该目的，本发明的编码比特率控制装置，在能够切换帧内预测和帧间预测的视频图像编码中使用时，具备(1)第一计测单元，对与进行了编码的图像相关的量化对象信息的产生码量进行计测；(2)第二计测单元，对与进行了编码的图像相关的非量化对象信息的产生码量进行计测；(3)计算单元，基于第一和第二计测单元的计测结果，计算非量化对象信息的产生码量相对于全部产生码量的比率；以及(4)决定单元，使用计算单元计算出的非量化对象信息的产生码量比率，决定编码对象图像的目标码量。
在以该方式构成时，有时使用针对量化步长和非量化对象信息的产生码量比率之间的关系进行描述的函数(例如，以对应于量化步长的值的范围而倾斜度变化的直线来构成)，这时，该装置还可以具备函数决定单元，其基于计算单元计算出的非量化对象信息的产生码量比率、和进行了编码的图像的编码中使用的量化步长，决定该函数。
通过以上的各处理单元进行工作而实现的本发明的编码比特率控制方法也能够通过计算机程序来实现，该计算机程序记录在适当的计算机能够读取的记录介质中被提供，或经由网络被提供，在实施本发明时通过被安装并在CPU等的控制单元上工作，从而实现本发明。
在以该方式构成的本发明的编码比特率控制装置中，对进行了编码的图像相关的量化对象信息的产生码量进行计测，并且对进行了编码的图像相关的非量化对象信息的产生码量进行计测。
然后，基于这两个计测结果，计算非量化对象信息的产生码量相对于全部产生码量的比率，使用该计算出的非量化对象信息的产生码量比率，决定编码对象图像的目标码量。
例如，针对与进行了编码的图像相关的量化对象信息计算复杂度指标，基于该计算出的复杂度指标和计算出的非量化对象信息的产生码量比率，推定以预先决定的量化步长对编码对象图像进行编码时的产生码量，使用该推定的产生码量决定编码对象图像的目标码量。
作为该假定的量化步长，有时使用帧内预测编码图像(I图像)的编码中利用的量化步长和预先决定的比率，计算帧间预测编码图像(P或B图像)的假定的量化步长。
此外，有时使用函数决定单元决定的函数，对应于假定的量化步长，使计算出的非量化对象信息的产生码量比率变化，使用该变化了的产生码量比率决定编码对象图像的目标码量。
发明的效果 根据本发明，即使是非量化对象信息的产生码量占据支配地位的编码方式，也能够对考虑了该产生码量的目标码量进行设定。
由此，根据本发明，通过考虑非量化对象信息的产生码量来决定目标码量，从而推定产生码量的误差减少，能够实现稳定的编码比特率控制。
图1是按照本发明的工作的流程图。
图2是报头码量比的说明图。
图3是应用了本发明的视频图像编码装置的结构例。
图4是同视频编码装置的内部结构例。
图5是表示在报头码量比的导出中使用的函数的一个例子的图。
图6是同视频图像编码装置执行的流程图的一个例子。
图7是MPEG-2TM5的码量控制的流程图。
附图标记说明 1视频图像编码装置 10量化控制部 20量化/编码执行部 100图像类型管理部 101假定量化步长计算部 102推定产生码量计算部 103目标码量计算部 104量化步长计算部 105I图像信息存储部 106I图像信息更新部 107参数信息存储部 108GOP信息存储部 109更新部 1070变换系数码量复杂度指标存储部 1071报头码量比导出函数存储部 1072图像复杂度指标存储部 1090参数信息更新部 1091GOP信息更新部
具体实施例方式 下面，按照实施方式对本发明进行说明。
在本发明中，由于考虑正交变换系数以外的产生码量(以下，称为报头码量，header code amount)，所以通过求取正交变换系数的产生码量(以下，称为变换系数码量)和报头码量的比率，能够进行正确的产生码量的推定。
图1表示按照本发明的工作的流程图。
首先，最初在步骤S101，推定利用假定的量化步长进行编码时的产生码量，其中，该假定的量化步长是按图像类型的每一个预先决定的。
这时，使用 ·变换系数码量的复杂度指标αsx，其中，x＝i，p，b ·报头码量比αrx，其中，x＝i，p，b这样的信息对推定产生码量进行计算。
这里，在报头码量比(＝报头码量/全部产生码量)根据量化步长而变化的情况下，将报头码量比以 αrx＝Func(Qx) 的方式作为量化步长Qx(x＝i，p，b)的函数进行操作。
例如，如图2所示，在报头码量比αrx对应于量化步长Qx而变化的情况下，需要将报头码量比αrx作为量化步长Qx的函数进行计算。
再有，关于该函数，根据编码模式选择时的成本计算方法而不同。因此，需要使用与利用的成本计算方法相配合的函数。
接着，在步骤S102，根据按图像的每一个推定的产生码量，计算编码对象图像的目标码量。
接着，在步骤S103，基于计算出的目标码量，针对编码对象图像具有的成为编码对象的小块决定量化步长。
接着，在步骤S104，使用决定了的量化步长，按小块的每一个执行量化和编码处理。
在1图像的量的编码处理结束后，对以下所示 ·平均量化步长<Qx> ·变换系数码量的复杂度指标αsx，其中，x＝i，p，b ·报头码量比αrx，其中，x＝i，p，b的参数进行计算。
即，接着，在步骤S105，计算量化步长的平均值<Qx>。
接着，在步骤S106，计算变换系数码量Gtx和报头码量Ghx。
接着，在步骤S107，通过计算变换系数码量Gtx和平均量化步长<Qx>的乘积，从而计算在接下来的同一图像中使用的变换系数码量的复杂度指标αsx。
接着，在步骤S108，计算作为报头码量Ghx相对于编码对象图像的全部产生码量Gx的比的报头码量比αrx，由此计算在接下来的相同图像中使用的报头码量比αrx。
假设报头码量比αrx不依赖于量化步长的话，报头码量比αrx能够按照 αrx＝Ghx/Gx 的计算式来求取。在将报头码量比αrx作为量化步长Qx的函数Func(Qx)的情况下，对数值计算所需要的函数内的参数进行计算。
由此，根据本发明，通过考虑报头码量来决定目标码量，从而推定产生码量的误差减少，能够实现稳定的编码比特率控制。
实施例 下面，按照具体的实施例对本发明进行说明。
图3表示作为本发明的一个实施例的视频图像编码装置1的装置结构。
如该图所示，该视频图像编码装置1进行如下处理，即，生成视频图像信号的预测信号，求取视频图像信号和该预测信号的差分值，通过对其量化并进行编码而生成编码比特流并进行输出的处理，该视频图像编码装置1具备进行量化控制的量化控制部10；以及以量化部和信息源编码部构成的量化/编码执行部20。
图4表示本视频图像编码装置1具备的量化控制部10所采用的结构的一个例子。
如该图所示，量化控制部10通过按照本发明进行以GOP单位(帧内周期)的码量的分配，从而控制编码比特率，为此，该量化控制部10具备图像类型管理部100、假定量化步长计算部101、推定产生码量计算部102、目标码量计算部103、量化步长计算部104、I图像信息存储部105、I图像信息更新部106、参数信息存储部107、GOP信息存储部108、以及更新部109。
图像类型管理部100对表示在量化控制部10成为当前处理对象的图像类型是什么样的信息进行管理。
假定量化步长计算部101基于稍前被编码了的I图像的平均量化步长<Qi>，和预先设定的比率值Rp，Rb，计算P图像和B图像的假定的量化步长Qp，Qb。
这里，在本实施例中，将稍前被编码了的I图像的平均量化步长<Qi>作为基准，假设该平均量化步长<Qi>、与P图像和B图像各自的量化步长Qp，Qb的比Rp，Rb是固定的。
推定产生码量计算部102基于假定量化步长计算部101计算出的假定的量化步长Qx、变换系数码量的复杂度指标αsx、和报头码量比αrx(Qx)，对P图像和B图像的产生码量Sp、Sb进行推定。这里，关于I图像，将在稍前被编码了的I图像的产生码量作为推定结果(Si)。
目标码量计算部103基于推定产生码量计算部102推定的产生码量Sx、被分配到GOP的码量(以下，以码量R表示)、GOP内的P图像的枚数Np、以及GOP内的B图像的枚数Nb，对编码对象图像的目标码量Tx进行计算。
量化步长计算部104基于目标码量计算部103计算出的目标码量Tx、和图像类型的每一个的复杂度指标Xx，计算量化步长Qx。
量化/编码执行部20使用量化步长计算部104计算出的量化步长Qx，按小块的每一个执行量化和编码处理。
I图像信息存储部105对假定量化步长计算部101所需要的、稍前被编码了的I图像的平均量化步长<Qi>，和推定产生码量计算部102所需要的、稍前被编码了的I图像的产生码量进行存储。
I图像信息更新部106基于量化/编码执行部20的处理结果，对I图像信息存储部105存储的信息进行更新。
参数信息存储部107通过具备 ·变换系数码量复杂度指标存储部1070，对推定产生码量计算部102所需要的变换系数码量的复杂度指标αsx进行存储； ·报头码量比导出函数存储部1071，对在推定产生码量计算部102所需要的报头码量比αrx(Qx)的导出中使用的函数的信息进行存储； ·图像复杂度指标存储部1072，对量化步长计算部104所需要的图像类型的每一个的复杂度指标Xx进行存储，从而对上述各信息进行存储。
该报头码量比导出函数存储部1071通过对例如 αrx(Qx)＝αx·Qx Qx＜Qthx ＝0.95 Qx≥Qthx 这样的、以量化步长Qthx为边界利用2条直线构成的(参照图5中的两条虚线)函数的信息(αr(后述的“直线的倾斜度”)，Qthx的信息)进行存储，从而存储报头码量比αrx(Qx)的导出中使用的函数的信息。
GOP信息存储部108对目标码量计算部103所需要的码量R、(还未被编码的)P图像枚数Np和B图像枚数Nb进行存储。
更新部109通过具备 ·参数信息更新部1090，基于量化/编码执行部20的处理结果，对参数信息存储部107存储的信息进行更新； ·GOP信息更新部1091，基于量化/编码执行部20的处理结果，对GOP信息存储部108存储的信息进行更新，从而对参数信息存储部107和GOP信息存储部108存储的信息进行更新。
在图6表示以图4方式构成的视频图像编码装置1执行的流程图的一个例子。
接着，按照该流程图，对视频图像编码装置1执行的编码比特率控制处理进行详细的说明。
在视频图像编码装置1中，如图6的流程图所示，首先，最初在步骤S201，基于从I图像信息存储部105读出的、稍前被编码了的I图像的平均量化步长<Qi>、和预先设定的比率值Rp，Rb，按照 Qx＝<Qi>/Rx 的计算式，计算P图像和B图像的假定的量化步长Qp，Qb。
接着，在步骤S202，基于计算出的假定的量化步长Qx、从变换系数码量复杂度指标存储部1070读出的变换系数码量的复杂度指标αsx、和基于报头码量比导出函数存储部1071存储的函数信息计算出的报头码量比αrx(Qx)，按照 Sx＝αsx/[(1-αrx(Qx))·Qx] 的计算式，推定P图像和B图像的产生码量Sp，Sb。
这里，关于I图像，将从I图像信息存储部105读出的、稍前被编码了的I图像的产生码量作为推定结果。
接着，在步骤S203，基于按图像类型的每一个推定的产生码量Sx、从GOP信息存储部108读出的码量R、以及P图像数Np和B图像数Nb，按照下述计算式，计算编码对象图像的目标码量Tx。
即，在编码对象图像是I图像的情况下，按照下面的计算式，计算编码对象图像的目标码量Ti。
[数式2] 然后，在编码对象图像是P图像的情况下，按照下面的计算式，计算编码对象图像的目标码量Tp。
[数式3] 然后，在编码对象图像是B图像的情况下，按照下面的计算式，计算编码对象图像的目标码量Tb。
[数式4] 然后，在步骤S204，例如基于计算出的目标码量Tx、和从图像复杂度指标存储部1072读出的图像类型的每一个的复杂度指标Xx，按照 Qx＝Xx/Tx 的计算式，计算量化步长Qx。
这里，图像类型的每一个的复杂度指标Xx，根据稍前被编码了的同一图像类型的图像的编码结果，基于平均量化步长<Qx>和产生码量Gx，作为 Xx＝<Qx>·Gx 而被求取。
接着，在步骤S205，使用计算出的量化步长Qx，按小块的每一个执行量化和编码处理。
在1图像的量的编码处理结束后，在执行对参数信息存储部107存储的信息、和GOP信息存储部108存储的信息进行更新的处理，并且对I图像进行编码的情况下，执行对I图像信息存储部105存储的信息进行更新的处理。
即，接着，在步骤S206，计算量化步长的平均值<Qx>。
接着，在步骤S207，计测变换系数码量Gtx和报头码量Ghx，并且通过计算两者的和来计算产生码量Gx。
接着，在步骤S208，通过计算作为变换系数码量Gtx和平均量化步长<Qx>的乘积的 αsx＝Gtx·<Qx> ，计算变换系数码量的复杂度指标αsx，按照该计算值，对变换系数码量复杂度指标存储部1070存储的变换系数码量的复杂度指标αsx进行更新。
接着，在步骤S209，基于产生码量Gx和报头码量Ghx和平均量化步长<Qx>，按照 αx＝Ghx/[Gx·<Qx>] 的计算式，计算图5所示的报头码量比αrx的导出函数的直线的倾斜度αx，并且计算该直线具有αrx＝0.95的值的量化步长Qthx，按照这些计算值，对报头码量比导出函数存储部1071存储的函数信息(αx，Qthx的信息)进行更新。
接着，在步骤S210，基于产生码量Gx和平均量化步长<Qx>，按照 Xx＝<Qx>·Gx 的计算式，计算图像类型的每一个的复杂度指标Xx，按照该计算值，对图像复杂度指标存储部1072存储的图像类型的每一个的复杂度指标Xx进行更新。
接着，在步骤S211，在对GOP信息存储部108存储的GOP的分配码量R和P，B图像类型的未编码枚数Nx进行更新，并且对I图像进行编码的情况下，通过对I图像信息存储部105存储的平均量化步长<Qi>和I图像的产生码量进行更新，准备下面的图像的编码。
这样，在本发明中，将报头码量和变换系数码量分离并进行计测，通过计算报头码量比和变换系数码量的复杂度指标，能够进行考虑了报头码量的目标码量的设定，由此，能够实现稳定的编码比特率控制。
按照图示实施例对本发明进行了说明，但本发明并不限定于此。
例如，在实施例中，以2根直线近似报头码量比的导出函数，但并不一定按照这样进行。
此外，在实施例中说明了的根据目标码量计算量化步长的计算方法不过是一个例子。
产业上的利用可能性 根据本发明，通过考虑非量化对象信息的产生码量来决定目标码量，从而推定产生码量的误差减少，能够实现稳定的编码比特率控制。
权利要求
1.一种编码比特率控制方法，在能够切换帧内预测和帧间预测的视频图像编码中使用，该编码比特率控制方法的特征在于，具备
对与进行了编码的图像相关的量化对象信息的产生码量进行计测的步骤；
对与进行了编码的图像相关的非量化对象信息的产生码量进行计测的步骤；
基于所述两个计测结果，计算所述非量化对象信息的产生码量相对于全部产生码量的比率的步骤；以及
使用所述计算出的非量化对象信息的产生码量比率，决定编码对象图像的目标码量的步骤。
2.根据权利要求1所述的编码比特率控制方法，其特征在于，
在对所述目标码量进行决定的步骤中，针对与所述进行了编码的图像相关的量化对象信息计算复杂度指标，基于该计算出的复杂度指标和所述计算出的非量化对象信息的产生码量比率，推定以预先决定的假定量化步长对编码对象图像进行编码时的产生码量，使用该推定的产生码量决定编码对象图像的目标码量。
3.根据权利要求2所述的编码比特率控制方法，其特征在于，
在决定所述目标码量的步骤中，使用帧内预测编码图像的编码中利用的量化步长和预先决定的比率，计算帧间预测编码图像的假定的量化步长。
4.根据权利要求2所述的编码比特率控制方法，其特征在于，
在决定所述目标码量的步骤中，对应于所述假定的量化步长，使所述计算出的非量化对象信息的产生码量比率变化，使用该变化了的产生码量比率决定编码对象图像的目标码量。
5.根据权利要求4所述的编码比特率控制方法，其特征在于，
在决定所述目标码量的过程中，使用针对量化步长和非量化对象信息的产生码量比率之间的关系进行描述的函数，对应于所述假定的量化步长，使所述计算出的非量化对象信息的产生码量比率变化。
6.根据权利要求5所述的编码比特率控制方法，其特征在于，
所述函数以对应于量化步长的值的范围而倾斜度变化的直线来构成。
7.根据权利要求5所述的编码比特率控制方法，其特征在于，具备
基于所述计算出的非量化对象信息的产生码量比率、和进行了所述编码的图像的编码中使用的量化步长，决定该函数的步骤。
8.一种编码比特率控制装置，在能够切换帧内预测和帧间预测的视频图像编码中使用，该编码比特率控制装置的特征在于，具备
对与进行了编码的图像相关的量化对象信息的产生码量进行计测的单元；
对与进行了编码的图像相关的非量化对象信息的产生码量进行计测的单元；
基于所述两个计测结果，计算所述非量化对象信息的产生码量相对于全部产生码量的比率的单元；以及
使用所述计算出的非量化对象信息的产生码量比率，决定编码对象图像的目标码量的单元。
9.一种编码比特率控制程序，其特征在于，
用于使计算机执行用于实现权利要求1所述的编码比特率控制方法的处理。
10.一种计算机能够读取的记录介质，其特征在于，
记录有一种编码比特率控制程序，该编码比特率控制程序用于使计算机执行用于实现权利要求1所述的编码比特率控制方法的处理。
全文摘要
本发明涉及一种编码比特率控制方法，在能够切换帧内预测和帧间预测的视频图像编码中使用，对与进行了编码的图像相关的量化对象信息和非量化对象信息的产生码量进行计测，基于所述两个计测结果，计算所述非量化对象信息的产生码量相对于全部产生码量的比率，使用所述计算出的非量化对象信息的产生码量比率，决定编码对象图像的目标码量。也可以是针对进行了编码的图像相关的量化对象信息计算复杂度指标，基于该指标和所述非量化对象信息的产生码量比率，推定以预先决定的假定量化步长对编码对象图像进行编码时的产生码量，决定所述目标码量。
文档编号H04N7/32GK101632308SQ20088000722
公开日2010年1月20日 申请日期2008年3月5日 优先权日2007年3月14日
发明者清水淳, 谷田隆一 申请人:日本电信电话株式会社