专利名称：码量控制方法及装置的制作方法
技术领域：
本发明涉及视频编码的技术，特别涉及即使在视频的性质变化较大的情况下，也能够防止画质劣化的码量控制方法、码量控制装置及码量控制程序。本申请基于2012年5月12日申请的日本特愿2010-109879号要求优先权，并在这里引用其内容。
背景技术：
在以决定了的比特率(bit rate)对输入视频进行编码时，需要在决定了编码对象图像的目标码量之后，根据该编码对象图像的复杂度来决定量化宽度。例如，在纹理 (texture)多的(复杂的)视频、运动剧烈的视频中，难以进行编码，产生的码量容易增加。相反，在亮度变化少的视频、没有运动的视频中，编码容易等、按每个视频而编码的复杂度不同。在众多编码方法中，作为编码对象图像的复杂度，根据已经编码结束的图像的产生码量等的编码结果来估计复杂度，决定量化宽度。以相同性质的视频连续作为前提，根据编码结束图像的编码结果，估计编码对象图像的复杂度。可是，在视频的性质变化的视频中，当利用编码结束图像的编码结果时预测精度降低，编码控制变得不稳定，不能正确地进行码量分配，存在画质劣化的问题。因此，在专利文献I中，提出了一种利用编码结束图像和编码对象图像的画面内特征量，对“复杂度指标”进行校正的方法。S卩，在根据编码结束图像的编码结果来估计编码对象图像的产生码量时，在估计中使用的编码结束图像和编码对象图像中分别计算画面内特征量，使用画面内特征量对在码量估计中使用的复杂度指数进行校正。由此，即使在减弱(fade)那样的复杂度渐渐地变化的视频中也实现稳定的码量控制。在标准的活动图像编码方式中，根据图像间预测、图像内预测等的差异存在多个图像类型。当图像类型不同时复杂度也不同，因此在复杂度的估计中使用同一图像类型的编码结果。在专利文献I中也考虑了图像类型，按每个图像类型来切换处理。图4是表示根据现有方法的复杂度指标的估计方法的流程图。首先，计算编码对象图像的特征量(步骤S101)。接着，在编码结束图像中提取与编码对象图像同一图像类型的特征量(步骤S102)。此外，提取同一图像类型的复杂度指标(步骤S103)。使用在步骤S101、S102中取得的特征量，对提取的复杂度指标进行校正(步骤
S104)。使用校正后的复杂度指标，控制在编码对象图像的编码中产生的码量(步骤S105)。现有技术文献
专利文献
专利文献I :日本特开2009-55262号公报。
发明内容
发明要解决的课题
如在专利文献I中也记载的那样，在各图像类型中，由于帧内图像(以下，I图像)的插入次数少，所以插入的间隔变宽的情况较多。因此，如专利文献I那样，对复杂度指标进行校正是有意义的。 可是，在视频的变化快的情况下、在如上述那样I图像的插入间隔长的情况下，有可能与场景切换同样地，在估计中使用的编码结束图像和编码对象图像变成完全不同的场
旦
-5^ O在该情况下，即使是同一图像类型，复杂度指标的倾向也可能不同，即使参照编码结束图像的信息，估计精度也可能不会提高。根据情况，可能也有估计精度恶化的情况。在图5中示出视频变化的例子。以二重线包围的图像是I图像。在图5中(A)中，示出I图像相对于淡入(fade in)的视频的位置。在淡入的期间相对于I图像的间隔短的情况下，2个I图像变成完全不同的视频。图5中(B)是以短期间发生交叉渐变(cross-fade)的视频。在本例子中，2个I图像的视频也变成不同的场景。像这样，即使视频渐渐地变化，根据在估计中使用的编码结束图像和编码对象图像的图像间距离，也可能变成完全不同的场景。在完全不同的场景中，量化宽度和产生码量的关系也可能差异较大，存在复杂度的估计精度降低的问题。再有，该课题不限于I图像，在其他的图像类型中也是相同的。本发明谋求解决上述课题，其目的在于即使在视频的性质变化较大的情况下，也能够通过适当的码量控制来防止画质的劣化。用于解决课题的方案
本发明为了解决上述课题，提供一种视频编码方式中的码量控制方法，估计编码对象图像的产生码量，进行码量控制，其特征在于，具有计算编码对象图像的特征量，存储在存储装置中的步骤；提取在所述存储装置中蓄积的、在产生码量估计中使用的编码结束图像的特征量的步骤；对所述编码对象图像的特征量和所述编码结束图像的特征量进行比较的步骤；以及根据所述特征量的比较结果，在判断为两特征量的差异比规定的基准大的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量的步骤。在所述估计编码对象图像的产生码量的步骤中，在判断为两特征量的差异比规定的基准大、且判断为所述编码对象图像比所述编码结束图像复杂的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量也可。作为编码对象图像及编码结束图像的特征量，能够使用视频信号(亮度信号或色差信号)的方差、平均值或傅里叶变换后的系数。在所述估计编码对象图像的产生码量的步骤中，在判断两特征量的差异是否比规定的基准大时，对两特征量的比率赋予阈值进行判定也可。在该情况下，进一步对所述特征量的大小也赋予阈值进行判定也可。优选在决定在所述产生码量的估计中使用的编码结束图像时，利用与编码对象图像同一图像类型的编码结束图像。在不使用编码结束图像的编码结果来估计编码对象图像的产生码量时，事先对码量控制参数进行初始化也可。在不使用编码结束图像的编码结果来控制编码对象图像的产生码量时，根据编码对象图像的特征量来估计产生码量也可。·
本发明还提供一种视频编码方式中使用的码量控制装置，估计编码对象图像的产生码量，进行码量控制，其特征在于，具备计算编码对象图像的特征量的单元；存储参照的编码对象图像的特征量的存储装置；提取在所述存储装置中蓄积的、在产生码量估计中使用的编码结束图像的特征量的单元；对所述编码对象图像的特征量和所述编码结束图像的特征量进行比较的单元；以及根据所述特征量的比较结果，在判断为两特征量的差异比规定的基准大的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量的单元。如上所述，在本发明中，使用特征量来判别在产生码量的估计中使用的编码结束图像和编码对象图像间的视频的性质的差异，在性质差异较大的情况下，在码量控制中不利用编码结束图像的编码结果。通过限于性质差异较大的视频不利用编码结果，从而不再根据性质相异的编码结果来进行码量估计，编码控制时的产生码量的估计误差变小，能够实现适当的码量分配。发明的效果
根据本发明，能够不使用性质差异较大的编码结束图像的编码结果进行编码对象图像的码量控制，即使在视频的性质差异较大的情况下，通过使码量分配适当化，从而能够防止码量控制引起的画质劣化。
图I是本发明的基本的处理的流程图。图2是本发明的实施例的流程图。图3是表示本发明的实施例的装置的结构例的图。图4是表示根据现有方法的复杂度指标的估计方法的流程图。图5是表示视频的变化例的图。
具体实施例方式在针对本发明的实施方式进行说明之前，针对本发明的处理的概要进行说明。如上述那样，即使视频渐渐地变化，根据在估计中使用的编码结束图像和编码对象图像的图像间距离，也可能变成完全不同的场景(scene)。在完全不同的场景中，量化宽度和产生码量的关系也可能差异较大，在现有的方法中，存在复杂度的估计精度降低的可能性。因此，在本发明中，在性质差异较大的情况下，不使用编码结束图像的编码结果来进行码量控制。在性质差异较大的情况下，也存在复杂的增加的情况和减少的情况，也能够仅在复杂度增加的情况下不使用编码结束图像的编码结果来进行码量控制。这是因为在复杂度减少的情况下，由于不会过剩地产生码量，所以可能不会变为大的问题。性质的变化的程度使用各图像的特征量。作为该特征量，使用亮度信号或色差信号的方差(variance)、平均值、傅里叶变换后的系数等在编码开始前能够计算的值。作为特征量的比较方法，计算2个图像间的差分、比率，与阈值进行比较。例如，在比较结果超过阈值的情况下，对与码量控制相关的参数进行初始化。
在此之外，也可以在条件中加入特征量的绝对值。例如，在以亮度方差的比率进行比较的情况下，在0.01和I中，虽然有100倍的差异，但双方的亮度方差都小，并不能说性质必然不同。可是，在亮度方差为10和1000中，虽然是相同的100倍，但性质差异较大的可能性高。因此，也在条件中加入特征量的绝对值。在先前的例子中，能够设为“编码结束图像的亮度方差为10以上，比率为100倍的
情况”。再有，在绝对值的比较中，也可以不以编码结束图像而以编码对象图像进行比较。在先前的例子中，能够设为“编码对象图像的亮度方差为1000以上，比率为100倍的情况”。在不使用编码结束图像的编码结果进行码量控制时，也可以根据编码对象图像的特征量通过周知的方法来估计产生码量。在此之外，也可以对与码量控制相关参数进行初始化。例如，在根据I图像的编码结果来决定接下来的P图像、B图像的产生码量的情况下，在I图像的性质差异较大的情况下，针对P图像、B图像，也不使用编码结束图像的编码结果而在初始化后的情况下进行码量控制。图I是本发明的基本的处理的流程图。在最初计算编码对象图像的特征量(步骤SI)。接着，取出在编码时蓄积的编码结束图像的特征量(步骤S2)。比较在步骤SI和步骤S2中求取的2个特征量(步骤S3)，在判断为性质差异较大的情况下，不使用编码结束图像的编码结果来进行码量控制(步骤S4)，在判断为相似的的情况下，利用编码结束图像的编码结果来进行码量控制(步骤S5)。再有，计算出的特征量为了在以后被利用而保持在存储器中。以下，针对本发明的具体的实施例进行说明。在本实施例中，以I图像为对象，作为特征量使用亮度信号的方差。而且，作为比较对象的编码结束图像采用在之前刚被编码的编码结束I图像。作为不使用编码结束图像的编码结果的条件，设为 亮度信号的方差(以下，亮度方差)增加到X倍以上，
编码结束图像的亮度方差是TH以上，
的2个条件同时成立的情况。
在这里，X是比率的阈值，TH是売度方差的阈值。此外，在判断为性质差异较大的情况下，不仅对I图像，针对其他的图像类型也对与码量控制相关的信息进行初始化。图2表示本实施例的流程图。在最初确认编码对象图像是否是I图像(步骤S10)。在I图像以外的情况下，直接进行码量控制(步骤S15)。在I图像的情况下，计算编码对象图像的亮度方差Act (t)(步骤S11)。接着，针对之前刚编码结束的I图像，从存储编码结束图像的特征量的存储器取出其亮度方差Act (t-N)(步骤S12)。
比较2个亮度方差Act (t)和Act (t-N)(步骤S13)。在这里，确认是否编码结束图像的亮度方差Act (t-N)比阈值TH大、且Act (t-N)的X倍的值比编码对象图像的亮度方差Act (t)小。在同时满足2个条件式的情况下，根据亮度方差来估计作为编码对象的I图像的产生码量，对与编码控制相关的参数进行初始化(步骤S14)，进行码量控制(步骤S15)。在此以外的情况下，直接进行码量控制(步骤S15)。再有，在本实施例中，仅计算I图像的亮度方差，但在量化控制等中使用亮度方差的情况下，也可以对全部图像类型进行计算。或者，如果是在其他用途中计算的表示亮度方差、色差方差等的视频的复杂度的特征量的话，也可以使用。图3表示本实施例的装置的结构例。在图3中，特别是在本实施例中，与现有的进行一般的码量控制的视频编码装置不同的特征部分是亮度方差计算部101、亮度方差存储器102、特征量比较部103、码量控制部104的部分。在亮度方差计算部101中，计算输入的视频的亮度方差，存储在亮度方差存储器102中，并且向特征量比较部103发送。在特征量比较部103中，取出编码对象图像的亮度方差和蓄积在亮度方差存储器102中的编码结束图像的亮度方差，对两者进行比较。在比较的结果是判断为性质差异较大的情况下，输出初始化信息，对码量控制部104进行初始化。码量控制部104根据比特率和产生码量来决定量化步长，控制码量，但在接收了初始化信息的情况下，在对内部状态进行初始化后进行码量控制。在图3中，在以虚线包围的部分之外，与进行现有的MPEG-2、H. 264等的视频编码的装置大致相同。预测残差信号生成部110根据输入的视频信号和帧间预测信号的差分来生成预测残差信号。该预测残差信号输入到正交变换部111，输出根据DCT变换等的正交变换的变换系数。变换系数被输入量化部112，在量化部112按照由码量控制部104设定的量化步长而被量化。该被量化后的变换系数被输入信息源编码部113，在信息源编码部113被熵编码。另一方面，被量化了的变换系数在反量化部114被反量化，在反正交变换部115被反正交变换，生成译码预测残差信号。该译码预测残差信号在加法器116中与帧间预测信号相加，生成译码信号。译码信号在削波(clipping)部117中被削波，为了作为接下来的帧的预测编码中的参照图像而使用，储存在帧存储器118中。运动检测部119针对输入视频信号通过运动探索而进行运动检测，将求取的运动矢量向运动补偿部120和信息源编码部113输出。在信息源编码部113中，针对运动矢量进行熵编码。在运动补偿部120中，按照运动矢量参照帧存储器118生成帧间预测信号。以上的码量控制的处理，能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，也可以通过网络进行提供。产业上的利用可能性
根据本发明，不使用与编码对象图像的性质差异较大的编码结束图像的编码结果就能 够进行编码对象图像的码量控制，即使在视频的性质差异较大的情况下，通过使码量分配适当化，从而能够防止码量控制引起的画质劣化。附图标记说明 101亮度方差计算部；
102亮度方差存储器；
103特征量比较部；
104码量控制部；
110预测残差信号生成部 111正交变换部；
112量化部；
113信息源编码部；
114反量化部；
115反正交变换部；
116加法器；
117削波部；
118帧存储器；
119运动检测部；
120运动补偿部。
权利要求
1.一种视频编码方式中的码量控制方法，估计编码对象图像的产生码量，进行码量控制，其特征在于，具有 计算编码对象图像的特征量，存储在存储装置中的步骤； 提取在所述存储装置中蓄积的、在产生码量估计中使用的编码结束图像的特征量的步骤； 对所述编码对象图像的特征量和所述编码结束图像的特征量进行比较的步骤；以及根据所述特征量的比较结果，在判断为两特征量的差异比规定的基准大的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量的步骤。
2.根据权利要求I所述的码量控制方法，其特征在于， 在所述估计编码对象图像的产生码量的步骤中，在判断为两特征量的差异比规定的基准大、且判断为所述编码对象图像比所述编码结束图像复杂的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量。
3.根据权利要求I所述的码量控制方法，其特征在于， 作为所述特征量，使用亮度信号或色差信号的方差、平均值以及傅里叶变换后的系数中的任一个。
4.根据权利要求I所述的码量控制方法，其特征在于， 在所述估计编码对象图像的产生码量的步骤中，在判断两特征量的差异是否比规定的基准大时，对两特征量的比率赋予阈值进行判定。
5.根据权利要求4所述的码量控制方法，其特征在于， 在所述估计编码对象图像的产生码量的步骤中，进一步对所述特征量的大小也赋予阈值进行判定。
6.根据权利要求I所述的码量控制方法，其特征在于， 在决定在所述产生码量的估计中使用的编码结束图像时，利用与所述编码对象图像同一图像类型的编码结束图像。
7.根据权利要求I所述的码量控制方法，其特征在于， 在不使用所述编码结束图像的编码结果来估计编码对象图像的产生码量时，事先对码量控制参数进行初始化。
8.根据权利要求I所述的码量控制方法，其特征在于， 在不使用所述编码结束图像的编码结果来估计编码对象图像的产生码量时，根据所述编码对象图像的特征量来估计产生码量。
9.一种视频编码方式中使用的码量控制装置，估计编码对象图像的产生码量，进行码量控制，其特征在于，具备 计算编码对象图像的特征量的单元； 存储参照的编码对象图像的特征量的存储装置； 提取在所述存储装置中蓄积的、在产生码量估计中使用的编码结束图像的特征量的单元; 对所述编码对象图像的特征量和所述编码结束图像的特征量进行比较的单元；以及根据所述特征量的比较结果，在判断为两特征量的差异比规定的基准大的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量的单元。
10.根据权利要求9所述的码量控制方法，其特征在于， 在所述估计编码对象图像的产生码量的单元中，在判断为两特征量的差异比规定的基准大、且判断为所述编码对象图像比所述编码结束图像复杂的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量。
11.一种码量控制程序，用于使计算机执行权利要求I所述的码量控制方法。
12.—种码量控制程序，用于使计算机执行权利要求I所述的码量控制方法。
全文摘要
一种视频编码方式中的码量控制方法，估计编码对象图像的产生码量，进行码量控制。具有计算编码对象图像的特征量，存储在存储装置中的步骤；提取在所述存储装置中蓄积的、在产生码量估计中使用的编码结束图像的特征量的步骤；对所述编码对象图像的特征量和所述编码结束图像的特征量进行比较的步骤；以及根据所述特征量的比较结果，在判断为两特征量的差异比规定的基准大的情况下，不使用编码结束图像的编码结果来估计编码对象图像的产生码量，在此之外的情况下，基于编码结束图像的编码结果来估计编码对象图像的产生码量的步骤。
文档编号H04N7/26GK102893605SQ201180022942
公开日2013年1月23日 申请日期2011年4月22日 优先权日2010年5月12日
发明者清水淳, 小野尚纪, 北原正树 申请人:日本电信电话株式会社