图像编码方法和图像编码装置制造方法
【专利摘要】将画质的劣化抑制为最小限度，同时减少缓冲延迟，进行低延迟的运动图像编码。包括：量化步骤，根据量化参数的值进行输入的信息的量化，减少信息量；熵编码步骤，对所述量化步骤的输出进行熵编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息；和码率控制步骤，根据生成的所述编码量的信息的结果决定量化参数的值，所述码率控制步骤中，对每个小于一个图像的区间，在预测该区间内的比特分配超过规定值的情况下增大所述量化参数的值，在预测该区间内的比特分配低于所述规定值的情况下减小所述量化参数的值。
【专利说明】图像编码方法和图像编码装置
【技术领域】
[0001 ] 本发明涉及图像编码方法和图像编码装置。
【背景技术】
[0002]运动图像压缩标准H.264因为压缩效率高所以在多种应用中使用。另一方面，视频通话和影像传输等用途中对低延迟图像压缩的需求在变高。
[0003]在对影像进行编码时，对I幅图像进行编码所需的比特数根据图像而不同。其理由在于图案的复杂程度按影像的场景和图像不同、图像编码的类型等参数按图像不同、熵编码的统计上的性质引起的原因等。熵编码是通过对越频繁出现的信息分配越短比特长的编码来提高表达信息的效率的方法。
[0004]另一方面，传输编码后的比特流的情况下，通常传输信道的容量带宽是有限的。因此，需要插入如图2所示的缓冲，在对传输信道送出比特流之前使比特率变动平滑化。同样的，在解码器一侧，也为了及时地对解码器供给进行各帧的解码的瞬间所需的量的比特而需要缓冲。解码器一侧的缓冲的大小需要至少与编码器一侧相同的大小，结果缓冲延迟整体合计成为2倍。
[0005]电视台设备等业务用系统的情况下，因为能够使用比较高的传输带宽，所以也能够一定程度上允许比特率变动。但是，考虑对民用应用的情况下，因为能够使用的传输带宽非常有限，所以这样的比特率变动对传输延迟造成的影响更严重。从而，如何抑制缓冲延迟是在民用系统中实现低延迟的关键。
[0006]本【技术领域】的【背景技术】有日本特开平02-194734号公报(专利文献I)。该公报中，记载了“提供一种编码输出数据量的控制方式，其以每个预先确定的一定区间的编码输出数据量在一定值以内的方式控制数据量，进行高效率编码，由以下部分构成:以比上述预先确定的一定区间短的区间为单位预测数据量的单元；根据由上述预测单元得到的预测数据量以上述预先确定的一定区间中的预测数据量的合计成为一定量的方式控制编码处理的单元；对由上述预测单元得到的预测数据量与实际编码后的数据量的差进行累计，根据上述累计的结果控制编码处理的单元”(参考用于解决课题的方案)。
[0007]现有技术文献
[0008]专利文献
[0009]专利文献1:日本特开平02-194734号公报
【发明内容】
[0010]发明要解决的课题
[0011]如【背景技术】所述，进行低延迟传输用的运动图像压缩中，抑制缓冲延迟是重要的。专利文献I中公开了以每个一定区间的编码输出数据量在一定值以内的方式控制数据量的发明，这样尽可能抑制编码量的变动，使每个一定区间的编码量尽可能均匀，对于抑制缓冲延迟在一定程度上是有效的。但是，该情况下，不能够在该区间的大小以下抑制缓冲延迟，所以有降低延迟存在限度的问题。
[0012]用于解决课题的方案
[0013]为了解决上述课题，例如采用权利要求中记载的结构。
[0014]本申请包括多种解决上述课题的方案，举其一例，特征在于:“包括:量化步骤，根据量化参数的值进行输入的信息的量化，减少信息量；熵编码步骤，对所述量化步骤的输出进行熵编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息；和码率控制步骤，根据生成的所述编码量的信息的结果决定量化参数的值，所述码率控制步骤中，对每个小于一个图像的规定区间，在预测该区间内的比特分配超过规定值的情况下增大所述量化参数的值，在预测该区间内的比特分配低于所述规定值的情况下减小所述量化参数的值”。
[0015]此外，举另一例，特征在于:“包括:量化步骤，根据量化参数的值进行输入的信息的量化，减少信息量；熵编码步骤，对所述量化步骤的输出进行熵编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息；第一码率控制步骤，根据生成的所述编码量的信息的结果决定第一量化参数的值；和第二码率控制步骤，根据生成的所述编码量的信息的结果、目标延迟量和最大传输率的信息，决定第二量化参数的值，所述量化步骤中，根据所述第一量化参数和所述第二量化参数中较大一者的量化参数的值进行量化”。
[0016]发明效果
[0017]根据本发明，能够将画质劣化抑制在最小限定，同时削减缓冲延迟，进行低延迟的运动图像编码。
【专利附图】
【附图说明】
[0018]图1是图像编码装置的结构图的例子。
[0019]图2是说明基于缓冲进行的比特率平滑化的一例的图。
[0020]图3是图像编码装置的结构图的例子。
[0021]图4是说明遗留比特量的图。
【具体实施方式】
[0022]实施例1
[0023]图1是本实施例的图像编码装置的结构图的例子。
[0024]对图像编码装置输入影像时，对预测部10输入影像信号。
[0025]预测部10进行根据未图示的存储器等中保存的参考图像预测编码对象图像的动态预测、或者在编码对象图像内部进行预测的帧内(intra)预测等预测处理。进行了预测处理后的图像对正交变换部20输出。
[0026]正交变换部20对输入的图像进行整数变换或离散余弦变换等正交变换处理。进行了正交变换处理后的图像对量化部30输出。量化部30对输入的图像进行量化处理。量化处理基于从码率控制部60输出的量化参数Qp的值进行。进行了量化处理后的图像对熵编码部40输出。
[0027]熵编码部40对输入的图像进行哈夫曼编码或算术编码等熵编码处理。
[0028] 对于从熵编码部40输出的编码对象图像，用缓冲部50进行缓冲处理后，作为比特流输出。
[0029]本实施例中的图像编码装置中，为了进行比特率控制，而在量化部30、熵编码部40、码率控制部60之间设置有反馈环路。熵编码部40对码率控制部60输出按规定的处理单位进行熵编码处理结果的比特数或预测比特数等关于已编码比特量的信息。
[0030]码率控制部60使用从熵编码部40输出的关于已编码比特量的信息，计算直到该时刻生成的编码量的信息。编码量的信息的例子包括从图像开头起的比特数的累计值和进行码率控制用的每个规定区间的比特数的累计值等信息。码率控制部60基于计算出的编码量的信息，并根据需要基于编码对象区域的图像的复杂程度等辅助信息，决定量化参数Qp的值，对量化部30输出。
[0031]在低延迟的观点上，为了削减缓冲延迟而使延迟最小化，使图像内的比特分配尽可能均匀化是理想的。
[0032]于是，在用码率控制部60决定量化参数Qp的值时，也可以按比I幅图像(帧或场)充分小的区间，以使比特分配均匀的方式控制Qp的值。此处，该区间设定为通过将宏块横向排列为I幅图像的宽度而构成的行的N行(N是I以上的整数)的区域，并且不足I幅图像的区域即可。例如，可以是宏块I行，也可以是宏块2行，也可以是宏块3行。该情况下，在可能超过该区间内的比特分配目标的情况下增大Qp的值，在可能低于目标的情况下减小Qp的值，由此能够使比特分配均匀。
[0033]根据以上说明的实施例，能够使比特量的变动均匀化，将缓冲部50中的延迟量抑制为最小限度，实现低延迟。
[0034]实施例2
[0035]在低延迟的观点上，为了削减缓冲延迟而使延迟最小化，优选使图像内的比特分配尽可能均匀化，但存在进行单纯的比特量均匀化时导致画质降低的情况。
[0036]于是，本实施例中，说明通过一定程度上允许按比I幅图像充分小的区间生成的比特量的变动来抑制画质降低，并且实现目标延迟量以内的图像编码装置的例子。
[0037]图3是本实施例的图像编码装置的结构图的例子。
[0038]对于与实施例1相同内容的部分省略说明。
[0039]本实施例与实施例1的不同点在于设置了第二码率控制部61。用第二码率控制部61进行“遗留比特量”的控制。
[0040]用图4说明“遗留比特量”。
[0041]图4的横轴表示随着编码经过的时间(帧编号或图像内的行编号等)，纵轴表示每单位时间的编码量。细实线表示在横轴的各时刻，对时序(Sequential)的一部分或图像的一部分进行编码的结果在各时刻生成的编码量。
[0042]图案的复杂程度和运动的激烈程度因场景和图像而不同，此外，在I幅图像的内部图像的局部复杂程度也存在变化，所以编码的结果生成的比特量在图像之间存在编码量的变动，此外同样在I幅图像内部也存在编码量的变动。
[0043]在编码的各时刻生成的比特对传输信道送出。如果生成量在最大传输比特率以内，则直接送出比特。但是，如果生成量暂时性地超过最大传输比特率，则不立刻送出，而是将超过的部分作为“遗留比特”存储在缓冲中，在之后送出。粗虚线表示实际传输的编码量。遗留比特在全部送出前保留在缓冲中，成为缓冲延迟。[0044]这样使编码时的生成编码量的变动和结果的遗留比特量会带来缓冲延迟，但如果将遗留比特量控制在限制量以内，则即使故意允许遗留比特存在也能够使缓冲延迟时间保持在规定范围内。
[0045]本实施例中，这样故意允许比特量的变动，尽可能地保证画质。
[0046]对遗留比特量的控制方法更详细地说明。图4中因遗留比特而产生的延迟时间D用式⑴表达。
[0047]D = C/Rmax......(I)
[0048]此处，D是延迟时间[s]，C是遗留比特量[bit]，Rmax是传输信道的最大传输比特率[bps]。最大遗留比特量Cmax用目标的最大延迟Dmax [s]表达为式(2)。
[0049]Cmax = Dmax.Rmax......(2)
[0050]Cmax是遗留比特量的最大容许值[bit]。其中，遗留比特量C的计算按比I幅图像充分小的规定区间进行。该区间的设定与实施例1同样，设定为N行宏块的区域(N是I以上的整数)，并且不足I幅图像的区域。例如，可以是宏块I行，也可以是宏块2行，也可以是宏块3行。这样以遗留比特量C在编码的生成比特的各时刻满足式(3)的方式进行控制。
[0051]C ^ Cmax......(3)
[0052]此时，按式(3)限制遗留比特量C的最大值，但以不足该值的情况下容许发生变动的方式进行控制。
[0053]进而返回图3在以下详细说明限制遗留比特量C的最大值的方法。
[0054]第二码率控制部61进行遗留比特量的控制。关于已编码比特量的信息从熵编码部供给，最大传输比特率(Rmax)、目标延迟(Dmax)等信息存储在未图示的存储部中，另外对第二码率控制部61供给。
[0055]第二码率控制部61基于关于已编码比特量的信息、最大传输比特率(Rmax)、目标延迟(Dmax)求出最小量化参数Qp_min的值。
[0056]最小量化参数值Qp_min是用于使遗留比特量不超过由最大传输比特率和目标延迟确定的规定值的量化参数值Qp的最小值。
[0057]量化部30对输入的图像量化使用的量化参数Qp的下限被上述Qpjnin的值限制。即，Qp>Qp_min的情况下,使用从码率控制部60供给的量化参数Qp, Qp < Qp_min的情况下，使用最小量化参数Qp_min的值进行图像的量化。
[0058]通过这样控制，用Qpjnin限制Qp的下限，但其他情况下允许Qp的值为了尽可能保证画质而变动。
[0059]其中，本实施例中，用Qp_min限制Qp的下限值，所以如实施例1所述，用码率控制部60决定量化参数Qp的值时，不需要以按比I幅图像充分小的区间使比特分配均匀的方式控制Qp的值。
[0060]例如，传输纵方向的长度是宏块X行(X也可能是小数)程度大小、帧率是Y(fps)的影像的情况下，为了抑制画质降低并且实现低延迟，上述规定区间(宏块N行的区域)和最大延迟时间Dmax[s]设定为满足以下式(4)的关系即可。
[0061]N〈DmaxXYXX〈X......(4)
[0062]如果按式(4)设定，则最大延迟时间Dmax大于上述规定区间即宏块N行的区域的处理时间，所以能够容许上述遗留比特量C的变动，能够减少因降低延迟导致的画质降低。此外，最大延迟时间Dmax比宏块X行的区域的处理时间=I帧的处理时间短，所以能够实现不足I帧的低延迟。
[0063]此外，进一步优选上述规定区间(宏块N行的区域)和最大延迟时间Dmax[S]设定为满足以下式(5)的关系。
[0064]N〈Dmax X Y X X〈20 (其中 1 ≤ N ≤ 4)......(5)
[0065]如果按式(5)设定,贝U最大延迟时间Dmax设定为大于上述规定区间即宏块N行的区域的处理时间，不到宏块20行的区域的处理时间。如果这样设定，则例如即使上述规定区间是宏块4行，也能够在5倍程度的行数的处理时间内容许上述遗留比特量C的变动，所以能够充分减少因降低延迟引起的画质降低。此外，例如对纵向720像素的影像按宏块尺寸为16像素正方进行编码的情况下，纵方向的大小是宏块45行，所以宏块20行的区域的处理时间是0.44帧程度的处理时间，能够充分降低延迟。对纵向1080像素的影像按宏块尺寸为16像素正方进行编码的情况下，纵方向的大小是宏块67.5行，所以上述宏块20行的区域的处理时间是0.3帧程度的处理时间，能够充分降低延迟。
[0066]如上所述 ，根据本实施例，能够将画质的劣化抑制为最小限度，同时削减缓冲延迟，进行低延迟的运动图像编码。
[0067]符号说明
[0068]10预测部
[0069]20正交变换部
[0070]30量化部
[0071]40熵编码部
[0072]50缓冲部
[0073]60码率控制部
[0074]61第二码率控制部。
【权利要求】
1.一种编码运动图像的生成方法，其特征在于，包括: 量化参数决定步骤，其决定量化参数； 编码步骤，其使用决定的量化参数对运动图像进行编码而生成编码比特；和 输出步骤，其输出编码步骤中生成的编码比特， 所述输出步骤输出的编码流中，在比I帧小的规定区间单位中，允许比对应于规定比特率的第一比特量大的生成比特量，但在所述规定区间单位的任何区间中，该生成比特量与所述第一比特量的差都在第二比特量以下。
2.如权利要求1所述的编码运动图像的生成方法，其特征在于: 所述第二比特量是所述规定比特率与规定延迟时间的积。
3.如权利要求2所述的编码运动图像的生成方法，其特征在于: 传输的编码影像中，纵方向的长度是宏块X行的大小，帧率是Y(fps)，所述规定区间是宏块N行的区域，设所述规定延迟时间为D (sec)时，X、N、Y、D满足N〈DX YXX〈X的关系。
4.如权利要求2所述的编码运动图像的生成方法，其特征在于: 传输的编码影像中，纵方向的长度是宏块X行的大小，帧率是Y(fps)，所述规定区间是宏块N行的区域，设所述规定延迟时间是D (sec)时，满足N〈DXYXX〈20(其中I≤N≤4)的关系。
5.一种对运动图像编码的运动图像编码方法，其特征在于，包括: 量化步骤，根据量化参数的值进行输入的信息的量化，减少信息量； 编码步骤，对所述量化步骤的输出进行编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息；和 码率控制步骤，根据生成的所述编码量的信息决定量化参数的值， 所述码率控制步骤中，对每个规定区间，在预测该区间内的比特分配超过规定值的情况下增大所述量化参数的值，在预测该区间内的比特分配低于所述规定值的情况下减小所述量化参数的值。
6.一种对运动图像编码的运动图像编码方法，其特征在于，包括: 量化步骤，根据量化参数的值进行输入的信息的量化，减少信息量； 编码步骤，对所述量化步骤的输出进行编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息； 第一码率控制步骤，根据生成的所述编码量的信息的结果决定第一量化参数的值；和第二码率控制步骤，根据生成的所述编码量的信息、目标延迟量和最大传输率的信息，决定第二量化参数的值， 所述量化步骤中，根据所述第一量化参数和所述第二量化参数中较大一者的量化参数的值进行量化。
7.—种对运动图像编码的运动图像编码装置，其特征在于，包括: 量化部，根据量化参数的值进行输入的信息的量化，减少信息量； 编码部，对所述量化部的输出进行编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息；和 码率控制部，根据生成的所述编码量的信息决定量化参数的值， 所述码率控制部，对每个规定区间，在预测该区间内的比特分配超过规定值的情况下增大所述量化参数的值，在预测该区间内的比特分配低于所述规定值的情况下减小所述量化参数的值。
8.—种对运动图像编码的运动图像编码装置，其特征在于，包括: 量化部，根据量化参数的值进行输入的信息的量化，减少信息量； 编码部，对所述量化部的输出进行编码处理，输出其结果所生成的编码和该处理的结果所生成的编码量的信息； 第一码率控制部，根据生成的所述编码量的信息决定第一量化参数的值；和第二码率控制部，根据生成的所述编码量的信息、目标延迟量和最大传输率的信息，决定第二量化参数的值， 所述量化部根据所述第一量化参数和所述第二量化参数中较大一者的量化参数的值进行量化 。
【文档编号】H04N19/149GK104025595SQ201380004472
【公开日】2014年9月3日 申请日期:2013年1月11日 优先权日:2012年1月11日
【发明者】沟添博树, 小味弘典, 冈田光弘, 佐佐本学 申请人:日立麦克赛尔株式会社