动态图像数据的压缩方法

专利名称：动态图像数据的压缩方法
技术领域：
本发明涉及近年作为经由因特网等数据通信线路频繁地收发的动态图像数据的压缩技术而被广泛利用的JPEG2000方式的改良技术，尤其涉及用于有效地降低对构成动态图像数据的图像帧进行编码、解码时的处理负荷的动态图像数据的压缩方法。
背景技术：
数据通信线路中的通信速度近年来显著变快，即使在个人所有的个人计算机(以下，称为PC)等信息终端之间，日常也收发包含动态图像数据、声音数据等的大容量的视觉信息。但是，当前，在利用有限的网络资源发送庞大的动态图像数据时，由于受到各信息终端的处理能力、网络的线路速度等的限制，需要使数据量自身减小。因此，正在积极地研究对发送的动态图像数据和声音数据进行压缩的技术，并逐渐实用化。尤其，作为动态图像数据的压缩技术，最近被实用化的H. 264 (MPEG-4AVC，以下，包括这些下一代图像压缩技术仅称为MPEG方式)正在普及。另外，专利文献1 公开的Motion-JPEG2000方式(以下，仅称为JPEG2000方式)也正在迅速普及，该 Motion-JPEG2000方式按照作为静止图像的压缩方式而公知的JPEG2000标准来压缩各图像帧。此外，对于MPEG方式等的动态图像压缩技术，在发送侧信息终端能够改变一定时间内的帧数，但是，如果在按照接收侧信息终端的要求能够进行处理时发送帧，则会产生直到改变帧数然后进行发送为止的延迟等，从而不能够进行实时处理。另一方面，JPEG2000方式的动态图像压缩技术是由在时间轴方向上没有被压缩、而是沿着该时间轴配置且分别被单独压缩/扩展的图像帧构成的动态图像数据的压缩技术，该JPEG2000方式的动态图像压缩技术明显区别于利用相邻的图像帧之间的差分信息等在时间轴方向上也进行压缩的上述的MPEG方式等。这样的JPEG2000方式由于在时间轴方向上没有被压缩，所以与MPEG方式相比， 对于同一比特率(1259209770252_0.html)的压缩效率差，但是具有能够将任意的图像帧从其他的图像帧中分割出来单独进行编辑的特点。另外，各信息终端中进行编码、解码时负荷小，能够通过比较简单的设备进行实时编码，因此用于面向个人的视频采集卡(video capture card)等的输出形式。专利文献1 日本特开2008-011408号公报

发明内容
发明人对以往的动态图像压缩技术尤其对JPEG2000方式进行详细研究，结果发现如下的问题。即，如以往的JPEG2000方式所示，在按照JPEG2000标准依次压缩构成动态图像数据的图像帧时，需要以图像帧为单位压缩整个动态图像数据，存在压缩效率差的问题。另外，在JPEG2000方式的动态图像压缩处理中，进行作为熵编码处理的EBC0T。该EBCOT的计算量特别大，因此，对个人计算机等规定的信息处理设备产生庞大的处理负荷。本发明是为了解决上述的问题而提出的，其目的在于提供一种动态图像数据的压缩方法，其在JPEG2000方式的动态图像压缩处理中，在计算量大的EBCOT之前，利用进行小波变换(wavelet transform)后的数据进行变动检测处理，由此提高通过JPEG2000方式进行的动态图像数据的压缩效率，并且高效地降低处理负荷。本发明的动态图像数据的压缩方法涉及JPEG2000方式的压缩技术处理，其是由在时间轴方向没有被压缩而沿着该时间轴配置并且按照JPEG2000标准单独被压缩/解压缩的图像帧构成的动态图像数据的压缩技术，作为基本结构，按照每个图像帧进行的运算包括色彩空间变换(包括CD电平变换、分量变换)、小波变换、标量量化以及EBCOT等各种处理。尤其，在本发明的动态图像数据的压缩方法中，其特征在于，在熵编码的处理算法即计算量多的EBCOT之前，通过比较沿着时间轴相邻的图像帧之间的小波变换数据，进行变动检测处理。具体地说，在本发明的动态图像数据的压缩方法中，作为对于构成动态图像数据的图像帧中成为处理对象的图像帧进行的压缩处理，在EBCOT之前进行图像要素的变动检测处理以及数据插补。在EBCOT之前进行的变动检测处理将作为该EBCOT的最小处理单位的一个或多个码块作为一个检测单位，将成为处理对象的图像帧的小波变换后的数据与之前刚被压缩的图像帧的小波变换后的数据进行比较，来检测图像要素有无变动。基于该变动检测处理的结果(检测结果)，进行EBCOT或数据插补。即，对于构成存在变动的检测单位的各码块实施EBC0T。另一方面，对于构成不存在变动的检测单位的各码块，跳过EBC0T，而分配之前刚被压缩的图像帧的进行EBCOT处理后的数据或指示进行跳过动作的指标数据(跳过数据)。此外，在本发明的动态图像数据的压缩方法中，在EBCOT之前进行的变动检测处理可以在EBCOT之前进行的量化的前后任一时刻进行。即，该变动检测处理在小波变换后、量化前进行，或在量化后、EBCOT前进行。而且，在本发明的动态图像数据的压缩方法中，为了高效地进行变动检测处理 (缩短处理时间)，优选在通过小波变换将成为处理对象的图像帧空间分割为多种频带而得到的多个子带之间，共享变动检测处理的检测结果。这样的信息共享化是在由小波变换而得到的多个子带之间保存位置信息，因而可以实现。即，关于对多个子带进行的变动检测处理，首先，按照最低频率成分的子带中的每个检测单位进行变动检测处理，对于其他的子带，适用对该最低频率成分的子带进行的变动检测处理的检测结果。具体地说，对于各个其他子带，分别对于与构成该检测单位的码块(构成最低频率成分的子带的码块)分别表示相同图像区域的码块，适用与构成该检测单位的码块分别相同的检测结果。通过这样在各子带之间共享变动检测处理的检测结果，能够大幅度地缩短变动检测处理所需的处理时间。此外，通过以下的详细说明以及附图能够进一步理解本发明的各实施例。这些实施例仅用于表示例示，不应当认为是对本发明的限定。另外，根据以下的详细说明能够明确本发明进一步的应用范围。但是，详细的说明以及特定的示例表示本发明的优选实施例，但是仅用于进行例示，根据该详细的说明，本发明的范围内的各种变形以及改良对于本领域技术人员而言是显而易见的。发明的效果根据本发明的动态图像数据的压缩方法，在JPEG2000方式的动态图像压缩处理中，在计算量多的EBCOT之前，通过对相邻的图像帧之间的小波变换数据进行比较，检测图像要素变动的有无(变动检测处理)。基于该变动检测处理的检测结果，决定是否跳过对作为最小处理单位的码块进行的EBC0T，因此，能够提高压缩效率，伴随于此还能够降低处理负荷。而且，在通过小波变换将成为处理对象的图像帧空间分割成多种频带而得到的多个子带之间，共享变动检测处理的检测结果，由此能够使该变动检测处理高效化。


图1是用于说明能够收发动态图像数据的通信系统的结构以及能够应用本发明的动态图像数据的压缩方法的PC的结构的图。图2是用于说明JPEG2000标准的动态图像数据的结构的图。图3是用于具体说明JPEG2000标准的动态图像数据的压缩方法的处理流程。图4是表示通过小波变换而生成的分解层2 (decomposition level 2)的子带 (siAband)的图。图5是用于说明本发明的动态图像数据的压缩方法的第一实施方式的处理流程。图6是用于说明本发明的动态图像数据的压缩方法的第二实施方式的处理流程。图7是用于说明本发明的动态图像数据的压缩方法的变动检测处理的应用例子的图。
具体实施例方式以下，利用图1 图7详细说明本发明的动态图像数据的压缩方法的各实施方式。 此外，在附图的说明中，对于同一要素标注同一附图标记，省略重复说明。通过例如图1 (a)所示的结构的通信系统，能够使动态图像数据在多个信息处理装置之间收发。这样的通信系统由以下构成包括无论是有线还是无线等在内的多种数据通信线路的网络110 ；以及作为与该网络110连接的多个信息处理装置的PC 120a 120c。 尤其，如图1 (b)所示，各PC120(分别相当于图1(a)中的PC120a 120c)具有CPU121， 其进行各种运算和控制；存储器122，其任意地存储用于执行本发明的动态图像数据的压缩方法的计算机程序、动态图像数据、运算过程中的中间数据等，并且提供所希望的运算空间；外围设备123，其包括键盘、定位设备(pointing device)等；通信控制装置124，其用于向与其他PC连接的网络110收发数据；以及监视器125，其用于显示动态图像数据等。这些硬件资源121 125分别经由数据总线130以及控制总线140有机结合，通过上述硬件资源121 125的协作，执行本发明的动态图像数据的压缩方法。具体地说，CPU121从存储器122读取用于执行本发明的动态图像数据的压缩方法的计算机程序，通过执行该被读取的计算机程序，实施以下说明的本发明的各实施方式。首先，说明基于成为本发明的动态图像数据的压缩方法的基本技术的JPEG2000方式的动态图像压缩处理。如图2(a)所示，成为JPEG2000方式的对象的动态图像数据由图像帧4(11= 1， 2，……)构成，图像帧4在时间轴t方向上没有被压缩而沿着该时间轴t配置，并且分别单独被压缩/解压缩。在各图像帧为彩色图像的情况下，通常，如图2(b)所示，原图像帧的各分量 (component) fn-R、fn_G、fn_B (在此为RGB原色系)被分割成矩形区域10。在JPEG2000标准中，将该被分割的矩形区域10称为切片(tile)。此外，在图2(b)所示的例子中，各分量 fn-R、fn_G、fn_B分割为纵横4X4，总共16个矩形切片10。这样的切片10(在图2(b)中， R00> Roi>……、R33/Goo> G01,……、G33/Bqq、B01,……、B33)分别为对图像帧fn进行压缩/解压缩处理的基本单位。因此，各图像帧fn的压缩/解压缩处理，按照每个分量fn-R、fn-G、 fn-B独立进行，或者对于各分量，按照每个切片10独立进行。图3是用于具体说明通过JPEG2000方式进行动态图像压缩/解压缩处理的处理流程。尤其，图3 (a)为基于JPEG2000方式的编码处理流程，图3 (b)为基于JPEG2000方式的解码处理流程。在进行上述的包括DC电平变换、分量变换的色彩空间变换SllO后，作为基于 JPEG2000方式的压缩处理(包括编码)，如图3(a)所示，依次进行离散小波变换S120、标量量化S130以及基于EBC0T(S140)的编码。相反，在编码数据的解压缩处理(包括解码) 中，如图3 (b)所示，依次进行基于反EBCOT的解码S220、逆标量量化S230、离散小波逆变换 S240、色彩空间逆变换S250。此外，以下，由于解压缩处理是单纯以相反的顺序进行压缩处理而进行的，所以仅详细描述压缩处理。首先，如图3(a)所示，在对于构成动态图像数据的图像帧fn进行DC电平变换、分量变换等色彩空间变换SllO后，通过小波变换S120空间分割为多个分解级别。各分解级别由多个子带(LL、HL、LH、HH)构成，并且低频率成分(LL)被递归地分解。各子带系数表示各分解级别下的水平/垂直方向的频率特性。图4是表示通过该小波变换S120而生成的分解层2的子带的图。此外，各子带由码块20构成，所述码块20为基于EBC0T(S140)的熵编码的最小处理单位。在此，小波变换S120在JPEG2000标准下是指离散小波变换(DWT)，采用基于两通道滤波器组的提升结构的DWT。在基于提升结构的DWT中，存在作为可逆变换的整数型DWT 和作为非可逆变换的实数型DWT这2种类型。在有损(非可逆)编码中使用实数型DWT，在无损(可逆)编码中使用整数型DWT。接着，在标量量化S130的步骤中，按照各个子带对DWT系数进行标量量化。其中， 在使用整数型DWT时，省略该处理。用于进行该标量量化的量化步长如下表示。[数式1]Δ = 2RrSi 1 + Af
V 2 ,在此，Ab为子带b的量化步长、Rb为子带b的动态范围(dynamic range)。ε b和 μ b分别由5位和11位表示，为了进行逆量化S230并被发送至解码器。此外，上述量化步长，对于画质优先度高即希望得到高画质的切片10，设定小的步长，对于可以为低画质的切片10，设定大的步长。另外，如果将该量化步长设定为1，实际上等价于不进行该标量量化。
6
接着，EBCOT(Embedded Block Coding with Optimized Truncation，基于优化截断的嵌入式块编码)S 140由进行与熵编码相当的处理的算法的、系数位建模以及算术编码这2个步骤构成。该EBC0T(S140)以被称为码块20的编码最小处理单位来进行。码块 20被定义为DWT区域中的矩形区域，在所有的子带中具有同一尺寸。另外，上述3个步骤中除了算术编码之外的步骤以码块尺寸为单位来独立进行。在系数位建模中，将码块内的系数进行位平面分解，判定各位平面中的系数位的上下文信息(context)。在进行上下文信息判定时，准备基于预先准备的统计模型的上下文信息分配图(Context Assignment Map)。该上下文信息分配图按照每个频带的不同而不同。根据系数位所具有的上下文信息，将1个位平面分解、排列为3个编码路径(子位平面)°接着，算术编码是利用二进制算术编码器即MQ编码器对各编码路径进行编码。MQ 编码器需要用于进行编码的上下文信息，在此利用通过系数位建模而得到的上下文信息。如果EBCOT (S140)结束，则接着进行码率控制S150。该码率控制S150由层分割 /去符号(符号切取D )构成。在层分割/去符号中，按照每个码块生成的编码数据列，根据用于提高再生图像帧中的SNR(信噪比)的贡献度的高度，在被给予的码率内被分割为多个SNR层。最上位的层对画质的影响最大，另外，通过依次接收最上位至最下位的各层，能够阶段性地提高再生图像帧的画质。能够进行分层的位置限定于各编码路径的终端，该终端被称为舍去点。此外，JPEG2000标准中的码率控制是如下实现的，即，对于以对画质贡献大的顺序重新排列后的数据，以舍去点为单位，舍去超过被给予的码率的数据。如上所述，为了符合目标编码量，通过码率控制S150舍去编码数据的一部分，在附加数据头后，通过生成数据包S160的步骤，生成通过JPEG2000方式被压缩处理的动态图像编码数据。此外，如图3(b)所示，在编码数据的解压缩处理中，进行分析数据包S210， 提取取得的数据包主体内记录的编码数据。作为解码处理，提取的编码数据被实施反 EBC0T(S220)，接着，进行由逆标量量化S230、离散小波逆变换S240以及由DC电平逆变换、 分量逆变换构成的色彩空间逆变换S250，复原图像帧。(第一实施方式)接着，参照图5详细说明基于上述的JPEG2000方式的动态图像压缩处理的本发明的动态图像数据的压缩方法的第一实施方式。此外，图5是用于说明本发明的动态图像数据的压缩方法的第一实施方式的处理流程，通过图1(b)所示的CPU121实施。另外，处理对象的动态图像数据、在运算过程中生成的中间数据依次存储在存储器122中，通过数据总线130在存储器122与CPU121之间进行交换。在该第一实施方式的动态图像数据的压缩方法中，在EBC0T(S140)之前，在标量量化S130的前后进行变动检测处理S310(在图5中标记为“变动检测”)。即，在分支点A 或A'，进行变动检测处理S310。首先，在变动检测处理S310中，将1个或多个码块20设定为检测单位。具体地说， 按照每个检测单位，将成为处理对象的图像帧fn的小波变换后的数据与之前刚被进行压缩处理的图像帧fy (前一帧)的小波变换后的数据100进行比较来进行。对于上述的变动检测处理S310的结果，在被比较的数据彼此不同时，继续对构成检测单位的各码块20进行EBCOT (S140)的编码处理。另一方面，在被比较的数据彼此一致 (或大致一致)时，对于构成检测单位的各码块20，跳过EBCOT (S140)，在进行了数据插补 S320后，在分支点B继续进行处理(EBC0T(S140)结束后的处理)。此外，在该第一实施方式中的数据插补S320中，对没有检测出像素要素的变动的构成检测单位的各码块20，分配进行了算术运算后的之前的图像帧的数据200。(第二实施方式)在上述的第一实施方式中，作为数据插补用的数据，对于之前的图像帧，利用进行了算术运算后的数据200，但是可以利用在图像帧仁的压缩处理中用于指示跳过了 EBCOT (S140)的指标数据(跳过数据)。第二实施方式构成为，能够参照在图像帧4的压缩处理中分配给对象码块20的跳过数据，在编码数据的解压缩处理过程中能够进行数据插补。此外，图6是用于说明本发明的动态图像数据的压缩方法的第二实施方式的处理流程，通过图1(b)所示的CPU121来实施。另外，处理对象的动态图像数据、运算过程中生成的中间数据依次存储在存储器122中，通过数据总线130在存储器122与CPU121之间进行交换。即使在该第二实施方式的动态图像数据的压缩方法中，也与上述的第一实施方式相同，在EBC0T(S140)之前，在标量量化S130的前后进行变动检测处理S410。S卩，如图 6(a)所示，在分支点A或A'，进行变动检测处理5410(在图6仏)中标记为“变动检测”)。在变动检测处理S410中，将1个或多个码块20设定为一个检测单位。具体地说， 按照每个检测单位，将成为处理对象的图像帧fn的小波变换后的数据与之前刚被压缩处理的图像帧。(前一帧)的小波变换后的数据300进行比较来进行。对于变动检测处理S410的结果，在被比较的数据彼此不同时，继续对构成检测单位的各码块20进行EBC0T(S140)的编码处理。另一方面，在被比较的数据彼此一致(或大致一致)时，对于构成检测单位的各码块20，跳过EBCOT (S140)，在进行了数据插补S420 后，在分支点C继续进行处理(码率控制S150结束后的处理)。此外，在该第二实施方式中的数据插补S420中，对于构成没有检测出像素要素的变动的检测单位的各码块20，分配作为用于指示跳过了 EBC0T(S140)的指标数据的跳过数据。另一方面，在编码数据的解压缩处理中，如图6(b)所示，进行分析数据包S210，在分支点D，对于取得的数据包主体内记录的编码数据，进行跳过数据的确认S430。如果不存在跳过数据，则和通常一样，从分支点D前进至反EBCOT (S220)进行处理。另一方面，如果被提取的编码数据被分配了跳过数据，则跳过逆EBCOT (S220)、逆量化S230，在数据插补S440 中，对分配了跳过数据的编码数据20，对于之前的图像帧分配进行了逆量化后的数据400， 使处理返回至分支点E。此外，作为执行实际的数据插补处理S440的时刻，如上所述，列举了逆量化S230 后(分支点E)等，但是，只要被保存的之前的图像帧的数据处于适当的复原阶段，也可以在其他时刻进行数据插补S440。另外，上述压缩处理和解压缩处理可以通过不同的PC进行处理，也可以通过相同的PC进行处理。(变动检测处理的应用例) 如上所述，在第一以及第二实施方式的动态图像数据的压缩方法中，在 EBCOT (S140)之前，进行变动检测处理S310、S410，但是，在本发明的动态图像数据压缩方法中，此时还能够更有效地进行变动检测处理。图7是用于说明本发明的动态图像数据的压缩方法中的变动检测处理的应用例的图。S卩，为了使上述的变动检测处理S310、S410高效化(缩短处理时间)，在通过小波变换将成为处理对象的图像帧4空间分割为多种频带而得到的多个子带之间，共享变动检测处理的检测结果。由于在通过小波变换S120而得到的多个子带之间保存有位置信息，所以这样的信息共享化可以实现。具体地说，如图7所示，在多个子带(LL2、HL2、LH2、HH2、HL1、LH1、HH1)的各个变动检测处理S310、S410中，在对构成最低频率成分的子带LL2的作为EBCOT (S140)的最小处理单位的码块20所构成的检测单位进行变动检测处理时，对于各个其他的子带，对于分别与构成该检测单位的码块(最低频率成分的子带LL2的码块)表示相同的图像区域的码块，适用与构成该检测单位的各个码块分别相同的检测结果。例如，在将子带LL2的图像区域Mm中所包括的码块作为检测单位，对该检测单位进行变动检测处理时，在其他各个子带 HL2、LH2、HH2、HLl、LHl、HHl 中的相同图像区域 Mhl2、Mui2、Mhh2、Mhu、Muil、Mhhi 也适用相同的检测结果。此外，相同的图像区域的确定方法如下在相同分解级别的其他的子带(在以子带LL2为基准时，相同分解级别的子带为HL2、LH2、HH2)中，成为与比较对象相同位置、相同大小的区域。而且，在上一个分解级别的子带(在以子带HHl为基准时，上一个分解级别的子带为LL2、HL2、LH2、HH2)中，位置、大小都为比较对象的1/2倍的区域，以下一个分解级别(在以子带LL2为基准时，下一个分解级别的子带为HL1、LH1、HH1)中，位置、大小都为比较对象的2倍的区域。通过这样在各子带间共享变动检测处理的检测结果，能够大幅度缩短变动检测处理所需要的处理时间。另外，在比较处理中判断数据是否相同的基准依赖于被要求的影像品质，也存在具有一定程度以上的相似性时被看作相同的情况。根据以上的对本发明的说明可知能够将本发明进行各种变形。这样的变形不能够被认为是脱离本发明的思想和范围的方案，所有的对于本领域技术人员而言显而易见的改良都包括在权利要求的范围内。标记的说明10...切片、20...码块、fn(n = 1、2、……).·.图像帧、fn-R、fn-G、fn_B……分量、 110...网络、120、120a 120c. . . PC。
权利要求
1.一种动态图像数据的压缩方法，按照JPEG2000标准依次压缩在时间轴方向没有被压缩而沿着该时间轴配置的图像帧，按照每个图像帧，依次进行色彩空间变换、小波变换、 量化以及EBC0T，从而压缩该图像帧，其特征在于，作为对构成所述动态图像数据的图像帧中的成为处理对象的图像帧进行的压缩处理， 在所述EBCOT之前，分别将作为该EBCOT的最小处理单位的一个或多个码块作为一个检测单位，将成为处理对象的图像帧的小波变换后的数据与之前刚被压缩的图像帧的小波变换后的数据进行比较，来检测图像要素有无变动，对于构成被检测出发生变动的所述检测单位的各码块实施所述EBCOT，另一方面，对于构成没有被检测出发生变动的所述检测单位的各码块，跳过所述EBC0T，并且分配之前刚被压缩的图像帧的EBCOT处理后的数据或指示进行跳过动作的指标数据，由此对构成没有被检测出发生该变动的检测单位的各码块进行数据插补。
2.根据权利要求1所述的动态图像数据的压缩方法，其特征在于，在所述EBCOT之前进行的变动检测处理，在所述小波变换后、所述量化前进行，或在所述量化后、所述EBCOT前进行。
3.根据权利要求1或2所述的动态图像数据的压缩方法，其特征在于，关于对通过所述小波变换将成为处理对象的图像帧空间分割为多种频带而得到的多个子带分别进行的变动检测处理，按照在最低频率成分的子带中设定的每个检测单位进行变动检测处理，对于其他的子带，分别对于与构成该检测单位的各个码块分别表示相同的图像区域的码块，适用与构成该检测单位的各个码块相同的检测结果。
全文摘要
本发明涉及基于JPEG2000方式的能够提高动态图像压缩效率以及降低处理负荷的动态图像数据的压缩方法。在该压缩方法中，在按照JPEG2000标准依次压缩在时间轴方向没有被压缩而沿着该时间轴配置的图像帧时，在EBCOT之前，分别将作为该EBCOT的最小处理单位的一个或多个码块作为一个检测单位，进行图像要素的变动检测处理。对于构成被检测出变动的检测单位的各码块进行EBCOT，另一方面对于构成没有被检测出变动的检测单位的各码块跳过EBCOT，并且插补规定的数据。由此，能够降低计算量多的EBCOT的处理次数。
文档编号H04N7/30GK102239692SQ20098014858
公开日2011年11月9日 申请日期2009年11月26日 优先权日2008年12月2日
发明者后藤由光, 柿井俊昭, 畑洋一, 藤田康仁 申请人:住友电气工业株式会社