专利名称：图像编码装置以及图像编码方法
技术领域：
本发明涉及一种使用编码标准JPEG2000对图像数据进行压缩的图像编码装置、图像编码方法以及图像编码程序。
在使用JPEG2000的图像编码装置中，使用单元分割器对输入图像进行单元分割。图3是进行了单元分割的输入图像10的简图。该输入图像10被分割为多个单元区11，各个单元区11由边界线12划分。被单元分割的图像数据通过子波变换运算器，在各个单元区11内被子波变换。
产生上述单元噪声的原因是，在单元边界线12附近，子波变换运算器利用了被称为“对称周期扩张”的方法来进行子波变换。图4是关于该“对称周期扩张”的说明图。
图4示出了利用“实数型”子波变换对高频成分的变换对象像素a0进行运算的情况，对位于单元区11中央的变换对象像素a0进行的子波变换，由于是利用以变换对象像素a0为中心左右对称排列的像素a1～a4以及像素a5～a8来进行的，所以不会有问题。
但是，在变换对象像素a0邻近单元边界线12的情况下，在变换对象像素a0的一侧(图示实施例的左侧)存在像素a1～a4，而在另一侧(图示实施例的右侧)不存在像素(实际上，像素存在于另一个单元区内，但由于各单元区必须独立进行变换，所以无法使用属于相邻单元区的像素)，这样，子波变换运算器无法进行运算。
在这种情况下，子波变换运算器将一侧的像素a1～a4翻转，作为虚拟像素排列在另一侧，使其与a0对称，然后使用上述一侧的实际像素a1～a4的数据和另一侧的虚拟像素a4～a1的数据进行假想运算。上述运算方法称为“对称周期扩张”，在该对称周期扩张中，由于使用非实际像素的虚拟像素a4～a1，所以与使用超过单元区的实际像素时相比，运算精度当然降低。
在压缩率低于一定水平的状态下，上述运算精度的下降不是很明显，但当压缩率高于一定水平时，在辉度值、亮度、色差等方面与源数据的差别就会很明显，此外在各单元区之间，由于数据没有关联，所以该差别在单元边界线12附近易于引人关注，从而在画面上显示出沿单元边界线12的线。这就是上述的单元噪声。
作为避免发生上述单元噪声的方法，可以考虑在单元边界线12附近设置平均值滤波器，但设置平均值滤波器本身就会导致图像劣化，对于提高画质的目的而言不是一个好办法。此外，可以考虑由像素a1～a4的数据推算出与虚拟像素a4～a1对应的数据的方法，但由于运算复杂，会对处理速度产生影响。
本发明就是鉴于上述问题提出的，其目的是，提供一种对画质和处理速度不产生影响，且能容易地防止单元噪声的发生的图像编码装置和图像编码方法。
为了解决上述问题，本发明提供以下图像编码装置和图像编码方法。
一种对输入图像进行压缩的图像编码装置，其特征在于，包括单元分割装置，将输入图像分割为多个单元区；子波变换运算装置，对由上述单元分割装置分割的各单元区进行子波变换；关注区指定装置，对由上述子波变换运算装置运算处理的变换数据指定关注区；系数位建模装置，对被指定了上述关注区的上述变换数据进行系数位建模；位舍弃·算数编码装置，对由上述系数位建模装置进行了系数位建模的位系数，进行位舍弃和算数编码；以及位流生成装置，根据由上述位舍弃·算数编码装置进行了位舍弃和算数编码的位系数，生成位流，其中，上述关注区指定装置将各单元区内的单元边界线周边部分指定为关注区。
一种对输入图像进行压缩的图像编码方法，其特征在于，包括以下步骤将输入图像分割为多个单元区；对被分割的各单元区进行子波变换；对被进行了上述子波变换的变换数据指定关注区；
对被指定了上述关注区的上述变换数据进行系数位建模；对被进行了系数位建模的位系数进行位舍弃和算数编码；以及根据被进行了位舍弃和算数编码的位系数生成位流，其中，在指定上述关注区的步骤中，将各单元区内的单元边界线周边部分指定为关注区。
图2是表示本发明的图像编码装置的构成的方框图。
图3是进行单元分割时的输入图像10的示意图。
图4是对图2的子波变换运算器4进行的“对称周期扩张”的说明图。
以下对图2的装置的动作进行说明。首先，输入图像被输入至DC电平移位器1，DC电平被移位。所谓的DC电平移位，是以DC(直流)成分即零成分为基准，将输入图像数据的电平移位。例如，如果输入图像数据以8位表示，则该数据是0～255其中的某个数值，但通过DC电平移位，以0为中心，将该数据的值变换为一128～127其中的数值。进行上述DC电平移位的原因是，由于在一般输入图像的频率分布中，零成分比其他成分多，以零成分为基准的数据配置方式可以提高编码效率。
然后，从DC电平移位器1输出的输入图像数据被输入到色彩变换器2，在其中将RGB色彩空间的值变换为YUV色彩空间的值。该变换也是为了提高编码效率。
在色彩变换器2中进行色彩变换后的输入图像数据被输入至单元分割器3，在其中进行单元分割，将其分割为多个单元区。进行上述单元分割的原因是，通过使各单元区之间不相关，从而可以并行处理，提高子波变换时的变换速度。如果不进行上述单元分割，当进行其后的子波变换时，由于运算量增大，导致变换速度下降，而且会导致所需要的存储器容量增大。如图3所说明的，输入图像10被分割为多个单元区11，各单元区11被单元边界线12所划分。
通过单元分割器3被单元分割的图像数据被输入至子波变换运算器4，对各单元区11进行子波变换。
子波变换是进行复杂振动波形的解析等时使用的变换，是有效地利用傅里叶解析的特征，可以同时得到时间和空间的变动的波形数据解析方法。上述子波变换将图像分为低频成分和高频成分进行变换，变换系数为整数的称为“整数型”，变换系数为实数的称为“实数型”。前者的优点是能进行可逆变换，电路构成小，而后者的优点是虽然不能进行可逆变换，但在提高压缩率时能得到良好的画质。在一般图像处理的子波变换中，可以设定变换系数和参考像素数的值，因此可以使用各种变换滤波器。
在JPEG2000中，由于考虑了画质和电路构成等因素，其结果，在“整数型”变换中采用低频用参考像素数为5、高频用参考像素数为3的5×3滤波器，而在“实数型”变换中采用低频用参考像素数为9、高频用参考像素数为7的9×7滤波器。
标量量化器5通过将来自子波变换运算器4的变换数据除以某一数值，从而以标量值将该变换数据量化。关注区指定器6对由标量量化器5量化的数据(在不进行量化的情况下，对子波变换数据指定ROI(指定关注区Region of Interest))。其中，所谓的关注区是指，在为了使进行图像数据的压缩处理过程中损失的源数据比其他区域少而进行编码，使解码后的图像数据的画质不易劣化的区域(即比其他区域的压缩率低或不进行压缩的区域)。
例如在数码相机等的画面中，人物或其他重要的被摄物体通常位于背景画面的中央附近，如果将上述重要的被摄物体所处的区域指定为关注区，则由于编码时不会将该关注区的数据切除，所以在解码后能忠实地再现与重要的被摄物体相关的源图像数据。对于图像数据的压缩率，虽然可以由该标量量化器5在一定程度上指定，但不能正确地指定。正确的指定可以通过后述的位舍弃·算数编码器8的位切除来进行。
系数位建模器7对由标量量化器5进行量化并且由关注区指定器6指定了关注区的数据，进行系数位建模。所谓的系数位建模是指，为了使例如以2进制数表示的某量级的多位数据在位方向上分段，以位面为单位对其进行分割，使其排列成层状构造的处理。在JPEG2000中，在指定关注区的情况下，在该系数位建模中采用被称为最大移位(Max Shift)的方式，使由关注区指定器6所指定的关注区的数据(位系数)向MSB一侧移位。
位舍弃·算数编码器8对由系数位建模器7进行了系数位建模的位系数，进行位舍弃和算数编码。所谓的位舍弃是指，对进行了上述系数位建模的位系数，舍弃某几位数的位。一般，在图像数据中，如果舍弃最高位(MSB)的位系数，则图像明显劣化，而如果舍弃最低位(LSB)的位，则图像不会发生明显的劣化。
因此，通常从最低位的位舍弃指定位数的位，可以通过舍弃到哪一位的位来指定压缩率。但是，位舍弃·算数编码器8对由关注区指定器6所指定的的关注区的位系数不进行舍弃(此时，位舍弃·算数编码器8根据有无向上述MSB一侧的移位来判别是否是关注区的位系数)。
此外，所谓的算数编码是几种图像压缩方法中的一种，在本例中，位舍弃·算数编码器8使用被称为MQ-Decoder的编码器，将从系数位建模器7输出的位系数编码为字节码。
位流生成器9利用从位舍弃·算数编码器8输出的位系数，生成位流。然后根据预先设定的优先度，来决定此时的Y、U、V各色彩成分、析像度、SNR等的顺序。
以数码相机的图像编码装置为例，上述关注区指定器6具有对不希望画质劣化的重要被摄物体指定关注区的功能。本发明在上述功能的基础上，具有为了除去单元噪声而将各单元区内的单元边界线附近的规定区域指定为关注区的功能。
图1是对根据用于除去上述单元噪声的关注区指定功能而对设定了关注区的画面的说明图。如图所示，输入图像10被分割为多个单元区11，各单元区11被单元边界线11划分。在个单元区11内设定沿单元边界线12形成的关注区13。优选该关注区13的宽度，在使用5×3滤波器进行整数型子波变换的情况下，为3个像素以上的宽度，在使用9×7滤波器进行实数型子波变换的情况下，为5个像素的宽度，但不特别进行限定，可以设定为各种宽度。
对于根据关注区指定器6进行设定的上述关注区13，即使由子波变换运算器4进行运算后，再由标量量化器5、关注区指定器6以及位舍弃·算数编码器8等各构成要素进行图像压缩处理，至少关注区13内的像素没有损失数据(或者与其他区域相比，损失数据非常少)。因此，即使以低的位速率(高压缩率)进行图像压缩处理，在解码时也可以恢复没有单元噪声的良好图像。
在本实施方式中，用于除去上述单元噪声的关注区指定功能，原则上假定不管图像压缩率的数值如何，在编码时总是不变动。即，在JPEG2000中，假定解码处理总是以一定水平以上的位速率进行，由于可以认为单元噪声仅在以一定水平以下的低位速率进行图像压缩处理时才发生，所以仅在上述情况时需要进行指定关注区13。
但是，在例如对象设备为摄像机的情况下(在其他重放设备中重放数码相机的运动图像数据的情况也同样)，由于可以以一定水平以下的低位速率进行解码处理，所以为了防止单元噪声的发生，不管编码时的压缩率的数值如何，总是优选进指定行关注区13。
与此相对，当通过在数码相机主体设置的液晶画面上重放数码相机的静止图像数据或运动图像数据时，在解码时的位速率为固定值的情况下，可以仅在以一定水平以下的低位速率进行图像压缩处理的情况下进行指定关注区13。
在本发明中，关注区指定功能除了用于其本来的目的，还用于单元噪声除去，因此与现有技术相比，其最大压缩率当然会降低。但是，相对于画面整体而言，关注区13的面积非常小，所以即使最大压缩率降低，其数值也是非常小的。因此，在实际应用上不会有问题。
此外，在上述实施方式中，由于假定所处理的输入图像为彩色图像，所以还包括色彩变换器2，但当输入图像为黑白图像时，可以省略该色彩变换器2(根据情况，DC电平移位器1也可以省略)。
此外，本发明还包含把计算机作为上述图像编码装置而工作的程序。该程序可以从插入计算机的记录介质读出而执行，或者可以通过通信网络进行通信，将其读入计算机进行处理。
如上所述，在本发明中，通过有效地利用原作为可选功能而包含在JPEG2000中的关注区(ROI)指定器，在不影响画质和处理速度的情况下，可以容易地解决对各单元区进行子波变换而导致发生单元噪声的JPEG2000特有的问题。即，本发明根据从完全不同侧面的构思，即活用现有技术中对不希望发生画质劣化的重要被摄物体使用的关注区指定功能，防止单元噪声的问题。
如上所述，根据本发明，关注区指定器将各单元区内的单元边界线周边部分指定为关注区，从而在不影响画质和处理速度的情况下，可以容易地防止单元噪声的发生。
权利要求
1.一种对输入图像进行压缩的图像编码装置，其特征在于，包括单元分割装置，将输入图像分割为多个单元区；子波变换运算装置，对由上述单元分割装置分割的各单元区进行子波变换；关注区指定装置，对由上述子波变换运算装置运算处理的变换数据指定关注区；系数位建模装置，对被指定了上述关注区的上述变换数据进行系数位建模；位舍弃·算数编码装置，对由上述系数位建模装置进行了系数位建模的位系数，进行位舍弃和算数编码；以及位流生成装置，根据由上述位舍弃·算数编码装置进行了位舍弃和算数编码的位系数，生成位流，其中，上述关注区指定装置将各单元区内的单元边界线周边部分指定为关注区。
2.根据权利要求1所述的图像编码装置，其特征在于，上述关注区指定装置仅在压缩率高于一定水平以上的情况下，才进行上述关注区的指定。
3.一种对输入图像进行压缩的图像编码方法，其特征在于，包括以下步骤将输入图像分割为多个单元区；对被分割的各单元区进行子波变换；对被进行了上述子波变换的变换数据指定关注区；对被指定了上述关注区的上述变换数据进行系数位建模；对被进行了系数位建模的位系数进行位舍弃和算数编码；以及根据被进行了位舍弃和算数编码的位系数生成位流，其中，在指定上述关注区的步骤中，将各单元区内的单元边界线周边部分指定为关注区。
4.根据权利要求3所述的图像编码方法，其特征在于，在指定上述关注区的步骤中，仅在压缩率高于一定水平以上的情况下，才进行上述关注区的指定。
全文摘要
本发明提供一种图像编码装置以及图像编码方法。本发明在不影响画质和处理速度的情况下，可以容易地防止单元噪声的发生。为了除去单元噪声，关注区指定器具有将各单元区11内的单元边界线12附近的规定区域指定为关注区13的功能。对于该关注区13，子波变换运算器进行运算之后，即使由各构成要素进行图像压缩处理，至少关注区13内的像素没有损失数据。因此，即使以低位速率(高压缩率)进行图像压缩处理，在解码时也可以恢复没有单元噪声的良好图像。
文档编号H04N7/26GK1420633SQ02146850
公开日2003年5月28日 申请日期2002年10月15日 优先权日2001年10月29日
发明者和田祐司 申请人:日本胜利株式会社