图像编码装置以及图像编码方法

专利名称：图像编码装置以及图像编码方法
技术领域：
本发明涉及图像编码技术及图像译码技术，特别是将图像的一部分区域优先编码或译码的装置及方法。而且，本发明还涉及图像显示装置及图像显示方法、再生图像流的装置以及图像处理装置。
背景技术：
在ISO/ITU-T中，作为静止图像的压缩编码的标准技术JPEG(JointPhotgraphic Expert Group)的后继，正在进行采用了离散小波变换(DWT)的JPEG2000的标准化。在JPEG2000中，从低位延迟编码到无损压缩，可以以高性能对广范围的图像质量进行编码，也容易实现缓缓提高图像质量的可扩缩性(scalability)功能。而且，在JPEG2000中，准备有现有的JPEG标准中没有的多种功能。
作为JPEG2000的功能之一，将图像的注目区域(Region of Interest；ROI)比其他区域优先编码，传送的ROI编码被标准化。根据ROI编码，当在编码延迟中存在上限时，除可优先使注目区域的再生图像质量成为高品质外，当依次将编码图像流译码时，可提早以高品质再生注目区域。
作为ROI编码，有将对应于图像注目区域的小波变换系数(以下称为ROI变换系数)的位平面只尺度放大对应于非注目区域的小波变换系数(以下称为非ROI变换系数)的位平面的最大位数的最大位移法，根据该方法，ROI变换系数的所有位平面都比任何一个非ROI变换系数的位平面先进行编码。而且，也公知通过将ROI变换系数的位平面只尺度放大规定位数，从而使ROI变换系数的一部分高位位比非ROI变换系数还优先进行编码的方法。在专利文献1中，提出了这些ROI编码方法的改良技术。
图1是现有的图像编码装置100的构成图。该图像编码装置100利用最大位移法进行ROI编码。小波变换部10将输入的原图像进行小波变换，输出小波变换系数。量子化部12将原图像的小波变换系数量子化。图2(a)表示量子化后的小波变换系数50，包括从最高位(Most Significant Bit；MSB)到最低位(Least Signifcant Bit；LSB)的5位的各位平面。
ROI选择部18选择原图像上的注目区域，ROI掩码生成部20生成用于特定对应于被选择的注目区域的小波变换系数即ROI变换系数的ROI掩码。ROI变换系数在图2(a)的小波变换系数50中以斜线表示。
ROI尺度放大部22参照ROI掩码，将被量子化的ROI变换系数只尺度放大S位。即，将ROI变换系数的值只左移S位。在此，尺度放大量S是比对应于非注目区域的小波变换系数即ROI变换系数的量子化值的最大值位数还大的自然数。图2(b)表示ROI变换系数只被尺度放大5位后的状态的小波变换系数52。在尺度放大后的变换系数52中，对通过尺度放大而新产生的位充零值。
平均信息量编码部14如图2(c)的箭头所示，将尺度放大后的小波变换系数52的量子化值从高位位平面依次进行扫描的同时进行平均信息量编码。编码数据生成部16将平均信息量编码后的数据与量子化幅度等编码参数、表示注目区域位置的ROI位置信息及尺度放大量一起进行流化，以作为编码图像输出。
图3是现有的图像译码装置110的构成图。该图像译码装置110利用最大位移法对ROI编码后的图像进行译码。编码数据提取部30从输入的编码图像提取编码数据、各种编码参数、ROI位置信息及尺度放大量。平均信息量译码部32按每个位平面对编码数据进行译码，并将得到的小波变换系数的量子化值存储到存储器中。图4(a)表示平均信息量译码后的小波变换系数54。对应于图2(a)～(c)的示例，尺度放大量S是5位，平均信息量译码后的小波变换系数54总共包含10位平面。
ROI掩码生成部38以ROI位置信息为基础，生成特定ROI变换系数的掩码。ROI尺度缩小部40参照ROI掩码，将被量子化的小波变换系数中的ROI变换系数只尺度缩小S位。图4(b)表示ROI变换系数只被尺度缩小5位后额状态的小波变换系数56。通过尺度缩小而剩余的非ROI变换系数的高位5位被舍弃，得到总共5位平面的被量子化后的小波变换系数56。
逆量子化部34将包含被尺度缩小的ROI变换系数的小波变换系数的量子化值进行逆量子化，小波逆变换部36对被逆量子化后的小波变换系数进行小波变换，并输出得到的译码图像。
再者，Motion-JPEG2000与MPEG(Motion Picture Coding ExpertsGroup)等动态图像编码规格相比，因为不使用帧相关，所以尽管压缩率差，但具有以帧为单位的编辑功能、可逆编码功能方面的优点，可以说隐藏了较大的可能性。
作为灵活应用该JPEG2000特性的技术示例，在专利文献2中公开了在图像译码的各阶段，比较经过时间和限制时间，并根据需要简化译码处理的技术。据此，可以以比较小的规模构成，对比较高的图像质量的图像进行译码。
专利文献1特开2001-45484号公报专利文献2特开2002-325257号公报在以上的现有的ROI编码中，因为在编码时将对应于注目区域的小波变换系数尺度放大之后，进行位平面的编码，故为了存储尺度放大后的位平面，存储器容量需要有余量。而且，因为必须只将尺度放大后的位平面部分作为余量部分进行编码，故在编码处理中要花费时间。
在将被ROI编码后的编码图像进行译码时，为了按每个位平面对编码图像进行译码，根据尺度放大量需要多余的存储器容量。而且，需要进行由编码图像数据取得ROI位置信息，并特定对应于注目区域的小波变换系数，将特定的注目区域的小波变换系数进行尺度缩小、的处理。
这样，现有的ROI编码由于伴随尺度放大处理，故需要存储器容量有余量，存在运算量也增加的问题。
在上述现有的ROI编码中，当有多个注目区域时，存在在这些注目区域间不能设置图像质量的差异的问题。
今后，期待广泛实行利用JPEG2000的图像内容的配送和有效使用。被配送的图像中、例如监视照相机，有时只有其一部分需要高图像质量，但在除此之外的区域不需要那样高的图像质量。而且，将由使用者指定的区域高图像质量化时，有时其处理量的增加会超过图像处理装置的能力，而产生彗差降落等。

发明内容
本发明是鉴于这样的课题而进行的，其目的在于提供一种不增加多余的成本，而可以将一部分区域优先编码，将编码后的图像数据译码的图像编码及译码技术。
另一目的在于提供一种可以将包含不同图像质量的多个区域图像编码、译码及显示的图像编码技术、图像译码技术及图像显示技术。
再者，另一目的在于提供一种在不超过译码处理能力的范围内调整图像质量的技术。
本发明的一种图像编码方法，其特征在于，用于对在动态图像上定义的注目区域进行特定的信息被记述在包含所述动态图像的编码数据的编码流中。
本发明的另一种图像编码方法，其特征在于，用于对在图像上定义的多个注目区域进行特定的信息被记述在包含所述图像的编码数据的编码流中。
本发明的一种图像编码装置，包括选择单元，选择动态图像上的注目区域；编码单元，对所述动态图像进行编码；和生成单元，生成编码流，该编码流包括编码动态图像和用于特定所述注目区域的信息。
本发明的另一种图像编码装置，包括选择单元，选择图像上的多个注目区域；编码单元，对所述图像进行编码；和生成单元，生成编码流，该编码流包括编码图像和用于特定所述多个注目区域的信息。
本发明的某种形态涉及图像编码装置。该装置包括将图像变换为空间频率区域并生成变换系数的变换部；在对应于上述图像上的一部分区域的上述变换系数的位列中，只将低位位的规定位数置换为零值的置换部；和由上述置换部置换后，将上述图像整体的上述变换系数的位列从高位位依次进行压缩编码的编码部。还可以包括生成用于特定对应于上述图像上的一部分区域的上述变换系数的掩码的掩码生成部。
在此，置换为零值的低位位也可以是从上述变换系数的最低位位数开始数，规定位数的连续的位部分列。
图像上的一部分区域也可以是设于图像上的非注目区域。该非注目区域也可以通过在图像上设置注目区域而相对地设定。注目区域和非注目区域存在如将一个区域确定为注目，则另一个区域成为非注目区域的相对关系，作为一例，也可以是优先度相对不同的某个区域、特别是对图像质量的要求水平相对不同的某个区域。注目区域是与其他区域相比优先度高、特别是图像质量要求高的区域，非注目区域也可以是与其他区域相比优先度低、特别是图像质量要求低的区域。
根据该构成，将图像所在的区域比其他区域优先进行编码，在译码再生时可相对提高该区域的图像质量。而且，通过将其他区域的低位信息降低，从而可以以高压缩率对图像进行编码。
本发明的另一形态也涉及图像编码装置。该装置包括将图像变换为空间频率区域，以生成变换系数的变换部；在分别对应于上述图像上的多个区域的上述变换系数的位列中，只将低位位的对应于各区域优先度位数置换为零值的置换部；由上述置换部置换后，将上述图像整体的上述变换系数的位列从高位位依次进行压缩编码的编码部。还可以包括生成用于特定对应于上述图像上的多个区域的上述变换系数的掩码的掩码生成部。
根据上述构成，可使在多个区域间再生时的图像质量有差异。上述置换部，当在上述多个区域间有重复区域时，在上述重复区域中，也可以根据优先度高的区域的优先度来决定置换为零值的低位位。
本发明的另一形态也涉及图像编码装置。该装置包括将图像进行小波变换并生成小波变换系数的变换部；在对应于上述图像上的一部分区域的上述小波变换系数的位列中，只将低位位的规定位数置换为零值的置换部；由上述置换部置换后，将上述图像整体的上述小波变换系数的位列从高位位平面依次进行压缩编码的编码部。还可以包括生成用于特定对应于上述图像上的一部分区域的上述小波变换系数的掩码的掩码生成部。
本发明的又一形态涉及图像译码装置。该装置包括将压缩编码后的图像进行译码，以取得空间频率区域中的变换系数的译码部；在对应于上述图像上的一部分区域的上述变换系数的位列中，只将低位位的规定位数置换为零值的置换部；由上述置换部置换后，将上述图像整体的上述变换系数的位列进行逆变换，以还原图像的逆变换部。还可以包括生成用于特定对应于上述图像上的一部分区域的上述变换系数的掩码的掩码生成部。
根据该构成，当译码编码图像时，将图像所在的区域比其他区域优先进行译码，可以以高品质再生该区域。换言之，通过将其他区域的低位位信息降低而降低品质，从而可相对提高该区域的图像质量并再生图像。
本发明的另一形态也涉及图像译码装置。该装置包括将压缩编码过的图像进行译码，以取得空间频率区域的变换系数的译码部；在对应于上述图像上的多个区域的上述变换系数的位列中，只将低位位的对应于各区域的优先度的位数置换为零值的置换部；由上述置换部置换后，将上述图像整体的上述变换系数的位列进行逆变换，以还原图像的逆变换部。还可以包括生成用于特定对应于上述图像上的多个区域的上述变换系数的掩码的掩码生成部。
根据该构成，在多个区域间也可以在再生图像质量中存在差异。
本发明的另一形态也涉及图像译码装置。该装置包括将压缩编码后的图像进行译码，以取得小波变换系数的译码部；在对应于上述图像上的一部分区域的上述小波变换系数的位列中，只将低位位的规定位数置换为零值的置换部；由上述置换部置换后，将上述图像整体的上述小波变换系数的位列进行逆变换，以还原图像的逆变换部。还可以包括生成用于特定对应于上述图像上的一部分区域的上述小波变换系数的掩码的掩码生成部。
本发明的另一形态涉及图像编码方法。该方法是在图像的空间频率区域的变换系数中，特定对应于上述图像上的一部分区域的上述变换系数；在对应于特定的上述一部分区域的上述变换系数的位列中，只将低位位的规定位数置换为零值；在此基础上，汇总上述图像整体的上述变换系数的位列，并从高位位依次进行压缩编码。
本发明的另一形态涉及图像译码方法。该方法是在将压缩编码过的图像进行译码而取得的上述图像的空间频率区域的变换系数中，特定对应于上述图像上的一部分区域的上述变换系数；在对应于特定的上述一部分区域的上述变换系数的位列中，只将低位位的规定位数置换为零值，在此基础上，将上述图像整体的上述变换系数的位列进行逆变换并还原图像。
本发明的又一形态也涉及图像编码方法。该方法是在图像的空间频率区域的变换系数中，特定对应于上述图像上的多个区域的上述变换系数；在对应于特定的上述多个区域的上述变换系数的位列中，只将低位位的对应于各区域的优先度的位数置换为零值，在此基础上，汇总上述图像整体的上述变换系数的位列并从高位位依次进行压缩编码。
本发明还有一种形态也涉及图像译码方法。该方法是在将压缩编码过的图像进行译码而取得的上述图像的空间频率区域的变换系数中，特定对应于上述图像上的多个区域的上述变换系数；在对应于特定的上述多个区域的上述变换系数的位列中，只将低位位的对应于各区域优先度的位数置换为零值，在此基础上，将上述图像整体的上述变换系数的位列进行逆变换并还原图像。
本发明还有另一形态涉及图像显示装置。该装置包括显示部，按对画面设定的多个区域，将图像质量不同的动态图像显示在所述画面上。
可以进一步包括相对上述画面指定注目区域和非注目区域的至少一方的指定部，通过上述注目区域和上述非注目区域的至少一方的指定，从而相对上述画面设定多个区域。例如，通过相对画面指定一个注目区域，从而可以相对画面设定注目区域和除此之外的区域的2个区域。而且，通过相对画面指定一个非注目区域，从而可以相对画面设定非注目区域和除此之外的区域的2个区域。注目区域或非注目区域也可以被指定多个，而且，可通过组合注目区域和非注目区域而设定，来设定注目区域、非注目区域、除此之外的区域的多个区域。
在此，所谓“使显示在画面上的显示部”是指在同时包含显示器等画面、和进行供给到画面的图像信号的输出控制的显示控制部的形式外，还包含具有与显示器连接的接口、不含显示器而只有显示控制部的形式。这其中的任何形式均被包括在该技术范围内。
本发明还有另一形态也涉及图像显示装置。该装置包括显示部，具有图像质量不同的多个区域，将与这些区域有重叠的动态图像显示在画面上。
本发明还有另一形态也涉及图像显示装置。该装置包括显示部，将具有保持可视性且图像质量不同的多个区域的动态图像显示在画面上。在此，所谓“保持可视性且图像质量不同”是在可以作为对象物的图像识别范围内调整图像质量，包括在可以把握对象物的范围内，降低图像质量，或者相反，使注目区域比其他区域提高图像质量。
本发明的另一形态也涉及图像显示装置。该装置包括相对显示动态图像的画面，选择注目区域和非注目区域的至少一方的选择部；通过选择上述注目区域和上述非注目区域的至少一方，从而使图像质量在每个相对上述画面而设定的多个区域中不同的上述动态图像显示在上述画面上的显示部。根据该构成，可以按意愿改变多个区域的图像质量并使其显示。
在此，使用者可以通过相对画面指定区域来选择多个区域。再者，多个区域还可以通过以某方法提取特定对象物存在的区域来进行选择。例如，通过图像识别方法，可以将写有文字的区域、写有人物的区域以及其他区域作为多个区域提取。再者，可以预先设定画面的中心部及其周边、外周部等特定位置被预先设定，将该被设定的位置作为多个区域来选择。
上述选择部对上述每个区域设定优先度，上述显示部也可以将上述多个区域以对应于优先度的图像质量显示。在上述多个区域间有重复时，也可以在重复的部分中按照优先度高的一方决定图像质量。优先度可以在使用者对画面指定区域时进行指定。而且，提高画面中心部的优先度或提高写有文字的区域的优先度等，可以预先确定优先度。
本发明还有另一形态也涉及图像显示装置。该装置包括相对显示动态图像的画面选择注目区域的选择部；和在没有选择上述注目区域的状态下，以规定的图像质量显示整个画面，在选择了上述注目区域的状态下，使该注目区域的图像质量比其他区域的图像质量还高地进行显示的显示部。根据该构成，当动态图像正常再生时，例如以低图像质量进行简易再生，在选择了注目区域的情况下，可提高该注目区域的图像质量，以进行再生。
上述显示部在选择多个上述注目区域时，可使在图像质量每个上述注目区域中不同地进行显示。上述选择部，可以将存在时间变化的区域作为上述注目区域来选择。当存在时间变化的区域有多个时，显示部可以根据时间变化的程度来改变图像质量。
本发明的另一形态涉及图像显示方法。该方法是按对画面设定的多个区域，让图像质量不同，并将动态图像显示在所述画面上。该动态图像可以从存储装置读出，也可以通过网络输入。
本发明的其他形态涉及图像编码装置。该装置包括将图像变换为空间频率区域并生成变换系数的变换部；将分别对应于上述多个区域的上述变换系数位列，只尺度放大对应于各区域的优先度的位数的尺度放大部；由上述尺度放大部进行尺度放大后，将上述图像整体的上述变换系数从高位位依次进行压缩编码的编码部。还可以包括生成用于特定对应于上述图像上的多个区域的上述变换系数的掩码的掩码生成部。
本发明的又一形态也涉及图像编码装置。该装置包括将图像进行小波变换并生成小波变换系数的变换部；将分别对应于上述多个区域的上述小波变换系数的位列，只尺度放大对应于各区域的优先度的位数的尺度放大部；由上述尺度放大部进行了尺度放大后，将上述图像整体的上述小波变换系数从高位位平面依次进行压缩编码的编码部。还可以包括生成用于特定对应于上述图像上的多个区域的上述小波变换系数的掩码的掩码生成部。
本发明的再一形态涉及图像编码方法。该方法是在图像的小波变换系数中，特定对应于上述图像上的多个区域的上述小波变换系数，将对应于特定的上述多个区域的上述小波变换系数的位列，只尺度放大对应于各区域的优先度的位数，在此基础上，汇总上述图像整体的上述小波变换系数位列并从高位位平面依次进行压缩编码。
本发明的另一形态也涉及图像编码装置。该装置包括在图像上选择优先度不同的多个区域的区域选择部；根据上述多个区域的各自优先度对上述图像进行压缩编码，以生成包含图像质量不同的多个区域的编码图像的编码部。还包括将图像变换为空间频率区域，以生成变换系数的变换部；生成用于特定对应于由上述区域选择部选择的上述多个区域的上述变换系数的掩码的掩码生成部，上述编码部可以参照上述掩码，对设有上述多个区域的上述图像进行压缩编码。
本发明的其他形态涉及图像译码装置。该装置包括在图像上选择优先度不同的多个区域的区域选择部；和根据上述多个区域的各自优先度，对上述压缩编码后的图像进行逆变换，以还原包含图像质量不同的多个区域图像的逆变换部。还包括将压缩编码后的图像进行译码，以取得空间频率区域的变换系数的译码部；和生成用于特定对应于由上述区域选择部选择的上述多个区域的上述变换系数的掩码的掩码生成部，上述逆变换部可以参照上述掩码，对设有上述多个区域的上述压缩编码后的图像进行逆变换。
本发明的另一形态涉及图像处理装置。该装置对动态图像数据进行译码，以使画面上的多个区域的图像质量带有差异地显示，分别调整上述多个区域的图像质量，以使整个译码处理的处理量不超过规定值。根据该形态，可以使画面上的多个区域的图像质量不同，并可将显示动态图像时的处理量抑制在恒定值以下。
本发明的另一形态也涉及图像处理装置。该装置具有相对画面指定注目区域的区域指定部；和在注目区域与其以外的通常区域之间的图像质量上带有差异地译码图像，以输出动态图像数据的译码部。在此，所谓“注目区域”是指使用者在图像中想通过提高分辨率而再生的区域，使用指示器(pointing device)等输入装置进行指定。根据该形态，可以以所希望的图像质量只对由使用者指定的注目区域进行再生。
译码部可分别调整上述注目区域和上述通常区域的图像质量，以使整个译码处理的处理量不超过规定的阈值。或者，译码部使上述注目区域的图像质量提高，另一方面也可使上述通常区域的图像质量降低。据此，不增加图像处理装置的处理量，即可以高图像质量再生使用者关心的某注目区域。
区域指定部也可以包括在使上述注目区域的图像质量提高时，判断译码处理整体的处理量是否超过规定阈值的判断部；和根据判断结果决定是否允许提高上述注目区域的图像质量的图像质量指示部。据此，在欲增加译码处理量、提高图像处理装置的处理能力时，由于不允许提高注目区域的图像质量，故可避免处理量因提高图像处理装置的上限处理能力而导致的彗差产生。
代替其，区域指定部也可包括使上述注目区域图像质量提高的图像质量指示部；和通过提高上述注目区域的图像质量，来判断与译码相关的处理量是否超过规定阈值的判定部。这种情况下，上述图像质量指示部在根据判定部的判定结果，判明为上述处理量超过阈值时，使通常区域的图像质量降低。据此，随着增加注目区域的编码处理量并提高图像质量，这样通过减小通常区域的编码处理量，从而可使图像处理装置整体的处理量为上限处理能力以下。
图像质量指示部在判明上述处理量超过阈值时，也可对使用者发出通常区域的图像质量降低的警告显示。于是，使用者可预先了解通常区域成为低图像质量的状况。
图像质量指示部在判明上述处理量超过阈值时，也可对使用者发出是否执行上述注目区域图像质量提高的询问显示。据此，使用者可以根据重要程度，来判断是否应特意执行注目区域的图像质量提高。
而且，上述编码图像数据可以根据分辨率而被复用。在一例中，编码图像数据是依据连续传送按每帧被压缩的图像的Motion-JPEG2000的数据。据此，因为编码图像数据可以根据分辨率而被复用，故很容易提取译码过程中生成的中间图像，以用作低分辨率的图像。
另外，以上构成要素的任意组合、在方法、装置、系统、计算机程序、记录介质等之间变换本发明的表现的形态，作为本发明的方式也是有效的。


图1是现有的图像编码装置100的构成图。
图2是说明原图像的小波变换系数被尺度放大的情况的图。
图3是现有的图像译码装置的构成图。
图4是说明编码图像译码后的小波变换系数被尺度缩小的情况的图。
图5是实施方式1涉及的图像编码装置的构成图。
图6是说明用于特定对应于原图像的注目区域的小波变换系数的掩码的图。
图7是说明原图像的小波变换系数的低位位被零置换的情况的图。
图8是说明原图像上不存在注目区域情况下、小波变换系数的低位位被零置换的情况的图。
图9是实施方式1涉及的图像译码装置的构成图。
图10是实施方式2涉及的图像译码装置的构成图。
图11是说明编码图像译码后的小波变换系数的低位位被零置换的情况的图。
图12是实施方式3涉及的图像编码装置的构成图。
图13是说明在原图像中设定多个注目区域时的优先度设定例的图。
图14是说明原图像的小波变换系数的低位位被零置换的情况的图。
图15是说明在原图像上设置的多个注目区域中存在重复时优先度设定的例子的图。
图16是说明在设定于原图像上的多个注目区域中存在重叠，在注目区域内包含非注目区域的情况下的优先度设定例的图。
图17是说明在图16的例子中、原图像的小波变换系数的低位位被零置换的情况的图。
图18是实施方式4涉及的图像译码装置的构成图。
图19是说明编码图像译码后的小波变换系数的低位位被零置换的情况的图。
图20是实施方式5涉及的图像编码装置的构成图。
图21是说明原图像的小波变换系数被尺度放大的情况的图。
图22是实施方式5涉及的图像译码装置的构成图。
图23是说明编码图像译码后的小波变换系数被尺度放大的情况的图。
图24是实施方式6涉及的图像显示装置的构成图。
图25是表示图像编码处理顺序的图。
图26是实施方式7涉及的图像处理装置的构成图。
图27是表示图像译码处理顺序的图。
图28是说明根据图像处理装置进行的帧处理的图。
图29是说明存储器控制部的处理的流程图。
图30是实施方式8涉及的图像显示装置的构成图。
图31是实施方式9涉及的图像处理装置的构成图。
图32(a)～(c)是说明用于特定对应于原图像的注目区域的小波变换系数的掩码的图。
图33(a)、(b)是说明小波变换系数的低位位被零置换的情况的图。
图34(a)～(c)是说明在原图像中指定注目区域时的小波变换系数的图。
图35是说明判定部的处理的流程图。
图36(a)、(b)是表示提高注目区域的图像质量的情况的图。
图37(a)～(c)是说明在原图像中指定注目区域且处理量大的情况下，小波变换系数的低位位被零置换的情况的图。
图38是说明判定部处理的另一实施例的流程图。
图39(a)、(b)是表示提高注目区域图像质量而降低通常区域图像质量的情况的图。
图40(a)、(b)是表示维持注目区域图像质量不变而降低通常区域图像质量的情况的图。
图41是实施方式10涉及的图像显示装置的构成图。
图42是实施方式11涉及的图像显示系统的构成图。
具体实施例方式
(实施方式1)图5是实施方式1涉及的图像编码装置200的构成图。图像编码装置200的构成，在硬件上可由任意计算机的CPU、存储器、其他LSI来实现，在软件上可由装载在存储器中的具有编码功能的程序等来实现，而在此，描述通过上述的协作来实现的功能块。因此，这些功能块可仅由硬件、仅由软件或这些的组合而以各种形式实现，这一点本领域的技术人员是可以理解的。
图像编码装置200以输入的原图像作为一例，通过JPEG2000方式进行压缩编码。输入图像编码装置200的原图像也可以是动态图像的帧。图像编码装置200可以以JPEG2000方式对动态图像的各帧连续进行编码，生成动态图像的编码流。
小波变换部10对输入的原图像进行部分波段分割，并计算各部分波段(subband)图像的小波变换系数，生成被分级后的小波变换系数。
小波变换部10在原图像的x、y各方向应用低通滤波器及高通滤波器，分割为4个频率部分波段并进行小波变换。这些部分波段是在x、y两个方向具有低频成分的LL部分波段；在x、y任何一个方向有低频成份，而且在另一方的方向上具有高频成分的HL及LH部分波段；和在x、y两个方向上具有高频成分的HH部分波段。各部分波段的纵横像素数分别是处理前图像的1/2，通过一次滤波，分辨率即图像尺寸得到1/4的部分波段图像。
小波变换部10对如此得到的部分波段中的LL部分波段再次进行滤波处理，将其更进一步分割为LL、HL、LH、HH4个部分波段并进行小波变换。小波变换部10按规定次数进行该滤波，将原图像分级为部分波段图像，输出各部分波段的小波变换系数。量子化部12按照规定的量子化幅度对从小波变换部10输出的小波变换系数进行量子化。
ROI选择部18选择原图像上的注目区域，将表示注目区域位置的ROI位置信息提供给ROI掩码生成部20。当以矩形选择注目区域时，ROI位置信息由矩形区域的左上角的像素坐标值和矩形区域的纵横像素给出。
注目区域可以通过使用者指定原图像上的特定区域来进行选择，也可以选择原图像中心区域等预先确定的区域。再者，可以将显示有人物或文字的区域等重要区域作为注目区域而自动提取。在动态图像的帧被连续输入到图像编码装置200时，也可以通过跟踪图像帧上的特定区域的动作，而自动地选择注目区域。
ROI掩码生成部20以ROI位置信息为基础，生成用于特定对应于注目区域的小波变换系数即ROI变换系数的ROI掩码。
图6(a)～(c)是说明由ROI掩码生成部20生成的ROI掩码的图。如图6(a)所示，由ROI选择部18在原图像80上选择注目区域90。ROI掩码生成部20在各部分波段中特定还原原图像80上选择的注目区域90所需的小波变换系数。
图6(b)表示通过对原图像80只进行1次小波变换而得到的第1级变换图像82。第1级变换图像82由第1层次的4个部分波段LL1、HL1、LH1、HH1构成。ROI掩码生成部20在第1层次的各部分波段LL1、HL1、LH1、HH1中特定还原原图像80的注目区域90所必要的第1级变换图像82的小波变换即ROI变换系数91～94。
图6(c)表示通过对图6(b)的变换图像82的最低频率成分的部分波段LL1进一步进行小波变换而得到的第2级变换图像84。第2级变换图像84如同图所示，除第1层次的3个部分波段HL1、LH1、HH1外，还包括第2层次的4个部分波段LL2、HL2、LH2、HH2。ROI掩码生成部20在第2层的各部分波段LL2、HL2、LH2、HH2特定还原第1级变换图像82的部分波段LL1的ROI变换系数91所必要的第2级变换图像84的小波变换系数即ROI变换系数95～98。
同样，通过只以小波变换的次数在各级中特定对应于注目区域90的ROI变换系数，从而在最终级的变换图像中，可以全部特定还原注目区域90所需的ROI变换系数。ROI掩码生成部20生成在该最终级的变换图像上特定该最终特定的ROI变换系数位置用的ROI掩码。例如，当只进行2次小波变换时，生成可特定图6(c)中虚线所示的7个ROI变换系数92～98的位置的ROI掩码。
图5的低位位零置换部24根据相对于非注目区域的注目区域的相对优先度，在对应于非注目区域的上述小波变换系数的位列中，调整置换为零值的低位位数，参照由ROI掩码生成部20生成的ROI掩码，在不由ROI掩码进行掩码的非ROI变换系数的位列中，只将从最低位位开始数的S位置换为零。在此，零置换位数S与相对于非注目区域的注目区域的相对优先度相当，是以非注目区域的量子化值的最大位数为上限的任意自然数。通过改变该零置换位数S，从而可连续调整应注目区域的非注目区域的再生图像质量的劣化程度。
图7(a)～(c)是说明通过低位位零置换部24来零置换原图像的小波变换系数60的低位位的情况的图。图7(a)表示由量子化部12量子化后的小波变换系数60，包含5位平面，ROI变换系数以斜线表示。
如图7(b)所示，低位位零置换部24将不由ROI掩码进行掩码的非ROI变换系数LSB侧的S位置换为零。在该例中，S＝2，如符号64中所示，可得到非ROI变换系数LSB侧的2位被置换为零的小波变换系数62。
图5的平均信息量编码部14如图7(c)的箭头所示，一面从高位位平面依次对包含被零置换为ROI变换系数的非ROI变换系数的小波变换系数62进行扫描，一面进行平均信息量编码。
图8(a)～(c)是说明在原图像上不存在注目区域情况下、小波变换系数的低位位被零置换的情况的图。图8(a)表示由于在原图像上没有设定注目区域、故只由非ROI变换系数形成的5位平面的小波变换系数70。低位位零置换部24，在零置换位数S为2时，如图8(b)所示，生成将5位平面内的LSB侧的低位2位平面置换为零的小波变换系数72。
平均信息量编码部14如图8(c)所示，从上开始依次对零置换后的小波变换系数72的高位3位平面进行平均信息量编码。此时，被零置换后的低位2位平面不进行编码。而且，代替将低位2位平面进行零置换，也可简单放弃低位2位平面。
编码数据生成部16将被平均信息量编码后的数据与量子化幅度等编码参数一起进行流化，以作为编码图像输出。
一般，在由于存储容量或传送速率的限制等，而对最终编码图像的数据大小设定有上限的情况下，平均信息量编码部14在从高位位平面依次对被量子化的小波变换系数进行编码时，有时在应遵守数据大小上限的过程中由位平面结束编码。或者，当编码数据生成部16输出从高位平面依次进行流化的编码数据时，有时在应遵守传送速率限制的过程中由位平面结束流输出。
这样，即使在编码图像的数据大小存在限制的情况下，在本实施方式中，由于在低位位平面中，对应于非注目区域的小波变换系数被零置换，只有对应于注目区域的小波变换系数作为有意义的信息而成为编码对象，故低位位平面的压缩率高，即使编码到最低位位平面，数据大小也不会增大。
图9是实施方式1涉及的图像译码装置210的构成图。由实施方式1涉及的图像编码装置200而使ROI被优先编码的图像是没有进行ROI变换系数的尺度放大的通常编码图像，故图像译码装置210可以通过通常的JPEG2000的译码方式简单地对编码图像进行译码。
编码数据提取部30从输入的编码图像提取编码数据。作为一例，如图7(c)所示，对5位平面从上依次取得编码数据。在此，应注意编码数据提取部30不需要特别提取提供注目区域位置的ROI位置信息。平均信息量译码部32对每个位平面译码编码数据。在图7(c)的例子中，5位平面被译码，量子化数据被存储到存储器中。
逆量子化部34对译码的量子化数据进行逆量子化，小波逆量子化部36对逆量子化后的小波变换系数进行逆变换，并输出所得到的译码图像。
如上所说明的，本实施方式的图像编码装置200通过对非ROI变换系数进行零置换，从而相对提高ROI变换系数的优先度，并优先对注目区域进行编码。因为不进行ROI变换系数的尺度放大处理，故可高效进行编码运算。而且，因为应编码的位平面数不增加，故不需要设置存储区域余量，可降低硬件成本。
再者，因为不需要译码时的尺度缩小处理，故在编码数据中不需要附加ROI位置信息和尺度放大量。而且，由本实施方式的图像编码装置200而被ROI编码的图像与通常的编码图像在格式上没有区别，故可以以与通常的编码图像的译码处理完全相同的处理进行译码，且可以保持译码处理的互换性。
(实施方式2)图10是实施方式2涉及的图像译码装置220的构成图。在本实施方式中，输入到图像译码装置220的编码图像是没有进行ROI编码的通常编码图像。本实施方式的图像译码装置220在译码时指定注目区域，优先对注目区域进行译码。
输入图像译码装置220的编码图像也可以是动态图像的编码帧。通过连续译码作为编码流而输入的动态图像的各编码帧，从而可以再生动态图像。
编码数据提取部30从输入的编码图像中提取编码数据，平均信息量译码部32在每个位平面译码编码数据，将译码结果得到的量子化的小波变换系数存储到存储器中。
ROI选择部18选择图像上的注目区域，将表示注目区域位置的ROI位置信息提供给ROI掩码生成部。注目区域可以通过指定图像的中心区域等图像位置来进行选择，也可通过自动提取显示有人物和文字的区域等重要区域或使用者指定来进行选择。当动态图像的编码帧被连续输入到图像译码装置220时，也可以在从图像译码装置220输出的译码后图像帧中指定或提取注目区域，将指定或提取的注目区域作为编码帧的注目区域进行选择。
ROI掩码生成部20以ROI位置信息为基础，生成用于特定对应于注目区域的小波变换系数即ROI变换系数的ROI掩码。低位位零置换部24根据相对于非注目区域的注目区域的相对优先度，在对应于非注目区域的上述小波变换系数的位列中调整置换为零值的低位位数，参照ROI掩码，进行从由平均信息量译码部32译码的小波变换系数内、非ROI变换系数的LSB侧将规定位数份置换为零的处理。
图11(a)～(c)表示由低位位零置换部24进行编码图像的译码后小波变换系数的低位位零置换的情况。图11(a)是进行平均信息量译码后的图像的小波变换系数74，包含5位平面。在图11(b)中，由斜线表示对应于由ROI选择部18指定的注目区域的ROI变换系数。低位位零置换部24如图11(c)所示，生成将非ROI变换系数的低位位置换为零的小波变换系数76。
逆量子化部34将包含ROI变换系数和低位位被零置换后的非ROI变换系数的小波变换系数进行逆量子化，小波逆变换部36逆变换被逆量子化后的小波变换系数，并输出所得到的译码图像。
而且，ROI选择部18代替选择注目区域，也可以选择非注目区域。例如，当要在显示有人物面部和车的号码牌等个人信息的区域输入晕色时，将该区域选择为注目区域。此时，ROI掩码生成部20将特定非ROI变换系数的掩码反转，可以生成特定非ROI变换系数的掩码。或者，ROI掩码生成部20也可以将特定非ROI变换系数的掩码提供给低位位零置换部24。
当动态图像的编码帧被连续输入到图像译码装置220时，可以使图像译码装置220进行如下动作。图像译码装置220通常情况下为了减小处理负荷，适当废弃小波变换系数的低位位平面以进行简易再生。据此，即使在图像译码装置220的处理性能存在限制的情况下，因为废弃低位位，故可例如以30帧/秒进行简易再生。
在简易再生中，当图像上的注目区域被选择时，图像译码装置220对由低位位零置换部24将非注目区域的低位位进行了零置换的状态的小波变换系数，译码到最低位的位平面，以再生图像。此时，因为处理负荷变高，故也有时虽然彗差降为15帧/秒等的状态或延迟再生状态，但也可以以高图像质量再生注目区域。
这样，当选择注目区域时，非注目区域可以保持与简易再生同程度的品质，以更高的品质只对注目区域进行再生。如监视图像，通常不要求高品质，只有异常时需要以高品质再生注目位置时有用。另外，在用移动终端再生图像时，从电池寿命角度出发也可应用以下方法在节电模式下以低品质再生动态图像，根据需要只对注目区域以高品质进行再生。
根据本实施方式的图像译码装置220，对于没有进行ROI编码的通常编码图像，通过将对应于非注目区域的小波变换系数的低位位进行零置换，从而可以相对地将注目区域的图像质量提高到比非注目区域还高，以进行译码。由于以高品质进行图像整体再生使运算量增加，但在本实施方式中只对注目区域优先进行译码，故可抑制运算量的增加。
(实施方式3)图12是实施方式3涉及的图像编码装置200构成图。在实施方式1涉及的图像编码装置200中，只选择一个注目区域，但本实施方式的图像编码装置200在图像中选择优先度不同的多个区域，根据各区域的优先度对图像进行压缩编码，生成包含图像质量不同的多个区域的编码图像。对于与实施方式1相同的构成赋予相同符号，说明与实施方式1不相同的构成和动作。
ROI选择部18选择原图像上的多个注目区域，将表示各注目区域位置的ROI位置信息提供给ROI掩码生成部20。既可以在多个注目区域存在重叠，也可以在注目区域的内部包含非注目区域。ROI掩码生成部20以ROI位置信息为基础，生成用于特定对应于各注目区域的小波变换系数即ROI变换系数的ROI掩码。
ROI掩码生成部20对由ROI选择部18选择的各个多个注目区域进行特定在实施方式1中所述的ROI变换系数的处理，相对各注目区域生成ROI掩码。
ROI优先度设定部19在多个注目区域间设定优先度。例如，作为多个注目区域，选择图像中心部及中心部周边，除此之外的外周边部作为非注目区域时，将图像的中心部的优先度设定为高，以便以高图像质量进行再生；将中心部的周边的优先度设定为低，以便以标准图像质量进行再生。作为另一例，作为多个注目区域，当选择显示有文字的区域和显示有人物面部的区域时，文字区域以达到最高图像质量的方式将优先度设定为最高，面部区域以达到高图像质量的方式而将优先度设定为仅次于其，除此之外的区域以达到标准图像质量的方式而设为非注目区域。以保护隐私的目的，显示有人物面部的区域可以以达到低图像质量的方式设定为低优先度，或设定为非注目区域。
图13是说明在原图像80中设定多个注目区域时的优先度设定例的图。如该图所示，在原图像80中设定2个注目区域81、83时，ROI优先度设定部19例如按照第1注目区域81(以下设为ROI1)、第2注目区域83(以下设为ROI2)、除此之外的非注目区域(以下称为非ROI)的顺序设定优先顺序，以便降低优先度。
ROI优先度设定部19根据设定过的优先度，决定在对应于非注目区域的小波变化系数即非ROI变换系数的位列中进行零置换的低位位S0；和在对应于多个注目区域的每一个的小波变换系数即ROI变换系数的位列中进行零置换的低位位数Si(i＝1，…，N；N是注目区域数)。
在图13的例子中，ROI优先度设定部19例如在原图像的小波变换系数由7位平面形成时，针对第1优先的注目区域ROI1，将零置换位数S1设定为0；针对第2优先的注目区域ROI，2将零置换位数S2设定为2；针对非注目区域，将零置换位数S0设定为4。即优先度越低，零置换位数取的越大。
图12的低位位零置换部24参照相对于由ROI掩码生成部20生成的各注目区域的ROI掩码，在不由ROI掩码进行掩码的非ROI变换系数的位列中，只将从最低位位开始数的S0位进行零置换，同时在由ROI掩码进行掩码的ROI变换系数的位列中，只将从最低位位开始数的Si位进行零置换。
在此，非ROI变换系数中的零置换位数S0、ROI变换系数中的零置换位Si分别由ROI优先度设定部19根据非注目区域及多个注目区域间的相对优先度来决定，是以小波变换系数的位平面数为上限的任意自然数，满足S0＞Si。ROI优先度设定部19通过改变该零置换位S0、Si，从而可连续调整相对于注目区域的非注目区域的再生图像质量的劣化程度、及多个注目区域间的再生图像质量的优劣。多个注目区域可保持对象物可以识别程度的图像质量地进行再生。
图14(a)～(c)是说明原图像的小波变换系数60的低位位由低位位零置换部24进行零置换的情况的图。图14(a)表示由量子化部12量子化后的小波变换系数60，包含7位平面，以斜线表示ROI变换系数。该图是在包含图1 3的2个注目区域ROI1、ROI2的原图像80的例子中，图示对应于P1-P2线上像素的小波变换系数的位列。
如图14(b)所示，低位位零置换部24将不由ROI掩码进行掩码的非ROI变换系数的LSB侧的S0位置换为零。在该例中，S0＝4，如符号64中所示，非ROI变换系数的LSB侧的4位被置换为零。而且，低位位零置换部24将由ROI掩码进行了掩码的ROI变换系数的LSB侧的Si位置换为零。在该例中，设定有2个注目区域ROI1、ROI2，各自的零置换位数S1、S2为S1＝0、S2＝2，如符号66所示，对应于ROI2的ROI变换系数LSB侧的2位被置换为零。这样，可得到由低位位零置换部24进行零置换后的小波变换系数62。
图12的平均信息量编码部14如图14(c)的箭头所示，从高位位平面依次扫描包含ROI变换系数和零置换后的非ROI变换系数的小波变换系数62，同时进行平均信息量编码。
而且，在原图像上不存在注目区域的情况下，将小波变换系数的低位位整体进行零置换并编码的处理与实施方式1相同。
编码数据生成部16将进行过平均信息量编码的数据与量子化幅度等编码参数一起进行流化，以作为编码图像输出。该编码图像包含再生时图像质量不同的多个区域，通过输出部提供给存储装置或网络等，由包含译码机构的图像显示装置进行译码并在画面上再生。
如实施方式1所说明的，在根据存储容量和传送速率的限制等而对最终编码图像数据大小设定有上限的情况下，平均信息量编码部14在从高位位平面依次进行编码时，有时在位平面中止编码，或在编码数据生成部16输出从高位平面依次进行流化的编码数据时，在位平面中间中止流输出。
这样，即使在编码图像的数据大小存在限制的情况下，在本实施方式中，也由于在低位位平面中，可以将对应于非注目区域及优先度低的注目区域的小波变换系数零置换，只有对应于优先度高的注目区域的小波变换系数作为有意义信息而成为编码对象，故低位位平面的压缩率高，即使编码到最低位位平面，数据大小也不会增大。
图15是说明在原图像80上设置的多个注目区域中存在重复时优先度设定的例子。如图所示，当在原图像80上设置2个注目区域81、83时，与图13的例子相同，ROI优先度设定部19设定第1注目区域81(ROI1)的零置换位数S1、第2注目区域83(ROI2)的零置换位数S2、除此之外的非注目区域(非ROI)的零置换位数S0。
低位位零置换部24在非ROI变换系数中从LSB侧将S0位置换为0，同时在对应于2个注目区域ROI1、ROI2的各自ROI变换系数中从LSB侧将Si位置换为零，但对于2个注目区域ROI1、ROI2的重复区域，优先应用优先度高的一方的注目区域的零置换位数Si。
图16是说明在设定于原图像上的多个注目区域中存在重叠，在注目区域内包含非注目区域的情况下的优先度设定例的图。如图所示，在原图像80中，设定第1注目区域81(ROI1)、第2注目区域83(ROI2)、第3注目区域85(ROI3)，按照该顺序优先度下降。形成ROI1在ROI2内、ROI2在ROI3内的嵌套结构，在ROI3的一部分中包含有非注目区域(非ROI)。而且，ROI3的外部也是非ROI。
此时，低位位零置换部24与图15的情况相同，对于重复区域，因适用优先度高的一方的零置换位数，故对于ROI1优先适用ROI1的零置换位数S1，对于ROI2(但除去ROI1)优先适用ROI2的零置换位数S2，对于ROI3(但除去ROI2)优先适用ROI3的零置换位数S3。但对于ROI3内部的非ROI，例外地适用非ROI的零置换位S0。这是因为当在注目区域内设定非注目区域时，以在非注目区域包含个人信息等理由，即使是注目区域内也有想使该区域模糊的目的的缘故。
图17(a)、(b)是说明在图16的例中，由低位位零置换部24零置换原图像的小波变换系数60的低位位的情况的图。图17(a)表示由量子化部12进行量子化后的小波变换系数60，包含7位平面，以斜线表示ROI变换系数。该图是在包含图16的3个注目区域ROI1-3原图像80的例中，图示对应于P1-P2线上像素的小波变换系数的位列。
图17(b)是由低位位零置换部24零置换后的小波变换系数62。与位于ROI3的外部和内部的非ROI对应的非ROI变换系数LSB侧的S0位被置换为零。在该例中，S0＝6。而且，对应于R0I1～3的ROI变换系数LSB侧的Si位被置换为零。在该例中，S1＝0、S2＝2、S3＝4。
在译码时，与实施方式1的图像译码装置210相同构成的图像译码装置，将由本实施方式的图像编码装置200编码的图像按照通常的JPEG2000的译码方式进行译码。译码后的图像包含图像质量不同的多个区域，通过输出部提供给图像显示装置等，在画面上进行再生。
如上所说明的，本实施方式的图像编码装置200在将非ROI变换系数进行零置换的同时，通过使对应于多个注目区域的ROI变换系数也只零置换对应于优先度的位数，从而使多个注目区域具有优先度并进行编码。而且，由于在多个注目区域间设定不同的优先度并编码，故在多个注目区域间可以具有再生图像质量的差异。
(实施方式4)图18是实施方式4涉及的图像译码装置220的构成图。在本实施方式中，输入图像译码装置220的编码图像是没有进行过ROI编码的通常编码图像。在实施方式2的图像译码装置220中，在译码时仅指定一个注目区域，但本实施方式的图像译码装置220在译码时指定多个注目区域，根据优先度对多个注目区域进行译码。对应与实施方式2相同构成附加相同符号，说明与实施方式2不同的构成和动作。
ROI选择部18选择图像上的多个注目区域，将表示各注目区域的ROI位置信息提供给ROI掩码生成部20。
当动态图像的编码帧被连续输入到图像译码装置220时，在从图像译码装置220输出的译码后的图像帧中指定或提取注目区域，也可以将指定或提取的注目区域作为下一个编码帧的注目区域来选择。这种情况下，也可以根据变化的程度来选择随时间变化的多个区域。例如，将变化最大的区域、变化次大的区域、除此之外的区域分别作为第1优先注目区域、第2优先注目区域、非注目区域来选择。
ROI掩码生成部20以ROI位置信息为基础，生成用于特定对应于各注目区域的小波变换系数即ROI变换系数的ROI掩码。ROI优先度设定部19设定各注目区域的优先度，根据该优先度决定非注目区域的零置换位数S0和各注目区域的零置换位数Si。低位位零置换部24参照ROI掩码，从由平均信息量译码部32进行译码后的小波变换系数内、非ROI变换系数的LSB侧开始将S0位份置换为零，同时从ROI变换系数的LSB侧开始将Si位份置换为零。
图19(a)～(c)表示由低位位零置换部24将编码图像译码后小波变换系数的低位位进行零置换的情况。图19(a)是进行过平均信息量译码的图像小波变换系数74，包含7位平面。在图19(b)中，用斜线表示对应于由ROI选择部18指定的多个注目区域的ROI变换系数。在该例中，设有2个注目区域ROI1、ROI2，ROI1的优先度高。图19(c)是由低位位零置换部24零置换后的小波变换系数76。在该例中，非ROI变换系数的低位4位被置换为零，ROI1的ROI变换系数原封不动，ROI2的ROI变换系数的低位2位被置换为零。
在简易再生中，在选择图像上的多个区域时，图像译码装置220针对由低位位零置换部24零置换了非注目区域的低位位和多个注目区域的至少1个低位位的状态的小波变换系数，译码到最低位的位平面，以再生图像。此时，因处理负荷变高，故也有时使彗差降低为15帧/秒等的状态或延迟再生状态，但可以根据优先度以高图像质量对多个注目区域进行再生。
这样，在选择多个注目区域时，非注目区域保持与简易再生同程度的品质，可以以对应于优先度的高品质对多个注目区域进行再生。
根据本实施方式的图像译码装置220，对没有被ROI编码的通常编码图像，在将对应于非注目区域的小波变换系数的低位位进行零置换的同时，通过根据优先度对对应于多个注目区域的小波变换系数的低位位进行零置换，从而可以根据优先度将多个注目区域的图像质量相对提高得比非注目区域还高，并进行编码。虽然为了以高品质再生整个图像而使运算量增加，但因在本实施方式中根据优先度对多个注目区域进行译码，故可抑制运算量增加。
(实施方式5)图20是实施方式5涉及的图像编码装置300的构成图。在本实施方式中，根据优先度对对应于多个注目区域的ROI变换系数进行尺度放大。对于与实施方式3不同的构成和动作进行说明。
ROI优先度设定部19设定由ROI选择部18选择的多个注目区域的优先度，根据该优先度决定对应于多个注目区域的各个ROI变换系数的尺度放大量Si。设定为优先度越高的注目区域，ROI变换系数的尺度放大量Si越大。
ROI尺度放大部22根据由ROI优先度设定部19确定的尺度放大量Si，尺度放大对应于各注目区域的ROI变换系数。
图21(a)、(b)是说明由ROI尺度放大部22尺度放大原图像的小波变换系数320的情况的图。图21(a)表示由量子化部12量子化后的小波变换系数320，包含7位平面，由斜线表示ROI变换系数。在该例中，设有3个注目区域ROI1、ROI2、ROI3，按照该顺序优先度降低。ROI优先度设定部19根据该优先度，将ROI1、ROI2、ROI3的尺度放大量S1、S2、S3分别设定为S1＝7、S2＝5、S3＝3。
图21(b)表示由ROI尺度放大部22进行尺度放大后的小波变换系数322。ROI尺度放大部22将ROI1的ROI变换系数只尺度放大7位，将ROI2的ROI变换系数只尺度放大5位，将ROI3的ROI变换系数只尺度放大3位。在尺度放大后的小波变换系数322中，对由尺度放大重新生成的位数充零值。这样，得到全体14位平面的小波变换系数322。
图22是实施方式5涉及的图像译码装置310的构成图。本实施方式的图像译码装置310对由图像编码装置300进行ROI编码后的图像进行译码。
编码数据提取部30从输入的编码图像提取编码数据、各种编码参数、ROI位置信息及尺度放大量。平均信息量译码部32在每个位平面对编码数据进行译码，并将得到的小波变换系数的量子化值存储到存储器中。
图23(a)表示平均信息量译码后的小波变换系数324。对应于图21(b)的例子，平均信息量译码后的小波变换系数324总共包含14位平面。ROI尺度缩小部40参照各注目区域的ROI掩码，根据由编码数据提取部30提取的各注目区域的尺度放大量Si，将各注目区域的ROI变换系数只尺度缩小Si位。在该例中，注目区域ROI1、ROI2、ROI3的尺度放大量分别为S1＝7、S2＝5、S3＝3，如图23(b)所示，ROI1、ROI2、ROI3的ROI变换系数分别只尺度缩小7位、5位、3位，由尺度缩小而剩余的位被废弃，总体得到7位平面的量子化小波变换系数326。
(实施方式6)图24是实施方式6涉及的图像显示装置400的构成图。图像显示装置400是将动态图像显示在显示器上的装置，作为一例，是DVD(digitalvideo disk)播放机、电视接收机、监视照相机等显示控制部。
编码块420将输入的原图像进行编码，并将编码后的图像存储在存储部440。输入到编码块420的原图像是动态图像帧，连续编码动态图像帧，并存储到存储部440。
编码块420具有实施方式1、3、5的任何一种图像编码装置200的构成，从区域选择部450接受设定于画面上的注目区域的信息，根据注目区域的优先度，对原图像进行压缩编码，生成注目区域的图像质量不同的编码图像。
译码块430从存储部440读出编码图像，进行译码并提供给显示部410。从存储部440读出的编码图像是动态图像的编码帧，编码帧被连续译码，并提供给显示部410。而且，译码块430可以经由无线或有线网络的通信接口取得编码图像，也可以经由接收广播电波的接收块取得编码图像。
译码块430具有实施方式1～5中任一种图像译码装置220的构成，对存储在存储部440的编码图像进行译码。在此，当在编码阶段已经选择注目区域并调整注目区域的图像质量时，直接进行译码，但当编码阶段没有选择注目区域时，译码块430从区域选择部450接收设定于画面上的注目区域的信息，优先译码注目区域，以生成注目区域的图像质量不同的译码图像。
显示部410从译码块430接收译码图像，并输出到显示器。在显示器画面上连续显示由译码块430译码的图像帧，再生动态图像。
区域选择部450在显示器的画面上选择注目区域。注目区域可由使用者自由地指定，也可预先设定于画面的中央和上部等。在区域选择部450中，可以设置使用者在画面上指定注目区域用的指定机构。例如，应用鼠标等指示器来指定区域，或应用触摸面板等触摸方式的显示装置来指定区域。区域选择部450从使用者接收注目区域的指定信息，或从显示部410接收预先设定的注目区域的指定信息，将该注目区域信息提供给编码块420、译码块430。
将由区域选择部450供给到编码块420、译码块430的注目区域的位置信息提供给各块的ROI选择部18，之后，在各块中注目区域被优先进行编码或译码。而且，也可以由区域选择部450选择非注目区域来代替注目区域，这种情况下，在编码块420及译码块430中，将非注目区域以外的区域作为注目区域而优先被编码或译码。
以上说明的本发明的实施方式1～6是示例，本领域的技术人员可以理解这些各构成要素或各处理过程的组合能形成各种变形例，这样的变形例也属于本发明的范围。以下示出这种变形例。
在上述实施方式中，仅对非ROI变换系数的低位位进行零置换，不全部进行ROI变换系数的尺度放大，但也可以组合实施ROI变换系数的尺度放大和非ROI变换系数的低位位的零置换。
在任何实施方式中，作为用于图像编码的空间滤波，说明了小波变换，但也可以应用其他空间频率变换。例如，即使在以JPEG标准应用的离散余弦变换的情况下，也可通过以同样方法对非注目区域变换系数的低位位进行零置换，从而牺牲非注目区域的图像质量来提高图像整体的压缩率，同时相对提高注目区域的图像质量。
通过将上述实施方式的图像编码装置及图像译码装置组装入监视照相机的信号处理部，从而可将应监视的注目区域优先进行编码或译码。由监视照相机拍摄并编码后的图像数据也可以经由网络来发送，此时，连接于网络的图像译码装置对从网络接收的编码图像数据进行译码并再生。
在上述说明中，将图像分为非注目区域和多个注目区域，也可以不作注目区域、非注目区域这一区别，将图像分为对应于优先度的多个区域。在上述实施方式中，因在非注目区域和多个注目区域中设有优先顺序，故实质上也可捕捉非注目区域和注目区域只不过存在优先度的不同，消除非注目区域和注目区域的区别，即使在优先度外划分区域时，也可进行同样的处理。
再者，本发明是涉及由编码图像数据流生成分辨率或图像质量不同的动态图像的技术。以下，说明本发明的更优选的实施方式。在实施方式中，作为图像处理，以译码依据Motion-JPEG2000的编码图像数据流的图像处理装置为例进行研究。
首先，参照图25，对根据Motion-JPEG2000方式编码动态图像的方法进行简单说明。图中未示出的图像编码装置以帧为单位对动态图像的各帧进行连续编码，以生成动态图像的编码数据流。当编码处理开始时，相当于动态画像的1帧的原图像OI(Original Image)1102被读入帧缓冲器中。被读入帧缓冲器的原图像OI由小波变换器进行分级。
JPEG2000中的小波变换器利用Daubechies滤波器。该滤波器在图像的x、y方向同时发挥高通滤波及低通滤波作用，将一个图像分割成4个频率部分波段。这些部分波段是在x、y两个方向上具有低频成分的LL部分波段；在x、y中的任何一个方向上具有低频成分、且在另一个方向上具有高频成分的HL部分波段及LH部分波段；和在x、y两个方向上具有高频成分的HH部分波段。而且，该滤波器在x、y两个方向上还同时具有将像素数减少为1/2的作用。也就是说，各部分波段的纵轴的像素数分别是处理前图像的1/2，通过一次滤波，分辨率即图像大小得到1/4部分波段图像。在本说明书中，针对原图像OI，将接受1次小波变换的图像称为第1级图像WI1，以下根据接受小波变换的次数称为第n级图像WIn。
如图25中所示意的，在第1级图像WI11104中，生成4个部分波段LL1、HL1、LH1、HH1。在第1级图像WI11104中实施小波变换，并生成第2级图像WI21106。在此，第2次以后的小波变换只对眼前级图像中LL部分波段成分实施。因此，在第2级图像WI21106中，第1级图像WI11104的LL1部分波段被分解为4个部分波段LL2、HL2、LH2、HH2。小波变换器执行规定次数的该滤波，输出各部分波段的小波变换系数。图像编码装置之后实施量子化等其他处理，最终输出编码图像数据CI(Coded Image)。
为了说明简单，在该例中，图像编码装置对原图像OI实施3次小波变换。因此，例如，如果原图像OI1102为1440×960像素，则第1级图像WI11104的LL1部分波段大小是720×480、第2级图像WI21106的LL2部分波段大小是360×240、第3级图像WI31108的LL3部分波段大小是180×120。
对于分级后的图像应注意的是原图像OI的低频成分在图25中在最左上出现。图25的情况下，第3级图像WI3的左上角的LL3部分波段是最低频率，反之，只要能获得该LL3部分波段，就可以再现原图像OI最基本的性质。该发现在以下的实施方式中被利用。
编码数据流，除Motion-JPEG2000以外，例如可以是在1个流中同时具有高图像质量的HD流和低图像质量的SD流的SVC(Scalable VideoCodec)，也可以是Motion-JPEG。在JPEG中，由于各帧从付里叶系数的低次项被传送来，故可以通过应用并译码到任何次数项来选择图像质量。
(实施方式7)实施方式7是接受由分辨率分级的编码图像数据流并能向多个显示装置提供不同分辨率的动态图像的图像处理装置。
图26表示实施方式7涉及的图像处理装置1100的构成。该构成在硬件上可由任意计算机的CPU、存储器、其他LSI来实现，在软件上可由装载在存储器中的具有译码功能的程序等来实现，但在此描述由这些的协同来实现的功能块。因此，本领域的技术人员可以理解这些功能块可以只由硬件、只由软件或由这些的组合，以各种形式来实现。
在图像处理装置1100的译码单元1150中，输入编码图像数据CI的流。译码单元1150包括接受编码图像数据CI并分析该数据流的流分析部1010；对分析结果判明的应译码的数据列，实施算术译码的算术译码部1012；将该结果得到的数据按照每个颜色成分以位平面的形式进行译码的位平面译码部1014；将译码后的量子化数据进行逆量子化的逆量子化部1018；和对逆量子化结果得到的第n级图像Win实施小波逆变换的小波逆变换部1020。每次由小波逆变换部1020对编码图像数据CI实施小波逆变换，可得到更高位级的图像，最终可得到译码图像数据DI(DecodedImage)。
本实施方式具有以下特征在小波逆变换部1020中，将在得到译码图像DI的小波逆变换过程中产生的第n级图像输出到低分辨率帧缓冲器1030。图像处理装置1100进行动作，以便对显示低分辨率的低分辨率显示装置1036及显示高分辨率的高分辨率显示装置1046提供具有各自分辨率的图像数据。因此，存储器控制部1022取得由低分辨率显示装置1036及高分辨率显示装置1046显示的动态图像的分辨率信息，判断对编码图像CI实施几次小波变才与各自的分辨率相当，并将该结果传送到小波逆变换部1020。小波逆变换部1020根据该信息，将小波逆变换处理过程中的第n级图像WIn的LL部分波段、或作为完全译码结果的译码图像数据DI写入到低分辨率帧缓冲器1030或高分辨率帧缓冲器1040中。关于该动作，参照图29在后面叙述。而且，低分辨率帧缓冲器1030和高分辨率帧缓冲器1040简单地进行区别，不一定需要具有不同规模的缓冲器。
写入低分辨率帧缓冲器1030的图像数据由低分辨率显示电路1032生成显示信号，并显示在低分辨率显示装置1036上。同样，写入高分辨率帧缓冲器1040的图像数据由高分辨率显示电路1042生成显示信号，并显示在高分辨率显示装置1046上。这样，根据图像处理装置1100，应用编码图像数据流，可将分辨率不同的动态图像同时显示在多个显示装置上。
低分辨率显示电路1032或高分辨率显示电路1042的任何一个，或这两个还可备有分辨率变换部1034、1044。据此，当由译码单元1150的小波逆变换处理得到的分辨率与各显示装置1036、1046显示的动态图像的分辨率不同时，译码到具有最近分辨率级的图像，之后，可以由分辨率变换部1034、1044变换为所希望的分辨率。这些分辨率变换部1034、1044是可任选的，如果不希望显示具有由小波变换处理得到的分辨率以外的分辨率的动态图像，则低分辨率显示电路1032或高分辨率显示电路1042也可不具有各自的分辨率变换部1034、1044。
图27表示译码单元1150的处理顺序。在此说明如上所述，对原图像OI实施3次小波变换的编码图像数据流被提供给图像处理装置110。
首先，输入图像处理装置1100的编码图像数据CI经过流分析部1010、算术译码部1012、位平面译码部1014及逆量子化部1018，恢复第3级图像WI31122的状态。接着，通过根据小波逆变换部1020的第1次小波逆变换得到第2级图像WI21124；通过2次小波逆变换得到与第1级相当的图像WI11126；最后，通过3次小波逆变换得到译码图像DI1128。
但是，如上所述，各级的LL部分波段是提取该级图像中的低频成分而形成的，而且，大小是前面级图像的1/4，因此，这些与原图像OI相比，可以说是低分辨率的图像。因此，作为一例，将通过2次小波逆变换得到的第1级图像WI11126的LL1部分波段(720×480)作为低分辨率的图像数据输出到低分辨率帧缓冲器1030；可将通过3次小波逆变换得到的译码图像DI(1140×960)作为高分辨率图像数据输出到高分辨率帧缓冲器1040。由于通过实施小波变换，图像的x、y方向大小分别变为1/2，故由图像编码装置的小波变换实施的小波变换次数越多，就越可以对应于具有更多种类分辨率的动态图像的显示。
图28是说明由各帧生成分辨率不同动态图像的概念图。根据来自存储器控制部1022的指令，小波逆变换部1020对各编码图像帧实施必要的译码处理，并将低分辨率的图像输出到低分辨率帧缓冲器1030，将高分辨率的图像输出到高分辨率帧缓冲器1040。于是，通过将低分辨率或高分辨率的图像以所期望的帧速率连续输出，从而可由同一编码图像数据流形成低分辨率或高分辨率的动态图像。
图29是说明存储器控制部1022的动作的流程图。首先，存储器控制部1022取得由低分辨率显示装置1036及高分辨率显示装置1046显示的动态图像的分辨率信息(S10)。代替其，也可以由使用者输入以各自显示装置显示的动态图像的分辨率信息。其次，存储器控制部1022判定由低分辨率显示装置1036显示的低分辨率图像，相对编码图像CI，相当于第几级的LL部分波段(S12)。接着，存储器控制部1022判定由高分辨率显示装置1046显示的高分辨率图像，相当于第几级图像的LL部分波段还是相当于完全译码后的译码图像DI(S14)。而且，存储器控制部1022，向小波逆变换部1020发出指令，以便在得到分别在S12及S14中判定的级的图像的小波逆变换处理结束时，将部分波段图像LL或译码图像DI写入低分辨率帧缓冲器1030或高分辨率帧缓冲器1040(S16)。当然，在应从图像处理装置输出图像数据的显示装置只有1个的情况下，可采用低分辨率帧缓冲器1030或高分辨率帧缓冲器1040的任何一方。
如上所述，在JPEG2000中，因LL部分波段的分辨率相对原图像纵向减少1/2、横向减少1/2，故有时也出现不能得到与所希望的显示装置的分辨率一致的适合的分辨率图像的情况。因此，当存储器控制部1022判定在S12或S14中不能得到适合的分辨率时，可以向分别设置于低分辨率显示电路1032或高分辨率显示电路1042的分辨率变换部1034、1044发出指令，执行适合分辨率的插补处理。
再者，图像处理装置1100也可以通过增加帧缓冲器数量，从而在三台以上的显示装置中显示各自不同的分辨率的动态图像。例如，如果使用上述例子，可以分别将由1次小波逆变换得到的第2级图像WI21124的LL2部分波段(360×240)输出到低分辨率帧缓冲器；将由2次小波逆变换得到的第1级图像WI11126的LL1部分波段(720×480)输出到中分辨率帧缓冲器；将由3次小波逆变换得到的译码图像DI1128(1440×960)输出到高分辨率帧缓冲器。由对应的显示电路可将低分辨率、中分辨率、高分辨率的动态图像显示在显示装置上。
如以上所说明的，根据本实施方式7，应用单一的编码图像数据流，可同时将分辨率不同的动态图像显示在2个以上的显示装置上。相对于现有的根据目的分辨率进行每次译码的情况，可通过将译码处理过程中的分级图像输出到帧缓冲器，从而以单一的译码单元生成多个分辨率的图像数据，提高了效率。
(实施方式8)图30表示实施方式8所涉及的图像显示装置1200的构成。图像显示装置1200具有显示器、投影仪等显示高分辨率动态图像的第1显示装置1222和显示低分辨率动态图像的第2显示装置1224、这2个显示装置。
处理块1210的图像译码器1212与CPU1214及存储器1216协同，对输入的编码图像数据流进行连续译码。图像译码器1212具有实施方式7的图像处理装置1100的构成。而且，高分辨率的图像数据通过显示电路1218被输出到第1显示装置1222，低分辨率的图像数据通过显示电路1220被输出到第2显示装置1224。在各画面上由图像译码器1212译码的图像数据按照所给出的帧速率被连续显示，并再生动态图像。处理块1210可以经由无线或有线网络通信接口来取得编码图像数据流，也可以经由接受广播电波的接收块来取得编码图像数据流。
由该图像显示装置1200例如可以实现以下的动作。
1.飞机上的机舱内放映在飞机的机舱内，当在机舱的前方备有大画面的屏幕、在各座位的阿背面备有个人用小型液晶显示器时，只准备单一的编码图像数据流，即可在屏幕和液晶显示器两方上再生动态图像。
2.展示(presentation)在展示时，只要准备单一的编码图像数据流，就能在由投影仪投影的大画面屏幕和PC画面两方上再生动态图像。
3.双画面移动电话通过在具有主显示器和副显示器的移动电话机中组装入上述画面显示装置，从而可接收单一的编码图像数据流，并可在主显示器和副显示器双方上再生动画内容。
而且，图像显示装置1200根据目的，当然还可以具有3个以上分别显示分辨率不同的动态图像的显示装置。
(实施方式9)实施方式9是在将根据分辨率及图像质量被分级的图像流译码并显示在显示装置上的图像处理装置中，当由使用者发出使图像的一部分区域的图像质量提高的指令时，进行控制，以使处理量不超过图像处理装置的最大能力的图像处理装置。
图13是表示实施方式9涉及的图像处理装置1300的构成图。图像处理装置1300包括输入编码图像数据CI的流，对图像进行译码的译码单元1310；和执行由使用者指定图像中的注目区域相关的处理的区域指定单元1320。包含于译码单元1310的流分析部1010、算术译码部1012、位平面译码部1014、逆量子化部1018、小波逆变换部1020与实施方式7中所述的相同。
由译码单元1310译码的图像数据通过显示电路显示在显示装置1062上。使用者应用图中未示出的指示器等输入装置，指定想在图像中提高图像质量并再生的区域(以下将其称为“注目区域ROI(Region of Interest)”)。于是，区域指定单元1320中的位置信息形成部1050生成表示注目区域ROI的位置的ROI位置信息。该ROI位置信息，在注目区域ROI被指定为矩型时，由矩形区域左上角的像素座标值和矩形区域的纵轴像素数给出。在以圆等来进行使用者的注目区域指定时，也可以将其外接长方形设定为注目区域。注目区域通常也可以被设定为原图像的中心区域等预先确定的区域。
判定部1052根据生成的ROI位置信息，计算提高注目区域的图像质量所需的数据处理增加量，并判断当前时点的处理量和增加的整个译码处理的处理量是否在图像处理装置1300的最大处理能力以内。图像质量指示部1054根据该判定结果，决定是否允许提高注目区域的图像质量，或降低注目区域以外的区域(以下将其称为“通常区域”)的图像质量，并将该指示输出到ROI掩码生成部1056。其处理的详细情况参照图35或38将在后叙述。
ROI掩码生成部1056以来自位置信息形成部1050的ROI位置信息为基础，生成用于特定对应于小波变换系数中的注目区域部分的ROI掩码。生成的ROI掩码通过低位零置换部1058，被用于调整上述小波变换系数的位列中置换为零值的低位位数。通过将其进行逆小波变换，从而可得到提高注目区域图像质量后的图像。关于此将在后面叙述。
在此，参照图32(a)～(c)，对由ROI掩码生成部1056以ROI位置信息为基础生成ROI掩码的方法进行说明。如图32(a)所示，在由图像处理装置1300译码并显示的图像1080上，由使用者指定注目区域1090。ROI掩码生成部1056在各部分波段中特定还原图像1080上选择的注目区域1090所必要的小波变换系数。
图32(b)表示通过对图像1080只进行1次小波变换而得到的第1级变换图像1082。第1级变换图像1082由第1层次的4个部分波段LL1、HL1、LH1、HH1构成。ROI掩码生成部1056在第1层次的各部分波段LL1、HL1、LH1、HH1中特定还原图像1080的注目区域1090所必要的第1级变换图像1082上的小波变换系数(以下将其称为“ROI变换系数”)1091～1094。
图32(c)表示通过对图32(b)的变换图像82的部分波段LL1进一步进行小波变换而得到的第2级变换图像1084。第2级变换图像1084如图所示，除第1层次的3个部分波段HL1、LH1、HH1外，还包括第2层次的4个部分波段LL2、HL2、LH2、HH2。ROI掩码生成部1056在第2层的各部分波段LL2、HL2、LH2、HH2中特定还原第1级变换图像1082的部分波段LL1的ROI变换系数1091所必要的第2级变换图像1084的小波变换、即ROI变换系数1095～1098。
同样，通过只以小波变换的次数在各级递归特定对应于注目区域1090的ROI变换系数，从而在最终级的变换图像中，可以特定所有还原注目区域1090所必要的ROI变换系数。ROI掩码生成部1056在最终级的变换图像上生成用于特定该最终特定ROI变换系数位置的ROI掩码。例如，当只进行2次小波变换时，生成可特定图32(c)中虚线所示的7个ROI变换系数1092～1098的位置的ROI掩码。
其次，参照图33、34，对使注目区域高图像质量化的方法进行说明。而且在此，如图33(a)所示，编码图像数据CI由从MSB(Most SignifcantBit)到LSB(Least Significan Bit)的5位平面构成。
图像处理装置1300在没有由使用者指定注目区域的通常情况下，为了减轻处理负荷，进行适当废弃并再生小波变换系数的低位位平面的简易再生。将此时的图像质量叫作“中图像质量”。此时，低位零置换部1058如图33(b)所示，将由位平面译码部1014译码的位平面中、例如低位2位部分置换为零，并只对3位平面进行译码。为了由该状态只提高注目区域图像质量，可以只对注目区域译码更多的位平面。
图34(a)～(c)表示提高注目区域的图像质量的处理的一例。如图34(a)所示，在简易再生时，通过低位零置换部1058从LSB侧卡开始低位2位被零置换。ROI掩码生成部1056，如果由使用者指定注目区域，则生成对应于该注目区域的ROI掩码。将其情况由图34(b)的斜线表示。于是，如图34(c)中所示，低位零置换部1058，参照ROI掩码，并生成只将没有被ROI掩码的非ROI部分的低位2位置换为零的小波变换系数。
逆量子化部1018将生成的小波变换系数进行逆量子化，小波逆变换部1020对逆量子化后的小波变换系数进行逆变换。据此，得到只有注目区域ROI被提高了图像质量的图像数据。
接着，参照图35的流程，说明判定部1052的处理。作为前提，在使用者没有指定注目区域的通常情况下，以上述的中图像质量显示动态图像。
首先，判定部1052从位置信息生成部1050接收注目区域的ROI位置信息(S30)。其次。根据ROI位置信息计算出注目区域的面积(或像素数)，并计算图像处理装置1300的整体译码处理量P(S32)。
在此，译码处理量P可以由(各图像质量的处理量)×(各图像质量的面积)的总和表示。如果将低图像质量时的每单位面积处理量设为lL，将中图像质量时的每单位面积处理量设为lM，将高图像质量时的每单位面积处理量设为lH，将图像整体面积设为S，则通常时的译码处理量为P＝lM·S(1)将由使用者指定的注目区域的面积设为sH，可由下式计算提高该注目区域图像质量时的译码处理量PP＝lH·sH+lM(S-sH)(2)判定部1052判定由式(2)计算出的译码处理量P是否超过图像处理装置1300在1帧期间内可以处理的上限处理能力Pmax(S34)。如果译码处理量P在上限处理能力Pmax以下(S34的否)，则图像质量指示部1054允许注目区域提高图像质量(S36)。如果译码处理量P超过上限处理能力Pmax(S34的是)，则由于在图像处理装置1300中未剩余只高图像质量译码的处理能力，因此，图像质量指示部1054不允许注目区域提高图像质量(S38)。
图36(a)、(b)是在图35的流程的S34中，示意性显示在判定译码处理量P为上限处理能力Pmax以下时的画面的情况。在图中，「L」表示低图像质量的区域、「M」表示中图像质量的区域、「H」表示高图像质量的区域。如图36(a)所示，当以中图像质量对整体图像进行译码时，如果使用者在画面中指定注目区域，则如图36(b)所示，仅注目区域被提高图像质量(H)，除此之外的通常区域原封不动地保持中图像质量(M)。
如以上所说明的，根据本实施方式的图像处理装置，在译码显示的图像中，如果使用者指定要以高图像质量再生的区域，则在图像处理装置的译码处理能力存在余量时，注目区域被提高图像质量；当译码处理能力不存在余量时，注目区域不被提高图像质量。
这样，如果指定注目区域，则通常区域直接以与简易再生同程度的品质，可以以更高品质仅对注目区域进行再生。这如监视图像所示，在通常时不要求高品质、只在异常时想以高品质再生注目位置的情况下特别有用。
其次，如果提高注目区域的图像质量，则参照图37(a)～(c)来说明图像处理装置1300的处理能力不足时的处理的另一例。
如图37(a)所示，在简易再生时，由低位零置换部1058从LSB侧开始低位2位被零置换。ROI掩码生成部1056，如果使用者指定注目区域，则生成对应于该注目区域的ROI掩码。由图37(b)的斜线表示该情况。本次注目区域的面积比图34(b)的情况还多，若提高注目区域质量，则图像处理装置1300的处理能力不足。此时，如图37(c)所示，低位零置换部1058，参照ROI掩码，对于未ROI掩码的非ROI部分，生成不是将低位2位而是将低位3位置换为零的小波变换系数。
于是，逆量子化部1018将生成的小波变换系数进行逆量子化，小波逆变换部1020对逆量子化后的小波变换系数进行逆变换。据此，可得到注目区域ROI被提高图像质量、通常区域被降低图像质量的图像数据。这样，在提高了被ROI掩码的注目区域的图像质量、即增加了位平面数的情况下，在图像处理装置的处理能力不足时，通过减少未被ROI掩码的通常区域的位平面数，从而取得图像处理装置整体的处理量的平衡。
接着，参照图38的流程，说明托提高注目区域图像质量、则图像处理装置1300的处理能力不足时的判定部1052的处理。与图35的情况相同，在使用者未指定注目区域的通常情况下，以上述的中图像质量显示动态图像为前提。
接收注目区域(S50)及图像处理装置1300的整体译码处理量P的计算(S52)与图35的S30、S32相同。判定部1052判定在S52中计算出的译码处理量P是否超过图像处理装置1300在1帧期间内可以处理的上限处理能力Pmax(S54)。如果译码处理量P在上限处理能力Pmax以下(S54的否)，则图像质量指示部1054允许注目区域提高图像质量(S64)。
当译码处理量P超过上限处理能力Pmax时，判定部1052计算满足下式的处理量，并决定通常区域的图像质量(S56)。
P＝lH·sH+lL(S-sH)(3)于是，图像质量指示部1054针对使用者，在显示装置上显示是否允许降低注目区域以外的通常区域的图像质量的警告画面(S58)。当使用者由图中未示的输入装置表达不允许的意思时(S60的否)，图像质量指示部1054不允许提高注目区域的图像质量(S66)。当使用者表示允许的意思时(S60的是)，图像质量指示部1054在提高注目区域的图像质量的同时，发出降低通常区域图像质量的指示(S62)。据此，译码处理量P变为上限处理能力Pmax以下。
图39(a)、(b)是示意性表示在图38流程的S60中、使用者容忍注目区域以外的通常区域图像质量降低时的画面的情况。如图39(a)所示，在以中图像质量(M)对整个图像进行译码时，如果使用者在画面中指定注目区域，则如图39(b)所示，在注目区域被提高图像质量(H)的同时，除此之外的通常区域被降低图像质量(L)。
在该实施例中，若使用者指定希望以高图像质量再生的注目区域，则在增加其注目区域的译码处理量并提高图像质量的同时，通过降低注目区域以外的通常区域的译码处理量，从而可将图像处理装置整体的处理量降为上限处理能力以下。据此，不增加图像处理装置的处理量，即可以高图像质量对使用者关心的某区域进行再生。而且，可避免因译码处理量超过图像处理装置的能力而产生的彗差降落的产生。
作为另外的实施例，当使用者指定了注目区域时，注目区域的图像质量也可以直接维持中图像质量、并使注目区域以外的通常区域降为低图像质量。这种情况下，低位位零置换部1058通过对对应于非ROI区域的小波变换系数的低位位进行零置换，从而可将注目区域的图像质量相对提高得比通常区域还高，以进行译码。该情况示于图40中。如图40(a)所示，在以中图像质量(M)对整图像进行译码时，若使用者在画面中指定注目区域，则如图40(b)所示，注目区域原封保持中图像质量，通常区域被降低图像质量(L)。由此得到只有注目区域清晰的显示画面，故使用者的主观品质增加。
在以上的说明中，将图像质量设为高中低3个等级进行了说明，当也可以根据零置换的低位位数而有其以上的图像质量等级。
使用者指定的注目区域也可以是多个。当指定2个注目区域时，图像质量指示部1054可以根据译码处理量，提高一个注目区域的图像质量，原封保持另一个区域的图像质量不变。代替由使用者指定，注目区域可由位置信息形成部1050，通过自动提取显示有人物和文字的区域等重要区域而设定。
按照使注目区域为高图像质量时的判定，在译码处理量超过上限处理能力Pmax时，图像质量指示部1054也可以对译码单元1310发出指令，以使输出的动态图像的帧速率降低。据此，降低图像处理装置整体的每单位时间的译码处理量，故尽管时间分辨率降低，但也可形成注目区域的高图像质量。
(实施方式10)图41是实施方式10涉及的图像处理装置1400的构成图。图像处理装置1400将动态图像显示在显示器等显示装置中，作为一例，相当于电视接收机、监视照相机等显示控制装置。
处理块1410内的图像译码器1412与CPU1414及存储器1416协同，对输入的编码图像数据流连续进行译码。图像译码器1412具有实施方式9的图像处理装置1300的构成。而且，处理块1410可经由无线或有线网络通信接口，以取得编码图像数据流，还可以经由接收广播电波的接收块取得编码图像数据流。
显示电路1418从处理块1410取得译码图像，并输出到显示装置1420。显示装置1420连续显示译码奇偶的图像帧，以再生动态图像。
使用者应用指示器等输入装置1424指定在显示装置1420中显示的图像中的注目区域，或利用触摸面板等接触式显示设备指定注目区域。注目区域的信息通过接口1422被输入到处理块1410中。处理块1410取得注目区域的信息并生成使注目区域图像质量不同的译码图像。
根据该图像显示装置1410，对于来自电影和监视照相机的图像，可只高质量显示使用者选择的区域。
(实施方式11)本发明的实施方式11是一种图像显示装置，其接受根据分辨率而被分级的编码图像数据流，用译码单元连续对各编码帧进行译码，对显示低分辨率动态图像的显示装置、和显示高分辨率动态图像的显示装置双方提供动态图像数据，其中在任何一方的显示装置中，当使用者发出使图像一部分区域的图像质量提高的指令时，在低分辨率的动态图像和高分辨率的动态图像双方执行图像质量的提高。
图42表示实施方式11涉及的图像显示系统1500的构成。关于显示电路1218、1220、第1显示装置1222及第2显示装置1224，因与实施方式8相同，故赋予相同的符号。译码单元1512及区域指定单元1514采取与图31所示的实施方式9的译码单元1310及区域指定单元1320同样的构成。
图像处理装置1510的译码单元1512对输入的编码图像数据流连续译码。而且，高分辨率图像数据通过帧缓冲器1516、显示电路1218被输出到显示高分辨率动态图像的第1显示装置1222，低分辨率图像数据通过帧缓冲器1518、显示电路1220被输出到显示低分辨率动态图像的第2显示装置1224。该处理按照实施方式7所示的顺序执行。而且，在第1显示装置1222及第2显示装置1224中，译码的图像数据以规定的帧速率被连续显示，以再生动态图像。图像处理装置1510可以经由有线或无线的网络通信接口取得编码图像数据流，也可以经由接收广播电波的接收块取得编码图像数据流。
使用者使用指示器等输入装置1524，指定在第1显示装置1222或第2显示装置1224上显示的图像中的注目区域，或利用触摸屏等接触式显示设备指定注目区域。注目区域的信息通过接口1522被输入到图像处理装置1510中。区域指定单元1514接受注目区域的信息，并判定是否应提高注目区域的图像质量，并将其结果传送到译码单元1512。译码单元1512根据判定结果，分别对高分辨率的图像数据及低分辨率的图像数据，生成在注目区域和其以外通常区域之间形成差异的图像数据。该处理按照实施方式9所示的顺序执行。以下，与上述相同，在第1显示装置1222、第2显示装置1224中再生动态图像。
根据该实施方式，当在多个显示装置上同时显示分辨率不同的动态图像时，若在任何一个显示装置中指定注目区域，则在其他装置中也可提高注目区域的图像质量。例如，在展示中，当在由投影仪投影的大画面屏幕和PC画面双方上再生动态图像时，可进行将要强调的图像告诉参加者这样的演出。另外，在监视照相系统中，当将同一监视图像流显示在多个监视室的显示器上时，也可以提醒其他监视员应注意的图像区域。
而且，图像显示系统1500根据目的，当然可具有3个以上分别显示分辨率不同的动态图像的显示装置。
以上所说明的本发明实施方式7至11是示例，本领域的技术人员可以理解为这些各构成要素或处理过程的组合能够进行各种变形例，而且这样的变形例也属于本发明的范围。
即使在任何一种实施方式中，作为用于图像编码的空间滤波，都说明了小波变换，但也可以采用其他的空间频率变换。例如，即使在JPEG标准中所应用的离散余弦变换的情况下，通过以同样方法对通常区域的变换系数的低位位进行零置换，从而可相对提高注目区域的图像质量，另一方面，通过牺牲通常区域的图像质量，从而可以减小图像处理装置整体的处理量。
权利要求
1.一种图像编码方法，其特征在于，用于对在动态图像上定义的注目区域进行特定的信息被记述在包含所述动态图像的编码数据的编码流中。
2.根据权利要求1所述的图像编码方法，其特征在于，当在所述动态图像上定义有多个注目区域时，所述用于特定所述注目区域的信息包括优先度。
3.根据权利要求1所述的图像编码方法，其特征在于，按照在所述动态图像上定义的所述注目区域的图像质量不同于其他区域的方式对所述动态图像进行编码。
4.根据权利要求3所述的图像编码方法，其特征在于，当在所述动态图像上定义有多个注目区域时，所述用于特定所述注目区域的信息包括各自的优先度；按照在所述动态图像上定义的所述多个注目区域的图像质量根据各自的优先度而相互不同的方式对所述动态图像进行编码。
5.一种图像编码方法，其特征在于，用于对在图像上定义的多个注目区域进行特定的信息被记述在包含所述图像的编码数据的编码流中。
6.根据权利要求5所述的图像编码方法，其特征在于，所述用于特定所述多个注目区域的信息包括各个所述注目区域的优先度。
7.根据权利要求5所述的图像编码方法，其特征在于，按照所述多个注目区域的图像质量相互不同的方式对所述图像进行编码。
8.根据权利要求6所述的图像编码方法，其特征在于，按照所述多个注目区域的图像质量根据各自的优先度而相互不同的方式对所述图像进行编码。
9.一种图像编码装置，其特征在于，包括选择单元，选择动态图像上的注目区域；编码单元，对所述动态图像进行编码；和生成单元，生成编码流，该编码流包括编码动态图像和用于特定所述注目区域的信息。
10.根据权利要求9所述的图像编码装置，其特征在于，当在所述动态图像上定义有多个注目区域时，在所述用于特定所述注目区域的信息中包括各自的优先度。
11.根据权利要求9所述的图像编码装置，其特征在于，所述编码单元，按照在所述动态图像上定义的所述注目区域的图像质量与其他区域不同的方式对所述动态图像进行编码。
12.根据权利要求11所述的图像编码装置，其特征在于，当在所述动态图像上定义有多个注目区域时，所述用于特定所述注目区域的信息包括各自的优先度；所述编码单元，按照在所述动态图像上定义的所述多个注目区域的图像质量相互不同的方式对所述动态图像进行编码。
13.一种图像编码装置，其特征在于，包括选择单元，选择图像上的多个注目区域；编码单元，对所述图像进行编码；和生成单元，生成编码流，该编码流包括编码图像和用于特定所述多个注目区域的信息。
14.根据权利要求13所述的图像编码装置，其特征在于，所述生成单元，按照包括各个所述注目区域的优先度的方式生成所述编码流。
15.根据权利要求13所述的图像编码装置，其特征在于，所述编码单元，按照在所述图像上定义的所述多个注目区域的图像质量相互不同的方式对所述图像进行编码。
16.根据权利要求14所述的图像编码装置，其特征在于，所述编码单元，按照在所述图像上定义的所述多个注目区域的图像质量根据各自的优先度而相互不同的方式对所述图像进行编码。
全文摘要
本发明提供一种图像编码装置，包括选择单元，选择动态图像上的注目区域；编码单元，对所述动态图像进行编码；和生成单元，生成编码流，该编码流包括编码动态图像和用于特定所述注目区域的信息。
文档编号H04N1/41GK101072354SQ20071010885
公开日2007年11月14日 申请日期2005年2月5日 优先权日2004年2月9日
发明者武田和彦, 冈田茂之 申请人:三洋电机株式会社