专利名称：图像处理装置的制作方法
技术领域：
本发明涉及将图像数据变换到频带并进行压缩编码的图像处理装置，或者对变换到频带并进行了压缩编码的图像数据进行展开解码的图像处理装置。
背景技术：
近年的数字摄像机或数字静止照相机的摄像元件的灵敏度也高，可以将数字变换时的自动增益控制(AGC)的最高增益设定得非常高。
在这样的系统中，即使是被摄物体的色温略微偏离预先设定的摄像元件色温，由于根据被摄物体的照明度(illuminance)而进行的增益的设定的高低，也很可能明显地出现彩色平衡破坏的情况。结果，在低照明度的图像中，发生由噪声成分引起的不自然的着色。相反，在高照明度的图像中，发生本来白色的部分却带上蓝色或红色的各种现象。因此，在以往的照相机中，对色度(chrominance)信号处理系统进行颜色抑制处理，以避免不自然的着色现象。
在这样的照相机中，通常，在照相机处理电路内用非线性色度信号处理装置对色度数据施加根据照明度的颜色抑制处理之后，进行伽马校正等，校正成适合于显示系统特性的数据。另一方面，对亮度数据进行与色度数据的颜色抑制处理相应的校正。
这里，图15表示以往的数字摄像机(也可以是数字静止照相机)的概略结构，图16表示非线性色度处理电路340的概略结构。
在图15中结构为，用透镜·摄影系统300拍摄被摄物体而得到的电信号被输入到照相机处理电路310中。在照相机处理电路310内，电信号由A/D转换电路320进行数字转换，由成分变换电路330进行成分分割成亮度数据(Y)和色度数据(C)，然后，由后面所述的非线性色度处理电路340处理之后，由校正电路350校正亮度数据和色度数据。进而，照相机处理电路310的输出可由压缩编码电路360进行压缩编码，并记录到记录介质370。
下面，在图16中说明非线性色度处理电路340的结构。对于输入图像信号中的亮度数据，由低通滤波器341抽取出低频成分。由照明度检测单元342从抽取出的低频成分中检测出图像的照明度。
在亮度数据中，包含表示像画面的一部分较亮那样的亮度变化剧烈的部分的数据和表示画面整体的亮度的数据。前者的数据包含较多高频成分，后者的数据包含较多低频成分。从而，如前所述，画面的照明度能够通过抽取出亮度数据的低频成分并与预定值进行比较来进行检测。
这里，图17A、17B、17C表示亮度数据的频率分布的示意图。图17B是通常的图像，图17A是照明度高的图像，图17C是照明度低的图像。通常，即使照明度降低，高频部分的数据(明暗变化剧烈的部分)也不会表现为像低频那样变化。由该图还可知，用低频数据(图中的斜线部分)来检测照明度是有效的。
下面，使用图16说明图17C那样低照明度时的动作。照明度检测单元342在亮度数据的低频成分小于预定值时就检测为低照明度，并控制色度数据的增益校正单元343如图18所示那样，使得在照明度小于预定值的区域中，减小色度成分的影响(减小增益)。通过该处理，将色度数据限制成特定的颜色(通常为非彩色(achromaticcolor))。校正信号生成单元344生成用于实现该特定的颜色成为非彩色那样的彩色平衡的亮度数据的校正信号并进行输出。
这样，由于本来对低照明度的图像由AGC设定了高增益，所以噪声成分也放大了，若该噪声成分包含在色度数据中，将发生被摄物体中本来不存在的不自然的色斑(color-unevenness)，但是，通过上述处理，如果对小于预定值的照明度施加了将色度电平限制(抑制)成一样的非线性处理，就不发生不自然的色斑，成为仅有亮度数据的明暗的图像，所以可得到在视觉上良好的图像数据。
下面，使用图16说明图17A所示的高照明度时的动作。照明度检测单元342在亮度数据的低频成分大于预定值时就检测为高照明度，并控制色度数据的增益校正单元343如图18所示那样使得在照明度小于预定值的区域内，减小色度成分的影响(减小增益)。通过该处理，将色度数据限制成特定的颜色(通常为白色)。校正信号生成单元344生成用于实现该特定的颜色成为白色的彩色平衡的亮度数据的校正信号并进行输出。
这样，由于本来对高照明度的图像由AGC设定了低增益，所以色度数据的电平本身就大，因色温的变化引起的微小的白平衡的紊乱就加剧，将发生带蓝或带红等奇怪的色偏(color drift)，但是，通过上述处理，如果对大于预定值的照明度施加了将色度电平限制(抑制)成一样的非线性处理，就不发生不自然的着色，成为仅是亮度数据的明暗的图像，所以可得到视觉上良好的图像数据。
但是，由于相对低频的信号电平高频的噪声成分增大，就存在发生低照明度时的色斑的问题。作为其对策，在上述结构中为了抵消因高频的噪声成分引起的变动，将全频带的信号电平都限定成一样。结果，对本来在低照明度下也应有颜色的被摄物体，也进行了非彩色的图像校正。
另外，低频的信号电平的绝对值较大，所以微小的色偏受到太大的影响，而发生高照明度时的偏色(color shift)的问题。作为其对策，在上述结构中为了抑制低频信号电平，将全频带的信号电平限定成一样。结果，对本来在高照明度时应有颜色变化的被摄物体也进行了白色的图像校正。
即，在以往的方法中，为了视觉的效果而消除了被摄物体本来具有的信息。
发明内容
本发明就是以解决如上述那样的问题为目的。
本发明的其他目的是，提供一种图像处理装置，根据照明度变更图像处理动作，特别是变更图像数据的压缩·编码处理或解码·展开处理。
为了达到这样的目的，本发明的第1技术方案提供一种图像处理装置，包括输入装置，输入图像数据；频率变换装置，将上述图像数据变换成频带的频率数据；数据处理装置，对由上述频率变换装置生成的频率数据进行预定的处理；照明度检测装置，检测上述图像数据的照明度；以及变更装置，根据上述照明度检测装置的输出，变更对于预定的频率数据的上述数据处理装置的动作。
为此，本发明的第2技术方案提供一种对编码后的数据进行解码的图像处理装置，包括输入装置，输入编码图像数据；数据处理装置，对上述编码图像数据进行预定的处理；照明度检测装置，检测上述编码图像数据的照明度；以及变更装置，根据上述照明度检测装置的输出，变更对于上述编码图像数据中预定的频率数据的上述数据处理装置的动作。
本发明上述以外的目的及其特征，通过以下接着的参照了附图的发明实施形式的详细说明将变得显而易见。
图1是作为本发明第1实施例的摄像机的记录系统的结构框图。
图2是作为本发明第1实施例的摄像机的再现系统的结构框图。
图3是本发明第1实施例中的非线性色度处理单元的结构框图。
图4是图像的频率分布例。
图5是说明第1实施例的处理的流程图。
图6是编码时的量化步长的说明图。
图7是解码时的反量化的说明图。
图8A、8B、8C是根据照明度所抑制的色度电平的说明图。
图9是作为本发明第2实施例的摄像机的记录系统的结构框图。
图10是作为本发明第2实施例的摄像机的再现系统的结构框图。
图11是本发明第2实施例中的非线性色度处理单元的结构框图。
图12是说明第2实施例的处理的流程图。
图13A、时3B、13C是根据照明度所抑制的色度电平的说明图。
图14是量化的说明图。
图15是以往例中的摄像机的概略结构框图。
图16是以往的摄像机中的非线性色度处理电路的概略结构框图。
图17A、17B、17C是以往例中的非线性处理的说明例。
图18是以往的非线性处理特性的例子。
图19是编码处理的图像数据处理的概念图。
图20是编码处理的子频带分割的概念图。
图21A、21B、21C是编码处理的分析滤波器的概念图。
图22是编码处理的量化处理的概念图。
图23是编码处理的熵编码单位的概念图。
图24是熵编码处理和流形成的概念图。
图25是编码处理的位平面处理的概念图。
具体实施形式下面，使用附图详细说明本发明的实施例。
(第1实施例)图1是本发明第1实施例的摄像机一体式摄像记录再现装置(以下，称为摄像机)的记录系统的结构框图。
在图1中，摄像机大致由照相机处理单元1、图像压缩编码处理单元2和记录处理单元3构成，此外，照相机处理单元1由放大单元10、前处理单元20、图像处理单元30和后处理单元40构成。
下面，说明摄像机的记录系统的具体结构及其动作。
在照相机处理单元1内的放大单元10中，被摄物体由未图示的透镜光学系统聚光，并由摄影单元11变换为电信号。由相关二重采样(CDScorrelated double sampling)单元12除去摄像元件的复位噪声和放大噪声等同相噪声，放大从摄影单元11输出的电信号。
然后，在前处理单元20中，将放大的电信号作为图像信号输入给AGC/ADC单元21，进行自动增益控制(AGC)，使信号电平成为预定的大小，并由模数变换器(ADC)变换为数字数据。这里，主要是根据表示图像的亮度的未图示的信号来控制AGC的。即，输入的被摄物体图像的照明度低时，就设定高的增益，以使信号成为预定的大小，相反，照明度高时，就设定小的增益。这样的动作，可以有效地利用AD变换的动态范围。此外，成分变换单元22将来自AGC/ADC单元21的图像数据分解为亮度数据和色度数据。
接下来在图像处理单元30中，由轮廓校正单元31对亮度数据进行轮廓强调处理，以适合于显示，由伽马校正单元32进行非线性的反校正处理。另外，由伽马校正单元33对色度数据进行非线性的反校正处理，以适合于显示。
实施以上图像处理后的图像数据由后处理单元40的传送变换单元41将亮度数据和色度数据叠加，送往图像压缩编码处理单元2。
下面是图像压缩编码处理单元2，作为此处的压缩方式，采用使用了频带分割变换的压缩方式。下面，作为使用了频带分割变换的压缩方式的例子，以JPEG2000(包含MotionJPEG2000)的情况为例进行说明。
在图像压缩编码处理单元2中，接收从照相机处理单元1传送来的图像数据，由成分变换单元51变换为图像压缩处理的成分(Y，Cb，Cr)。对于各成分中的亮度成分(Y)，片(tile)分割单元52a将1帧图像分割为预定的大小的小区域(片)。频带分割单元53a按各片单位将图像数据分割为频带成分(子频带)。图19表示至此的动作。在JPEG2000中，作为频带分割单元53a的处理，采用了同时处理高频和低频的频带分割以及降低采样的离散子波变换。因此，对低频数据反复进行相同的处理，所以，从低频带的数据(3LL)到高频带的数据(1HH)成为图19所示那样的子频带的结构。
在此，关于频带分割单元53a，参照图20详细说明离散子波变换的动作。
在图20中，将片单位的图像数据输入到输入端子530中后，首先，水平子频带分割单元531沿水平像素方向进行滤波器分割。图21A～C是示意地表示滤波器分割的情况的图。在图21中用实线表示水平方向像素的频率分布。对这样的分布的像素，通过用虚线表示的低频滤波器和高频滤波器后，就抽取出低频成分(图21B)和高频成分(图21C)。在这些抽取作业的同时，用可以进行降低采样处理的升降运算，实现子波变换，在水平子频带分割单元531进行水平子频带分割之后，图像数据被分割为水平方向的低频系数(L)和高频系数(H)。此外，通过对这些系数数据沿垂直方向进行相同的处理，1层的子波变换处理即告结束。
在图20中，由水平子频带分割单元531生成的水平方向的高频系数(H)通过垂直子频带分割单元532被变换为低频系数(1HL)和高频系数(1HH)。由水平子频带分割单元531生成的水平方向的低频成分(L)通过垂直子频带分割单元533被变换为低频系数(L)和高频系数(1LH)。进而，由垂直子频带分割单元533生成的低频成分(L)通过水平子频带分割单元534被分割为水平方向的低频系数(L)和高频系数(H)。上述各系数通过垂直子频带分割单元536、535被分割为垂直方向的低频系数(L)和高频系数(H)，变换为2HH、2HL、2LH和2LL的各系数。对2LL的系数，在图20中未图示，但是，进而沿水平·垂直方向进行子波变换后，可以变换为3HH、3HL、3LH和3LL的系数。作为其结果，变换后的系数如图19所示。
返回到图1，由频带分割单元53a变换后的数据(子波系数)输入到量化单元54a和非线性色度信号处理单元57中。非线性处理单元57是本发明的特征，检测照明度，控制图像压缩编码处理特别是量化处理，对此的说明将在后面进行详细描述。
量化单元54a以预定的步长，且按照非线性色度信号处理单元57的结果对输入的数据进行量化，变换为预定位长的数字数据。系数量化如图22所示，按预定的量化步长Δ对变换系数(A)进行量化(B)。这样，如图23所示，量化子频带而得到的数据就按以预定数(例如16×16)的像素汇集而成的称为代码块的处理单位，由熵编码单元55a进行处理。熵编码单元55a如后述那样，按位平面单位将各代码块进行算术编码，实现数据压缩。
对色差成分(Cr、Cb)，也利用功能块52b～55b进行与对上述亮度成分(Y)进行的处理相同的处理。由于处理内容相同，所以省略其说明。
流形成单元56将如上述那样对各成分进行压缩编码了的数据，按预定的包单位汇集和交换后，附加上首标信息等，形成数据流。生成的数据流被送往记录处理单元3。
接下来在记录处理单元3中，写入前处理单元61进行将上述数据流变换为适合于记录介质的形式的前处理，写入处理单元62将数据写入磁带、磁盘或存储卡等记录介质63中。
以上，是图1的说明。另外，作为不同成分的处理，52a～55a和52b～55b是以不同的功能块来表现的，但实际上也可以相同。
下面，参照图24和图25详细说明熵编码单元55a、55b和流形成单元56的动作。在图24中，为了简化说明，熵编码单元55a、55b是相同的结构，所以，仅代表性地图示出55a。
如前所述，熵编码如图25所示那样将代码片单位的图像数据按同一位深的平面单位，从高位向低位进行处理。在各位平面中，如图25中箭头所示，横向扫描垂直的4个像素单位。这时，在图24中，熵编码单元55a内的编码模型单元551a通过对每1位进行3次的上述扫描，将各个位分为19个模型，变换为二值化数据。
算术编码单元552a通过高效率算术编码将来自编码模型单元551a的二值化数据进行数据压缩。从算术编码单元552a得到的编码数据从高位到低位进行编码，所以，是按对图像质量的影响度大的顺序进行编码的。因此，如图25所示，可以用预定值划分该影响度，进行分组。
其次，在流形成单元56内，ΔR/ΔD计算单元561按代码块编码后的位平面单位计算出对图像质量的影响度，层(layer)判断单元562通过与预定值(Th1～Th8)进行比较，判断是哪个层的数据，与代码块的编码的位平面单位的数据一起，存储到工作存储器563中。编码后的数据以相同层单位，代码块编码后的数据单位由包生成单元564从工作存储器563中读出，并附加上首标信息进行打包。
这样，包数据就汇集了相同的图像质量(层)和像素数(子频带)，从而可以通过包数据的抽取方法，按预定的图像质量对具有预定像素数的图像数据进行解码。
以上是作为本发明的第1实施例的摄像机的记录系统的说明。
下面，说明可以读出用上述记录系统记录的压缩编码图像数据的再现系统的结构。图2是作为本发明的第1实施例的摄像机的再现系统的结构框图。
在图2中，摄像机大致由再现处理单元4和图像展开解码处理单元5构成。下面，说明摄像机的再现系统的具体结构及其动作。
再现处理单元4由从上述记录介质63中读出数据的读出处理单元82和从读出的数据中抽取出编码数据的后处理单元81构成。
另外，图像展开解码处理单元5由从编码数据的首标信息等中抽取出亮度数据和色度数据的流分析单元91、对编码后的亮度数据进行展开解码的熵解码单元92a、从展开后的量化数据恢复子波系数的反量化单元93a、对所恢复的子波系数进行反变换以恢复图像数据的频带合成单元94a、将对每个片所恢复的图像数据恢复成1张帧图像的片合成单元95a、以及合成所恢复的亮度和色度的帧图像并变换成适合于显示在未图示的监视器上的信号形式的变换单元96构成。对色度数据，也通过功能块92b～95b进行与对上述亮度数据所进行的处理相同的处理。由于处理内容相同，所以，省略其说明。另外，作为不同成分的处理，52a～55a和92b～95b是用不同的功能块来表现，但是实际上也可以相同。
在上述结构中，说明了恢复压缩编码并记录后的数据的动作。
在再现处理单元4中，用读出处理单元82读出记录在记录介质63中的数据，用读出后处理单元81从以预定格式读出的数据中抽取出编码数据。抽取出的编码数据被提供给图像展开解码处理单元5。
在图像展开解码处理单元5中，流分析单元91分析编码数据的首标信息，读出解码所需要的编码数据。编码数据分为亮度数据和色度数据而读出。
对于亮度数据(Y)，熵解码单元92a将算术编码后的编码数据展开解码。解码后的亮度数据由反量化单元93a进行反量化，恢复为频带分割后的变换系数(子波系数)的值。恢复后的变换系数是各频带的系数，所以，频带合成单元94a合成各频带的变换系数(反子波变换)。合成后的变换系数即恢复后的图像数据对每个1帧的小区域(片)进行处理而恢复，所以，片合成单元95a按片单位将恢复后的图像数据合成为1帧图像。
同样，色度数据(Cb、Cr)也和亮度数据(Y)一样，用92b～95b进行处理，恢复为1帧的图像。
恢复后的亮度数据和色度数据由成分变换单元96合成，变换为适合于未图示的监视器的传送格式，从图像展开解码处理单元5向该监视器输出。
以上，是作为本发明的第1实施例的摄像机的再现系统的说明。
这样，由摄像机取入的通常的被摄物体数据在由照相机处理单元进行适当的图像处理之后，由图像压缩编码处理单元进行数据压缩，生成编码数据，并且可以由记录处理单元记录到记录介质上。另外，记录在记录介质中的编码数据可以由再现处理单元读出，由图像展开解码处理单元进行数据展开，并向监视器等输出。
下面，说明作为本实施例的特征的根据照明度的图像处理及其控制。
图3是非线性色度处理单元57的结构框图。571是抽取出亮度(Y)成分的LL系数的LL抽取单元、572是照明度检测单元、573是将色差数据(Cb、Cr)的变换系数的量化步长按不同频带设定的量化步长调整单元、574是根据预定量化步长的操作量确定亮度数据(Y)的变换系数的不同频率的量化步长的校正步长生成单元。
在此，参照图5所示的流程图说明低照明度时的各部分的动作。
如果根据照明度的控制动作开始了(步骤2000)，则LL抽取单元571抽取出亮度(Y)成分的低频子频带系数LL数据(图4的斜线部分)(步骤2010)。照明度检测单元572计算抽取出的系数的平均值Yave(步骤2020)，与预定值Y1进行比较(步骤2030)。这里，低照明度时亮度数据的低频成分应该较小，所以，如果平均值Yave小于预定值Y1，就可以判定为低照明度。
如果用照明度检测单元572进行了这样的算法的判断，量化步长调整单元573就确定色差数据(Cb、Cr)成分的高频侧变换系数的量化步长Δh。通常的量化步长是设定为低频侧变换系数Δl的Δ，但在低照明度时，对高频的量化步长Δh设定为比Δ大的Δ′(步骤2060)。这时的情况示于图6。但是，Δ′的信息不能包含在编码数据的首标信息中，仅是编码侧的处理。并且，为了校正色度数据中的高频成分的量化步长的变更所引起的彩色平衡的偏离，校正步长生成单元574生成亮度数据的高频成分的量化步长的校正量(步骤2070)。
这样，参照图7和图8A、B、C说明在用比标准大的量化步长将高频侧变换系数进行量化时，进行上述通常的编码操作的情况。图8A是抑制低频数据的状态、图8B是通常的状态、图8C是抑制高频数据的状态。
在解码时的反量化处理(图2的反量化单元93b)中，高频侧变换系数的反量化步长Δh也与低频侧变换系数的反量化步长Δl相同，以通常的Δ的步长进行反量化处理。即，对于高频侧变换系数，以比编码时(Δ′)小的解码时的量化步长(Δ)进行反量化处理，所以，如图7所示，反量化时恢复的电平变小。如图8所示，这表示在仅抑制高频数据的状态下进行恢复。
据此，在低照明度时色度的低频成分保留，仅抑制(限定)作为色斑的主要原因的高频的噪声成分，所以，可以抑制不自然的色斑的发生。
另外，在本实施例中，仅对高频成分进行了色斑除去处理，所以，低频的颜色信息仍然保留，在低照明度下也可以正确地保留被摄物体的颜色信息。特别地，设想从动图像中截取出1张图像进行打印时，像以往那样，低照明度部分在视觉上明显地呈现非彩色化，但是，在限定频带进行非彩色处理的本实施例中，颜色的信息由低频系数保留，所以，能够提供可供鉴赏的图像质量的静止图像。
此外，在本实施例中，编码时将在低照明度时不太重要的高频侧数据以较粗的量化步长(Δ′)进行处理，所以，与以均匀的量化步长(Δ)来处理在照相机侧进行了图像处理的数据的以往方法相比，可以提高编码效率。
另外，在本实施例中，在照明度检测中利用了编码时的频带分割时生成的LL图像，从而不需要在以往的照相机侧处理时设置的专用的检测滤波器，从而降低了成本。
下面，返回到图5，说明高照明度时的动作。和低照明度时相同，LL抽取单元571抽取出亮度(Y)成分的低频子频带系数LL数据(图4A的斜线部分)(步骤2010)，照明度检测单元572计算抽取出的系数的平均值Yave(步骤2020)。这里，将平均值Yave与预定值Y1进行比较(步骤2030)，如果较大，就与预定值Yh进行比较(步骤2040)。在高照明度时，亮度数据的低频成分较大，所以，如果平均值Yave比预定值Yh大，就可以判定为高照明度。
如果由照明度检测单元572进行了这样的算法的判断，量化步长调整单元573就确定色差数据(Cb、Cr)成分的低频侧变换系数的量化步长Δl。通常的量化步长是设定为高频侧变换系数Δh的Δ，但是，在高照明度时，对低频的量化步长Δl设定为比Δ大的Δ′(步骤2080)。这时的情况示于图6。但是，Δ′的信息不能包含在编码数据的首标信息中，仅是编码侧的处理。并且，为了校正色度数据中的低频成分的量化步长的变更所引起的彩色平衡的偏离，由校正步长生成单元574生成亮度数据的低频成分的量化步长的校正量(步骤2090)。
下面，参照图7和图8A、B、C说明以比标准大的量化步长来量化低频侧变换系数时，进行上述通常的编码操作的情况。图8A是抑制低频数据的状态、图8B是通常的状态、图8C是抑制高频数据的状态。
在解码时的反量化处理(图2的反量化单元93b)中，低频侧变换系数的反量化步长Δl也与高频侧变换系数的反量化步长Δh相同，以通常的Δ的步长进行反量化处理。即，对低频侧变换系数以比编码时(Δ′)小的解码时的量化步长(Δ)来进行反量化处理，所以，如图7所示，反量化时恢复的电平变小。如图8A所示，这表示在仅抑制低频数据的状态下进行恢复。
据此，在高照明度时，色度的高频成分保留，仅抑制(限定)由于色温的微小偏离而发生的作为偏色的主要原因的低频的电平，所以，可以抑制不自然的偏色的发生。
在本实施例中，仅对低频成分进行了偏色的抑制，所以，高频的颜色信息保留，在高照明度时可以正确地保留被摄物体的颜色变化的信息。特别地，在从动图像中截取出1张图像进行打印时像以往那样使高的照明度部分均匀地非彩色化时，就失去颜色的连续性，该部分在视觉上很明显，但是，在本实施例中，限定频带地进行非彩色处理，在高频系数中保留着颜色的变化的信息，所以，可以提供可供鉴赏的图像质量的静止图像。
此外，在本实施例中，在编码时以较粗的量化步长(Δ′)处理在高照明度时不太变化的低频侧数据，所以，与以均匀的量化步长(Δ)处理在照相机侧进行了图像处理的数据的以往方法相比，可以提高编码效率。
另外，在本实施例中，在照明度检测中利用了编码时的频带分割时生成的LL图像，从而不需要在以往的照相机侧处理时设置的专用的检测滤波器，降低了成本。
下面，返回到图5，将平均值Yave与预定值Yh进行比较，较小时，即不被判定为高照明度时，就采用利用色度的通常步长(步骤2050)的方法。
以上，是根据照明度来控制图像处理，特别是图像的压缩编码处理的本发明的第1实施例的说明。
(第2实施例)接下来，图9表示作为本发明的第2实施例的摄像机的记录系统的概略结构框图，图10表示与图9对应的再现系统的概略结构框图。在该第2实施例中，在图像展开解码处理侧进行非线性色度处理，该处理在第1实施例中是在图像压缩编码处理单元侧进行的。在图9和图10中，与图1和图2标以相同编号的功能块的动作与在第1实施例中进行的说明相同，所以，省略其说明。
在图9中，关于照相机处理单元1的各结构和记录处理单元3的结构，与上述相同。关于图像压缩编码处理单元6，与第1实施例的图像压缩编码处理单元2不同之处在于，不包含非线性色度信号处理单元103。因此，量化单元101a、101b仅按预定的步长进行量化处理。
在图10中，关于再现处理单元4的结构，与上述相同。关于图像展开解码处理单元7，与第1实施例的图像展开解码处理单元5不同之处在于，设置了非线性色度信号处理单元103和根据预定的步长及该非线性色度信号处理单元103的结果而变更处理的反量化单元102a、102b。
下面，参照图11、图12和图13A、B、C说明作为本实施例的特征的根据照明度的再现时的图像处理。图13A是抑制低频数据的状态、图13B是通常的状态、图13C是抑制高频数据的状态。
非线性色度信号处理单元103的结构如图11所示。在图11中，1071是抽取出亮度(Y)成分的LL数据的LL抽取单元、1072是照明度检测单元、1073是将色差数据(Cb、Cr)的变化数据的反量化步长设定为不同频带的量化步长调整单元、1074是根据预定量化步长的操作量确定亮度数据(Y)的变换数据的不同频率的反量化步长的校正步长生成单元。
下面，参照图12所示的流程图说明低照明度时的动作。
如果根据照明度的控制动作已经开始(步骤3000)，LL抽取单元1071就抽取出亮度(Y)成分的低频子频带LL数据(步骤3010)。照明度检测单元1072计算抽取出的系数的平均值Yave(步骤3020)，与预定值Y1进行比较(步骤3030)。这里，在低照明度时亮度数据的低频成分较小，所以，如果由照明度检测单元1072判定为小于Y1，则量化步长调整单元1073就确定色差数据(Cb、Cr)成分的高频侧变化系数的量化步长Δh。通常的量化步长是设定为低频侧变化系数Δl的Δ(图14)，但是，在低照明度时，对高频的量化步长Δh设定为比Δ小的Δ”(步骤3060)。并且，为了校正色度数据中的高频成分的量化步长的变更所引起的彩色平衡的偏离，由校正步长生成装置1074生成亮度数据中的高频成分的量化步长的校正量(步骤3070)。
这样，参照图13说明以比标准(Δ)小的量化步长(Δ”)将高频侧变化数据进行反量化处理时，进行上述通常的编码操作的情况。
在编码时的量化处理(图9的量化单元101b)中，高频侧变换系数的反量化步长Δh也与低频侧变化系数的反量化步长Δl相同，以通常的Δ的步长进行量化处理。在解码时的反量化处理(图10的反量化单元102b)中，对高频变化数据以比编码时(Δ)小的量化步长(Δ”)对其进行反量化处理，所以，如图14所示，进行反量化处理时恢复的电平变小。如图13C所示，这表示在仅抑制高频数据的状态下进行恢复。
据此，在低照明度时，色度的低频成分保留，仅抑制(限定)了作为色斑的主要原因的高频的噪声成分，所以，可以抑制不自然的色斑的发生。
另外，在第2实施例中，和第1实施例一样，仅对高频成分进行了色斑除去处理，所以，低频的颜色信息保留，即使在低照明度下也可以正确地保留被摄物体的颜色信息。特别地，设想从动图像中截取出1张图像进行打印时，像以往那样，低照明度部分在视觉上明显地呈现非彩色化，但是，在本实施例中限定频带地进行非彩色处理，颜色的信息由低频系数保留，所以，可以提供可供鉴赏的图像质量的静止图像。
此外，在本实施例中，在照明度检测中利用了解码时的频带合成所需要的LL数据，可以省略以往在照相机侧进行处理时所需要的专用的检测滤波器，从而可以降低成本。
下面，返回到图15，说明高照明度时的动作。
和低照明度时相同，LL抽取单元1071抽取出亮度(Y)成分的低频子频带LL数据(步骤3010)，照明度检测单元1072计算抽取出的系数的平均值Yave(步骤3020)。将平均值Yave与预定值Y1进行比较(步骤3030)，如果较大，就与预定值Yh进行比较(步骤3040)。这里，在高照明度时，亮度数据的低频成分较大，所以，如果平均值Yave大于预定值Yh，就判定为高照明度，量化步长调整单元1073确定色差数据(Cb、Cr)成分的低频变化数据的反量化步长Δl。通常的量化步长是设定为高频变化数据Δh的Δ(图14)，但是，在高照明度时，对低频的量化步长Δl，将比Δ小的Δ”设定为反量化步长(步骤3080)。并且，为了校正色度数据中的低频成分的反量化步长的变更所引起的彩色平衡的偏离，由校正步长生成单元1074生成亮度数据中的低频成分的反量化步长的校正量(步骤3090)。
下面，说明以比标准(Δ)小的量化步长(Δ”)对低频变换数据进行反量化处理的情况。
在编码时的量化处理(图9的量化装置101b)中，低频变换系数的量化步长Δl也与高频变化系数的量化步长Δh相同，以通常的Δ的步长进行量化处理。解码时，对低频变换数据以比编码时(Δ)小的反量化步长(Δ”)进行反量化处理，所以，如图14所示，反量化处理时恢复的电平变小。如图13A所示，这表示在仅抑制低频数据的状态下进行恢复。
据此，在高照明度时，保留色度的高频成分，仅抑制(限定)了因色温的微小偏离而发生的作为偏色的主要原因的低频的电平，所以，可以抑制不自然的偏色的发生。
在第2实施例中，和第1实施例一样，仅对低频成分进行了偏色的抑制，所以，高频的颜色信息保留，即使是高照明度时也可以正确地保留被摄物体的颜色变化的信息。特别地，设想从动图像中截取出1张图像进行打印时，像以往那样，使高的照明度部分均匀地非彩色化时，就失去了颜色的连续性，该部分在视觉上很明显，但是，本实施例中，由于限定频带地进行非彩色处理，所以，在高频系数中保留着颜色的变化信息，结果，可以提供可供鉴赏的图像质量的静止图像。
此外，在本实施例中，在照明度检测中利用了解码时的频带合成所需要的LL数据，可以省略以往例中在照相机侧进行处理时所需要的专用的检测滤波器，所以，可以降低成本。
返回到图12，将平均值Yave与预定值Yh进行比较(步骤3040)，如果较小时，即不能判定为高照明度时，就采用利用色度的通常步长(步骤3050)的方法。
以上，是根据照明度，在再现时控制图像处理特别是图像的压缩编码处理的本发明的第2实施例的说明。
以上，在至此所说明的2个实施例中，将照明度检测限于LL图像或数据，但是，利用对低频数据进行频带分割而生成的更深层次的LL图像或数据(例如3LL等)，和在其中间生成的图像或数据(例如2LL等)中的某一个，也可以得到同样的效果，所以，其结构也作为本发明的实施例。
此外，在上述2个实施例中，通过在编码时和解码时应用不同的量化步长而实现不同频带的电平控制，但是，设置单纯对变换系数乘以权重系数的电路，也可以得到同样的效果，所以，其结构也作为本发明的实施例。
此外，在上述2个实施例中，应用了频带分割的编码方式，但本发明不限于此，在变换操作时进行频率变换的编码方式也可以得到同样的效果，具体而言，应用DCT变换方式的编码方式的结构也作为本发明的实施例。
另外无需赘言，本发明的目的也可以这样达到，即通过将记录了实现上述实施形式的功能的软件程序代码的存储介质提供给系统或者装置，该系统或者装置的计算机(CPU或者MPU)读出并执行保存在存储介质中的程序代码。
这种情况下，就成为从存储介质读出的程序代码自身将实现上述实施形式的功能，存储该程序代码的存储介质将构成本发明。
作为用于提供程序代码的存储介质，能够使用例如，软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM等。
另外无需赘言，不仅包含通过计算机执行所读出的程序代码，上述实施形式的功能得以实现的情况，也包含根据该程序代码的指示，在计算机上运行的OS(基本系统或者操作系统)等进行实际处理的一部分或者全部，通过该处理上述实施形式的功能得以实现的情况。
进而无需赘言，也包含当从存储介质读出的程序代码，被写入到插入计算机的功能扩充板和/或连接到计算机的功能扩充单元上所具备的存储器以后，根据该程序代码的指示，该功能扩充板和/或功能扩充单元上所具备的CPU等进行实际处理的一部分或者全部，通过该处理上述实施形式的功能得以实现的情况。
权利要求
1.一种图像处理装置，包括输入装置，输入图像数据；频率变换装置，将上述图像数据变换成频带的频率数据；数据处理装置，对由上述频率变换装置生成的频率数据进行预定的处理；照明度检测装置，检测上述图像数据的照明度；以及变更装置，根据上述照明度检测装置的输出，变更对于预定的频率数据的上述数据处理装置的动作。
2.根据权利要求1所述的图像处理装置，其特征在于上述照明度检测装置，在检测到上述图像数据的照明度比第一照明度低时，输出第一输出信号；接收到上述第一输出信号的上述变更装置，改变上述数据处理装置中对高频带数据的处理。
3.根据权利要求2所述的图像处理装置，其特征在于上述数据处理装置是量化装置；在接收到上述第一输出信号时，变更量化步长。
4.根据权利要求2所述的图像处理装置，其特征在于上述数据处理装置是乘法运算装置；在接收到上述第一输出信号时乘以比通常时小的值。
5.根据权利要求1所述的图像处理装置，其特征在于上述照明度检测装置，在检测到上述图像数据的照明度比第二照明度高时，输出第二输出信号；接收到上述第二输出信号的上述变更装置，改变上述数据处理装置中对低频带数据的处理。
6.根据权利要求5所述的图像处理装置，其特征在于上述数据处理装置是量化装置；在接收到上述第二输出信号时，变更量化步长。
7.根据权利要求5所述的图像处理装置，其特征在于上述数据处理装置是乘法运算装置；在接收到上述第二输出信号时乘以比通常时小的值。
8.根据权利要求1所述的图像处理装置，其特征在于上述数据处理装置，进行频带分割编码或者波变换编码。
9.根据权利要求1所述的图像处理装置，其特征在于上述数据处理装置，进行离散余弦变换或者校正后的离散余弦变换。
10.根据权利要求1所述的图像处理装置，其特征在于上述照明度检测装置，参照由上述频率变换装置所变换的低频的频率数据来检测照明度。
11.一种对编码后的数据进行解码的图像处理装置，包括输入装置，输入编码图像数据；数据处理装置，对上述编码图像数据进行预定的处理；照明度检测装置，检测上述编码图像数据的照明度；以及变更装置，根据上述照明度检测装置的输出，变更对于上述编码图像数据中预定的频率数据的上述数据处理装置的动作。
12.根据权利要求11所述的图像处理装置，其特征在于上述照明度检测装置，在检测到上述编码图像数据的照明度比第一照明度低时，输出第一输出信号；接收到上述第一输出信号的上述变更装置，改变上述数据处理装置中对高频带数据的处理。
13.根据权利要求12所述的图像处理装置，其特征在于上述数据处理装置是反量化装置；在接收到上述第一输出信号时，以比编码时小的量化步长进行反量化处理。
14.根据权利要求12所述的图像处理装置，其特征在于上述数据处理装置是乘法运算装置；在接收到上述第一输出信号时乘以比通常时小的值。
15.根据权利要求11所述的图像处理装置，其特征在于上述照明度检测装置检测到上述编码图像数据的照明度比第二照明度高时，输出第二输出信号；接收到上述第二输出信号的上述变更装置，改变上述数据处理装置中对低频带数据的处理。
16.根据权利要求15所述的图像处理装置，其特征在于上述数据处理装置是反量化装置；在接收到上述第二输出信号时，以比编码时小的量化步长进行反量化处理。
17.根据权利要求15所述的图像处理装置，其特征在于上述数据处理装置是乘法运算装置；在接收到上述第二输出信号时乘以比通常时小的值。
18.根据权利要求11所述的图像处理装置，其特征在于上述数据处理装置，进行频带分割编码后的图像数据的解码或者子波变换编码后的数据的解码。
19.根据权利要求11所述的图像处理装置，其特征在于上述数据处理装置，进行离散余弦变换后的图像数据的解码或者已校正的离散余弦变换的数据的解码。
20.根据权利要求11所述的图像处理装置，其特征在于上述照明度检测装置，参照通过频率变换所变换的编码图像数据中的低频的频率数据来检测照明度。
全文摘要
一种图像处理装置，用于减少在低照明度和高照明度下色斑和偏色的发生，由以下装置所构成数据处理装置，取得图像数据，将上述图像数据变换成频带的频率数据，并对上述频率数据进行预定的处理；照明度检测装置，检测所取得的图像的照明度；以及变更装置，根据照明度检测的结果，变更对于预定的频率数据的上述预定的数据处理。
文档编号G06T9/00GK1507264SQ20031012130
公开日2004年6月23日 申请日期2003年12月11日 优先权日2002年12月12日
发明者福泽敬一 申请人:佳能株式会社