图像处理装置的制作方法

专利名称：图像处理装置的制作方法
技术领域：
本发明涉及即使在诸如因低照度或逆光等而发生曝光不足或曝光过度 的拍摄环境下，也适于高精度地检测脸部区域等特定区域的图像处理方法、 图像处理装置及摄像装置。
背景技术：
近年来，在数码相机(数码照相机、数码摄像机、带相机的手机等)、 监控相机、门禁对讲相机等摄像装置以及图像处理装置中搭载脸部区域检测 功能已日益普遍。在数码照相机中，对检测出的脸部区域进行自动对焦控制
(AF, Automatic Focus )或进行自动曝光补偿(AE， Automatic Exposure ), 此外，在监控相机中，通过存储检测出的脸部区域来用于确定可疑人等。
在检测脸部区域时，设计了根据标准性的脸的部分(眼或口等)的位置 关系进行检测的方法、基于脸的颜色或边缘信息进行检测的方法以及通过与 预先准备的脸部特征数据的比较进行检测的方法等多种技术。
但是，在上述的任何一种方法中，检测精度都较大地受待检测图像的拍 摄环境左右。例如，在低照度或逆光等环境下拍摄的图像，图像内发生曝光 过度或曝光不足的可能性高，对于假定脸部区域发生了曝光过度或曝光不足 的图像，脸部区域的检测精度会显著降低。因此，作为相关技术，例如还提 出了如日本特开2007-201963号公报所述，即使在由于逆光等导致的高对比 度的拍摄条件下也能高精度地检测脸部图像的摄像装置。
图25为表示上述日本特开2007-201963号公报的摄像装置的结构的图。 该摄像装置214包括含有物镜的光学系统201;由CCD构成的摄像元件 202;将来自摄像元件202的摄像信号转换为模拟图像信号，并进行减小噪声、增益调整等的模拟信号处理部203;将通过^^拟信号处理部203处理的 图像信号转换为数字信号的A/D转换部204;对A/D转换后的图像信号进行 伽马(Y)调整、白平衡调整等图像质量调整的数字信号处理部205',存储经 过信号处理的帧数据的帧数据存储器210;根据帧数据存储器210的帧数据 检测人物脸部区域的脸部区域检测部209;对脸部区域检测部209检测出的 脸部区域的图像质量进行补偿的图像质量补偿部208;从帧数据存储器210 读出帧数据的帧输出部211;将输出的帧数据以JPEG (或MPEG)方式编 码的编码部212;将编码的帧数据转换为传输数据并且通过通信线路向集中 监控室等传输的数据传输部213;基于帧数据的各像素信息生成亮度直方图 的直方图生成部206;和基于亮度直方图补偿亮度和对比度的补偿控制部 207。
在该摄像装置214中，通过直方图生成部206为所拍摄图像的帧数据生 成亮度直方图，将亮度级分为暗部范围、中间亮度范围、明部范围，通过补 偿控制部207对暗部范围或明部范围中包含的累积像素数与预先设定的阈 值进行比较，当各范围中包含的像素数超过阈值时，认为图像内发生了曝光 不足或曝光过度，通过控制摄像元件202、模拟信号处理部203以及数字信 号处理部205来补偿亮度和对比度，由此，修正曝光不足或曝光过度，提高 脸部区域检测的精度。
但是，对于在低照度或逆光等恶劣环境下拍摄而使脸部区域发生了曝光 过度或曝光不足的图像，上述日本特开2007-201963号公报的摄像装置是对 帧数据整体进行图像质量补偿，因而，例如在如图26A所示的同一帧数据 内混有曝光过度的脸部区域和曝光不足的脸部区域的图像301、如图26B所 示以不同级别混有曝光不足的脸部区域的图像302、或者以不同级别混有曝 光过度的脸部区域的图像中，不能同时对同 一 帧数据内含有的全部脸部区域 进行补偿，因此，不能同时检测多个脸部区域。

发明内容
因此，本发明的目的在于，对在低照度或逆光等恶劣环境下拍摄的图像 内含有的例如曝光过度的区域和曝光不足的区域能够同时进行补偿。
本发明的图像处理方法包括将基于图像数据的图像分割为多个块的步
骤；和基于分割后的各块的图像数据的信息，对每个块补偿所述图像的图像 质量的步骤。
此外，本发明的图像处理装置包括存储输入的图像数据的图像数据存 储器；基于所述图像数据将图像分割为多个块，生成各块的图像数据的数据 分割部；补偿所述图像的图像质量的图像质量补偿部；和基于由所述数据分 割部分割后的各块的图像数据的信息，对每个块控制通过所述图像质量补偿 部进行的图像质量补偿的补偿控制部。
根据本发明，由于对将图像分割为多个块后的每个块，基于各块的图像 数据的信息进行补偿，因此，例如，即使在同一图像内混有例如曝光过度的 区域和曝光不足的区域的情况下，也能通过使各块分别对应于所述曝光过度 的区域和曝光不足的区域而进行分割并补偿，来同时补偿曝光过度的区域和 曝光不足的区域。
本发明的摄像装置包括接受通过光学透镜入射的被摄体光并转换为摄 像信号输出的摄像元件；将从所述摄像元件输出的摄像信号转换为数字信号 的A/D转换部；对从所述A/D转换部输出的数字信号实施数字处理的数字 信号处理部；对从所述数字信号处理部输出的图像数据进行处理的本发明的 图像处理装置；和将从所述图像处理装置输出的图像处理后的图像数据向外 部输出的图像数据输出部。


通过以下结合附图对本发明优选实施方式的说明，本发明的上述和其它 目的以及优点将得到更清楚的理解，其中
图1为包含本发明实施方式中图像处理装置的摄像装置的结构图；图2为用于对图1的工作进行说明的流程图； 图3为表示实施方式1的块分割的图； 图4为表示实施方式1的Y特性的图； 图5为表示实施方式1的图像质量补偿后的图像的图； 图6为表示实施方式2的输入图像的图7为表示通过实施方式l对图6的输入图像进行块分割时的图； 图8为表示根据实施方式1进行图像质量补偿后的图像的图； 图9为表示实施方式2的块分割的.0为表示实施方式2的图像质量补偿后的图像的图； 1为表示实施方式2的块分割的图； L2为表示实施方式2的图像质量补偿后的图像的为表示实施方式3的输入图像的图； [4为表示通过实施方式2对图13的输入图像进行块分割时的图
为表示根据实施方式2进行图像质量补偿后的图像的图； 6为表示实施方式3的块分割的图； 图17为用于说明实施方式3的补偿参数确定步骤的图 8为用于说明实施方式3的补偿参数确定步骤的图 图19为用于说明实施方式3的补偿参数确定步骤的图 图20为用于说明实施方式3的补偿参数确定步骤的图 图21为用于说明实施方式3的补偿参数确定步骤的图 图22为用于说明实施方式3的补偿参数确定步骤的图 图23为表示实施方式4的输入图像的块分割的图； 图24为表示实施方式4的输入图像的假想的块结合的图； 图25为相关技术的结构图26A为表示在同一帧数据内混有曝光过度的脸部区域和曝光不足的 脸部区域的图像的图26B为表示在同一帧数据内以不同级别混有曝光不足的脸部区域的图像的图。
具体实施例方式
以下参照附图对本发明的实施方式进行说明。另外，以下说明的实施方 式仅为一例，可以对其进行各种改变。 (实施方式1 )
图1为表示本发明实施方式1中图像处理装置和摄像装置整体结构的
图。本实施方式中的图像处理装置114包括存储输入的图像数据的图像数 据存储器101;生成将基于图像数据的图像分割为多个块后的各块的图像数 据(块数据)的块数据分割部102;基于块数据分割部102输出的块数据的 信息，对用于补偿图像质量的补偿参数进行控制的补偿控制部103;利用由 补偿控制部103确定的补偿参数进行图像质量补偿的图像质量补偿部104; 和对在图像数据存储器101中存储的图像数据内作为特定区域的人的脸部 区域进行检测的脸部区域检测部105。脸部区域检测部105可以使用以往公 知的检测方法，例如根据标准性的脸的部分(眼或口等)的位置关系进行检 测的方法、基于脸的颜色或边缘信息进行检测的方法、或者通过与预先准备 的脸部特征数据的比较进行检测的方法等。
例如，在基于脸的颜色或边缘信息来检测的方法中，将图像分割为肤色 区域和非肤色区域，同时检测图像中的边缘，将图像中的各部位分类为边缘 部分或非边缘部分，将由位于上述肤色区域内且分类为非边缘部分的部位的 集合构成的图像中的区域作为脸部候选区域进行检测。此外，在通过与预先 准备的脸部特征数据的比较进行检测的方法中，通过将脸的轮廓、眼、鼻、 眉、耳等预先存储的各种脸部特征数据与输入的图像进行比较，从而检测出 脸部区域。
本实施方式1中的摄像装置115进一步包括用于将被摄体图像聚光在 摄像元件107上的光学系统106;对通过光学系统106聚光的被摄体图像进 行摄像的例如由CCD构成的摄像元件107;对从摄像元件107输出的模拟摄像信号施加减小噪声等规定处理的模拟信号处理部108;将从模拟信号处 理部108输出的施加规定处理后的模拟摄像信号转换为数字摄像信号的A/D 转换部109;对从A/D转换部109输出的数字摄像信号施加白平衡调整等规 定处理的数字信号处理部110;对从数字信号处理部IIO输出的施加规定处 理后的敖字摄像信号(图像数据)实施规定的处理，检测脸部区域的图像处 理装置114;和将附加有从图像处理装置114输出的脸部区域信息的图像数 据向外部输出的图像数据输出部113。
此外，在本实施方式1中，包括存储从块数据分割部102输出的块数据 的块数据存储器112，进一步地，在摄像装置115中包含有对是否实施图像 处理装置114中的图像质量补偿处理进行切换的图像处理切换开关(SW) 111。
下面，基于图2的流程图，对图像处理装置114的工作进行说明。首先， 图像数据被输入到图像处理装置114中，并存储到图像数据存储器101中 (S401)。以后的处理根据由图像处理切换SW111选择的状态(S402)的 不同而不同。
当图像处理切换SW111选择图像处理为ON时，利用块数据分割部102 将输入图像分割为对应于检测的脸部区域尺寸的任意的块尺寸(S403 );利 用补偿控制部103基于各块数据的信息对每个块确定补偿的参数(S404); 利用图像质量补偿部104按照补偿的参数实施图像质量补偿处理(S405 ); 利用脸部区域检测部105对图像质量补偿后的图像数据实施脸部区域检测 (S406);在输入图像数据中附加脸部区域的信息(S407)并输出。
此外，当图像处理切换SW111选择图像处理为OFF且脸部区域检测为 ON时，利用脸部区域检测部105对输入图像数据实施脸部区域检测(S406 ); 在输入图像数据中附加脸部区域的信息(S407 )并输出。此外，当图像处理 切换SW111选择图像处理为OFF且脸部区域检测为OFF时，将输入图像数 据直接输出。
以下，对图像处理切换SW111选^^图像处理为ON时，通过块数据分割部102实施的块分割方法及通过补偿控制部103实施的补偿参数的确定方 法进行说明。如上述图26A所示的在同一图像内混有曝光过度的脸部区域 和曝光不足的脸部区域的图像301被输入时，首先，利用块数据分割部102 将输入图像分割为一定数目的块。此处，如图3所示，假设将输入图像均等 地分割为6x4共24个块501 ~ 524。接着，通过补偿控制部103计算各块501 ~ 524的平均亮度级，对每个块确定补偿的参数。另外，在该图3中，与后述 图同样，示出了各块501 524的平均亮度级的值。
在图3的例子中，各块501 ~ 524的平均亮度级为，块501=20、块502=30、 块503=30、块504=150、块505=170、块506=180、块507=20、块508=30、 块509=40、块510=160、块511 = 180、块512=180、块513=30、块514=40、 块515=40、块516=170、块517=180、块518=190、块519=30、块520=30、 块521=40、块522=190、块523=190、块524=200。
通过图像质量补偿部104实施增益补偿和y补偿作为图像质量补偿时， 通过补偿控制部103, —方面对每个块确定增益补偿的参数，使分割的图像 的各块的平均亮度级例如为90,另一方面，对每个块确定y补偿的参数，以 形成如图4所示在亮度级90附近陡然上升的y特性601。
在图3的例子中，对各块501 - 524实施的增益补偿的参数被确定为， 块501=乂9/2、块502=><3、块503=乂3、块504=x3/5、块505=x9/17、块506=xi/2、 块507=x9/2、块508=x3、块509=x9/4、块510=x9/16、块511=xl/2、块 512=><1/2、块513=><3、块514=乂9/4、块515=乂9/4、块516=乂9/17、块517=xl/2、 块518=x9/19、块519=x3、块520=x3、块521=x9/4、块522=x9/19、块 523=x9/19、块524=x9/20。
利用这样的补偿参数，可以计算出各块501 - 524的增益补偿的补偿值。 例如，块501中将增益补偿为9/2倍，块502中将增益补偿为3倍，以下同 样地进行补偿。此外，对各块501 ~ 524实施的y补偿的参数被确定为形成
图4所示的y特性。
在图像质量补偿部104中，按照所确定的补偿参数，对每个块实施图像质量的补偿，从而补偿为如图5所示。由此，即使在同一图像内混有曝光过 度的脸部区域和曝光不足的脸部区域的图像301中，通过上述图像处理也可 以同时补偿曝光过度和曝光不足，从而，能够高精度地同时检测多个脸部区 域。并且，通过Y补偿，得到对比度高的图像。
另外，作为块数据的信息以亮度级、作为图像质量补偿的方法以增益补 偿和Y补偿为一例进行了说明，但是并不限于此，通过其它的信息或其它的
补偿也可以实现上述图像处理。
(实施方式2)
在上述实施方式1中，由于将输入图像分割为一定数目，例如分割为6x4 共24个块，因此，例如在输入如图6所示的图像时，不能高精度地检测脸 部区域。即，若根据将输入图像分割为一定数目的块的实施方式1,则如图 7所示，将输入图像分割为例如6x4共24个块。接着，计算各块901 - 924 的平均亮度级，利用补偿控制部103对每个块确定补偿的参数。
在图7的例子中，各块卯l ~ 924的平均亮度级为，块卯1=20、块902=卯、 块卯3=180、块904=190、块905=120、块卯6=40、块907=20、块908=卯、 块卯9=180、块910=180、块911=120、块912=30、块913=30、块914=80、 块915=160、块916=170、块917=110、块918=30、块919=30、块920=80、 块921=160、块922=170、块923=100、块924=20。
如上所述，利用补偿控制部103来确定增益补偿的参数，使各块的平均 亮度级为90。即，对各块901 - 924实施的增益补偿的参数被确定为，块 901"9/2、块902=乂1、块903=乂1/2、块904=乂9/19、块905=乂3/4、块906=x9/4、 块907=x9/2、块908=xl、块％9=xl/2、块910=xl/2、块911=x3/4、块912=x3、 块913:x3、块914=x9/8、块915=x9/i6、块916=x9/17、块917二x9/11、块 918二x3、块919二x3、块920=乂9/8、块921=乂9/16、块922=乂9/17、块923=x9/10、 块924=x 9/2。
其中，着眼于图7中的块901和块902以及块卯7和块908。由于块902
和块908的增益补偿的参数被确定为xl,因此，如图8所示，在位于图像质量补偿后的各块内的脸部区域中残留有曝光不足的区域1002和区域1005, 难以高精度地检测脸部区域。对于图7中块904和块905以及块910和块 911中含有的曝光过度的脸部区域来说也存在同样的情况。
另外，在图8中，块卯l在图像质量补偿后以块1001表示、块904在 图像质量补偿后以块1004表示，块902在图像质量补偿后的块内的曝光不 足区域以区域1002表示、曝光过度区域以区域1003表示，块908在图像质 量补偿后的块内的曝光不足区域以区域1005表示、曝光过度区域以区域 1006表示。
因此，在本实施方式2中，对应于利用脸部区域检测部105检测的脸部 区域的尺寸，通过块数据分割部102以任意数目进行块分割。在脸部区域检 测技术中，通常假定数个等级的脸部区域尺寸进行检测。例如，当输入图像 尺寸为QVGA ( 320x240)时，首先，假定脸部区域的尺寸为240x240来尝 试检测，接着假定脸部区域的尺寸为200x200来尝试4企测，然后假定脸部区 域的尺寸为160x160来尝试检测，同样地假定更小的脸部区域尺寸来重复检 测，由此检测数个等级尺寸的脸部区域。这样，由于对应于脸部区域尺寸来 确定分割的块数，因此以含有脸部区域的块为单位补偿图像质量成为可能。
在本实施方式中，假定脸部区域的尺寸为多个等级进行分割，但是作为 其它的实施方式，也可以使分割的块数为多个等级，例如，均等地分割为3x2 共6个块来尝试脸部区域的检测，接着均等地分割为4x3共12个块来尝试 脸部区域的检测，然后均等地分割为6x4共24个块来尝试脸部区域的枱r测。
以下，说明对应于脸部区域尺寸来分割块的方法。其中，假设输入图像 尺寸为QVGA ( 320x240)，利用脸部区域检测部105检测的脸部区域的尺 寸假定为240x240、 200x200、 160x160、 120x120、 80x80、參40、 20x20、 10x10八个等级，依次进行检测。
其中，使用图9~图12对将脸部区域的尺寸假定为120x120及80x80 的情况进行说明。首先，图9中示出了假定脸部区域的尺寸为120x120时的 块分割。此时，按照假定的120x120的脸部区域尺寸1107,分割输入图像，使一个块的尺寸为120x120。
在本例中，以320x240的图像的左端为基准进行分割，右端的块1103 和块1106成为比120x120尺寸小的块。在图9的例子中，各块1101-1106 的平均亮度级为，块1101=60、块1102=180、块1103=60、块1104=80、块 1105=200、块1106=70。
通过图像质量补偿部104实施增益补偿作为图像质量补偿时，在补偿控 制部103中，确定增益补偿的参数，使各块的平均亮度级为90。即，对各 块1101-1106实施的增益补偿的参数被确定为，块1101=x3/2、块 1102=xl/2、块1103=乂3/2、块1104=><9/8、块1105=乂9/20、块1106=乂9/7。
其中，如图10所示，若着眼于图9中的块1102和块1103，则由于块 1103的增益补偿的参数被确定为x3/2，因此，在位于图像质量补偿后的块 1102和块1103内的脸部区域中残留有曝光过度的区域1202,难以高精度地 检测脸部区域。另外，在图10中，块1102在图像质量补偿后以块1201表 示，块1103在图像质量补偿后的块内的曝光过度区域以区域1202表示、曝 光不足区域以区域1203表示。
接着，图11中示出了假定脸部区域的尺寸为80x80时的块分割。此时， 按照假定的80x80的脸部区域尺寸1313,分割输入图像，使一个块的尺寸 为80x80。在图11的例子中，各块1301 ~ 1312的平均亮度级为，块1301=40、 块1302=180、块1303=190、块1304=30、块1305=40、块1306=160、块 1307=170、块1308=30、块1309=30、块1310=160、块1311 = 170、块1312=20。
通过图像质量补偿部104实施增益补偿作为图像质量补偿时，在补偿控 制部103中，确定增益补偿的参数，使各块的平均亮度级为90。即，对各 块1301-1312实施的增益补偿的参数被确定为，块1301=x9/4、块 1302=xl/2、块1303=x9/19、块1304=x3、块1305=x9/4、块1306=x9/16、 块1307=x9/17、块1308=x3、块1309=x3、块1310=x9/16、块131一9/17、 块1312=x9/2。
按照所确定的增益补偿的参数，通过利用图像质量补偿部104对每个块实施图像质量的补偿，可以使块的边界对应于同一图像内的曝光过度区域与 曝光不足区域的边界，如图12所示，上述图10中残留的脸部区域的曝光过 度得到补偿，可以高精度地检测脸部区域。
如上所述，在本实施方式2中，对应于利用脸部区域4企测部105，支定的 脸部区域尺寸而任意地进行块分割，从而能够以任意 一种尺寸高精度地检测 脸部区域。
另外，可以将图像以多个等级依次分割进行图像处理，如将图像以第一 块数分割进行图像处理，接着以第二块数分割进行图像处理，进一步地以第 三块数分割进行图像处理，也可以采用例如使脸部区域的检测精度最高的块数。
(实施方式3 )
在上述实施方式2中，由于是对每个矩形块进行图像质量补偿，因此， 例如在如图13所示的混有曝光不足的脸部区域和曝光过度的脸部区域的图 像被输入时，不能高精度地检测脸部区域。即，若根据将输入图像分割为矩 形块并对每个块进行图像质量补偿的实施方式2,则对应于利用脸部区域检 测部105々支定的脸部区域尺寸而任意地进行矩形块分割，在如图14所示实 际的脸部区域尺寸和块尺寸接近时，被认为可以高精度地检测，因而对该情 况的例子进行说明。
计算图14的各块1601 ~ 1612的平均亮度级，利用补偿控制部103对每 个块确定补偿的参数。在图14的例子中，各块1601 ~ 1612的平均亮度级为， 块1601=40、块1602=150、块1603=190、块1604=30、块1605=40、块1606=180、 块1607=170、块1608=30、块1609=30、块1610=180、块1611=170、块1612=20。
通过图像质量补偿部104实施增益补偿作为图像质量补偿时，在补偿控 制部103中，确定增益补偿的参数，使各块的平均亮度级为90。即，对各 块1601-1612实施的增益补偿的参数被确定为，块1601=x9/4、块 1602=x3/5、块1603=x9/19、块1604=x3、块1605=x9/4、块1606=xl/2、块 1607=x9/17、块1608=x3、块1609=x3、块1610=xl/2、块1611=x9/17、块1612=x9/2。
其中，着眼于图14中的块1601和块1602。由于块1601、块1602的补 偿参数分别被确定为x9/4、 x3/5,因此，块1601、块1602进行图像质量补 偿后，如图15的块1701和1702、块1703和1704所示，在图像质量补偿 后的脸部区域1702与脸部区域1703的边界上产生亮度级差。即，由于在脸 部区域内部产生由图像质量补偿引起的亮度级差，因而难以高精度地检测脸 部区域。
因此，在本实施方式3中，利用补偿控制部103,基于作为确定补偿参 数的块的目标块的信息和该目标块周边的周边块的信息，对目标块内的每个 像素确定补偿参数，按照该参数，利用图像质量补偿部104对每个像素进行 图像质量补偿。
以下，对考虑了周边块的目标块每个像素的补偿参数设定方法进行说 明。此处，如图16所示，假设输入图像尺寸为36x27，输入图像根据实施 方式2^C块分割(1块9x9)为4x3,将图16中的例如块1801作为确定补 偿参数并进行补偿的目标块，对基于目标块1801的信息和目标块1801周边 的周边块1802的信息，确定每个像素的补偿参数的方法进行说明。
在图16的例子中，各块1801 ~ 1812的平均亮度级为，块1801=40、块 1802=150、块1803=190、块1804=30、块1805=40、块1806=180、块1807=170、 块1808=30、块1809=30、块1810=180、块1811=170、块1812=20。
通过图像质量补偿部104实施增益补偿作为图像质量补偿时，在补偿控 制部103中，首先，如图17所示，为目标块内的全部像素分配平均亮度级 40。另外，在图17中，仅对与确定参数的说明有关的像素记载数值，块1901 表示为全部像素分配了平均亮度级40的目标块1801,块1902表示平均亮 度级为150的周边块1802。
接着，计算图16所示的目标块1801与周边块1802的平均亮度级的差、 即150 - 40=110,如图18所示，为目标块2001 ( 1801 )的像素分配亮度级， 使得从目标块1801的中心像素直至周边块1802的中心像素，亮度级阶梯性15地变化。即，如图18所示，目标块2001 ( 1801 )的中心像素的右方相邻第 一个像素的亮度级以40+( 110/9) xi-52置换，右方相邻第二个像素的亮度 级以40+( 110/9) x2=64置换，右方相邻第三个像素的亮度级以40+( 110/9) x3=76置换，右方相邻第四个像素的亮度级以40+ ( 110/9 ) x4=88置换。可 是，小数点以下部分要舍去。
接着，对每个像素确定增益补偿的参数，使置换后的亮度级为级别卯。 即，确定目标块1801的中心像素的补偿参数为x9/4,中心像素的右方相邻 第一个像素的补偿参数为x90/52,右方相邻的下一个像素的补偿参数为 x90/64,右方相邻的再下一个像素的补偿参数为x卯/76,右方相邻的再下一 个像素的补偿参数为x90/88。
进一步地，用同样的方法确定目标块2001 ( 1801 )的右下区域的每个 像素的补偿参数。如图16所示，由于目标块1801下方相邻的周边块1805 的平均亮度级为40、与目标块1801相同，因此，如图19所示，假设比目 标块2101 (1801)的中心像素更下方的各像素的亮度级为与目标块1801的 中心像素相同的亮度级40。
确定目标块1801的中心像素的右侧像素的补偿参数时，如上所述，直 接使用右方相邻的周边块1802的平均亮度级150,但是确定比中心像素更 下方的像素的补偿参数时，不是直接使用周边块1802的平均亮度级150, 而是使用利用周边块1802下方相邻的周边块1806的平均亮度级来暂时置换 的亮度级。即，基于图16的周边块1802的信息及其下方相邻的周边块1806 的信息，通过与上述相同的方法如图20的周边块2202 ( 1802)所示暂时进 行周边块1802中每个像素的亮度级的置换，利用这些暂时置换的亮度级， 如图20的目标块2201所示，与上述同样地，对目标块1801的右下区域包 含的全部剩余像素进行亮度级的置换，确定增益补偿的参数，使得对每个像 素进行置换后的级别为级别90。
图20所示的周边块2202 ( 1802 )的中心像素下方各像素的亮度级的暂 时置换是使用其下方相邻的周边块1806的平均亮度级180，与上述同样地进行。即，计算周边块1802与其下方相邻的周边块1806的平均亮度级的差、 即180 - 150=30,为周边块1802的像素分配亮度级，使得从周边块1802的 中心像素直至周边块1806的中心像素，亮度级阶梯形地变化。由此，周边 块1802如图20的周边块2202所示，中心像素下方的第一个像素的亮度级 被暂时置换为153,下方第二个像素的亮度级被暂时置换为156,下方第三 个像素的亮度级被暂时置换为159，下方第四个像素的亮度级被暂时置换为 163。
利用该周边块2202的暂时被置换的亮度级，与上述同样地，目标块1801 的右下区域的各像素的亮度级如图20的目标块2201 ( 1801 )所示被置换， 使得亮度级阶梯性地变化。
进一步地，利用这些置换后的亮度级，对目标块1801的右下区域包含 的全部剩余像素，确定增益补偿的参数，使得对每个像素进行置换后的亮度 纟及为级别90。
此外，如图21所示，对于目标块1801的右上、左下、左上区域，用同 样的方法对每个像素进行亮度级的置换，确定增益补偿的参数，使得对每个 像素进行置换后的亮度级为级别90。此时，在目标块1801的右上区域的像 素的亮度级的置换中使用周边块1802的亮度级，但是由于在周边块1802的 上方不存在块，因此比周边块1802的中心像素更上方的像素的亮度级如图 21的周边块2302 ( 1802)所示为150。
此外，如图16所示，目标块1801为输入图像的左上端的块，由于在上 方相邻和左方相邻处不存在块，因此目标块1801的左上区域如图21的目标 块2301所示以平均亮度级40置换。此外，目标块1801的左下区域在左方 相邻处不存在块，如图16所示，目标块1801的下方相邻的周边块1805的 平均亮度级为40,因此目标块1801的左下区域如图21的目标块2301所示 以平均亮度级40置换。
接着，将进行补偿的目标块设为块1802,基于左方相邻的周边块1801 的信息，与上述同样地，进行目标块1802左侧的亮度级的置换，则结果如图22的块2402所示。以下同样地，将输入图像的各块依次作为目标块，利
用其周边的块的信息依次确定补偿的参数。
如上所述，在本实施方式中，利用补偿控制部103,基于目标块的信息 和目标块的周边块的信息，对目标块内的每个像素确定补偿的参数，按照该 参数，利用图像质量补偿部104对每个像素进行图像质量补偿，由此降低块 边界处亮度级的差，可以高精度地检测脸部区域。 (实施方式4)
在上述实施方式2、 3中，对通过块^:据分割部102可以自由地确定分 割数的情况进行了说明，而以下将对块数固定的情况进行说明。块数被固定
检测脸部区域。因此，在本实施方式4中，对应于利用脸部区域;险测部105 假定的脸部区域尺寸而假想性地将块结合起来，利用补偿控制部103对假想 的结合后的每个结合块的参数进行确定。
以下对假想性地将块结合起来的方法及每个假想块的参数的确定方法 进行说明。在如图23所示，输入图像尺寸被固定为QVGA ( 320x240 )、块 数被固定为8x6 ( 1块40x40),并且脸部区域被假定为尺寸80x80的2405 时，假想性地将块结合起来，使各块接近脸部区域的尺寸。图24示出了假 想性地结合后的块。图23中的块2401、 2402、 2403、 2404被假想性地结合 起来，形成图24中的结合块2501，块2501的平均亮度级被认为是所结合 的各块的平均亮度级的平均值。即，结合块2501的平均亮度级为 (50+40+40+30 )/4=40。在图像质量补偿中实施增益补偿时，利用补偿控制 部103确定增益补偿的参数，使结合块2501的平均亮度级为90。即，对结 合块2501实施的增益补偿的参数确定为x9/4。所确定的结合块2501的增益 补偿的参数即为被假想性地结合起来的各块的增益补偿的参数。以后的处理 与实施方式2和实施方式3相同。
如上所述，在本实施方式中，对于块数固定的情况，对应于利用脸部区 域检测部105假定的脸部区域尺寸而假想性地将块结合起来，利用补偿控制部103对假想性地结合后的每个结合块的参数进行确定，从而可以高精度地 才全测脸部区域。
另夕卜，块数被固定时的块的尺寸比假定的脸部区域尺寸大时，可以假想 性地分割，使各块接近脸部区域的尺寸。
上述各实施方式1-4中说明的每个块及每个像素的补偿参数的确定方
法仅为一例而已，当然，可以对其进行各种改变。
虽然利用目前认为是优选的实施方式对本发明进行了说明，但是应理 解，本发明意在覆盖包括在所附权利要求书的精神和范围内的各种修改。
权利要求
1、一种图像处理方法，包括将基于图像数据的图像分割为多个块的步骤；和基于分割后的各块的图像数据的信息对每个块补偿所述图像的图像质量的步骤。
2、 一种图像处理装置，包括存储输入的图像数据的图像数据存储器；将基于所述图像数据的图像分割为多个块，生成各块的图像数据的数据分割部；补偿所述图像的图像质量的图像质量补偿部；和基于由所述数据分割部分割后的各块的图像数据的信息，对每个块控制通过所述图像质量补偿部进行的图像质量补偿的补偿控制部。
3、 根据权利要求2所述的图像处理装置，其中，所述数据分割部能够改变分割所述图像的块数。
4.根据权利要求3所述的图像处理装置，其中，所述图像处理装置包括检测所述图像的特定区域的特定区域检测部，的大小，确定分割所述图像的块数。
5、 根据权利要求2所述的图像处理装置，其中所述图像处理装置包括检测所述图像的特定区域的特定区域检测部，所述数据分割部分割所述图像的块数固定，的大小，将多个相邻的块结合起来，并且基于结合后的结合块的图像数据的信息，对每个所述结合块控制通过所述图像质量补偿部进行的补偿。
6、 根据权利要求2所述的图像处理装置，其中，所述补偿控制部对作为通过所述图像质量补偿部补偿图像质量的块的每个目标块，仅基于该目标块的图像数据的信息，控制通过所述图像质量补偿部进行的图像质量补偿。
7、 根据权利要求2所述的图像处理装置，其中，所述补偿控制部对作为通过所述图像质量补偿部补偿图像质量的块的每个目标块，基于该目标块及其周边的周边块的图像数据的信息，以所述目标块包含的像素为单位，控制通过所述图像质量补偿部进行的图像质量补偿。
8、 根据权利要求4所述的图像处理装置，包括对是否进行所述图像的图像质量补偿以及所述特定区域的检测进行切换的切换器。
9、 根据权利要求5所述的图像处理装置，包括对是否进行所述图像的图像质量补偿以及所述特定区域的检测进行切换的切换器。
10、 根据权利要求4所述的图像处理装置，其中，所述特定区域为人的脸部区域。
11、 根据权利要求5所述的图像处理装置，其中，所述特定区域为人的脸部区域。
12、 根据权利要求2所述的图像处理装置，包括用于存储通过所述数据分割部分割后的所述块的图像数据的块数据存储器，能够选择使所述块的图像数据存储在所述图像数据存储器或所述块数据存储器中的任意一种存储器中。
13、 根据权利要求2所述的图像处理装置，在监控模式和动态图像模式下进行所述图像质量补偿。
14、 一种摄像装置，其特征在于，所述摄像装置包括接受通过光学透镜入射的被摄体光并转换为摄像信号输出的摄像元件；将从所述摄像元件输出的摄像信号转换为数字信号的A/D转换部；对从所述A/D转换部输出的数字信号实施数字处理的数字信号处理部；对从所述数字信号处理部输出的图像数据进行处理的权利要求2所述的图像处理装置；和将从所述图像处理装置输出的图像处理后的图像数据向外部输出的图像数据输出部。
全文摘要
本发明涉及图像处理方法、图像处理装置和摄像装置。由于对将输入的图像分割为多个块后的每个块，基于各块的图像数据的信息进行补偿，因此，例如，即使在同一图像内混有曝光过度的区域和曝光不足的区域的情况下，也能通过使各块分别对应于曝光过度的区域和曝光不足的区域而进行分割并补偿，来同时补偿曝光过度的区域和曝光不足的区域。
文档编号H04N5/14GK101494725SQ20081018314
公开日2009年7月29日 申请日期2008年12月12日 优先权日2008年1月24日
发明者今川和幸, 宫腰隆一 申请人:松下电器产业株式会社