图像处理装置的制作方法

专利名称：图像处理装置的制作方法
技术领域：
本发明涉及图像处理装置，尤其涉及iiil判断输入图像的属性中是否含有给 定的特征图像来补偿形成输入图像的多个像素的每一个的亮度的图像处理装置。
背景技术：
对比文件l中公开了这种装置的一个实例。根据该背景技术，基于摄像元件 的输出的视频信号被向外部输出，并且被掛共给被摄体提取电路。被摄,取电 路从视频信号中提取表示特定被摄体的特定被摄体信号。此外，控制电路基于所 提取出的特定被摄体信号，对信号处理电路的设定、即图像信号的增益、黑电平、 频率特性、色调等等的设定进行调整。据此，就可以对特定被摄体的部分和其它 部分分别进行处理，从而实IJP辨寺定被摄体进行适当的画质控制。日本特肝5-110936号公报
但是，在背景技术中，顿信号处理电路的设定进行调整的时候，并没有考 虑视频信号的離，在适当的画质控制动作中存在着局限
发明内容

本发明的主要目的是要提供一种能够实5见比考虑被摄景的属性更合适的画 质控制的图像处理装置。
本发明的图像处理装置(10:实施例中相应的附图标记。以下相同)包括
偏离度计算单元(54， 58)，其参照输入图像的平均亮度(AVEblk， AVEfrm)， 计算形 入图像的多个像素的各个像素的亮度的偏离度"1， a2);亮度补偿单元(52， 56， 60， 68， 70， 72)，其根据偏离度计算单元所计算出的偏离度， 对形成输入图像的多个像素的各个像素的亮度进行补偿；以及第一变更单元 (S35， S41， S49， S55， S37， S43， S51， S57)，其通过判断输入图像的属性 中是否含有给定的特征图像，来变更亮度补偿单元的补偿特性。
偏离度计算单元，参照输入图像的平均亮度来计算形成输入图像的多个像素 的各个像素的亮度的偏离度。亮度补偿单元，基于偏离度计算单元所计算出的偏 离度，对形成输入图像的多个像素的各个像素的，进行补偿。第一变更单元， 通过判断输入图像的属性中是否含有给定的特征图像，来变更亮度补偿单元的补 偿特性。
因此，当亮度的偏离是由与给定的特征图像不同的图像的轮廓所弓l起的时 候，根据某种补偿特性来补偿亮度。与此相沐当離的偏离是由给定的特征图 像的轮廓所弓胞的时候，根据其他的补偿特性来补偿亮度。于是，肯辦实现考虑 了输入图像的属性的适当的画质控制。
理想的是，第一变更单元为了进行判断处理而关注的属性中进一步包括输入 图像的平均亮度。
理想的是，该图像处理装置进一步包括第一平均亮度计算单元(62， 64)， 其计算每个第一块的相当于输入图像的平均亮度的第一平均亮度(AVEblk)， 该第一块具有第一尺寸；以及第二平均亮度计算单元(62， 66)，其计算齡第 二块的相当于输入图像的平均亮度的第二平均亮度(AVEfrm)，该第二块具有 比第一尺寸更大的第二尺寸。偏离度计算单元还包括:第一偏离度计算单元(54)， 其计算与相对于第一平均亮度的偏离度相当的第一偏离度(ol)，以及第二偏离 度计算单元(58)，其计算与相对于第二平均亮度的偏离度相当的第二偏离度(cj2)。
更理想的是，亮度补偿单元包含:基于第一偏离度来调整第一补偿系数(K1)
的第一系数调整单元(56);基于第二偏离度来调整第二补偿系数(K2)的第二 系数调整单元(60);以及对第一平均亮度和第二平均，实施参照了第一补偿 系数和第二补偿系数的运算处理的运算单元(68)，而该第一变更单元包括变更 第一系数调整单元和第二系数调整单元的调整待性的调整特性变更单元(S35， S化S49， S55)。
更理想的是，运算单元包括块偏离度计算单元(80)，其计算与第一平均 亮度相对于第二平均亮度的偏离度相当的谢扁离度(AAVE);以及加权单元(78)， 其参照第一补偿系 ±^{扁离度进行加权。
在某种情形下，运算单元还可以进一步包括从给定值中减去加权单元的加权
结果的减法运算单元(86)，调整待性变更单元包含当输入图像具有给定的特
征图像时，以增加加权单元的加权量的方式来变更第一系数调整单元的调整特性
的第一调^f寺性变更单元(S41， S55)。
理想的是，亮度补偿单元包含对偏移誠行加法运算的加法运算单元(90)， 第一变更单元包含变更偏移量的大小的偏移量变更单元(S37， S43， S51， S57)。
理想的是，亮度补偿单元包含y补偿量输出单元(52),其输出与形成输 入图像的多个像素的各个像素对应的Y补偿量；以及修正单元(70)，其参照运 算单元的运算结果，修正由Y补偿量输出单元输出的Y补偿量。
理想的是，该图像处理装置可以进一步包括参照亮度补偿单元所补偿的亮 度，对形成输入图像的多个像素的各个像素的颜色进行补偿的颜色补偿单元
(76);以及与第一变更单元的变更处理相关联，变，色补偿单元的补偿特性 的第二变更单元(S39， S45， S53， S59)。
6本发明的图像处理方法，是由图像处理装置(10)执行的图像处理方法，包
括偏离度计算步骤(54， 58)，参照输入图像的平均亮度(AVEblk， AVEfon)， 计算形成输入图像的多个像素的各个像素的亮度的偏离度。1， o2);亮度补偿 步骤(52， 56， 60， 68， 70， 72)，基于由偏离度计算步骤所计算出的偏离度， 补偿形成输入图像的多个像素的於像素的亮度；以及变更步骤(S35， S41， S49， S55， S37， S43， S51， S57)，通过判断输入图像的属性中是否含有给定的特征 图像，来变更離补偿步骤的补偿特性。
根据本发明，当亮度的偏差是由与给定的特征图像不同的图像的轮廓所弓胞 的时候，根据某种补偿特性来补偿亮度。与此相对，当.離的偏差是由给定的特 征图像的轮廓所引起的时候，根据其他的补偿特'賊补偿亮度。于是，會,实现 考虑了输入图像的属性的适当的画鹏制。
本发明的i:^目的、其他目的、特征和优点，M参照附图戶腿行的对下列 实施例的详细描述中，变得更加清晰。


,l]是表示本发明的一个实施例的构成的框图。
闺2]是表示摄像面上的评价区域的分配状态的一例的示意图。
闺3] (A)是表示具有大尺寸的面 测框的一例的示意图，(B)是表示 具有中尺寸的面部检测框的一例的示意图，(C)是表示具有小尺寸的面部检测 框的一例的示意图。是表示适用于图1实施例的面部框信息表的一例的示意图。是表示面部检测动作的一部分的示意图。
,6] (A)是表^131樹^S捕赔啲被摄景的一例的示意图，(B)是 表^M^f^S捕捉到的被摄景的另一例的示意图。
闺7]是标适用于图1实施例的对比度补偿电路的构成的一例的框图。 闺8提表示适用于图7实施例的块亮度计算电路的动作的一部分的示意图。 闺9]是表示适用于图7实施例的线性内插电路的动作的一部分的示意图。 闺IO]是表示与亮度的标准偏差相应的补偿系数的变化的一例的图表。闺1 l]是表示与补偿Y数据相应的UV增益的变化的一例的图表。
闺12] (A)是表示Y数据的补偿特性的一例的图表，(B)是表示UV数
据的补偿特性的一例的图表。
闺13]是表示适用于图7实施例的修正增益计算电路的构成的一例的框图。 [图14]是表満用于图1实施例的CPU的动作的一部分的流程图。 闺15]是表示适用于图1实施例的CPU的动作的另一部分的流程图。 闺16]是表示适用于图1实施例的CPU的动作的其他部分的流程图。 闺17]是表示适用于图1实施例的CPU的动作的又一部分的流程图。 闺18]是表示适用于图1实施例的CPU的动作的再一部分的流程图。 闺19]是表g用于图1实施例的CPU的动作的另一部分的流程图。 图中IO...数码照相机，16…衝線置，20...照相机处理电路，22...对比
度补偿电路，26...SDRAM， 32...AE/AWB评价电路，34...AF评价电路，
36…CPU。
具体实施方式

参照图1，本实施例的数码照相机10包括由驱动器18a和18b分别驱动的 聚焦纖12和光圈单元14。经腿些部件的被摄景的光学图像，被照射至臓像 装置16的摄像面，然后对其实施光电转换。由此，生成表示被摄景图像的电荷。
此外，摄像面由未图示的原色滤光片覆盖，在配置于摄像面上的多个像素的 每一个上形成的电荷，具有R (红)、G (绿)和B (蓝)中的任意一种的颜色
<曰息。
在接入电源的时候，CPU 36为了在摄像任务下执行直通图像处理，命令驱 动器18c重复执行曝光动作和间隔读出动作。驱动器18c响应于图中未表示的SG (信号发生器)周期性产生的垂直同步信号Vsync，曝光摄像面，且以光栅扫描 的形态读出在摄像面上生成的电荷的一部分。从樹t^置16中周期性地输出基 于戶/^出的电荷的原始图像 。照相机处理电路20对从摄ft^fi 16输出的原始图像数据实施白平衡调整、
颜色分离、YUV转换等等的处理，生成YUV形式的图像数据。所生成的图像数 据的对比度由对比度补偿电路22进行补偿，具有经补偿的对比度的图像数据通 过存储器控制电路24而被写入到SDRAM 26中。LCD驱动器28 iM存储器控 制电路24，重复读出存储在SDRAM 26中的图像数据，基于所读出的图像数据 驱动LCD显示器30。结果，在显示器画面中显示被摄景的实时运动图像(直通 图像)。
参照图2，在摄像面的中央配置有评价区域EVA。评价区域EVA在水平方 向禾唾直方向的各个方向上被分割为16份，形成具有256个分害ij区域的评价区 域EVA。
AE/AWB评价电路32在每次产生垂直同步信号Vsync时，对从照相机处理 电路20输出的Y数据中属于评价区域EVA的Y 进行积分。这样，响应于 垂直同步信号Vsync，从AE/AWB评价电路32输出256个积分值、也就是256 个AE/AWB评价值。此外，AFWf介电路34在每次产生垂直同步信号Vsync时， 对属于同一评价区域EVA的Y数据的高频成分进行积分。这样，响应于垂直同 步信号Vsync，从AF评价电路34中输出256个积分值、也就是256个AF评价 值。稍后描述基于这种AE/AWB刑介值以及AFiff介值的处理动作。
CPU 36在并行于摄像任务的面部检测任务下，从SDRAM 26中存储的各帧 图像数据中检测人物的面部图像。为了实现这种面部检测任务，准备如图3 (A) -3 (C)所示的不同尺寸的3个面部检测框，首先，图3 (A)所示的"大尺寸"的 面部检测框被设定在图2所示的评价区域EVA的左上、也就是面部检测开始位 置处。另外，用于识别是否检测面部图像的面部检测I射己FLG被设定为"O"。
当产生垂直同步信号Vsync时，对在SDRAM 26中存储的当fpli贞的图像数 据中、与面部检测框相对应的部分图像数据，实施用于面部识别的对照处理。具 体的，参照在闪存44中准备的人物的"眼睛"、"鼻子"、"嘴巴"等等的字典数据， 判断面部检领帳内的部分图像是否与人物的面部图像相应。如果判断为所关注的
9部分图像与面部图像相应，则将面部检测标记FLG设定为"1"，且将当前时刻的面部检测框的位置以及尺寸所描述的面部框信息记录在图4所示的面部框信息的面部框信息表TBL中。
此外，面部检测iH己FLG在每次产生垂直同步信号Vsync时返回到"O"，面部框信息表TBL也在每次产生垂直同步信号Vsync时被清空。
面部检测框，以图5所示的要领沿光栅方向以给定量一步步移动，在刑介区域EVA上的多个位置，执行上述的对照处理。而且，每当成功完成了面部识别，与所识别的面部相对应的面部框信息就被记录在面部框信息表TBL中。
"大尺寸"的面部检测框到达粥介区域EVA的右下、也就是面部检测结束位置时，面部检测框的尺寸被更新为"中尺寸"，并在面部检测开始位置重新配置具有更新后的尺寸的面部检测框。与前述的相同，面部检测框在评价区域EVA上沿光栅方向移动，与对照处理所识别的面部相对应的面部框信息被记录在面mi信息表IBL中。若"中尺寸"的面部检测框到达面部检测结束位置，贝IJ接着在面部检测开始位置配暨'小尺寸"的面部检测框，执行与前述相同的移动处理和对照处理。如此所得的面部框信息也被记录在面部框信息表TBL中。
在拍摄图6 (A)所示的被摄景的情况下，面部框信息不会被记录在面部框信息表TBL中，面部检测^i己FLG保伊0"。另一方面，在摄像图6 (B)所示的被摄景的情况下，粗线所示的框的位置以及尺寸被记录在面部框信息表TBL中，面部检测iH己FLG被更新为'T，。
与这种面部检测任务并行，CPU 36在摄像任务之后执行基于AE/AWB i營电路32的输出的直通图像用的AE/AWB处理。在这里，如果在面部框信息表TBL中至少设定了 1个面部框，则覆盖该面部框的一部分的分割区鄉每被定义为提取区域。对此，如果在面部框信息表TBL中一个面部框都没有设定，那么评价区域EVA全体都被定义为提取区域。直通图像用AE/AWB处理，是基于属于所定义的提取区域的AE/AWB评价值来执行的，由此可以计算出合适的EV值以及^S的白平衡调整增益。在驱动器18b和18c中分别设定所计算出的誠的EV值进行定义的光圈量和曝光时间。此外，在照相机处理电路20中设定所计算出的合适的白平衡调整增益。结果，可以适当地调整显示在LCD显示器30上的直通图像的明亮度和白平衡。
若键输A^置38中设置的快门按钮38s被按下一半，则CPU 36停止面部检测任务，在摄像任务下，执行基于AW/AWB评价电路32的输出的记录用AE/AWB处理以及基于AF iTO电路34的输出的AF处理。
记录用AE/AWB处理，还可以基于属于所定义的提取区域的AE/AWB ifj介缺执行，由此可以计算出最佳EV值以及最佳白平衡调整增益。与前述的相同，在驱动器18b和18c中分别设定对所计算出的最佳EV值进行定义的光圈量和曝光时间，在照相机处理电路20中设定所计算出的最佳白平衡调整增益。结果，可以在LCD显示器30中显示具有最佳明亮度和白平衡的直通图像。
AF处理也一样，基于属于所定义的提取区域的AF评价ttt执行。聚焦透镜12通过驱动器18a沿光轴方向移动，舰所谓的梯度处理而被配置至U焦点上。
当完全按下快门按钮38s时，在摄像任务下执行记录处理。CPU 40命令马区动器18c —次一次地执行正式曝光动作以及全部像素的读出。驱动器18c响应于垂直同步信号Vsync的产生，对摄像面实施正式曝光，以光栅扫描状态读出在电 16中输出。
对输出的原始图像数据实施与前述的相同的处理，结果，YUV形式的高分 辨率的图像繊被保存在SDRAM 26中。这样，1/F40鹏存储器控审魄路24， 读出存储在SDRAM 26中的高分辨率的图像数据，以文件的形式将读出的图像 数据记录在记录媒体42中。另外，在高^fjf率的图像数据被存储在SDRAM 26 中的时刻，重新开始直通图像处理以及面部检测任务。
对比度补偿电路22按照图7所示来构成。形成从照相机处理电路20输出的 图像数据的Yi^被劍共给Y补偿电路72、 Y补偿量计算电路52、标准偏差计 算电路54和58以及块亮度计算电路62。此外，形成从照相机处理电路20输出 的图像数据的U数据和V数据被掛共给UV补偿电路76。
块亮度计算电路62，以图8所示的要领，将摄像面分割为64个亮度检测i央， 按照每个分割出的亮度检测块计算Y数据的平均值。线性内插电路64以当前时 刻输入的像素、也就是当前像素TPX为中心，假设一个具有与亮度检测块同样
尺寸的块raK，并对周围的離检测块计算出的平均值实施线性内插(参照图9)。
结果，假设块TBK的亮度的平均值作为块平均亮度AVEblk被输出。此外，整 体亮度计算电路66对块亮度计算电路62所计算出的64个平均值再次进行平均， 并将如此所得的平均值作为AVEfim输出。
线性内插电路64所计算出的块平均亮度AVEblk被提供给标准偏差计算电 路54和修正增益计算电路68。此外，整体平均亮度计算电路66所计算出的整体 平均亮度AVEfim被提供给标准偏差计算电路54和修正增益计算电路68。
标准偏差计算电路54，将与当前像素TPX的亮度的i央平均，AVEblk相 关的偏离度，作为标准偏差cil来计算。补偿系数计算电路56，基于标准偏差计 算电路54所提供的标准偏差o1，计算或调整补偿系数K1。此外，标准偏差计算 电路56，将与当前像素TPX的亮度的M:平均亮度AVEfini相关的偏离度，作 为标准偏差cr2来计算。补偿系数计算电路60，基于标准偏差计算电路58所劍共 的标准偏差cr2，计算或调整补偿系数K2。
12在这里，补偿系数计算电路56的补偿系数K1的计算特性(调整特性)，以 及补偿系数计算电路60的补偿系数K2的计算特性(调整特性)，Mii考虑被摄 景图像中是否存在人物的面部图像以及被摄景图像的平均亮度是否超过基准值 REF1 ，由CPU 36在设定A-D之间进行变更。
当被摄景中不存在人物的面部且整体平均亮度AVEfrm超过基准值REFl的 时候，CPU36选择设定A;当被摄景中存在人物的面部且整体平均亮度AVEfim 超过基准值REF1的时候，CPU36选择设定B。另外，当被摄景中存在人物的面 部且整体平均亮度AVEfrm在基准值REFl以下的时候，CPU36选择设定C;当 被摄景中不存在人物的面部且整体平均亮度AVEfim在基准值REF1以下的时 候，CPU36选择设定D。
参照图IO，补偿系数KI的计算特性，与设定A相对应时标沿着直线K1—A 的特性，与设定B相对应时表示沿着直线K1—B的特性，与设定C相对应时表示 沿着直线Kl—C的特性，与设定D相对应时表示沿着直线Kl—D的特性。此外， 补偿系数K2的计算特性，与设定A相对应时表示沿着直线K2一A的特性，与设 定B相对应时表示沿着直线K2—B的特性，与设定C相对应时表示沿着直线K^C 的特性，与设定D相对应时表示沿着直线K2—D的特性。
修正增益计算电路68参照这样计算出的补偿系数Kl和K2，对±央平均亮度 AVEblk和整体平均亮度AVEfim实施按照算式1的运算。 [算式1]
PDC—G=2.0-AAVE*Kl-((AVEfim*K2), PDC一UD民PIX一OVR) +GAIN—OFST
PDC一G:修正增益 2.0:给定值
AAVE: AVEblk画AVEfrm GAIN—OFST:偏移量 PDC—UDR:常数
PIX一OVR:超过PDC一UDR的常数
根据算式1，从给定值2.0中减去块平均亮度AVEblk和整体平均亮度 AVEfrm之差乘以(加权)补偿系数Kl所得的乘积与^j本平均亮度AVEfim乘 以(加权)补偿系数k2所得的乘积(其中，PK_UDR作为下限值，PDC—OVR 作为上限值)，再^M法所得的值与偏移量GA]N—OFST相加。
此外，还考虑被摄景图像中是否存在人物的面部图像以及被摄景图像的平均 亮度是否超过基准值REF1 ，由CPU 36在设定A-D之间变更偏移量GAIN—OFST 的值。偏移量GAJN—OFST在对应于设定A时表示为"-0.125"，在对应于设定B 时表示为"-0.0625"，自应于设定C时表示为"0"，以及在X寸应于设定D时表示 为"+0.0625"。
将这样计算出的修正增益PIX一Gm共给y补偿量计算电路70。另一方面，y 补偿量计算电路52参照给定的y补偿曲线计算与当前像素tpx的y数据值相对 应的y补偿量，并将计算出的y补偿量樹共给y补偿量修正电路70。 y补偿量修 正电路70将修正增益计算电路68所ilf共的修正增益PIX一G与y补偿量计算电路 52所提供的Y补偿量相乘，并将如此所得的修正Y补偿量ltf共给Y补偿电路72。 y补偿电路72参照所提供的修正y补偿量对当前像素tpx的y数据进行补偿， 然后将补偿Y繊向存储器控制电路24 (参照图1)输出，同日tJ^共给UV补偿 量计算电路74。
UV补偿量计算电路74基于所樹共附卜偿Y数据，计算UV补偿量。UV补 偿电路76参照计算出的UV补偿量，补偿当前像素TPX的UV数据，并向存储 器控制电路24 (参照图l)输出补偿UV数据。
同样，考虑被摄景图像中是否存在人物的面部图像以及被摄景图像的平均亮 度是否超过基准值REF1 ，由CPU 36在设定A-D之间变更UV补偿量的计算特 性。参照图ll， UV补偿量的计算特性，与设定A相对应表示沿着直线UV—A 的特性，与设定B相对应时表示沿着直线UV—B的特性，与设定C相对应B寸表 示沿着直线UV—C的特性，与设定D相对应时表示沿着直线UV——D的特性。
14
结果，Y补偿电路72的输入输出特性如图12 (A)所示地被定义，UV补偿 电路76的输入输出特性如图12 (B)所示地被定义。也就是说，Y数据，在对 应于设定A时以曲线L—Al所示的要领来补偿，在对应于设定B时以曲线L一B 1 所示的要领来补偿，顿应于设定C时按曲线L—Cl所示的要领来补偿，以舰 应于设定D时按曲线L—Dl所示的要领来补偿。此外，UVi^，顿应于设定 A时按曲线L一A2所示的要令tt补偿，^j"应于设定B时按曲线L一B2所示的要 领来补偿，顿应于设定C时按曲线L—C2戶标的要令棘补偿，以颇应于设定 D时按曲线L—D2所示的要领来补偿。
在拍摄如图6 (A)所示的那样的风景画的时候，选择设定A或D。沿着如 图10所示的直线K1—A和K1—D来调整补偿系数Kl ，同样沿着如图10所示的 直线K2—A和K2一D来调整补偿系数K2。因此，建筑物BLD1和桥BRG1的轮 廓部分，也就是说与天空的边界部分的亮度受到抑制，而建筑物BLD1和桥BRG1 的中央部分的亮度增加。此外，沿着如图11所示的直线UV一A以及UV一D来调 整UV补偿量。这样，低亮度部分的色度被限制得较低，而高亮度部分的色度增 加。由此，舰地补偿了风景画的对比度。
与此相沐在拍摄如图6 (B)所示的那样的人物画的时候，选择设定B或 C。沿着如图10所示的直线Kl—B和K1—C来调整补偿系数Kl ，同样沿着如图 10所示的直线K2一B和K2—C来调整补偿系数K2。因此，更;U:也抑制了人物m 的面部的轮廓部分的亮度，而人物H1的面部的中央部分的亮度增加。此外，沿 着如图11所示的直线UV一B以及UV—C来调整UV补偿量。这样，中等亮度部 分的色度增加，高離部分以及低亮度部分的色度被抑制。由此，^t子地补偿了 人物画的对比度。
修正增益计算电路68如图13所示那样来构成。补偿系数Kl和K2分别提 供给乘法器73的一个输入端以及乘法器82的一，入端。加法器80从±央平均 亮度AVEblk中减去整体平均亮度AVEfim，将如此所得的减^f直AAVE皿给 乘法器78的另一^lr入端。整体平均亮度AVEfim还被^i共给乘法器82的另一输入端。
乘法器78将差值AAVE与补偿系数Kl相乘，并将乘积衛共给加法器86的 一个输入端。乘法器82将整体平均亮度AVEfim与补偿系数K2相乘，并将乘积 输入到限幅器84中。限幅器84在所输入的乘积处于常数PDC—UDR以上且位于 PIX_OVR以下的时候，将该乘积掛共至咖法器88的一铺入端。限幅器84还 在所输入的乘积低于常数PIX—UDR的时候，将常数PDC—UDR i^共给加法器88 的一个输入端，而在所输入的乘积高于常数PIX—OVR的时候，将常数PDC一OVR 衛共给加法器88的一个输入端。
将给定值"2.0"提供给加法器86的另一输入端。加法器86从给定值"2.0"中减 去乘法器78的输出，并将减雖^i共给加法器88的另一输入端。加法器88从 该减法值中减去限幅器84的输出，并将所得的减^1掛共给加法器90的一个输 入端。力條器90 ^^i共给其一个输入端的减雖与提供给其另一输入端的偏移 量GAIN—OFST相加，其加法值作为修正增益PIX一G输出。
CPU36并行地执行多个任务，这些任^S括如图14—17所示的摄像任务以 及如图18—19所示的面部检测任务。此外，与这些任务相对应的控制，，存储 在闪存44中。
参照图14，在步骤Sl执行初始化处理。结果，将系数Kl和K2、偏移量 GAIN一OFST和UV补偿量的计算特性被调整为适合于设定A。在步骤S3执行直 通图像处理，接着在步骤S5启动面部检测任务。il3l步骤S3的处理，表示被摄 景的直通图像从LCD显示器38输出。而且，M步骤S5的处理，开始图18— 19所示的面部检测任务的处理。
在步骤S7，判断快门按钮38s是否被按下一半，如果判断结果是"否"，那 么重复步骤S9的直通图像用AE/AWB处理。结果，适度地调M通图像的明亮 度和白平衡。当快门按钮38s被按下一半时，在步骤S11停止面部检湖临务，在 步骤S13执行记录用AE/AWB处理，在步骤S15执行AF处理，然后在步骤S17执行对比度调整处理。
Mil步骤Sll的处理，停止了面部检测任务的处理，舰步骤S13的处理， 直通图像的明亮度被调整到最合适的值。此外，M步骤S15的处理，聚焦 12被配置至噍点上，M步骤S17的处理，直通图像的对比度被调整到适合于被 摄景的属性的状态。
在步骤S19，判断快门按钮38s是否被完全按下，在步骤S21判断快门按钮 38s的动作是否已^^除。如果步骤S19的判断结果为"是"，那么经过步骤S23 附己录处理之后前迸到步骤S25，如果步骤S21的判断结果为"是"，那么前进 到步骤S25。在步骤S25执行与步骤S3相同的处理，在步骤S27执行与步骤S5 相同的处理。步骤S27的处理完成之后，返回到步骤S5。
图14所示的步骤S17的对比度调整处理依据图16—17所示的子程序。
首先，在步骤S31判断平均值AVEfim是否超过基准值REF1，在步 骤S33以及S47的每一个中判断^H己FLG是否为"O"。此外，ffljl面部检测任务， 当从被摄景图像中检湖倒人物的面部图像时，就将标记FLG从"0"更新为"1"。
当在步骤S31和S33中分别判断为"是"时，执行步骤S35—S39的处理。 当在步骤S31判断为"是"，而在步骤S33判断为"否"时，执行步骤S41—S45 的处理。当在步骤S31判断为"否"，而在步骤S47判断为"是"时，执行步骤 S49—S53的处理。当在步骤S31和S47中分别判断为"否"时，执行步骤S55 —S59的处理。当完成步骤S39、 S45、 S53以及S59的处理后，返回到上一层的 子辦。
在步骤S35，以适用于设定A的方式调整系数Kl和K2的计算特性，在步 骤S37，以适用于设定A的方式调整偏移量GAIN—OFST，然后在步骤S39，以 适用于设定A的方式调整UV补偿量的计算特性。在步骤S41 ，以适用于设定B 的方式调整系数Kl和K2的计算特征，在步骤S43，以适用于设定B的方式调 整偏移量GAIN—OFST，然后在步骤S45，以适用于设定B的方式调整UV补偿
17量的计算特性。
在步骤S49，以适用于设定D的方式调整系数Kl和K2的计算特性，在步 骤S51，以适用于设定D的方式调整偏移量GAIN—OFST，然后在步骤S53，以 适用于设定D的方式调整UV补偿量的计算特性。在步骤S55 ，以适用于设定C 的方式调整系数Kl和K2的计算特性，在步骤S57，以适用于设定C的方式调 整偏移量GAIN一OFST，然后在步骤S59，以适用于设定C的方式调整UV补偿 量的计算特性。
参照图18—19，在步骤S61将fei己FLG设定为"0"，接着在步骤S63，在评 价区域EVA的左上的面部检测开始位置上配置"大尺寸"的面部检测区域。在步骤S65，判断是否产生了垂直同步信号Vsync，如果为"是"，则 在步骤S67清空面部框信息表TBL。在步骤S69执行用于面部识别的对照处理， 在步骤S71判断是否发现了人物的面部。当il3W照处理而判断出属于面部检测 框内的图像与人物的面部图像相对应时，就在步骤S71判断为"是"，经过步骤 S73—S75的处理前懇陟骤S77。与此相沐当MilXt照处理，判断出属于面部 检须鹏内的图像与人物的面部图像不相同时，就在步骤S71判断为"否"，并前 进到步骤S77。
在步骤S73,制作描述了当前时亥啲面部检测框的位置以及尺寸的面部框信 息，将制作出的面部框信息写入面部框信息表TBL中。在步骤S75，为了表示发 现了面部图像这一事实，将t射己FLG设定为"1"。
如果在步骤S77为"是"，而在步骤S79为"否"，贝赃步骤S83中更新面 部检测框的尺寸。如果面部检测尺寸的当前时刻的尺寸是大尺寸，那么更新后的尺寸就' 中尺寸，如果面部检测尺寸的当前时亥啲尺寸是中尺寸，那么更新后
的尺寸就 小尺寸。在步骤S85在面部检测开始位置配置面部检测框，完成配 置处理之后，返回到步骤S69。而且，如果步骤S77和S79的每一个都为"是" 的话，就可以认为当前帧上的面部检测处理已经结束，返回到步骤S61，以用于
Y补偿电路72，参照如此调整的补偿系数Kl和K2，补偿形成输入图像的 多个像素的每一个的亮度。CPU 36，通过判断输入图像的属性中是否含有人物的 面部图像(给定的特征图像)，来变更补偿系数K1和K2的调整特性(S35， S41， S49， S55)。
也就是说，Y补偿电路72的补偿处理所参考的补偿系数Kl和K2，是基于 形成输入图像的各像素的亮度的偏离度 行调整的。但是，补偿系数K1和K2 的调整特性，M过判断输入图像的属性中是否含有人物的面部图像来变更的。
因此，当亮度的偏差是由与人物的面部图像不同的图像的轮廓所弓胞时，通 过某个调整特性来调整补偿系数Kl。与此相对，当亮度的偏差是由人物的面部 图像的轮廓所引起时，通过其他的调徵寺t魏调整补偿系数Kl和K2。这样，就 可以实现考虑了输入图像的属性的适当的画质控制。
进一步，在该实施例中，虽然假设了拍驗止图像的謝象照相机，但本发明 也能够适用于摄^^几。 [0079〗
进一步，在该实施例中，虽然假设了将人物的面部图像作为给定的特征图像，
19但给定的特征图像并不限制与此。
权利要求
1、一种图像处理装置，其中包括偏离度计算单元，其参照输入图像的平均亮度，计算形成所述输入图像的多个像素的每一个的亮度的偏离度；亮度补偿单元，其基于所述偏离度计算单元所计算出的偏离度，补偿形成所述输入图像的多个像素的每一个的亮度；以及第一变更单元，其通过判断上述输入图像的属性中是否含有给定的特征图像，来变更所述亮度补偿单元的补偿特性。
2、 如权利要求1戶脱的图像处理驢，其中，所述第一变更单元为了进行判断处理而关注的属性中进一步包括所述输入 图像的平均亮度。
3、 如权利要求1或2戶腿的图像处蝶置，其中，该装置还包括第一平均亮度计算单元，其计算*第一块的相当于所述输入图像的平均亮 度的第一平均亮度，该第一±央具有第一尺寸；以及第二平均亮度计算单元，其计算*第二块的相当于所述输入图像的平均亮 度的第二平均亮度，该第二块具有比戶脱第一尺寸更大的第二尺寸，戶，偏离度计算单元包括第一偏离度计算单元，其计算与相对于所述第一 平均亮度的偏离度相当的第一偏离度；以及第二偏离度计算单元，其计算与相对 于所述第二平均亮度的偏离度相当的第二偏离度。
4、 如权利要求3戶腿的图像处理装置，其中，所述亮度补偿单元包括基于戶腿第一偏离度来调整第一补偿系数的第一系 数调整单元；基于戶;M第二偏离度来调整第二补偿系数的第二系数调整单元；以 及对所述第一平均亮度和所述第二平均亮度实施参照了所述第一补偿系数和所 述第二补偿系数的运算处理的运算单元，上述第一变更单元包括变更所述第一系数调整单元和所述第二系数调整单 元的调#^寺性的调 性变更单元。
5、 如权利要求4戶脱的图像处理装置，其中，戶; ^算单元包括土刺扁离度计算单元，其计算与所述第一平均亮度相对于所述第二平均亮度的 偏离度相当的i央偏离度；以及加权单元，其参照所述第一补偿系数，对所述块偏离度进行加权。
6、 如权利要求5所述的图像处理装置，其中，所艇算单碰一步包括从给定值中减去所述加权单元的加权结果的减法 运算单元，所述调徵寺性变更单元包括:当所述输入图像具有戶服给定的特征图像时， 以增加所述加权单元的加权量的方式来变更所述第一系数调整单元的调整特性 的第一调徵寺性变更单元。
7、 如权利要求4—6中任一项戶腿的图像处理装置，其中， 所述亮度补偿单元包括对偏移翻行加法运算的加法运算单元，所述第一变更单元包括变更戶;M偏移量的大小的偏移量变更单元。
8、 如权利要求4—7中任一项所述的图像处理装置，其中，戶腿亮度补偿单碰一步包括7补偿量输出单元，其输出与形^^腿输入图像的多个像素的每一个对应的Y补偿量；以及修正单元，其参照戶;im算单元的运算结果，修正由戶脱Y补偿量输出单元输出的Y补偿量。
9、 如权利要求l-8中任一项戶腿的图像处理装置，其中，该装置还包括颜色补偿单元，其参照所述亮度补偿单元补偿后的亮度，对形^^脱输入图像的多个像素的每种颜舰行补偿；以及第二变更单元，与所述第一，单元的变更处理相关联，变^^ 色补偿. 单元的补偿特性。
10、 一种图像处理方法，是由图像处理驢来执行的图像处理方法，其中，该图像处理方S^括偏离度计算步骤，参照输入图像的平均亮度，计算形成戶;M输入图像的多个像素的每一个的亮度的偏离度；亮度补偿步骤，基于由所述偏离度计算步骤计算出的偏离度，补偿形^^f述 输入图像的多个像素的每一个的亮度；以及变更步骤，通过判断所述输入图像的属性中是否含有给定的特征图像，来变 更所述亮度补偿步骤的补偿特性。
全文摘要
本发明提供一种图像处理装置。标准偏差计算电路(54、58)参照输入图像的平均亮度，计算形成输入图像的各像素的亮度的偏差σ1和σ2。补偿系数计算电路(56)，基于标准偏差计算电路(54)所计算出的偏差σ1，调整补偿系数K1。补偿系数计算电路(60)，基于标准偏差计算电路(58)所计算出的偏差σ2，调整补偿系数K2。Y补偿电路(72)参照如此调整后的补偿系数K1和K2，补偿形成输入图像的各像素的亮度。CPU通过判断输入图像的属性中是否含有人物的面部图像，来变更补偿系数K1和K2的调整特性。因此，可以实现考虑了输入图像的属性的适当的画质控制。
文档编号H04N5/235GK101646020SQ20091017332
公开日2010年2月10日 申请日期2009年7月20日 优先权日2008年8月1日
发明者米山佳孝 申请人:三洋电机株式会社