摄像装置以及摄像方法

专利名称：摄像装置以及摄像方法
技术领域：
本发明涉及数码照相机等摄像装置，尤其涉及实行自动白色平衡控制的 摄像装置以及摄像方法。
背景技术：
以往，在录像摄影机、VTR—体型摄影机、以及电子静像摄像机等的摄 像装置，者移动终端附属摄像装置中，为了在彩色摄像时稳定地重现色彩， 进行自动白色平衡(以下称为AWB)处理，用以在纪录图像上重现被摄体中 的人体上呈白色的部分。通常，实现AWB的控制方法为，从被摄体中抽取白色部分即无色彩部分， 根据抽取区域的色彩信息计算WB补偿值。比如，对一个以16X16等分分割成 256个区域的画面，计算各个区域中的R、 G、 B信号积分值，然后求得每个该 分割区域中R、 B信号积分值与G信号积分值的比R/G、 B/G。其次，将求出的256个积分值的比，在以R/G为横轴、B/G为纵轴的色彩 空间即白色平衡空间上打点，根据这些积分值的比的分布进行白色检测。为 了进行白色检测，预先作好把色彩空间上在改变光源的色温，例如太阳光或 钩丝灯光等光源的色温时的黑体辐射轨迹作为参考增益的准备，将打点的 256个控制值对照该参考增益，由此可以实现各种光源下的白色检测。根据该白色检测判断被摄体中的光源种类，相对判断得到的光源，将白 色平衡增益(WB补偿值)与各个像素相乘，使得R、 G、 B信号的积分值的比 成为R:G:B4:1:1，实现白色平衡(WB)补偿。该方法是基于人的色彩适应 原理，即基于所谓色彩适应的假设，也就是说，即便在不同的光源照射下， 白色的东西总是被看成白色。因此，所谓AWB，即为在将整体为白色的画面作为基准被摄体进行拍摄 时，能够实现将摄像信号的R信号、G信号、B信号调整到相等输出水平的调整动作。为了使R信号、G信号、B信号的输出水平相等，对R信号、G信号、B 信号分别乘以系数，该系数即为白色平衡系数，也称之为白色平衡增益。但是，这种方法存在如下缺点，即在被摄体中不存在无色彩部分，或者 被摄体几乎被有色彩部分即物体色彩所占据的情况下，不能进行白色检测， 或者白色检测精度降低，其结果为导致进行错误的白色平衡控制。在可以具 体例举出这样的问题，在高色温的光源下由于人的肤色亮度增强，发生了误 将人的肌肤色彩判断为低色温光源下的白色即无色彩，从而将人的肌肤补偿 成显得苍白。还有，比如在像森林那样以绿色所占比例较大的场合下，会发 生误将光源判断为日光灯的误判。如此错误的白色平衡控制被称为色彩故障(color failure)。以下例举出能够减轻色彩故障的白色平衡控制的例子。在专利文献1即特开2004-64676号公报中，公开了一种即使在电子变焦 摄像时也着意进行适当控制白色平衡的摄像装置，该摄像装置根据以摄像装 置拍摄的摄像元件上的区域和变焦区域的选择装置所选择的变焦显示区域， 抽取用于白色平衡控制的特征。在专利文献2即特开2004-312139号公报中，公开了一种着意解决误将在 高色温下拍摄的肤色判断为低色温下的白色，从而使人的肤色变得偏白的问 题的摄像装置。专利文献2公开的摄像装置在拍摄画面内，由操作者选择人 的肤色，并在所选择的检测框内进行色彩评价，用以设定白色平衡。这样， 即便未能进行白色检测即AWB可靠性较低时，根据该专利文献2，也能够比如， 只要知道被选择的检测框为肤色，就能通过利用该检测区域内的色彩信息， 设定以肤色为目标即重现肤色的白色平衡，具有防止人的肤色变得苍白的效 果。专利文献4即特开2006-211416号公报公开了对人物等主要被摄体的形 状或位置作适当加重的测光或测色的技术，专利文献5即特开2006-203393号 公报描述了，当画面内的各个存在有色彩部分或者画块中RGB值不一致时， 可以通过稳定调整白色，衡来进行白色平衡调整的技术。但是，对于上述专利文献l公开的以往摄像装置，当整个画面中不存在 白色即无色彩时，不能进行上述白色抽取，因而依然存在不能适当设定白色平衡的问题。此外还存在发生色彩故障的问题，比如在肖像模式等以人物为 主要被摄体，尤其是在进行电子变焦使得整个画面都存在人的肌肤那样的情 况下，会发生将人的肌肤误认为低色温方面的白色，从而把肌肤颜色拍摄得 泛白，其结果造成人的肌肤显得苍白。在专利文献2中，操作者必须用某种方法指定肌肤颜色部分，而如果每 次摄像都要进行这样的操作则会失去按快门的时机。此外，在通过白色平衡减轻肌肤颜色的色彩故障这一点上，虽然专利文 献2的目的与本发明的目的相类似，但本发明是利用检测到的脸区域的色彩 信息来减轻发生人的肌肤变得偏红或偏蓝之类的色彩故障，与判断或误判肌 肤色彩的概念无关。因此，在减轻色彩故障所采用的原理和方法上，本发明不同于专利文献2。专利文献3即特开2005-176272号公报公开了根据摄像状态选择图像数 据存储方式的摄像方法以及摄像装置，例如专利文献3中例举了根据白色平 衡处理的可靠性选择图像数据的存储方式。也就是说，当AWB的可靠程度较 低时，除了RAW数据以外，还可以选择与RAW不同格式的数据，比如以 JPEG(Joirvt Photographic Experts Group)格式存储。在专利文献4中，实行抽出人物等主要被摄体的形状作为用于进行主要 被摄体的测光/测色的区域，以及分别对于每个分割区域算出的测定值决定 加重系数。例如对16X16的分割区域，通过利用脸等主要被摄体的形状位置 信息，决定相对于各个分割区域中的加重区域。进而，决定相对于各个加重区域的加重系数，计算附加加重系数的评定 值作为AE AWB计算的评定值。以上为重点附加主要被摄体评定值的AE. AWB控制。按瑪以上所述，需 要对于主要被摄体进行加重，或者有考虑检测到的主要被摄体的头发区域、 肌肤区域、外围区域等加重区域。专利文献5在用于确定光源的白色检测中，针对以16X16等分割画面的 各个画块，从构成一个画块的像素群中检测特征像素，通过比较该特征像素 中得到的色差与代表画块的色差，检査代表画块的色差是否反映了输入图像 的光源，用以减少色彩故障。当画块内部同时存在无色彩部分和有色彩部分时，上述方法被认为是有 效于减少色彩故障的方法。但当画块内部只存在有色彩部分时，就难以对代 表值的色差和特征像素的色差作比较。此外，出于光源的影响会发生误将有 色彩判断为无色彩，这样就无法解决色彩故障的问题。另外还有以下技术。出于操作者的期望获得艺术效果意图，故意将设定 偏离白色平衡等等。在这种情况下，对于白色平衡处理等图像处理加工之前的RAW数据，即对来自CCD的信号输出进行了A / D变换以后的原始数据进行最 小限度的图像处理，并且将该数据进行存储，然后按照个人嗜好的图像处理 参数，包括白色平衡，用PC等将RAW数据再现图像。但是，对于保存RAW数据地方法，可以列举出下述的几个问题。1) 与JPEG数据相比，RAW数据容量大，因此需要大容量存储装置。2) 必须具备再现RAW数据图像的装置。利用RAW数据其本来的目的是在于实 现操作者所嗜好的具体图像设定，但可以断定目前还不存在支持RAW数据 显像功能并有望达到上述目的的的照相机。因此，从根本上来说必须用 计算机应用程序等专门的再现图像的软件，在设定了操作者所期望的具 体的画质参数的基础上进行显现处理。3) 必须具有高度的有关再现图像的专业知识。因此，以上所述的摄影装置，对于轻松享受的用户，或者还未习惯于操 作的操作者来说，其功能的难度较高。本发明意在解决上述以往技术的问题，并以提供能够实现减少色彩故障 的白色平衡控制的摄像装置和摄像方法为目的。即，即使在采用以往技术会 使人的肌肤显得苍白或者偏红的那样的光源照射下，本发明也不会致使人的 肌肤显得极端苍白或者偏红。发明内容为了达到上述目的，本发明提供以下摄像装置和摄像方法。 (1) 一种摄像装置，具有摄像单元，将光学成像变换成电图像信号；色彩 信号抽取单元，根据所述图像信号的色彩信息，抽取用于白色平衡控制的色 彩信号并在色彩空间上展开；色彩信号选择单元，在色彩空间上选择色彩信号；以及白色平衡控制单元，用根据色彩空间上的色彩信号算出的补偿值进 行白色平衡控制，其特征为，具备脸检测单元，从图像信号中检测人物脸区 域的位置，选择对应于检测到的脸区域抽取的色彩空间上的色彩信号，根据 从选择了的色彩信号中算出的计算值，改变用于进行白色平衡控制而算出的 补偿值。该摄像装置能够减少脸色变得苍白或者太红的色彩故障。(2) 根据(l)所述的摄像装置，其特征为，色彩信号抽取单元在抽取了色彩 信号的一个画面的分割区域上，从色彩信号的R、 G、 B信号中分别求出各个 分割区域的积分值，算出每个区域的R与G之比R/G以及B与G之比B/G;或者， 在以R/G和B/G为轴并且展开了色彩信号抽取单元所抽取的色彩信号的色彩 空间上，改变用于进行所述白色平衡控制而算出的补偿值，使得该补偿值与 从对应检测到的脸区域所选择的色彩信号中算出的计算值之间的距离在规 定范围以内；或者，在以R/G和B/G为轴并且展开了色彩信号抽取单元所抽取 的色彩信号的色彩空间上，对于用于进行所述白色平衡控制而算出的补偿值 与从对应于检测到的脸区域所选择的色彩信号中算出的计算值之间用直线 连接的距离，以规定的比率进行外插或者内插，将补偿值改变为该外插或者 内插的位置。这样，可将色彩空间上的补偿值与计算值之间的距离控制在规 定范围以内，从而在某种程度上保留了脸区域的色调感觉，而且，通过以规 定比率对以直线连接的补偿值与计算值之间的距离进行外插或者内插，可以 简单地在二元空间上求取计算值，根据该计算值改变补偿值，很少发生严重 失去白色平衡，减少了脸色变得苍白或偏红的色彩故障。(3) 根据(2)所述摄像装置，其特征为，脸检测单元以规定大小检测大的脸 区域；或者，当脸检测单元检测到多个脸区域时，从对应于各个脸区域选择 的色彩信号中算出计算值，并求出该计算值的平均，根据求出平均的计算值 改变用于进行白色平衡控制而算出的补偿值；或者，具有主要被摄体决定单 元，从脸检测单元检测到的多个脸区域中决定主要被摄体，并根据从对应于 已定的主要被摄体的脸区域选择的色彩信号中算出的计算值，改变为进行白 色平衡控制而算出的补偿值；进而，主要被摄体决定单元根据预先在摄像装 置中作了登录的的脸区域数据决定主要被摄体。这样，根据以上所述，当脸 区域相对图像整体较小时，可以使图像整体的补偿优先于脸的补偿，通过使用检测到的多个脸区域的各个计算值的平均，对所有的脸区域设定相对优选 的补偿值，进而，选择主要被摄体，对优先被摄体设定优选补偿值，随之， 根据识别人脸的脸区域数据，在可能进行识别的情况下作为主要被摄体，设 定优选补偿值。(4) 一种摄像方法，包括将光学成像转换为电图像信号的处理、根据图像 信号的色彩信息抽取用于白色平衡控制的色彩信号并将该色彩信号在色彩 空间上进行展开的处理、从色彩空间上选择色彩信号的处理、以及为了进行 白色平衡控制，求出根据所述色彩空间上的所述色彩信号算出补偿值的处 理，其特征为，还包括从所述图像信号中检测人物脸区域的位置的处理，选 择对应于检测到的脸区域抽取的色彩空间上的色彩信号，根据从所选择的色 彩信号中算出的计算值，改变用于进行所述白色平衡控制而算出的补偿值， 进而根据改变了的补偿值进行白色平衡控制。这样可以减少脸色变得苍白或 者偏红的色彩故障。本发明具有以下效果，即，通过利用脸区域的色彩信号，即使处于会使人的肌肤显得苍白或偏红的光源照射下，也能够通过白色平衡控制，减少脸 色变成苍白或偏红的色彩故障的。


图l显示了本发明实施方式的数码照相机外观，A为上视图、B为正视图、 C为后视图。图2是显示本实施方式的数码照相机内部的功能模块的概略结构示意图。图3是本实施方式的WB控制方法流程图。图4是例举在色彩空间上打点本实施方式的分割区域的WB评价值的分布图。图5是在色彩空间上打点本实施方式的脸区域WB评价值、脸计算增益以 及AWB计算增益的图。图6是用于说明本实施方式在色彩空间上的脸计算增益和AWB计算增益 之间距离的示意图。图7是显示本实施方式在将脸色补偿呈苍白时色彩空间上的脸计算增益和AWB计算增益的图。图8是例举了本实施方式在将脸色补偿成偏红时在色彩空间上通过脸计 算增益补偿AWB计算增益的示意图。图9是本实施方式的脸检测补偿的概略示意图。图10是用以说明本实施方式在沿着黑体辐射轨迹进行脸检测补偿的范 围的示意图。
具体实施方式
以下，参考附图对本发明的实施方式进行详细说明。图l显示了本发明实施方式的摄像系统即数码照相机的外观，A为上视 图、B为正视图、C为后视图。在图1A、 B、 C中，相机机身的上部设有释放开 关(即所谓快门按钮)SW1、模式盘SW2、以及副LCD即副液晶显示器1。相机 机身正面设有闪光灯发光部3、测距组件5、以及遥控器受光部6。'此外，光 学取景器4的对物面位于该相机机身的正面，镜筒组件7的对物面也朝正面设 置。镜筒组件7内含摄像镜头。相机机身背面设有电源开关SW13、 LCD监视器IO、 AF LED即自动聚焦发 光二极管8、闪光灯LED 9、广角方向聚焦按钮SW3、望远方向聚焦按钮SW4、 自拍定时器/取消按钮SW5、菜单按钮SW6、上移动 闪光灯按钮SW7、右移 动按钮SW8、显示器开关SW9、下移动 微距按钮SWIO、左移动 图像核实按 钮SWll、以及实行按钮SW12。光学取景器4的主要部分被收藏于相机机身内部，但其目视表面被设置 在相机的背面部分上。在相机机身侧部设有存储卡/电池仓盖2。因这些部 分的一般功能已广为所知，所以在此省略对其详细说明。另外，本发明的摄像装置外观并不一定局限于图1A、 B、 C所示的外观，也可以具有其他外观。在本实施方式中虽然采用数码静像照相机的摄像模式 即摄像系统作为图像输入装置，但并不局限于这样的摄像系统，也可以手提 式扫描器+PAD等具有图像输入装置和图像处理装置以及显示装置的图像处 理系统。图2为本发明实施方式的数码照相机内部功能模块结构的概略示意图。 在图2中，对于操作上述图l所示机械部件的电路元件采用同样的符号表示。 本实施方式的摄像装置具备目镜组件71，用于对被摄体的光学图像进行集 光；光圈部72，用于对通过镜头组件71集光的光束进行收縮聚焦；马达驱动 器75，用于移动未图示的多个透镜来核准焦点，或者驱动光圈部72，或者驱 动未图示的机械快门；CCD (Charge Coupled Device,电荷耦合元件)101， 输入通过镜头组件71和光圈部72的光学图像并将该光学图像变换为模拟图 像信号。CCD101将被摄体像转换成图像信号输出到F/E-IC(前置回路-集成电 路)102中。F/E-IC 102具备CDS (Correlated Double Sampling,相关二 重取样)1021，从来自CCD101的图像信号中取样减小杂质信号；AGC (自动 增益控制)1022，调整CDS102 l的输出增益；A/D变换器1023，将AGC1022输 出的模拟图像信号变换成数字图像信号；TG (时间信号发生器)1024，发生 时间信号用以指示A/D变换器1023的动作时机。本实施方式的摄像装置还具备SDRAM103即图像纪录装置，记录拍摄图 像和存储经过图像处理的图像如JPEG压縮数据或者显示用的数据等；信号处 理IC104，根据输入的图像信号以及图像参数进行图像处理；操作部105，具 备用户操作本装置用的按钮，如图1所示的释放开关SW1等；R0M106，用于存 放控制下述CPU1043的控制程序或者数据；存储卡107，用于存放由下述压縮 扩张部1045压縮的图像数据。还具有LCD显示器(参见图1C) 10，用于显示 通过下述显示输出控制部1046的图像数据。信号处理IC104具备CCD接口部(I/F)1041，在向CCD101输出同期信号 的同时，取得与同期信号相应的图像数据；存储控制器1042，向SDRAM103传 送图像数据；CPU1043，按照ROM106中存放的控制程序对本装置进行总体控 制或者抽取色彩信息等；YUV变换部(数据形式变换装置)1044，将输入的 图像数据变换成可以显示或者可以存储的YUV的数据格式；压縮扩张部1045， 对经过信号处理IC104处理的图像数据进行压縮，或者扩张恢复到原图像数 据大小。此外，还具备显示输出控制部1046，控制来自于信号处理IC104的显示输出，并将其输出到内藏于本装置中的LCD中；图像大小处理部1047，根 据显示或者存储的容量大小改变图像文件大小；存储媒介I/F(接口部)1048， 以JEPG存储时控制压縮扩张部1045中的数据压縮处理，或者写入图像数据存 储卡107的写入处理。以下，对本实施方式的数码照相机的基本动作进行说明。经过镜筒组件 7中的镜头组件71和光圈部72后在CCD101受光的被摄体图像，由CDS1021进行 相关二重取样消除图像杂质信号后，由AGC1022调整增益，进而通过A/D变换 器1023变换成数字映像信号输入信号处理IC104。在信号处理IC104中，CCD 1/F1041向CCD101输出同期信号，并同时取得与同期信号相应的图像数据。存储控制器1042向SDRAM103传输需要保存的图像数据。CPU1043按照 R0M106中存放的控制程序对本装置作总体控制。YUV变换部1044在CPU1043的 控制下，将输入的图像数据变换成可以进行显示和记录的YUV数据格式。压 縮扩张部1045经控制器1042接受经过信号处理IC104处理的图像数据，并将 其扩张恢复到原图像文件大小后，送回存储控制器1042。显示输出控制部1046经存储控制器1042接受来自信号处理IC104的显示 输出并显示在LCD显示器10上。图像大小处理部1047经存储控制器1042取得 图像数据，按照显示或存储的容量大小改变图像文件的大小。存储媒介I/F 1048经存储控制器1042取得图像数据，并将该图像数据写入存储卡107，或 者进一步从存储卡107中读取图像数据，进而，在以JPEG保存时控制压縮扩 张部1045中的数据压縮处理。另外，在SDRAM103中具备用于暂时保存图像数据和JPEG压縮数据的存储 器、和保持显示用的数据的存储器、以及CPU1043使用的RAM。以下，以拍摄静止画为例，对本实施方式的数码照相机具有的特征动作 进行详细说明。当按下释放开关SW1的按钮时，AF功能先于拍摄开始动作。这样，比如 可以一边移动聚焦镜一边进行寻找最大对比度的登山AF处理等，将焦点对准 被摄体。上述处理是利用映像信号G信号或者辉度值Y信号中的高频成份作出AF 评价，算出该AF评价值为最大时的聚焦镜位置，然后移动聚焦镜的处理。关于获得AF评价值的区域，具有对被摄体考虑多个区域的多区域AF，或者只考 虑一部分区域的点区域AF等等。根据AF评价值，算出适合于拍摄画面的焦点 位置，将聚焦镜移到该点上。聚焦镜可以根据CPU1043的指令，用镜头组件 71的马达驱动器75使其移动。接着，进行静止画用的电子快门设定、AGC1022的计算/设定、以及聚焦 部72的计算/设定，而后进行AE(Auto Exposure)处理和记录用的曝光。电子 快门设定和AGC1022设定可以按照来自CPU1043的指令，通过控制CCD101驱动 的TG1024和F/E-IC102分别进行。当用于静止画的曝光结束时，机械快门关 闭，由CCD101输出静止画用的RAW数据。配有释放第一处理即半按，和释放 第二处理即全按的摄像系统， 一般在释放第一处理时控制执行AF或AE的计 算，在释放第二处理时控制执行记录用的曝光。静止画用的RAW数据经信号处理IC104被收入SDRAM103中。在信号处理 IC104中对该RAW数据进行黑色水平补偿、缺陷画素补偿、以及色彩浓淡补偿 等图像处理，而后以RAW数据格式写入SDRAM103中。如果是交错传送，则通 过多次传送将CCD的输出数据以RAW数据格式写入SDRAM103中。写入SDRAM103中的所有RAW数据，再次通过信号处理IC104，经WB增益乘 法计算、伽马补偿、以及RGB补间处理，而后在YUV变换部1044进行轮廓强调、 色彩设定等各种图像处理，与此同时被变换成辉度/色差信号的YUV数据格 式，返回SDRAM103中。关于本发明涉及的白色平衡控制，在后篇作详细叙述。变换成YUV格式的数据文件为全尺寸即CCD尺寸，如果图像需要以小于 CCD尺寸的大小进行记录，则通过信号处理IC104的图像大小处理部1047缩小 图像文件。经过图像大小处理部1047处理的准备用于纪录的YUV图像文件， 在压縮扩张部1045按照规定的格式进行压縮处理，比如，进行JEPG压缩处理。 经JPEG压缩后的压縮文件返回SDR屈103，在进行了追加前注等处理后经存储 控制器1042保存到存储卡107等记录媒体中。以上是拍摄静止画的一般处理。其次，参考附图对本实施方式中的白色平衡(WB)控制进行说明。图3 为显示本实施方式中WB控制方法的流程图。在图3所示流程图中，至算出AWB 补偿值(AWB计算增益)为止的处理即是以往AWB控制的基本动作即算法。首先对该基本动作作简单说明。处理S1:经图2所示的镜头组件71，被摄体像入射到CCD101。 CCD101将 被摄体像转换成电信号即模拟图像数据后，输出R、 G、 B信号的模拟图像数 据。该模拟图像数据通过A/D转换器1023将色彩信息的R、 G、 B信号转换成数 字图像信号。经转换的数字图像数据保存在未图示的帧存储器中。此时，信 号处理IC104读取在取得数字图像数据时在CCD-1/F1041中算出的指定部分 或者图像所有的R、 G、 B信号的各个积分值。处理S2:控制部CPU1043读取该R、 G、 B信号的积分值，检测特征并计算 能够形成适当的白色平衡的WB评价值即R/G增益和B/G增益。例如，在处理S1中，将一个画面以16X16分割形成256个区域，对每个分 割区域分别计算R、 G、 B信号的积分值，通过处理S2计算该每个分割区域中R 信号积分值以及B信号积分值与G信号积分值之比，即R/G增益和B/G增益。处理S3:在上述的基础上，从被摄体中抽取白色部分即无色采》部分作为 检测到的特征，从抽取区域的色彩信息中计算AWB评价值即色彩信号。也就 是说，将求出的256个积分值的比即WB评价值，在以R/G和B/G为轴的色彩空 间上打点，从该分布中进行白色检测。进行白色检测需要预先准备好把在色 彩空间上改变光源即太阳光或钨丝灯光的色温时的黑体辐射轨迹作为参考 增益，然后将256个控制值对照该参考增益，实现在各种光源下的白色检测。处理S4:通过白色检测判断被摄体的光源种类，获得相对于^f判断的光 源，R、 G、 B信号的积分比成为R:G:B二1:1:1的WB增益即WB补偿值，将该WB增 益分别与各个画素相乘，由此实现WB补偿。根据这样求得的WB补偿值的平均 计算并决定整个画面的AWB补偿值即AWB计算增益。另外，在YUV变换部1044 中将R、 G、 B信号数据变换成辉度Y和色差Cb、 Cr数据并输出到帧存储器中。 在进行该图像变换时，由CPU1043对YUV变换部1044设定AWB补偿值。处理S5:如同上述处理S1至S3，对于从图像信号中检测到的一个画面中 的人物的脸区域求出色彩空间上的WB评价值。关于求取检测脸区域的WB评价 值的方法，可以根据脸区域的检测处理，比如以左上、有上、左下、右下4 点坐标表示脸区域，以该4点坐标映射到上述16X16块区上，从该区域的R、 G、 B信号积分值中计算得到WB评价值。处理S6:从所述脸区域WB评价值的平均得到的计算值中算出脸计算增益，改变在处理S4中得到的AWB计算增益，进行补偿，即脸检出补偿。此外， 上述脸区域的WB评价值根据脸区域的大小而不同，至少在1以上。根据检测到的脸区域与用于获得WB评价值的分割区域之间的大小差别， 判断是否需要取得脸区域中的WB评价值，这样可以在考虑补偿效果的基础上 进行处理。即，当脸区域较小时，没有必要对脸区域进行补偿处理，因而不 将脸区域作为补偿对象而采用一个画面的AWB补偿值。此外，有关脸区域的检测方法，公知技术中提出了各种算法(algorithm) 方案。本发明虽然不指定采用何种方法，但在检测到的脸区域中，由于包含 在所述左上、右上、左下、右下4点坐标中的脸上的眼睛、嘴巴，与脸的肌 肤在色调感觉上不同，因而取得WB评价值的脸区域范围较小。还有，在根据脸区域检测方法检测到的多个脸区域中，不仅可以自动地 将最大的脸区域或者位于一个画面中心附近的的脸区域作为主要被摄体进 行处理，而且可以根据由操作部任意选择决定的装置决定主要被摄体来进行 处理。另外，还可以应用脸区域检测相关技术，从一个画面中指定已作了登 录的人物，即认证技术，通过登录所检测到的人物的脸区域信息即特征，用 特征数据指定在先登录的人物，并仅对该人物进行处理。图4显示了在本实施方式中将一个画面分割成256个区域后，在以R/G和 B/G为轴的色彩空间上打点每个区域的WB评价值即R/G增益和B/G增益所得分 布图的一个例子。信号处理IC104根据各个分割区域的WB评价值分布来判断摄像时的光 源。光源判断是通过利用无色彩部分的WB评价值在黑体辐射轨迹上的分布实 现的。例如，图4的示例中，在(R/G， B/G) = (1.2， 0.6)附近的黑体辐射轨迹 曲线上分布的WB评价值较多，因此可以推测光源是蓝色光源。而后，对R以 1.2倍补偿相乘、B以0.6倍补偿相乘，用于作为YUV变换部1044的WB补偿，使 该区域的信号数据成为灰色，这样白色平衡得以调整到接近人的视觉。此外，出于CCD101的分光感度分布，即使是相同的照明、相同的被摄体、 WB评价值也会不同，为此需要决定配合CCD101的WB评价值的参考。在实际的 摄像装置中，出于减少色彩故障或者迎合用户嗜好进行色彩加工的目的，AWB 补偿值是将WB的算法经种种处理后才作出最终决定的。还可以采纳根据数码相机具有的诸如室内、室外、以及闪光拍摄等各种摄像条件的预先设定的设定值来决定AWB补偿值。对于WB控制中发生色彩故障造成人的肤色变得苍白或偏红的条件，可以 用脸区域的WB评价值与最终设定的WB补偿值之间的关系来进行说明。也就是 说，在脸区域的WB评价值的R/G增益和B/G增益与最终设定的AWB补偿值的R/G 增益和B/G增益的两者之间，如果不存在差，脸色会变白即变得苍白，相反， 如果存在较大的差，则脸色偏红或者偏蓝。对此，本发明实行如下控制。即，对取决于脸区域WB评价值的脸计算增 益，与取决于求取AWB补偿值算法的AWB计算增益之间的关系进行比较，以脸 计算增益来补偿AWB计算增益，由此最终设定AWB补偿值。图5是在以R/G和B/G为轴的色彩空间上，将检测到的脸区域的WB评价值， 和根据求取AWB补偿值的算法所决定的AWB计算增益打点的图。在图5所示的 例中，由脸区域WB评价值决定的脸计算增益为(R/G， B/G)二(0.4， 1.2)， AWB 计算增益为(0.9， 0.9)。图6为相对图5考虑色彩空间上脸区域的脸计算增值和AWB计算增值之间 间隔的图。出于方便本实施方式中简称该间隔为距离。图6中色彩空间上的 脸计算增值与AWB计算增值之间的直线近似距离x,通过下式(l)计算，(0. 4-0. 9)2+ (1. 2-0. 9)2 一，、式(l)由此得到x为O. 5283。图7是将脸色补偿成苍白时的例子，图中显示了此时色彩空间上的脸计 算增益以及AWB计算增益。由于O. 2小于上述脸区域的脸计算增益与AWB计算 增益之间的距离x，因此采用AWB计算增益作为AWB补偿值会使得脸色变得苍 白。图8是将脸色补偿成偏红时的例子，该图中显示了此时色彩空间上的脸 计算增益以及AWB计算增益。参考图8，举例说明用脸计算增益补偿AWB计算增益，使得脸区域的色彩 不会变得偏红。如图8所示，色彩空间上以直线近似的距离为1.0大于上述脸 区域的脸计算增益与AWB计算增益之间的距离x，为此，如果将AWB计算增益 作为最终AWB补偿值会使得脸色偏红。另一方面，如果补偿后的距离为0.7，该差值可以减少脸色偏红。下面，对本实施方式中AWB补偿值的补偿方法进行说明。图9为脸检测补偿思想方法的概略示意图。在图9中，圆心为脸计算增益, 十字形标记的点为AWB计算增益，星形标记点分别为相对AWB计算增值应用脸 检测补偿所得到的AWB计算增益。脸区域色彩再现性的优选条件是，脸计算 增益与AWB计算增益之间距离为0.4至0.8，具体的下限范围为0.4至0.6，上 限范围位0.6至0.8，优选0.5至0.7的范围，根据该距离进行以下补偿。上述 距离数值是为了使拍摄图像中的脸区域色彩再现性处于更加优选的状态，通 过实验所得的数值。对应于上述色彩空间上求得的脸计算增益与AWB计算增益之间距离的补偿如下进行，(1) 当脸计算增益与AWB计算增益之间的距离为O. 4至0. 8,优选O. 5至0. 7 时，将AWB计算增益作为AWB补偿值。(2) 当脸计算增益与AWB计算增益之间的距离小于O. 4，优选小于O. 5时，在 连接脸计算增益与AWB计算增益之间的直线上，求出距离脸计算增益位 置为0.4的点，优选0.5的点，以该点AWB计算增益为AWB补偿值。(3) 当脸计算增益与AWB计算增益之间的距离大于O. 8，优选大于O. 7时，在 连接脸计算增益与AWB计算增益之间的直线上，求出距离脸计算增益位 置为O. 8的点,优选O. 7的点，以该点AWB计算增益为AWB补偿值。具体可以作以下简单运算，g卩，以脸计算增益的位置为A， AWB计算增益 位置为B，该两者之间的距离为D，在上述(2)的条件下成为以0.4:D，优选 0.5:D，对连接线AB进行外插所得的外插点，在所述(3)的条件下成为以 0.8:D，优选0.7:(D-0. 7)进行内插的内插点。在所述补偿AWB计算增益的脸计算增益和距离中，沿着色彩空间上黑体 辐射轨迹曲线，在垂直于该曲线切线方向，画出如同以前者为长轴、后者为 短轴的椭圆的距离范围进行补偿。具体如图10所示范围，沿着黑体辐射轨迹 的椭圆长轴方向的距离为O. 4至0. 8，即下限范围为O. 4至0. 6，上限范围位O. 6 至0.8，短轴方向的距离为0.2至0.4，即下限范围为0.2至0.3，上限范围位 0. 3至0.4。另外，当从一个画面上检测到多个脸区域时，对每个检测到的脸区域求 出脸计算增益，用这些脸计算增益的平均作为脸计算增益。， 以上所述脸检出补偿具有以下效果(1) 相比以往用AWB补偿值算法从WB评价值中算出的AWB计算增益，只要加 上在先从脸区域中得到的WB评价值中求出的脸计算增益，即可简单地 实现补偿。另外，当检测到的脸区域中的信息可靠性较小时，容易进 行减小控制补偿程度等控制。(2) 以AWB计算增益和脸计算增益这两个信息决定AWB补偿值，这样可以只 对脸作适当的白色平衡补偿，而其他非主要被摄体的WB不会发生极端 的偏离。(3) 对AWB补偿值进行补偿时保留了脸区域的色调感觉，因此，无论是脸色 变得偏红还是偏蓝都可以补偿。本发明的实用性在于，本法明涉及的摄像装置以及摄像方法通过利用脸 区域的色彩信号，使得即使在容易造成人的肤色呈苍白或者偏红的光源照射 下，也能够进行减少色彩故障的白色平衡控制，抑止脸色变得苍白或偏红。 本法明涉及数码照相机等摄像装置，尤其适用于自动白色平衡控制。
权利要求
1.一种摄像装置，具有摄像单元，将光学成像变换成电图像信号；色彩信号抽取单元，根据所述图像信号中的色彩信息，抽取用于白色平衡控制的色彩信号并在色彩空间上展开；色彩信号选择单元，在所述色彩空间上选择色彩信号；白色平衡控制单元，用根据所述色彩空间上的所述色彩信号算出的补偿值进行白色平衡控制，其特征为，具备脸检测单元，从所述图像信号中检测人物的脸区域的位置，选择对应于检测到的所述脸区域抽取的所述色彩空间上的色彩信号，根据从所述选择了的色彩信号中算出的计算值，改变用于进行所述白色平衡控制而算出的补偿值。
2. '根据权利要求l所述的摄像装置，其特征为，所述色彩信号抽取单 元在抽取了色彩信号的一个画面的分割区域上，从所述色彩信号的R、 G、 B信号中分别求出各个分割区域的积分值，算出每个所述区域的R与G之 比R/G以及B与G之比B/G。
3. 根据权利要求1或者2所述的摄像装置，其特征为，在以R/G和B/G 为轴并且展开了所述色彩信号抽取单元所抽取的色彩信号的色彩空间 上，改变用于进行所述白色平衡控制而算出的补偿值，使得该补偿值与 从对应于检测到的脸区域选择的色彩信号中算出的计算值之间的距离 在规定范围以内。
4. 根据权利要求1或者2所述的摄像装置，其特征为，在以R/G和B/G 为轴并且展开了所述色彩信号抽取单元所抽取的色彩信号的色彩空间上，对用于进行所述白色平衡控制而算出的补偿值与从对应于检测到的 脸区域所选择的色彩信号中算出的计算值之间用直线连接的距离，以规 定的比率进行外插或者内插，并将所述补偿值改变为该外插或者内插的 位置。
5. 根据权利要求1至4之中任意一项所述的摄像装置，其特征为，所 述脸检测单元以规定大小检测大的脸区域。
6. 根据权利要求1至5之中任意一项所述的摄像装置，其特征为，当 所述脸检测单元检测到多个脸区域时，从对应于各个脸区域选择的色彩 信号中算出计算值，并求出该计算值的平均，根据求出平均的计算值改 变用于进行白色平衡控制而算出的补偿值。
7. 根据权利要求1至5之中任意一项所述的摄像装置，其特征为，具 有主要被摄体决定单元，从所述脸检测单元检测到的多个脸区域中决定 主要被摄体，并根据从对应于已定的所述主要被摄体的脸区域所选择的 色彩信号中算出的计算值，改变用于进行白色平衡控制而算出的补偿 值。
8. 根据权利要求7所述的摄像装置，其特征为，所述主要被摄体决定 单元根据预先在摄像装置中作了登录的脸区域的数据决定主要被摄体。
9. 一种摄像方法，包括以下处理 将光学成像转换为电图像信号的处理；根据所述图像信号的色彩信息，抽取用于白色平衡控制的色彩信 号，并将该色彩信号在色彩空间上进行展开的处理；从所述色彩空间上选择色彩信号的处理；以及，为了进行白色平衡控制，求出根据所述色彩空间上的所述色彩信号 算出的补偿值的处理，其特征为，还包括从所述图像信号中检测人物的脸区域的位置的处理，选择对应于检测到的所述脸区域而抽取的所述色彩空间上的色彩 信号，根据从所述选择的色彩信号中算出的计算值，改变用于进行所述 白色平衡控制而算出的补偿值，根据所述改变了的补偿值进行白色平衡 控制。
全文摘要
本发明涉及摄像装置，尤其是进行白色平衡控制的摄像装置和方法。本发明以减少发生肤色变得极端苍白或偏红等色彩故障为目的，提出以下处理流程方案。S1读取图像的指定部分或者全部的R、G、B信号积分值。S2计算WB评价值R/G增益和B/G增益。S3将得到的WB评价值在以R/G和B/G为轴的色彩空间上打点进行白色检测。S4根据白色检测判断光源种类，求出WB补偿值的平均，计算并决定一个画面的AWB计算增益。S5取得检测到的脸区域在色彩空间上的WB评价值。S6从脸区域的WB评价值中求出的脸计算增益并取代S4中的AWB计算增益，进行脸检测补偿。
文档编号G06K9/00GK101272505SQ20081008377
公开日2008年9月24日 申请日期2008年3月12日 优先权日2007年3月19日
发明者水藤浩 申请人:株式会社理光