摄像装置和摄像方法

专利名称：摄像装置和摄像方法
技术领域：
本发明涉及摄像装置和摄像方法，以及存储摄像程序的计算机可读介质。
背景技术：
在过去，人们提出有在对夜景和人物被拍摄体等的主要被拍摄体进行场景的摄影 时，可记录夜景和主要被拍摄体这两者突出的图像的各种技术。比如，在日本国特许申请公 报的特开2005-086488号文献中公开的技术中，连续地进行伴随闪光发光的启动闪光灯摄 影，与不伴随闪光发光的关闭闪光灯摄影。此时，在关闭闪光灯摄影时，按照适当地对夜景 曝光的方式，较高地设定摄影感光度。由此，通过关闭闪光灯摄影获得的图像(非闪光图像)为即使在主要被拍摄体的 亮度不适当的情况下，夜景的亮度仍适当的图像。另外，通过闪光灯摄影获得的图像(闪光 图像)为即使在夜景的亮度不适合的情况下，主要被拍摄体的亮度为适合的图像。于是，通 过将非闪光图像和闪光图像合成，可记录夜景和主要被拍摄体的双方的亮度适合，双方突 出的图像。在上述技术中，在关闭闪光灯摄影时，按照对夜景适当曝光的方式，较高地设定摄 影感光度。由此，虽然在关闭闪光灯摄影时的图像，即，由夜景和主要被拍摄体形成的非闪 光图像上，产生热噪声，但是，关于在主要被拍摄体上产生的热噪声，能够通过与闪光图像 的合成，进行修正而消除。然而，由于关于在主要被拍摄体区域以外产生的热噪声没有修正，故具有获得残 留有热噪声的低品质的图像这一点没有改变的问题。

发明内容
本发明的第1方面提供一种摄像装置，其包括摄像单元；发光单元；第1摄像控 制器，其按照在第1定时拍摄多个图像的方式对上述摄像单元进行控制；第2摄像控制器， 其按照在紧挨着上述第1定时的之前或之后的第2定时，在由上述发光单元照明的摄影环 境下拍摄图像的方式对上述摄像单元进行控制；加法运算合成部，其针对在上述第1摄像 控制器的控制下拍摄的上述多个图像，进行对位，来进行加法运算合成，由此生成合成图 像；合成部，其将由上述加法运算合成部生成的合成图像和在上述第2摄像控制器的控制 下拍摄的上述图像予以合成。本发明的第2方面提供一种摄像方法，在该方法中，按照在第1定时拍摄多个图像 的方式对摄像单元进行控制；按照在紧挨着上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境下拍摄图像的方式对上述摄像单元进行控制；针对在上述第1定时 拍摄的上述多个图像，进行对位，来进行加法运算合成，由此生成合成图像；将上述合成图 像与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的上述图像予以合成。本发明的第3方面提供一种非临时计算机可读介质，其针对具有摄像单元和发光 单元的摄像装置中包括的计算机，使其运行包括下述步骤的处理按照在第1定时拍摄多 个图像的方式对摄像单元进行控制；按照紧挨着在上述第1定时的之前或之后的第2定时， 在由发光单元照明的摄影环境下，拍摄图像的方式对上述摄像单元进行控制；针对在上述 第1定时拍摄的上述多个图像，进行对位，来进行加法运算合成，由此形成合成图像；将上 述合成图像，与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的上述图像 予以合成。


参照附图，对实施本发明的各种特征的一般结构进行描述。提供附图和相关描述 用于说明本发明的实施例，并不构成对本发明的范围的限定。图1为本发明的各实施方式所共通的数字照相机的电路方框图2为表示本发明的第1实施形式的处理步骤的流程图3为表示本实施形式的摄影的定时的流程图4为表示马赛克消除时的色调曲线设定的图5为表示图像位置对准处理的处理步骤的流程图6为表示加法运算平均图像的直方图的图7为表示Y值计算处理的处理步骤的流程图8为表示加法运算合成处理的处理步骤的流程图9为表示本发明的第2实施形式的处理步骤的流程图10为表示图像合成处理的处理步骤的流程图11为表示本发明的第2实施形式的图像合成处理的处理步骤的流程图
图12为表示图11的流程图的步骤Gl的具体内容的流程图13为表示UV加权α值的特性的图14为表示脸框的变化的图。
具体实施例方式下面参照附图，对根据本发明的各实施例进行详细描述。要求发明的范围不应限 于在下面描述的，在附图中给出的各示例。下面根据附图，对本发明的一个实施形式进行说明。图1为表示本发明的各实施 形式所共通的数字照相机100的电气结构的电路方框图。该数字照相机100具有AE(Autc) Exposure)、AWB(Auto White Balance)、AF(Auto Focus)等的普通的功能。即，透镜部件 1 具有变焦透镜，图中未示出的聚焦透镜等的光学系统，与用于驱动光学系统的驱动机构。在透镜部件1所具有的光轴上设置摄像部2，其由机械快门12和 CMOS (Complementary Metal Oxide Semiconductor)成像元件构成。表示来自摄像部2的图 像的模拟信号通过A/D转换部3，转换为数字信号，存储于由DRAM (Dynamic Random AccessMemory)构成的工作存储器4中。定制(custom) LSI7 (Large Scale htegration)对存储于工作存储器4中的图 像信号，进行消隐脉冲钳位(pedestal clamp)等的处理，将其变换为亮度(Y)信号和色差 (UV)信号，并且进行用于自动白平衡、轮廓强调、像素内插等的画质提高的数字信号处理。 在摄影模式，每当在工作存储器4中存储1帧量的数据(图像数据)时，便将其转换为数字 信号，将其传送给液晶显示控制器5。液晶显示控制器5根据从工作存储器4传送来的视频 信号，驱动液晶显示部8。由此，在液晶显示部8中，显示通过实时取景而逐次拍摄的图像。 另外，在摄影模式，将快门按钮9的操作作为触发，将图像数据临时存储于工作存储器4中， 该临时存储的图像数据通过定制LSI7而压缩，最终作为规定的格式的静止画文件，存储于 外部存储介质U中。定制LSI7包括CPU (Central Processing Unit)核心7a、闪光控制部7b、受光控 制部7c、马赛克消除部7d、特征量运算部7e、SRAMGtatic Random Access Memory)7f、土夬 匹配部7g、图像变形合成加法运算部几、程序R0M7i、与机械快门控制部7j。 CPU核心7a按照存储于程序R0M7i中的程序，一边将工作存储器4用作工作区域， 一边进行各种处理，由此，控制构成定制LSI7的上述各部分。另外，闪光控制部7b按照来 自CPU核心7a的指示，控制闪光发光部6的发光定时。受光控制部7c控制通过由CMOS成 像元件构成的摄像部2和A/D转换部3的动作定时，作为电子快门发挥作用。马赛克消除部7d进行RAW图像(非压缩图像)的马赛克消除处理。特征量运算 部7e用于在从已拍摄的图像中，检测脸图像的场合，或针对已检测到的脸图像的瞬间的检 测，具体为判断眼睛是否张开的场合。块匹配部7g将SRAM7f用作工作区域，实施在进行图 像对位时所必需的图像之间的块匹配处理。图像变形合成加法运算部几进行不伴随闪光 发光部6的发光而拍摄的图像即非闪光图像，与伴随闪光发光部6的发光而拍摄的图像即 闪光图像的合成加法运算处理等。机械快门控制部7j控制机械快门12。另外，在定制LSI7的CPU核心7a上连接有快门按钮9、模式按钮10和外部存储介 质11。快门按钮9由按扣式开关构成，其具有第1级的操作行程(半压)，与第2级的操作 行程(完全按压)的2级的操作行程。模式按钮10对应于用户的操作，送出摄影模式、再 生模式的切换指示信号。另外，还输出摄影模式中的“连拍合成的夜景和人物模式”等的具 体摄影模式的指示信号。外部存储介质11为SD卡等的可装卸的存储介质。在外部存储介质11中，存储 按照普通的摄影模式，或“连拍合成的夜景和人物模式”等的摄影模式拍摄的图像的图像数 据。另外，在再生时，从外部存储介质11读出的图像数据经由CPU核心7a，供给液晶显示控 制器5，在液晶显示部8中显示再生图像。此外，在程序R0M7i中还存储程序AE数据，该数据构成程序曲线图，该图表示与作 为摄影时的合适的曝光值的合适曝光相对应的光圈值和快门速度(快门时间、曝光时间) 的组合。(第1实施方式)下面根据图2的流程图，对本发明的第1实施方式的动作进行说 明。如果用户操作模式按钮10，设定摄影模式中的“夜景和人物模式”，则定制LSI7的CPU 核心7a按照存储于程序R0M7i中的程序，开始处理。首先，CPU核心7a控制液晶显示控制器5，通过实时取景，在液晶显示部8中显示逐次拍摄的图像(步骤Al)。接着，CPU核心7a判断是否对快门按钮9进行半压(步骤A2)， 如果对快门按钮9进行半压，则进行测光处理和对焦处理，获得合适曝光值和对焦位置(步 骤A3)。于是，通过该步骤A3的测光处理，对由光圈值和快门速度(与后述的快门时间和曝 光时间同义)形成的合适曝光值进行运算。接着，如果用户为了进行摄影，完全按压快门按钮9，则步骤A4的判断为“是”。于 是，CPU核心7a从步骤A4，转到步骤A5而进行处理，来对闪光控制部7b进行指示，使闪光 发光部6预备发光(步骤A5)。该预备发光基于调整闪光发光部6的发光量的目的，和防止 构成主要被拍摄体的人物的眼睛的红眼的目的而进行，进行该步骤直至后述的步骤A7的 伴随闪光的连拍的，比如，至少0. 8秒前。然后，在针对适合曝光值，将快门时间(曝光时间)下降2级(换算为曝光时间， 与合适曝光值相对应的曝光时间的1/4)的摄影条件下，首先，在不进行闪光发光部6的发 光的情况下，按照卷帘快门方式，连续8次地进行摄影(步骤A6)。然后，通过闪光控制部7b的驱动，使闪光发光部6发光，以机械快门方式，连续3 次地摄影(步骤A7)。为了避免在瞬间状态对被拍摄体人物摄影的瞬间图像的摄影，此时的 机械快门12的间隔间隔开比如，0. 1秒以上。之后，对于上述步骤A7的摄影时的摄影条件，按照ISO感光度小于上述步骤A6的 摄影的方式进行摄影。另外，机械快门控制部7j按照机械快门12在闪光发光部6发光的 定时处于打开状态的方式进行控制，以便尽可能地不拍到远方的背景。于是，通过上述步骤A6和步骤A7的处理，像图3所示的那样，在工作存储器4中 存储8张RAW图像和3张RAW图像的共计11张RAW图像。在步骤A8，针对该11张RAW图像，测定白平衡。接着，根据在步骤A8测定的白平 衡，通过马赛克消除部7d，针对全部的11中RAW图像，进行马赛克消除处理(步骤A9)。此 时，像图4(a)所示的那样，关于在步骤A7拍摄的3张RAW图像，根据直方图的伸展长度，确 定Y曲线。另一方面，像图4(b)所示的那样，针对在步骤A6拍摄的RAW图像，对逆γ的 色调曲线进行修正，以便抑制明亮部分层次失调而变白的发生。由此，可抑制闪光发光造成 的明亮部分层次失调而变白的部分的亮度。接着，通过特征量运算部7e的运算处理，以从进行了马赛克消除处理的11张图像 中的与在步骤A7拍摄的图像相对应的3张图像中，检测被拍摄体的脸图像，且以已检测到 的脸图像是否有偏差为基准，还以(在包括多个被拍摄体人物的场合)是否针对更多的脸 图像，眼睛张开为基准，选择评价最高的图像(步骤A10)。在该步骤AlO选择的图像像后述 的那样，是在与在步骤A6拍摄的图像相对应的图像的对位处理中不一致的场合中使用的 图像，或在与在步骤A6拍摄的图像相对应的图像的加法运算合成中使用的图像。如果在步骤A10，图像的选择结束，则进行已选择的图像和与在步骤A6拍摄的图 像相对应的8张图像的对位处理(步骤All)。图5为表示该图像对位处理(步骤All)的处理步骤的流程图。在该图像的对位 时，首先针对在步骤A6拍摄的8张RAW图像，与在步骤A7拍摄的3张RAW图像，在不改变尺 寸的情况下，分别形成YUV图像，此外形成缩小为用于对位的VGA尺寸的缩小YUV图像(步 骤Bi)。在图像彼此之间的对位时，必须确定构成基准的图像即基准图像。于是，在本实施 方式中，最初，针对与在步骤A6连续地拍摄的图像相对应的缩小YUV图像，将与在中间点拍摄的图像相对应的缩小YUV图像确定为基准图像(步骤B2)。比如，在本实施方式中，由于 8次连续地拍摄，故将与在作为中间点的第4次拍摄的图像相对应的缩小YUV图像作为基准 图像。另外，基准图像的确定方法并不限于像这样在中间时间点拍摄的图像，也可在最 先，或在步骤A7的拍摄紧前拍摄的图像(如果最终，以与在闪光发光时拍摄的图像合成为 目的，则最好，将在步骤A7的拍摄紧前拍摄的图像选择为基准图像。)。接着，进行在步骤B2确定的基准图像和其它的7张缩小YUV图像的对位(步骤 B3)。该对位通过块匹配和/或RANSAC(RANdom Sample Consensus)法而进行。此时，如果 在上述步骤A6的连拍时产生手抖动，则产生该连拍的图像不吻合，图像的对位不成功的情 况。于是，在接下来的步骤B4，判断是否与在步骤A68次连续拍摄的图像中的，最近拍 摄的图像的缩小YUV图像的对位是否成功。在这里，图像的对位是否成功的判断在比如，块 匹配中的块相对于基准图像，在90%以上的程度一致的场合，判定对位成功，在没有满足的 场合，判定对位失败。即，判断图像是否基本一致。接着，在于步骤B4，对位成功的场合，从 步骤B4，转到步骤B7，进行与在步骤A7拍摄的图像的对位。此外，也可在块匹配中的块与基准图像完全一致(100%—致)的场合，判定对位 成功，在其以外的场合，判定对位失败。但是，在步骤B4，在对位不成功的场合，判断在步骤B2确定的基准图像是否为与 连续地拍摄的8张中的最近，或从最近一次的前一次拍摄的图像相对应的缩小YUV图像 (步骤B5)。在判定不是与最近，或从最近一次的前一次拍摄的图像相对应的缩小YUV图像 的场合，删除与连续地拍摄的8张中的最近拍摄的图像相对应的缩小YUV图像，并且从剩余 的多张缩小YUV图像中，确定新的基准图像(步骤B6)。同样在该步骤B6中，将剩余的多中 缩小YUV图像中的，与在中间点拍摄的图像相对应的缩小YUV图像确定为新的基准图像。于是，每当步骤B4的判断为“否”，对位不成功时，通过步骤B6的处理，删除缩小 YUV图像，对位的缩小YUV图像的张数减少。另外，如果反复进行这样的处理，其结果是，针 对所确定的基准图像，依次转移到最早拍摄的图像。接着，如果通过该处理的反复，在步骤 B5，判断基准图像为与从最近一次的前一次拍摄的图像相对应的缩小YUV图像，则判定缩 小YUV图像的对位失败，结束处理(步骤B9)。此外，在步骤B5对位成功的场合，进行该基准图像和与在步骤A7拍摄的图像中的 最早拍摄的图像相对应的缩小YUV图像的对位(步骤B7)，结束图像对位处理(步骤B8)。像这样，在图2的步骤All进行图像的对位，作为其结果，判断对位是否成功(步 骤Al》。在于步骤B8对位成功的场合，从步骤A12进到步骤A14。接着，针对对位成功的 图像张数(3 8张)，针对在步骤Bl不改变尺寸而形成的YUV图像，分别进行对位，进行加 法运算平均处理(步骤A14)。S卩，针对通过块匹配而一致的每个块，进行加法运算平均处理，由此，形成对位成 功的YUV图像的加法运算平均图像。此外，在本实施方式中，使对位成功的张数的图像对位，进行加法运算平均处理， 但是，也可使8张YUV图像对位，进行加法运算平均处理。接着，进行加法运算平均图像的Y (修正)值计算处理(步骤AM)。进行该处理，以便抑制背景变暗的情况。即，在对在步骤A6拍摄的RAW图像，与在步骤A7拍摄的RAW图 像进行平均加法运算处理的场合，如果在步骤A6所拍摄的RAW图像中像素值大的区域，与 在步骤A7所拍摄的RAW图像中像素值大的区域被明确地分离，则可通过后级的直方图伸 长，使增益返回。但是，在像图6所示的那样，对于两者，在像素值大的区域重合的场合，图 像重合的部位越多，直方图中的高亮度侧越延伸。在这样的场合，直方图伸长的余地少，无 法将增益返回，特别是，将未照到闪光的背景进行变暗的修正。由此，针对与在步骤A6拍摄 的图像相对应的YUV图像，进行γ修正处理，抑制背景变暗的情况。图7为表示加法运算平均图像的Y值计算处理(步骤AM)的处理步骤的流程图。 首先，对加法运算平均图像和与在步骤A7拍摄的图像相对应的YUV图像进行加法运算平均 处理(步骤Cl)。接着，在步骤Cl，制作已进行了加法运算平均处理的亮度值的直方图(步 骤C2)。对制作的直方图(histogram map)进行积分运算，计算从亮度MAX(最大)侧起为 0. 5%的MAX侧点ahistmax)(步骤C3)。根据已计算的MAX侧点，按照下述的例举式，计算 Y值(步骤C4)。y =Kcoef(Yhistmax-Ythresh)其中，y =用于非闪光图像的Y修正的Y值Kcoef 调整用系数Yhistmax 单纯加法运算平均图像中的直方图MAX侧0. 5%的点的亮度值thresh:调整用阈值接着，在图2的流程图中的紧接步骤A15的步骤A16，通过在步骤A15获得的、 值，对在上述步骤A14获得的加法运算平均图像进行修正。接着，对进行了该Y修正处理 的加法运算平均图像，与在上述步骤AlO选择的图像进行合成加法运算处理(步骤A17)。由此，由于在于步骤A17，进行加法运算合成处理之前，在步骤A16，进行加法运算 平均图像的、修正处理，故可抑制背景(夜景)的亮度的降低。图8为表示在该步骤A17进行的加法运算合成处理的具体内容的流程图。在该流 程图中，在YUV成分中关于Y (亮度)成分，进行步骤D2 D7的处理，关于U (亮度和蓝色 成分的差)成分，和V(亮度和红色成分的差)成分，仅仅进行步骤Dl的处理。即，对在上述步骤A16获得的γ修正后的加法运算平均图像，与在上述步骤AlO 选择的图像进行加法运算平均处理，生成加法运算合成图像(步骤D2)。另外，对通过该加 法运算平均处理获得的图像，进行锐化滤波处理，强调图像的轮廓(步骤D3)。此外，制作Y 的亮度值分布的直方图(步骤D4)。其中，如果对全部像素进行测定，由于直方图的制作处 理要花费时间，故比如，每隔100个像素，进行测定。接着，获得直方图伸长阈值(步骤D5)。即，求取构成高亮度侧的直方图面积的 0. 5%的点的亮度值。另外，制作色调曲线像素变换表，即，在步骤D5求取的高亮度侧的伸 长点分别为255的直线变换的变换表(步骤D6)。根据该制作的变换表，使在步骤D2形成 的加法运算合成图像的Y成分伸长。此外，关于UV成分，通过Softmax处理，进行合成(步骤Dl)。如果对U成分进行 说明，则通过下述的例举式计算的输出值为U的Softmax输出值(USoftmax)。 Ucomp = (Uave+Umax氺Coef)/(1+Coef)
其中，Ucomp =USoftmax 输出值Uave :U的平均值Umax =U的绝对值和V的绝对值之和为最大的图像的U的值Coef 调整系数另外，在对V成分进行说明的场合，将下述例举式计算的输出值作为V的Softmax 输出值(VSoftmax)。Vcomp = (Vave+Vmax*Coef)/(Ι+Coef)，其中，Vcomp :VSoftmax 输出 值，Vave =V的平均值，Vmax =U的绝对值和V的绝对值之和为最大的图像的V的值，Coef 调 整系数。如果像这样，在图2的流程图中的步骤A17进行了 γ修正处理的加法运算平均图 像，与在步骤AlO选择的图像的合成加法运算处理结束，则将进行了该合成加法运算处理 的图像作为最终输出图像，保存于外部存储介质11中。于是，最终输出图像为夜景和人物被拍摄体的两者突出的图像，并且可获得没有 热噪声的高质量的图像。而且，在本实施形式中，由于使闪光发光部6发光，来连续3次地进行拍摄，故选择 在脸图像中模糊较小的评价高的图像(步骤A10)，用于加法运算合成。于是，还可记录作为 主要被拍摄体的人物为高质量的图像。另一方面，像前述那样，在步骤B9图像对位结束，对位失败的场合，从步骤A12进 到步骤A13。接着，在该步骤A13，按照比如，用JPEG格式，仅仅对在上述步骤AlO选择的1 张图像进行显影，形成最终输出图像。此外，将该最终图像保存于外部存储介质11中。在这里，在步骤AlO选择的图像如前述的那样，为在已检测到的脸中模糊小，在多 个人物被拍摄体中更多人物的眼睛张开的图像。于是，即使在非闪光图像的对位失败的摄 影时的情况下，仍可记录在图像中的多个人物被拍摄体中没有模糊，更多的人物的眼睛张 开的图像。此外，在本实施方式中，在步骤A6的处理之后，进行步骤A7的处理，但是也可与此 相反。还有，在本实施方式中，将在步骤AlO选择的图像用于加法运算合成。但是，也可 在对位中图像基本一致而对位成功的场合，采用上述已选择的图像，在不是基本一致而对 位失败的场合，将于步骤A6的处理后紧接着拍摄的图像用于加法运算合成。如果像这样形成，即使在3次连续拍摄的图像中具有模糊的情况下，也可以将在 与连续8次拍摄的图像的关系中一致性最高的图像用于加法运算合成。还有，在本实施方式中，将在步骤A17中进行加法运算合成的最终输出图像照原 样，保存于外部存储介质11中，但是，也可设置白平衡调整步骤(白平衡调整部)，在该步 骤，使最终输出图像的白平衡与连续3次拍摄的图像的白平衡一致。由此，可将被拍摄体人 物的白平衡合适的图像作为最终输出图像而记录。(第2实施方式)图9为表示本发明的第2实施方式的处理步骤的流程图。在本 实施方式中，其与第1实施形式的不同点在于合成的步骤，代替通过Y修正和直方图伸长 而合成的方式，在加法运算平均处理后，通过YMax值，对像素的亮度进行增益调整。在图9的流程图中，步骤El E14与图2所示的第1实施方式的流程图中的步骤Al A14相同。于是，关于步骤El E14，省略对其的说明。在代替第1实施方式的步骤 A15 A17而进行的步骤E15，进行图像合成处理。图10为表示图像合成处理的处理步骤的流程图。对在步骤ElO选择的图像，与加 法运算平均图像进行加法运算平均处理(步骤F1)。此外，生成由已选择的图像和加法运算平均图像的亮度的MAX值(最大值)构成 的Ymax (步骤F2)。此外，在上述步骤F1，按照加法运算平均图像的亮度为Ymax/2的方式 制作α图(步骤F3)。S卩，针对各像素，计算在步骤Fl获得的加法运算平均图像的亮度的平均值即X· 为Ymax/2的α。具体来说，进行α = Ymax/(2*Yave)的运算。通过该运算，直方图分布必 定为128以下(亮度为8比特的场合)。接着，通过将在上述步骤F3获得的α图的各值与在步骤Fl获得的加法运算平均 图像相乘，使加法运算平均图像衰减(步骤F4)。此外，在该步骤F4的处理中进行了直方图 压缩的图像通过乘以2倍的增益而复原(步骤F5)。按照上述方式，结束图9的流程图中的步骤Ε15的合成处理，将在上述步骤F5获 得的图像作为最终输出图像，保存于外部存储介质11中。于是，按照本实施方式，可使合成处理比第1实施方式的场合更加简单。(第3实施方式)图11为表示本发明的第3实施方式的，在图9的流程图中的步 骤Ε15进行的图像合成处理的处理步骤的流程图。S卩，第3实施方式的全部的处理与前述的第2实施方式相同，按照图9所示的流程 图而进行。其中，在第2实施方式中，图像合成处理(步骤EM)按照图10所示的流程而进 行，相对该情况，在第3实施方式中，图像合成处理(步骤EM)按照图11所示的流程而进 行。在图11的流程图中，步骤G2 G6与图10所示的第2实施方式的流程图中的步 骤Fl F5相同。另外，在作为与上述图10的流程图中的步骤Fl F5相同的处理的步骤 G2 G6，新添加步骤G1。在该添加的步骤Gl中，对已选择的图像的亮度，加法运算平均图 像的亮度，进行UV加权加法运算处理。图12为表示UV加权加法运算处理(步骤Gl)的处理步骤的流程图。首先，针对 各像素，通过在步骤ElO选择的图像的亮度YF，与加法运算平均图像的亮度Ynf，制作UV合 成用的α图(步骤HI)。UV加权α计算式如下表示α ■ (X，y) = α F (YF (x，y)) - α NF (Ynf (χ, y)) +0. 5(对右边超过0 1.0的范围的倍，进行裁剪(clip)处理。)(其中，X，y表示像素的坐标)上述函数aF(Y)、Qnf(Y)也像图13所示的那样，具有下述的特性。α F(Y) = 0 (Y ^ 128)= aF*(Y-128) (Y > 128)aNF(Y) = 0 :(Y ^ 192)= aNF*(Y-192) (Y > 192，a NF > a F)另外，在图13中，aUVNF(x,y)表示坐标(χ, y)中的已选择的图像的UV合成比例， Yp(x, y)表示已选择的图像的亮度值，Ynf(X，y)表示平均加法运算图像的亮度值，“a”、“b”表示在已选择的图像和平均加法运算图像两者趋于饱和时，由于将平均加法运算图像的UV 的权重设为1. 0，故设定b-a > 0. 5的点加函数(point-addition function)的斜率(aF,
^NF) ο上述数学式和图13表明下述事项。1.在仅仅已选择的图像的亮度接近饱和区域的场合，加大已选择的图像的UV的权重。2.在仅仅加法运算平均图像的亮度接近饱和区域的场合，加大已选择的图像的 UV的权重。3.在已选择的图像、加法运算平均图像的两者的亮度接近饱和区域的场合，按照 通过闪光灯以外的光源而直接拍摄的可能性高，加大加法运算平均图像的UV的权重，以便 不粘贴WB有偏离的已选择的图像的UV。4.在已选择的图像，加法运算平均图像的两者的亮度低于中间值的场合，按照 1 1进行加法运算平均处理。5.在已选择的图像，加法运算平均图像的两者的亮度稍高于中间值的场合，加大 已选择的图像的UV的加权。其目的在于不使脸等的闪光图像的亮度高的区域的色混合引 起的变色醒目。然后，对已选择的图像，进行脸图像检测(步骤H2)。在该步骤H2，在根据已选择 的图像检测到脸图像时，像图14所示的那样，设定脸图像20中的围绕脸部分的脸框21，对 该脸框21内的部分为脸图像20的情况进行指定。接着，检测出脸图像，并按照指定该脸图像的脸框包括脸图像的下部的颈图像部 分的方式使框沿纵向延长(步骤H3)。通过该步骤H3的处理，添加由图14中的虚线表示的 延长部22、脸框21沿纵向延伸。另外，在脸框21内，不仅包括脸图像20，而且包括也是该 脸图像20的下部部分的肤色区域的颈图像23。此外，对于该延长的脸框21的内侧，进行随着距脸框21的距离的增加(即，接近 脸框21的中心)，值增加的α值的点加处理(步骤Η4)。然后，根据在上述步骤Hl制作的 UV合成用的α图，将已选择的图像和平均加法运算图像的UV合成(步骤Η5)。由此，图11的流程图中的步骤Gl的处理结束。接着，在步骤G2 G6，进行与上述 第2实施方式的图10的步骤Fl 步骤F5相同的处理。按照上述方式，结束图9的流程图中的步骤Ε15的合成处理，将在上述步骤G6获 得的图像作为最终输出图像，保存在外部存储介质11中。于是，按照本实施形式，可防止已选择的图像(闪光图像)和平均加法运算图像 (非闪光图像)的合成造成的不自然的着色醒目的情况。此外，在本实施形式中，由于对脸图像进行亮度调整，故可防止已选择的图像(闪 光图像)和平均加法运算图像(非闪光图像)的合成造成的脸图像不自然的着色醒目的情 况。还有，由于不仅对脸图像，而且还对其下部的颈图像进行亮度调整，故可防止在包 括人物被拍摄体的脸图像的肤色区域中，已选择的图像(闪光图像)和平均加法运算图像 (非闪光图像)的合成造成的脸图像不自然的着色醒目的情况。此外，在步骤G1，根据已选择的图像的亮度，平均加法运算图像的亮度这两者，进行UV加权加法运算处理，但是，也可根据任意一者的图像的亮度，进行UV加权加法运算处 理。即使在这样的情况下，仍可使已选择的图像(闪光图像)和平均加法运算图像(非闪 光图像)的合成造成的脸图像不自然的着色不会醒目。另外，在平均加法运算图像(非闪光图像)的亮度接近饱和的程度高的场合，也可 不减小已选择的图像(闪光图像)的加权，对应于闪光图像，对闪光图像的白平衡进行加法运算。虽然在上面对本发明的实施例进行了描述，但是，本发明并不限于上述的实施例， 其可按照各种方式改进。上述实施例中公开的部件可适当地组合而构成各种改进方案。比 如，在上述实施例中公开的所有部件的一些可删除，或适当组合。对于本领域的技术人员来说，容易得出其它的优点和改进方式。于是，更广义方面 的本发明不限于在这里描述和示出的具体细节和代表性的实施例。于是，可在不脱离由后 附的权利要求确定的一般的发明构思的精神或范围的情况下，作出各种改进方案。
权利要求
1.一种摄像装置，其包括 摄像单元；发光单元；第1摄像控制器，其按照在第1定时拍摄多个图像的方式对上述摄像单元进行控制； 第2摄像控制器，其按照在紧挨着上述第1定时的之前或之后的第2定时，在由上述发 光单元照明的摄影环境下拍摄图像的方式对上述摄像单元进行控制；加法运算合成部，其针对在上述第1摄像控制器的控制下拍摄的上述多个图像，进行 对位，并进行加法运算合成，由此生成合成图像；以及合成部，其将由上述加法运算合成部生成的合成图像和在上述第2摄像控制器的控制 下拍摄的上述图像予以合成。
2.根据权利要求1所述的摄像装置，其中，上述第2摄像控制器按照在由上述发光单元照明的上述摄影环境下，拍摄多个图像的 方式对上述摄像单元进行控制；上述摄像装置还包括选择器，该选择器对在上述第2摄像控制器的控制下拍摄的上述 多个图像中包括的脸图像进行评价，将评价最高的图像选择为选择图像； 上述合成部将上述合成图像与上述选择图像予以合成。
3.根据权利要求1所述的摄像装置，其中，还包括白平衡调整部，其对上述合成图像的白平衡和上述第2摄像控制器的控制下拍 摄的上述图像的白平衡中的至少一者进行调整，使两者一致。
4.根据权利要求1所述的摄像装置，其中，还包括修正处理部，其在上述合成部所进行的合成之前，对上述合成图像，实施Y修 正处理。
5.根据权利要求1所述的摄像装置，其中，还包括亮度调整部，其在上述合成部所进行的合成之前，对上述合成图像和在上述第2 摄像单元的控制下拍摄的上述图像中的至少一者的亮度进行调整。
6.根据权利要求5所述的摄像装置，其中，还包括脸图像检测部，其对上述合成图像和在上述第2摄像单元的控制下拍摄的上述 图像中的至少一者中所包含的脸图像进行检测；上述亮度调整部根据包括由上述脸图像检测部所检测的上述脸图像的肌色区域，来调 整亮度调整的程度。
7.根据权利要求2所述的摄像装置，其中，还包括判断部，其进行由上述第2摄像控制器拍摄的多个图像彼此间的对位，并判断 图像是否基本一致；上述选择器在由上述判断部判定为基本一致的情况下，选择评价最高的图像，在未判 定为基本一致的情况下，选择在最接近上述第1摄像控制器的摄像定时的定时，由上述第2 摄像控制器拍摄的图像。
8.一种摄像方法，在该方法中按照在第1定时拍摄多个图像的方式对摄像单元进行控制；按照在紧挨着上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境下拍摄图像的方式对上述摄像单元进行控制；针对在上述第1定时拍摄的上述多个图像，进行对位，并进行加法运算合成，由此生成 合成图像；将上述合成图像与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的 上述图像予以合成。
9. 一种非临时计算机可读介质，其针对具有摄像单元和发光单元的摄像装置中包括的 计算机，使其运行包括下述步骤的处理按照在第1定时拍摄多个图像的方式对摄像单元进行控制；按照紧挨着在上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境 下拍摄图像的方式，对上述摄像单元进行控制；针对在上述第1定时拍摄的上述多个图像，进行对位，并进行加法运算合成，由此形成 合成图像；以及将上述合成图像与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的 上述图像予以合成。
全文摘要
一种摄像装置，其包括摄像单元；发光单元；第1摄像控制器，其按照在第1定时，拍摄多个图像的方式对上述摄像单元进行控制；第2摄像控制器，其按照下述方式对上述摄像组件进行控制，该方式为在紧挨着上述第1定时的之前或之后的第2定时，在由上述发光单元照明的摄影环境下拍摄图像；加法运算合成部，其针对在上述第1摄像控制器的控制下拍摄的上述多个图像，进行对位，并进行加法运算合成，来生成合成图像；合成部，其将通过上述加法运算合成部形成的合成图像和在上述第2摄像控制器的控制下拍摄的上述图像予以合成。
文档编号H04N5/232GK102065224SQ20101062383
公开日2011年5月18日 申请日期2010年11月10日 优先权日2009年11月11日
发明者松永和久 申请人:卡西欧计算机株式会社