专利名称：摄像装置的制作方法
技术领域：
本发明涉及摄像装置，其具备能够实现动态范围大的场景的摄影 的宽动态范围功能。
背景技术：
作为本技术领域的背景技术，例如由特开2007-288875号公报(专 利文献l)。在该公报中，以"在高亮度被摄体用摄像和低亮度被摄体 用摄像进行最佳的AE (自动曝光控制)"为目的，作为解决方法，公 开了以下的技术"进行高亮度被摄体用摄像和低亮度被摄体用摄像的 2次的摄像，将2个影像合成输出。并且，在DSP6的曝光处理部6B 中，设置有在长时间曝光时和短时间曝光时切换信号路径的开关7C， 进行长时间曝光时的信号处理的长时间曝光信号处理部7A、进行短时 间曝光时的信号处理的短时间曝光信号处理部7B、和合成各曝光处理 部7A、 7B的合成部(MIX) 7D。并且，通过在各曝光信号处理部7A、 7B中分别设置的OPD (光学检波电路)18A、 18B，在长时间曝光时 和短时间曝光时，分别独立地求得亮度分布，进行最佳的曝光量控制。"
专利文献1:特开2007-288875号公报
发明内容
在利用数码摄像机、数码相机进行摄影时，存在当作为对象的场 景内的明暗差非常大时，在场景的一部分，传感器的受光量不充分而 发生暗影溢出，或者传感器的受光量饱和而发生高光溢出的情况。作 为解决该问题的方法之一，能够举例切换曝光条件，对于以处于低 照度的被摄体作为对象的高感度的摄像图像、和以处于高照度的被摄 体作为对象的低感度的摄像图像分别进行摄像，通过以特定的比率进 行合成，而生成动态范围宽的图像的方法。例如，在上述专利文献1 中，光学检波电路基于分别从摄像信号取得的亮度分布信息进行用于高感度摄像的曝光控制、和用于低感度摄像的曝光控制，从而实现适 当的宽动态范围的摄影。
但是，在上述专利文献1中记载的方法中，并没有考虑被摄体为 何物。因此，例如在监视用途中存在希望对于映入拍摄图像的人物的 脸部、服装重点关注的情况，但是当脸部、服装比背景的亮度分布小 时，对于背景分配过多的灰度等级，不能够确保脸部、服装的充分的 灰度等级，有可能丧失细节状况。
在此，本发明中，在通过合成感度不同的多个拍摄图像实现的宽 动态范围功能中，在亮度分布信息的基础上，检测人物的脸部这样的 特定被摄体，也利于该检测结果进行曝光控制，由此优先扩大用户希 望关注的被摄体的灰度等级。并且，综合在各个摄像图像中的检测结 果，控制对于各图像的信号处理、合成时的合成比率。由此能够实现 动态范围的扩大，并且提高用户希望关注的被摄体的视认性。
上述目的作为一个例子，利用权力要求的范围所记载的发明达成。
依据本发明，在数码摄像机、数码相机中，能够实现动态范围的 扩大，并且提高用户希望关注的被摄体的视认性。
图1是表示本发明的第一实施例的摄像装置的第一示意图。
图2是表示本发明的第一实施例的曝光控制的一例的示意图。 图3是表示本发明的第一实施例的r特性控制的一例的图。 图4是表示本发明的第一实施例的影像合成控制的一例的图。 图5是表示本发明的第一实施例的宽动态范围处理的效果的一例 的图。
图6是表示本发明的第二实施例的摄像装置的示意图。 图7是表示本发明的第二实施例的被摄体选择方法的一例的图。 图8是表示本发明的第三实施例的摄像装置的示意图。 图9是表示本发明的第三实施例的向被摄体识别结果的合成影像 的附加控制的一例的图。 符号说明 0101摄像部0102曝光控制部 0103照相机信号处理部 0104影像合成部 0105被摄体识别部
0201进行高感度曝光的情况下的输出信号特性 0202进行低感度曝光的情况下的输出信号特性 0301进行高感度曝光的情况下的影像信号特性 0606被摄体选择部 0807被摄体信息附加选择部
具体实施例方式
以下，参照
本发明的实施例。
图1是表示本发明的第一实施例的摄像装置的第一示意图。在图1 中0101是摄像部，0102为曝光控制部，0103为照相机信号处理部(相 机信号处理部)，0104是影像合成部，0105是被摄体识别部。
在图1的摄像装置中，摄像部OIOI由包括变焦透镜和对焦透镜的 透镜组、光圈、快门、CCD或者CMOS等的摄像元件、CDS或AGC、 AD转换器等构成，对在摄像元件上受光的光学像进行光电变换，作为 信号输出。曝光控制部0102，从摄像部0101输出的信号取得亮度分布 的信息，基于该亮度分布的信息、后述的被摄体识别部0105输出的被 摄体信息决定目标曝光量，按照实际的曝光量接近其目标曝光量的方 式控制光圈的孔径、快门时间、AGC的增益(gain)量。这时，通过 在每规定的时间切换目标曝光量，能够实现在每规定的时间在不同的 感度下的摄像。在此，例如，在某曝光期间在比通常早的时间关闭快 门，在下一曝光期间在比通常迟的时间关闭快门，交替地进行这样的 曝光控制，则能够实现交替地进行高感度摄像和低感度摄像，上述高 感度摄像是能够优先地拍摄处于低照度(Luminosity)的被摄体图像， 低感度摄像是能够优先地拍摄处于高照度的被摄体图像。为了便于说 明，这里，在进行感度不同的多个摄像的情况，是指像这样交替地进 行将处于低照度的被摄体作为对象的高感度摄像、和将处于高感度的 被摄体作为对象的低感度摄像。但是，这只是一个例子，也可以不一定是比通常早的快门时间和比通常迟的快门时间的组合，另外，当然
以3个以上不同感度在每曝光期间交替地进行曝光控制的控制也可以。 另外，也可以并不是在每摄像期间交替地进行曝光控制的变更，而是 仅在特定的时间进行不同的曝光控制。照相机信号处理部0103，对于 摄像部0101输出的信号，进行亮度信号和色信号的分离处理、明亮度 修正处理、r处理、色差变换处理、白平衡修正处理、数字变焦等的 各种数字信号处理，生成影像信号，并向合成处理部0104和被摄体识 别部0105输出影像信号。当进行各信号处理时使用的系数，例如明亮 度修正量和r特性等，也可以使用预先设定并存储在EEPROM等中的 值，也可以根据影像的亮度分布等的各种信息、后述的被摄体识别部 0105输出的被摄体信息来改变控制值。另外，相对于感度不同的多个 曝光影像，通过使用分别不同的系数，能够对个曝光影像进行适当的 信号处理。影像合成部0104,对于照相机信号处理部0103输出的影像 信号，以规定的比率对不同曝光期间的影像信号进行合成，作为合成 影像，向未图示的影像显示部、记录部、动画压縮部、PC等输出。在 实现上述处理时，作为一个例子，将某曝光期间的影像信号预先积蓄 在SDRAM等的存储器中，对其他曝光期间的影像信号、和从存储器 读出的先前的曝光期间的影像信号在赋予权重的基础上进行加法计算 即可。通过反复进行该加法计算处理，能够合成任意数量的感度不同 的影像信号，能够实现从处于低照度的被摄体到处于高照度的被摄体 能够在影像上灰度等级不破坏地进行摄像的宽动态范围(Wide Dynamic Range)功能。这时，影像信号的合成比率，能够根据影像信 号的感度的差、各影像信号中的被摄体的亮度分布的信息、后述的被 摄体识别部0105输出的被摄体信息等来决定。另外，也可以不进行合 成处理，将影像信号保持原状输出。被摄体识别部0105，对于照相机 信号处理部0103输出的影像进行图像识别，检测特定的被摄体，将被
摄体的个数、各个被摄体的影像中的位置、亮度分布的信息、色信息、 被摄体的可靠性等作为被摄体信息输出。作为被摄体，例如脸部、人
物、动态物体等，只要使用公知的方法通过图像识别能够检测出的对 象即可。使用该被摄体信息，曝光控制部0102能够控制改变摄像部的 目标曝光量，照相机信号处理部0103能够控制改变r特性，影像合成部0104能够控制改变影像的合成比率，由此能够实现最适合特定的被 摄体的宽动态范围影像的生成。在上述的例子中，对于感度不同的多 个摄像，分别进行照相机信号处理然后进行合成处理，但是也可以是 将该顺序颠倒，在进行合成处理之后再进行r控制等的照相机信号处 理的方式。并且，曝光控制部0102的曝光控制处理、照相机信号处理 部0103的照相机信号处理、影像合成部0104的影像合成处理、被摄 体识别部0105的被摄体识别处理，通常是通过照相机内的微型计算机、 照相机信号处理DSP、专用的LSI等进行。
图2是表示本发明的第一实施例的曝光控制的一例的图。通过曝 光控制部0102执行图2所示的曝光控制。在图2中，横轴表示入射到 传感器的受光量，纵轴表示传感器输出的信号电平、0201是进行高感 度曝光的情况下的输出信号特性、0202是进行低感度曝光的情况下的 输出信号特性。在该例中，在摄影场景中的低照度的区域和高照度的 区域分别有人物存在。被摄体识别部0105对所关注的被摄体检测人物 的脸部进行检测，并求得脸部区域的亮度分布。然后，曝光控制部0102， 在高感度曝光用的曝光控制中根据处于低照度区域的人物的脸部区域 的亮度分布，使脸部区域的曝光量接近适当曝光范围，并且在低感度 曝光的曝光控制中根据处于高照度区域的人物的脸部区域的亮度分 布，使脸部区域的曝光量接近适当曝光范围。通过在每曝光期间重复 该处理，最终能够将高感度曝光和低感度曝光分别收敛在适当的曝光 范围的附近。在低照度区域和高照度区域的一方至两方能够检测到多 个脸部的情况下，也可以求得多个脸部的亮度的重心，使该重心的曝 光量接近适当曝光范围即可。这时，求得亮度的重心时，同时也取得 所检测的脸部的影像上的位置信息，可以使影像的中心附近的脸部的 权重大，使周边的脸部的权重小，优先使映射到影像的中心附近的被 摄体的曝光符合适当曝光，由此，适当地控制处于低照度的人物的脸 部和处于高照度的人物的脸部双方的曝光，能够实现使其视认性提高 的宽动态范围功能。此外，在摄影场景中的明暗的差非常大的情况下， 处于低照度乃至高照度的任意一个的人物的脸部在影像上被破坏，有 可能不同通过图像识别良好地检测的可能。这里，作为初期处理，首 先取得场景整体的亮度分布，根据该信息，在影像中分别控制高感度曝光以使暗影溢出消失，和低感度曝光以使高光溢出消失，之后，进 行被摄体的识别即可。另外，在摄影场景中的低照度的区域和高照度 的区域的一方甚至两方中没有人物存在的情况下，同样地利用场景整 体的亮度分布信息进行曝光控制即可。另外，在仅由脸部区域的亮度 分布决定曝光控制量的情况下，有可能在脸部区域以外发生暗影溢出 或者高光溢出。因此，对基于脸部区域的亮度分布决定的曝光控制量， 和利用场景整体的亮度分布的信息决定的曝光控制量赋予权重并进行 组合，决定整体的曝光控制量，不要引起暗影溢出和高光溢出即可。
图3是表示本发明的第一实施例的r特性控制的一例的图。如图3 所示，通过相机信号处理部0103执行r特性控制。在图3中，横轴表 示传感器输出的信号电平，纵轴表示进行亮度修正之后的影像信号电 平，0301是进行高感度曝光的情况下的影像信号特性。在该例中，在 摄影场景中的低照度的区域中存在2个人。这时，r特性控制并不是 对传感器输出信号进行假设通常的r曲线的r处理，而是如图3所示， 进行非线形的信号的特性变换处理，使得人物的脸在影像信号中具有 宽灰度等级。由此，通过强调影像上的人物的脸的灰度等级，能够实 现其视认性提高的宽动态范围。此外，这里表示了高感度曝光中的r 特性控制，但是在低感度曝光中也可以进行同样的处理。
图4是表示本发明的第一实施例的影像合成控制的一例的图。通 过影像合成部0104执行在图4中所示的影像合成控制。在图4中，(a) 表示仅在摄影场景中的高照度的区域中存在人物的情况下的合成控制 的例子，(b)表示仅在摄影场景中的高照度的区域中存在人物的情况 下的合成控制的例子。影像合成部0104将通过高感度曝光获得的影像 信号和通过低感度曝光获得的影像信号以规定比率合成，并输出。这 时，影像合成控制，从被摄体检测部0105取得摄影场景中的低照度的 区域和高照度的区域中检测到的脸部的个数，根据该个数控制合成时 的比率。合成时的比率可以仅由脸部的个数决定，也可以根据其它的 信息，例如将在高感度曝光中适当地被曝光的被摄体、和在低感动曝 光中适当地被曝光的被摄体的面积比等的信息赋予权重并组合而决 定。例如，在高感度影像和低感度影像的双方映出脸部的情况下，如 图4 (a)所示，根据适当地曝光的被摄体的面积比决定合成比率，另一方面当仅在一方的影像中映出脸部的情况下，如图4 (b)所示更大 地取得其影像的合成时的加法运算比率。由此，仅强调存在人物的脸 部的影像，能够实现其视认性提高的宽动态范围。这时，也可以根据 所检测的脸部的可靠性等的信息进一步进行赋予权重，改变加法运算 比率。另外，不仅是在各影像中的脸部的有无，也可以基于所检测的 脸部的个数的比率来改变比率，即，在低照度的区域中有1个脸部， 在高照度的区域中有2个脸部的情况下，也可以增大低感度图像的加 法比率。
以上的从图2至图4所示的各控制的例子中，作为被摄体识别部 0105检测的被摄体使用人物的脸部进行说明，作为检测的被摄体，人 物的全身像、动态物体、车辆等，只要通过图像识别能够检测的被摄 体无论什么对象都能够进行同样的控制，检测的被摄体与应用的目标 相匹配而决定即可。另外，也可以同时识别多个被摄体。
另外，在从图2至图4所示的各控制中，也可以使用不同的被摄 体识别结果。例如，当曝光控制部0102进行曝光控制时，将运动物体 作为关注被摄体进行检测，进行控制使得步行中的人物适当的曝光， 另一方面，照相机信号处理部0103使用人物的脸部的识别结果进行r 特性控制，以能够确保步行中的人物的脸部和静止的人物的脸部双方 的灰度等级。
图5是表示本发明的第一实施例的宽动态范围处理的效果的一例 的图。在图5中，(a)是在摄影场景中的低照度区域中匹配曝光时的 影像，(b)是在摄影场景中的高照度区域中匹配曝光时的影像，(c) 是利用现有的宽动态范围处理以规定的比率对影像(a)和影像(b) 进行加法运算后的合成影像，(d)是进行从图2至图4的各控制，确 保脸部的灰度等级的合成影像。如图5 (c)所示，通过使用现有的宽 动态范围功能能够生成没有暗影溢出和高光溢出的影像，由于没有考 虑脸部的亮度分布因此脸部的视认性并不良好。另一方面，在图5 (d) 中，由于考虑脸部的亮度分布，优先确保脸部的灰度等级，因此虽然 残留有高光溢出趋势的明亮处的影像，但是能够提高脸部的视认性。
依据上述的本实施方式，在通过合成感度不同的多个摄像图 而 实现的宽动态范围功能中，扩大动态范围即使在明暗差异显著的场景的摄影中也能够抑制暗影溢出和高光溢出的发生，并且，通过优先确 保用户希望关注的特定的被摄体的灰度等级，能够提高视认性。
图6是表示本发明的第二实施例的摄像装置的示意图。在图6中 0101是摄像部、0102是曝光控制部、0103是照相机信号处理部、0104 是影像合成部、0105是被摄体识别部、0606是被摄体选择部。
在图6所示的拍摄装置中，摄像部OIOI、曝光控制部0102、照相 机信号处理部0103、影像合成部0104、被摄体识别部0105与实施例1 进行同样的作用。被摄体选择部0606具备移动拨盘(JOGdial)、光标 键(cursorkey)、触摸面板等的用户输入装置，用户来决定由被摄体识 别部0105识别的关注被摄体的种类。
图7是本发明的第二实施例的被摄体选择方法的一例的图。在图7 中，(a)是作为被摄体选择脸部的情况下的摄影图像，(b)是在LCD 上展开使用户对由被摄体选择部0606检测的被摄体进行选择的菜单画 面，(c)是选择全身像作为被摄体的情况下的摄影图像。图7 (a)和 (c)中，虚线框用于方便地显示被摄体的检测结果。
依据上述的实施例，用户使用被摄体选择部0606能够简单地改变 由被摄体识别部0105识别的关注被摄体。因此，有时，为了对室内进 行摄影而提高人物的脸部的视认性，或者其他时候，为了对室外的道 路进行摄影而提高汽车的视认性，像这样能够容易地实现与用户希望 看见的被摄体相应的宽动态范围的切换。
图8是表示本发明的第三实施例的摄像装置的示意图。在图8中， 0101是摄像部、0102是曝光控制部、0103是照相机信号处理部、0104 是影像合成部、0105是被摄体识别部、0807是被摄体信息附加选择部。
在图8所示的拍摄装置中，摄像部OIOI、曝光控制部0102、照相 机信号处理部0103、影像合成部0104、被摄体识别部0105与实施例1 进行同样的作用。被摄体信息附加选择部0807具备移动拨盘、光标键、 触摸面板等的用户输入装置，用户决定是否在由影像合成部0104生成 的合成影像中附加被摄体识别结果的信息。在用户选择了附加被摄体 识别结果的信息的情况下，在影像合成部0104所生成的合成影像中， 将检测出的被摄体的位置、个数、可靠性等作为被摄体识别结果的信 息以图形或者文字等形式进行合成附加。
ii图9是表示对本发明的第三实施例的被摄体识别结果的合成影像 进行附加控制的一例的图。在图9中，(a)为没有附加被摄体信息的 情况下的输出影像，(b)为附加了被摄体信息的情况下的输出影像。 这里例示，在被摄体识别部0105检测人物的脸部作为关注被摄体的情 况下，分别以方框的虚线表示检测出的脸部的位置，以文字表示检测 时的可靠性。
依据上述的本实施方式，通过对由宽动态范围功能生成的合成对 象附加被摄体识别结果的信息，能够使用户确认在什么样的程度进行 被摄体识别，能够作为操作时的参考、功能没有良好运转时向制造者 的反馈信息使用。
以上，使用附图对本发明的优选的实施例进行了说明。依据本发 明，在数码摄像机、数码照相机中扩大宽动态范围，即使在对明暗差 异显著的场景进行摄影中也能够抑制暗影溢出和高光溢出，并且通过 优先扩大用户希望关注的特定的被摄体的灰度等级，能够提高视认性。
此外，本发明并不限定于上述的实施例，包括各种变形例。例如， 上述的实施例是为了便于理解地对本发明进行说明而进行的详细说 明，并不一定必须具备已说明的全部结构。另外，也能够将某实施例 的结构的一部分置换为其它实施例的结构，另外，也能够在某实施例 的结构中添加其他的实施例。
本发明能够应用于人们生活、监视、车载、业务用的数码摄像机 和数码照相机。
权利要求
1.一种摄像装置，其特征在于，包括摄像单元；曝光控制单元，控制该摄像单元的曝光而实现对于同一被摄体的感度不同的多个摄像；照相机信号处理单元，对该摄像单元输出的信号进行照相机信号处理而生成影像信号；影像合成单元，对该照相机信号处理单元生成的感度不同的多个影像信号进行合成并输出；和被摄体识别单元，对该照相机信号处理单元生成的影像信号进行图像处理并检测被摄体信息，该被摄体识别单元对该照相机信号处理单元生成的感度不同的多个影像信号的各个检测被摄体信息，该曝光控制单元将该被摄体信息用于曝光控制。
2. 根据权利要求1所述的摄像装置，其特征在于 所述被摄体识别单元对该照相机信号处理单元生成的感度不同的多个影像信号的各个检测被摄体信息，所述照相机信号处理单元根据 该被摄体信息改变影像信号的Y特性。
3. 根据权利要求1或2所述的摄像装置，其特征在于 所述被摄体识别单元对该照相机信号处理单元生成的感度不同的多个影像信号的各个检测被摄体信息，所述影像合成单元根据该被摄 体信息改变对该感度不同的多个影像信号进行合成时的比率。
4. 根据权利要求1至3中任一项所述的摄像装置，其特征在于 当所述被摄体识别单元对该照相机信号处理单元生成的感度不同的多个影像信号的各个检测被摄体信息时，检测多个种类的被摄体， 并在根据该被摄体信息，所述曝光控制单元改变曝光控制量、所述照 相机信号处理单元改变影像信号的Y特性、所述影像信号合成单元改变对该感度不同的多个影像信号进行合成时的比率时，分别使用不同 的被摄体的识别结果。
5. 根据权利要求1至4中任一项所述的摄像装置，其特征在于 还具备被摄体选择单元，用于由用户选择所述被摄体识别单元所检测的被摄体的种类。
6. 根据权利要求1至5中任一项所述的摄像装置，其特征在于 所述影像合成单元，对所生成的合成影像附加所述被摄体识别单元所检测的所述被摄体信息，并将其输出。
7. 根据权利要求6所述的摄像装置，其特征在于 还具备被摄体信息附加选择单元，其用于由用户选择是否对所述影像合成单元所生成的合成影像附加所述被摄体信息。
全文摘要
本发明提供一种摄像装置，其具备合成感度不同的多个摄像影像实现的宽动态范围功能，通过使用被摄体检测结果，实现动态范围的扩大和用户关注的被摄体的视认性提高。具备摄像单元；曝光控制单元，控制摄像单元的曝光而实现对于同一被摄体的感度不同的多个摄像；照相机信号处理单元，对摄像单元输出的信号进行照相机信号处理而生成影像信号；影像合成单元，对照相机信号处理单元生成的感度不同的多个影像信号进行合成并输出；和被摄体识别单元，对照相机信号处理单元生成的影像信号进行图像处理并检测被摄体信息，被摄体识别单元对照相机信号处理单元生成的感度不同的多个影像信号的各个检测被摄体信息，曝光控制单元将被摄体信息用于曝光控制。
文档编号H04N5/235GK101635797SQ200910159478
公开日2010年1月27日 申请日期2009年7月14日 优先权日2008年7月23日
发明者广冈慎一郎 申请人:株式会社日立制作所