专利名称：成像装置、成像方法和程序的制作方法
成像装置、成像方法和程序技术领域
本技术涉及能够优化拾取图像的色度的成像装置、成像方法和程序。
背景技术：
在过去的成像装置中，执行图像处理以对于拾取图像的图像信号具有预定颜色再现特性。在图像处理中，执行处理以使得能够对于在标准成像条件下拍摄的图像获得预定颜色再现特性的图像。因此，当拾取图像具有不同于标准成像条件的成像条件时，难以获得具有期望的颜色再现特性的图像。例如，在对通过在明亮阳光下拍摄高色度被摄体获得的拾取图像执行图像处理的情况下，存在难以适当地表现灰度的可能性，因为图像信号在高色度颜色的部分中变得饱和。因此，在日本未审专利申请公开No. 2004-23347中，在图像分析部分中分析成像后的图像信号，并且基于分析结果校正图像信号，从而允许稳定地获得在任何拍摄场景或拍摄条件下拍摄的良好图像。发明内容
当基于成像后的图像信号的分析结果执行图像信号的校正时，在饱和的成像后的图像信号的情况下，即使基于分析结果执行图像信号的校正时，也难以获得良好的拾取图像。例如，在当成像高色度被摄体时图像信号饱和的情况下，色度信息在执行分析或校正前丢失，使得即使基于分析结果执行图像信号的校正时，也难以获得适当色度的拾取图像。
此外，当在日本未审专利申请公开No. 2004-23347中使用色差信号执行分析时， 存在这样的可能性当图像信号在成像时饱和时，用于分析的色差信号没有正确地表现被摄体的色差。
期望提供一种成像装置、成像方法和程序，其能够优化拾取图像的色度。
根据本技术的实施例，一种成像装置包括图像分析单元，其从拾取图像的图像信号对各个色调区域获得亮度信息；以及曝光控制单元，其基于图像分析单元中获得的亮度信息执行曝光控制。
在本技术的实施例中，从拾取图像的图像信号(例如，主被摄体的图像信号)对于每个色调区域获得亮度信息。基于图像分析单元中获得的亮度信息，例如执行曝光控制以便增强主被摄体的色度。色调区域还可以基于用于最大色度的亮度分割，并且还可以根据主被摄体指定单元指定的主被摄体的颜色分割。图像分析单元还可以仅对于包括主被摄体指定单元指定的主被摄体的颜色的色调区域生成亮度信息。曝光控制单元基于每个色调区域的亮度信息计算校正量，以便对于每个色调区域具有用于最大色度的亮度，并且根据这样计算的校正量和每个色调区域中包含的图像的比率执行曝光控制。当获得颜色空间的配置信息时，执行根据配置信息中示出的颜色空间的曝光控制。
根据本技术的 另一实施例，一种成像方法包括从拾取图像的图像信号对于各个色调区域获得亮度信息；以及基于这样获得的亮度信息执行曝光控制。
根据本技术的另一实施例，一种使得计算机执行成像装置的曝光控制的程序，该程序使得计算机执行包括以下步骤的过程从拾取图像的图像信号对各个色调区域获得亮度信息；以及基于这样获得的亮度信息执行曝光控制。
根据本技术的实施例的程序时能够例如通过存储介质(如光盘、磁盘和半导体存储器)或通信介质(如网络)，以例如用于能够执行各种程序代码的通用计算机的计算机可读格式提供的程序。通过以计算机可读格式提供这样的程序，提供根据计算机上的程序的处理。
根据本技术的实施例，从拾取图像的图像信号对于各个色调区域获得亮度信息， 并且基于这样获得的该亮度信息执行曝光控制。因此，例如执行曝光控制以增强期望被摄体的色度，从而使得能够优化拾取图像的色度。
图1图示成像装置的示意性配置示例；图2A和2B图示将色调区域分割为多个区域；图3图示用于最大色度的亮度(在sRGB颜色空间的情况下)；图4图示用于最大色度的亮度(在ム如ね868颜色空间的情况下)；图5是示出成像装置中的曝光控制行为的流程图；图6图示拾取图像的示例；图7图示像素分类为色调空间的结果的示例；图8A、8B和8C图示在选择sRGB颜色空间的情况下的亮度目标的示例；以及图9A、9B和9C图示根据主被摄体执行色调区域的分割的情况的示例。
具体实施方式
下面给出本技术的实施例的描述。将按照以下顺序给出描述。
1.成像装置的配置
2.成像装置的行为
3.成像装置的另一行为
〈1.成像装置的配置〉
图1图示根据实施例的成像装置的示意性配置的示例。成像装置10提供有成像光学系统11、成像单元12、信号处理单元13、图像分析单元14、曝光控制单元15、图像处理单元16、输出单元17、显示单元18、操作单元19和控制单元20。
成像光学系统11提供有光学组件，如变焦镜头、聚焦镜头和执行光量调节的光圈机构。
成像单元12例如使用诸如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体) 的固态成像器件配置。成像器件将通过成像光学系统11在成像表面上形成的被摄体图像转换为电信号，以便将其输出到信号处理单元13。
信号处理单元13对从成像单元12提供的成像信号执行诸如噪声移除处理、增益调整和A/D转换处理的预处理。此外，信号处理单元13对通过执行预处理获得的图像信号执行相机信号处理，如伽马校正处理和白平衡调整。信号处理单元13将处理后的图像信号输出到图像分析单元14和图像处理单元16。
图像分析单元14使用从信号处理单元13输出的图像信号执行色调和亮度分析， 以对于每个色调区域获得亮度信息，并且将其输出到曝光控制单元15。图像分析单元14基于来自稍后描述的控制单元20的控制信号，对于主被摄体的图像区域执行色调和亮度的分析。例如，图像分析单元14具有主被摄体指定单元14a，并且主被摄体指定单元14a限定用于优化用户设置的色度的区域或通过脸部检测等检测的区域作为主被摄体的图像区域。 主被摄体指定单元14a还可以装配在稍后描述的控制单元20中，并且还可以独立于图像分析单元14和控制单元20的装配。
曝光控制单元15基于从图像分析单元14提供的分析结果确定曝光校正量，并且执行曝光控制以使得能够获得高色度图像，该高色度图像通过基于这样确定的曝光校正量控制成像光学系统11和成像单元12取得。
图像处理单元16执行拾取图像的编码-解码处理。图像处理单元16执行调整大小处理，以使得拾取图像成为与显示单元18的显示尺寸兼容的图像，并且将调整大小后的图像信号输出到显示单元18。
输出单元17执行处理以将从图像处理单元16输出的信号以预定格式输出到外部装置。输出单元17执行处理以将从图像处理单元16输出的信号以预定格式存储在存储介质中。
显示单元18基于从图像处理单元16输出的信号显示拾取图像。显示单元18执行显示以设置成像装置10等的行为和显示，以便示出成像装置10等的行为状态。
操作单元19配置有操作按钮、装配在显示单元18的屏幕上的触摸屏等。操作单元19根据用户操作生成操作信号，并且将其提供到控制单元20。
控制单元20配置有例如CPU (中央处理单元)、R0M (只读存储器)、RAM (随机存取存储器)、闪存等。在ROM和闪存中，存储CPU执行的程序和各种类型的数据。RAM用于工作存储器等。CPU执行存储器中存储的程序以控制每个单元，使得成像装置10的行为根据基于存储器中存储的各种类型的数据的用户操作或从操作单元19提供的操作信号运行。控制单元20中执行的程序可以存储在要提供给成像装置的可移除 存储介质中，如光盘和半导体存储卡，并且还可以经由网络(如LAN和因特网)下载到成像装置中。
<2.成像装置的行为>
认为拾取图像具有取决于色调的用于最大色度的不同亮度。因此，在成像装置中， 对于每个色调区域预设用于最大色度的亮度，作为用于控制成像时的亮度以增强期望被摄体的色度的曝光控制目标值。
对于每个色调区域的用于最大色度的亮度根据颜色空间不同。图2A和2B图示基于用于最大色度的亮度分割色调区域的情况。图2A和2B图示通过集中近似的用于最大色度的亮度的颜色、将图2A所示的色调区域分割为图2B所示的5个区域的情况。
这样分割的每个色调区域中的用于最大色度的亮度根据颜色空间不同，如图3和4所示。图3图示作为IEC (国际电工委员会)定义的颜色空间的sRGB中的每个色调区域的用于最大色度的亮度。例如，在色调区域I中，当亮度是LTls时，色调区域I中的色度变为最大值。在色调区域2中，当亮度是LT2s时，色调区域2中的色度变为最大值。类似地，在色调区域3、4和5中，当亮度是LT3s、LT4s和LT5s时，色度变为最大值。图4图示作为AdobeSystem公司定义的颜色空间的Adobe RGB中的每个色调区域的用于最大色度的亮度。例如，在色调区域I中，当亮度是LTla时，色调区域I中的色度变为最大值。在色调区域2中，当亮度是LT2a时，色调区域2中的色度变为最大值。类似地，在色调区域3、4和 5中，当亮度是LT3a、LT4a和LT5a时，色度变为最大值。此外，sRGB颜色空间中的LT2s比 Adobe RGB颜色空间中的LT2a更亮，类似地，LT3s和LT4s分别比LT3a和LT4a更亮。
以这样的方式，每个色调区域的用于最大色度的亮度根据颜色空间不同，使得成像装置10已经预设作为对于每个颜色空间的用于最大色度的亮度的目标。
图5是示出成像装置中的曝光控制行为的流程图。在步骤ST1，成像装置10获得配置信息。成像装置10的控制单元20接受基于来自操作单元19的操作信号的用户操作， 从而获得配置信息。例如，控制单元20获得诸如要使用的颜色空间的配置信息，并且前进到步骤ST2。
在步骤ST2，成像装置10执行成像。成像装置10的控制单元20控制每个单元以开始成像行为，并且前进到步骤ST3。
在步骤ST3，成像装置10指定主被摄体。成像装置10的主被摄体指定单元14a 指定要经历图像分析的主被摄体。主被摄体指定单元14a执行拾取图像中的主被摄体的检测，以便指定这样检测的主被摄体作为用于图像分析目标的被摄体，并且前进到步骤ST4。 例如，执行脸部检测以指定主被摄体，并且这样检测的脸部定义为用于图像分析目标的被摄体。此外，为了指定被摄体，用户指示的被摄体也可以是主被摄体。此外，用户指示的区域中的图像或用户指示的颜色的图像也可以是主被摄体的图像。
在步骤ST4，成像装置10生成色调信息和亮度信息。成像装置10的图像分析单元 14生成步骤ST3中指定的被摄体的区域的色调信息和亮度信息。图像分析单元14将指定的被摄体的区域中的像素分类为每个预设色调区域，并且计算每个色调区域的像素频率。 例如，图像分析单元14确定哪个色调区域包含用于具有不小于预定阈值THc的色度的像素的色调，并且基于确定结果执行像素的排序(sorting)，从而计算每个色调区域中包含的像素数量。设置阈值THc以允许消除具有低色度的像素和确定色调的困难。
图像分析单元14还对于每个色调区域计算区域中包含的像素的亮度的统计值， 以将其定义为亮度信息。例如，图像分析单元14计算区域中包含的像素的亮度的平均值以将其定义为亮度信息。该统计值还可以是要用作亮度信息的中间数、众数等。
以这样的方式，图像分析单元14生成指定的被摄体区域中的色调信息和亮度信息，并且前进到步骤ST5。
在步骤ST5，成像装置10设置亮度目标。成像装置10的曝光控制单元15对于每个色调区域设置用于最大色度的亮度作为用户选择的颜色空间中的目标，并且前进到步骤 ST6。在上面描述和图3和4图示的每个色调区域中预设亮度目标的情况下，曝光控制单元 15只需要选择对应于用户选择的颜色空间的亮度目标，使得处理方便。
在步骤ST6，成像装置10确定曝光控制值。成像装置10的曝光控制单元15从步骤ST4中生成的亮度信息和步骤ST5中确定的亮度目标对于每个色调区域确定校正量。此外，曝光控制单元15基于步骤ST4中生成的色调信息，对为每个色调区域确定的校正量执行加权，并且从加权后的校正量确定曝光控制值，并且前进到步骤ST7。
在步骤ST7，成像装置10执行曝光调整。成像装置10的曝光控制单元15基于步骤ST6确定的曝光控制值，例如调整成像光学系统11的光圈、成像单元12中的成像器件的读出电荷的存储时间等。还可以根据曝光控制值切换ISO速度。
下面举例说明成像装置的特定行为。图6图示拾取图像的示例。成像装置10的主被摄体指定单元14a从图6的拾取图像指定主被摄体。下面对于通过主被摄体指定单元 14a指定花的图像区域作为主被摄体区域的情况给出描述。
图像分析单元14对于花图像区域中的每个像素比较色度和阈值THc。图像分析单元14还确定哪个色调区域包含具有高于阈值THc的色度的像素，并且执行像素的排序。
图7图示像素分类为色调区域的结果的示例。如图7所示，包含花冠的颜色的色调区域I和包含叶子的颜色的色调区域3中的像素数量大，并且包含雄蕊和雌蕊的各部分的颜色的色调区域2中的像素数量变小。主被摄体中未包含的颜色的色调区域4和5具有像素数量“O”。这里，色调区域I中的像素数量定义为“W1”，色调区域2中的像素数量定义为“W2”，并且色调区域3中的像素数量定义为“W3”。
图像分析单元14对于每个色调区域计算区域中包含的像素的亮度的统计值，以便将其定义为亮度信息。例如，图像分析单元14将色调区域I中包含的像素的亮度的平均值“Y1”定义为统计值。图像分析单元14还使用色调区域2中包含的像素的亮度的平均值 “Y2”和色调区域3中包含的像素的亮度的平均值“Y3”作为各自的统计值。
曝光控制单元15对于亮度目标设置用户选择的颜色空间中的用于最大色度的亮度。图8A、8B和8C图示例如当选择sRGB颜色空间时的亮度目标。如上所述，主被摄体中包含的颜色是色调区域1、2和3的任何，并且色调区域4和5中的颜色不包含在主被摄体中，使得图8A、8B和8C图示色调区域1、2和3的目标。
曝光控制单元15计算色调区域I中的校正量Evl，使得亮度的平均值“Y1”变为图 8A中所示的色调区域I中的目标亮度“LTls”。例如，预先生成示出亮度与目标的差和校正量之间的关系的表，使得能够使用亮度的平均值“Y1”和目标“LTls”之间的差，从表中获得校正量Evl。
类似地，曝光控制单元15计算校正量Ev2，以便将亮度的平均值“Y2”定义为图8B 中所示的色调区域2中的目标亮度“LT2s”。曝光控制单元15还计算校正量Ev3，以便将亮度的平均值“Y3”定义为图SC中所示的色调区域3中的目标亮度“LT3s”。
此外，曝光控制单元15根据色调区域中包含的图像的比率(B卩，用于为色调区域I 计算的校正量Evl、为色调区域2计算的校正量Ev2和为色调区域3计算的校正量Ev3的像素数量的比率)执行加权，并且确定曝光控制值Evt。公式(I)表示用于计算曝光控制值的公式。
Evt= ((EvlXffl) + (Ev2XW2) + (Ev3XW3)) / (W1+W2+W3)…(I)
通过使用这样确定用于曝光调整的曝光控制值，变得可能防止图像信号在高色度颜色部分中饱和，并且使得能够优化拾取图像的色度。相应地，例如通过强调主被摄体的色度，可以容易地生成流行的和生动的拾取图像。
此外，因为通过集中用于最大色度的近似亮度的色调执行色调区域的划分，所以在作为目标的期望色调区域中使用用于最大色度的亮度执行曝光控制，从而使得期望色调区域中包含的颜色的色度近似于最大值。
此外，因为可以防止图像信号变饱和，所以色差信号变为正确地表达被摄体的色差的信号，使得当使用色差信号执行颜色处理等时，可以正确地执行期望的颜色处理等。
<3.成像装置的另一行为>
尽管上面实施例描述了根据用于最大色度的亮度执行色调区域的分割的情况的示例，但是色调区域的分割还可以根据主被摄体执行。例如，当执行脸部检测用于主被摄体的检测时，执行分割成为包括脸部颜色的色调区域和一个或多个不包括脸部颜色的色调区域。例如，当图9A所示的色调区域在上述行为中基于用于最大色度的亮度分割为如图9B 所示的5个区域时，包括脸部颜色的色调区域2定义为示出脸部颜色的范围的色调区域2a， 如图9C所示。与色调区域2的修改相关联地，色调区域3定义为色调区域3a。此外，当定义用户指示的被摄体作为用于图像分析目标的主被摄体时，或当定义用户指示的区域中的图像或用户指定的颜色的图像作为图像分析目标时，还可以使用被摄体的指示颜色、指示区域中的图像的颜色、指定颜色等作为标准执行色调区域的分割。例如，当用户指定的被摄体或区域是天空或大海时，蓝色或浅蓝色的范围可以设为一个色调区域的范围。当以此方式根据主被摄体分割色调区域时，基于对应于主被摄体的色调区域中的亮度信息执行曝光控制，从而允许主被摄体的色度的进一步优化。
当色调区域分割为多个区域时，与具有较窄色调区域的区域相比，具有较宽区域宽度的色调区域倾向于具有较大数量的像素。例如，当主被摄体是穿着基于黄色或绿色的衬衫的人时，存在根据色调区域3a中的亮度而不是色调区域2a中的亮度执行曝光控制的可能性，这是因为与对应于脸部颜色的色调区域2a中的像素数量相比，具有较宽区域宽度的色调区域3a中的像素数量更多。相应地，曝光控制单元15还可以不仅考虑色调区域中的像素数量，而且考虑区域宽度，执行为每个色调区域计算的校正量的加权。例如，当色调区域的区域宽度是作为标准的区域宽度的1/2倍时，像素数量定义为2倍，并且当色调区域的区域宽度是2倍时，像素数量定义为1/2倍，从而根据色调区域的区域宽度校正色调区域中的像素数量。通过以此方式执行，根据校正后的像素数量执行加权，从而允许根据色调区域2a中的亮度而不是色调区域3a中的亮度执行曝光控制。
曝光控制值的计算不限于使用为多个色调区域计算的校正量的情况，并且还可能使用对应于主被摄体的一个色调区域中的校正量作为曝光控制值。在该情况下，只关注对应于主被摄体的一个色调区域中的色度执行曝光控制。
本说明书中 描述的一系列处理可以由硬件或软件或者可替代地由二者的组合配置执行。当通过软件执行处理时，存储处理序列的程序安装到并入用于执行的专用硬件的计算机的存储器中。可替代地，可能通过将程序安装到能够执行各种类型的处理的通用计算机中执行。
例如，程序可以预先存储在作为存储介质的硬盘或ROM (只读存储器)中。可替代地，程序可以暂时或永久地存储(记录)在可移除存储介质中，如软盘、CD-ROM (致密盘只读存储器)、M0 (磁光)盘、DVD (数字多功能盘)、磁盘和半导体存储卡。这样的可移除存储介质可能作为所谓的封装软件提供。
此外，除了从可移除存储介质安装到计算机中以外，程序还可以经由网络(如LAN (局域网)和因特网)从下载站点无线地或有效地传送到计算机。计算机可以接收这样传送的程序，并且将其安装在存储介质(如内置硬盘)中。
不应当通过限制上述的本发明的实施例来理解本技术的实施例。本技术的实施例以举例说明的形式公开了本技术，并且对本领域技术人员明显的是，可以修改和置换该实施例而不偏离本技术的实施例的精神。也就是说，本技术的本质应当根据本技术的实施例判断。
本技术的实施例的成像装置还可以配置如下。
(I). 一种成像装置，包括
图像分析单元，其从拾取图像的图像信号对于各个色调区域获得亮度信息；以及
曝光控制单元，其基于图像分析单元中获得的亮度信息执行曝光控制。
(2).根据(I)的成像装置，其中，
曝光控制单元基于亮度信息执行增强色度的曝光控制。
(3).根据(I)或(2)的成像装置，还包括
主被摄体指定单元，其指定拾取图像中的主被摄体；其中
图像分析单元从主被摄体的图像信号获得亮度信息，以及
曝光控制单元基于亮度信息执行增强主被摄体的色度的曝光控制。
(4).根据(I)到(3)的任一的成像装置，其中
曝光控制单元基于每个色调区域的亮度信息计算校正量，以便对于每个色调区域具有用于最大色度的亮度，并且根据这样计算的校正量和每个色调区域中包含的图像的比率执彳了曝光控制。
(5).根据(I)到(4)的任一的成像装置，其中
图像分析单元基于用于最大色度的亮度执行色调区域的分割。
(6).根据(I)到(4)的任一的成像装置，其中
图像分析单元根据主被摄体指定单元指定的主被摄体的颜色，执行色调区域的分割。
(7).根据(I)到(3)的任一的成像装置，其中
图像分析单元仅对于包括主被摄体指定单元指定的主被摄体的颜色的色调区域生成亮度信息。
(8).根据(I)到(7)的任一 的成像装置，其中
曝光控制单元获得颜色空间的配置信息，并且执行根据配置信息中示出的颜色空间的曝光控制。
本公开包含与2011年9月29日在日本专利局提交的日本优先权专利申请JP 2011-215021中的公开有关的主题，其全部内容通过参考合并于此。
权利要求
1.一种成像装置，包括 图像分析单元，其从拾取图像的图像信号对于各个色调区域获得亮度信息；以及 曝光控制单元，其基于图像分析单元中获得的亮度信息执行曝光控制。
2.根据权利要求1的成像装置，其中， 曝光控制单元基于亮度信息执行增强色度的曝光控制。
3.根据权利要求2的成像装置，还包括 主被摄体指定单元，其指定拾取图像中的主被摄体；其中 图像分析单元从主被摄体的图像信号获得亮度信息，以及 曝光控制单元基于亮度信息执行增强主被摄体的色度的曝光控制。
4.根据权利要求3的成像装置，其中 曝光控制单元基于每个色调区域的亮度信息计算校正量，以便对于每个色调区域具有用于最大色度的亮度，并且根据这样计算的校正量和每个色调区域中包含的图像的比率执行曝光控制。
5.根据权利要求3的成像装置，其中 图像分析单元基于用于最大色度的亮度执行色调区域的分割。
6.根据权利要求3的成像装置，其中 图像分析单元根据主被摄体指定单元指定的主被摄体的颜色，执行色调区域的分割。
7.根据权利要求3的成像装置，其中 图像分析单元仅对于包括主被摄体指定单元指定的主被摄体的颜色的色调区域生成亮度信息。
8.根据权利要求1的成像装置，其中 曝光控制单元获得颜色空间的配置信息，并且执行根据配置信息中示出的颜色空间的曝光控制。
9.一种成像方法，包括 从拾取图像的图像信号对于各个色调区域获得亮度信息；以及 基于这样获得的亮度信息执行曝光控制。
10.一种使得计算机执行成像装置的曝光控制的程序，该程序使得计算机执行包括以下步骤的过程 从拾取图像的图像信号对各个色调区域获得亮度信息；以及 基于这样获得的亮度信息执行曝光控制。
全文摘要
一种成像装置，包括图像分析单元，其从拾取图像的图像信号对于各个色调区域获得亮度信息；以及曝光控制单元，其基于图像分析单元中获得的亮度信息执行曝光控制。
文档编号H04N5/235GK103037167SQ20121035518
公开日2013年4月10日 申请日期2012年9月21日 优先权日2011年9月29日
发明者佐藤大辅, 上田敬史, 水口淳 申请人:索尼公司