图像处理设备、图像处理方法以及程序的制作方法

专利名称：图像处理设备、图像处理方法以及程序的制作方法
技术领域：
本发明涉及图像处理设备，更特别地，涉及用于从被拍摄图像生成具有高颜色再 现性的图像的图像处理设备、使用其的处理方法以及使计算机执行这种方法的程序。
背景技术：
使用照明环境不同的多个图像的图像处理的典型示例是使用两个图像(S卩，闪光 发射图像和非闪光发射图像)的白平衡处理，用于通过发射闪光改善图像的颜色再现性的 目的。通常，由于闪光和周围环境光在色温方面不同，当采用使用闪光时，照明的色平衡在 发射闪光的地方和其他地方之间不同。为此原因，照射物体的光的色平衡对于每个区域改 变。如在相关领域中用于对屏幕执行均勻白平衡的增益处理中，存在发生崩溃的情况。关 于此，已经做出从两个图像(闪光发射图像和非闪光发射图像)分离照明的闪光分量和周 围环境光分量，并且为每个像素调节白平衡增益的尝试(例如，参见PTL1)。引文列表专利文献PTLl 日本未审查专利申请公开No. 2005-210485(图1)

发明内容
技术问题在使用多个图像的相关领域的技术中，通过计算两个图像之间的差异来分离照明 分量，通过处理基于在单一照明环境下拍摄的图像的白平衡来处理的每个分量，以及通过 结合多个分量，来解决白平衡问题。然而，在相关领域的技术中，存在以下两个主要问题。第一个问题在于，不可能处理周围环境光的改变。为了将基准图像和处理目标图 像之间的差异处理为单一照明的问题，除了闪光分量之外的照明分量在两个图像之间必须 是恒定的。为此原因，在图像拍摄时间发生改变(诸如，阳光减少)的情况下，不可能成功 地处理这种改变。第二个问题在于，很难处理移动主体。在属于在基准图像和处理目标图像之间移 动的物体的像素中，比较具有不同光谱反射率的像素，并且不能执行基于图像之间的差异 的照明分量的分离。为此原因，在相关领域的技术中，存在不可能处理相机的方位改变的图 像、包括移动主体的图像等的结合。关于用于多个图像的这些图像处理问题，提出了解决手 段，诸如，使用三脚架、或者使用全局运动向量和块匹配执行的定位。然而，在使用三脚架的 情况下，可以补偿由相机移动导致的偏移量，但是不可能处理移动主体。在全局运动向量和 块匹配中，通常，基于SAD(绝对差值的和)的两个图像之间的差异来估计运动。然而，在照 明环境不同的情况下，不可能确定差异是由照明分量的改变还是由移动主体导致，出现准 确度低的问题。考虑到这种情况做出本发明，并且目标在于从具有不同照明环境的多个图像去除 由于照明分量导致的影响并且生成具有高颜色再现性的图像。
问题的解决方案本发明已经解决了上述问题。本发明的第一方面提供了一种图像处理设备、图像 处理方法和程序。图像处理设备包括通道增益计算单元，基于在不同照明环境下拍摄的基 准图像和处理目标图像，计算用于转换在每个像素位置处的每个通道的照明分量的增益; 以及通道增益应用单元，将增益应用至处理目标图像。结果，产生通过使用在不同照明环境 下拍摄的基准图像，转换用于在处理目标图像的每个像素位置处的每个通道的照明分量的 效果。此外，在第一方面，通道增益计算单元可以以处理目标图像的特定通道的增益是 固定的并且使处理目标像素的色平衡与基准图像的色平衡匹配的这种方式计算增益。此 外，通道增益计算单元可以固定处理目标图像的亮度值并且可以计算增益，使得处理目标 像素的色平衡与基准图像的色平衡匹配。此外，在第一方面，通道增益计算单元可以在超过预定上限值的值被计算为增益 的情况下将上限值设置为增益，或者在低于预定下限值的值被计算为增益的情况下将下限 值设置为增益。结果，产生去除从上限值和下限值的范围偏离的增益的效果。此外，在第一方面，通道增益计算单元可以包括饱和程度计算单元，基于基准图 像计算像素值的像素的饱和程度，以及饱和补偿单元，根据饱和程度执行用于补偿增益的 处理。结果，产生根据饱和程度补偿增益的效果。此外，在第一方面，通道增益计算单元可以包括黑障状况程度计算单元，基于基 准图像的像素值计算像素的黑障状况程度；以及黑障状况补偿单元，根据黑障状况程度执 行用于补偿增益的处理。通道增益计算单元可以包括黑障状况程度计算单元，基于基准图 像的像素值和基准图像与处理目标图像的通道间比率，计算像素的黑障状况程度，以及黑 障状况补偿单元，根据黑障状况程度执行用于补偿增益的处理。结果，产生根据黑障状况程 度补偿增益的效果。此外，在第一方面，图像处理设备还可以包括曝光补偿单元，调节强度，使得曝光 强度变为相等，以补偿基准图像和处理目标图像的图像拍摄状况之间的差异。结果，产生补 偿图像拍摄状况的差值的效果。此外，在第一方面，通道增益应用单元可以包括饱和可靠性计算单元，基于基准 图像的像素值计算像素的饱和可靠性，以及平滑处理单元，基于饱和可靠性对增益执行空 间平滑，然后将增益应用至处理目标像素。结果，产生通过基于饱和可靠性执行空间平滑的 增益来转换照明分量的效果。此外，在第一方面，通道增益应用单元可以包括黑障状况可靠性计算单元，基于 基准图像的像素值计算像素的黑障状况可靠性，以及平滑处理单元，基于黑障状况可靠性 对增益执行空间平滑，然后将增益应用至处理目标像素。通道增益应用单元可以包括黑障 状况可靠性计算单元，基于基准图像的像素值和基准图像与处理目标图像的通道间比率， 计算像素的黑障状况可靠性，以及平滑处理单元，基于黑障状况可靠性对增益执行空间平 滑，并将增益应用至处理目标像素。结果，产生通过基于黑障状况可靠性执行空间平滑的增 益来转换照明分量的效果。此外，在第一方面，通道增益应用单元可以包括移动主体可靠性计算单元，基于 基准图像和处理目标图像的相应像素中的特性值的改变，确定像素是否为在空间中移动的主体，并且计算移动主体可靠性；以及平滑处理单元，基于移动主体可靠性对增益执行空间 平滑，然后将增益应用至处理目标像素。在第一方面，移动主体可靠性计算单元可以包括 比率反转程度计算单元，根据处理目标图像的像素的信号强度的改变是否与整体基准图像 和处理目标图像的照明分量的改变的方向相反，来计算移动主体可靠性。结果，产生通过基 于移动主体可靠性执行空间平滑的增益来转换照明分量的效果。此外，在第一方面，图像处理设备可以进一步包括分辨率转换单元，转换基准图 像或处理目标图像的分辨率，然后将图像提供给通道增益计算单元。此时，在第一方面，分 辨率转换单元可以通过基于像素的疏化的压缩来执行分辨率转换，或者可以通过基于块中 的像素的平均值的压缩来执行分辨率转换。分辨率转换单元可以通过基于块中的像素的中 心值的压缩来执行分辨率转换。此外，分辨率转换单元可以通过边缘保留型平滑滤波处理 执行分辨率转换。结果，产生使基准图像的尺寸与处理目标图像的尺寸匹配的效果。此外，在第一方面，图像处理设备可以进一步包括帧存储器，用于存储被连续拍 摄的图像；加法单元，在对被连续拍摄的图像执行加权的同时添加被连续拍摄的图像，并且 生成输入图像；以及控制参数确定单元，确定用于连续图像拍摄的控制参数，以执行图像拍 摄循环控制。结果，产生使用由连续拍摄的多个图像结合的图像作为输入图像的效果。此外，在第一方面，可以使用其中基准图像是在没有闪光发射的情况下拍摄的图 像而处理目标图像是在有闪光发射的情况下拍摄的图像的结合。此外，在第一方面，通道增益应用单元可以包括亮度计算单元，基于处理目标图 像的像素值来计算亮度，以及平滑处理单元，基于像素之间的亮度的差异对增益执行空间 平滑，然后将增益应用至处理目标像素。在该情况下，亮度计算单元使用预先对处理目标图 像的像素值设置的权重，将亮度计算为线性和，并且可以基于多重回归分析来计算亮度，在 多重回归分析中，基准图像与处理目标图像的相应像素的强度比率为对象变数并且处理目 标图像的像素值为解释变数。此外，本发明的第二方面提供了一种图像处理设备，包括块直方图计算单元，关 于区域在空间轴方向和亮度轴方向上被分为多个部分的块，将处理目标图像的像素的频率 值计算为块直方图；块积分值计算单元，计算属于每个块的特性值的积分值；加权乘积和 单元，基于块直方图、块积分值以及目标像素位置处的亮度值计算目标像素位置处的全局 增益值；以及增益应用单元，将全局增益值应用至处理目标图像。结果，产生获得全局增益 值，并且通过使用在不同照明环境下拍摄的基准图像并且使用全局增益值，转换用于在处 理目标图像的每个像素位置处的每个通道的照明分量的效果。此外，在第二方面，用于每个块的特性值的积分值对于每个通道可以是用于转换 用于属于每个块的像素的每个通道的照明分量的增益的总计数，或者对于每个通道可以是 用于转换属于每个块的像素的照明分量的增益的中心值乘以块中的处理目标图像的像素 的频率值。此外，在第二方面，加权乘积和单元可以包括第一内插单元，通过使用预先限定 的在空间轴方向上的权重函数执行块直方图到目标像素位置的内插；第二内插单元，通过 使用预先限定的在空间轴方向上的权重函数执行用于每个块的特性值到目标像素位置的 内插；第一乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算内插块直方 图的负载和；第二乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算内插特性值的负载和；以及除法单元，将第二乘积和单元的输出除以第一乘积和单元的输出。此 外，可以通过互换顺序，按照亮度方向上的内插和空间方向上内插的顺序，执行加权乘积和 单元中的存储和管理处理。此外，在第二方面，加权乘积和单元可以包括第一除法单元，将用于每个块的特 性值除以块直方图的值，以计算每个块位置处的平均特性值；比较单元，将平均特性值与关 于目标像素位置的特性值进行比较以计算权重；第一乘法单元，将比较单元中计算的权重 乘以在相应块位置处用于每个块的特性值；第二乘法单元，将比较单元中计算的权重乘以 在相应块位置处块直方图的值；第一内插单元，根据预先限定的在空间轴方向上的权重函 数，执行作为第一乘法单元的输出的加权块直方图到目标像素位置的内插；第二内插单元， 通过使用预先限定的空间轴方向上的权重函数，执行作为第二乘法单元的输出的用于每个 块的加权特性值到目标像素位置的内插；第一乘积和单元，通过使用预先限定的在亮度轴 方向上的权重函数，计算内插块直方图的负载和；第二乘积和单元，通过使用预先限定的在 亮度轴方向上的权重函数，计算内插特性值的负载和；以及第二除法单元，将第二乘积和单 元的输出除以第一乘积和单元的输出。根据本发明，可以获得较好的优点，使得可以从照明环境不同的多个图像去除由 于照明分量导致的影响，并且可以生成具有高颜色再现性的图像。


图1示出本发明的实施例中的图像拍摄装置的示例。图2示出本发明的第一实施例的图像处理电路23的处理功能的示例。图3示出作为本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔布置。图4示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔 布置中的拜尔集合。图5示出在本发明的第一实施例中的照明分量转换处理单元120的配置的示例。图6示出在本发明的第一实施例中的通道增益计算单元250的配置的示例。图7示出在本发明的第一实施例中的黑障状况程度的示例。图8示出在本发明的第一实施例中的黑障状况程度的另一示例。图9示出在本发明的第一实施例中的饱和程度的示例。图10示出在本发明的实施例中的通道增益应用单元沈0的配置的示例。图11示出在本发明的实施例中的图像拍摄装置的操作的示例。图12示出在本发明的第一实施例中的照明分量转换处理过程的操作的示例。图13示出在本发明的第一实施例中的通道增益计算处理过程的操作的示例。图14示出在本发明的第一实施例中的通道增益应用处理过程的操作的示例。图15示出在本发明的第二实施例中的照明分量转换处理单元120的配置的示例。图16示出在本发明的第二实施例中的通道增益应用单元沈0的配置的示例。图17示出在本发明的第二实施例中的饱和可靠性的示例。图18示出在本发明的第二实施例中的黑障状况可靠性的示例。图19示出在本发明的第二实施例中的黑障状况可靠性的另一示例。
图20示出在本发明的第二实施例中的移动主体可靠性计算单元460的配置的示 例。图21示出在本发明的第二实施例中的比率反转程度的示例。图22示出在本发明的第二实施例中的预测比率的示例。图23示出在本发明的第二实施例中的光谱反射率改变量的示例。图M示出在本发明的第二实施例中的通道增益应用单元沈0的操作的示例。图25示出在本发明的实施例中的移动主体可靠性计算单元460的操作的示例。图沈示出在本发明的第三实施例中的平滑处理单元480的处理功能的示例。图27示出在本发明的第三实施例中的块积分值计算单元531和532以及块直方 图计算单元533的配置的示例。图28示出在本发明的第三实施例中的加权乘积和单元561和562的配置的示例。图四示出在本发明的第三实施例中的亮度权重函数的形状的示例。图30示出在本发明的第三实施例中的平滑处理单元480的前半部分。图31示出在本发明的第三实施例中的平滑处理单元480的操作的示例的后半部 分。图32示出在本发明的第三实施例中的块积分值计算单元531和532以及块直方 图计算单元533的操作的示例。图33示出在本发明的第三实施例中的加权乘积和单元561和562的操作的示例。图34示出在本发明的第四实施例中的照明分量转换处理单元120的配置的示例。图35示出在本发明的第四实施例中的通道增益应用单元沈0的配置的示例。图36示出在本发明的第四实施例中的平滑处理单元480的配置的示例。图37示出在本发明的第四实施例中的照明分量转换处理单元120的操作的示例。图38示出在本发明的第四实施例中的通道增益应用单元沈0的操作的示例。图39示出在本发明的第四实施例中的平滑处理单元480的操作的示例的前半部 分。图40示出在本发明的第四实施例中的平滑处理单元480的操作的示例的后半部 分。图41示出在本发明的第五实施例中的照明分量转换处理单元120的配置的示例。图42示出在本发明的第五实施例中的帧加法单元观0的配置的示例。图43示出在本发明的第五实施例中的照明分量转换处理单元120的操作的示例 的前半部分。图44示出在本发明的第五实施例中的照明分量转换处理单元120的操作的示例 的后半部分。图45示出在本发明的第六实施例中的图像处理电路23的处理功能的示例。图46示出在本发明的第七实施例中的图像处理电路23的处理功能的示例。图47示出在本发明的第八实施例中的图像处理电路23的处理功能的示例。图48示出在本发明的实施例中的平滑处理单元480的处理功能的示例。图49示出在本发明的实施例中的平滑处理单元480的处理功能的另一示例。图50示出在本发明的第九实施例中的平滑处理单元480的操作的示例的前半部
10分，其对应于图48的处理功能的示例。图51示出在本发明的第九实施例中的平滑处理单元480的操作的示例的后半部 分，其对应于图48的处理功能的示例。图52示出在本发明的第九实施例中的平滑处理单元480的操作的第一示例，其对 应于图49的处理功能的示例。图53示出在本发明的第九实施例中的平滑处理单元480的操作的第二示例，其对 应于图49的处理功能的示例。图M示出在本发明的第九实施例中的平滑处理单元480的操作的第三示例，其对 应于图49的处理功能的示例。图55示出在本发明的第十实施例中的平滑处理单元480的处理功能的示例。图56示出在本发明的第十实施例中的加权乘积和单元561和562的配置的示例。图57示出在本发明的第十实施例中的加权乘积和的权重θ的计算的示例。图58示出在本发明的第十实施例中的平滑处理单元480的处理功能的另一示例。图59示出在本发明的第十实施例中的与平滑处理单元480的图58的处理功能对 应的加权乘积和单元561和562的配置的示例。图60示出在本发明的第十实施例中的与平滑处理单元480的图55的处理功能的 示例对应的操作的示例。图61示出在本发明的第十实施例中的加权乘积和单元561和562的操作的示例 的前半部分。图62示出在本发明的第十实施例中的加权乘积和单元561和562的操作的示例 的后半部分。图63示出在本发明的第十实施例中的平滑处理单元480的操作的示例。
具体实施例方式此后，将描述用于执行本发明(以下称为实施例)的模式。按照以下顺序给出说明。1.第一实施例(通过乘法执行增益应用的示例)2.第二实施例(通过权重平滑执行增益应用的示例)3.第三实施例(通过使用块直方图的边缘保留型平滑执行增益应用的示例)4.第四实施例(对输入图像执行分辨率转换的示例)5.第五实施例(通过使用帧存储器结合输入图像的示例)6.第六实施例(在进行照明分量转换处理的阶段执行白平衡处理的示例)7.第七实施例(使用已经执行了平衡处理的输入图像的示例)8.第八实施例(使用已经执行了伽马校正处理的输入图像的示例)9.第九实施例(使用多重回归分析计算亮度的示例)10.第十实施例(使用增益执行平滑的示例)<1.第一实施例>[图像拍摄装置的配置的示例]图1示出本发明的实施例中的图像拍摄装置的示例。当被广泛分类时，该图像拍摄装置包括光学系统、信号处理系统、记录系统、显示系统以及控制系统。光学系统包括透镜11，用于从主体的光学图像收集光；孔径12，用于调节光学图 像的光量；以及图像拍摄元件13，用于对所收集的光学图像执行光电转换，以将其转换为 电信号。图像拍摄元件13通过例如CXD图像传感器或者CMOS图像传感器实现。信号处理系统包括采样电路21、A/D转换电路22以及图像处理电路23。采样电 路21对来自图像拍摄元件13的电信号进行采样。该采样电路21通过例如双相关采样电 路(CDS)实现。结果，减少在图像拍摄元件13中产生的噪声。A/D转换电路22将从采样 电路21提供的模拟信号转换为数字信号。图像处理电路23对从A/D转换电路22输入的 数字信号执行预定图像处理。图像处理电路23通过例如DSP (数字信号处理器)实现。同 时，随后将描述由图像处理电路23执行的处理的详情。记录系统包括存储器32，用于存储图像信号；以及编码器/解码器31，用于对由 图像处理电路23处理的图像信号进行编码，将其记录在存储器32中，进一步从存储器32 读取图像信号，并且对其进行解码，并且将图像信号提供给图像处理电路23。同时，存储器 32可以是磁盘、光盘、磁光盘、半导体存储器等。显示系统包括显示驱动器41，用于将由图像处理电路23处理的图像信号输出至 显示单元42 ；以及显示单元42，用于显示与输入图像信号对应的图像。显示单元42通过例 如IXD (液晶显示器)等实现，并且具有探测器(finder)的功能。控制系统包括定时发生器51、操作输入接受单元52、驱动器53、控制单元54、闪 光发射单元61以及闪光控制单元62。定时发生器51控制图像拍摄元件13、采样电路21、 A/D转换电路22和图像处理电路23的操作定时。操作输入接受单元52接受快门操作和由 用户输入的其他命令。驱动器53是用于连接外围设备的驱动器。磁盘、光盘、磁光盘、半导 体存储器等连接至驱动器53。控制单元M控制整个图像拍摄装置。该控制单元M通过驱 动器53读取存储在它们中的控制程序，并且根据读取的控制程序、来自用户的命令(其从 操作输入接受单元52输入)等执行控制。闪光发射单元61用光在图像拍摄时照射主体， 并且有时被称为闪光。闪光控制单元62控制闪光发射单元61，并且使闪光发射单元61根 据来自用户的指示、邻近亮度等发光。图像处理电路23、编码器/解码器31、存储器32、显示驱动器41、定时发生器51、 操作输入接受单元52、控制单元M以及闪光控制单元62通过总线59相互连接。在图像拍摄装置中，主体的光学图像(入射光)通过透镜11和孔径12进入图像 拍摄元件13，通过图像拍摄元件13被光电转换，以变为电信号。通过采样电路21去除所获 得的电信号的噪声分量。在电信号通过A/D转换电路22被数字化之后，其被暂时存储在结 合在图像处理电路23中的图像存储器(未示出)中。同时，在通常状态下，在信号处理系统上的定时发生器51的控制下，图像信号在 结合在图像处理电路23中的图像存储器中以固定帧速率不断地被盖写。结合在图像处理 电路23中的图像存储器的图像信号通过显示驱动器41输出至显示单元42，并且相应图像 被显示在显示单元42上。显示单元42还用作用于图像拍摄装置的探测器。在用户按下包括在操作输入接 受单元52中的快门按钮的情况下，控制单元M控制信号处理系统，使得定时发生器51保 存紧接在按下快门按钮之后的图像信号，即，在图像处理电路23的图像存储器中图像信号不被盖写。在图像处理电路23的图像存储器中保存的图像数据由编码器/解码器31编码 并且记录在存储器32中。利用诸如以上描述的那些的图像拍摄装置的操作，一个图像数据 的获取完成。[图像处理电路23的处理功能的示例]图2示出在本发明的第一实施例中的图像处理电路23的处理功能的示例。图像处 理电路23包括照明分量转换处理单元120、白平衡处理单元130、去马赛克处理单元140、 灰度校正处理单元150、伽马校正处理单元160以及YC转换处理单元170。图像处理电路 23通过使用由A/D转换电路22数字化的马赛克图像作为输入图像执行图像处理。马赛克 图像使得与R、G和B的颜色中之一对应的强度信号存储在每个像素中，并且对于其颜色布 置，假设图3中所示的拜尔布置。同时，马赛克图像有时被称为RAW(原始)数据。此外，存 储在每个像素中的强度信号不限于R、G和B，并且可以是C、M和Y，或者除此之外的颜色信 肩、ο图像处理电路23包括作为输入单元的基准马赛克图像保持单元111和处理目标 马赛克图像保持单元112。基准马赛克图像保持单元111是用于保存用作基准(标准)的 马赛克图像(基准图像M。)的存储器。处理目标马赛克图像保持单元112是用于保存用作 处理目标(主体)的马赛克图像(处理目标图像仏)的存储器。在本发明的实施例中，假 设通过使用基准图像中的色平衡(颜色的比率)调节处理目标图像的色平衡。照明分量转换处理单元120通过使用基准图像中的颜色的比率转换处理目标图 像的照明分量，并且生成马赛克图像轧。即，处理目标图像乘以用于每个通道的合适系数， 以变为等于基准图像的色平衡，以被转换为单光源的色平衡。同时，随后将描述照明分量转 换处理单元120的配置。白平衡处理单元130对马赛克图像M1执行白平衡处理。白平衡处理单元130根据 每个像素强度拥有的颜色，将合适系数乘以马赛克图像M1，使得无彩色的主体区域的色平 衡变为无彩色。已经执行了白平衡处理的马赛克图像Mw被提供给去马赛克处理单元140。去马赛克处理单元140执行内插处理(去马赛克处理)，使得在马赛克图像Mw的 像素位置处充分准备R、G和B的所有通道的强度。已经执行了该内插处理的去马赛克图像 [Rg, Gg, Bg]τ是与R(红)、G(绿)、和B(蓝)三色对应的三个图像(RGB图像)，并且被提供 给灰度校正处理单元150。同时，矩阵At表示矩阵A的转置矩阵。灰度校正处理单元150对去马赛克处理单元140的输出的图像[艮，Gg, Bg]τ中的 每个像素执行灰度校正处理。已经执行了灰度校正处理的图像[&，Gu, BJt被提供给伽马 校正处理单元160。伽马校正处理单元160对图像[RU，GU，BU]T执行伽马校正处理。伽马校正处理是用 于在显示单元42上再现接近输入图像的显示的校正。伽马校正处理单元160的输出[I /， GuY ,BUY]T被提供给YC转换处理单元170。YC转换处理单元170对伽马校正后的3-通道图像[R/，G/，Β/]τ执行YC矩阵 处理和用于色度分量的频带限制，从而输出亮度信号Y和色差信号C(Cr、Cb)。亮度信号和 色差信号分别保存在Y图像保持单元191和C图像保持单元192中，并且在图像处理电路 23的随后阶段提供给编码器/解码器31。同时，在通常情况下，RGB信号被提供给显示驱动器41。该RGB信号使得作为YC转换处理单元170的输出的亮度信号和色差信号被转换为RGB信号。[拜尔布置和拜尔集合]图3示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔 布置。在该拜尔布置中，颜色G的像素被布置成棋盘形图案，颜色R的像素被布置成在除了 那些像素之外的位置处在水平方向和垂直方向上每隔一个像素的规则格子的形式，以及颜 色B的像素被布置成在其余像素的位置处在水平方向和垂直方向上每隔一个像素的规则 格子的形式。图4示出作为在本发明的实施例中假设的马赛克图像的颜色布置的示例的拜尔 布置中的拜尔集合。在本发明的实施例中，在用于照明分量转换处理单元120中的照明分 量的转换处理期间，马赛克图像的水平两个像素X垂直两个像素的四个像素可以被看作 一个单位。四个像素的集合将被称为拜尔集合。特别地，将接近四个像素G、B、R和G的位 置601用作中心的那四个像素的集合是拜尔集合602。[照明分量转换处理单元120的配置的示例]图5示出在本发明的第一实施例中的照明分量转换处理单元120的配置的示例。 照明分量转换处理单元120包括去马赛克处理单元221和222、白平衡计算单元230、基准 图像白平衡保持单元M0、通道增益计算单元250以及通道增益应用单元沈0。去马赛克处理单元221对保存在基准马赛克图像保持单元111中的基准图像执行 去马赛克处理，并且生成基准图像的去马赛克图像Ic(p)，其中，为每个像素充分准备获得 强度和可靠性必须的通道。同时，P表示每个像素位置。去马赛克处理单元222对在处理目 标马赛克图像保持单元112中保存的处理目标图像执行去马赛克处理，并且生成处理目标 图像的去马赛克图像Is(P),其中，为每个像素充分准备获得强度和可靠性必须的通道。同 时，在本发明的第一实施例中，足以为每个像素获得用于获得强度的G通道。当将执行去马赛克处理时，去马赛克处理单元221和222可以通过将图4的拜尔 集合602作为处理单位，在位置601处执行用于执行去马赛克的简化处理。此时的去马赛 克方法可以是对于R和B通道的像素，像素被用作“原样”，并且对于G通道的像素，计算两 个像素的平均值的处理。在这种情况下，生成其高度和宽度减少1/2并且充分准备三个通 道的图像。此外，可以通过参考较宽区域，为每个像素执行去马赛克处理单元221和222中 的去马赛克处理，就像图2的去马赛克处理单元140中的去马赛克处理。在这种情况下，不 执行缩减，并且仅执行去马赛克。此外，当为每个像素执行去马赛克处理时，去马赛克之前 的像素Pm变为与去马赛克之后的像素P相同，并且从马赛克图像Ms到增益应用单元的线 变得不必须。白平衡计算单元230为每个通道计算保存在基准马赛克图像保持单元111中的基 准图像的白平衡增益。作为此时计算白平衡的方法，可以获得使得基于灰色世界假设，整个 屏幕的RGB像素的平均值的比率是1 1 1的增益。此外，作为另一种计算方法，与保存 在处理目标马赛克图像保持单元112中的处理目标图像一起，白平衡可以被获得作为在日 本未审查专利申请公开No. 2006-67561的0071至0081段中描述的最优化问题。另外，可 以通过类似于图2中的白平衡处理单元130的技术设置白平衡。此外，白平衡可以采用在 图像拍摄之前预先设置白平衡的形式。设置方法假设在图像拍摄时间由图像拍摄人基于由 另一设备(诸如，色温计)测量的色温来执行设置的方法。通过设置荧光灯或者场景(诸如，多云天空)，可以通过使用预设白平衡进行设置。可替换地，还可以通过使用常规白平衡 (白设置)功能拍摄白色体的图像执行设置。所计算的白平衡被存储在基准图像白平衡保 持单元240中。通道增益计算单元250基于基准图像和处理目标图像的R、G和B值以及基准图像 的白平衡，为每个通道计算增益FS (ρ)用于色平衡调节。增益FS(p)是用于转换处理目标 图像的照明分量的用于每个通道的增益值。如随后描述的，该增益可以通过使用通道中的 任一个作为基准，获得基准图像与处理目标图像的比率来获得。例如，在G通道被用作基准 的情况下，G通道的增Sree(P)是“1”。由通道增益计算单元250计算的增益被提供给通 道增益应用单元沈0。通道增益应用单元260将由通道增益计算单元250计算的增益提供给处理目标图 像的每个通道。虽然随后将描述增益应用的详情，但是考虑使处理目标图像乘以增益的最 简单的应用形式。已经由通道增益应用单元260执行了增益应用的马赛克图像Ml被保存在 照明分量转换马赛克图像保持单元四0中，并且在随后阶段被提供给白平衡处理单元130。[通道增益计算单元250的配置的示例]图6示出在本发明的第一实施例中的通道增益计算单元250的配置的示例。通道 增益计算单元250包括颜色转换增益计算单元311和312，并且计算增益S (ρ)。在本发明的实施例中，通过使用关于相同主体在不同照明环境下拍摄的两个图像 (基准图像和处理目标图像)，为每个像素的每个通道获得增益，并且应用该增益，从而生 成具有高颜色再现性的图像。基准图像是其用于每个像素的白平衡已经被获得或者其白平 衡可以通过相关领域的技术等容易地获得的图像。另一方面，假设处理目标图像为用于每 个像素的白平衡增益的估计不同于图像本身(诸如，在具有不同于基准图像的色温的多个 光源下拍摄的图像)的图像。结果，通过获取基准图像的白平衡，变得可以间接地计算处理 目标图像的白平衡，使得可以解决关于在多个光源下拍摄的图像的白平衡的问题。作为特 定结合，假设在不使闪光发光的情况下拍摄的图像和在使闪光发光的图像的结合。此外，作 为另一示例，假设具有由于荧光灯的影响导致的带形噪声(闪烁)的图像和不具有带形噪 声的图像的结合、存在多个光源的环境等中改变光源的图像的结合。当在每个像素中由传感器测量的强度被表示I时，照明强度为Ε，并且光谱反射率 为P，可以根据以下等式的关系做出近似。Ι(ρ) = Ε(ρ) · P (ρ)其中，[数学式1]
权利要求
1.一种图像处理设备，包括通道增益计算单元，基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用 于转换在每个像素位置处的每个通道的照明分量的增益；以及 通道增益应用单元，将所述增益应用至所述处理目标图像。
2.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元以固定所述处 理目标图像的特定通道的增益并且使处理目标像素的色平衡与所述基准图像的色平衡匹 配的方式计算增益。
3.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元固定所述处理 目标图像的亮度值并且计算所述增益，使得所述处理目标像素的色平衡与所述基准图像的 色平衡匹配。
4.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元在超过预定上 限值的值被计算为所述增益的情况下将所述上限值设置为所述增益，或者在低于预定下限 值的值被计算为所述增益的情况下将所述下限值设置为所述增益。
5.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括 饱和程度计算单元，基于所述基准图像的像素值计算像素的饱和程度，以及 饱和补偿单元，根据所述饱和程度执行用于补偿所述增益的处理。
6.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括黑障状况程度计算单元，基于所述基准图像的像素值计算像素的黑障状况程度；以及 黑障状况补偿单元，根据所述黑障状况程度执行用于补偿所述增益的所述处理。
7.根据权利要求1所述的图像处理设备，其中，所述通道增益计算单元包括黑障状况程度计算单元，基于所述基准图像的像素值和所述基准图像与所述处理目标 图像的通道间比率，计算像素的黑障状况程度，以及黑障状况补偿单元，根据所述黑障状况程度执行用于补偿所述增益的所述处理。
8.根据权利要求1所述的图像处理设备，进一步包括曝光补偿单元，调节强度，使得 曝光强度变为相等，以补偿所述基准图像和所述处理目标图像的图像拍摄状况之间的差异。
9.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括 饱和可靠性计算单元，基于所述基准图像的像素值计算像素的饱和可靠性，以及平滑处理单元，基于所述饱和可靠性对所述增益执行空间平滑，然后将所述增益应用 至所述处理目标像素。
10.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括黑障状况可靠性计算单元，基于所述基准图像的像素值计算像素的黑障状况可靠性，以及平滑处理单元，基于所述黑障状况可靠性对所述增益执行空间平滑，然后将所述增益 应用至所述处理目标像素。
11.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括黑障状况可靠性计算单元，基于所述基准图像的像素值和所述基准图像与所述处理目 标图像的通道间比率，计算像素的黑障状况可靠性，以及平滑处理单元，基于所述黑障状况可靠性对所述增益执行空间平滑，并将所述增益应用至所述处理目标像素。
12.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括移动主体可靠性计算单元，基于所述基准图像和所述处理目标图像的相应像素中的特 性值的改变，确定所述像素是否为在空间中移动的主体，并且计算移动主体可靠性；以及平滑处理单元，基于所述移动主体可靠性对所述增益执行空间平滑，然后将所述增益 应用至所述处理目标像素。
13.根据权利要求12所述的图像处理设备，其中，所述移动主体可靠性计算单元包括 比率反转程度计算单元，根据所述处理目标图像的像素的信号强度的改变是否与整体所述基准图像和处理目标图像的照明分量的改变的方向相反，来计算所述移动主体可靠 性。
14.根据权利要求12所述的图像处理设备，其中，所述移动主体可靠性计算单元包括 光谱反射率改变量预测单元，根据所述基准图像和所述处理目标图像的相应像素的光谱反射率的改变来计算所述移动主体可靠性。
15.根据权利要求1所述的图像处理设备，进一步包括分辨率转换单元，转换所述基 准图像或所述处理目标图像的分辨率，然后将所述图像提供给所述通道增益计算单元。
16.根据权利要求15所述的图像处理设备，其中，所述分辨率转换单元通过基于像素 的疏化的缩小来执行所述分辨率转换。
17.根据权利要求15所述的图像处理设备，其中，所述分辨率转换单元通过基于块中 的像素的平均值的缩小来执行所述分辨率转换。
18.根据权利要求15所述的图像处理设备，其中，所述分辨率转换单元通过基于块中 的像素的中心值的缩小来执行所述分辨率转换。
19.根据权利要求15所述的图像处理设备，其中，所述分辨率转换单元通过边缘保留 型平滑滤波处理来执行所述分辨率转换。
20.根据权利要求15所述的图像处理设备，其中，所述分辨率转换单元执行所述分辨 率转换，使得所述基准图像和所述处理目标图像的尺寸相互匹配。
21.根据权利要求1所述的图像处理设备，进一步包括 帧存储器，用于存储连续拍摄的图像；加法单元，在对所述连续拍摄的图像加权的同时相加所述连续拍摄的图像，并且生成 输入图像；以及控制参数确定单元，确定用于所述连续图像拍摄的控制参数，以执行图像拍摄重复控制。
22.根据权利要求1所述的图像处理设备，其中，所述基准图像是在没有闪光发射的情 况下拍摄的图像，并且所述处理目标图像是在有闪光发射的情况下拍摄的图像。
23.根据权利要求1所述的图像处理设备，其中，所述通道增益应用单元包括 亮度计算单元，基于所述处理目标图像的像素值来计算亮度，以及平滑处理单元，基于像素之间的所述亮度的差异对所述增益执行空间平滑，然后将所 述增益应用至所述处理目标像素。
24.根据权利要求23所述的图像处理设备，其中，所述亮度计算单元使用预先对所述 处理目标图像的所述像素值设置的权重，将所述亮度计算为线性和。
25.根据权利要求23所述的图像处理设备，其中，所述亮度计算单元基于多重回归分 析来计算所述亮度，在所述多重回归分析中，所述基准图像与所述处理目标图像的相应像 素的强度比率为对象变数并且所述处理目标图像的所述像素值为解释变数。
26.一种图像处理设备，包括块直方图计算单元，关于区域在空间轴方向和亮度轴方向上被分为多个部分的块，将 处理目标图像的像素的频率值计算为块直方图；块积分值计算单元，计算属于每个所述块的特性值的积分值；加权乘积和单元，基于所述块直方图、所述块积分值以及所述目标像素位置处的所述 亮度值计算所述目标像素位置处的全局增益值；以及增益应用单元，将所述全局增益值应用至所述处理目标图像。
27.根据权利要求沈所述的图像处理设备，其中，用于每个所述块的所述特性值的所 述积分值对于每个通道是用于转换用于属于每个所述块的像素的每个通道的照明分量的 增益的总计数。
28.根据权利要求沈所述的图像处理设备，其中，所述用于每个块的所述特性值的所 述积分值，使得对于每个通道，用于转换属于每个所述块的像素的照明分量的所述增益的 中心值乘以所述块中的所述处理目标图像的像素的频率值。
29.根据权利要求沈所述的图像处理设备，其中，所述加权乘积和单元包括第一内插单元，通过使用预先限定的在空间轴方向上的权重函数执行所述块直方图到 所述目标像素位置的内插；第二内插单元，通过使用预先限定的在空间轴方向上的权重函数执行用于每个块的特 性值到所述目标像素位置的内插；第一乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算所述内插块直 方图的负载和；第二乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数计算内插特性值的 负载和；以及除法单元，将所述第二乘积和单元的输出除以所述第一乘积和单元的输出。
30.根据权利要求沈所述的图像处理设备，其中，所述加权乘积和单元包括第一除法单元，将用于每个块的所述特性值除以所述块直方图的值，以计算每个块位 置处的平均特性值；比较单元，将所述平均特性值与关于所述目标像素位置的特性值进行比较以计算权重；第一乘法单元，将所述比较单元中计算的所述权重乘以在相应块位置处用于每个块的 所述特性值；第二乘法单元，将所述比较单元中计算的所述权重乘以在相应块位置处所述块直方图 的值；第一内插单元，根据预先限定的在空间轴方向上的权重函数，执行作为所述第一乘法 单元的输出的加权块直方图到所述目标像素位置的内插；第二内插单元，通过使用预先限定的空间轴方向上的权重函数，执行作为所述第二乘 法单元的输出的用于每个块的加权特性值到所述目标像素位置的内插；第一乘积和单元，通过使用预先限定的在亮度轴方向上的权重函数，计算所述内插块 直方图的负载和；第二乘积和单元，通过使用预先限定的在所述亮度轴方向上的权重函数，计算所述内 插特性值的负载和；第二除法单元，将所述第二乘积和单元的输出除以所述第一乘积和单元的输出。
31.一种图像处理方法，包括通道增益计算过程基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用 于转换在每个像素位置处的每个通道的照明分量的增益；以及通道增益应用过程用于将所述增益应用至所述处理目标图像。
32.一种图像处理方法，包括块直方图计算过程关于区域在空间轴方向和亮度轴方向上被分为多个部分的每个 块，将处理目标图像的像素的频率值计算为块直方图；块积分值计算过程计算属于每个所述块的特性值的积分值； 加权乘积和过程基于所述块直方图、所述块积分值以及所述目标像素位置处的亮度 值，计算所述目标像素位置处的全局增益值；以及增益应用过程将所述全局增益值应用至所述处理目标图像。
33.一种程序，用于使计算机执行通道增益计算过程基于在不同照明环境下拍摄的基准图像和处理目标图像，计算用 于转换每个像素位置处的每个通道的照明分量的增益；以及 通道增益应用过程将所述增益应用至所述处理目标图像。
34.一种程序，用于使计算机执行块直方图计算过程关于区域在空间轴方向和亮度轴方向上分为多个部分的每个块， 将处理目标图像的像素的频率值计算为块直方图；以及块积分值计算过程计算属于每个所述块的特性值的积分值； 加权乘积和过程基于所述块直方图的目标块积分值和所述像素位置处的亮度值，计 算在所述目标像素位置处的全局增益值；以及增益应用过程将所述全局增益值应用至所述处理目标图像。
全文摘要
本发明涉及图像处理设备、图像处理方法以及程序，其能够从照明环境不同的多个图像去除由于照明分量导致的影响并且生成具有高颜色再现性的图像。去马赛克处理单元221对在基准马赛克图像保持单元111中保存的基准图像执行去马赛克处理。去马赛克处理单元22对在处理目标马赛克图像保持单元112中保存的处理目标图像执行去马赛克处理。白平衡计算单元230关于基准图像计算用于每个通道的白平衡值。通道增益计算单元250基于基准图像和处理目标图像的RGB值以及基准图像的白平衡，计算用于转换照明分量的每个通道的增益。在增益计算的同时，考虑黑障状况、饱和等。通道增益应用单元260将由通道增益计算单元250计算的增益应用至处理目标图像的每个通道。
文档编号H04N9/04GK102138329SQ201080002486
公开日2011年7月27日 申请日期2010年7月7日 优先权日2009年7月7日
发明者光永知生, 高桥宏彰 申请人:索尼公司