专利名称：估计光源的方法和设备的制作方法
技术领域：
与示例性实施例一致的方法和设备涉及估计由图像装置获得的图像中的光源。
背景技术：
人的色彩感知系统确保在变化光照条件下感知到的对象的色彩保持相对恒定。例如，白纸在阳光下看起来是白色的。由于卤素灯是橙色光源，因此白纸在卤素灯下看起来是橙色的。然而，人感知到白纸在卤素灯下与在阳光下一样看起来也是白色的。人的色彩感知系统确保在变化光照条件下人感知到对象的原始色彩的这一特性被称为颜色恒常性。颜色恒常性是指在电子拍摄装置(诸如数码照相机或数码摄像机)中的白平衡调整。白平衡调整是RGB色彩通道中的调整，以使得非彩色的对象可看起来没有颜色。在没有关于原始光源和对象表面的光谱特性的信息的情况下不可能进行白平等调整。也就是说，由光源的光谱反射特性和对象表面的光谱反射特性的乘积(product)来表示由人眼察觉到的光谱特性。由于这两个特性是未知的，所以在白平等调整时会出现问题。因此，已提出了各种算法，根据所述各种算法，通过针对光源、对象表面和观看场景进行假设或限制，来对颜色恒常性进行建模。已常被用于解决颜色恒常性的算法之一是灰色假定(gray hypotheses)(例如，参考JP 3767541)。灰色假定基于这样的经验数据由于各种色彩分布在视图内的普通场景中，因此各种色彩的平均色彩接近于灰色。如果平均色彩偏离灰色，则确定该偏离是由光源的色彩引起的。基于这样的确定，可通过在RGB色彩通道之间执行调整来调整白平衡。该方法可具有低计算成本，并可容易地用在内部装置(诸如数码照相机)中。另一方面，由于假设对象在物理上依赖于光源，所以根据场景，该假设会不正确，因此，光源的估计结果会变化。例如，当在红色墙的一部分上存在灰色标志时，图像的平均色彩是红色。这里，根据灰色假定，确定红色由光源的色彩引起。因此，为了使整个场景变灰，将红色的相对色(opposite color)应用到整个场景。因此，具有原始灰色的标志被改变为红色的相对色。这被称为色彩偏离(color feria)。已提出了通过使用光源和对象表面的光谱特性来估计光源的方法(例如，参考 D. H. Brainard (D. H.布雷纳德)和 W. T. Freeman (W. Τ.弗里曼)的"Baysian Color Constancy (Baysian 颜色恒常性)，，，J. Opt. Soc. Am. A, Vol. 14，No. 7，1997)。所述方法可通过在光源的光谱特性和对象表面的光谱特性之间具有较小差异的情况下在正交基上表示光源的光谱特性和对象表面的光谱特性，并针对光源、对象表面和拍摄系统进行假设或限制，或者组合关于光源、对象表面和拍摄系统的信息，在统计上增加估计光源的精确度。当使用所述方法时，可详细地估计光源。然而，由于增加了计算操作的次数，因此当所述方法用于执行针对图像处理(诸如数码相机中的白平衡处理)的计算时，会难以实时地执行所述处理。作为在减少计算成本的同时考虑光源和对象表面的光谱特性来估计光源的类型的方法，已提出了亮色相关法(例如，参考J. Golz (高尔兹)和D. I.A. Macleod (麦克劳德) 的“Influence of scene statistics on color constancy (关于颜色恒常性的场景统计的影响)” NATURE，VOL. 415，7，2002年二月)。在该方法中，当光源是红色时(这与光源是绿色或蓝色的情况相同)，通过使用红色区域的红色加深的相关性来确定光源是否是白色的。参照图9和图10，将描述亮色相关性。图9A、图9B、图10A、图IOB和图IOC是用于显示亮色相关性的光谱分布的示意性示图。在图9A、图9B、图10A、图IOB和图10C中，垂直轴表示波长，水平轴表示与各波长相应的能量。图9A是用于显示(从左边开始)包括各种色彩的普通对象X的图像的光谱分布、将光照射到对象X的红色光源(Lr)的光谱分布和通过将光从红色光源Lr照射到对象X而捕捉的图像的光谱分布。在图9A中，图像的光谱的强度朝短波长(即，蓝色)方向减小，并朝长波长(即，红色)方向增加。也就是说，通过从红色光源照射光而捕捉的图像具有这样的相关性随着区域变亮，该区域的红色程度增加。 当在图像中存在多种色彩时，这样的相关性是适当的。图9B是用于显示(从左边开始)红色对象&的图像的光谱分布、将光照射到对象&的白色光源Lh (例如，具有5500K色温的光源)的光谱分布和通过从白色光源Lh照射光而捕捉的图像的光谱分布。由于白色光源的光谱分布是平坦的，因此对象本身的光谱分布被察觉。因此，亮色不具有相关性。另外， 该相关性可被应用到红色程度以及蓝色程度。图10A至图10C是用于显示当从红色光源照射光时的光谱分布的示意性示图。图 10A是用于显示(从左边开始)以下光谱分布的示意性示图红色区域Sr的图像的光谱分布、将光照射到红色区域Sr的光源Lr的光谱分布和通过将光从红色光源Lr照射到红色区域Sr而捕捉的图像的光谱分布。图10B是用于显示(从左边开始)以下光谱分布的示意性示图绿色区域Sg的图像的光谱分布、将光照射到绿色区域Sg的红色光源Lr的光谱分布和通过将光从红色光源Lr照射到绿色区域Sg而捕捉的图像的光谱分布。图10C是用于显示(从左边开始)以下光谱分布的示意性示图蓝色区域Sb的图像的光谱分布、将光照射到蓝色区域Sb的红色光源Lr的光谱分布和通过将光从红色光源Lr照射到蓝色区域Sb 而捕捉的图像的光谱分布。由于长波长具有低能量，因此，当从红色光源Lr将光照射到蓝色区域Sb时，蓝色区域Sb比从红色光源Lr将光照射到红色区域Sr的情况更暗。蓝色区域Sb中的反射光的短波长周围的能量降低。然而，与红色光被照射到红色区域Sr的情况相比，蓝色区域Sb具有更多短波长分量(这是因为蓝色区域在短波长周围具有宽光谱)。 也就是说，存在这样的负相关性随着蓝色变暗，蓝色加深。目前，已介绍了“亮色相关性”。根据所述方法，可通过使用少量的计算操作来估计光源(白色或非白色)的全部特征。这是因为与上述使用光谱反射特性的方法相比，不必考虑详细的光谱特性。因此，所述方法具有用于克服色彩偏离(color feria)的问题的足够性能并具有低计算成本。因此， 所述方法可被有效地用在内部装置中。另外，JP 3767541公开了一种从具有不同光谱敏感特性的传感器的响应值来估计指示将光照射到对象的光源的色彩的光谱特性的方法。然而，上述的亮色相关性受图像的纹理度影响，其中，图像的纹理度根据相机的位置或光源的强度产生。例如，当图像的纹理平坦并且色彩的数量少时，由于亮度和色彩的输入数据分布不能展开，因此亮色相关性会不稳定。在真实环境中，为了稳定地执行光源的估计，引起这个问题的影响需要被降低。由于亮色相关性是基于输入数据分布是正态分布的假设，因此当输入数据的数量少或者数据具有离群值(outlier)时，这个假设不适当，因此，会无法计算正确的亮色相关性。另外，由于对象的镜面反射，一些像素看上去是白色的。因此，在包括高亮区域的场景中，像素与离群值相应，因此，亮色相关性会不稳定。另外，在JP 3767541中，为了基于传感器的响应值估计指示光源的色彩的光谱特性，增加了计算操作的数量。另外，成像装置需要包括具有不同光谱敏感特性的传感器。
发明内容
一个或多个示例性实施例提供一种用于估计光源的方法和设备，通过所述方法和设备，即使图像的色彩纹理平坦并且色彩的数量少，也可通过使用少量计算操作非常精确地计算光源的类型。根据示例性实施例的一方面，提供一种光源估计设备，所述光源估计设备可包括 亮色相关性计算器，从产生自至少一个图像帧的对象的图像，计算亮色相关性数据；色彩平衡计算器，计算所述图像的整个区域的色彩平衡，以及所述图像的平均色彩为灰色的中性灰色区域的色彩平衡；特征数据产生单元，基于亮色相关性数据、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据；识别器，基于所述图像的特征数据，确定所述图像中的光源的类型。也就是说，除了亮度和色彩之间的相关性数据之外，还可根据所述图像的整个区域的色彩平衡以及中性灰色区域的色彩平衡来确定光源的类型。因此，即使所述图像的色彩纹理平坦并且色彩的数量少，也可通过使用少量计算操作非常精确地计算光源的类型。光源估计设备还可包括纹理分析单元，计算指示所述图像的色彩多样性的色彩纹理特征，其中，特征数据产生单元基于亮色相关性数据、所述图像的色彩纹理特征、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据。也就是说，除了亮度和色彩之间的相关性数据、所述图像的整个区域的色彩平衡以及中性灰色区域的色彩平衡之外，还可根据色彩纹理特征来确定光源的类型。因此，可非常精确地计算光源的类型。光源估计设备还可包括亮度不规则性分析器，在所述图像中指定具有恒定亮度的恒亮区域，其中，亮色相关性计算器计算所述图像中的恒亮区域中的亮色相关性数据。也就是说，由于在恒亮区域中计算亮色相关性数据，因此，亮色相关性数据可被计算，而不依赖于光源的位置和强度，从而减少色彩偏离(color feria)。光源估计设备还可包括时间顺序数据缓冲器，用于顺序地存储由成像装置产生的多个图像，其中，亮色相关性计算器从按时间顺序存储的多个图像，计算亮色相关性数据。也就是说，由于通过使用多个图像计算亮色相关性数据，所以亮色相关性数据可被非常精确地计算。另外，时间顺序数据被用于与图像信息的时间改变相应，其中，所述图像信息的时间改变由摇动、场景中对象运动的改变和光照的改变而引起。
识别器可包括学习单元，用于基于学习数据，学习用于从所述图像的特征数据提取光源的类型的确定基础，其中，学习数据包括学习到的多个模型图像的特征数据以及分别与所述多个模型图像相应的光源的类型；识别单元，用于基于由学习单元学习的结果，确定与所述图像的特征数据相应的光源的类型。也就是说，由于基于学习的结果确定光源的类型，因此用于从特征数据提取光源的类型的确定基础不必手动设置。根据另一示例性实施例的一方面，提供了一种估计光源的方法，所述方法包括从产生自至少一个图像帧的对象的图像，计算亮色相关性数据；计算所述图像的整个区域的色彩平衡，以及所述图像的平均色彩为灰色的中性灰色区域的色彩平衡；基于亮色相关性数据、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据；基于所述图像的特征数据，确定所述图像中的光源的类型。所述方法还可包括计算指示所述图像的色彩多样性的色彩纹理特征，其中，基于亮色相关性数据、色彩纹理特征、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生特征数据。所述方法还可包括在所述图像中指定具有恒定亮度的恒亮区域，其中，针对恒亮区域计算亮色相关性数据。可从产生自针对相同对象顺序获得的多个图像帧的对象的图像，计算亮色相关性数据。确定所述图像中的光源的类型的步骤可包括基于学习数据，学习用于从所述图像的特征数据提取光源的类型的确定基础，其中，学习数据包括学习到的多个模型图像的特征数据以及分别与所述多个模型图像相应的光源的类型；基于学习的结果，确定与所述图像的特征数据相应的光源的类型。
通过参照附图详细描述示例性实施例，以上和其它方面将变得更清楚，其中图1是根据示例性实施例的白平衡调整设备的框图；图2是根据示例性实施例的图1的光源类型估计器的功能框图；图3是根据示例性实施例的估计光源的类型的处理的流程图；图4是根据示例性实施例的计算特征矢量的处理的流程图；图5A至图5C是根据示例性实施例的通过将光从红色光源照射到普通对象而捕捉的输入图像以及显示输入图像中的亮度和色彩之间的相关性的示图；图6A和图6B显示根据示例性实施例的通过将光从白色光源照射到具有各种色彩的普通对象而捕捉的输入图像中的色彩相对于亮度的改变；图7是显示根据示例性实施例的亮色相关系数的二维散射图的示图；图8是显示根据示例性实施例的特征矢量的三维标图的示图；图9是用于显示根据示例性实施例的亮色相关性的光谱分布的示意性示图；图10是用于显示根据示例性实施例的亮色相关性的光谱分布的另一示意性示图。
具体实施例方式以下，将参照附图详细描述示例性实施例。图1是根据示例性实施例的白平衡调整设备1的框图。白平衡调整设备1是用于在转换数码摄像机、数码照相机或包含相机的便携式终端的对象的光学图像并输出图像信号的装置中调整图像信号的白平衡的设备。白平衡调整设备1包括镜头101、光圈102、成像装置103、自动增益控制(AGC)单元104、预处理器105、 图像信息计算器106、光照强度检测器107、驱动器108、光源类型估计器109、白平衡增益计算器111、白平衡控制器112、色彩校正控制器113、伽玛校正控制器114和输出单元115。镜头101在成像装置103的接收表面上形成光学图像。光圈102调整从镜头101 输出到成像装置103的光。成像装置103对在接收表面上形戍的光学图像执行光电转换以产生图像信号，并将图像信号输出到AGC单元104。AGC单元104根据由光照强度检测器107 检测的光照强度将图像信号的电平均勻化，并将电平被均勻化的图像信号输出到预处理器 105。预处理器105对输入图像信号执行预处理(诸如噪声去除、差错校正和阴影校正)，并将图像信号输出到图像信息计算器106和白平衡控制器112。图像信息计算器106对由预处理器105预处理的输入图像信号进行压缩或缩小， 以产生用于计算白平衡的压缩图像信号，并将压缩图像信号输出到光照强度检测器107、光源类型估计器109和白平衡增益计算器111。光照强度检测器107根据输入的压缩图像信号计算用于执行曝光处理的光照强度，并将计算的光照强度输出到AGC单元104、驱动器108 和白平衡增益计算器111。驱动器108根据输入的光照强度来驱动光圈102并控制曝光。光源类型估计器(即，光源估计装置)109通过使用输入的压缩图像信号，根据“亮色相关性”原理，计算图像特征量(特征矢量)，并确定光源的类型是基于白色的光源还是基于非白色的光源。光源类型估计器109将确定的结果输出到白平衡增益计算器111。稍后将在下面详细描述光源类型估计器109。白平衡增益计算器111基于由光源类型估计器109确定的光源的类型以及由光照强度检测器107检测的光照强度，计算白平衡增益。具体地，白平衡增益计算器111从白平衡调节参数存储器110读取与光源的类型相应的白平衡增益，并将白平衡增益输出到白平衡控制器112。白平衡调节参数存储器110存储指示白平衡增益的至少一个白平衡调节参数，所述白平衡增益对于包括所述光源的各个类型的光源是最优的。根据本实施例，白平衡增益计算器111基于白平衡调节参数计算白平衡增益。可选地，可通过使用普通白平衡计算算法来计算白平衡增益。例如，当从图像信息计算器106 输出的压缩图像的色彩是光源的色彩时，白平衡增益计算器111计算白平衡增益以具有作为色彩平衡的灰度，当压缩图像的色彩不是光源的色彩时，白平衡增益计算器111计算白平衡增益而不校正色彩。由于所述方法不必改变原始白平衡算法，因此所述方法在系统方面非常友好。现在将描述另一示例。如果能够估计光源的类型，则当各个光源发出光时可限制亮度值的范围。因此，亮度值的范围作为参数可被用于计算白平衡增益。普通白平衡计算算法包括根据亮度值估计光源的类型的逻辑。然而，由于根据相机系统的类型，镜头101和主体(以下，称为成像装置10 会无法互相通信，因此，亮度值会无法获得，并且会影响白平衡计算的精确性。根据本实施例，由于光源的类型可被估计，因此，亮度值的范围可被估计，白平衡计算的精确性不会恶化。白平衡控制器112基于输入的白平衡增益来调整从预处理器105输入的图像信号的白平衡。另外，白平衡控制器112将调整了白平衡的图像信号输出到色彩校正控制器 113。色彩校正控制器113校正输入的图像信号的色彩，并将校正了色彩的图像信号输出到伽玛校正控制器114。伽玛校正控制器114对输入的图像信号执行伽玛校正，并将执行了伽玛校正的图像信号输入的图像信号输出到输出单元115。输出单元115将输入的图像信号输出到外部记录介质、显示器、网络等。图2是根据示例性实施例的图1的光源类型估计器109的功能框图。光源类型估计器109包括时间顺序数据缓冲器202、亮度不规则性分析器203、特征量计算器204和识别器211。时间顺序数据缓冲器202接收压缩图像信号201作为输入，并按时间顺序存储各个帧的压缩图像信号201的图像数据(以下，称为压缩图像数据)。时间顺序数据缓冲器 202可以是包括在闪存(诸如动态随机存取存储器(DRAM))中的环形缓冲器，并可存储具有预定数量的帧的压缩图像数据。存储在时间顺序数据缓冲器202中的压缩图像数据被顺序地输入到亮度不规则性分析器203。亮度不规则性分析器203以帧为单位，指定恒亮区域和高亮像素。恒亮区域不管光源的位置而具有恒定亮度。高亮像素是根据双色反射模型(例如，参考S. A^hafer (S. A.谢弗)的"Using color to separate reflection components (使用色彩以分离反射分量)，，，在 COLOR Research and Application(色彩研究与应用)中，Vol. 10，No. 4， pp. 210-218,1985)而获得的极亮的像素。另外，亮度不规则性分析器203将作为关于恒亮区域的信息的亮度不规则性信息、作为关于高亮像素的信息(坐标)的高亮像素信息以及压缩图像数据输出到特征量计算器204。稍后将详细描述在亮度不规则性分析器203中执行的处理。特征量计算器204计算用于确定压缩图像数据中的光源的类型的特征量(以下， 称为特征矢量)，并将计算的特征量输出到识别器211。特征量计算器204包括亮色相关性计算器205、纹理分析器206、平均色彩计算器207、中性灰色区域搜索器208、色彩平衡计算器209和特征矢量计算器210。亮色相关性计算器105根据按时间顺序输入的K (其中，K是等于或大于2的整数) 帧的压缩图像数据、与各压缩图像数据相应的亮度不规则性信息和与各压缩图像数据相应的高亮像素信息，来计算指示亮度和色彩之间的相关性的亮色相关系数。亮色相关系数是用于针对具有大量色彩纹理(即，大量色彩)的图像来非常精确地估计光源的类型的特征矢量。亮色相关性计算器205将计算的亮色相关系数输出到特征矢量计算器210。稍后将详细描述在亮色相关性计算器205中执行的处理。纹理分析器206从按时间顺序输入的K帧的压缩图像数据中提取色彩纹理特征， 并将提取的色彩纹理特征输出到特征矢量计算器210。色彩纹理特征是色彩多样性的标识符。稍后将详细描述在纹理分析器206中执行的处理。平均色彩计算器207计算在压缩图像数据中的各个RGB通道的平均色彩，并将平均色彩以及压缩图像数据输出到色彩平衡计算器209。中性灰色区域搜索器208在压缩图像数据中搜索中性灰色区域，并确定在压缩图像数据中是否存在中性灰色区域。中性灰色区域是平均色彩为灰色的区域。另外，中性灰色区域搜索器208将关于中性灰色区域的存在的信息以及压缩图像数据输出到色彩平衡计算器209。色彩平衡计算器209从由平均色彩计算器207计算的各个RGB通道的平均色彩， 计算压缩图像数据中的整个图像的色彩平衡。色彩平衡计算器209计算由中性灰色区域搜索器208搜索的中性灰色区域的色彩平衡。色彩平衡计算器209将整个图像的色彩平衡和中性灰色区域的色彩平衡输出到特征矢量计算器210。稍后将详细描述计算色彩平衡的方法。整个图像的色彩平衡和中性灰色区域的色彩平衡的集合是用于针对具有少量色彩纹理的图像非常精确地估计光源的类型的特征量。特征矢量计算器210基于由亮色相关性计算器205计算的亮色相关系数、由纹理分析器206提取的色彩纹理特征以及由色彩平衡计算器209计算的色彩平衡，来产生特征矢量(亮色相关性、色彩纹理特征、整个图像的色彩平衡和中性灰色区域的色彩平衡)，并将特征矢量输出到识别器211中的学习单元212或识别单元215。识别器211基于包括各种图像数据的特征矢量以及分别与各种图像数据相应的各种光源的类型(即，教导数据)的学习数据，对用于从特征矢量提取光源的类型的确定基础进行机器学习并存储所述确定基础。这里，识别器211通过使用引导(boosting)、支持矢量机(SVM)、决策树、通过扩展决策树而获得的随机森林等来执行机器学习。另外，识别器 211基于机器学习的结果确定与由特征量计算器204输入的特征矢量相应的光源的类型。 识别器211包括学习单元212和识别单元215。根据本实施例，识别器211执行机器学习。 可选地，识别器211可基于例如通过手动操作的确定基础来确定光源的类型。学习单元212机器基于学习数据对用于提取光源的类型的确定基础进行机器学习，并将机器学习的结果存储在学习结果存储器214中。学习结果存储器214可以是安装在白平衡调整设备1外部的外部存储器装置，并且学习单元212将机器学习的结果(即，学习数据)存储在学习结果存储器中。当学习单元212在学习之后执行估计光源的类型的处理时，学习单元212将学习的结果存储在安装在白平衡调整设备1内部的闪存等中。识别单元215基于学习单元212的学习结果，确定与由特征矢量计算器210输入的特征矢量相应的光源的类型，并将确定结果输出到白平衡增益计算器111。例如，当特征矢量(亮色相关性、色彩纹理特征、整个图像的色彩平衡和中性灰色区域的色彩平衡)具有高色彩纹理特征(大量色彩纹理)时，识别单元215将比其它特征矢量更大的权重赋予亮色相关性以确定光源的类型。当特征矢量具有低色彩纹理特征(少量色彩纹理)时，识别单元215将更大的权重赋予整个图像的色彩平衡和中性灰色区域的色彩平衡以确定光源的类型。参照图3，以下将描述由光源类型估计器109执行的估计光源的类型的处理。图3 是根据示例性实施例的估计图像数据中的光源的类型的处理的流程图。识别单元215从学习结果存储器214中读取学习结果(操作S10)。随后，光源类型估计器109将压缩图像数据存储在时间顺序数据缓冲器202中(操作S20)。随后，光源类型估计器109确定存储在时间顺序数据缓冲器202中的压缩图像数据的数量是否等于或大于预定阈值(操作S30)。当压缩图像数据的数量等于或大于阈值时，执行操作S40。当压缩图像数据的数量小于阈值时，处理返回到操作S20。执行这个条件操作以获得用于如下所述稳定地计算亮色相关系数的足够数量的图像数据。
随后，亮度不规则性分析器203通过分析亮度不规则性来以帧为单位指定恒亮区域和高亮像素(操作S40)。具体地，亮度不规则性分析器203通过使用以下近似方法来指定恒亮区域。亮度不规则性取决于光源的位置以及对象的形状和排列。因此，在所述近似方法中，假设光源位于通过使用相对于光源的前面的水平方向和垂直方向而指示的八个位置，假设对象的深度相比于相机和对象之间的距离来说足够小，假设在图像中，在水平方向、垂直方向和倾斜方向中的任何一个方向上光照强度恒定，随后，恒亮区域被指定。本发明构思不限于所述近似方法，可通过使用另一近似方法来指定恒亮区域。例如，可使用划分图像区域的近似方法。在划分图像区域的方法中，通过镜面反射而获得的阴影区域和白色区域互相分离，并且仅使用具有恒定亮度水平的区域。可通过聚集色彩或亮度来获得阴影区域。可通过使用例如双色反射模型来估计通过镜面反射而获得的白色区域。另外，可一起使用这两个近似方法。随后，特征量计算器204基于作为关于恒亮区域的信息的亮度不规则性信息、高亮像素信息以及压缩图像数据，来计算用于确定光源的类型的特征矢量(操作S50)。稍后将详细描述计算特征矢量的处理。随后，针对各类光源计算特征矢量的分值(score)(操作S60)，其中，基于由识别单元215读取的学习结果计算所述特征矢量。另外，识别单元215基于针对各类光源计算的分值，确定图像数据中的光源的类型(操作S70)。具体地，识别单元215将具有高分值 (例如，最高分值)的光源的类型确定为图像数据中的与特征矢量相应的光源的类型。这里，识别单元215可通过将图像数据的特征矢量与学习到的多个模型图像的特征矢量进行比较来确定光源的类型，选择学习到的与图像数据的特征矢量最相似的模型图像的特征矢量，并将与所选择的学习到的模型图像的特征矢量相应的光源的类型确定为图像中的光源的类型。在确定光源的类型之后，图像数据的特征矢量变成存储在学习结果存储器214中的学习结果或学习数据的一部分，其将被用于确定另一对象的另一图像中的光源的类型。参照图4，将描述操作S50中的计算特征矢量的处理。图4是根据示例性实施例的计算特征矢量的处理的流程图。首先，特征量计算器204从亮度不规则性分析器203获得按时间顺序输入的K帧的压缩图像数据、与各压缩图像数据相应的亮度不规则性信息以及与各压缩图像数据相应的高亮像素信息(操作S100、SllO和S120)。随后，特征量计算器204同时执行计算亮色相关性的处理、分析色彩纹理的处理、计算整个图像的色彩平衡的处理以及计算中性灰色区域的色彩平衡的处理。根据本实施例，计算亮色相关性的处理、分析色彩纹理的处理、计算整个图像的色彩平衡的处理以及计算中性灰色区域的色彩平衡的处理同时被执行。可选地，这些处理可被顺序执行。[计算亮色相关性(操作S140)]首先，将描述计算亮色相关性的处理。亮色相关性计算器205根据按时间顺序输入的K帧的每一帧的压缩图像数据、与压缩图像数据相应的亮度不规则性信息以及与压缩图像数据相应的高亮像素信息，计算亮色相关系数。在这种情况下，K帧的压缩图像数据被用于如下所述稳定地计算相关系数。当数据分布不是正态分布时，会无法稳定地计算相关系数。当用于计算相关系数的图像数据的数量少时，不知道数据分布是否是正态分布。因此，通过使用多个图像帧来确保用于计算相关系数的图像数据的数量。时间顺序数据用于相应于图像信息的时间改变，其中，图像信息的时间改变是由摇动、场景中对象运动的改变以及光照的改变而引起的。具体地，亮色相关性计算器205从压缩图像数据中去除恒亮区域和高亮像素以外的区域。这是因为当光源倾斜时或者当对象的面的反射特征极不相同时，由于捕捉的图像的亮度分布非常严重不规则(阴影)并且亮度和色彩的数据分布不是正态分布，因此亮色相关系数未被稳定地计算。随后，亮色相关性计算器205沿水平方向和垂直方向，将去除了恒亮区域和高亮区域以外的区域的压缩图像数据划分为N(其中，N是等于或大于2的整数)块。在这种情况下，划分的区域被称为分块。例如，一个像素可以是一个分块。另外，亮色相关性计算器 205针对各个分块i (i = 1、2、. . .，NXK)，计算通道R的平均值Ri,通道G的平均值Gi以及通道B的平均值B”另外，亮色相关性计算器205根据以下的等式1计算各个分块i的亮度。Lumi = Ri+2Gi+Bi(1)随后，亮色相关性计算器205根据以下的等式2计算各个分块i的红色程度 Rednessi0
权利要求
1.一种光源估计设备，包括亮色相关性计算器，从产生自至少一个图像帧的对象的图像，计算亮色相关性数据；色彩平衡计算器，计算所述图像的整个区域的色彩平衡，以及所述图像的平均色彩为灰色的中性灰色区域的色彩平衡；特征数据产生单元，基于亮色相关性数据、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据；识别器，基于所述图像的特征数据，确定所述图像中的光源的类型。
2.如权利要求1所述的光源估计设备，还包括纹理分析单元，计算指示所述图像的色彩多样性的色彩纹理特征，其中，特征数据产生单元基于亮色相关性数据、所述图像的色彩纹理特征、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据。
3.如权利要求1所述的光源估计设备，还包括亮度不规则性分析器，在所述图像中指定具有恒定亮度的恒亮区域，其中，亮色相关性计算器计算所述图像中的恒亮区域中的亮色相关性数据。
4.如权利要求1所述的光源估计设备，其中，识别器包括学习单元，基于学习数据，学习用于从所述图像的特征数据提取光源的类型的确定基础，其中，学习数据包括学习到的多个模型图像的特征数据以及分别与所述多个模型图像相应的光源的类型；识别单元，基于由学习单元学习的结果，确定与所述图像的特征数据相应的光源的类型。
5.如权利要求4所述的光源估计设备，其中，识别单元通过将所述图像的特征数据与学习到的所述多个模型图像的特征数据进行比较，确定光源的类型，选择学习到的与所述图像的特征数据最相似的模型图像的特征数据，将与所选择的学习到的模型图像的特征数据相应的光源的类型确定为所述图像中的光源的类型。
6.如权利要求5所述的光源估计设备，其中，所述图像的特征数据和所述图像中的光源的类型变为学习到的构成学习数据的多个模型图像的特征数据之一，所述学习数据用于确定另一对象的另一图像中的光源的类型。
7.如权利要求1所述的光源估计设备，其中，识别器通过基于在所述图像中检测的色彩的数量，将不同的权重施加到亮色相关性数据和所述图像的整个区域的色彩平衡，来确定光源的类型。
8.如权利要求1所述的光源估计设备，其中，亮色相关性计算器从产生自针对相同对象顺序获得的多个图像帧的所述对象的图像，计算亮色相关性数据。
9.如权利要求1所述的光源估计设备，其中，产生自至少一个图像帧的对象的图像是从由成像装置获得的所述对象的原始图像数据压缩或缩小的图像数据，其中，亮色相关性计算器从所述产生自至少一个图像帧的对象的数据计算亮色相关性数据。
10.如权利要求1所述的光源估计设备，其中，光源的类型包括光源的色彩。
11.一种估计光源的方法，所述方法包括从产生自至少一个图像帧的对象的图像，计算亮色相关性数据；计算所述图像的整个区域的色彩平衡，以及所述图像的平均色彩为灰色的中性灰色区域的色彩平衡；基于亮色相关性数据、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据；基于所述图像的特征数据，确定所述图像中的光源的类型。
12.如权利要求11所述的方法，还包括计算指示所述图像的色彩多样性的色彩纹理特征，其中，基于亮色相关性数据、色彩纹理特征、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生特征数据。
13.如权利要求11所述的方法，还包括在所述图像中指定具有恒定亮度的恒亮区域， 其中，针对恒亮区域计算亮色相关性数据。
14.如权利要求11所述的方法，其中，确定所述图像中的光源的类型的步骤包括 基于学习数据，学习用于从所述图像的特征数据提取光源的类型的确定基础，其中，学习数据包括学习到的多个模型图像的特征数据以及分别与所述多个模型图像相应的光源的类型；基于学习的结果，确定与所述图像的特征数据相应的光源的类型。
15.如权利要求14所述的方法，其中，确定光源的类型的步骤包括 将所述图像的特征数据与学习到的所述多个模型图像的特征数据进行比较； 选择学习到的与所述图像的特征数据最相似的模型图像的特征数据；将与所选择的学习到的模型图像的特征数据相应的光源的类型确定为所述图像中的光源的类型。
16.如权利要求15所述的方法，其中，所述图像的特征数据和所述图像中的光源的类型变为学习到的构成学习数据的多个模型图像的特征数据之一，所述学习数据用于确定另一对象的另一图像中的光源的类型。
17.如权利要求11所述的方法，其中，确定光源的类型的步骤包括基于在所述图像中检测的色彩的数量，将不同的权重施加到亮色相关性数据和所述图像的整个区域的色彩平
18.如权利要求11所述的方法，其中，从产生自针对相同对象顺序获得的多个图像帧的所述对象的图像，计算亮色相关性数据。
19.如权利要求11所述的方法，其中，产生自至少一个图像帧的对象的图像是从由成像装置获得的所述对象的原始图像数据压缩或缩小的图像数据，其中，从所述产生自至少一个图像帧的对象的图像计算亮色相关性数据。
20.如权利要求11所述的方法，其中，光源的类型包括光源的色彩。
全文摘要
提供了一种估计光源的方法和设备。光源估计设备包括亮色相关性计算器，从产生自至少一个图像帧的对象的图像，计算亮色相关性数据；色彩平衡计算器，计算所述图像的整个区域的色彩平衡，以及所述图像的平均色彩为灰色的中性灰色区域的色彩平衡；特征数据产生单元，基于亮色相关性数据、整个区域的色彩平衡和中性灰色区域的色彩平衡，产生所述图像的特征数据；识别器，基于所述图像的特征数据，确定所述图像中的光源的类型。
文档编号H04N1/60GK102572211SQ20111044191
公开日2012年7月11日 申请日期2011年12月20日 优先权日2010年12月20日
发明者数井诚人 申请人:三星泰科威株式会社