专利名称：数字图像中的偏色检测和消除的制作方法
技术领域：
本发明一般涉及数字图像，更准确地说，涉及数字图像中的偏色检测和消除。
背景因为除总曝光测定之外，在场景捕捉期间对场景光源知道很少，所以数字静态照相机(DSC)在色彩表示方面具有很大的局限性。文献中报告了估计场景光源的许多尝试。最简单的方法，被称为灰色世界近似，假定场景中所有表面反射率的平均为灰色。从这种假定得出，如果任何平均色彩在从平均灰色表面反射后保留，那么它一定是照明颜色。在灰度世界近似无效的情况下碰到场景时，使用该方法一般会导致所得到图像中的偏色。为了获得更好的结果，开发了用于估计光源的更复杂算法。最广泛使用的色彩校正方法是VonKries变换。将图像的红-绿-蓝，或RGB值除以估计的照度，然后乘以参考照度的RGB值。其它照度估计方法包括测量特定色彩区，其中收集系综平均并按色度图的各种形式将其分类。这些估计方法利用大量色彩距离量度，搜索背离灰色世界近似的主要色彩偏斜(colorskew)，从而预测场景照度。
DSC制造商一般在被称为白平衡(WB)的方法中调用多个方法中的元素。WB的目标在于产生这样一种图像，其中白色对象显现为白色，并最小化非等能量光源的视觉影响。当没有适当地获得WB时，图像中将出现明显的偏色(例如，当傍晚出现太阳时，数字静止图像中的黄色偏色)。WB任务一般以应用于图像中的所有像素的Von Kries校正开始，它根据前面提到的方法中的某种照度估计假定，平衡RGB传感器阵列的放大器增益。另外，一般进行ad-hoc调整以迫使图像的最大亮度值为纯白(例如R＝G＝B＝1.0)。一些照相机还调整最小亮度，从而将黑点设为等能量级(例如R＝G＝B≌0.01)，它不是绝对黑色。对于光线良好的室外场景，通常由于曝光考虑，大多数DSC照相机将黑点设为绝对黑色(R＝G＝B＝0.0)。图像白点和黑点区向预定目标的移动(通常具有相关色调控制)一般产生令人满意的最强光区和阴影区。但它没有提供对1/4到3/4色调中包含的大部分像素信息的附加补偿。所得到的图像在大半个图像中可以表现出相当的偏色。由于在图像捕捉期间图像白点(可能还有黑点)以完全非线性的方式改变，所以只有有限的光源信息保留在照相机数据中用于后处理。
如果在图像捕捉期间原始图像白点和黑点保持未被改变，则有可能旋转图像的色空间，从而将白点与黑点相连的中心线允许该中心线与消色轴对齐。
现在参考
图1(现有技术)，其中用示意图示出了上述L*a*b*色空间中被称为“灰色轴再对齐”方法10的现有技术偏色检测和消除方法，其中“L”是L*亮度或消色轴12上的亮度值，而“a*”和“b*”分别是“a*”和“b*”色度轴14和16上的色度值。原始图像具有白点17、黑点18以及从白点17延伸到黑点18的中心线20。箭头22表示中心线20的旋转，从而通过重定位的白点22和重定位的黑点24与消色轴12对直。圆柱形中性色中心28表示在中心线20旋转之后保留的内容。
该方法假定场景最大照明区就是消色差强光，这是在大部分真实生活照片中证实了的事实。但是，一些专业照相机具有一种专用手动白平衡模式，它不将最大照明像素调整为纯白。在各种照明条件下(D50、D65、冷白荧光、水平日光、U30荧光以及白炽A)，以这种方法从MacBeth Spectralight III棚捕捉数据。简单的后期数据捕捉算法旋转L*a*b*色空间中从白点17延伸到黑点18的中心线20，直到它处于消色轴12上。根据在各种照明下通过测试样本中包含的MacBeth比色图表灰色修补的消色差纯度进行的测量，结果显示图像偏色显著减少。但是，灰色轴重对齐的方法决定性地取决于知道图像中最高照明点的色品。尽管由于在被检查的照相机中发现很少的颜色内容，所以黑点18的放置不那么关键，但白点17的小变化对图像其它部分的近中性色在视觉上产生显著影响。
本发明提供一种彩色图像的偏色检测和消除的方法，其中的彩色图像由彩色像素构成。为具有消色轴的色空间提供缺省的灰色半径，用于建立色平面中的中性色箱。箱中根据像素色品装有像素。用缺省灰色半径内箱中像素的色品峰计算色彩直方图。根据色彩直方图中的色品峰，将缺省的灰色半径调整到某一灰色半径。根据该灰色半径内同一有色象限中的多个色度峰来检测偏色，并根据其到消色轴的平均平均距离来检测偏色距离。通过从色空间中的彩色图像减去偏色距离，从而从像素中消除偏色，并输出去除了偏色的彩色图像。
尽管灰度轴重对齐方法在没有调整最大图像照明像素的条件下工作良好，但是由于大部分DSC装置在某些方面改变图像的最亮像素，所以它很少有实际应用。本发明的偏色检测和消除方法通过检查分布在整个图像中的大的相邻的近灰色对象的色品来克服这种局限性。
对于本领域的技术人员，通过阅读以下详细描述并参考附图，本发明的以上和其它优点将是显而易见的。
图2示出了结合了本发明的数字图像系统的概况。
图3示出了根据本发明的偏色检测和消除方法。
图4示出了根据本发明的缺省灰色半径选择。
图5示出了根据本发明的中性色箱的定位。
图6示出了根据本发明的直方图计算。
图7用示意图示出了本发明的偏色检测和消除方法。
现在参考图2，这里示出了利用本发明的数字图像系统30的概况。数字图像系统30包括原始图像32，它由本发明的箱方法34处理，以产生校正图像36。
该系统的概念在于尽管图像中的最亮像素可以已被折衷，但是所有其它的近中性像素保留了它们原来的颜色属性。基本的系统概念在于仔细地选择表示殆灰色对象的所有像素，并识别其平均色彩。通过检查这些对象的色彩位置，本发明的算法寻找这样的证据或者存在所有对象共有的总偏色，或者对象具有随机分散的色彩矢量。该算法对图像没有“殆灰色”对象或整个场景由单个大的多色对象占支配地位(这通常指的是“红仓(red barn)”图像)的可能性是敏感的。如果发现共有色彩分量出现在所有近中性色对象中，那么估计其大小并将与其相反的色品应用于所有那些对象。校正机制具有实现三维查找表(LUT)的国际色彩联盟(一个国际标准组织)简档的基本结构。该简档能够直接用于测试图像，或者可以将它写入磁盘文件中，以使得它能够用于具有相似偏色特征的多个图像。
现在参考图3，其中示出了本发明的偏色检测和消除方法的箱方法34。将原始图像从图2的框32输入到框40“缺省灰色半径”，它提供灰色色彩中心圆柱体的开始点。箱方法34接下来进入框42“寻找中性色的箱”，箱方法34从框42进入框44“计算所接受中心像素的2D色彩直方图”。箱方法34从框44进入判定框46“增长灰色半径”，在其中判定由于已经遇到另外的峰或因为峰的振幅仍在变化，是否继续增加灰色半径。如果“是”，箱方法34进入框48“根据峰位置调整半径”，并返回框42“寻找中性色的箱”以进行下一迭代。如果“否”，那么箱方法34进入框50“建立3D校正LUT”，以建立具有各个色彩的校正因子的查找表(LUT)。接下来，在框52“通过LUT变换整个图像”中，将LUT用于应用校正因子以消除彩色图像中的偏色。然后箱方法34“完成”并向图2的框36输出校正图像。
注意，由于箱方法34尝试选择正确的色箱范围以正好包含各个图像对象(在近中性色区中)，所以它是在迭代算法中实现的。迭代方法的目的是发现最小的颜色半径，在该半径中将所有近中性色对象都收集到了适当的色空间箱中，并且色箱中发现的任何色彩峰都是稳定的。通过颜色半径发生小变化但没有遇到另外的峰，以及相对固定的峰振幅来测量稳定性(它是所分段的区中包括的像素数的测量)。当箱选择参数达到某个给定的稳定性水平时，则已经识别了近中性色对象的最小集，并且到达了其平均色彩的最佳可能测量。这些对象的色空间坐标(矢量)的分布确定是否出现偏色及其大小。这种分布还可以表示该图像包括多个随机分散的色彩矢量，这意味着不需要任何校正。类似地，这种分布可以证明具有固定颜色的大对象的出现(“红仓”情况)。在这种情况下，该算法将推迟估算偏色。
现在参考图4，其中示出了分别在L*a*b*轴12、14和16上根据本发明的图3的框32“缺省灰色半径”的缺省灰色半径选择60。不包括白点和黑点的灰色区域被示为具有灰色半径64的圆柱形中性色中心62。在最佳模式中，缺省开始值为a*＝b*＝15国际照明委员会(CIELAB)单位。已发现的最大半径大约是40 CIELAB单位，因为图像在超过这个极限时通常出现色饱和。
现在参考图5，这里示出了建立根据本发明的图3中框42“寻找中性色箱”的中性色的色箱66。在图5中，8×8网格定义中性色中心62的色箱，例如色箱68，其中将汇集色彩段的统计计数。色箱66的数量随着灰色半径64的增加而增加。目的是发现8到20种近中性色的色彩，它们占图像以及具有显著偏色的白区域的一个大的百分比。
在像素选择中，开始认为在亮度和色度的某一中心范围内发现的图像中所有像素应该被分类到色箱中以识别对象。合理的限制亮度级在于“最亮像素”校正(以及可能的黑点变化)产生近中性色对象，其中这些对象并不具有场景真正色彩的特征。在用图像数据库试验后，可以很快明白，亮度限制不以任何有效方式改变偏色检测。更重要的是，试验证明真实图像包括大量表示小的独立对象的像素，比如衬衫钮扣、钢笔和铅笔或领边。这些对象与诸如人的衣服、汽车或台式电脑等场景的主要对象相比相当小。偏色信息集中到场景的大的主要对象上。这些主要对象通常不是该图像的主题(例如作为一对夫妇肖像背景的灰墙)，但是它们的绝对尺寸和相对固定的颜色支配着观察者对场景的印象。从经验上说，近中性色对象的最佳量度是某种近固定表面反射率，它占图像像素计数的至少1％。它主要是大的对象，它在确定是否出现特定偏色方面给出一个有意义的一个表面的照明范例。
假定大对象具有分布在可能的弯面上的多个亮度级。箱方法34的算法目的是允许色箱亮度和色度约束的启发式调整，以适应对象的变化。如果遇到由数百个不同的小对象构成的样本图像，那么由于各个色箱中的小像素计数，该算法表示没有出现大对象。除非存在固定色彩的背景分布在各个对象周围，并且其可以占到像素总数的1％的可能性，“Where’s Waldo(沃尔多在哪里)”照片例示将有可能被拒绝。几乎所有的室外自然场景对于大的近中性色对象都认可此标准。这可能是由于这样的事实天空、草地、水泥、水和地被植物一般在室外景色中占支配地位。当有结构或有图案的对象占支配地位时，室内场景可能违背此标准。当出现人的肖像时，由于脸和手臂的肤色一般属于近中性色对象类并且一般占了图像的5％到50％，所以没有发现任何违背此标准的。
现在参考图6，其中示出了根据本发明的框44“计算所接受的中心像素的2D色彩直方图”的全局色度直方图70。直方图70具有色度轴14和16以及像素计数轴72。在一个典型图像中，分段对象的色彩分布形成了中性色中心62中不同的独立峰74、76和78。如果峰74、76或78不同，那么在图3的判定框46“增长灰色半径”中判定不增长灰色半径64。应该注意，色箱66只用于预测和调整灰色半径64未来的增长。
算法从创建所有像素的全局色度直方图70开始，这些像素的色度落在色空间范围的后排中(center half)内。对于具有8比特带符号坐标的L*a*b*色空间，它对应于最靠近中性色中心的对象，其中|a*|＜64并且|b*|＜64。这种a*和b*2D直方图70用于识别分段方法中找到的近中性色对象是否具有公共色分量。接下来，该算法通过滤去像素的任何2×2邻域开始分段，这些邻域不具有至少3个在亮度和色度值的缺省范围内的像素。如以后将论述的，该算法作用于具有一个亮度和两个色度坐标的几乎任何色空间。4选3的像素标准(用于2×2邻域)一般滤去全部图像像素的30％，这是因为小对象和边缘通常不能满足这种约束。算法这个部分的目的是快速减少后续步骤中将处理的像素数，并且只选择近固定反射率的大对象。
通过前述条件的那些2×2像素组被分配给诸如箱68的色箱，并且计算亮度和色度范围。当已收集了大量色箱66时，采取压缩搜索以连接那些亮度和色度范围相当并具有最接近色彩范围的箱。目的是将色箱66的数量减少到更容易操作的色彩范围数。已发现20左右的色彩范围的压缩集是最佳的。为适应压缩方法的亮度和两个色度通道的增长构成迭代反馈参数的第一集合。现在，压缩后的箱计算新的亮度和色度范围加上新的平均色彩。另外，所涉及的所有像素的坐标被存储在新创建的箱中。该方法继续到处理完整个图像为止。
一旦色彩范围的压缩集减少到20个或更少的压缩箱，则开始分段。分段的目的是检测具有公共表面反射率的大对象。自然对象一般是弯曲的并在其表面上有亮度和色彩变化。分段允许即使在亮度和色度有相当大的变化的情况下，将对象中的相邻像素连接在一起，因为这些变化以平滑的方式发生，作为真实对象的代表。
分段方法如下进行。按图像x、y坐标对各个色箱分类，以确定其是否8向连接到属同一色彩组的另一像素组。创建分段箱，它包括这些像素、它们的坐标、各自的色彩和组色彩。算法参数允许包括像素组，这些像素组从它们相邻的8向连接像素偏移了一个或多个像素。试验结果表示，空间偏移零或1提供最佳结果。当这些单元并没有在空间上连接时，例如人的左臂和右臂，则可以从单个色箱产生出两个或两个以上的分段箱。分段方法以在相邻像素的上升行上从左到右排列像素结束。这样做允许简单计算各个近中性色对象的形心，以及该对象对着的总面积(包括内部像素区域，它并不是分段组的一部分，但完全被这些像素环绕)。该信息允许精确估计对象大小，甚至当诸如衬衫钮扣和笔等物品出现在诸如衬衫的另一对象上时也不例外。近中性色色度对象被很好地分类。分段程序不包括对象边界。边缘趋向于在分界面上具有非常明显的色彩变化(对于弯曲的或矩形对象)，并且边界邻域中4个像素中将有3个没有相似色彩的可能性很大(这种大的可能性使得在像素选择阶段去除了这些像素)。
没有边界边缘倒是该算法的优点。如果有人希望快速找到对象边界，他只需要搜索对象之间四个像素宽的空隙。通过跟踪这些空隙(各边上存在对象像素)，可以快速地穿过近中性色对象的边界。在设法发现具有高色品的对象的边界时，只需要在像素选择阶段相反的使用该标准，也就是只考虑具有高色品的2×2邻域。由于高色品对象具有非常清晰的边界，因此这种类型的分段工作得非常好。
一旦填充并压缩了所有分段箱，该算法就测量全局色度直方图70，以确定近中性色区中出现了多少单个的色品峰。如果检测到的一个其色品半径大于在像素选择阶段所允许的范围的峰，则增加4选3像素标准的色品选择半径以使其包含该峰。除了色品半径的参数集之外，还有可能改变迭代反馈方法中的其它两个参数集。第二参数集用于初始箱的亮度和色度范围，而第三参数集用于从其初始箱范围算起任何色箱的最大增长。
大量测试显示，只需要改变像素选择阶段的灰色半径64以获得稳定的偏色结果。其它两个参数集快速收敛在同一结果上，并且保持不变以提高计算速度。一般来说，只需要一次或两次迭代就可以达到稳定偏色距离。
现在参考图7，其中用示意图示出了偏色检测和消除方法，所述的本发明的箱方法34与图6所述为同一空间。中性色中心62中互相接触的三个峰组成单个的主色度峰80，其形心为82。箭头84表示偏色消除以返回到中性色中心62中的“灰色世界”的方向，并且偏色距离为形心82移动的距离，如箭头84的长度所示。各色箱的内容分别被移动到消色轴12以完成形心82的移动。应该注意，在单个色度峰80被认为是偏色之前，必须满足许多统计和尺寸约束。
在三次迭代之后，相同的对象被重复地识别为具有几乎相同的形状。改变初始亮度和色度箱范围的重要性在于通过大变化反射率的表面来识别复杂的近中性色对象。当利用当前算法的目的是对图像中的对象进行分段时，那么初始箱范围变化是比色品半径更有意义的参数集。
一旦修改了所需参数集，就重复整个方法。存在这样的像素选择阶段的选项对图像中所有原始近中性色像素重新采样，或利用当前放置在分段对象中的像素的缩减集。利用整个图像像素集产生稍微精确一些的偏色消除结果。只利用分段对象像素得到明显更快的处理时间。如果算法的目的是对图像对象分段，则选择较窄的初始箱范围。同时，必须采用整个像素集来提供所需的对象增长。如果选择了较宽的初始箱范围选择，那么使用当前放置在分段对象中的像素大大提高处理速度，同时形状精度没有任何明显退化。
迭代完成之后，算法测量调整参数集的变化。当新变化低于某一阈值时，迭代停止。这时，分析全局色度直方图70的当前型式。如果在随机方向上存在多个色度峰，则该算法推测图像中不存在任何色度偏移。与此判定相关的逻辑是，如果存在全局偏色，则不能得到由不同颜色象限中的至少两个近中性色对象表现的不同色度峰。尽管这两个对象仍然可以出现小的偏色，但是它们一般在视觉上并不明显。
当直方图只有一个色度峰，或多个峰全在所选色品色空间的同一象限中时，存在出现偏色的高可能性。色度直方图的平均基线被定义为消除了主峰时近中性色色品平面中的平均箱像素数。算法接下来询问单个色度峰中包括的像素是否多于所选倍增阈值乘以平均基线。这样做主要是询问对象的色度峰是否高于近中性色区域的噪声级。尽管并不作限制，但是已发现十(10)倍平均基线的倍增阈值是可接受的。如果答案为真，那么该算法假定一个偏色，它等于到单个色度峰的半径。对于同一象限中的多个色度峰，偏色是到各个峰的平均半径。校正是从分段方法中发现的所有对象减去这个色品量。这样做有效地将“白到黑点轴”移回消色轴。当然没有移动任何白点或黑点对象(因为它们可能已由初始白平衡操作折衷)。只校正包括图像的1/4到3/4色调的近中性色对象。
如果色度峰的像素计数不超过倍增阈值10乘以基线，那么该算法估算不出现任何偏色。许多适当曝光图像的近中性色对象具有明确的色彩特征。但是从统计上说，还将存在具有不同色彩特征的其它对象。对图像所有大的近中性色对象的平均应该产生不同象限中的多个峰或非常接近色轴的单个峰。任何其中的所有峰均小于到近中性色轴的给定阈值的图像在色度上被认为是近中性色，并不对其进行校正。该算法允许用户忽略这种假设，从而在图像内容需要它时进行小的偏色变化。这样做通常与出现强肤色的图像有关。许多肤色可以落在近中性色对象定义内。在这种情况下，一般最好不要校正偏色，因为它对最终肤色有负面影响。更详细的内容将在下面论述。
该算法对图像异常执行其它测试。如果所有近中性色对象的平均色品超过某一阈值，那么该算法估算该图像具有非常多色的主题并且停止。这将是“红仓”图像的例子。一旦已确定偏色距离，那么如图7所示，该算法从分段对象减去这种色品量。
如图3所示，三维LUT(查找表)被用于框52“通过3D LUT变换整个图像”，它将输入RGB值变换为最终的输出RGB值。在每个LUT表坐标中，LUT的输入RGB值被变换为亮度和色度色空间坐标。将这些变换坐标与各个箱平均色彩相比较。当匹配时，从平均值(应用了限幅)减去偏色色品。将得到的值重新变换回RGB。在LUT中作一个项目以显示所得到的RGB输出值的增长或降低。将内插和平滑应用于LUT以确保没有“尖峰信号”校正引起最终图像中显著的人工信号。将LUT写入永久存储器中，以使得可以对它进行分析或将它应用与已知具有相同色偏问题的其它图像。
彩色图像偏色消除之前和之后的结果证明本发明的偏色检测和消除的箱方法34的有效性。为了测试的目的，选择场景以说明可以由MacBeth光棚中找到的固定光源引起的外观上的各种变化，箱方法34已经在200种自然场景图像中进行了测试。用各种DSC装置拍摄的室外日光图像显示发生在云、水泥地面和柏油路上的小的“红偏色”变化。这些变化是细微的但是可见的。室外图像的最强偏色消除结果出自出现主红色或桔红色时的日落状态。
在室内自然图像中，闪光和荧光照明经常生成绿偏色。箱方法34提供对这种自然场景极好的识别和校正。在固定照明情况下，与单个发光体试验相比，偏色消除看起来不完全。这可能是这样一种情况导致的一些近中性色对象由日光照明而其它一些由荧光照明。在全局色度直方图70中，两种对象将显示两个光谱峰(每种光源一个)，其差异可能足以使得各个峰出自不同的色彩象限。在这样的情况下，箱方法34将避免做出强校正。在这些情况下，分段信息可以提供各个对象的空间坐标。可以进行分析以根据近中性色对象的图像坐标对它们进行分组。近中性色组之间的加权微分(differentiation)将提供位置与唯一偏色之间的相关性。在这种情况下，可以执行两个单独的偏色消除，从而用对象的平均局部色彩平衡各个对象集。
对于箱方法34，选择L*a*b*色空间，因为似乎应需要感知上的一致性以检测和校正细微偏色。L*a*b*的浮点和立方根要求确实降低了处理速度。在233 MHz Pentium Windows计算机上，320×240RGB图像的典型处理时间为7秒(没有优化所采用的程序设计)。应该注意，更大的图像尺寸并不增加偏色坐标的确定或分段的精确度。已发现，100×75像素图像足以检测中等色偏(8比特坐标码的12或12以上单位的a*、b*半径)。但是，对真实场景的分段确定被严格限制在100×75像素偏色内，因为在该分辨率上，8向连接对象趋向于相互脱离。从经验上说，320×240像素图像给出了相对于处理时间的最佳分段以及2个单位的偏色确定矢量半径精度。
为了研究该算法如何依赖于色空间的选择，因“YUV”在JPEG压缩方案中的普及而选择了它。RGB线性坐标的变换如下YUV0.2990.5870.114-0.16875-0.331260.50.5-0.41869-0.08131×RGB---(1)]]>以及逆变换RGB=1.00.01.4021.0-0.34413-0.714141.01.7720.0×YUV---(2)]]>尽管YUV需要3×3矩阵乘法，但它仍然比L*a*b*快大约19％。320×240像素图像在同一环境中进行处理一般需要5.6秒。偏色消除的色轴矢量几乎与L*a*b*结果一样。但是，分段结果中存在明显的不同。YUV结果更粗糙，因为它一般发现更少一些的近中性色对象。这些发现中，像素面积基本相同。没有L*a*b*导致的平方根微分，YUV的颜色坐标显示在创建初始色箱时量化噪声方面的明显增大。两次迭代之后，主色度峰的YUV布局变得与L*a*b*结果相同。
色空间的最后一个选择是“Lst”。一个简单颜色空间，通过简单的加法和除法将RGB变换为L、s、tL＝(R+G+B)/3
(3)s＝R/(R+G)(4)t＝R/(R+B)(5)该算法的主要用途是在系统中设法快速地发现自然图像中的肤色。尽管色轴非常原始且粗糙，但是该算法利用比L*a*b*色空间多50％的迭代，产生几乎完美的对应关系。应该注意，在R和G平面中s从1到0，而t在R和B平面中也一样。测试中，s、t颜色变化的粗糙度需要附加迭代以慢慢地稳定在偏色矢量上。但是一旦稳定，将观察到校正图像上同样的视觉效果。对于320×240像素图像环境，Lst速度是大约5.13秒。该算法的大部分处理时间被分类程序消耗，而很少时间花在色空间计算上。就象YUV结果，Lst产生相当粗糙的分段结果，这些结果慢慢地收敛在近中性色对象的稳定描述中。最有趣的是，肤色对象没有立即被Lst色空间捕捉。相反，面部色调被分配的次数是L*a*b*和YUV系统的大约两倍的色相数量。假定Lst色空间所提供的处理速度稍有提高，得出以下结论可以和Lst一样快地执行LUT增强的L*a*b*算法。加快收敛到稳定的色度偏色距离和增强的分段结果使L*a*b*成为最佳模式。
开始，由于在起初算法开发期间，在亮度和两个色度通道上利用了宽的预备箱范围参数集，所以肤色出现了问题。这导致了分段覆盖典型图像中所有像素的80％，并且所有肤色被选为近中性色对象。如果早期的迭代阶段是偏色校正，那么肤色对象将失去它们的一些黄-桔红色度。该结果相当明显并且非常有害。随后的开发允许将窄范围用于亮度和色度通道，它快速地收敛在最小共用色度矢量上。这大大降低了最终近中性色对象中肤色的出现。为了安全地预防肤色的“冲淡”，一种软件模块被用于检测分段对象中肤色的出现并降低色度的减少。如在文献中定义的肤色的一般区域与图像数据库中发现的特殊情况实例一起使用。
尽管并不需要利用肤色模块，但它有一个非常有用的特性。一旦分段箱已被填充，则通过软件模块利用肤色鉴别可被用于发现人的面部、手臂和手。分段箱包括它们像素分布的形心。创建附加探查模块以确定箱的像素分布是否与椭圆体匹配并估计其长轴和短轴。只有对于肤色箱，该模块才将利用人头长短轴比的标准确定它是否可以属于面部。即使有来自丢失像素、眼镜和珠宝的噪声，面部检测器也显示合理的性能。这些测试仅限于正面情况。确定头部的估计高度后，程序将检查具有这种头部大小的人，他/她的颈、手臂和手位于的区域。可以成功地搜索其它肤色箱，从而在这些位置发现与颈、手臂和手对象对应的对象，从而确定良好曝光图像中是否可以执行人数的精确计算。
使用分段有助于识别大的近中性色对象的空间位置。目标是设法定位诸如吊灯、明亮照射的外窗和日光天空等光源的位置。箱方法34证明在识别和区分大的近中性色对象方面是非常可靠的。快速地对具有变化亮度的弯曲对象进行分类并放置在一个或两个色箱中。通过箱方法34的迭代允许改变色彩特征的箱的区域合并与正发生明显照明变化的对象一致。
根据区域的色度对图像的这些区域进行合并的能力是本发明的一个明显特性。调整亮度和色度的初始范围在具有纹理和低级图案的分裂(collapsing)对象中是关键的。与初始箱范围同时存在的是描述任何单个箱可以拥有的绝对最大色度范围的参数集。这个集合允许8向连接箱和区域互相合并。目前，该算法保持箱的绝对最大色度增长为固定值，直到近中性色对象组的色度矢量稳定。相信用亮度和色度的窄箱范围的早期迭代可以有助于将图像的内容分为两个计划的类。第一类属于具有少数非常大的对象的图像，而第二类针对许多小的并且随机定向的对象。根据这两类的知识，应该可能实现集中在发现作为图像主题的少数关键对象的专门箱增长特性。
总的来说，当前算法快速地确定较小的图像(大约200×300像素)中是否出现偏色。任何具有一个亮度和两个色度轴的色空间可以找到色度矢量，它表示到消色轴的大的近中性色对象的位移。试验上，L*a*b*在寻找稳定的色品矢量方面是三个色空间中最坚固的。一旦进行了该矢量的测量，就生成简单的象ICC一样的简档以从该图像中消除偏色表现。
尽管已通过特定最佳模式来描述本发明，但将理解，根据以上描述，许多替代、修改和变型对于本领域的技术人员来说都是显而易见的。因此，本说明书旨在包括所有这种替代、修改和变型，它们均在所包括的权利说明书的精神和范围内。本文所述或附图所示的所有内容将被解释为示意性的而非限制的意义。
权利要求
1.一种偏色检测和消除的方法，它包括以下步骤提供由像素构成的彩色图像[32]；提供具有一个消色轴[12]和两个色轴[14、16]的色空间；提供到所述消色轴[12]的缺省灰色半径[60]；在色平面[14-16]中建立中性色[42]的箱[42]；根据像素色品将所述像素放入所述箱[42]；用所述缺省灰色半径[60]内所述箱[42]中的所述像素的色品峰[74、76、78]计算色彩直方图[44]；根据所述色彩直方图[44]中的所述色品峰[74、76、78]将所述缺省灰色半径[60]调整到灰色半径[64]；根据所述灰色半径[64]内的主色品峰[80]检测偏色，并根据其到所述消色轴[12]的距离检测偏色距离；通过从所述色空间中的所述彩色图像[32]减去所述偏色距离，从而从所述像素消除所述偏色；以及输出消除了偏色的彩色图像[36]。
2.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤指定所述彩色图像[32]中的相邻像素组；以及除去其中大部分像素没有相似色度值的那些相邻像素组，从而将只处理近固定反射率的大对象。
3.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤建立色度值的范围；以及通过连接具有近似色度值范围的箱[42]来压缩所述箱[42]。
4.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤建立色彩范围；对所述箱[42]进行分类，以确定其中像素到具有最接近色彩范围的其它箱[42]中其它像素的连接；建立分段箱[66]，以包括具有所述最接近色彩范围的连接像素；将具有所述最接近色彩范围的连接像素放入所述分段箱[66]；以及计算所述分段箱[66]的形心。
5.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤建立色彩范围；对所述箱[42]进行分类，以确定其中像素到具有最接近色彩范围的其它箱[42]中其它像素的连接；建立分段箱[66]，以包括具有所述最接近色彩范围的连接像素；将具有所述最接近色彩范围的连接像素放入所述分段箱[77]；以及检测所述分段箱[66]之间的空间，从而确定所述彩色图像[32]中对象的边界。
6.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤建立色彩范围；对所述箱[42]进行分类，以确定其中像素到具有远端色彩范围的其它箱[42]中其它像素的连接；建立分段箱[66]，以包括具有最接近色彩范围的连接像素；将具有所述最接近色彩范围的连接像素放入所述分段箱[66]；以及检测具有非相邻色彩范围的所述分段箱[66]之间的空间，从而确定所述彩色图像[32]中高色品对象的边界。
7.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及改变所述灰色半径[64]，以包括最接近所述缺省灰色半径[60]的所述色品峰[74、76、78]。
8.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及改变所述灰色半径[64]，以包括最接近所述缺省灰色半径[60]的所述色品峰[74、76、78]。
9.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及改变初始箱色度范围。
10.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及改变任何箱从初始箱色度范围的最大增长。
11.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及重新计算所述灰色半径[64]内箱[42]中像素的色彩直方图[44]。
12.如权利要求1所述的方法，其特征在于调整所述缺省灰色半径[60]的步骤包括以下步骤建立色彩范围；对所述箱[42]进行分类，以确定其中像素到具有最接近色彩范围的其它箱[42]中其它像素的连接；建立分段箱[66]，以包括具有最接近色彩范围的连接像素；将具有所述最接近色彩范围的连接像素放入所述分段箱[66]；以及检测最接近所述缺省灰色半径[60]的色品峰[74、76、78]；以及重新计算所述灰色半径[64]内所述分段箱[66]中像素的色彩直方图[44]。
13.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤确定所述色空间的不同颜色象限中主色品峰[80]的存在，以防止消除所述偏色的步骤。
14.如权利要求1所述的方法，其特征在于计算色彩直方图[44]的步骤包括以下步骤当所述主色品峰的幅度小于比非主色品峰[74、76、78]的平均幅度大数倍的倍增阈值时，从所述色彩直方图[44]的计算中去除主色品峰[80]。
15.如权利要求1所述的方法，其特征在于提供缺省灰度半径[60]的步骤包括以下步骤从由L*a*b*、YUV和Lst构成的组中选择的一个色空间中选择色空间。
16.如权利要求1所述的方法，其特征在于消除所述偏色的步骤包括以下步骤建立具有偏色距离校正的查找表；以及利用所述查找表变换所述彩色图像[32]，以提供消除了所述偏色的彩色图像[36]。
全文摘要
一种色彩校正方法利用自适应分段。具有缺省灰色半径[60]的消色轴[12]的色空间在色平面中建立中性色箱[42]。将数字彩色图像[32]的像素放入箱[42]中。用缺省灰色半径[60]内像素的色品峰[74、76、78]计算色彩直方图，其中所述缺省灰色半径被调整为灰色半径[64]。从灰色半径[64]内的主色品峰[80]来检测偏色，并从消色轴[12]检测偏色距离。通过从色空间中的彩色图像[32]减去偏色距离，从而从像素中消除偏色，并输出消除了偏色的彩色图像。
文档编号H04N1/60GK1455910SQ01815498
公开日2003年11月12日 申请日期2001年7月5日 优先权日2000年7月18日
发明者T·J·库珀 申请人:索尼电子有限公司