专利名称：图像白平衡方法和装置的制作方法
技术领域：
本发明总体地涉及图像处理，更具体地涉及图像白平衡方法和装置。
背景技术：
在图像处理中，经常需要进行白平衡处理和/或颜色增强处理。特别地，在拍摄白板图像的情况下，也经常需要进行诸如白平衡校正的颜色校正处理。已经提出了一些进行白平衡处理的技术。在Zhengyou Zhang和Li_wei He 的 Whiteboard Scanning and Image Enhancement, TechnicalReportMSR-TR-2003-39, Microsoft的技术报告中，提出了一种白板处理技术，包括区域识别和白平衡等。其白平衡方法是将白板分为小块，对每个小块的像素亮度排序，然后计算或推测每块的背景颜色从而组成整块白板的背景颜色，然后用该背景颜色做白平衡。在Jun-yan Huo, Yi-Iin Chang, Jing Wang,禾Π Xiao-xia Wei 等的题为 RobustAutomatic White Balance Algorithm using Gray Color Points in Images. 2006, IEEE Consumer Electronics，2006年5月第52卷第2期541-546页的文献中，描述了一种
在YUV空间中寻找灰点从而做白平衡的算法。在YUV色彩空间内基于条件/WP=^ttu
Y
寻找灰点，找到灰点后就能获得颜色偏差信息，然后做白平衡。另外，在题为“Whitebalancing a image”的专利申请公开 US20040208363A1 中， 描述了用人脸做白平衡的方法。人的皮肤是有预定义颜色范围的，通过人脸识别寻找到人脸，从而得到皮肤颜色，获得皮肤颜色与先验数据中皮肤颜色的偏差来做白平衡。
发明内容
在涉及诸如白板共享系统(指多会议室远程共享同一块白板)所拍摄的图像中， 白板颜色例如因为摄像头白平衡不准确而有偏移。摄像头拍下的图像常常需要做白平衡校正。另外，现有白平衡系统，一般采用一个统一的颜色校正参数来对图像中的所有像素进行颜色校正。但是，申请人发现，在例如复杂光线下，所拍摄的例如白板图像经常有如下情况 如图像中有些部分比较亮，而有些部分比较暗，有些部分的颜色的色调偏暖，有些部分的颜色的色调偏冷，如图1所示。这时如果采用单个全局颜色校正参数加以校正，则很可能无法很好地校正偏色，并无法获得符合自然效果的白板图像。为此，提出了本发明。根据本发明的一个方面，提供了一种图像白平衡装置，该装置可以包括背景提取部件，用于提取图像中的背景像素；背景代表颜色获得部件，用于基于所提取的背景像素来获得背景代表颜色；全局倍率计算部件，用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；初步颜色调整部件，用于通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；背景精确倍率计算部件，用于对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率；以及精确颜色调整部件，用于通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。根据本发明的另一个方面。提供了一种图像白平衡方法，该方法包括如下步骤提取图像中的背景像素；基于所提取的背景像素来获得背景代表颜色；基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率；以及通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。根据本发明的另一个方面，提供了一种图像的背景像素的颜色调整方法，可以包括下述步骤提取图像中的背景像素；基于所提取的背景像素来获得背景代表颜色；全局倍率计算部件，用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；对于每个背景 像素，对该经初步调整的背景像素的颜色进行颜色调整，以便符合预期背景颜色的预定颜色特性，由此得到预期最终背景颜色。利用本发明，通过全局性调整和精细性逐像素调整的两步调整来进行白平衡校正，可以获得更符合自然效果的白板图像。
图1是图示原始白板和复杂光线下摄像头拍摄的白板图像的示意图；图2是根据本发明一个实施例的图像白平衡方法的整体流程图；图3是根据本发明另一个实施例的图像白平衡方法的整体流程图；图4是根据本发明一个实施例的在对一个背景像素的精确校正倍率通过分块平均加以调整时的分块大小的例子的示意图；图5是利用各个像素的精确校正倍率来校正各个像素的颜色的操作的示意图；图6是据本发明一个实施例的图像白平衡装置的示意性框图；以及图7是根据本发明一个实施例的可以实践本发明的示例性计算机系统。
具体实施例方式为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。下面为便于理解和描述方便，首先阐述一下本发明总体构思。考虑到例如复杂情况下的白板图像的不平衡表现，认为全局颜色校正不足以将颜色校正至符合要求。为此， 本发明以两步来进行调整，第一步，进行全局性的粗糙式颜色校正，使之接近预期的校正目标；第二步，逐个像素地进行精细式颜色校正，至符合预期的校正目标。下面为便于理解和方便，常常以对白板图像进行白平衡处理为例来加以说明。不过需要注意的是，本发明并不局限于此，而是可以应用于其它的需要进行白平衡处理的情况，例如纸质文字材料的拍摄处理等。另外，在下面的说明时，像素颜色以RGB表示方法表示，不过这仅仅是示例，而不构成对本发明的限制，其它表示 方法，例如HSV、HLS等均可以用于本发明。图2是根据本发明一个实施例的图像白平衡方法的整体流程图。在步骤S210，提取图像中的背景像素。可以使用各种图像二值化常规方法，判断哪些像素是背景哪些像素是前景。如常见的，一般作为背景的白板的亮度大于前景的亮度，所以可以根据例如经验或者实验等选取预定阈值，亮度高于该预定阈值的像素被视为背景像素，亮度低于该预定阈值的像素被视为前景像素。另外，任何其它背景像素提取方法，例如背景技术中所提及文献中所使用的背景像素提取方法，均可以应用于本发明。在步骤S220，基于所提取的背景像素来获得背景代表颜色。所谓背景代表颜色， 是指可以代表大多数背景像素的颜色特征的颜色。例如，可以计算所有背景像素的颜色平均值作为背景代表颜色。再例如，也可以对所有背景像素的亮度进行排序，取亮度值居中的像素的颜色作为背景代表颜色。再例如，在计算背景像素的平均颜色之前，可以先去除所谓 “野点(outlier)”的那些严重偏离预期背景像素的范围的点。或者，代替对所有像素求平均值，可以对图像进行分块，从每个分块中选取一个或多个像素，然后基于所选取的像素来计算像素颜色平均值或居中值，作为背景代表颜色。在步骤S230，基于预期背景颜色和背景代表颜色确定背景像素的全局倍率。关于预期背景颜色，以白板为例，是在常规环境光下例如白板所应具有的颜色。预期背景颜色既可以根据经验值确定，例如认为某些白板的颜色即为白色，而有些白板的颜色为灰色等。再例如，可以在理想光线下以性能优越的相机拍摄白板，基于如此获得的图像来确定预期背景颜色。各种预期背景颜色的获取方法都可以用于本发明，其不构成对本发明的限制。设平均背景彦页色用 Caverage 表不，Caverage = (Raverage，Gaverage，Baverage)， 予页期背景彦页色用 Cexpected 表不，Cexpected = (Rexpected，Gexpected，Bexpected)。作为示例，例如，在白板共享系统中，预期背景颜色Cexpected是R = G = B(标准灰)并且颜色强度为200，当然这仅仅是示例，预期背景颜色根据应用环境不同和/或所应用的系统不同而可以是其他值。全局倍率以Kl表示，例如可以通过预期背景颜色和平均颜色的比值获得，即如公式(1)所示。Kl = Cexpected/Caverage = (Rexpected/Raverage, Gexpected/Gaverage, Bexpected/Baverage)...... (1)以上是最简单的全局倍率Kl计算方法，在不同环境下具体计算方法可以不同，例如可以在计算比值后再做归一化等。全局倍率Kl用来对背景像素的RGB值做初步调整，使其接近预期背景颜色。在步骤S240，通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色。设每个背景像素的原始颜色例如相机拍摄后的图像的颜色用C(i，j)表示，而经全局调整后的颜色用Ctemp(i，j)表示，可根据公式(2)得到全局调整后的颜色。Ctemp (i，j) = Kl*C(i，j)......(2)在步骤S250，对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率。
通过全局倍率调整后的背景颜色并不是完全被调整到了预期背景颜色，在不同光照区域有不同偏差，因此将对其再做一次精确微调，以调整到具有期望的颜色属性。预期背景颜色的期望颜色属性在不同环境下可能不同。例如，在白板共享系统中， 可能希望R、G、B的强度相同。再例如，在其它情况下，可能希望R、G、B的强度之间满足 2:1: 1的比例或者其它的比例。再例如有些情况下希望G不等小于R与B的平均。作为一个实施例子，在白板共享系统中，如下述公式(3)所示，调整经全局调整后 的颜色Ctemp (i，j)，使R = G = B = (R+G+B)/3，得到预期最终背景颜色Cbgadjusted (i, j)。Ctemp{i,j) = = ==> Cbgadjusted(ij)(3)进而，可以基于每个背景像素的预期最终背景颜色Cbgadjusted(i，j)和原始颜色C(i，j)，由例如下述公式(4)得到背景像素的精确倍率K2(i，j)。K2(i，j) = Cbgadjusted(W)ZC(W)......(4)可选地，在如上得到各个背景像素的精确倍率K2(i，j)后，可以基于对于每个背景像素，基于其周围的背景像素的精确倍率，调整其精确倍率，由此消除可能的噪声影响等。作为示例，可以对上述背景像素的精确倍率K2(i，j)做分块平均以过滤掉可能的噪声影响，得到修正后的精确倍率K3(i，j)，如公式(5)所示。K3 (i，j) = avg (K2 (m, η)) (i_k < m < i+k, j-k < η < j+k) ......(5)其中，(i，j)为要对其精确倍率加以修正的目标像素，(m，n)为参与修正像素(i， j)的背景像素，k表示分块大小，k为正整数，当k = 2时，示例性分块的示意图如图4所示， 其中标有k3的位置指示要对其精确倍率加以修正的目标像素，空白位置为前景像素。此外，关于该分块平均法，在求平均值的时候也可以对不同距离的像素加入一定的权重系数，例如距离越近的像素权重越大等。在步骤S260，通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。例如，以每个背景像素的最终精确倍率乘以其原始颜色而获得对背景像素的白平衡结^ ο需要说明的是，如果单纯对背景像素进行白平衡处理，那么显然可以不计算精确倍率，而直接在于步骤S250确定每个像素的预期最终背景颜色之后，将该像素直接调整到该预期最终背景颜色。如果要进一步基于周围像素进行调整，例如要进行分块平均，则可以直接对像素颜色而非对像素的精确倍率进行分块平均，以消除可能存在的噪声。此外，在很多情况下，还可以对前景像素也进行白平衡处理，此时将用到上述背景像素的精确倍率。图3是根据本发明另一个实施例的图像白平衡方法的整体流程图，其中既对背景像素也对前景像素进行白平衡处理。图3所示的步骤S310-S360与图2所示的步骤S210-S260基本相同，这里其描述？？。图3所示的白平衡处理方法与图2所示白平衡处理方法的不同在于多了步骤S370 和S380。下面分别加以详细说明。在步骤S370，对于每个前景像素，基于其周围的背景像素的精确倍率和/或其周围的已经计算得知精确倍率的前景像素的精确倍率，计算该每个前景像素的精确倍率。
例如，每个前景像素的精确倍率通过其周围像素的调整倍率的均值获得，如公式 (6)所示。由于前景无法直接得到调整倍率，所以需要通过周围像素的调整倍率获得。K3 (i，j) = avg (K3 (m, η)) (i_k < m < i+k, j-k < η < j+k) ......(6)其中，(i，j)是精 确调整倍率待求的前景像素。(m，η)是背景像素或精确调整倍率已知的前景像素，k表示所选取周围像素的范围，k为正整数。上述公式(6)仅仅为示例，在求平均值的时候也可以对不同距离的像素加入一定的权重系数，例如距离越近的像素权重越大等。在步骤S380，通过每个前景像素的精确倍率对每个前景像素的颜色进行调整。例如，根据下述公式(7)求得最后调整后的像素的颜色。Cadjusted (i，j) = K3(i，j)*C(i，j) ......(7)其中，C(i，j)是像素(i，j)的原始颜色，例如，摄像头拍摄到的颜色， Cadjusted (i, j)是调整后的颜色。图5是利用各个像素的精确倍率来校正各个像素的颜色的操作的示意图。如图5 所示，偏色的原始图像经精确倍率校正后，获得了效果良好的调制后图像。上述图3所示的图像白平衡方法的执行过程仅仅是示例，并不表示各个步骤之间的顺序必然按照所示顺序时间上顺次执行。相反，有些步骤的顺序可以调换，例如步骤S370 可以在步骤S360之前执行；此外，有些步骤可以合并执行，例如步骤S360和步骤S380可以合并起来，一起根据最终的精确倍率对包括背景像素和前景像素的所有像素的初始颜色进行调整，获得白平衡处理后的结果。总之，上述参考图3描述的白平衡处理方法仅仅作为示例提供，以便于本领域技术人员理解本发明，而并非作为本发明的限制。另外，根据本发明再一实施例，提供了一种图像的背景像素的颜色调整方法，可以包括下述步骤提取图像中的背景像素；基于所提取的背景像素来获得背景代表颜色；基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；对于每个背景像素，对该经初步调整的背景像素的颜色进行颜色调整，以便符合预期背景颜色的预定颜色特性，由此得到预期最终背景颜色。图6是据本发明一个实施例的图像白平衡装置600的示意性框图。该图像白平衡装置600可以包括背景提取部件601，用于提取图像中的背景像素；背景代表颜色获得部件602，用于基于所提取的背景像素来获得背景代表颜色；全局倍率计算部件603，用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；初步颜色调整部件604，用于通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；背景精确倍率计算部件605，用于对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率；以及精确颜色调整部件605，用于通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。该图像白平衡装置600还可以包括前景精确倍率计算部件，用于对于每个前景像素，基于其周围的背景像素的精确倍率和/或其周围的已经计算得知精确倍率的前景像素的精确倍率，计算该每个前景像素的精确倍率，以及所述精确颜色调整部件还通过每个前景像素的精确倍率对每个前景像素的颜色进行调整。
背景代表颜色获得部件可以基于所提取的背景像素计算背景平均颜色，作为背景代表颜色，或者对于所提取的各个背景像素依据亮度进行排序，并且将居中的像素的颜色作为背景代表颜色。所述图像可以是通过拍摄白板获得的图像，以及所述图像白平衡装置还可以包括预期颜色获取部件，用于基于通过在预定条件下拍摄空白白板得到的图像而获取所述 预期背景颜色。所述背景精确倍率计算部件可以包括第二颜色调整部件，用于对于每个背景像素，调整所述经初步调整的背景像素的颜色，以便符合预期背景颜色的预定颜色特性，由此得到预期最终背景颜色。该图像白平衡装置还可以包括精确倍率调整部件，用于对于每个背景像素，基于其周围的背景像素的精确倍率，调整其精确倍率。图7是根据本发明一个实施例的可以实践本发明的示例性计算机系统700的示意图。将参考图7给出作为实现上述图像白平衡装置的硬件配置的例子的描述。CPU(中央处理单元)701根据被存储在ROM (只读存储器)702或存储部分708中的程序来进行各种处理。例如，CPU执行在上述实施例中描述的对图像进行白平衡处理的方法的程序。RAM(随机存取存储器)703适当地存储由CPU 701执行的程序、数据等等。CPU 30UROM 702和RAM 703通过总线704相互连接。CPU 701通过总线704连接于输入/输出接口 705。包括键盘、鼠标、麦克风等的输入部分706和包括显示器、扬声器等的输出部分连接于输入/输出接口 705。CPU 701根据从输入部分706输入的指令来执行各种处理。CPU 701向输出部分707输出处理的结果。连接于输入/输出接口 705的存储部分708包括例如硬盘，并存储由CPU701执行的程序和各种数据。通信部分709通过诸如因特网、局域网等的网络来与外部装置通信。连接于输入/输出接口 705的驱动器710驱动诸如磁盘、光盘、磁光盘或半导体存储器等的可移动介质711，并获得记录在那里的程序、数据等等。所获得的程序和数据在需要时被传输给存储部分708，并被存储在那里。以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和 /或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照上述顺序执行，而是可能可以调换执行顺序。 上述具体实施方式
，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任 何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
权利要求
1.一种图像白平衡装置，该装置包括背景提取部件，用于提取图像中的背景像素；背景代表颜色获得部件，用于基于所提取的背景像素来获得背景代表颜色； 全局倍率计算部件，用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；初步颜色调整部件，用于通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；背景精确倍率计算部件，用于对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率；以及精确颜色调整部件，用于通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。
2.根据权利要求1的图像白平衡装置，还包括前景精确倍率计算部件，用于对于每个前景像素，基于其周围的背景像素的精确倍率和/或其周围的已经计算得知精确倍率的前景像素的精确倍率，计算该每个前景像素的精确倍率，以及所述精确颜色调整部件还通过每个前景像素的精确倍率对每个前景像素的颜色进行调整。
3.根据权利要求1的装置，所述背景代表颜色获得部件基于所提取的背景像素计算背景平均颜色，作为背景代表颜色，或者对于所提取的各个背景像素依据亮度进行排序，并且将居中的像素的颜色作为背景代表颜色。
4.根据权利要求1的装置，其中，所述图像是通过拍摄白板获得的图像，以及所述图像白平衡装置还包括预期颜色获取部件，用于基于通过在预定条件下利用满足预定要求的相机拍摄空白白板得到的图像而获取所述预期背景颜色。
5.根据权利要求1的装置，其中所述背景精确倍率计算部件包括第二颜色调整部件，用于对于每个背景像素，调整所述经初步调整的背景像素的颜色， 以便符合预期背景颜色的预定颜色特性，由此得到预期最终背景颜色。
6.根据权利要求5的装置，还包括精确倍率调整部件，用于对于每个背景像素，基于其周围的背景像素的精确倍率，调整其精确倍率。
7.一种图像白平衡方法，该方法包括如下步骤 提取图像中的背景像素；基于所提取的背景像素来获得背景代表颜色； 基于预期背景颜色和背景代表颜色确定背景像素的全局倍率； 通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色确定该背景像素的精确倍率；以及通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。
8.根据权利要求7的图像白平衡方法，还包括对于每个前景像素，基于其周围的背景像素的精确倍率和/或其周围的已经计算得知精确倍率的前景像素的精确倍率，计算该每个前景像素的精确倍率，以及通过每个前景像素的精确倍率对每个前景像素的颜色进行调整。
9.根据权利要求7的图像白平衡方法，其中基于所提取的背景像素计算背景平均颜色，作为背景代表颜色，或者对于所提取的各个背景像素依据亮度进行排序，并且将居中的像素的颜色作为背景代表颜色。
10.一种图像的背景像素的颜色调整方法，包括 提取图像中的背景像素；基于所提取的背景像素来获得背景代表颜色； 用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率； 通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；对于每个背景像素，对该经初步调整的背景像素的颜色进行颜色调整，以便符合预期背景颜色的预定颜色特性，由此得到预期最终背景颜色。
全文摘要
提供了一种图像白平衡装置和方法，该装置可以包括背景提取部件，用于提取图像中的背景像素；背景代表颜色获得部件，用于基于所提取的背景像素来获得背景代表颜色；全局倍率计算部件，用于基于预期背景颜色和背景代表颜色确定背景像素的全局倍率；初步颜色调整部件，用于通过全局倍率对每个背景像素的原始颜色进行初步调整，获得经初步调整的背景像素的颜色；背景精确倍率计算部件，用于对于每个背景像素，基于该经初步调整的背景像素的颜色，确定预期最终背景颜色，基于该预期最终背景颜色和原始颜色之间的倍率获得该背景像素的精确倍率；以及精确颜色调整部件，用于通过每个背景像素的精确倍率对每个背景像素的原始颜色进行调整。利用本发明，通过全局性调整和精细性逐像素调整的两步调整来进行白平衡校正，可以获得更符合自然效果的白板图像。
文档编号G06T5/00GK102446347SQ20101050107
公开日2012年5月9日 申请日期2010年10月9日 优先权日2010年10月9日
发明者张文波, 李燕 申请人:株式会社理光