专利名称：一种对于白板彩色图像进行颜色增强的方法、装置及系统的制作方法
技术领域：
本发明属于数字图像处理领域。尤其特别的是，本发明公开了一种用于白板彩色图像颜色增强的方法、装置和系统。通过调整白板彩色图像的色调及提升饱和度，以增强用彩色白板笔写在白板上的内容在白板彩色图像的颜色。
背景技术：
在白板内容共享系统中，有多种因素会影响到它所输出的白板彩色图像的颜色。一个因素是该白板内容共享系统所使用的摄像头及其白平衡的设置。另一个因素是该系统内部所使用的图像处理算法，如图像的减法算法等。这些因素通常会导致颜色的失真及色差等问题。例如，在输出的白板彩色图像中， 颜色可能会变得模糊且不鲜艳，也可能会变的不纯。所以，针对现有技术中的上述问题提出本发明1.对白板彩色图像中的白板内容的颜色进行校正，使其颜色尽可能的变纯。2.对白板彩色图像中的白板内容的颜色进行增强，使其颜色尽可能变得鲜艳。
发明内容
本发明的另外方面和优点部分将在后面的描述中阐述，还有部分可从描述中明显地看出，或者可以在本发明的实践中得到。本发明公开了一种用于白板彩色图像的颜色增强的方法，该方法可以用于一种白板内容共享系统。本发明提供一种对于白板彩色图像进行颜色增强的装置，包括白板内容提取单元，用于从白板彩色图像中提取前景部分作为白板内容；颜色通道拉伸单元，用于分别拉伸所提取的白板内容的每个像素中的R、G和B颜色通道值；色调调整单元，用于在不改变提取的白板内容的每个像素的颜色强度的条件下，调整每个像素的颜色色调；饱和度/强度比值调整单元，用于在不改变提取的白板内容的每个像素的颜色色调的条件下，调整像素的饱和度与强度的比值至一比值期望值rd;以及饱和度及强度提升单元，用于提升所述白板内容的每个像素的饱和度及强度，使其在不改变每个像素的颜色色调的条件下使其饱和度及强度分别逼近饱和度期望值S和强度期望值Id。本发明还提供一种对于白板彩色图像进行颜色增强的方法，包括a.从白板彩色图像中提取前景部分作为白板内容；b.分别拉伸所提取的白板内容的每个像素中的R、G和 B颜色通道值；c.在不改变提取的白板内容的每个像素的颜色强度的条件下，调整每个像素的颜色色调；d.在不改变提取的白板内容的每个像素的颜色色调的条件下，调整像素的饱和度与强度的比值至一比值期望值rd;以及e.提升所述白板内容的每个像素的饱和度及强度，使其在不改变每个像素的颜色色调的条件下使其饱和度及强度分别逼近饱和度期望值和强度期望值Id。本发明还提供一种白板内容共享系统，包括视频捕获设备，用于拍摄并捕获本地用户用彩色白板笔写在白板上的内容，并将其输出为数字图像；计算设备，包含如上所述的对于白板彩色图像进行颜色增强的装置，用于通过视频捕获设备拍摄的白板图像与从远端传输过来的由远端共享的白板图像之间的减法操作，得到白板内容，并对白板彩色图像进行颜色增强；数据传输设备，用于接收其他远端系统的共享白板内容并能向其他远端系统发送由所述计算设备得到的白板内容；以及投影设备，用于将远端以及本地的共享内容投射到外部介质上用于显示。本发明可以应用于新的人机交互领域。本发明适用于一种白板内容共享系统，处于不同位置的用户通过它可以共享以及交换用彩色白板笔写在白板上的内容。
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其他目的、 特性和优点将会变得更加清楚，其中相同的标号指定相同结构的单元，并且在其中图1示意性地示出了根据本发明实施例针对白板彩色图像的颜色增强装置的方框图；图2示意性地示出了根据本发明实施例针对白板彩色图像的颜色增强方法的流程图；图3示意性地示出了从白板彩色图像中提取白板内容的过程的示例；图4示意性地示出了用于颜色通道拉伸的映射函数的函数曲线图；图5示意性地示出了在不改变颜色强度的条件下调整颜色的色调时，三个颜色通道R、G和B的变化的示例；图6示意性地示出了在不改变颜色色调的条件下调整饱和度与强度的比值时，三个颜色通道R、G和B的变化的示例；图7示意性地示出了在不改变像素颜色色调的条件下提升饱和度及强度的值，使其逼近一个理想期望值时，三个颜色通道R、G和B的变化的示例；图8示意性地示出了根据本发明实施例在经过每一方法步骤后的颜色的变化情况、及最终的实验结果；以及图9示意性地示出了根据本发明实施例的白板内容共享系统。
具体实施例方式下面将参照示出本发明实施例的附图充分描述本发明。然而，本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。为了清楚和简洁，将省略对公知功能和结构的描述。这里使用的术语仅仅是为了描述特定实施例的目的，而并不意图限制本发明。除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。图1示意性地示出了根据本发明实施例针对白板彩色图像的颜色增强装置的方框图。如图1所示，根据本发明实施例的颜色增强装置包括白板内容提取单元101、颜色通道拉伸单元102、色调调整单元103、饱和度/强度比值调整单元104、以及饱和度及强度提升单元105。白板内容提取单元101，用于从输入的白板彩色图像中提取前景部分作为白板内容。该白板内容是用户用彩色白板笔写在白板上的部分。在输入的白板彩色图像中，白板内容可以被看作是图像的前景部分而白板本身可以被看作是图像的背景部分，该图像可包含本地用户写在白板上的新增内容。可以通过计算像素的亮度、饱和度及强度等属性值将前景部分提取出来。颜色通道拉伸单元102，用于从白板彩色图像中分别拉伸所提取出的组成白板内容的每一个像素中的R、G和B颜色通道的值。在下文中，将参照图4描述具体的拉伸过程。色调调整单元103，用于在不改变组成上述提取出的白板内容的每个像素的强度值的条件下，调整每个像素的色调值。在下文中，将参照图5描述具体的色调调整过程。饱和度/强度比值调整单元104，用于在不改变组成上述提取出的白板内容的每个像素的色调值的条件下，调整像素的饱和度值与强度值的比例关系。在下文中，将参照图 6描述具体的饱和度/强度比值调整过程。饱和度及强度提升单元105，用于提升组成白板内容的每个像素的饱和度值及强度值，使其在不改变像素色调的条件下逼近某个较高的数值。在下文中，将参照图7描述具体的饱和度及强度提升过程。图2示意性地示出了根据本发明实施例针对白板彩色图像的颜色增强方法的流程图。如图2所示，本发明的具体处理过程描述如下在步骤S201，输入白板彩色图像。当从所述的白板内容共享系统中得到的白板彩色图像作为输入进入到本发明的颜色增强装置中后，在步骤S202，白板内容提取单元将从该输入的白板彩色图像中提取出白板内容。在本发明中，白板彩色图像的前景部分被认为是白板内容，且其颜色需要被增强。白板彩色图像的前景部分作为后续步骤的输入被保留， 而其背景部分则被忽略不作处理。然后对于白板内容(S卩，白板彩色图像的前景部分)中的每一个像素，做如下的处理在步骤S203，颜色通道拉伸单元将会分别拉伸像素的三个颜色通道，R、G和B，的数值，以增加颜色通道数值的对比。在步骤S204，色调调整单元将会在不改变颜色强度的条件下调整像素颜色的色调，以能够得到较纯的颜色。在步骤S205，饱和度/强度比值调整单元将会在不改变像素颜色色调的条件下调整饱和度与强度的比值至一个理想期望值。在步骤S206，饱和度及强度提升单元将会在不改变像素颜色的色调的条件下提升像素颜色的饱和度及强度，以使得颜色变得鲜艳。当白板内容上的所有像素都处理完时，整个流程完成。最终输出图像，即，经过颜色增强后的图像。
图3示意性地示出了从白板彩色图像中提取白板内容的过程的示例。所述的白板内容是指用户用彩色白板笔写在白板的部分在白板彩色图像上的表示部分。在所述的白板彩色图像中，其前景部分可以被看作是白板内容，而白板本身则可以被作为图像的背景部分。可以通过计算像素的亮度、饱和度及强度等属性值将前景部分提取出来。首先，白板内容的亮度通常小于白板本身，所以定义了一个亮度阈值Tlightmss以检验某个像素是否属于前景部分。当该像素的亮度小于该亮度阈值Tlightess时，说明它属于前景部分。这里像素的亮度值可以通过计算像素的三个颜色通道R、G和B的加权平均值得到，计算公式如下L(R, G, B) = Lightness (R, G, B) = 0. 299*R+0. 587*G+0. 114*B (1)如上所述的亮度阈值Tlightness可以通过一些现有技术中已知的自适应阈值算法， 例如Bernsen算法、Niblack算法，计算得到，针对不同的白板彩色图像将得到不同的阈值。同样可以定义饱和度及强度的阈值Tsaturati。n and Tintmsity。前景像素的饱和度值必须满足大于某个饱和度阈值Tsaturati。n，同时其强度值也必须大于某个强度阈值Tintensityt5 如上所述的像素的饱和度值和强度值也同样可以由像素的三个颜色通道R、G和B计算得到S (R, G, B) = Saturation (R, G, B) = l_3Min (R, G, B) / (R+G+B) (2)I (R, G, B) = Intensity (R, G, B) = ((R+G+B) /255) /3(3)可以针对绝大多数的情况将如上所述的饱和度阈值及强度阈值设置为一个经验数值。例如，在本例中，可以将饱和度阈值Tsaturatim设为0. 03，将强度阈值Tintmsity设为0. 1。 但本领域技术人员应该理解，饱和度阈值Tsaturatim和强度阈值Tintmsity不限于这里的举例， 还可以根据实际情况，将饱和度阈值Tsaturatim和强度阈值Tintmsity设为其他适当的值。图4示意性地示出了用于颜色通道拉伸的映射函数的函数曲线图。其中的颜色通道拉伸意思是对于前述白板内容(白板彩色图像的前景部分)中的每个像素，用一个映射函数去分别拉伸R、G和B通道，以增强颜色的对比度。映射函数由下式给出
-i(2c)plO 5 c S 0.5y=-
- I)"2 + 0.5 0.5 < C ^ ο(4)其中符号c代表颜色通道数值，作为该映射函数的输入。c是由R、G和B颜色通道归一化后得到范围w，l]的值。例如，将R颜色通道归一化后的结果-R/255-作为C代入公式时，得到yK;将G颜色通道归一化后的结果作为c代入公式时，得到ye ；以及将B颜色通道归一化后的结果作为c代入公式(4)时，得到yB。符号y代表各颜色通道拉伸后的结果，作为映射函数的输出。它的取值范围也是 O符号pi和p2作为参数，是经验数值，可以针对绝大多数的情况对其进行设置。例如，Pl可以设为20，p2可以设为0. 167。本领域技术人员应该理解，根据不同的情况，也可以设置不同的Pl和P2。图5示意性地示出了在不改变颜色强度的条件下调整颜色的色调时，三个颜色通道R、G和B是如何变化的示例。其中色调调整是指如果期望得到一个较纯的颜色，那么对
1于前述白板内容(白板彩色图像的前景部分)中的每个像素，在不改变像素强度的条件下， 调整像素的R、G和B通道，使得这三个通道的中值和最小值相等。如上所述的使得像素的R、G和B通道的中值和最小值相等，是指增加三个通道中的最小值且减小三个通道中的中值，使得两者最终相等。如上所述的不改变像素强度，是指调整后不改变R、G和B三个通道值的和。所以颜色通道经过调整后是:Max，= Max+di ；Mid，= Mid-2*^ ；Min，= Min+屯。其中符号Max、 Mid和Min分别代表三个颜色通道R、G和B调整前的最大值、中值和最小值；Max’、Mid’和 Min，分别代表三个颜色通道R、G和B调整后的最大值、中值和最小值。则存在关系Midj*+ =Min+di。考虑到R、G和B通道的取值范围为0 255，则有如下的条件关系
权利要求
1.一种对于白板彩色图像进行颜色增强的装置，包括白板内容提取单元，用于从白板彩色图像中提取前景部分作为白板内容； 颜色通道拉伸单元，用于分别拉伸所提取的白板内容的每个像素中的R、G和B颜色通道值；色调调整单元，用于在不改变提取的白板内容的每个像素的颜色强度的条件下，调整每个像素的颜色色调；饱和度/强度比值调整单元，用于在不改变提取的白板内容的每个像素的颜色色调的条件下，调整像素的饱和度与强度的比值至一比值期望值rd;以及饱和度及强度提升单元，用于提升所述白板内容的每个像素的饱和度及强度，使其在不改变每个像素的颜色色调的条件下使其饱和度及强度分别逼近饱和度期望值&和强度期望值Id。
2.如权利要求1所述的装置，其中，所述白板内容是用户用彩色白板笔写在白板上的部分。
3.如权利要求2所述的装置，其中，所述白板内容提取单元通过根据如下公式计算像素的亮度、饱和度及强度来提取所述前景部分L(R, G, B) = 0.299*R+0. 587*G+0. 114*B S (R, G, B) = l-3Min (R, G, B) / (R+G+B) I(R，G，B) = ((R+G+B)/255)/3。
4.如权利要求3所述的装置，其中，当像素的亮度小于亮度阈值、像素的饱和度大于饱和度阈值、以及像素的强度大于强度阈值时，所述白板内容提取单元判断该像素属于前景部分。
5.如权利要求4所述的装置，其中，所述颜色通道拉伸单元通过如下映射函数分别拉伸白板内容中每个像素的R、G和B通道 其中符号C分别代表由R、G和B颜色通道归一化后的值，O ^c^l； 符号y代表每个像素的R、G和B通道拉伸后的结果，O ^y^l； 符号pi和p2可根据不同情况设置为不同经验值。
6 .如权利要求5所述的装置，其中，所述色调调整单元的不改变像素强度是通过不改变R、G和B三个通道值的和来实现的。
7.如权利要求6所述的装置，其中，所述色调调整单元的色调的调整是通过调整像素的R、G和B通道，使得这三个通道的中值和最小值相等来实现的；其中，所述色调调整单元调整后的颜色通道满足如下等式Max' = Max+di ；Mid，= MicUd1 ；Min，= MinH ；Mid-2*+ = MinH ；其中符号Max、Mid和Min分别代表三个颜色通道R、G和B调整前的最大值、中值和最小值；Max，、Mid，和Min，分别代表三个颜色通道R、G和B调整后的最大值、中值和最小值； 符号Cl1是第一调整量；根据R、G和B通道的取值范围0 255，通过如下条件关系 Mid -2*dx- Min + dx Max-Vdx < 255得到第一调整量Cl1的公式如下
8.如权利要求7所述的装置，其中，像素的饱和度/强度比值由如下公式定义r =饱和度值/强度值；所述饱和度/强度比值调整单元的不改变颜色色调操作是通过将像素的R、G和B通道减去第二调整量(12来实现的，即，(R，，G，，B，) = (R-d2，G-d2，B-d2)，其中，(R，G，B)代表原始像素颜色的RGB通道表示，(R’，G’，B’)代表调整后的颜色的RGB通道表示； 所述饱和度/强度比值调整单元调整像素的三个颜色通道值符合如下关系
9.如权利要求8所述的装置，其中，所述饱和度及强度提升单元的不改变颜色色调操作是通过将每个像素的颜色通道R、G和B减去第三调整量(13来实现的，S卩，(R2，G2，B2)= (R-d3, G-d3, B-d3),其中，(R，G，B)代表原始像素颜色的RGB通道表示，(R2，G2，B2)代表调整后的颜色的 RGB通道表示；所述饱和度及强度提升单元提升每个像素的饱和度，使之符合如下关系
10.如权利要求9所述的装置，其中所述饱和度及强度提升单元通过将所有的颜色通道乘以一个系数K来提升每个像素的强度，S卩，(R2’，G2’，B2’)= K* (R2，G2，B2) = (K*R2， K*G2，K*B2)，其中，(R2，G2，B》代表经过饱和度提升后的颜色的RGB通道表示，(R2’，G2’，B2’ )代表强度提升后的颜色的RGB通道表示，系数K定义为K= Id/I2，符号12表示颜色(R2，G2， B2)的强度。
11.一种对于白板彩色图像进行颜色增强的方法，包括a.从白板彩色图像中提取前景部分作为白板内容；b.分别拉伸所提取的白板内容的每个像素中的R、G和B颜色通道值；c.在不改变提取的白板内容的每个像素的颜色强度的条件下，调整每个像素的颜色色调；d.在不改变提取的白板内容的每个像素的颜色色调的条件下，调整像素的饱和度与强度的比值至一比值期望值rd ；以及e.提升所述白板内容的每个像素的饱和度及强度，使其在不改变每个像素的颜色色调的条件下使其饱和度及强度分别逼近饱和度期望值S和强度期望值Id。
12.如权利要求11所述的方法，进一步包括用户利用彩色白板笔将所述白板内容写在白板上。
13.如权利要求12所述的方法，所述步骤a进一步包括通过根据如下公式计算像素的亮度、饱和度及强度来提取所述前景部分L(R, G, B) = 0.299*R+0. 587*G+0. 114*B S (R, G, B) = l-3Min (R, G, B) / (R+G+B) I(R，G，B) = ((R+G+B)/255)/3。
14.如权利要求13所述的方法，所述步骤a进一步包括当像素的亮度小于亮度阈值、 像素的饱和度大于饱和度阈值、以及像素的强度大于强度阈值时，判断该像素属于前景部分。
15.如权利要求14所述的方法，其中，所述步骤b通过如下映射函数分别拉伸白板内容中每个像素的R、G和B通道
16.如权利要求15所述的方法，所述步骤进一步包括不改变R、G和B三个通道值的和。
17.如权利要求16所述的方法，所述步骤c进一步包括调整像素的R、G和B通道，使得这三个通道的中值和最小值相等；所述步骤c中调整后的颜色通道满足如下等式Max' = Max+di ；Mid，= MicUd1 ；Min，= MinH ；Mid-2*+ = MinH ；其中符号Max、Mid和Min分别代表三个颜色通道R、G和B调整前的最大值、中值和最小值；Max，、Mid，和Min，分别代表三个颜色通道R、G和B调整后的最大值、中值和最小值； 符号Cl1是第一调整量；根据R、G和B通道的取值范围0 255，通过如下条件关系 Mid -2* Cil= Min + dx Max + dx < 255 得到第一调整量Cl1的公式如下
18.如权利要求17所述的方法，其中，像素的饱和度/强度比值由如下公式定义r = 饱和度值/强度值；所述步骤d进一步包括将像素的R、G和B通道减去第二调整量d2，S卩，(R’，G’，B’) =(R_d2，G-d2，B-d2)，其中，(R，G，B)代表原始像素颜色的RGB通道表示，(R’，G’，B’)代表调整后的颜色的RGB通道表示；所述步骤d中调整像素的三个颜色通道值使之符合如下关系
19.如权利要求18所述的方法，其中，所述步骤e进一步包括将每个像素的颜色通道 R、G 和 B 减去第三调整量(13，即，(R2，G2，B2) = (R_d3，G_d3，B_d3)，其中，(R，G，B)代表原始像素颜色的RGB通道表示，(R2，G2，B2)代表调整后的颜色的 RGB通道表示；所述步骤e中提升每个像素的饱和度使之符合如下关系 Si=I- 3Min(R2, G2, B2) /(R2 + G2 + B2) = l-3(Min(R,G, B) - d3)/(R +G + B-3d3)； => d3 = (3Min(R, G, 5)-(1- ^d )(R + G + B)) /(3sd )根据颜色的三个通道R、G和B的取值范围为0 255，通过如下关系式
20.如权利要求19所述的方法，所述步骤e进一步包括将所有的颜色通道乘以一个系数 K 来提升每个像素的强度，S 卩，(R2’，G2’，B2’) = K* (R2，G2，B2) = (K*R2，K*G2，K*B2)，其中，(R2，G2，B》代表经过饱和度提升后的颜色的RGB通道表示，(R2’，G2’，B2’ )代表强度提升后的颜色的RGB通道表示，系数K定义为K= Id/I2，符号12表示颜色(R2，G2， B2)的强度。
21.一种白板内容共享系统，包括视频捕获设备，用于拍摄并捕获本地用户用彩色白板笔写在白板上的内容，并将其输出为数字图像；计算设备，包含如本发明权利要求1-19所述的装置，用于通过视频捕获设备拍摄的白板图像与从远端传输过来的由远端共享的白板图像之间的减法操作，得到白板内容，并对白板彩色图像进行颜色增强；数据传输设备，用于接收其他远端系统的共享白板内容并能向其他远端系统发送由所述计算设备得到的白板内容；以及投影设备，用于将远端以及本地的共享内容投射到外部介质上用于显示。
全文摘要
本发明公开了一种对于白板彩色图像进行颜色增强的装置，包括白板内容提取单元，用于从白板彩色图像中提取前景部分作为白板内容；颜色通道拉伸单元，用于分别拉伸所提取的白板内容的每个像素中的R、G和B颜色通道值；色调调整单元，用于在不改变提取的白板内容的每个像素的颜色强度的条件下，调整每个像素的颜色色调；饱和度/强度比值调整单元，用于在不改变提取的白板内容的每个像素的颜色色调的条件下，调整像素的饱和度与强度的比值至一比值期望值rd；以及饱和度及强度提升单元，用于提升所述白板内容的每个像素的饱和度及强度，使其在不改变每个像素的颜色色调的条件下使其饱和度及强度分别逼近饱和度期望值sd和强度期望值Id。
文档编号G06T5/00GK102446345SQ20101029778
公开日2012年5月9日 申请日期2010年9月30日 优先权日2010年9月30日
发明者张文波, 李燕 申请人:株式会社理光