专利名称：：一种对多台摄像机进行全局颜色校准的方法
技术领域：
：本发明涉及一种对多台摄像机进行全局颜色校准的方法，属于计算机多媒体
技术领域：
。
背景技术：
：在计算机视觉中，基于多视角图像的很多应用，如光流和三维重建，精确的颜色并不是最重要的，最重要的是各摄像机之间的颜色一致性，从而方便进行精准的匹配。保证摄像^L阵列中各摄像机之间的颜色一致性的操作就称为颜色校准。虽然国际上已经存在一些针对大规模摄像机阵列的标准几何校准方法，但是很少有注意力在大规模摄像机阵列的颜色校准。一种普遍采用的方法是借助一块标准的颜色校准板(Gretagmacbethcolormanagementsolutions,http:〃www.gretagmacbeth.com.)i周节摄f象丰几的增益和白平衡。这种方法对于平面光场摄像机阵列是可行的，因为所有摄像机都可以同时看至iJ校准板(N.Joshi,B.Wilburn,V.Vaish，M.Levoy,M.Horowitz,Automaticcolorcalibrationforlargecameraarrays,Tech.rep.,CS2005-0821，CSE,UCSD.(2005).;A.Ilie，G.Welch,Ensuringcolorconsistencyacrossmultiplecameras,in:IEEEInternationalConferenceonComputerVision,Washington,DC,USA,2005,pp.1268-1275.)。但是，对于非平面摄像机阵列，只能对单个摄像机进行单独颜色校准，或者根据可见性，将摄像机分组校准。因此这种方法最多只能保证组内摄像机之间的颜色一致性，而不能保证所有摄像机的颜色一致性。
发明内容本发明的目的是提出一种对多台摄像机进行全局颜色校准的方法，克服已有技术的不足，设计一种全新的颜色校准物，并采用局域描述子和区域相关性技术以及协同颜色校准技术，使各摄像机之间的颜色一致，并保证所拍摄图像的高对比度。本发明提出的一种对多台摄像机进行全局颜色校准的方法，其特征在于该方法包括以下步骤(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；(2)同时使N台摄像机对处于场景中心的颜色校准物采集一幅图像；(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为r,)^的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为/"2></"2的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合￡={^}^^，其中^=^,,K为全局对应关系中的摄像机号，〈为全局对应关系在摄像机,,图像上的像素位置，A^为全局对应关系中的摄像机个数；(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g。和偏移参数&，lS"SiV，具体过程如下(6—1)对于上述全局对应关系^中的每一个摄像机;^，lSASiVm，分别有其中，rm=&,}ls,^,，《表示摄像机r,图像上与匹配特征点相对应的像素位置《的颜色值，根据上式，得到线性方程丄-i1tJH--6=0将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax二O;(6—2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；(6—3)将由步骤(6—2)计算得到的平均值由小到大排列，并选择与前ty。和后ty。的平均值相对应的全局对应关系作为黑水平/6和白水平/"其中t为设定值，对于选择的全局对应关系^的所有摄像机^，有">\=/疯)将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx-d;(6—4)上述动态范围整形约束以权重w加入到步骤(6—1)的线性方程组中，即有'0，、《使用卡茨马尔茲方法求解以上线性方程组；(7)对上述得到的每个摄像机的增益参数g。和偏移参数^进行判断，若所有摄像机的参数^和6不能同时满足^=1，6=0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6);若所有摄像机的参数^和6同时满足^=1，56=0，则使所有摄像机根据求解得到的颜色校准参数重新设置。本发明提出的对多台摄像机进行全局颜色校准的方法，避免了传统的价格相对昂贵的平面校准板，针对多摄像机阵列设计了一种新的颜色校准物，而且通过将多摄像机的颜色校准问题形式化为一个超定线性方程组,实现了各摄像机颜色一致性且高对比度的颜色校准。因此本发明方法中使用的校准物简单、灵活、携带方便；颜色校准过程中的算法程序简单，易于实现，全自动；颜色校准过程融合了特征点检测方法和基于区域的相关性方法，从而获得高精度的全局对应；本方法基于颜色一致性和动态范围约束，建立一个超定线性方程组，求解校准参数并设置给各个摄像机，从而同时保证了校准后摄像机之间的颜色一致性和采集图像的高对比度。本发明方法中的颜色校准物和颜色校准方法可以应用到任意多摄像机阵列系统中，从而实现各摄像机颜色一致性且高对比度的校准。图1是实现本发明方法的环形摄像机系统的布置示意图。图2是本发明方法采用的颜色校准物示意图，其中图2a是颜色校准物的展开状态，图2b是实际使用状态。图3为本发明方法的流程框图。图1中，1是摄像机，2是颜色校准物。具体实施例方式本发明提出的一种对多台摄像机进行全局颜色校准的方法，包括以下步骤(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；(2)同时使N台摄像机对处于场景中心的颜色校准物釆集一幅图像；(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为^^的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像i保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为/"2>^2的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合￡={^}^^,其中^《)}ls,^，y,为全局对应关系中的摄像机号，《为全局对应关系在摄像机y,图像上的像素位置，//为全局对应关系中的摄像机个数；(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数&和偏移参数6，1《《SW，具体过程如下(6—1)对于上述全局对应关系^中的每一个摄像机^，1SA^A^，分别有其中，rm={^}ls,^,，《表示摄像机y,图像上与匹配特征点相对应的像素位置《的颜色值，根据上式，得到线性方程1—11义H--6=0将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组AX-O;(6—2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；(6—3)将由步骤(6—2)计算得到的平均值由小到大排列，并选择与前t呢和后ty。的平均值相对应的全局对应关系作为黑水平/6和白水平/,其中t为设定值，对于选择的全局对应关系^的所有摄像机;^，有将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx=d;(6_4)上述动态范围整形约束以权重w加入到步骤(6—1)的线性方程组中，即有'A、「o)x=、《、<使用卡茨马尔茲方法求解以上线性方程组；上述步骤(3)-(6)的颜色校准方法的流程如图3所示。(7)对上述得到的每个摄像机的增益参数&和偏移参数&进行判断，若所有摄像机的参数^和6不能同时满足^=1，6=0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6);若所有摄像机的参数^和6同时满足^=1，6=0，则使所有摄像机根据求解得到的颜色校准参数重新设置。实现本发明方法的系统实施例结构如图1所示，20个摄像机1呈环形分布环绕待采集的场景。其中，Ci表示第i号摄像机。摄像机采集图像的分辨率为1024X768。环形中心的小圆圈为本发明所设计的颜色校准物2的摆放位置示意。本实施例中的控制服务器的配置CPU:IntelPIV2.8GHz内存1G操作系统WindowsXP7本发明一个实施例的步骤如下(1)将颜色校准物放置在场景中心位置，使20台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有8行、20列色块，每行色块上各色块之间的颜色相同，每列有7个不同的灰度色块和一个彩色色块，色块从上到下编号为1-8，具体色块颜色值如表l所示，其中O表示背景，R、G、B分别表示红、绿、蓝三个通道的值。圆柱面的展开状态如图2a所示，实际使用状态如图2b所示。颜色校准物中各色块的颜色值如表l所示表1颜色校准物中色块颜色值<table>tableseeoriginaldocumentpage8</column></row><table>(2)同时使20台摄像机对处于场景中心的颜色校准物采集一幅图像；(3)对上述每一幅采集的图像，采用尺度不变特征变换SIFT(Scale-InvariantFeatureTransform)方法进行特征点检测，以检测得到的特征点为中心，截取大小为llxll的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；(4)采用最好最先BBF(Best-Bin-First)方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为17x17的像素块，判断两个像素块之间的零均值归一化互相关ZNCC(Zero-meanNormalizedCross-Correlation)相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；(5)将上述保留的所有匹配进行串连，得到32个20台摄像机之间的全局对应关系，形成集合￡={~}^32，其中={(几，^)}1￡,^,，y,为全局对应关系中的摄像机号，《为全局对应关系在摄像机^图像上的像素位置，A^为全局对应关系中的摄像机个数。比如，0号摄像机像素位置为P。的特征点与1号摄像机像素位置为《的特征点相对应，又已知1号摄像机像素位置为《的特征点与2号摄像机像素位置为^的特征点相对应，则可以把这两对匹配串连为一个全局对应关系{(0，户。)，(l，A),(2,户2)};(6)根据上述20台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g。和偏移参数&，1SnS20,具体过程如下(6—1)对于上述全局对应关系^中的每一个摄像机A,l^)t^iVm,分别有其中，rm=，表示摄像机y,图像上与匹配特征点相对应的像素位置尸；的颜色值，根据上式，得到线性方程丄瓦-15=o将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组AX二O;(6—2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；(6_3)将由步骤(6—2)计算得到的平均值由小到大排列，并选择与前2%和后2%的平均值相对应的全局对应关系作为黑水平和白水平，对于选择的全局对应关系^的所有摄像机&，有0,12(或242)将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx二d;(6—4)上述动态范围整形约束以权重w加入到步骤(6—1)的线性方程组中，即有「0)、《使用卡茨马尔茲方法求解以上线性方程组；(7)对上述得到的每个摄像机的增益参数g"和偏移参数&进行判断，若所有摄像机的参数^和6不能同时满足^=1，6=0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6);若所有摄像机的参数^和6同时满足^=1，6=0，则使所有摄像机根据求解得到的颜色校准参数重新设置。20台摄像机最终的颜色校准结果如表2所示，其中Pi表示第i个色±央。由于灰度色块三个颜色通道颜色值相同，所以表内只给出一个通道的颜色值，而且，为了鲁棒，取块内颜色平均值作为结果显示。表2为颜色校准结果比较9<table>tableseeoriginaldocumentpage10</column></row><table>权利要求1、一种对多台摄像机进行全局颜色校准的方法，其特征在于该方法包括以下步骤(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；(2)同时使N台摄像机对处于场景中心的颜色校准物采集一幅图像；(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为r1×r1的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为r2×r2的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合E＝{em}1≤m≤M，其中<mathsid="math0001"num="0001"><math><![CDATA[<mrow><msub><mi>e</mi><mi>m</mi></msub><mo>=</mo><msub><mrow><mo>{</mo><mrow><mo>(</mo><msub><mi>γ</mi><mi>i</mi></msub><mo>,</mo><msubsup><mi>P</mi><msub><mi>γ</mi><mi>i</mi></msub><mi>m</mi></msubsup><mo>)</mo></mrow><mo>}</mo></mrow><mrow><mn>1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><msub><mi>N</mi><mi>m</mi></msub></mrow></msub><mo>,</mo></mrow>]]></math>id="icf0001"file="A2009100923770002C1.tif"wi="34"he="4"top="121"left="75"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>γi为全局对应关系中的摄像机号，id="icf0002"file="A2009100923770002C2.tif"wi="4"he="4"top="121"left="174"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>为全局对应关系在摄像机γi图像上的像素位置，Nm为全局对应关系中的摄像机个数；(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数gn和偏移参数bn，1≤n≤N，具体过程如下(6-1)对于上述全局对应关系em中的每一个摄像机γk，1≤k≤Nm，分别有<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msub><mi>g</mi><msub><mi>γ</mi><mi>k</mi></msub></msub><msubsup><mi>I</mi><msub><mi>γ</mi><mi>k</mi></msub><mi>m</mi></msubsup><mo>+</mo><msub><mi>b</mi><msub><mi>γ</mi><mi>k</mi></msub></msub><mo>=</mo><mfrac><mrow><msub><mi>Σ</mi><mrow><msub><mi>γ</mi><mi>i</mi></msub><mo>∈</mo><msub><mi>Γ</mi><mi>m</mi></msub></mrow></msub><mrow><mo>(</mo><msub><mi>g</mi><msub><mi>γ</mi><mi>i</mi></msub></msub><msubsup><mi>I</mi><msub><mi>γ</mi><mi>r</mi></msub><mi>m</mi></msubsup><mo>+</mo><msub><mi>b</mi><msub><mi>γ</mi><mi>i</mi></msub></msub><mo>)</mo></mrow></mrow><msub><mi>N</mi><mi>m</mi></msub></mfrac></mrow>]]></math></maths>其中，<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>Γ</mi><mi>m</mi></msub><mo>=</mo><msub><mrow><mo>{</mo><msub><mi>γ</mi><mi>i</mi></msub><mo>}</mo></mrow><mrow><mn>1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><msub><mi>N</mi><mi>m</mi></msub></mrow></msub><mo>,</mo></mrow>]]></math>id="icf0004"file="A2009100923770002C4.tif"wi="25"he="4"top="181"left="35"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>id="icf0005"file="A2009100923770002C5.tif"wi="3"he="4"top="181"left="64"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>表示摄像机γi图像上与匹配特征点相对应的像素位置id="icf0006"file="A2009100923770002C6.tif"wi="4"he="4"top="181"left="166"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>的颜色值，根据上式，得到线性方程<mathsid="math0004"num="0004"><math><![CDATA[<mrow><mrow><mo>(</mo><mfrac><mn>1</mn><msub><mi>N</mi><mi>m</mi></msub></mfrac><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>g</mi><msub><mi>γ</mi><mi>k</mi></msub></msub><msubsup><mi>I</mi><msub><mi>γ</mi><mi>k</mi></msub><mi>m</mi></msubsup><mo>+</mo><msub><mi>b</mi><msub><mi>γ</mi><mi>k</mi></msub></msub><mo>)</mo></mrow><mo>+</mo><munder><munder><mi>Σ</mi><mrow><msub><mi>γ</mi><mi>i</mi></msub><mo>∈</mo><msub><mi>Γ</mi><mi>m</mi></msub></mrow></munder><mrow><msub><mi>γ</mi><mi>i</mi></msub><mo>≠</mo><msub><mi>γ</mi><mi>k</mi></msub></mrow></munder><mrow><mo>(</mo><mfrac><msubsup><mi>I</mi><msub><mi>γ</mi><mi>i</mi></msub><mi>m</mi></msubsup><msub><mi>N</mi><mi>m</mi></msub></mfrac><msub><mi>g</mi><msub><mi>γ</mi><mi>i</mi></msub></msub><mo>+</mo><mfrac><mn>1</mn><msub><mi>N</mi><mi>m</mi></msub></mfrac><msub><mi>b</mi><msub><mi>γ</mi><mi>i</mi></msub></msub><mo>)</mo></mrow><mo>=</mo><mn>0</mn></mrow>]]></math></maths>将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax＝0；(6-2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；(6-3)将由步骤(6-2)计算得到的平均值由小到大排列，并选择与前t％和后t％的平均值相对应的全局对应关系作为黑水平lb和白水平lw，其中t为设定值，对于选择的全局对应关系em的所有摄像机γk，有将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx＝d；(6-4)上述动态范围整形约束以权重ω加入到步骤(6-1)的线性方程组中，即有<mathsid="math0005"num="0005"><math><![CDATA[<mrow><mfencedopen='('close=')'><mtable><mtr><mtd><mi>A</mi></mtd></mtr><mtr><mtd><mi>ωC</mi></mtd></mtr></mtable></mfenced><mi>x</mi><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mi>ωd</mi></mtd></mtr></mtable></mfenced></mrow>]]></math></maths>使用卡茨马尔茲方法求解以上线性方程组；(7)对上述得到的每个摄像机的增益参数gn和偏移参数bn进行判断，若所有摄像机的参数gn和bn不能同时满足gn＝1，bn＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6)；若所有摄像机的参数gn和bn同时满足gn＝1，bn＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置。全文摘要本发明涉及一种对多台摄像机进行全局颜色校准的方法，属于计算机多媒体
技术领域：
。将颜色校准物置中心，使N台摄像机对处于场景中心的颜色校准物采集一幅图像。颜色校准过程为应用特征点检测方法和基于区域的相关性方法，计算所有摄像机的全局对应；基于颜色一致性和动态范围约束，建立超定线性方程组；将所求得的校准参数设置给各个摄像机。本发明方法使用的校准物简单、灵活、携带方便；颜色校准过程的算法程序简单，易于实现，全自动；颜色校准融合了特征点检测方法和基于区域的相关性方法，从而获得高精度的全局对应。本发明方法中的颜色校准物和颜色校准方法可应用到任意多摄像机阵列系统中，从而实现各摄像机颜色一致性且高对比度的校准。文档编号H04N17/00GK101651844SQ20091009237公开日2010年2月17日申请日期2009年9月11日优先权日2009年9月11日发明者徐文立,戴琼海,坤李申请人:清华大学