专利名称：一种针对颜色编码结构光扫描系统的自适应反射率校正方法
技术领域：
本发明涉及结构光三维扫描技术，尤其涉及针对颜色编码结构光扫描系统的自适应反射率校正方法。
背景技术：
3D技术是国际性生研究热点，具有广阔的应用前景，如3D电视与3D电影、3D医学成像、3D游戏以及3D地图等等。3D技术主要包括3D信息采集技术、3D影像的制作技术、3D、信息的理解与以别技术以及3D影像的显示技术等等。其中3D信息采集技术是整个3D技术的基础，决定着其它3D技术的发展。从采集的方式来分类，3D信息采集技术又可分为被动式和和主动式两大类。被动式技术的特点是在获取物体形状时不对场景引入新能量。被动式技术的代表是立体视觉技术但由于立体视觉技术需要从多个视角的图像来重建3D物体，而多幅图像的特征点匹配比较困难。当物体没有纹理或角点时很难重建3D物体，同时立体视觉技术还有计算量大这一显著缺点。另一种3D信息采集技术是主动式技术。其中最具代表性的是激光雷达以及结构光扫描技术。激光雷达利用计算激光的飞行时间(Time Of Flight)等方式来获取深度图像，而结构光扫描通过投影设备、物体以及摄像头的三角关系计算出物体的深度。结构光扫描技术主要分为两大类。第一类是时间编码技术，通过投射一系列的结构光，从而获得高精度的三维点云数据，但这类方法只能扫描静态场最。另一类是空间编码技术，这类技术的优点是能够通过一次结构光投射获取三维点云数据，但一些因素，如物体表面反射率、环境光等，对结构光编码的解码有很大的干扰。为了解决这一问题，文献〈〈B. C. L. Zhang and S. Seitz, Rapid shape acqmsition using color Structuredlight and multi-pass dynamic programming, ^Proc.of 3DPVT 2002,24—36(2002) 》中提出了动态规划及基于边缘编码的结构光方法来解决这一问题，但基于边缘编码的结构光边缘定位不准确，影响了三维点云的精度。文献《C. C. J. Pages, J. Salvi and J. Forest,“Optimised de bruijn patterns for one-shot shape acquisition,，，Image VisionComput 23(8),707-720(2005).))中采用了基于亮度峰值的编码方法，保证了三维点云的精度，但对于反射率的校正采用了静态的方法，限制了这种方法的应用范围。针对上述部题，本发明提出了一种针对基于亮度峰值编码方法的颜色编码结构光扫描系统的自适应反射率校正方法。这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自动校正，从而达到减少物体反射率及环境光干扰的目的。
发明内容
本发明解决的技术问题是针对颜色编码结构光扫描系统易受物体表面反射率和环境光等因素的影响，本发明提出了一种利用相对反射率进行自适应颜色校正的方法，这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自适应校正，从而达到减少物体反射率及环境光干扰的目的。解决该问题的技术方案要点是将获取的图像进行投影仪与摄像头颜色(Crosstalk)校正，然后进行通道分离，将通道间的经过投影仪与摄像头颜色(Crosstalk)校正的图像进行颜色校正。本发明的主要用途是在颜色编码结构光扫描系统中进行自适应反射率校正颜色，从而提高颜色解码正确率，使颜色编码结构光扫描系统能适用于各种颜色物体的扫描以及在非暗室环境下扫描。在颜色编码结构光扫描系统中，如图I所示，102投影仪投射103结构光，结构光由红、绿、蓝三种颜色构成，并进行编码，如一条光条的颜色只有红色组成，就可以编码为1，如果红色和绿色组成，就可以编码为2。由三种颜色组成的结构光可以构成7个有效编码(去除黑色)，从中选择几个编码，然后生成Bruijin序列，每个编码间用黑色间隔，就形成了投射的103结构光。当光线投射到104物体表面上，经过物体表面反射，由101摄像头捕捉得到彩色图片。彩色图片每个像索的RGB值由文献《N. K. D. Caspi and J. Shamir, " Rangeimaging with adaptive color structured light, " IEEE Trans Pattern Anal Mach
Intell20 (5), 470-480 (1998)))中的模型，即公式(I)得到，其中矩阵C是101摄像头捕捉得到彩色图片每个像索的颜色矩阵，矩阵A是102投影仪与101摄像头的Crosstalk，矩阵K是物体表面反射率矩阵，P是投影仪投射的颜色矩阵，0是环境光的颜色矩阵。其中Kk，a Ke, P Ke分别是R，G，B三个迎巡的反色率a，P分别是R与G通道的相反射率，R与B通道的相对反射率。通过采用本发明的方法自适应的估计出相对反射率6，0，如公式(2)所示，就可以得到颜色估计值('，如公式(3)所示。通过公式(4)的颜色解码，就可以消除物体反射率及其部分环境光的干扰。
RCiRR CiRO 0.RB Kr IJ Clrai
G 一 O-QR G-QQ O-OBU Q' Kr U ( C7 + '70^
Ba BR O^BG aBB U 丨-丨t'b(}
....."1V*1^1m 1............IWji ■、.......I I........ I IN.............—■I.*1-''.-Vj j-*!. W'I
0AKPO
Kr 0 0K = o aKR 0<2)
0 0 iSKp
T + T0d = (AVA^)-1A-1C = Kr g + 0￠3)
b + bn J/
(max {R.G^-mm (RiOlB) 1X10^ A^ maX (及 ''; '上〉=^
H < ( max (B1O1B)-Tnin (F1C1B) + ]) y ⑶if TlYn.X ( R.. L^.. =⑷
(-,p。fr,J ■ /pn r-+ 4) X GO0 if rna'i (R, 0.. B)=上，'
、V max ^ir.G^)—rnm (RiGiE) }、1
四
图I是颜色编码结构光扫描系统架构2是自气适应反射率校正流程图
五、具体实施方法下面说明本发明的其体实施过程，如图2所示步骤200Crosstalk参数获取首先在暗室环境下通过102投影仪投射三幅纯色图片到白纸上，从101摄像头捕捉得到彩色图片，由公式(I)得到矩阵A，即Crosstalk参数。步骤201获取图片当102投影仪投射103结构光后，由101摄像头捕捉得到彩色图片。步骤202RGB三个通道分离将101摄像头捕捉得到彩色图片分离为RG3三个通道图片。步骤203RGB三个通道直方图匹配通过R，G，B三个通道图片的直方图匹配来估计相对反射率d j。其中公式(6)代表了 G通道直方图到R通道直方图的匹配，F如公式(5)所示为G通道直方图到R通道直方图匹配的转移量，根据公式(7)到公式(10)的约束条件，最小化H(G)，就得到了 F。F = {fij}(5)H1g = T{Ho, Hr' F) = YjYjIj-化％(6)
S = I j=lf^- ^ 0,1 < x < n, I < j < n (7)工fij < w,凡;、I < ^- < n(S)
i=l
n^ fij < 、I < ! <n(9)
S = IJ% =仰:)( 10)
i=[ j=lS=IJ=I步骤204计算相对反射率本发明定义了每个灰度级的相对反射率d的估汁方法，如公式(11)所示。由步骤203得到的G通道直方图到R通道直方图得匹配的转移量F，代入公式(11)，就可以估计出每个灰度级的相对反射率6。同理B通道与R通道每个灰度级的相对反射率^也可以估计出。
a(/)=…,,-.-.77,1 ^ . . ^ n.. I ^ . ^ 丫—i<11>
Ij —Y \ ' %jJ I步骤205得到校正后颜色在步骤200 Crosstalk参数获取及步骤204计算相对反射率后，得到每个灰度级的相对反射率#以及Crosstalk参数A，根据公式(2)得到矩阵无，带入公式(3)就得到自适应反射率校正后
权利要求
1.一种针对颜色编码结构光扫描系统的自适应反射率校正方法，其特征包含以下几个步骤 A.Crosstalk参数获取首先在暗室环境下通过投影仪投射三幅纯色图片到白纸上，从摄像头捕捉得到彩色图片，从而得到Crosstalk参数。
B.获取图片当投影仪投射结构光后，由摄像头捕捉得到彩色图片。
C.RGB三个通道分离将摄像头捕捉得到彩色图片分离为RGB三个通道图片。
D.RGB三个通道直方图匹配通过R，G，B三个通道图片进行两通道间的直方图匹配，通过G通道直方图到R通道直方图的匹配，得到G通道直方图到R通道直方图匹配的转移量。通过B通道直方图到R通道直方图的匹配，得到G通道直方图到R通道直方图匹配的转移量。
E.计算相对反射率通过定义每个灰度级的相对反射率的估计方法，估计出每个灰度级的R与G通道的相对反射率以及每个灰度级的R与B通道的相对反射率。
F.得到校正后颜色得到每个灰度级的R与G通道的相对反射率、每个灰度级的R与B通道的相对反射率以及Crosstalk参数后，经过计算得到自适应反射率校正后的颜色。通过颜色解码，就可以消除物体反射率及其部分环境光的干扰。
全文摘要
本发明是一种针对颜色编码结构光扫描系统的自适应反射率校正方法。所属技术领域为结构光三维扫描技术。本发明解决的技术问题是针对颜色编码结构光扫描系统易受物体表面反射率和环境光等因素的影响，本发明提出了一种利用相对反射率进行自适应颜色校正的方法，这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自适应校正，从而达到减少物体反射率及环境光干扰的目的。解决该问题的技术方案要点是将获取的图像进行投影仪与摄像头颜色(Crosstalk)校正，然后进行通道分离，将通道间的直方图进行匹配，并通过定义的相对反射率函数计算出每个灰度级的相对反射率，利用相对反射率函数对经过投影仪与摄像头颜色(Crosstalk)校正的图像进行颜色校正。本发明的主要用途是在颜色编码结构光扫描系统中进行自适应反射率校正颜色，从而提高颜色解码正确率，使颜色编码结构光扫描系统能适用于各种颜色物体的扫描以及在非暗室环境下扫描。
文档编号G06T9/00GK102737389SQ20111009211
公开日2012年10月17日 申请日期2011年4月13日 优先权日2011年4月13日
发明者于耀, 周余, 孔令红, 李杨, 王自强, 袁杰, 赵东威, 赵康链, 都思丹 申请人:南京大学