成像光线空间追踪舌面彩色三维成像方法和系统与流程

本发明涉及视觉三维测量技术，具体讲,涉及成像光线空间追踪舌面彩色三维成像方法和系统。
背景技术：
：舌诊是通过观察舌象了解人体生理功能和病理变化的方法，是中医望诊的一项重要内容，在中医理论体系与临床诊断中占有举足轻重的地位。传统舌诊的分析判断往往受医生的个人经验及患者所处的环境等因素影响，具有一定的主观性。自八十年代初期以来，国内外许多研究机构合作致力于舌诊的客观化研究，目前，这些研究绝大部分都是基于二维舌图像进行分析诊断，然而，二维舌图像并不能提供舌体的三维信息，如舌体的形态轮廓、舌苔分布情况、舌裂纹长度等，这会直接影响诊断结果。相对于二维舌图像，舌体的形态轮廓及舌苔分布情况等三维信息一方面可以为中医提供更全面的诊断信息，另一方面也为中医诊断提供客观量化的依据。此外，舌色在舌诊学中是一种区分疾病的重要依据。因此，获取舌面的彩色三维信息对中医舌诊的客观化分析判断具有十分重要的意义。目前，舌面的三维成像方法主要有磁共振成像或CT成像、多目立体视觉三维成像法及光度立体法。其中，磁共振成像或CT成像由于其高成本及低分辨率的特点而不具有实用性；多目立体视觉三维成像法不能提供舌面的颜色信息；光度立体法利用不同光照和同一视角下的多幅图像(至少三幅)依次求解舌面的法向量、纹理反射率和深度信息实现三维重建，该方法在舌体边界区域的重建精度有待改进。为了实现高精度获取舌面的彩色三维信息，本设计方案采用线结构光视觉测量技术。线结构光传感器的数学模型是线结构光视觉测量技术的关键，直接影响系统的测量精度。目前，常用的数学模型有三种：小孔成像透视变换模型、解析几何模型、空间映射模型。其中，小孔成像透视变换模型是根据摄像机成像原理建立的理想情况，其系统测量精度受限于光学系统调整误差、镜头畸变及图像采集误差等；解析几何模型需要已知摄像机光轴与光平面之间的夹角等参数，才能通过空间解析法求解测量点的三维信息，然而实测时系统往往无法提供这些参数；空间映射模型建立了图像坐标(u,v)到光平面上空间测量点坐标(Xw,Yw)的映射关系，但不能确定空间测量点(Xw,Yw,Zw)到图像点(u,v)的坐标映射关系，故很难准确快速地完成颜色渲染。技术实现要素：为克服现有技术的不足，本发明旨在实现准确快速地获取舌面的彩色三维点云数据，提高中医诊断的准确性，实现舌头上表面及下表面的彩色三维信息的准确获取。本发明采用的技术方案是，成像光线空间追踪舌面彩色三维成像系统，由彩色CCD摄像机、两个一字线激光器、高速精密电动升降台、白色LED环形光源、计算机及图像采集卡组成。其中，一字线激光器Ⅰ与彩色CCD摄像机组成的线结构光传感器Ⅰ完成舌头上表面的扫描测量；一字线激光器Ⅱ与CCD摄像机组成的线结构光传感器Ⅱ完成舌头下表面的扫描测量；在扫描测量的初始位置，由CCD摄像机摄取舌头上表面的彩色图像；一字线激光器Ⅰ投射到舌头上表面产生光条，CCD摄像机拍摄光条图像，并由采集卡传输到计算机中，利用灰度重心法对光条图像进行光条中心提取获得光条的像素坐标，结合高速精密电动升降台匀速运动提供的位移信息，即可计算光条的三维信息，并从彩色图像中提取各点的颜色信息，即可完成舌头上表面的彩色三维数据(x,y,z)-(R,G,B)的获取，(x,y,z)代表三维坐标，(R,G,B)代表红、绿、蓝三颜色通道；同理可以获取舌头下表面的彩色三维信息。成像光线空间追踪舌面彩色三维成像方法，步骤是，利用一字线激光器Ⅰ与CCD摄像机组成的线结构光传感器Ⅰ完成舌头上表面的扫描测量；利用一字线激光器Ⅱ与CCD摄像机组成的线结构光传感器Ⅱ完成舌头下表面的扫描测量；在扫描测量的初始位置，由CCD摄像机摄取舌头上表面的彩色图像；一字线激光器Ⅰ投射到舌头上表面产生光条，由CCD摄像机拍摄光条图像，并利用灰度重心法对光条图像进行光条中心提取获得光条的像素坐标，结合高速精密电动升降台匀速运动提供的位移信息，即可计算光条的三维信息，并从彩色图像中提取各点的颜色信息，即可完成舌头上表面的彩色三维数据(x,y,z)-(R,G,B)的获取，(x,y,z)代表三维坐标，(R,G,B)代表红、绿、蓝三颜色通道，同理可以获取舌头下表面的彩色三维信息。光条的三维信息由如下三维测量模型表达式计算得到的：Lxwywzw1=1000010±Δyk0010xwywzw1=xwyw±Δykzw1]]>其中，L为根据当前升降台的位置对测量值进行相应的升降变换值，xw,yw,zw为空间测量点坐标，Δyk为当前升降台位置与初始升降台位置的位移偏差。空间中任意一点与其对应成像点之间一一映射的关系：xw-xlxm-xl=yw-ylym-yl=zw-lm-lxl=Σi=0nΣj=0n-iCijluivjxm=Σi=0nΣj=0n-iCijmuivjyl=Σi=0nΣj=0n-iDijluivjym=Σi=0nΣj=0n-iDijmuivj---(7)]]>式中，(u，v)代表空间点对应的像素坐标，l和m分别代表与摄像机像平面相互映射的两个空间平面的z坐标，和为成像光线追踪模型参数，由系统参数标定获得；则系统的颜色渲染模型为：KPe2+(1-K)Pe1＝0(8)式中：K=zw-lm-l,]]>P=1uvuvu2v2...unvn-xw1uvuvu2v2...unvn-yw2×M,]]>e1=C0lC1lC2lC3lC4lC5l...CM-2lCM-1l1D0lD1lD2lD3lD4lD5l...DM-2lCM-1l1T,]]>e2=C0mC1mC2mC3mC4mC5m...CM-2mCM-1m1D0mD1mD2mD3mD4mD5m...DM-2mDM-1m1T,]]>M=Σi=0n(1+i)(n+1-i).]]>则对于空间中任意一点Pw(xw,yw,zw)，利用广义逆法对颜色渲染模型进行优化求解，即求得对应的像素坐标(u,v)，并根据该像素坐标在已保存的舌头上表面或下表面的彩色图像中提取该点对应的(R,G,B)值，那么将其与空间坐标贴合在一起，即获得对应的三维彩色信息(xw,yw,zw)-(R,G,B)。本发明的特点及有益效果是：本发明设计了一种使用成像光线空间追踪方法的舌面彩色三维成像系统，在成像光线追踪方法的基础上，引入光平面约束，以准确确定成像点到空间测量点的映射，结合两个线结构光传感器的扫描测量，分别获取舌头上表面及下表面完整的三维信息，并根据空间测量点到成像点的映射，完成颜色渲染，获取对应测量空间点的颜色信息。通过本发明获取的舌面彩色三维信息，可以准确反映舌体的形态轮廓，舌苔分布情况，舌下脉络等三维信息，并且能够真实完整地显示舌苔颜色，舌质颜色及舌下脉络的颜色等，这将在很大程度上辅助医生进行客观准确的诊断。因此，本设计方案有较好的技术优势。附图说明：图1系统结构示意图。图2成像点与其空间测量点之间的坐标映射。图3舌面点云数据，图中，(a)舌头上表面，(b)舌头下表面。具体实施方式提出了一种使用成像光线追踪方法的彩色三维成像系统，使用成像光线追踪方法，引入光平面约束，结合两个线结构光传感器的扫描测量，分别获取舌头上表面及下表面完整的三维信息，并通过颜色渲染，获取对应空间测量点的颜色信息。1.系统测量方案本设计方案采用基于成像光线追踪的线结构光视觉测量方法分别对舌头上表面和下表面进行扫描测量，系统结构示意图如图1所示。系统主要由一台彩色CCD摄像机、两个一字线激光器、一台高速精密电动升降台、一个白色LED环形光源及图像采集卡等组成。其中，激光器Ⅰ与CCD摄像机组成的线结构光传感器Ⅰ完成舌头上表面的扫描测量；激光器Ⅱ与CCD摄像机组成的线结构光传感器Ⅱ完成舌头下表面的扫描测量。在扫描测量的初始位置，由CCD摄像机摄取舌头上表面的彩色图像。激光器Ⅰ投射到舌头上表面产生光条，由CCD摄像机拍摄光条图像，并利用灰度重心法进行光条中心提取获得光条的像素坐标，结合高速精密电动升降台匀速运动提供的位移信息，即可计算光条的三维信息，并从彩色图像中提取各点的颜色信息，即可完成舌头上表面的彩色三维数据(x,y,z)-(R,G,B)的获取。同理可以获取舌头下表面的彩色三维信息。2.三维测量方法使用成像光线追踪实现三维测量。成像点与其空间测量点之间的坐标映射关系如图2所示。其中，Ow-XwYwZw为测量坐标系，与摄像机像平面相互映射的空间平面Πl和Πm的平面方程分别为：Πl:z=lΠm:z=m---(1)]]>对于图像坐标系O-uv中的任一点Pu(u,v)，可以用n阶多项式计算出其对应空间直线lp分别与平面Πl和平面Πm的两个交点Pl(xl,yl,l)和Pm(xm,ym,m)，如式(2)所示：xk=Σi=0nΣj=0n-iCijkuivjyk=Σi=0nΣj=0n-iDijkuivj---(2)]]>式中：k为l或m，和为成像光线追踪模型参数，由系统参数标定获得。则空间直线lp的方程为：x-xlxm-xl=y-ylym-yl=z-lm-l---(3)]]>由成像光线追踪模型可知，与成像点Pu(u,v)对应的空间测量点Pw(xw,yw,zw)一定是在直线lp上，又由于点Pw位于光平面上，故由光平面与空间直线相交即可求得点Pw的三维坐标。其中，光平面Π1和光平面Π2在测量坐标系下的平面方程分别为：Π1:a1x+b1y+c1z+d1=0Π2:a2x+b2y+c2z+d2=0---(4)]]>式中：a1，b1，c1，d1和a2，b2，c2，d2分别为光平面Π1和光平面Π2方程参数，可以通过主成分分析法(PCA)进行空间平面拟合得到。则空间测量点Pw的三维坐标可以表示为：zw=al(xm-xl)/(m-l)+bl(ym-yl)/(m-l)-axl-byl-da(xm-xl)/(m-l)+b(ym-yl)/(m-l)+cxw=zw-lm-l(xm-xl)+xlyw=zw-lm-l(ym-yl)+yl---(5)]]>那么，光平面Π1和光平面Π2上的测量点Pw的坐标可以分别用各自的光平面方程参数代替式(5)的a，b，c，d计算得到。由图2中系统的升降扫描方式可知，系统测量坐标系Ow-XwYwZw的OwYw轴平行于升降台的移动方向。由于光平面随着升降台移动，故需将光条中心点的测量值统一到测量坐标下，即根据当前升降台的位置对测量值进行相应的升降变换L。则三维测量模型表达式：Lxwywzw1=1000010±Δyk0010xwywzw1=xwyw±Δykzw1---(6)]]>3.颜色渲染方法为了准确快速地获取舌面的颜色信息，要求在对舌头上表面和下表面进行扫描测量的初始位置，关闭激光器，分别拍摄一幅舌头上表面和下表面的彩色图像并保存。在扫描测量得到舌头上表面或下表面的三维信息后，根据点Pw(xw,yw,zw)、点Pl(xl,yl,l)及点Pm(xm,ym,m)三点共线的特性，由式(2)及式(3)可得空间中任意一点与其对应成像点之间一一映射的关系：xw-xlxm-xl=yw-ylym-yl=zw-lm-lxl=Σi=0nΣj=0n-iCijluivjxm=Σi=0nΣj=0n-iCijmuivjyl=Σi=0nΣj=0n-iDijluivjym=Σi=0nΣj=0n-iDijmuivj---(7)]]>则系统的颜色渲染模型为：KPe2+(1-K)Pe1＝0(8)式中：K=zw-lm-l,]]>P=1uvuvu2v2...unvn-xw1uvuvu2v2...unvn-yw2×M,]]>e1=C0lC1lC2lC3lC4lC5l...CM-2lCM-1l1D0lD1lD2lD3lD4lD5l...DM-2lCM-1l1T,]]>e2=C0mC1mC2mC3mC4mC5m...CM-2mCM-1m1D0mD1mD2mD3mD4mD5m...DM-2mDM-1m1T,]]>M=Σi=0n(1+i)(n+1-i).]]>则对于空间中任意一点Pw(xw,yw,zw)，利用广义逆法对颜色渲染模型进行优化求解，即可以求得对应的像素坐标(u,v)，并根据该像素坐标在已保存的舌头上表面或下表面的彩色图像中提取该点对应的(R,G,B)值，那么将其与空间坐标贴合在一起，即可获得对应的三维彩色信息(xw,yw,zw)-(R,G,B)。根据测量范围，按照图1系统结构搭建舌面彩色三维成像系统。测量时，通过提取光条特征点，将各点代入公式(6)即可求解出舌面的三维点云数据，再将这些三维点云数据代入公式(8)即可获得各个测量点所对应的颜色信息。通过本方案，选取多名舌面特征各不相同的受试者在实验室环境中进行实验，并要求受试者在实验前进行多次伸舌训练，确保实验过程中受试者舌头尽量伸长，舌体尽量放松，舌面尽量平展，且要求采集获取舌头上表面的彩色三维信息时，舌尖向下，采集获取舌头下表面的彩色三维信息时，舌尖向上。选取其中舌表面具有较典型特征的一位受试者的实验结果进行展示，如图3所示。由图3可知，通过本发明可以准确显示舌体的形态轮廓、舌苔分布情况、舌下脉络和舌苔、舌质及舌脉的颜色等信息，可辅助医生进行客观准确的诊断，对舌诊客观化的发展具有十分重要的意义。当前第1页1 2 3