本发明涉及一种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,属于医学光电应用领域。
背景技术:
传统的计算机辅助颅颌面外科手术系统的设计一般是通过头颅侧位片在二维空间上进行手术的设计,结果不够准确。依靠2D头颅分析系统能提高患者和医生之间的交流,但是还不能准确地描述。基于光学的面部三维成像技术是近几年发展起来并逐渐被广泛应用的技术,但已有的颅颌面分析方法中缺乏对于面部软组织分析中对称轴面的确定的方法。
技术实现要素:
本发明的目的是提供一种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,解决现有技术中存在的已有的颅颌面分析方法中缺乏对于面部软组织分析中对称轴面的确定的问题。
本发明的技术解决方案是:
一种基于光学成像的颅颌面软组织矢状向中轴面确定方法,包括以下步骤,
S1、三维空间标定,利用双目视觉技术中的张正友摄像机标定方法进行标定,并获得摄像头组的内参和外参;建立以两台摄像机L、R的中点为世界坐标原点的三维坐标系:取摄像头镜头L中心点Ol与摄像头镜头R中心点Or连线中点O为坐标系原点,两台摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴;
S2、采集面部图像,让拍摄对象正对坐标原点站立,使拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域,使用面部标记组件对拍摄对象进行标记,将固定式标记点插入拍摄对象的标记部位,摄像头L、R同时拍摄图像;
S3、在双侧摄像头所采集的面部图像上获取标记点坐标,包括固定式标记点和图像特征标记点;
S31、对于固定式标记组件:计算面部标记组件的质心M在摄像头L与摄像头R所采集的面部图像中的对应点Ml、Mr,坐标为与并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的三维空间坐标(xM,yM,zM);
S32、对于图像特征标记点:利用鼠标选取特征点N在摄像头L与摄像头R所采集的图像中的对应点Nl、Nr,坐标为与并结合摄像头的内参和外参,计算各标记点在世界坐标系中的三维空间坐标(xN,yN,zN);
S4、利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面。
进一步地,步骤S31中固定标记点的获取,具体为:
S311、操作人员手动点取标记组件分别在摄像头L与摄像头R采集的结果图像中组件图像区域内的任意点Sl、Sr;
S312、分别以Sl、Sr为种子点对标记组件的图像区域采用区域增长算法,获得的填充区域为R(l)和R(r);
S313、分别求取摄像机L、R采集图像中区域增长后的结果区域的中心坐标
S314、利用不同摄像机采集图像中的标记点组件的中心点坐标结合摄像机的内参与外参,采用双目视觉理论计算当前标记点组件的中心点M在世界坐标系的三维空间坐标(xM,yM,zM);
S315、分别对左右侧耳中标记组件做步骤S311至步骤S314的操作,获取其空间坐标
进一步地,步骤S32中图像特征点的获取,具体为:
S321、操作人员选取面部特征点N分别在摄像头L与摄像头R采集的结果图像中的对应点Nl,Nr,并获取其坐标根据摄像机的内参与外参,采用双目视觉理论计算当前特征点N在世界坐标系的空间坐标(xN,yN,zN);
S322、所采集的图像特征点包括:左眼尾点Ne1、右眼尾点Ne2、左眼角点Nee1、右眼角点Nee2、左口角点Nl1、右口角点Nl2、鼻根点Nnr、鼻尖点Nnt、下巴颏点Nch、上唇中点Nluc、下唇中点Nllc。
进一步地,步骤S4具体为:
S41、根据左眼尾点Ne1、右眼尾点Ne2计算眼尾中点Nec:
S42、根据左眼角点Nee1、右眼角点Nee2计算眼角中点Neec:
S43、根据左口角点Nl1、右口角点Nl2计算口中点Nlc:
S44、根据左侧耳部标记点Me1、右侧耳部标记点Me2计算耳部中点Mec:
S45、根据下巴颏点Nch、鼻根点Nnr、鼻尖点Nnt、眼尾中点Nec、眼角中点Neec、口中点Nlc、耳部中点Mec,利用最小二乘法计算到这些点的距离的和最小的平面l0,该平面即为矢状向中轴面。
一种实现上述任一项所述方法的基于光学成像的颅颌面软组织矢状向中轴面确定系统,包括面部标记组件、光学采集组件和分析处理模块,
面部标记组件在拍摄对象上利用双目视觉技术中的张正友摄像机标定方法进行标定,面部标记组件包括若干用于示踪的标记,标记采用插入固定式标记,
光学采集组件采集拍摄对象的面部图像,并将采集的面部图像发送给分析处理模块;
分析处理模块对光学采集组件采集的面部图像进行分析,获取标记点的坐标,利用各标记点的空间坐标,计算各特征点坐标,实现矢状向中轴面轴面的确定。
本发明的有益效果是:该种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,能够通过三维面部中各标记点,确定面部软组织矢状向中轴面,该轴面的确定是面部软组织对称性分析以及面部软组织相关临床诊断分析的基础,特别是针对无法同时获取硬组织的情况。与现有的技术相比,本发明能便捷、有效、客观地确定三维空间中颅颌面软组织矢状向中轴面的位置,特别是在无法获取硬组织的情况下。
附图说明
图1是本发明实施例基于光学成像的颅颌面软组织矢状向中轴面确定方法的流程示意图;
图2是实施例中拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域的说明示意图;
图3是实施例中插入式标记点的俯视结构示意图;
图4是实施例中插入式标记点的侧视结构示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种基于光学成像的颅颌面软组织矢状向中轴面确定方法,如图1,包括以下步骤,
S1、三维空间标定:利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的内参和外参;建立以两台摄像机的中点为世界坐标原点的三维坐标系:取摄像头镜头L中心点Ol与摄像头镜头R中心点Or连线中点O为坐标系原点,摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴,其采集示意图如图2所示;
S2、颅颌面的采集:让拍摄对象正对坐标原点站立,使拍摄对象面部处于摄像头L与摄像头R共同的拍摄区域,将插入式标记点插入拍摄对象的耳孔,摄像头同时拍摄图像;
S3、在采集的面部图像上获取标记点坐标,包括固定式标记点和图像特征标记点;
S31、对于固定式标记点M:计算标记组件质心M在摄像头L与摄像头R所采集的图像中的对应点Ml,Mr,坐标与并据此结合摄像头的内参和外参计算各标记点在世界坐标系中的空间坐标(xM,yM,zM);
固定标记点的获取具体为:
S311、操作人员手动点取标记点M分别在摄像头L与摄像头R采集的结果图像中组件图像区域内的任意点Sl,Sr;
S312、分别以Sl,Sr为种子点对标记点组件的图像区域采用区域增长算法,获得的填充区域为R(l)和R(r);
S313、分别获取摄像机L、R采集图像中区域增长后的结果区域的质心坐标作为的标记组件分别在摄像机采集图像中的中心点的坐标,计算公式如下:
S314、利用不同摄像机采集图像中的标记点组件的中心点坐标结合摄像机的内参与外参,采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标(xM,yM,zM);
S315、分别对左右侧耳中标记点组件做如上的操作,获取其空间坐标
S32、对于图像特征标记点:利用鼠标选取特征点N在摄像头L与摄像头R所采集的图像中的对应点Nl,Nr,坐标与并结合摄像头的内参和外参,计算各标记点在世界坐标系中的空间坐标(xN,yN,zN);
图像特征点的获取具体为:
S321、操作人员选取面部特征点N分别在摄像头L与摄像头R采集的结果图像中的对应点Nl,Nr,并获取其坐标根据摄像机的内参与外参,采用双目视觉理论计算当前特征点N在世界坐标系的空间坐标(xN,yN,zN);
S322、所采集的图像特征点包括:左眼尾点Ne1,右眼尾点Ne2,左眼角点Nee1,右眼角点Nee2,左口角点Nl1,右口角点Nl2;鼻根点Nnr,鼻尖点Nnt,下巴颏点Nch,上唇中点Nluc,下唇中点Nllc。
S4、利用各标记点的三维空间坐标,计算各特征点,确定矢状向中轴面。具体包括:
S41、根据左眼尾点Ne1、右眼尾点Ne2计算眼尾中点Nec:
S42、根据左眼角点Nee1、右眼角点Nee2计算眼角中点Neec:
S43、根据左口角点Nl1、右口角点Nl2计算口中点Nlc:
S44、根据左侧耳部标记点Me1、右侧耳部标记点Me2计算耳部中点Mec:
S45、根据下巴颏点Nch、鼻根点Nnr、鼻尖点Nnt、眼尾中点Nec、眼角中点Neec、口中点Nlc、耳部中点Mec,利用最小二乘法计算到这些点的距离的和最小的平面l0,该平面即为矢状向中轴面。
一种实现上述任一项所述方法的基于光学成像的颅颌面软组织矢状向中轴面确定系统,包括面部标记组件、光学采集组件和分析处理模块,
面部标记组件在拍摄对象上利用双目视觉技术中的张正友摄像机标定方法进行标定,面部标记组件包括若干用于示踪的标记,标记采用插入固定式标记,
光学采集组件采集拍摄对象的面部图像,并将采集的面部图像发送给分析处理模块;
分析处理模块对光学采集组件采集的面部图像进行分析,获取标记点的坐标,利用各标记点的空间坐标,计算各特征评测参数,实现初始矢状向对称轴面的确定;设定能量函数,迭代求解最优矢状向对称轴面。
实施例中面部标记组件为一组不透明的橡胶或聚酯材料做成的标记。标记为插入固定式标记,标记一端为半径为1mm、高4mm的圆柱体可插入耳部等类似部位进行固定,一端为半径为2mm、厚2mm的圆薄片用于标记示踪,如图3和图4所示。需要说明的是插入式固定标记点组件固定端的半径和长度都可根据实际应用需要调整大小。标记点组件的材料可根据实际应用需要调整,不仅限于橡胶和聚酯等类材料。
该种基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统,能够通过三维面部中各关键点,对于面部软组织矢状向对称轴面的确定,该轴面的确定是面部软组织对称性分析的基础,特别是针对无法同时获取硬组织的情况。与现有的技术相比,实施例的方法及系统能有效地确定三维空间中颅颌面软组织矢状向对称轴面的位置,具有便捷客观地实现分析面部的优势。