一种三维颜面对称参考平面智能构建方法

本发明涉及一种对称参考平面构建方法，具体涉及一种三维颜面对称参考平面智能构建方法。1背景颜面部美学评估、面部对称性分析是口腔各个学科共同关注的基础问题，在医学和美学要求较高的学科如口腔正畸、口腔颌面外科、口腔修复领域尤为关键。颜面部不对称性分析在口腔临床诊断、手术设计、疗效评价等环节均起到至关重要的作用，而不对称性分析往往基于颜面部的对称参考平面(symmetry reference plane，srp)，也称正中矢状平面(median sagittal plane，msp)，对称参考平面的构建精度直接影响着后续诊疗效果的准确性与可靠性。由于先天或环境因素的影响，没有绝对对称的人脸，因而基于自然生物体复杂、无规则分布的不对称几何人脸信息，构建其对称参考平面结果并不唯一。因此，研究智能化、自动化的三维颜面对称参考平面新算法，可为口腔临床提供更加高效、准确的三维颜面数据对称性分析解决方案。2国内外研究发展动态及现状既往文献中三维颜面对称参考平面构建方法主要分为人工定义方法、半自动化算法和自动化算法。人工定义方法常基于颜面部三维数字模型上重要解剖标志点人工构建对称参考平面，通常包括中线解剖标志点及双侧解剖标志点。在标志点的选择标准问题上，不同学者所持观点不一，不同使用者、不同研究对象构建的对称参考平面可重复性欠佳。半自动化算法则是基于人工干预和软件计算的三维颜面对称参考平面构建方法，称为“本体-镜像关联算法”。“本体-镜像关联算法”是一种应用软件构建对称参考平面的半自动化算法，依据本体模型与镜像模型重叠匹配的原理，可分为参考标志点的普氏分析算法和不参考标志点的迭代最近点算法。本体-镜像关联算法提高了对称参考平面构建的自动化程度，但为获得较为理想的重叠效果，仍难以避免人工选择标志点或区域的问题。近年来人工智能技术在口腔医学领域图像处理、疾病诊断与决策等方面得到了广泛应用。基于人工神经网络的深度学习算法拥有强大的特征提取和学习能力，能够合理处理复杂形态信息，并从中学习隐含规律，在各种智能任务中表现出优越性能，具备巨大的应用潜力。深度学习算法为三维模型对称参考平面的构建提供了新的思路，刘新国等人提出了点云的对称性分析sym-net网络，基于pointnet++网络进行特征提取，该监督学习网络模型通过对规则几何模型“中线”及“双侧”点云进行分类，由“双侧”点确定对称平面。徐凯等基于单张rgb-d图像提出预测三维模型对称平面的symmetrynet网络，该监督学习网络模型通过预测模型旋转和反射对称性，确定点云间两点的对应关系及对称平面。上述模型对于局部形状具有较好的鲁棒性，但是监督学习需专家标注数据，在数据量较大的数据集中进行训练显示出其局限性。深度学习算法构建三维几何模型对称参考平面的研究，但尚未有直接基于三维颜面数据，应用深度学习算法智能构建对称参考平面的研究。3回顾总结通过上述对以往研究的回顾，可以认为：自动化程度高、临床经验依赖程度低、准确稳定的三维颜面对称参考平面的构建算法是目前的发展方向，现有研究各种半自动化和自动化算法，都在不同程度上向着这个目标努力。基于icp和pa算法的半自动化算法研究仍受人为筛选面部区域、人工定义面部重要解剖标志点的限制，算法的自动化程度有限；自动化算法目前在计算机视觉等领域针对规则几何数据已有研究，但针对口腔医学非规则三维颜面数据的研究尚未报道。上述算法目前均还未实现自动、智能、准确、稳定的三维颜面对称参考平面构建。参考文献[1]rhodes,gillian.the evolutionary psychology of facial beauty[j].2006,57(1):199-226。[2]burriss r p,roberts s c,welling l,et al.heterosexual romanticcouples mate assortatively for facial symmetry,but not masculinity[j].personality and social psychology bulletin,2011,37(5):601-613。[3]thiesen g,gribel b f,freitas m p m.facial asymmetry:a currentreview[j].dental press journal of orthodontics,2015,20(6):110-125。[4]weinberg s m,naidoo s,govier d p,et al.anthropometric precisionand accuracy of digital three-dimensional photogrammetry:comparing the genexand 3dmd imaging systems with one another and with direct anthropometry.[j].journal of craniofacial surgery,2006,17(3):477。[5]duran,gokhan,serhat,et al.accuracy and reliability of 3dstereophotogrammetry:a comparison to direct anthropometry and 2dphotogrammetry[j].angle orthodontist,2016。[6]lo l,yang c,ho c,et al.automatic assessment of 3-dimensionalfacial soft tissue symmetry before and after orthognathic surgery using amachine learning model:a preliminary experience[j].annals of plastic surgery,2021,86(3s)。[7]lin h,chiang w,yang c,et al.on construction of transfer learningfor facial symmetry assessment before and after orthognathic surgery[j].computer methods and programs in biomedicine。2021,200:105928。[8]murakami d,inada e,saitoh i,et al.morphological differences offacial soft tissue contours from child to adult of japanese males:a three-dimensional cross-sectional study[j].arch oral biol。2014,59(12):1391-1399。[9]nur r b,cakan d g,arun t.evaluation of facial hard and soft tissueasymmetry using cone-beam computed tomography[j].am j orthod dentofacialorthop,2016,149(2):225-237。[10]benz m,laboureux x,maier t,et al.the symmetry of faces.[z].200243-50。[11]verhoeven t,xi t,schreurs r,et al.quantification of facialasymmetry:a comparative study of landmark-based and surface-basedregistrations[j].journal of cranio-maxillofacial surgery,2016,44(9):1131-1136。[12]klingenberg c p,barluenga m,meyer a.shape analysis of symmetricstructures:quantifying variation among individuals and asymmetry[j].evolution,2002,56(10):1909-1920。[13]田凯月.下颌前突偏斜畸形数字化矫治方案设计[d].北京大学医学部,2015。[14]zhu y,zheng s,yang g,et al.a novel method for 3d face symmetryreference plane based on weighted procrustes analysis algorithm[j].bmc oralhealth,2020,20(1):319。[15]dot g,schouman t,chang s,et al.automatic 3-dimensionalcephalometric landmarking via deep learning[j].journal of dental research,2022,101(11):1380-1387。[16]hao j,liao w,zhang y l,et al.toward clinically applicable 3-dimensional tooth segmentation via deep learning[j].journal of dentalresearch,2022,101(3):304-311。[17]liu j l,li s h,cai y m,et al.automated radiographic evaluation ofadenoid hypertrophy based on vgg-lite[j].journal of dental research,2021,100(12):1337-1343。[18]wang h,minnema j,batenburg k j,et al.multiclass cbct imagesegmentation for orthodontics with deep learning[j].journal of dentalresearch,2021,100(9):943-949。[19]lecun y,bengio y,hinton g.deep learning[j].nature,2015,521(7553):436-444。[20]ji p,liu x.a fast and efficient 3d reflection symmetry detectorbased on neural networks[j].multimedia tools and applications,2019,78(24):35471-35492。[21]qi c r,yi l,su h,et al.pointnet plus plus:deep hierarchicalfeature learning on point sets in a metric space[z].31st annual conference onneural information processing systems(nips):2017.30。[22]shi y,huang j,zhang h,et al.symmetrynet:learning to predictreflectional and rotational symmetries of 3d shapes from single-view rgb-dimages[j].acm transactions on graphics,2020,39(6)。

背景技术：

技术实现思路

1、(一)要解决的技术问题

2、本发明针对口腔临床数字化诊疗对三维颜面不对称性分析的需求，建立了一种智能构建三维颜面对称参考平面的方法，该方法包括三维颜面数据兴趣区提取和平面反射对称神经网络构建两个步骤，可实现符合三维颜面对称参考平面的准确、高效构建，为口腔临床数字化诊疗提供一种新的对称参考平面构建解决方案。

3、(二)技术方案

4、本发明的一种三维颜面对称参考平面智能构建方法，有以下步骤：

5、(1)三维颜面数据兴趣区自动提取：

6、首先对三维颜面数据进行兴趣区自动提取：

7、为获得三维颜面数据兴趣区，首先将三维颜面数据投影至二维平面图像，通过提取二维图像的人脸关键点获得图像中解剖区域的关键点，继而将图像上的关键点映射回三维人脸上，得到三维颜面数据的关键点，并通过区域扩充得到三维颜面数据兴趣区；该过程如图1所示；

8、(2)平面反射对称神经网络构建三维颜面对称参考平面：

9、基于步骤(1)的三维颜面数据兴趣区提取，进一步建立平面反射对称神经网络智能构建三维颜面对称参考平面；神经网络框架如图2所示；平面反射对称神经网络首先在三维颜面数据兴趣区的网格表面上进行均匀采样，得到点数相同的三维点云数据，获得10240点的三维点云数据；所述三维点云数据通过点云深度网络-ponitnet网络，进行全局特征提取；将全局特征输入全连接网络中，来预测对称参考平面的平面参数；对称参考平面采用一般表达式表示方程ax+by+cz+d＝0；整个神经网络结构采用有监督的方式进行训练；神经网络损失函数设定为预测平面参数与建立标注真值平面参数的专家数据库平面参数的均方误差；损失函数表达式如下：其中：a,b,c,d为专家数据库平面ax+by+cz+d＝0的参数,是平面反射对称神经网络预测对称参考平面的平面参数。

10、其中：

11、具体提取二维图像人脸关键点的实现方法采用了密集人脸对齐算法(3d denseface alignment,简称3ddfa算法)，该算法基于三维颜面数据进行人脸关键点检测与标记，提取出面部51个二维图像的关键点(如图1所示)，分布于面部眉毛、眼周、鼻区、口唇区及双侧耳屏至颏部的下颌轮廓线；所述人脸关键点所在区域涵盖了面部美学分析的主要区域：眼周、鼻区、口唇区的对颜面不对称性分析点云的特征表示，并将二维图片上的人脸关键点进行反投影，得到相应的三维颜面数据上人脸关键点。

12、其中：

13、为进一步扩展所述三维颜面数据上人脸关键点附近区域的点云，构建符合临床诊疗分析的兴趣区；选取三维颜面数据上与人脸关键点距离直径小于20mm的其他顶点进行区域扩展，得到的扩展区域即为三维颜面数据兴趣区，基于上述三维颜面兴趣与提取方法可将眼周、鼻区、口唇区均完整纳入选区。

14、(三)有益效果

15、本发明基于三维颜面数据兴趣区提取和平面反射对称神经网络建立三维颜面对称参考平面的智能构建方法，可实现三维颜面对称参考平面的自动构建，有效降低临床数据标注的工作量，缩短数字化诊断设计时间，降低专家经验依赖性，提高临床诊疗效率和效果。