一种基于人工神经网络模型的正中矢状平面构建方法与流程

本发明涉及将人工神经网络算法模型应用于口腔医学三维颜面数据的对称性分析；具体涉及一种基于人工神经网络模型的正中矢状平面构建方法。

背景技术：

颜面对称性分析问题是与口腔医学多个学科密切相关的临床基础问题，如在口腔颌面外科的正颌手术设计、创伤和肿瘤外科的颅颌面修复手术设计、口腔正畸矫治方案设计和口腔美学修复设计等方面，颜面对称性分析都是关键环节，而正中矢状平面(mediansagittalplane，msp)的构建则是颜面对称性分析的前提和基础。

在当今逐渐主流化的“三维”、“数字”口腔医疗新模式下，各种数字化的正颌手术设计、颅颌面缺损修复手术设计、正畸矫治设计和美学修复设计，都离不开颅颌面三维正中矢状平面的重要参考，其构建精度直接影响着后续数字化手术设计或诊疗设计结果的准确性与可靠性。然而，人颜面三维形貌几乎不存在完全对称的情况，不对称才是天然的！再加之口腔临床诊疗往往需要面对各种颜面畸形的病患，想要基于自然生物体复杂、无规则分布的不对称几何外形信息，构建符合口腔临床经验共识的、相对准确的颜面正中矢状平面并非易事。特别是针对复杂颜面畸形的情况，口腔临床目前仍主要依赖高年资医师的主观经验确定正中矢状平面，不利于相关数字化诊疗技术的基层普及和推广。因此，研究满足口腔临床各类型颜面畸形诊疗需求的三维正中矢状平面智能构建算法，是本领域亟待解决的关键科学问题。

1、国内外研究发展动态及现状

(1)基于三维颜面标志点构建正中矢状平面的方法发展成熟、应用广泛，但主观因素影响较大、普适性欠佳。

在三维颜面数字模型上确定颜面部中线解剖标志点及双侧解剖标志点，从而构建正中矢状面的方法(简称“标志点法”)，有较多文献报道且应用广泛，该方法的核心是三维标志点的选择标准。对于面部中线标志点和双侧对称标志点的选择标准，学者观点不一：1989年王兴、张震康等在美貌人群的面部对称性研究中，基于在人面部投射莫尔云纹的影像数据，将通过软组织鼻根点的眶耳平面的垂面作为正中矢状平面；2006年郭宏铭、白玉兴等在扫描获取的三维面相上通过左右外眦连线中点、鼻尖点和鼻底点三点构建正中矢状面，用以分析健康人群的面部不对称性。2009年沈国芳、房兵等基于ct重建的颅颌面三维颅骨模型，通过蝶鞍中心点、鼻根点和枕骨大孔前缘中点构建颅颌面正中矢状平面；2014年lee等使用垂直于双内眦点连线并经过双瞳孔中点的平面作为正中矢状面，用以分析面部大致对称和下颌明显偏斜的正畸患者的颜面对称性。2014年murakami等由鼻根点、鼻尖点、鼻下点、上唇中点、下唇中点、软组织颏下点共6个中线标志点拟合正中矢状平面，进行成人与儿童的颜面对称性分析比较。2016年nur等利用经过眉间点且垂直于瞳孔连线的平面定义正中矢状面，进行正畸患者的面部对称性研究。

此外，考虑到自然头位(naturalheadposition，nhp，指人在注视与眼球等高物体时自然、平衡的头颅位姿，符合患者生理特征及个人习惯，不易受后天发育影响)对辅助确定正中矢状平面的重要作用，有学者将自然头位与三维面部标志点结合确定正中矢状平面：2013年huang等在研究健康人群的面部对称性时，利用自然头位和双侧外眦点定义水平面，将垂直于水平面且经过鼻根点的平面定义为正中矢状面。2017年，masoud等先以垂直于自然头位下水平面且经过双侧瞳孔点的平面作为冠状面，再由双侧瞳孔连线中点、自然头位下水平面和冠状面确定正中矢状面，以此进行正畸矫治前评估。

“标志点法”的特点是：医生可根据自身的主观经验，选择适合患者个性化颜面特征的对称性良好的解剖标志点确定正中矢状平面，但也正因此，该方法对医生主观经验的依赖性较大，不同使用者、不同患者(特别是复杂颜面畸形的情况)间，方法的可重复性欠佳，较难形成具有一定临床普适性的共性方法，相关自动化算法的研发前景欠佳。

(2)基于本体-镜像关联模型构建正中矢状平面的方法发展迅速、成为主流，但对医生主观因素的考虑欠佳。

为了寻找适应证更广、自动化程度更高、适合数字化医疗发展需要的三维颜面正中矢状平面构建方法，学者们向着“不依赖”或“不完全依赖”解剖标志点的方向寻找新的解决途径，以期进一步降低构建方法对医生经验的依赖程度。本世纪初，“本体-镜像关联算法”应运而生。

“本体-镜像关联算法”的基本原理是对三维颜面数字模型(本体模型)及其镜像模型的几何形态进行重叠匹配，通过分析计算本体与镜像重叠后的几何对称模型(关联模型)的对称平面，从而获得原始三维颜面数字模型(本体模型)的正中矢状平面，实现步骤如图1所示。

本体-镜像关联法的关键是如何实现三维颜面数字模型的本体特征与镜像特征间的最优三维重叠。此处“最优”的涵义应理解为——符合口腔临床经验的最佳特征匹配。本体与镜像模型最优匹配的程度决定了最终正中矢状平面确定的准确性及临床适合性。因此，关于本体-镜像关联法的核心研究多围绕“三维重叠算法”开展。

①基于迭代最近点(iterativeclosestpoint，icp)算法的本体-镜像关联法(简称icp关联法)

icp算法是目前三维模型重叠最常用的算法之一，原理是对两个三维模型的空间点集间进行最近空间距离的迭代匹配计算，计算原理基于最小二乘法，算法通过多次空间矩阵的迭代求解，获得两个三维模型点集间的最优匹配位置，这个过程也称作“配准”(registration)。在icp关联法的评价研究方面：2002年benz等和2007年hartmann等对icp关联法构建颜面正中矢状平面的可靠性、可重复性性进行了验证，认为icp关联法明显优于解剖标志点法；2013年willing等将icp关联法和6种解剖标志点法构建的颜面正中矢状平面，与主成分分析法计算出的标准对称平面作比较，认为icp关联法的准确性更好；2014年刘筱菁、李自力等应用icp关联法构建三维头颅模型正中矢状平面，通过专家打分评价，认为优于解剖标志点构建法；2015年alqattan等将icp关联法和解剖标志点应用于85例正畸患者构建颜面正中矢状平面，认为icp关联法具有更优的效果。

icp关联法是一种“不依赖”解剖标志点的正中矢状平面构建算法，算法过程无需人工定义解剖标志点，本体与镜像模型的特征识别和匹配均由软件算法自动实现，即由算法识别颜面模型的特征分布(一般为几千、几万点)，再进行本体与镜像模型特征点间的对应关系匹配和最小空间距离计算。icp关联法的自动化程度高，可重复性好，具有一定普适性，不受人为因素影响，被不少研究证实可应用于唇腭裂患患者、正畸患者、正颌患者及青少年生长发育的三维颜面分析研究。

然而，亦有学者研究发现，对于面部严重不对称的患者，icp关联法会因自动纳入了畸形区域的数据，使得本体和镜像模型的配准结果不能达到临床意义上的“最优”，从而导致正中矢状平面的计算结果出现不理想的偏差^[11]。因此，2015年田凯月、李自力等对icp关联法进行了改进研究，针对面部不对称的正颌手术患者，通过人为选取非术区对称性良好的三维面部区域，排除不良区域后使用icp关联法构建正中矢状平面，在适当引入了医生干预的前提下，一定程度上改进了icp关联法的临床适合性。本文将这种人工选定对称数据区域进行本体-镜像模型匹配的方法简称为“区域icp关联法”。这虽然在一定程度上改进了icp算法对复杂颜面畸形的普适性，但因重新引入了人为干预，需依赖高年资医生的主观经验进行区域选择和排除，也降低了算法基层推广和普及的优势。

此外，icp或区域icp关联法还存在一个算法本质上的局限性：三维数据提供了丰富的人脸面部信息，临床上这些信息在辅助医生做对称性分析时所起的作用有大有小，一些重要的面部解剖特征标志点(如内眦点、外眦点、口角点、眉间点、鼻根点、鼻尖点、颏前点等)占据较高的参考价值，面部特征区域的三维形态(如鼻尖区域、下颏区域等)其次，非特征区域形态(如面颊区域、额头区域等)再其次。icp算法在本质上将所有参与算法运算的数据点“一视同仁”，在本体与镜像点集做重叠时，所有参与运算的数据点具有同等的权重，算法追求的是整体模型数据的最优匹配，未体现出不同部位信息重要性间的差异，与临床诊断思路和模式有一定差距。

②基于普氏分析(procrustesanalysis，pa)算法的本体-镜像关联法(简称pa关联法)

pa关联法即为在进行本体与镜像模型的重叠时，使用的是普氏分析算法(pa算法)。pa关联法与区域icp关联法在思想上有相似之处，其目的都是为了提高本体-镜像关联法对复杂颜面畸形的包容性，并且为了避免icp算法对颜面部信息无差异化的局限性，pa关联法采用了一种相对“折中”的思路，以体现出对面部重要解剖标志的关注，其算法流程如图2所示。

从pa算法原理中可以看出，pa关联法引入了重要解剖标志点集的理念(后文也称“pa解剖标志点”或“pa标志点”)，标志点的选择由医生决定，综合考虑标志点的重要性以及其所在区域的对称性情况。本体与镜像模型的重叠匹配取决于本体标志点集与镜像标志点集一一对应的配对关系，既可有效规避畸形区域数据的影响，又可体现口腔临床对颜面重要解剖标志特征的参考权重倾向。在算法最后一步计算关联模型对称平面时，标志点集此时不再发挥作用，最终的对称平面是由本体和镜像关联模型整体综合计算获得，在一定程度上也发挥了模型其他区域数据的作用。因此，与icp关联法这种完全不依赖解剖标志点的算法相比，pa关联法可以说是一种“不完全依赖”解剖标志点的正中矢状平面构建算法。这种“折中”的算法理念，一定程度上实现了对临床诊断机制和思维的模拟，即“既关注局部、又顾全整体”，比区域icp算法的改良效果更显著。但该算法不可避免地也引入了医生主观经验的干预，也在一定程度上降低了基层普及和推广的优势。

2012年damstra等将pa关联法应用于9副对称和5副明显不对称的干颅以确定正中矢状平面，证实了pa关联法的可靠性。2014年taylor等将pa关联法应用于100名颜面正常志愿者以及3名有不同程度面部畸形的患者，评价不同操作者应用该方法确定颜面正中矢状平面的差异，证实pa关联法具备良好的可重复性和客观性。2015和2016年，本课题组熊玉雪、王勇等报道了对30名志愿者应用pa关联法与icp关联法计算正中矢状平面的比较研究，证实对于面下1/3畸形患者，pa关联法适用性更好。

2、回顾总结

回顾本领域国内外研究动态可发现，基于颜面三维数字模型构建正中矢状平面的研究方向，其总体研究目标是：希望建立一种快速、自动、准确且符合临床专家诊断策略的智能算法，现有各种方法研究都在不同程度上向着这个目标努力，总结各自特点如表1所示：

表1现有正中矢状平面构建方法的特点

此外，口腔临床针对颜面软组织形态确定正中矢状平面时的影响因素较为综合，可归纳为“客观”和“主观”两方面影响因素。“客观因素”主要是指人颜面部的天然解剖特征(如pa标志点)，这些特征自身具有复杂性和多样性的特点，既往算法研究也大多针对颜面解剖特征呈现出的这种复杂的客观现象，对解剖特征区域/标志点的分布、筛选、权重分配等开展研究，从而研发一系列自动化算法(如课题组的权重pa算法)。除此之外还有一些因素，他们与客观的颜面解剖特征间并没有直接关系，但却同样影响着正中矢状平面的临床判断，最主要的就是医生的临床诊断。举例来说，正颌外科的患者在治疗上医生特别关注自然头位(nhp)的影响，患者确定正中矢状平面时，nhp坐标系所确定的垂直方向，其临床指导意义有时会大于面中线解剖标志点的作用；再如，对于复杂病因的面部不对称畸形患者，在正颌治疗阶段，正颌外科医生更多关注面下1/3的解剖特征对称性，其确定的正中矢状平面将给与相关区域特征更多的权重关注；颅颌面创伤修复治疗阶段，创伤外科医生则更多关注创伤区域的解剖特征对称性(如眼眶、颧骨等)，以考虑局部修复重建手术的组织镜像需要。上述临床诊断因素，本发明称之为“主观因素”，其对pa算法解剖标志点的权重分配策略有不可忽视的影响，因而需要进一步寻求针对pa算法中解剖标志点权重分配策略的更为复杂的数学函数表达，可以对临床主观诊断因素与颜面解剖特征客观因素的综合影响进行模拟。在寻求算法自动化与主观因素兼顾的最优契合目标下，解决途径是要让算法学会“人的思维”，以适应正中矢状平面构建的复杂性、多样性和主观依赖性特点！近年来人工智能技术的新发展，为本领域的研究提供了新的发展思路。基于国内外文献检索，近年来人工智能技术特别是基于人工神经网络(artificialneuralnetwork，ann)的机器学习技术应用于医学图像诊断的研究较为热点，并表现出了良好的智能特性。但目前仅见对二维医学图像特征的判别和疾病分类诊断研究，未见其在三维颜面数字模型对称性分析领域的相关报道。

技术实现要素：

(一)要解决的技术问题

本发明的目的是提供一种基于人工神经网络模型的正中矢状平面构建方法，能将人工神经网络算法模型应用于口腔医学三维颜面数据的对称性分析，创新提出“人工神经网络pa关联法”构建正中矢状平面的算法思路，实现pa标志点的智能权值调控，达到模拟临床专家级诊断策略的效果。

(二)技术方案

本发明的一种基于人工神经网络模型的正中矢状平面构建方法，包括以下步骤：

(1)、建立适用于三维颜面数据pa关联法构建正中矢状平面的人工神经网络模型：

针对正中矢状平面构建的临床实际需求，依据口腔临床的疾病分类与pa解剖标志点权重参考性间的影响关系，构建一个由输入层、隐藏层和输出层构成的3—4层节点结构的多层人工神经网络模型，对临床主观诊断的情况进行合理归纳和分类，并建立各诊断分类下神经网络节点的拓扑关系；

根据pa关联法的原理，对三维颜面数据的本体标志点集n1及其镜像标志点集n2进行经典pa重叠，获得重叠后具有一一对应关系的同名标志点对共14对，记录此时的每对标志点坐标的组合坐标：xn1，yn1，zn1，xn2，yn2，zn2，其中xn1、yn1、zn1为本体标志点三坐标，xn2，yn2，zn2为对应的镜像重叠标志三坐标，n为标志点对代码：1-14，六个坐标参数作为神经网络系统的一个输入节点“特征”信息；此时输入层的各节点特征为“等权重”时的pa重叠坐标；

对于用于人工神经网络系统训练的每个三维颜面数据，根据患者数据的临床疾病分类，由专家在geomagic软件中对三维颜面数据的正中矢状平面进行标注，该平面的数学表达方程作为“目标”信息，用于神经网络的监督训练；

输入层节点对应的激励函数可对输入信息进行必要的运算处理，经过与后一层节点间的加权值wi进行调整，得到隐藏层节点数值；隐藏层节点的层数和个数可根据实际数据集的训练结果进行适当调整，隐藏层节点的信息是上一层节点的抽象特征的体现，这些特征并非一定是解剖学意义上的特征，有些会是数值关系上的特征；隐藏层节点的激励加权wi’由神经网络模型在训练过程中自适应调整，体现出系统在训练数据的深层分析过程中对内部隐藏特征的权重判断；人工神经网络系统最终由输出层节点输出一指定形式的权重函数矩阵wi(t),进而计算获得pa标志点集的最优重叠匹配位置，从而计算构建神经网络权值调控下的正中矢状平面数学方程；

(2)、建立人工网络模型针对pa解剖标志点的智能权重调控机制，实现专家级逻辑策略的训练模式和反馈机制：

构建的神经网络模型，其最终输出的权值矩阵是由系统输入层到输出层之间所有节点间加权的权值矩阵的“点乘”结果，网络训练的过程实际就是权值矩阵不断自我调整的过程；在人工神经网络系统输出端将训练数据通过人工神经网络系统计算的结果与训练数据配套注的“真值”做比较，并将误差信息反馈回人工神经网络系统；

在每个数据的训练过程中，人工神经网络系统输入一套人工标记的pa坐标信息，同时输出一个人工神经网络系统计算的正中矢状平面，将输出的正中矢状平面与训练数据标注的专家定义正中矢状平面做差异计算，获得两个平面的三维角度偏差和两平面交线位置信息；对于两个空间平面，原则上角度偏差越小、交线位置距离有效数据区域越接近，代表两个平面越逼近；将所述角度偏差和交线位置信息做适当形式转换后，作为反馈信息沿神经网络的反向传播方向，逐级调整节点权值，即从输出端向输入端的反向权值调控；

反向权值调控的目的是使每次权值更新后，人工神经网络系统输出的结果更逼近于专家定义的正中矢状平面，经过反复多次训练，可实现系统输出误差项的最小化；这种反馈调控机制能够说是一种由结果导向的系统权值参数的整体优化，而并不是局限于某几个或局部权值的调整，能够更好地体现出神经网络系统并行、非线性的特点，从而可以实现模拟人脑思维的效果。

其中，所述临床疾病分类包括正颌、肿瘤、创伤、正畸的类别。

(三)有益效果

本发明的优点在于：能将人工神经网络算法模型应用于口腔医学三维颜面数据的对称性分析，创新提出“人工神经网络pa关联法”构建正中矢状平面的算法思路，实现pa标志点的智能权值调控，达到模拟临床专家级诊断策略的效果。

附图说明

图1是“本体-镜像关联法”构建正中矢状平面的算法流程图；

图2是pa关联法构建正中矢状平面的算法流程图；

图3是本发明拟构建的pa标志点智能权重调控人工神经网络系统方框图。

图中，w11、w12、w14(n-1)、w14n为输入层节点到隐藏层节点的权值函数，w1’、w2’、w(n-1)’、wn’为隐藏层节点到输出层节点的权值函数。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的本发明的一种基于人工神经网络模型的正中矢状平面构建方法，包括以下步骤：

(1)、建立适用于三维颜面数据pa关联法构建正中矢状平面的人工神经网络模型：

针对正中矢状平面构建的临床实际需求，依据口腔临床的疾病分类与pa解剖标志点权重参考性间的影响关系，构建一个由输入层、隐藏层和输出层构成的3—4层节点结构的多层人工神经网络模型，对临床主观诊断的情况进行合理归纳和分类，并建立各诊断分类下神经网络节点的拓扑关系；

根据pa关联法的原理，对三维颜面数据的本体标志点集n1及其镜像标志点集n2进行经典pa重叠，获得重叠后具有一一对应关系的同名标志点对共14对，记录此时的每对标志点坐标的组合坐标：xn1，yn1，zn1，xn2，yn2，zn2，其中xn1、yn1、zn1为本体标志点三坐标，xn2，yn2，zn2为对应的镜像重叠标志三坐标，n为标志点对代码：1-14，六个坐标参数作为神经网络系统的一个输入节点“特征”信息；此时输入层的各节点特征为“等权重”时的pa重叠坐标；

对于用于人工神经网络系统训练的每个三维颜面数据，根据患者数据的临床疾病分类，由专家在geomagic软件中对三维颜面数据的正中矢状平面进行标注，该平面的数学表达方程作为“目标”信息，用于神经网络的监督训练；

输入层节点对应的激励函数可对输入信息进行必要的运算处理，经过与后一层节点间的加权值wi进行调整，得到隐藏层节点数值；隐藏层节点的层数和个数可根据实际数据集的训练结果进行适当调整，隐藏层节点的信息是上一层节点的抽象特征的体现，这些特征并非一定是解剖学意义上的特征，有些会是数值关系上的特征；隐藏层节点的激励加权wi’由神经网络模型在训练过程中自适应调整，体现出系统在训练数据的深层分析过程中对内部隐藏特征的权重判断；人工神经网络系统最终由输出层节点输出一指定形式的权重函数矩阵wi(t),进而计算获得pa标志点集的最优重叠匹配位置，从而计算构建神经网络权值调控下的正中矢状平面数学方程；

(2)、建立人工网络模型针对pa解剖标志点的智能权重调控机制，实现专家级逻辑策略的训练模式和反馈机制：

构建的神经网络模型，其最终输出的权值矩阵是由系统输入层到输出层之间所有节点间加权的权值矩阵的“点乘”结果，网络训练的过程实际就是权值矩阵不断自我调整的过程；在人工神经网络系统输出端将训练数据通过人工神经网络系统计算的结果与训练数据配套注的“真值”做比较，并将误差信息反馈回人工神经网络系统；

在每个数据的训练过程中，人工神经网络系统输入一套人工标记的pa坐标信息，同时输出一个人工神经网络系统计算的正中矢状平面，将输出的正中矢状平面与训练数据标注的专家定义正中矢状平面做差异计算，获得两个平面的三维角度偏差和两平面交线位置信息；对于两个空间平面，原则上角度偏差越小、交线位置距离有效数据区域越接近，代表两个平面越逼近；将所述角度偏差和交线位置信息做适当形式转换后，作为反馈信息沿神经网络的反向传播方向，逐级调整节点权值，即从输出端向输入端的反向权值调控；

反向权值调控的目的是使每次权值更新后，人工神经网络系统输出的结果更逼近于专家定义的正中矢状平面，经过反复多次训练，可实现系统输出误差项的最小化；这种反馈调控机制能够说是一种由结果导向的系统权值参数的整体优化，而并不是局限于某几个或局部权值的调整，能够更好地体现出神经网络系统并行、非线性的特点，从而可以实现模拟人脑思维的效果。

所述临床疾病分类包括正颌、肿瘤、创伤、正畸的类别。

由专家在geomagic软件中对三维颜面数据的正中矢状平面进行标注，获得的就是专家定义的正中矢状平面；专家定义的正中矢状平面是反馈训练的必要条件，但通过专家标注数据训练好的神经网络系统，在应用时就不再需要专家干预。

所述专家定义的正中矢状平面，也能采用“一种具有权重分配机制的三维颜面对称参考平面提取方法”来确定。

如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。