一种下颌角截骨术的预测和实时渲染系统的制作方法

本发明涉及下颌角截骨术技术领域，尤其是涉及一种下颌角截骨术的预测和实时渲染系统。

背景技术：

由于下颌角截骨术后患者面部外观的变化，除与下颌骨截骨量相关外，与局部软组织张力改变导致的软组织体积量的变化也有一部分关联。因此，下颌角截骨术的去骨量并不是术前患者面部外观与术后预测效果间做减法，既往单纯借助于三维ct及面部3d扫描照相系统来进行手术效果的3d设计，并不能准确预测在下颌角截骨术中为达到术后预测效果时下颌角的去骨量及截骨面形态位置。

现有的针对下颌角截骨术的手术导航系统，通过对患者进行螺旋ct扫描，并将影像数据进行重建及处理，凭借既往临床经验设计截骨线，并将其标注在下颌骨的三维数据模型上，机器人辅助手术系统将截骨线细分为多个钻点，通过在骨面上沿截骨线进行多处钻点钻孔以实现截骨。同时，该系统通过在下颌角区钻孔连接标记模块形成标记复合体，或根据患者下齿列形态定制牙套模，并将标记模块连接在牙套模上，术中通过患者配戴连有标记模块的牙套模来判断下颌骨的相对位置。术中，系统借助增强现实技术通过识辨标记模块判断下颌骨相对位置，并确定截骨线位置，以实现通过ras行下颌角截骨术。该手术导航系统经过临床实际应用，平均误差较小，可以保证手术的安全性，同时在辅助医生经验积累等方面有较强的优势。但该系统目前存在三个不足之处：（1）需额外固定标志点：通过嘱患者佩带连有标记模块的牙套模用以确定截骨线，由于连接方式为非刚性连接，在术中标记模块与下颌骨之间存在较高的相对移位的风险，从而导致截骨线判断存在误差，降低了手术安全性；或将标记模块通过钻孔方式连接在下颌角区，虽极大地提高了标记模块与下颌骨体间相对位置关系的稳定性，但是由于口内入路的下颌角截骨术实际手术操作空间窄且深，固定标记模块的操作本身难度较高，同时标记模块相对术野过于庞大，能够实现妥善放置标记模块的适用病例受到了极大的限制。（2）该手术导航系统对于截骨方式的处理为采用机械间断打孔的模式，由于打孔形成的经骨组织的孔道为直线型的，因此此模式对于同时需要进行下颌骨外板去除术的病例并不适用，其形成的截骨面为一平面而非曲面，在很大程度上限制了该手术导航系统的应用范围。（3）该手术导航系统并未对下颌角截骨术后的软组织改变予以考虑，截骨线的设计完全凭借术者的既往经验，而无量化的指标，该系统虽然提高了手术的安全性，但对于准确预测患者术后效果及提高患者满意度等方面并无优势。

因此，设计一种基于人工智能技术及增强现实技术的针对下颌角截骨术的手术导航系统，全程协助医生手术进行下颌角截骨术的截骨量预测，是目前亟待解决的问题。

技术实现要素：

本发明的目的是提供一种下颌角截骨术的截骨量预测系统，通过在截骨面预测模型中输入下颌角截骨手术患者的术前ct图像数据集、术前照片数据集、术后模拟照片数据集，获得下颌角截骨手术患者的截骨面，结合ar设备，协助医生完成对患者进行下颌角截骨术的截骨量预测。

本发明的上述发明目的通过以下技术方案得以实现：

一种下颌角截骨术的预测和实时渲染系统，包括标定子系统、预测子系统、渲染子系统：

标定子系统用于根据下颌角截骨手术患者的术前ct图像，获得下颌角截骨手术患者的下齿列铆钉点、危险区，并标定最大去骨范围；

预测子系统用于将下颌角截骨手术患者的术前ct图像、术前照片、预测术后照片、最大去骨范围，输入截骨面预测模型，预测出实际患者的截除线、去骨面；结合ar设备，实时渲染术野截除线、去骨面、危险区。

本发明进一步设置为：标定子系统中，根据下颌角截骨手术患者的术前ct图像，抓取下齿列铆钉点，获得下齿列铆钉点参考平面γ；标记其下齿槽神经走形区及颏神经走形区为危险区1，标记面动脉及面后静脉走形区为危险区2；对各危险区进行量化评估，构建危险区数据集。

本发明进一步设置为：对各危险区进行量化评估，用参数表示各危险区分别与参考平面γ之间的关系，其中，用参数35表示危险区1几何中心距离参考平面γ几何中心的距离，用参数36表示危险区1与参考平面γ的偏转角；用参数37表示危险区2几何中心距离参考平面γ几何中心的距离，用参数38表示危险区2与参考平面γ的偏转角。

本发明进一步设置为：根据术前ct图像，避开危险区，得到下颌角截骨手术患者的最大去骨范围。

本发明进一步设置为：标定子系统中，对下颌角截骨手术患者的最大去骨范围进行量化，包括对最大去骨范围进行拆分、标注；所述拆分是把最大去骨范围拆分为下颌骨截除线与下颌骨外板去除平面两部分，在术前ct图像直接标注下颌骨截除线α与下颌骨外板去除平面β，同时在下齿列上，标注多个铆钉点，并根据所述铆钉点标定参考平面γ；所述标注是量化估计下颌骨截除线α、下颌骨外板去除平面β分别与参考平面γ之间的关系。

本发明进一步设置为：所述标注包括：用参数31表示下颌骨截除线α几何中心距离参考平面γ几何中心的距离；用参数32表示下颌骨截除线α与参考平面γ的偏转角；用参数33表示下颌骨外板去除平面β几何中心距离参考平面γ几何中心的距离；用参数34表示下颌骨外板去除平面β与参考平面γ的偏转角。

本发明进一步设置为：预测子系统用于将术前ct、术前照片、预测术后照片、最大去骨范围输入截骨面预测模型，预测出截除线、去骨面；对不同视角的截除线、去骨面、危险区进行实时绘制；实现实时渲染术野截除线、去骨面、危险区。

本发明进一步设置为：渲染子系统用于结合ar系统，实时渲染术野截除线、去骨面、危险区，将可视化三维模型通过ar系统与实际术野叠加后投射于镜片屏幕。

本发明的上述发明目的通过以下技术方案得以实现：

一种下颌角截骨术的预测和实时渲染装置，包括存储器、处理器，所述存储器用于存储有能够被处理器加载并执行下颌角截骨术的预测和实时渲染系统的计算机程度。

与现有技术相比，本发明的有益技术效果为：

1.本申请根据实际患者的术前ct，得到最大去骨范围、危险区，结合截骨面预测模型，实现对术后面部效果图改变范围的预测，获得术后面部3d效果最大改变图，确保术后效果。

2.进一步地，根据实际患者的术前ct、术前照片与截骨面预测模型，对实际患者的术后效果进行预测，实现对术后效果的精准的个性化设计。

3.进一步地，结合ar设备，实现术野的实时渲染，提高手术精度，降低手术风险，缩短手术时间，减少手术并发症。

附图说明

图1是本发明的一个具体实施例的手术导航系统总结构示意图。

图2是本发明的一个具体实施例的手术导航系统示意图。

图3是本发明的一个具体实施例的预测模型建立示意图。

图4是本发明的一个具体实施例的截骨面预测示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

图1为本手术导航系统的总结构图。

具体地，一种下颌角截骨术的手术导航系统，如图2所示，包括以下子系统：

s1、标定子系统：根据既往下颌角截骨手术患者的相关资料，建立截骨面预测模型学习版，用新入组下颌角截骨手术患者的相关资料，对截骨面预测模型学习版进行测试，得到稳定的截骨面预测模型；

具体地，如图3所示，包括如下单元：

a1、根据既往患者下颌角截骨手术患者术前ct图像、术后ct图像获得第一截骨面参数，结合既往患者的术前照片、术后照片，基于多任务卷积神经网络，获得截骨面预测模型学习版，得到手术导航系统1.0版；

a2、收集新入组患者术前ct图像、术后ct图像，获得第二截骨面参数，结合术前照片、术后照片，构建测试集，对截骨面预测模型进行测试，得到稳定的截骨面预测模型，再结合既往患者的危险区、新入组患者的危险区，得到截骨面预测模型稳定版，完成手术导航系统2.0版。

以下详细说明：

将既往下颌角截骨手术患者的术前ct图像、术后ct图像进行像素级别的对齐，进行比较，得到的差值即为既往患者的最终截骨面，即第一最终截骨面，对第一最终截骨面进行拆分与标定。

首先，将第一最终截骨面分为第一下颌骨截除线α1与第一下颌骨外板去除平面β1两个组成部分，在术前ct上直接获得第一下颌骨截除线α1与第一下颌骨外板去除平面β1、第一下齿铆钉点的标注信息，第一下齿铆钉点包括多个点，多个下齿铆钉点决定了第一下齿列铆钉点参考平面γ1。

然后，对第一最终截骨面进行量化处理，用参数分别表示第一下颌骨截除线α1、第一下颌骨外板去除平面β1与第一下齿列铆钉点参考平面γ1之间的位置关系，即，以第一下齿列铆钉点参考平面γ1为基准，用参数分别表示第一下颌骨截除线α1、第一下颌骨外板去除平面β1的位置关系，具体地，用参数11表示第一下颌骨截除线α1几何中心距离第一下齿列铆钉点参考平面γ1几何中心的距离；用参数12表示第一下颌骨截除线α1与第一下齿列铆钉点参考平面γ1的偏转角；用参数13表示第一下颌骨外板去除平面β1几何中心距离第一下齿列铆钉点参考平面γ1几何中心的距离；用参数14表示第一下颌骨外板去除平面β1与第一下齿列铆钉点参考平面γ1的偏转角。

因最终截骨面为三维结构，因而同一视角的参数构成一个数据集，不同视角的参数组成不同的数据集。

既往患者术前ct的多个视角数据集、术前照片多个视角数据集、术后照片多个视角数据集、最终截骨面数据集，构成训练集，输入多任务卷积神经网络进行训练，获得截骨面预测模型学习版，即手术导航系统1.0版。

本子系统中，学习软组织变量对最终术后效果的非线性影响并进行建模，实现基于术前ct数据、术前照片和模拟术后效果对截骨面的精确估计。

对于截骨面预测模型学习版，需要进行稳定性测试。

采集新入组下颌角截骨术患者的数据，组成测试集。

同样的，将新入组患者的术前ct图像、术后ct图像进行像素级别的对齐，进行比较，得到的差值即为新入组患者的最终截骨面，即第二最终截骨面。对第二最终截骨面进行拆分与标定。

首先，将第二最终截骨面分为第二下颌骨截除线α2与第二下颌骨外板去除平面β2两个组成部分，在术前ct上直接获得第二下颌骨截除线α2与第二下颌骨外板去除平面β2、第二下齿铆钉点的标注信息，第二下齿铆钉点包括多个点，多个下齿铆钉点决定了第二下齿列铆钉点参考平面γ2。

然后，对第二最终截骨面进行量化处理，用参数分别表示第二下颌骨截除线α2、第二下颌骨外板去除平面β2与第二下齿列铆钉点参考平面γ2之间的相互关系，即，以第二下齿列铆钉点参考平面γ2为基准，用参数分别表示第二下颌骨截除线α2、第二下颌骨外板去除平面β2的位置关系，具体地，用参数21表示第二下颌骨截除线α2几何中心距离第二下齿列铆钉点参考平面γ2几何中心的距离；用参数22表示第二下颌骨截除线α2与第二下齿列铆钉点参考平面γ2的偏转角；用参数23表示第二下颌骨外板去除平面β2几何中心距离第二下齿列铆钉点参考平面γ2几何中心的距离；用参数24表示第二下颌骨外板去除平面β2与第二下齿列铆钉点参考平面γ2的偏转角。

由不同视角的以上参数的数据集,构成新入组患者的第二最终截骨面的数据集。

由第二最终截骨面的数据集、术前ct、结合新入组患者的术前照片、术后照片，构成测试集，新入组患者为已经完成了手术的患者。

将测试集数据输入截骨面预测模型学习版进行测试，得到稳定的截骨面预测模型，提高手术导航系统的准确性和稳定性。

根据既往患者的术前ct，标记既往患者的下齿槽神经走形区及颏神经走形区为第一危险区1，标记面动脉及面后静脉走形区为第一危险区2；对各危险区进行量化评估，构建第一危险区数据集。

对第一危险区进行量化，用参数表示各危险区分别与第一下齿列铆钉点参考平面γ1之间的关系，具体地，用参数15表示第一危险区1几何中心距离第一参考平面γ1几何中心的距离，用参数16表示第一危险区1与第一参考平面γ1的偏转角；用参数17表示第一危险区2几何中心距离第一参考平面γ1几何中心的距离，用参数18表示第一危险区2与第一参考平面γ1的偏转角。

根据新入组患者的术前ct，标记既往患者的下齿槽神经走形区及颏神经走形区为第二危险区1，标记面动脉及面后静脉走形区为第二危险区2；对各危险区进行量化评估，构建第二危险数据集。

同样地，对第二危险区进行量化，用参数表示各危险区分别与第二下齿列铆钉点参考平面γ2之间的关系，具体地，用参数25表示第二危险区1几何中心距离第一参考平面γ2几何中心的距离，用参数26表示第二危险区1与第一参考平面γ2的偏转角；用参数27表示第二危险区2几何中心距离第一参考平面γ2几何中心的距离，用参数28表示第二危险区2与第一参考平面γ2的偏转角。

将第一危险区数据集、第二危险区数据集叠加到稳定的截骨面预测模型，得到截骨面预测模型稳定版，完成构建手术导航系统2.0版。

s2、预测子系统：将下颌角截骨术患者的相关信息输入截骨面预测模型，预测术后面部3d效果最大改变范围。

对即将进行下颌角截骨术的患者，即实际患者，根据其术前ct，标记为其下齿槽神经走形区及颏神经走形区为第三危险区1，标记其面动脉及面后静脉走形区为第三危险区2；对各危险区进行量化评估，构建第三危险区数据集。

根据下颌角截骨手术患者的术前ct图像，抓取下齿列铆钉点，获得下颌角截骨术的患者的下齿列铆钉点第三参考平面γ3。

根据下颌角截骨手术患者的术前ct图像，避开第三危险区1、第三危险区2，得到下颌角截骨手术患者的最大去骨范围。

对下颌角截骨手术患者的最大去骨范围进行量化，包括对最大去骨范围进行拆分、标注；把最大去骨范围拆分为第三下颌骨截除线α3与第三下颌骨外板去除平面β3两部分，在术前ct图像直接标注第三下颌骨截除线α3与第三下颌骨外板去除平面β3。

量化估计第三下颌骨截除线α3、第三下颌骨外板去除平面β3分别与第三参考平面γ3之间的关系。具体地，用参数31表示第三下颌骨截除线α3几何中心距离第三参考平面γ3几何中心的距离；用参数32表示第三下颌骨截除线α3与第三参考平面γ3的偏转角；用参数33表示第三下颌骨外板去除平面β3几何中心距离第三参考平面γ3几何中心的距离；用参数34表示第三下颌骨外板去除平面β3与第三参考平面γ3的偏转角。

对各危险区进行量化评估，用参数表示各危险区分别与参考平面γ3之间的关系，其中，用参数35表示第三危险区1几何中心距离第三参考平面γ3几何中心的距离，用参数36表示第三危险区1与参考平面γ3的偏转角；用参数37表示第三危险区2几何中心距离第三参考平面γ3几何中心的距离，用参数38表示第三危险区2与第三参考平面γ3的偏转角。

最大去骨范围并不代表为最终手术截骨面。

将下颌角截骨手术患者的术前ct、术前照片、最大去骨范围输入截骨面预测模型稳定版，获得术后面部最大改变量3d效果预测，即预测术后面部效果图改变范围。

s3、渲染子系统根据下颌角截骨术患者的术前ct、截除线、去骨面，结合ar设备，在镜片屏幕上绘制投射出可透视的、与术野实时影像拟合的三维图像。

具体地，如图4所示，包括如下单元：

b1、根据下颌角截骨手术患者的术前ct图像，获得下颌角截骨手术患者的下齿列铆钉点、危险区，并标定最大去骨范围；

b2、将下颌角截骨手术患者的术前ct图像、术前照片、预测术后照片、最大去骨范围，输入截骨面预测模型，预测出实际患者的截除线、去骨面，结合ar设备，实时渲染术野截除线、去骨面、危险区。

以下详细说明：

根据设备重量、性能稳定程度、穿戴模式稳固程度、是否符合手术无菌原则等条件，测试、选择、购置适宜的可穿戴增强现实设备及可其用于二次开发的软件平台，选择适宜的ar（augmentedreality）设备，也称可穿戴增强现实设备。

利用增强现实技术，实现术野下截骨面及危险区的实时绘制及拟合，改善下颌角截骨手术的截骨精度，实现对术者的预警作用，避免触碰危险区域。

将下颌角截骨手术患者的术前ct、术前照片、预测术后照片、最大去骨范围输入截骨面预测模型稳定版，预测出实际患者的截除线、去骨面；再根据不同视角的截除线、去骨面、危险区，结合ar设备，实时渲染术野截除线、去骨面、第三危险区1、第三危险区2，将可视化三维模型通过ar系统与实际术野叠加后投射于镜片屏幕，完成手术导航系统3.0版。

具体地，基于ar设备，建立一套针对下颌角截骨术中截骨面的可视化三维模型，并结合三维ct图像，标记术侧多颗下齿，并据此设定多个铆钉点，根据术前ct图像，标记危险区，并在三维模式下，确定可能铆钉点、危险区与截骨面三维模型的空间关系。

在实际手术过程中，通过术者穿戴的ar设备自带的摄像头，对术野进行拍摄并抓取预设铆钉点，根据已构建好的三维空间位置关系，在ar设备屏幕上投射出可透视的、与术野实时影像拟合后的截骨面、危险区1、危险区2图像，实现术野中截除线、去骨面、危险区1、危险区2的实时渲染。根据大量的实际术中影像，筛选出易于抓取、且不影响空间位置关系构建稳定性的3个左右铆钉点。基于ar设备的影像自动化识别技术，构建出实时对术野影像分析识别、自动抓取预设铆钉点的系统功能，并使该系统功能与预先构建好的铆钉点、危险区1、危险区2及截骨面的三维影像相结合，使术者在实际手术中通过穿戴ar设备并在其辅助下，实现截骨面的三维模型可透视地投影与ar设备屏幕上，并与从佩戴者视角中透过ar设备屏幕观察到的患者术野里的下颌骨部分拟合的功能，同时在ar设备屏幕上可透视地投影出第三危险区1、第三危险区2图像，以对应下齿槽神经和颏神经走形区及面动脉和面后静脉走形区，实现对术者的预警作用。

同时，实际手术过程中，对手术导航系统进行测试并进行调整，达到系统定位准确并能稳定投射，从而实现手术导航系统在下颌角截骨手术中的导航作用。

s4、对截骨面预测模型不断进行功能叠加，并不断测试改进，完善手术导航系统。

将子系统s2中的术后面部3d效果预测叠加到子系统s3中的手术导航系统2.0版，完善改进系统，完成手术导航系统4.0版，进一步完善预测与渲染效果；

对手术导航系统4.0版的反复调试后，将其应用于临床实际工作中，根据实际情况的需要进一步进行升级，增加系统的稳定性，提高术后效果预期及手术过程中的精准度，完成手术导航系统5.0版。

对于患者来说，本申请根据实际患者术前ct及危险区1、2标定最大去骨范围，通过输入术前照片、术前ct及最大去骨量，借助人工智能技术获得术后面部3d效果最大改变图，对患者术后预测面部轮廓可调整范围实现预估，完成对患者术后效果的可实现的高精准度的个性化设计，缩短术前沟通成本，提高患者满意度。

对于医生来说，本申请通过标记危险区，手术导航系统自动预判患者的最大去骨范围，逆推术后预测面部轮廓可调整范围，实现基于3d照相及处理系统的、对术后效果可实现的、精准的个性化设计，结合ar设备，对截除线、去骨面进行术野投影，提高手术精度，在术野下标注危险区，对医生起到提示作用，降低手术风险，缩短手术时间，减少手术并发症。

本申请的一种下颌角截骨术的预测和实时渲染系统，包括存储器、处理器，所述存储器用于存储有能够被处理器加载并执行本系统的计算机程度。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。