基于力反馈设备的虚拟眼角膜手术培训系统的制作方法
【专利摘要】本发明公开了一种基于力反馈设备的虚拟眼角膜手术培训系统，包括力反馈设备、计算机、计算机内嵌的培训系统，培训系统包括眼球模型建立模块、手术工具建立模块、虚拟环境模块、碰撞力反馈模块、专家数据存储模块、力比较模块、数据库。通过本发明操作者可：学习执行角膜移植手术过程，即单独进行虚拟角膜移植手术过程；计算机记录学习者每项操作的力觉信息，与这项操作中的标准力度进行比对，通过权重赋值和量化考评，对表现着的每一步进行打分，最后得出综合评分；事先录制经验丰富的医生执行角膜移植手术时的力觉信息，学习者通过播放这些录制信息，感受在每项操作中应该施加的力的大小，以达到学习的目的。
【专利说明】
基于力反馈设备的虚拟眼角膜手术培训系统
技术领域
[0001] 本发明属于人机交互领域领域，具体设及一种基于力反馈设备的虚拟眼角膜手术 培训系统，通过力反馈设备实现与虚拟手术环境的交互，W实现在手术难度大和供体角膜 有限的情况下提高医生角膜移植手术技能的目的，同时可用于验证新的手术方式和测试新 型手术器械。
【背景技术】
[0002] 虚拟手术技术是近年来研究的热点之一，是指利用虚拟现实技术，根据医学影像 数据，在计算机中建立虚拟环境，使用者通过使用人机交互设备与虚拟手术环境交互，W达 到手术训练或培训的目的。同时，虚拟手术系统还可W将熟练医生的操作进行录制和回放， 节约了医务培训的费用和时间。
[0003] 力反馈技术在虚拟手术中起着至关重要的作用，它使得医生通过操纵力反馈设 备，与虚拟环境进行力觉交互，使手术培训过程更加真实、可靠，增强了虚拟手术的沉浸感 和真实性。
[0004] 角膜移植手术是指使用异体的角膜片置换混浊病变部分的角膜，W达到治疗某些 角膜疾病的目的。国内目前能够独立完成角膜移植手术的医生不足100人，然而全国角膜盲 患者却有400万之多，每年还有新增患者10万，对医生的角膜移植技术的培训迫在眉睫。
[0005] 目前的角膜手术培训采用理论学习和临床实践相结合的方式。临床手术中使用人 工前房联合猪角膜模拟人眼角膜模型，在高清手术显微镜下同步示教训练。但是，每名医生 的培训成本都在万元W上，运也成为了大规模培训角膜手术医生的擧肘。
[0006] 基于W上现状，有必要提出一种角膜移植模拟手术系统W解决上述问题。
[0007] 曾有人做过关于生物膜(针对眼角膜)建模方面的工作，提出了一种基于弹黃质点 模型的膜组织变形仿真建模。但是现有技术存在W下问题:现有技术只提出了使用W美国 Sensable公司的PHANT0N Desktop桌面力反馈设备作为触觉反馈的接口，去验证自己所建 立的数学模型是否有效。但是并没有特别强有力的沉浸感，并未提出详细可行的手术交互 方案，只是为了去测试模型。现有技术忽略了实际需求，没有考虑运个模型的实际应用，使 得模型并不能真实的反映出眼球模型的状态，不能得W广泛应用，缺乏社会需求。现有一般 的影像检查仅能提供二维平面图像，无法提供Ξ维画面，真实性较低。
【发明内容】
[000引本发明的目的在于提供一种基于力反馈设备的虚拟眼角膜手术培训系统，对于精 细的眼角膜移植手术，在计算机上生成虚拟环境，利用模拟手术器械进行模拟手术，使眼科 医生利用该系统进行大量训练、积累经验，能大大节约医务培训的费用和时间；另一方面， 本发明采用力反馈技术，使使用者通过力反馈设备与虚拟手术环境进行力觉交互，能让使 用者充分感受到模拟手术器械与器官接触所产生的反馈力；同时，使用者还通过计算机与 虚拟环境进行视觉交互，更增强了虚拟手术的沉浸感和真实性，适合角膜移植手术的研究 和培训。
[0009] 本发明的目的是通过W下方案实现的：
[0010] 一种基于力反馈设备的虚拟眼角膜手术培训系统，包括力反馈设备、与力反馈设 备数据连接的计算机、计算机内嵌的培训系统；
[0011] 力反馈设备采集操作者力度的信息，并能将力的大小反馈给操作者；
[001^ 所述培训系统包括：
[0013] 眼球模型建立模块:通过化en化建立Ξ角片网格模型模拟眼球模型及角膜，并且 在每次动作过后对坐标进行重新的映射；
[0014] 手术工具建立模块：用化igra地ics仿真软件建立模拟手术器械的几何模型，供操 作者选择；
[0015] 虚拟环境模块:分别对眼球模型建立模块建立的模型和手术工具建立模块建立的 模拟手术器械模型生成坐标映射，生成虚拟环境并实时显示在计算机显示器上；
[0016] 碰撞力反馈模块:将接收力反馈设备采集到的力度信息作用于虚拟环境模块的虚 拟手术器械模型和眼球模型相交的点，眼球模型受力发生形变，动态的显示在显示器的界 面上；同时，将虚拟环境内的力度信息发送至力反馈设备，力反馈设备将力的大小反馈给学 习者，学习者通过画面信息和力度反馈判断当前手术所处的状态，再进行下一步动作； [0017]数据库。
[0018] 进一步地，所述培训系统还包括专家数据存储模块:其用于在数据库中预存经验 丰富的医生熟练的动作信息和精确的力度信息。事先录制经验丰富的医生执行角膜移植手 术时的力度信息，学习者通过播放运些录制信息，感受在每项操作中应该施加的力的大小， W达到学习的目的。
[0019] 进一步地，所述培训系统还包括力比较模块:通过力反馈设备将操作者实际操作 的动作信息和力度信息记录下来，并与数据库中预存的信息进行精确比较，通过权重赋值 和量化考评，对表现着的每一步进行打分，最后得出综合评分，从而对学习者的操作提出评 价和合理的建议。
[0020] 本发明具有W下优点：
[0021] 一、本发明W美国Sensable公司的PHANT0N Desktop桌面力反馈设备作为触觉反 馈的接口，利用加 igraphics仿真软件建立模拟手术器械的几何模型，通过编制程序，将 VRML2.0格式模型转化为unity3D要求的Ξ角片网格模型。相对于其他类型的几何模型，运 种Ξ角片网格模型能够更加真实的反映出眼球模型的情况。
[0022] 二、使用者可W用力反馈设备选择手术器械进行模拟，通过力反馈设备得到真实 的触觉体验，从而在虚拟环境中体验了手术进行的全过程，为角膜移植手术提供一种新兴 的练习和培训方式，不受时间和空间的限制，降低了练习和培训的成本，且大大提升医生的 经验，培养角膜手术方面的成熟医者。
[0023] Ξ、应用"录制-播放"的思想，事先将经验丰富的医生执行角膜移植手术的力觉信 息记录下来，学习者可W反复播放力觉信息，不受时间和空间的限制，节约了医务培训的费 用和时间，从而达到迅速提高学习者技能的目的。
[0024] 四、利用数据库，将使用者每项操作的力度信息记录下来，与本项操作中的标准力 度数据进行比较，通过权重赋值和量化考评，对使用者的每一步表现进行打分，最后得出综 合评分，让使用者更深入地了解自己的能力和水平，进行有针对性的训练。
【附图说明】
[0025] 图1为本发明基于力反馈设备的虚拟眼角膜手术培训系统的工作原理图；
[0026] 图2为本发明使用流程图；
[0027] 图3为本发明的力比较模块的工作原理图；
[0028] 图4为本发明的专家数据存储模块的工作原理图。
【具体实施方式】
[0029] W下结合附图详细介绍本发明的技术方案：
[0030] 一种基于力反馈设备的虚拟眼角膜手术培训系统，包括力反馈设备、与力反馈设 备数据连接的计算机、计算机内嵌的培训系统。力反馈设备不但采集到学习者力度的信息， 而且会将力的大小反馈给操作者;计算机的显示器将虚拟的手术器械和图像因为受力而产 生的形变动态显示出来，加上鼠标辅助培训系统的运行(例如:重置系统等操作）。培训系统 进行数据传输及处理和图像处理等操作，培训系统包括：
[0031] 眼球模型建立模块:通过化en化建立Ξ角片网格模型模拟眼球模型及角膜，并且 在每次动作过后对坐标进行重新的映射。
[0032] 手术工具建立模块：用化igra地ics仿真软件建立模拟手术器械的几何模型，供操 作者选择。
[0033] 虚拟环境模块:分别对眼球模型建立模块建立的模型和手术工具建立模块建立的 模拟手术器械模型生成坐标映射，生成虚拟环境并实时显示在计算机显示器上。
[0034] 碰撞力反馈模块:将接收力反馈设备采集到的力度信息作用于虚拟环境模块的虚 拟手术器械模型和眼球模型相交的点，眼球模型受力发生形变，动态的显示在显示器的界 面上；同时，将虚拟环境内的力度信息发送至力反馈设备，力反馈设备将力的大小反馈给学 习者，学习者通过画面信息和力度反馈判断当前手术所处的状态，再进行下一步动作。
[0035] 专家数据存储模块:其用于在数据库中预存经验丰富的医生熟练的动作信息和精 确的力度信息。事先录制经验丰富的医生执行角膜移植手术时的力度信息，学习者通过播 放运些录制信息，感受在每项操作中应该施加的力的大小，W达到学习的目的。
[0036] 力比较模块:通过力反馈设备将操作者实际操作的动作信息和力度信息记录下 来，并与数据库中预存的信息进行精确比较，通过权重赋值和量化考评，对表现着的每一步 进行打分，最后得出综合评分，从而对学习者的操作提出评价和合理的建议。
[0037] 数据库:用于储存各模块建立的数据信息。
[0038] 所述眼球模型建立模块的功能为:采集多种病变角膜的数学信息，采用外部表面 利用unity3D识别的Ξ角片网格模型，内部体素填充的方法构建眼球模型，通过化en化建立 Ξ角片网格模型模拟眼球模型及角膜，作为虚拟眼角膜手术的操作对象，并且在每次动作 过后对坐标进行重新的映射。
[0039] 所述手术工具建立模块的功能为：利用化igra地ics仿真软件建立模拟手术器械 的几何模型，通过利用化igra地ics的导出功能将模型存储为VRML2.0格式;最后编制程序， 将VRML2.0格式的手术器械模型转化为unity3D要求的Ξ角片网格模型，供操作者选择。
[0040] 所述碰撞力反馈模块包括w下单元：
[0041] 1.碰撞检测单元：当所述的模拟手术器械对应的坐标映射与眼球模型的Ξ角片所 在平面相交，即模拟手术器械和所操作对象发生碰撞。
[0042] 2.力反馈单元：当发生碰撞后，根据该点的阻力系数、模拟手术器械的运动速度和 力在该点的作用时间，确定力反馈设备应该反馈给操作者的力度大小，并反馈给操作者；同 时将该力大小反作用于Ξ角片模型，根据每个Ξ角片顶点的权数，计算出该Ξ角片应该发 生的位移的大小，更新Ξ角片位置。
[0043] (1)当眼球模型和模拟手术器械发生碰撞时，产生的力的大小计算过程为：
[0044] 将虚拟手术的操作对象眼球模型看作体弹黃，当其上一点与模拟手术器械发生碰 撞，可当作体弹黃发生形变，接触点发生位移，眼球模型与模拟手术器械之间力的大小计算 为：
[0045]
[0046] 其中:k '和k ' d对应体弹黃的弹性系数和阻尼系数，具体值可W由实验获得；
[0047] Δχ是体弹黃的动态长度，决定了力的方向；
[004引V是体弹黃上活动端的运动速度。
[0049] (2)当眼球模型和模拟手术器械发生碰撞后，力反馈设备反馈给操作者的力的大 小计算过程为：
[0化0] ρ = -μν-λχ
[0051] 其中:μ和λ是粘性系数和弹性系数；
[0052] V和X是触碰眼球模型时，模拟手术器械的速度和切割深度；
[0053] (3)当眼球模型和模拟手术器械发生碰撞时，组成眼球模型的Ξ角片模型，在受到 力的作用后发生的位移计算公式为：
[0化4]
[0055]其中：Δ xiw代表Ξ角片上各端点的位移；
[0化6] mi是二角片的质量；
[0057] At是力作用在Ξ角片上的时间；
[005引 V是体弹黃上活动端的运动速度。
[0059] 本发明提供的一种基于力反馈设备的虚拟眼角膜手术培训系统的使用实施例：
[0060] 一、虚拟眼角膜手术练习
[0061] 1.预先在数据库中存储由眼球模型建立模块建立的多种角膜病变情况对应的眼 球模型、W及由手术工具建立模块建立的模拟手术器械，供操作者根据选择的病变情况不 同，进行不同的虚拟手术练习。
[0062] 2.操作者通过虚拟环境模块选择需要的眼球模型和虚拟手术工具，并通过碰撞力 反馈模块进行虚拟手术练习：
[0063] (1)当力反馈设备并没有选择确定的模拟手术工具时，呈现和鼠标相同的功能，通 过移动力反馈的手杆移动光标到工具菜单想要选择的工具的位置(比如环钻），按设备上的 确定按钮选择模拟环钻，根据病变角膜的范围钻取合适的移植角膜，作为移植片。可点击力 反馈设备按钮，选择对眼睛注入黏弹剂。
[0064] (2)力反馈设备选择模拟晶体调位钩，钩取植片角膜至预设眼球模型上，注入黏弹 剂。
[0065] (3)力反馈设备选择模拟持针器，进行缝合操作，在12，6，3，9点固定，间断缝合16 针，缝合深度达角膜厚度的3/4。
[0066] (4)力反馈设备选择模拟结扎綴，进行缝合后的打结操作。
[0067] (5)力反馈设备选择模拟持针器，在缝合完成后，将针头伸入前房，同时注入生理 盐水或消毒空气。
[0068] (6)力反馈设备选择模拟刀片夹持器，拆除4点缝合线，滴入抗菌药物。
[0069] (7)至此，虚拟手术联系结束。
[0070] 二、对操作者的虚拟手术练习进行比较评分
[0071] (1)通过专家数据存储模块事先进行专家数据录制:通过传感器记录经验丰富医 生在运动过程中的动作信息，同时利用力反馈设备采集经验丰富的医生在每个动作的力觉 信息。
[0072] (2)进行信息处理：通过对所记录的信息进行分析，可W获取动作技能的一些参 数。
[0073] (3)存放于数据库:加上时间信息，将Ξ类数据构造成数据库一个元组:时间、力觉 信息、动作信息的各种参数，保存在数据库中，作为标准信息。
[0074] (4)操作者进行虚拟手术练习，同样用传感器记录其动作信息和力觉信息，存放于 数据库之中。
[0075] (5)通过力比较模块将W上两种信息进行比较，通过权重赋值和量化考评的方法， 计算出练习者每项操作的得分和综合得分。让使用者更深入地了解自己的能力和水平，进 行有针对性的训练。
[0076] Ξ、操作者利用该系统进行专家学习
[0077] (1)录制过程:通过传感器记录经验丰富医生在运动过程中的动作信息，同时利用 力反馈设备采集经验丰富的医生在每个动作的力觉信息。
[0078] (2)信息处理:是通过对所记录的信息进行分析，可W获取动作技能的一些参数。 信息处理是为了对录制的信号进行处理，保证播放的质量。
[0079] (3)加上时间信息，将Ξ类数据构造成数据库一个元组:时间，力觉信息，动作信息 的各种参数，存放于数据库中。
[0080] (4)播放过程:通过控制算法，使得力反馈设备输出力觉信息和动作信息，学习者 通过力反馈设备感受动作和力觉信息，已达到学习的目的。
[0081] (5)数据库记录每项操作应该使用的力的范围，当手术者执行手术时，进行权重赋 值和量化考评，对其每一步操作进行考核和综合评分。
【主权项】
1. 一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于，包括力反馈设备、与 力反馈设备数据连接的计算机、计算机内嵌的培训系统； 力反馈设备采集操作者力度的信息，并能将力的大小反馈给操作者； 所述培训系统包括： 眼球模型建立模块:通过OpenGL建立三角片网格模型模拟眼球模型及角膜，并且在每 次动作过后对坐标进行重新的映射； 手术工具建立模块:用Unigraphics仿真软件建立模拟手术器械的几何模型，供操作者 选择； 虚拟环境模块:分别对眼球模型建立模块建立的模型和手术工具建立模块建立的模拟 手术器械模型生成坐标映射，生成虚拟环境并实时显示在计算机显示器上； 碰撞力反馈模块:将接收力反馈设备采集到的力度信息作用于虚拟环境模块的虚拟手 术器械模型和眼球模型相交的点，眼球模型受力发生形变，动态的显示在显示器的界面上； 同时，将虚拟环境内的力度信息发送至力反馈设备，力反馈设备将力的大小反馈给学习者， 学习者通过画面信息和力度反馈判断当前手术所处的状态，再进行下一步动作； 数据库。2. 如权利要求1所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述培训系统还包括： 专家数据存储模块:其用于在数据库中预存经验丰富的医生熟练的动作信息和精确的 力度信息。事先录制经验丰富的医生执行角膜移植手术时的力度信息，学习者通过播放这 些录制信息，感受在每项操作中应该施加的力的大小，以达到学习的目的。3. 如权利要求1所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述培训系统还包括： 力比较模块:通过力反馈设备将操作者实际操作的动作信息和力度信息记录下来，并 与数据库中预存的信息进行精确比较，通过权重赋值和量化考评，对表现着的每一步进行 打分，最后得出综合评分，从而对学习者的操作提出评价和合理的建议。4. 如权利要求1所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述碰撞力反馈模块包括以下单元： 碰撞检测单元：当所述的模拟手术器械对应的坐标映射与眼球模型的三角片所在平面 相交，即模拟手术器械和所操作对象发生碰撞； 力反馈单元：当发生碰撞后，根据该点的阻力系数、模拟手术器械的运动速度和力在该 点的作用时间，确定力反馈设备应该反馈给操作者的力度大小，并反馈给操作者；同时将该 力大小反作用于三角片模型，根据每个三角片顶点的权数，计算出该三角片应该发生的位 移的大小，更新三角片位置。5. 如权利要求4所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述力反馈单元当眼球模型和模拟手术器械发生碰撞时，产生的力的大小计算过程为： 将虚拟手术的操作对象眼球模型看作体弹簧，当其上一点与模拟手术器械发生碰撞， 可当作体弹簧发生形变，接触点发生位移，眼球模型与模拟手术器械之间力的大小计算为：其中:k '和k ' d对应体弹簧的弹性系数和阻尼系数，具体值可以由实验获得； △ X是体弹簧的动态长度，决定了力的方向； v是体弹簧上活动端的运动速度。6.如权利要求4所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述力反馈单元当眼球模型和模拟手术器械发生碰撞后，力反馈设备反馈给操作者的力的 大小计算过程为： ρ = -μν-λΧ 其中:μ和λ是粘性系数和弹性系数； V和X是触碰眼球模型时，模拟手术器械的速度和切割深度。 7 .如权利要求4所述的一种基于力反馈设备的虚拟眼角膜手术培训系统，其特征在于， 所述力反馈单元当眼球模型和模拟手术器械发生碰撞时，组成眼球模型的三角片模型在受 到力的作用后发生的位移计算公式为：其中：Axi(t)代表三角片上各端点的位移； ΠΗ是三角片的质量； Δ t是力作用在三角片上的时间； v是体弹簧上活动端的运动速度。
【文档编号】G09B23/28GK105825752SQ201610256622
【公开日】2016年8月3日
【申请日】2016年4月22日
【发明人】孙铭会, 陈雪祺, 周彭喆, 路千惠, 晏婕, 肖铭灿
【申请人】吉林大学