基于虚拟现实的眼眶手术训练方法、系统和存储介质与流程

本申请涉及一种基于虚拟现实的人机互动技术领域，特别是涉及一种基于虚拟现实的眼眶手术训练方法、系统和存储介质。

背景技术：

肿瘤、炎症和外伤可引起眼眶结构破坏，导致眼球位移、复视、视力下降，甚至失明，手术是眼眶病的主要治疗手段。然而眼眶解剖结构复杂、空间狭小，眶内重要结构云集，手术视野差、暴露困难、手术风险高、难度大、精确性低。当前眼眶医生术中使用的最先进的内镜导航技术仅能解决眼眶深部无法直视和定位的难题，然而如何实现术前设计方案向术中操作精准、稳定、安全的转移是目前临床亟待解决的难题。手术经验的积累是当前提高手术路径选择准确性、术中切割、截骨、复位、固定、打磨和钻孔等操作精确性的唯一方法，以此来提高眼眶手术的精确性和安全性。但眼眶手术的高风险和对手术技巧的高要求使得眼眶外科医生的成长曲线非常陡峭，在临床中的缓慢经验积累严重限制了眼眶外科医生的成长，进而严重限制了眼眶病的治疗水平，造成巨大的社会负担。

现有培训系统普遍具有针对性不足、规范性缺失、仿真程度低、交互性差、触觉反馈缺失、警报机制缺失、实时引导缺失、特殊病例个性化培训缺失、造价高昂等一方面或几方面的缺陷，限制了其应用价值和可推广性。其研发因临床专业性不足、技术深度广度不足和合作失效导致多停留于简单的图形展示层面，可用性差。因此，一套可复制、可获得、可信赖的眼眶外科医生培训设备被行业所亟需。

技术实现要素：

鉴于以上所述现有技术的缺点，本申请要解决的技术问题在于提供一种基于虚拟现实的眼眶手术训练方法、系统和存储介质，用于解决现有训练系统中仿真程度低、交互性差等问题。

为实现上述目的及其他相关目的，本申请提供一种基于虚拟现实的眼眶手术训练方法，应用于眼眶手术训练系统，所述方法包括：获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型；依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

于本申请明的一实施例中，所述三维组织器官模型通过纹理贴图技术重新进行纹理切割以合成新的纹理样图，并依据曲面与所述纹理样图的映射关系及纹理的生长方向进行动态纹理贴图。

于本申请明的一实施例中，所述三维组织器官模型上预设有对应手术路径中每一步骤的位置标注，以作为供引导提示或进行评价/打分的参考。

于本申请明的一实施例中，所述通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞是基于构建层次包围盒方法的碰撞检测进行判断。

于本申请明的一实施例中，当发生所述碰撞时，基于物理意义的模型在闭环仿真中令相应的力计算模型与变形计算模型相互关联。所述变形计算模型包括：弹簧支点模型、体体元模型、有限元模型、及边界元模型中任意一种。

于本申请明的一实施例中，所述力计算模型为弹簧-阻尼器模型，在作用于物体表面时计算法向的受力，并结合重力补偿和无漂移校准进行精确。

于本申请明的一实施例中，所述依据操作路径的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变的方法包括：当检测到手术器械接触到所述三维组织器官模型且满足切割条件时，则判定发生切割；采用分裂法分裂与所述手术器械碰撞到的所述三维组织器官模型的单元体，针对各所述单元体引入体积畸变因子修正各所述单元体的刚度矩阵，通过运算得到消除畸变的对应各所述单元体的整体刚度矩阵。

为实现上述目的及其他相关目的，本申请提供一种电子装置，所述电子装置包括：获取模块，用于获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型；处理模块，用于依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

为实现上述目的及其他相关目的，本申请提供一种基于虚拟现实的眼眶手术训练系统，所述系统包括：三维模型库，用于依据眼眶扫描数据构建并存储一或多个三维组织器官模型；vr穿戴单元，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；包含力反馈单元与定位单元的操作单元，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作；交互处理单元，用于依据所述定位单元获得的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或令所述力反馈单元产生相应力反馈感知。

于本申请明的一实施例中，所述操作单元为力反馈操作杆或力反馈手套；所述vr穿戴单元为vr眼镜或vr头盔。

于本申请明的一实施例中，所述力反馈单元包括受动器，通过产生相应力度的震动以表示相应力反馈感知。

于本申请明的一实施例中，所述定位单元包括感应传感器；依据所述定位单元实时追踪所述操作单元的精确位置并得到整个手术训练过程的操作轨迹，以供引导提示或进行评价/打分。

为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于虚拟现实的眼眶手术训练方法。

如上所述，本申请提供的一种基于虚拟现实的眼眶手术训练方法、系统和存储介质。通过获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型；依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

达到了以下有益效果：

本申请能够规范手术训练，仿真程度高，交互效果好，并且相应基础设备成本适中，便于大规模的推广和应用，同时还可以进一步为真实临床方案提供更多的可行性建议。。

附图说明

图1为本申请实施例中的一种基于虚拟现实的眼眶手术训练系统的场景示意图。

图2为本申请实施例中的一种基于虚拟现实的眼眶手术训练方法的流程示意图。

图3为本申请实施例中的一种电子装置的模块示意图。

图4为本申请实施例中的一种基于虚拟现实的眼眶手术训练系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。

为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

当说某部件在另一部件“之上”时，这可以是直接在另一部件之上，但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时，其之间不伴随其它部件。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。

表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。

虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

对住院医生和医学生而言，实践操作是最理想的培训形式。然而参与手术的机会较少，无法满足大量的需求。在虚拟现实出现前，台式模拟器、视频训练器等是学员提高手术技能的最佳工具。虚拟现实技术的优势在于，可以提供沉浸式体验，让学员在“近现实”的人工环境下进行学习。目前已经针对机器人手术推出了几款vr模拟器，如外科教育平台，机器人手术系统，达芬奇技能模拟器，以及最近推出的robotixmentor。这些模拟器在泌尿外科、心血管外科、神经外科等都已逐渐投入使用。

然而，眼科由于其特殊性，要求眼科手术机器人必须在解剖学上受限的环境中提供高精度。传统的手术机器人在眼科的应用受限，且现有对于眼科机器人的研究仅限于眼表、内眼手术，还没有手术机器人被应用于眼眶病，也没有相应的培训系统；而眼眶外科医生培养困难、耗时长，这对于专科人才的建设有极大的限制。因此，迫切需要针对眼眶手术的培训系统来克服这一难题。

承上所述，因眼眶手术操作复杂，操作机会少，医生成长困难，经验积累缓慢。另外，仿真模型价格动辄几十万，无法用于日常联系。为便于医生和医学院学生的临床经验的迅速培养，本申请提供一种基于虚拟现实的眼眶手术训练方法、系统和存储介质。

为便于理解，如图1所示，展示为本申请于一实施例中的基于虚拟现实的眼眶手术训练系统的场景示意图。如图所示，该系统主要包括：计算机1、虚拟现实(vr)穿戴设备2、及力反馈操作装置3。

简单来说，主要通过计算机1依据针对眼眶的ct或mri等扫描数据来构建眼眶的组织器官三维模型，这里可以根据采集的实际患者情况，构建出包含不同病例或病情的三维组织器官模型。另外，同时还可以构建手术环境模型，如包含手术室、手术台、病床等，还可以构建包含不同的手术器械模型(虚拟的)，如手术刀、锯、钳子、缝针等，需说明的是，这里的手术器械模型还可以是真实的手术工具或实体模具，通过在手术工具上设置感应传感器以实时获取其相应位置。

所述虚拟现实(vr)穿戴设备2，可以是vr头盔或vr眼镜，将计算机1构建并存储的三维组织器官模型(或连同手术环境模型、手术工具模型)，转换至虚拟现实(vr)穿戴设备2，并通过其提供虚拟显示，通过虚拟现实(vr)穿戴设备2可以从任意角度观察病灶处(眼眶)。

所述力反馈操作装置3可以是如图所示的力反馈操作杆，还可以是力反馈操作手套。在力反馈操作装置3上设置有力反馈单元和通过感应传感器进行定位的定位单元，操作者通过操作力反馈操作装置3能够在虚拟环境呈现相应操作。

再通过计算机1获取力反馈操作装置3的实时三维位置，并结合虚拟场景，在当力反馈操作装置3的三维位置(或虚拟手术器械或真实手术器械的三维位置)与虚拟场景中的三维组织器官模型发生碰撞时，相应计算出实际可能受到的力，以及实际所述三维组织器官模型相应的形变，并且通过力反馈操作装置3传动出相应的力反馈感知，增强操作者的实际触感，并且通过所述三维组织器官模型相应的形变带来“近现实”的视觉感受。从而极大提高沉浸式的体验。

下面将对本申请所提供的方案进行详细的说明。

如图2所示，展示本申请实施例中的一种基于虚拟现实的眼眶手术训练方法的流程示意图。需说明的是，所述基于虚拟现实的眼眶手术训练方法适用于如图1所述的基于虚拟现实的眼眶手术训练系统中，即相关步骤依据所述系统中的计算机、虚拟现实(vr)穿戴设备、及力反馈操作装置来完成。

如图2所示，所述方法包括：

步骤s201：获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型。

于本实施例中，针对眼眶的扫描数据可以通过ct、mri、及超声等方式进行获取。

具体来说，面部(眼眶)三维数据的精确采集/眼眶mri是软组织模型重建的基础，眼眶ct是硬组织模型重建的基础。

所述三维组织器官模型是遵循眼眶病相关软硬组织结构进行构建的。

例如需要了解眼眶重要结构、重要神经血管束特点，包括：眼眶及眼球结构、比邻关系特点，包括眼眶骨骼解剖、眼眶软组织解剖、眼眶神经核血管解剖、眼眶影像解剖；眼眶病相关软硬组织解剖结构变异特点，包括眼睑畸形、眼睑占位、眼眶骨折和骨块移位、眶内占位、脉管畸形、各类眼眶外伤等。

另外，所述三维组织器官模型为后续提供训练基础的同时，还可以通过3d重建详细展现眼眶重要组织结构风险及异常表现介绍，为术前教学提供生动的展示。

需要说明的是，本申请不仅提供三维组织器官模型，还提供包括不同的眼光病情案例，以及手术治疗方案的案例库。

举例来说，案例库主要包括：眶内容剜除术、眶腔重建术、视神经鞘及视神经管减压术、眶爆裂性骨折手术、眼眶异物取出术、眼眶出血治疗、甲状腺相关眼病手术及序惯治疗、眼眶血管性病变治疗、末梢神经性肿瘤治疗、视神经及视神经鞘肿瘤手术、泪腺上皮性肿瘤治疗、炎性假瘤治疗、囊性肿瘤治疗、眼眶肉瘤的治疗、眼眶炎症的综合治疗、眼眶肿瘤活检、眶尖部肿瘤手术、颈动脉-海绵窦瘘手术、泪腺脱垂治疗等眼眶手术常见并发症及治疗眼眶术中常见问题及应对。

不同的病情案例，能够为操作者(医生或医学院学生)提供丰富的试练资源，而不同的治疗方案还可以作为操作者操作过程的评价标准，已检验操作是否合格。

于本申请的一实施例中，所述三维组织器官模型上预设有对应手术路径中每一步骤的位置标注，以作为供引导提示或进行评价/打分的参考。

于本实例中，基于所述三维组织器官模型进行手术路径精确标注(详细到每一刀的具体行进路径)，提供了训练、评判和错误操作报警的准绳。可通过后续操作工具的实时三维位置信息，依此来判断操作者是否规范，并给予及时的引导提示或进行评价/打分的参考。

举例来说，依据眼眶手术入路规划或手术路径，可以形成包含多种手术规划训练，如：前路开眶术、外侧开眶术、经筛窦内侧开眶术、外侧结合内侧开眶术、经颅开眶术，以及具体手术情况下的眼眶前上部病变手术入路，中上部病变的手术入路、下部病变的手术入路、中后部病变的手术入路、视神经及其附近病变的手术入路、眼眶内侧病变的手术入路、眶上裂附近病变的手术入路、充满眼眶及眼球周围病变的手术入路等，能够极大丰富手术训练的内容，提升医生或学生的实操经验。

于本实施例中，为使虚拟训练环境更加真实，在提供所述三维组织器官模型的同时，还可以提供手术环境模型，以及手术工具模型。

例如，手术环境模型包含手术室、手术台、病床等。

再例如，所述手术器械工具可以包括：牵引器械、牵开器、剥离子、骨凿、刮匙、鼻窦钳、骨钳、stryker锯、动力系统、骨锤、手术显微镜及放大镜、脑膜剪、电刀、电凝、电钻、吸引器、眼科剪、眼科镊、斜视钩、脑压板、血管钳、持针器、眼睑拉钩、甲状腺拉钩、咬骨钳、骨蜡、刀柄、刀片等。

需说明的是，这里的手术器械工具可以是虚拟构建出的三维模型，还可以是由实际的手术器械或实体手术器械模具，通过在其上设置感应传感器以获取在操作过程中的三维位置信息。

整体来说，针对头部眼科的医学扫描数据，可以集成医学影像大数据库，基于端到端、像素到像素训练的深度学习图像分割技术，整合现有半自动交互分割技术，搭建多模态、多类别、多目标的智能化图像分割和三维建模软件平台，进行医学模型的准确三维建模。

于本申请的一实施例中，所述三维组织器官模型通过纹理贴图技术重新进行纹理切割以合成新的纹理样图，并依据曲面与所述纹理样图的映射关系及纹理的生长方向进行动态纹理贴图。

需说明的是，为了真实的模拟人体的皮肤和各种器官表面丰富的纹理细节，需要很好的运用纹理贴图技术，对眼眶扫描数据重新进行纹理切割取样，合成新的可用的纹理样本，再绘制器官模型表面。由于皮肤及器官表面纹理的生理特殊性，还需考虑到关键节点的血管走向、骨骼特征、韧带拉伸等问题，以及考虑人体器官表面的几何复杂性。在贴图时，会出现比较明显的纹理接缝问题，将纹理更紧密地包裹在这些曲面上，从而不产生变形和裂缝。同时三维组织器官模型进行切割变形等变化时，需要进行动态纹理贴图。要很好地实现虚拟手术中纹理贴图，还需要建立曲面与纹理样图的映射关系，控制纹理的生长方向，以使动态纹理贴图加快纹理合成速度。

步骤s202：依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示。

具体来说，步骤s202通过vr穿戴设备得以实现，将所述三维组织器官模型构建转换至vr穿戴设备的世界坐标，以实现虚拟现实环境的构建并提供相应的虚拟显示。

于本实施例中，由所述三维组织器官模型转换至vr穿戴设备的虚拟现实环境中，简单来说，通过所述三维组织器官模型的三维坐标与所述vr穿戴设备的虚拟现实环境对应的坐标系建立关联关系，即在虚拟现实环境坐标系中所述三维组织器官模型的坐标固定，这样由操作者的头部戴着所述vr穿戴设备进行转动时，所述三维组织器官模型在虚拟现实环境中时相对不动的，从而操作者能够从任意角度对所述三维组织器官模型进行观察。

相应地，步骤s201所提供的手术环境模型，以及手术工具模型同样可转换至vr穿戴设备的虚拟现实环境中。

举例来说，呈现于虚拟现实环境中的所述三维组织器官模型是相对“固定的”，即操作者戴着vr穿戴设备，操作者的头部转动不同角度，所述三维组织器官模型是相对固定于前方不动的。也正是基于此，后续通过计算机计算，将现实环境中的操作装置融入虚拟现实环境中，当操作装置静止时，其与所述三维组织器官模型保持一样，是相对“固定的”，即操作者的头部转动，而操作装置在现实环境与虚拟现实环境中均是保持不动的。

步骤s203：通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

于本申请的一实施例中，所述通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞是基于构建层次包围盒方法的碰撞检测进行判断。

于本实施例中，碰撞检测一直是虚拟现实系统中的关键组成部分，是判断虚拟现实系统中真实感和沉浸感的重要依据。其主要任务就是判断系统中的物体模型之间和模型与周围环境之间是否发生碰撞，然后给出碰撞位置、碰撞响应等信息。虚拟手术系统的碰撞检测要复杂的多，虚拟手术器械和人体组织之间的碰撞是压力计算和形变计算以及切割模型的前提条件，同时这些又为碰撞检测提出了更高的要求。虚拟手术中的碰撞检测还涉及到刚体对象和软体对象(手术器械和人体组织)的碰撞，软体对象和软体对象(人体组织之间)的碰撞，虚拟手术仿真的基本目标就是逼真的模拟人体组织在手术器械的碰触、切割作用下发生变形过程。

目前的虚拟现实场景中的碰撞检测主要采用的是两种效率较高的方法即空间分解法和层次包围盒法。空间分解法比较实用于运动对象较少的虚拟场景中，分解后的大部分单元格内都只有环境对象，不需要进行检测，比较适合在虚拟漫游系统中进行碰撞检测，虚拟手术系统比较复杂，因此本申请所述方法利用构造层次包围盒的方法进行碰撞检测。

于本申请的一实施例中，当发生所述碰撞时，基于物理意义的模型在闭环仿真中令相应的力计算模型与变形计算模型相互关联。所述变形计算模型包括：弹簧支点模型、体体元模型、有限元模型、及边界元模型中任意一种。

于本实施例中，在虚拟手术仿真的众多研究中，软组织形变建模是核心技术之一。由于生物软组织通常表现为不均匀性、各向异性、准不可压缩性、非线性、塑性、黏弹性等材料性质，因此建立高仿真度的软组织物理模型一直是国内外研究的难点。在医学模拟与计算机图形领域，根据不同的物理模型，常把形变模型划分为质点弹簧模型、变形样条及体积模型。其中，体积模型又包括有限元模型和边界元模型。与柔性物体接触时的作用力，通常是由变形计算产生。因此，对接触力的建模主要研究力与变形的关系。

根据柔性物体的力计算模型和变形计算模型是否一致，可以大致分为以下两类：一类称为开环仿真，另一类称为闭环仿真。在开环仿真中，用于计算变形的模型和计算接触力的模型之间相互独立。这样实现起来比较容易，但变形和力计算之间没有内在联系，可能出现视觉和力觉仿真不一致。在闭环仿真中，变形和接触力计算相互关联。变形计算和虚拟力计算模型一般采用相同的基于物理意义的模型。这种仿真中接触力和变形计算具有一致性，但变形计算和力计算形成两个紧密联系的闭环，存在视觉再现和力觉显示的协调性和稳定性问题。根据实际对柔性物体形变计算的不同需求，也可以分为几何学形变模型和基于物理意义的形变模型。

在几何学形变模型中，物体的变形仅仅由几何学操作来决定，也就是操作者通过操作3d物体上的顶点或者控制点来获得物体变形。这种形变方法具有速度快和便于实现等特点，它主要用于视觉再现中实现较易控制而且简单的物体形变。基于物理意义的形变中，物体的变形是由相互作用过程中的物理学规律和动力学特性决定，其主要用于仿真物体在内力或者外力作用下真实的物理学行为特征。

本申请所述方法基于物理意义的模型包括基于直接构建的弹簧质点模型和体元模型，基于连续介质力学的有限元模型和边界元模型等。对于不同的形变模型，有相应不同的力触觉反馈算法。由于力觉再现和视觉显示所要求的刷新频率不同，力觉再现要求力计算的刷新频率达到200～500hz以上，而视觉显示中变形的计算和刷新频率一般只有20～30hz。如果要等待视觉显示计算刷新完成才将变形结果输入力觉再现闭环，用于接触力的计算，那么接触力的采样频率也只能保持在20～30hz，就会存在不稳定的力反馈。

于本申请的一实施例中，所述力计算模型为弹簧-阻尼器模型，在作用于物体表面时计算法向的受力，并结合重力补偿和无漂移校准进行精确。

于本实施例中，在所述虚拟现实环境中对所述三维组织器官模型进行手术操作，可以通过如图1中力反馈操作装置进行。

力触觉人机交互技术是虚拟现实中人机交互的重要组成部分，精密的力反馈元件可以模拟各种触觉现象，精密磨合后有望复制眼眶手术当中各类操作的真实反馈，切实起到实训的作用。力反馈实现的原理是通过感知人的行为模拟出相应的力、振动或被动的运动,反馈给使用者，虚拟现实力反馈系统由人体感知、运动功能环和机器的感知、运动功能环两部分组成。于本申请所述方法中，力反馈的计算采用弹簧-阻尼器模型，将其用于物体表面法向的受力计算。这种方式计算简单，力觉再现时的刷新频率在1khz以上。

需要说明的是，力反馈的计算中涉及到两个比较关键的位置信息，一个是力反馈操作装置的末端或虚拟手术器械的末端所处的位置，另一个是力反馈操作装置的末端或虚拟手术器械的末端与虚拟软组织(三维组织器官模型)表面接触时的表面接触点位置。在模拟手术交互时，力反馈操作装置的末端或虚拟手术器械的末端还未与虚拟软组织(三维组织器官模型)表面碰撞时，力反馈操作装置的末端或虚拟手术器械的末端与虚拟软组织表面接触点位置相重合。当力反馈操作装置的末端或虚拟手术器械的末端与虚拟软组织表面碰撞时，表面接触点的位置是力反馈操作装置或虚拟手术器械实际位置在软组织表面上的投影。

于本实施例中，可以通过如图1中力反馈操作装置的抓取动作实现在眼眶手术中通用的手术器械与手部的互动反馈。具体来说，装置终端设有受动器，其能满足人手自然运动范围的需求，并可与双手遥操作控制台的设计相兼容。

结合全重力补偿和无漂移校准相结合的方式用来保障操作的精准度，提高手术模拟的真实训练。该技术能满足眼眶模拟手术的具体需求：平移直径不小于100mm，各向旋转不小于180°，持续力12n，抓取力±8n；直线位移分辨率小于0.01mm，旋转位移分辨率小于0.09°，抓取位移小于0.006mm。

于本申请的一实施例中，所述依据操作路径的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变的方法包括：

a、当检测到手术器械接触到所述三维组织器官模型且满足切割条件时，则判定发生切割；

需要说明的是，所述手术器械可以是虚拟构建的三维手术器械模型，还可以是真实手术器械(或实体手术器械模具)，并通过感应传感器获得实时三维位置信息，以得到于现实虚拟环境中的手术器械。

b、采用分裂法分裂与所述手术器械碰撞到的所述三维组织器官模型的单元体，针对各所述单元体引入体积畸变因子修正各所述单元体的刚度矩阵，通过运算得到消除畸变的对应各所述单元体的整体刚度矩阵。

于本实施例中，在虚拟手术操作过程中，当三维手术器械模型(例如虚拟手术刀的刀锋或刀尖)接触到三维组织器官模型时且满足切割条件时即发生切割，由于切割操作涉及到模型的拓扑结构变化，无论是仿真还是实时处理都十分困难。现有的研究中，主要的方法有去除法和分裂法两大类。前者主要是去除与虚拟刀具碰撞到的单元体，实现简单并且减少了四面体的总数目，但是会造成锯齿状的切割边界，而且这种方法有一个很大的局限即在切割发生的部位,组成模型的四面体必须非常小，这样会大大影响计算的实时性；后者则是分裂与虚拟刀具碰撞到的单元体，形成合理的切割边界，但是切割过程中会产生过多的新单元体，计算复杂。

但是，在实际的切割仿真中，分裂后的几何模型的单元体大小差异极度悬殊，对于分裂后出现得体积极小的四面体，模型的受力情况(点作用力、线作用力、面作用力)将不适用，会出现变形的异常状况。为应对这种情况，在单元体刚度矩阵的生成过程中，针对切割分裂的四面体，引入一个体积畸变因子，得到修正后的单元刚度矩阵，进一步运算后得到消除畸变的整体刚度矩阵，这样切割分裂后的模型变形会更加合理。

综上所述，本申请所述方法能够在无特殊环境要求下，可以在没有临床设备的场所开展模拟手术，对医生的临床经验培育培养体系意义深远，能让医生足不出户学习陌生的疾病和手术，并且进行模式实操。本申请能够规范手术训练，仿真程度高，交互效果好，并且相应基础设备成本适中，便于大规模的推广和应用。同时通过对模拟手术的数据整合分析，还可以进一步为真实临床方案提供更多的可行性建议。

如图3所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述电子装置300包括：

获取模块301，用于获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型；

处理模块302，用于依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块302可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块302的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsignalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。

如图4所示，展示为本申请于一实施例中的基于虚拟现实的眼眶手术训练系统的结构示意图。如图所示，所述系统400包括：

三维模型库410，用于依据眼眶扫描数据构建并存储一或多个三维组织器官模型；

vr穿戴单元420，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；

包含力反馈单元431与定位单元432的操作单元430，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作；

交互处理单元440，用于依据所述定位单元432获得的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或令所述力反馈单元431产生相应力反馈感知。

需要说明的是，上述装置各单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。下文将着重介绍各单元(硬件)相应的具体内容。

所述操作单元430优选为力反馈操作杆(如图1中所述的力反馈操作装置3)或力反馈手套；所述vr穿戴单元420(如图1中所述的虚拟现实穿戴设备2)优选为vr眼镜或vr头盔。

于本申请的一实施例中，所述力反馈单元431包括受动器，通过产生相应力度的震动以表示相应力反馈感知。

具体来说，由如图2中，通过计算出相应的力反馈，传输相应的控制指令至所述力反馈单元431的受动器，以使其产生相应程度的震动，从而使操作者感受到相应的力反馈感知，加深真实感受。

于本申请的一实施例中，所述定位单元432包括感应传感器；依据所述定位单元432实时追踪所述操作单元430的精确位置并得到整个手术训练过程的操作轨迹，以供引导提示或进行评价/打分。

举例来说，所述感应传感器可以包括多功能传感器，或红外感应器或磁感应器；或者，还可以是红外光发射接收组件，通过在所述操作单元430(操作杆或手套)上设置易于红外光感应的标记物，以实时接收到感应信号，从而检测到所述操作单元430的实时三维位置坐标。

于本实施例中，依据所述定位单元432能够实时追踪所述操作单元430的精确位置，通过对这些数据整合分析，可以得到整个手术训练过程中的操作轨迹，这里可以结合前述方法中提到的：所述三维组织器官模型上预设有对应手术路径中每一步骤的位置标注，从而对该手术训练提供引导提示或进行评价/打分。

于本实施例中，为提高所述交互处理单元440传输的感应数据(由所述定位单元432提供的三维位置信息)和/或控制信号(向所述力反馈单元431发送的控制受动器震动的信号)的精准性，所述操作单元430还可以包括通信单元。

具体来说，所述通信单元的通信方式包括：wifi、nfc、蓝牙、以太网、gsm、4g、及gprs中任意一种或多种组合。

于本实施例中，所述通信方式的网络通信方式包括：互联网、内联网、广域网(wan)、局域网(lan)、无线网络、数字用户线(dsl)网络、帧中继网络、异步传输模式(atm)网络、虚拟专用网络(vpn)和/或任何其它合适的通信网络中的任何一个或多个。

于本实施例中，所述三维模型库410、及交互处理单元440仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。

例如，所述三维模型库410可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

再例如，所述交互处理单元440可以是服务器，还可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2所述的基于虚拟现实的眼眶手术训练方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请提供的一种基于虚拟现实的眼眶手术训练方法、系统和存储介质。通过获取眼眶扫描数据，据以构建并存储一或多个三维组织器官模型；依据所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；通过在所述虚拟现实环境中对所述三维组织器官模型进行手术操作所对应的实时的三维定位信息判断与所述三维组织器官模型进是否发生碰撞，以令所述三维组织器官模型进行相应形变和/或产生相应力反馈感知。

综上所述，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。