基于运动捕捉和混合现实的眼科手术培训系统的制作方法

本实用新型涉及医疗培训技术领域，尤其涉及一种基于运动捕捉和混合现实的眼科手术培训系统。

背景技术：

眼睛是人头部非常重要的器官，由于其结构复杂，极其脆弱，位置在人的头部，因此对眼睛进行的眼科手术，是医院最困难的手术中的一种，为了完成眼科手术需要医生具有极高的技术。目前全国共有眼科医生28000名左右，但能开展内眼手术的不足4000人，能够独立完成诸如角膜移植等高难度眼科手术的医生不足百人，眼科医生资源仍然十分匮乏，使得眼科疾病的治疗受到了极大限制，如何更多、更快地培养掌握眼科手术的医生成为急迫要解决的的一道难题。

传统的眼科手术培训方法主要是集中讲授、观摩教学、替代物(如选择猪的眼球)演练及现场指导式实操，由于培训时学员观看角度与医生操作角度存在差异、观摩教学人数受限、替代物演练临场感不足、现场实操风险大等原因，即便是资深眼科医生掌握这项手术都需要较长时间，而年轻医生的培养周期就更为漫长。虚拟眼科手术培训的问题是设备和程序复杂昂贵，并且与真实手术的模拟度还是较大距离，真实感不强。

虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机创造一个虚拟空间，用户通过VR眼镜能够完全沉浸到该虚拟空间中，利用双目视觉原理，虚拟空间在眼镜中是3D立体的，从而达到身临其境的效果。由虚拟现实技术发展而来的增强现实(Augmented Reality，AR)技术是将虚拟的信息叠加到真实世界中，被人类感官所感知，从而达到超越现实的感官体验，不同于虚拟现实技术，采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息，还能够看到现有世界的真实信息，临场感与真实感都更强。混合现实技术(Mixed Reality，MR)结合了AR技术和VR技术，它将光学镜头拍摄到的真实物理世界的影像传输到处理器，处理器对该影像进行图像处理，并进行增强叠加，由于处理速度快，在沉浸显示设备中显示出来的，经过叠加和优化的图像，与真实物理世界的时间延迟在几十毫秒，完全可以看作是真实物理世界的实时影像。

技术实现要素：

本实用新型的目的在于提供一种基于运动捕捉和混合现实的眼科手术培训系统，能够真实再现眼科手术进程，并对培训人员进行实时指导，提升眼科手术培训的真实感与临场感，缩短眼科手术培训周期，降低眼科手术培训成本。

为实现上述目的，本实用新型提供了一种基于运动捕捉和混合现实的眼科手术培训系统，其特征在于，包括：仿真手术台、设于所述仿真手术台上的动物眼球标本、对应所述动物眼球标本设置的3D摄像显微镜、与所述3D摄像显微镜通讯连接的中央处理器、对应所述动物眼球标本设置且与所述中央处理器通讯连接的至少三个激光脉冲发射器、与中央处理器通讯连接的混合现实显示终端以及与所述中央处理器通讯连接的手术工具；

所述手术工具上设有激光脉冲探测器以及与所述激光脉冲探测器及中央处理器均通讯连接的通讯模块。

所述手术工具包括：形变类手术工具及非形变类手术工具，在每一个形变类手术工具的形变位置还设有姿态捕捉传感器，所述姿态捕捉传感器与所述通讯模块通讯连接。

所述形变类手术工具包括：手术手套及手术剪刀，所述非形变类手术工具包括：手术刀。

所述姿态捕捉传感器为微型弹性电阻。

所述通讯模块为无线通讯模块。

所述激光脉冲发射器的数量为三个且该三个激光脉冲发射器发出的激光脉冲信号的频率不同。

所述三个激光脉冲发射器均匀分布于所述3D摄像显微镜的镜头的外周面上。

所述混合现实显示终端包括：左眼显示屏和右眼显示屏。

所述左眼图像显示屏和右眼图像显示屏均为硅基液晶显示屏、硅基有机发光二极管显示屏或微发光二极管显示屏。

本实用新型的有益效果：本实用新型提供了一种基于运动捕捉和混合现实的眼科手术培训系统，所述基于运动捕捉和混合现实的眼科手术培训系统通过3D摄像显微镜实时采集手术过程中动物眼球标本的正面三维图像，通过在手术工具上设置脉冲激光探测器定位所述手术工具的位置，通过中央处理器比对所述手术工具的位置与标准位置的差别，给出位置纠正信息，通过中央处理器根据手术进程给出指导信息，并将位置纠正信息和指导信息叠加到所述3D摄像显微镜采集的正面三维图像中，由混合现实显示终端显示出来，能够提升眼科手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼科手术培训周期，降低眼科手术培训成本，提升培训质量。

附图说明

为了能更进一步了解本实用新型的特征以及技术内容，请参阅以下有关本实用新型的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本实用新型加以限制。

附图中，

图1为本实用新型的基于运动捕捉和混合现实的眼科手术培训系统的模块示意图；

图2为本实用新型的基于运动捕捉和混合现实的眼科手术培训系统的结构示意图；

图3为本实用新型的基于运动捕捉和混合现实的眼科手术培训系统中手术工具及激光脉冲发射器的结构示意图。

具体实施方式

为更进一步阐述本实用新型所采取的技术手段及其效果，以下结合本实用新型的优选实施例及其附图进行详细描述。

请参阅图1和图2，本实用新型提供一种基于运动捕捉和混合现实的眼科手术培训系统，包括：仿真手术台1、设于所述仿真手术台1上的动物眼球标本2、对应所述动物眼球标本2设置的3D摄像显微镜3、与所述3D摄像显微镜3通讯连接的中央处理器4、对应所述动物眼球标本2设置且与所述中央处理器4通讯连接的至少三个激光脉冲发射器5、与中央处理器4通讯连接的混合现实显示终端6以及与所述中央处理器4通讯连接的手术工具7。

其中，所述手术工具7包括：形变类手术工具及非形变类手术工具，在每一个非形变类手术工具上均设有激光脉冲探测器72以及与所述激光脉冲探测器72及中央处理器4均通讯连接的通讯模块73，在每一个形变类手术工具上均设有激光脉冲探测器72、与所述激光脉冲探测器72及中央处理器4均通讯连接的通讯模块73以及位于所述形变类手术工具的形变位置且与所述通讯模块73通讯连接的姿态捕捉传感器71。

举例来说，如图2及图3所示，所述非形变类手术工具可以包括：手术刀703，在所述手术刀703上设有激光脉冲探测器72以及与所述激光脉冲探测器72及中央处理器4均通讯连接的通讯模块73。所述形变类手术工具可以包括：手术手套701及手术剪刀702，在所述手术手套701的手背位置设有激光脉冲探测器72、与所述激光脉冲探测器72及中央处理器4均通讯连接的通讯模块73，在所述手术手套701每一个指关节及两手指之间的位置均设有一个姿态捕捉传感器71，且同一个手指上的多个姿态传感器71串联连接；在所述手术剪刀702的中心位置设有激光脉冲探测器72、与所述激光脉冲探测器72及中央处理器4均通讯连接的通讯模块73，在所述手术剪刀702的两刀刃的交会位置设有一个姿态捕捉传感器71。

具体地，所述3D摄像显微镜3，用于拍摄手术过程中动物眼球标本2的正面三维图像，并传输至中央处理器4；

所述激光脉冲发射器5，用于产生并发送激光脉冲信号；所述激光脉冲探测器72，用于侦测并接收各个激光脉冲发射器5发出的激光脉冲信号，得到定位数据；

所述通讯模块73，用于将手术工具7的定位数据传输给中央处理器4；所述中央处理器4，用于根据手术的进程给出预存在中央处理器4中的相应的指导信息，并根据所述手术工具7的定位数据，得出所述手术工具7的位置信息，并将手术工具7的位置信息和预设的标准位置信息进行实时比对，给出位置纠正信息，以及将指导信息和位置纠正信息添加到3D摄像显微镜3采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端6；

所述混合现实显示终端6，用于根据所述混合现实图像信号进行3D显示，培训人员根据所述混合现实显示终端6显示的图像进行眼科手术培训。

优选地，所述通讯模块73为无线通讯模块，且本实用新型并不局限于此，所述通讯模块73在一些必要的场合下也可以为有线通讯模块。

具体地，所述激光脉冲发射器5的数量为三个且该三个激光脉冲发射器5发出的激光脉冲信号的频率不同，实施时，所述三个激光脉冲发射器5均匀分布于所述3D摄像显微镜3的镜头的外周面上，相邻的两激光脉冲发射器5间隔120°，工作时，所述三个激光脉冲发射器5持续发出脉冲信号，固定于手术工具7上的激光脉冲探测器72探测到三组脉冲信号时，根据三角定位算法，算出其所在的手术工具的空间位置坐标，得出所述手术工具的定位数据。

优选地，所述激光脉冲探测器72以大于10脉冲/秒的速率侦测并接收各个激光脉冲发射器5发出的激光脉冲信号，从而在手术培训过程中每秒检测至少10次手术工具7的位置信息，定位速度和定位精度都很高。

此外，当所述手术工具7为形变类手术工具时，所述形变类手术工具上还会设置姿态捕捉传感器71；所述姿态捕捉传感器71，用于采集所述形变类手术工具的形变数据；所述通讯模块73，还用于将形变类手术工具的形变数据传输给中央处理器4；所述中央处理器4，还用于根据所述形变类手术工具的形变数据，得出所述形变类手术工具的姿态信息，并将形变类手术工具的姿态信息和预设的标准姿态信息进行实时比对，给出姿态纠正信息，并将姿态纠正信息和指导信息、位置纠正信息一起添加到3D摄像显微镜3采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端6。

具体地，所述姿态捕捉传感器71为微型弹性电阻，所述姿态捕捉传感器71根据所述微型弹性电阻的电阻变化采集手术工具7的形变数据，所述微型弹性电阻，当两端受力时，会被拉伸，但其体积V保持不变，即V＝L*S，其中L为微型弹性电阻长度，S为微型弹性电阻横截面积，根据电阻公式R＝ρL/S和胡克定律F＝K*ΔL，其中，R为所述微型弹性电阻的电阻，ρ为微型弹性电阻的电阻率，F为所述微型弹性电阻的受到的外力大小，K为所述微型弹性电阻的弹性系数，ΔL为微型弹性电阻在形变前后的长度变化量，从而能够根据微型弹性电阻的阻值变化，代表得出所述形变手术工具的形变位置的受力情况，从而可以根据力的大小换算出形变手术工具的形变情况，例如，手术手套701上手指的弯曲程度或手术剪刀702的两刀刃之间的距离等，从而可以对于不同的形变手术工具进行相应建模，得出形变手术工具的形变数据。

具体地，所述仿真手术台1仿照真实的眼科手术的手术台制作，从而使得培训人员获取真实手术的临场体验，

特别地，为了进一步提升手术的真实感，在该仿真手术台1上设有人体头部模型9，手术时，动物眼球标本2放于该人体头部模型9的眼部，同时与真实的眼科手术的手术台相同，该仿真手术台1也设有脚踏8，通过脚踏8可以调整3D摄像显微镜3拍摄的焦距及位置等参数。

优选地，如图2所示，所述3D摄像显微镜3对应位于所述动物眼球标本2的正上方，以采集与培训人员视角一致的正面三维图像，提升手术的真实感。

具体地，所述中央处理器4中设有存储单元，所述存储单元保存有预先建模好的标准的眼科手术进程、各个进程的指导信息、各个进程的标准位置信号及姿态信息、多种眼科病灶以及多种手术突发事件，通过将激光脉冲探测器72及姿态捕捉传感器71得出的位置信息与姿态信息与各个进程的标准位置信号及姿态信息进行实时比对，实时纠正对培训人员在手术过程中的错误手术动作。

其中，所述标准的眼科手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶以及多种手术突发事件参考大量的专家手术案例进行制定，保证手术进程的准确性以及培训的多样性与实用性，通过在标准的眼科手术进程加入突发事件处理的状况，培训人员能够获得处理多种手术突发事件的经验，从而达到更好的培训效果。通过激光脉冲探测器72及姿态捕捉传感器71的应用，使得培训人员能够知道自己的手术操作动作是否与标准操作一致。

此外，所述系统中还可以设置与中央处理器4通讯连接的语音模块，以在培训过程中，通过实时的语音模块为培训人员播报指导信息、位置纠正信息及姿态纠正信息，从而可以加快培训速度，提升培训质量。

具体地，所述混合现实显示终端6包括：左眼显示屏61和右眼显示屏62，所述混合现实图像信号包括：左眼图像信号和右眼图像信号，所述左眼显示屏61和右眼显示屏62分别用于显示左眼图像信号和右眼图像信号，以实现3D显示。

优选地，所述左眼图像显示屏61和右眼图像显示屏62均为硅基液晶(Liquid Crystal on Silicon，LCOS)显示屏，以利用LCOS显示屏色彩鲜明和清晰度高的特点显示高品质的图像。当然，所述左眼图像显示屏61和右眼图像显示屏62并非局限于LCOS显示屏，也可以采用诸如硅基有机发光二极管(Si-OLED)显示屏或微发光二极管(Micro-LED)显示屏等其他类型的显示屏。

优选地，所述动物眼球标本2为猪眼球，在兼顾手术培训真实性的同时，降低手术培训的成本。

具体地，本系统还可以进一步包括：与所述中央处理器4通讯连接的远程指导模块，所述远程指导模块，用于将混合现实显示终端6显示的图像经由互联网上传至云端，以供眼科专家及眼科教授等专业的培训指导人员可以在云端实时获取培训人员的手术进程，对其进行远程实时指导，从而使得培训过程更加多样与灵活，提升手术培训的效率。

优选地，所述动物眼球标本2为猪眼球，在兼顾手术培训真实性的同时，降低手术培训的成本，由于本实用新型采用真实的动物眼球标本2，相比于采用包括含有各种力反馈机构等在其中的人工眼球和人工手术刀的而进行的眼科手术培训系统相比，不但大大降低了系统成本，而且更接近实际手术的手感，使得培训的价值更高，相比于传统培训时培训人员直接观看或通过普通显微镜等辅助设备直接观看眼球进行手术，本实用新型能够在保证真实感的前提下，还随着手术的进程向培训人员提供指导信息和纠正信息，提升培训的效率和质量。

具体地，本实用新型还可以设置记录分析模块，通过记录分析模块记录培训人员每一次培训的过程，并对记录进行大数据分析，获取培训难点和培训效果等数据，用以优化培训方案，加快培训进程，提升培训效率。

值得一提的是，本实用新型可适用于包括眼角膜手术及白内障手术等在内的各类眼科手术，优选地，本实用新型的主要用于眼科手术进程中的突发状况的培训。

综上所述，本实用新型提供了一种基于运动捕捉和混合现实的眼科手术培训系统，所述基于运动捕捉和混合现实的眼科手术培训系统通过3D摄像显微镜实时采集手术过程中动物眼球标本的正面三维图像，通过在手术工具上设置脉冲激光探测器定位所述手术工具的位置，通过中央处理器比对所述手术工具的位置与标准位置的差别，给出位置纠正信息，通过中央处理器根据手术进程给出指导信息，并将位置纠正信息和指导信息叠加到所述3D摄像显微镜采集的正面三维图像中，由混合现实显示终端显示出来，能够提升眼科手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼科手术培训周期，降低眼科手术培训成本，提升培训质量。

以上所述，对于本领域的普通技术人员来说，可以根据本实用新型的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本实用新型权利要求的保护范围。