AR和VR相结合的可移动眼角膜智能手术培训系统的制作方法

本发明涉及医疗培训技术领域，尤其涉及一种AR和VR相结合的可移动眼角膜智能手术培训系统。

背景技术：

根据世界卫生组织的调查，角膜盲是仅次于白内障的第二大致盲眼病。中国目前角膜盲患者约为500万人，并且每年新增10万多病例，在这些患者当中，绝大多数人可以通过角膜移植重见光明。但是由于多方面因素，我国各地眼库的角膜来源奇缺，不少患者只能被动地等待捐献。统计数据显示，我国每年等待角膜移植的患者至少有50万人，但有机会接受角膜移植手术并复明的患者不到5000人。

随着科技不断发展，人工角膜的出现，解决角膜供体的不足，为我国500万乃至全球6000万的角膜盲患者带来复明的希望，但是角膜移植医生的严重不足仍然是横亘在角膜盲患者走向光明道路上的巨大障碍。目前全国共有眼科医生28000名左右，但能开展内眼手术的不足4000人，能够独立完成角膜移植手术的医生不足百人，眼科医生资源仍然缺乏。使得人工角膜推广应用受到极大限制，如何更多、更快地培养掌握板层角膜移植技术的医生成为急迫要解决的一道难题。

当前传统的板层角膜移植手术医生培训方法主要是集中讲授、观摩教学、替代物(如选择猪的眼球)演练及现场指导式实操，由于培训时学员观看角度与医生操作角度存在差异、观摩教学人数受限、替代物演练临场感不足、现场实操风险大等原因，即便是资深眼科医生掌握这项手术都需要较长时间，而年轻医生的培养周期就更为漫长。

虚拟眼球手术培训的问题是设备和程序复杂昂贵，并且与真实手术的模拟度还是较大距离，真实感不强，进一步地，现有的眼角膜手术培训设备往往体积较大，不便携带，培训场地也因此局限于固定地点，培训人员无法随时随地进行培训练习。

虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机创造一个虚拟空间，用户通过VR眼镜能够完全沉浸到该虚拟空间中，利用双目视觉原理，虚拟空间在眼镜中是3D立体的，从而达到身临其境的效果。

由虚拟现实技术发展而来的增强现实(Augmented Reality，AR)技术是将虚拟的信息叠加到真实世界中，被人类感官所感知，从而达到超越现实的感官体验，不同于虚拟现实技术，采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息，还能够看到现有世界的真实信息，临场感与真实感都更强。。

技术实现要素：

本发明的目的在于提供一种AR和VR相结合的可移动眼角膜智能手术培训系统，能够真实再现眼角膜手术进程，并对培训人员进行实时指导，提升眼角膜手术培训的真实感与临场感，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，且系统简单便于携带，不受场地的限制，随时随地进行手术培训。

为实现上述目的，本发明提供了一种AR和VR相结合的可移动眼角膜智能手术培训系统，包括：便携式手术台、设于所述便携式手术台上的动物眼球标本、对应所述动物眼球标本设置的3D摄像显微镜、与所述3D摄像显微镜电性连接的计算机、与所述计算机电性连接的TOF传感器、与所述计算机通讯连接的VR眼镜；

所述3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器；

所述TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，并将3D扫描图像传输至计算机；

所述计算机根据手术的进程输出预存在计算机中的相应的指导信息，同时将TOF传感器采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将所述3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的虚拟现实或增强现实模型；

所述VR眼镜与所述计算机通讯，实时直播计算机生成的虚拟现实或增强现实模型，培训人员通过VR眼镜观看所述虚拟现实或增强现实模型进行实操手术培训。

所述便携式手术台上还设有人体头部模型，所述动物眼球标本设于所述人体头部模型的眼部。

所述VR眼镜与所述计算机之间通过无线网络进行通讯。

计算机内设有采集卡，通过所述采集卡将计算机实时生成的虚拟现实或增强现实模型录制成视频，所述VR眼镜实时直播采集卡录制的视频，实现对计算机生成的虚拟现实或增强现实模型的实时直播。

所述VR眼镜为自带显示屏幕的一体式VR眼镜。

所述VR眼镜为通过带有显示屏幕的智能移动终端进行画面显示的移动端VR眼镜。

所述计算机中设有存储单元，所述存储单元保存有预先建模好的标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件。

所述动物眼球标本为猪眼球。

所述指导信息以及纠正信息均为文字信息、图像信息、或文字信息与图像信息的组合。

所述VR眼镜内设有语言播报装置，通过语言播报装置对培训人员进行指导信息和纠正信息的语言提示。

本发明的有益效果：本发明提供了一种AR和VR相结合的可移动眼角膜智能手术培训系统，该系统通过3D摄像显微镜拍摄真实的动物眼球标本的图像，并通过计算机在该图像上叠加上虚拟现实或增强现实建模的手术的指导信息，使得培训人员可以在手术的过程中实时获得指导信息，提升培训的效率，同时通过TOF传感器获取培训人员实时的手术动作，将通过计算机判断培训人员的手术动作是否正确，并给出纠正信息，从而使得培训人员错误的手术动作得到实时纠正，并且其采用便携式的VR眼镜以及便携式的手术台，系统简单方便，手术培训不受场地的限制，在提升眼角膜手术培训的真实感与临场感的同时，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，实现可移动的眼角膜手术培训。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的AR和VR相结合的可移动眼角膜智能手术培训系统的结构框图；

图2为本发明的AR和VR相结合的可移动眼角膜智能手术培训系统的立体图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1及图2，本发明提供一种AR和VR相结合的可移动眼角膜智能手术培训系统，包括：便携式手术台1、设于所述便携式手术台1上的动物眼球标本2、对应所述动物眼球标本2设置的3D摄像显微镜3、与所述3D摄像显微镜3电性连接的计算机4、与所述计算机4电性连接的TOF传感器5、与所述计算机4通讯连接的VR眼镜6；

具体地，所述便携式手术台1真实的眼角膜手术的手术台的简化版，保留了真实的眼角膜手术台的核心部分，保证手术真实感的同时，兼顾手术台的便携性，以实现本发明随时随地进行眼角膜手术培训的目的。

具体地，为了进一步提升手术的真实感，在该仿真手术台1上设有人体头部模型21，手术时，动物眼球标本2放于该人体头部模型21的眼部，培训人员在真实的动物眼球标本2上进行手术动作，并通过VR眼镜6观察手术中动物眼球标本2的变化，同时获取计算机4根据标准手术流程实时提供指导信息，以及根据标准手术动作提供的纠正信息，相比于传统培训系统里的替代物演练，本发明的培训系统不仅能够获取真实的动物眼球标本2画面，还能够实时得到手术的指导信息与纠正信息，相比于采用包括含有各种力反馈机构等在其中的人工眼球和人工手术刀的而进行的眼角膜手术培训系统相比，本发明采用真实的动物眼球标本2进行手术培训，手术的真实感更强，培训人员在手术过程中获得手术的手感更好，培训价值更高的同时系统成本还大大降低。优选地，所述动物眼球标本2可为猪眼球，在兼顾手术培训真实性的同时，降低手术培训的成本，

具体地，所述3D摄像显微镜3拍摄动物眼球标本2以及培训人员使用的手术器械的正面三维图像，并传输至计算机4，优选地，如图2所示，该3D摄像显微镜3对应位于所述动物眼球标本2的正上方，从而使得培训人员通过VR眼镜6看到实时的真实三维图像，提升手术的真实感。可以理解的是，由于眼角膜手术是需要在显微镜下完成的手术，培训人员通过VR眼镜6观看的3D摄像显微镜3采集的正面三维图像是经过放大的图像，从而达到在显示镜下进行的真实手术同样的观看效果，保证手术培训正常进行。

具体地，所述飞行时间(Time of Flight，TOF)传感器5对动物眼球标本2、培训人员使用的手术器械、以及培训人员的手部动作进行侧面3D扫描，并将3D扫描图像传输至计算机4，所述计算机4中设有存储单元，所述存储单元保存有预先建模好的标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件，通过将TOF传感器5提供的3D扫描图像与标准的手术动作进行实时比对，实时纠正对培训人员在手术过程中的错误手术动作。其中，所述标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件参考的大量的专家手术案例进行制定，保证手术进程的准确性以及培训多样性与实用性。所述标准的眼角膜手术进程、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件参考的大量的专家手术案例进行制定，保证手术进程的准确性，以及培训的多样性与实用性，通过在标准的眼角膜手术进程加入突发事件处理的状况，培训人员能够获得处理多种手术突发事件的经验，从而达到更好的培训效果。通过TOF传感器5的应用，使得图像与数据采集实现了包括垂直角度与水平角度在内的多角度获取，从而可以更加真实地表现手术中的每个细节，展现出培训人员和医学专家在正常手术培训中难以看到的视角，降低手术动作的理解难度，加快培训速度，提升培训质量

具体地，所述计算机4根据手术的进程输出预存在计算机4中的相应的指导信息，同时将TOF传感器5采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将所述3D摄像显微镜3采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜3采集的正面三维图像、指导信息、以及纠正信息的虚拟现实或增强现实模型，计算机4内设有采集卡，通过所述采集卡将各个叠加图像录制成视频，所述VR眼镜6实时直播采集卡录制的视频，实现对计算机4生成的叠加图像的实时直播，培训人员通过VR眼镜观看直播，进行实操手术，获得如真实手术一般的体验感，优选地，所述指导信息以及纠正信息可以为文字信息、也可以图像信息、甚至为文字信息与图像信息的组合，培训人员根据指导信息获取手术进程及手术操作方法，根据纠正信息纠正错误的手术动作。

具体地，所述VR眼镜6与所述计算机4之间优选通过无线网络进行通讯，当然在不影响手术操作的情况下，所述VR眼镜6与所述计算机4也可以通过有线网络进行通讯。优选地，所述VR眼镜6为通过智能手机等带有显示屏幕的智能移动终端进行画面显示的移动端VR眼镜，其通过智能移动终端与计算机4建立网络连接，获取计算机4给出的视频信号，并将画面显示在其屏幕上，培训人员通过VR眼镜6观看智能移动终端上的画面。此外，所述VR眼镜6还可以为自带显示屏幕的一体式VR眼镜，其通过自带的通讯模块直接与计算机4通讯，获取计算机4给出的视频信号，进行画面显示。

进一步地，所述VR眼镜6内还可以设置语言播报装置，通过语言播报装置对培训人员进行指导信息和纠正信息的语言提示。本发明还可以设置记录分析模块，通过记录分析模块记录培训人员每一次培训的过程，并对记录进行大数据分析，获取培训难点和培训效果等数据，用以优化培训方案，加快培训进程，提升培训效率。

值得一提的是，本发明既适用于板层角膜手术，也适用于穿透型角膜手术，优选地，本发明主要用于眼角膜手术的标准进程的培训。

进一步地，本发明通过可移动式的培训设备，使得手术培训突破了时间和场地的限制，使受培训的医生可以有机会随时随地进行手术实操模拟,使受训医生能够便捷、快速地掌握手术要领，通过AR与VR相结合，实现了手术操作流程与实际情况处置的真正融合，实现完全可视、可模拟、可重复教学和培训的技术方案。

此外，本还发明还可以进一步包括：显示屏7，所述显示屏7可以集成于计算机4中，也可以单独设置并与计算机4通讯连接，所述显示屏7可以同步显示培训人员从VR眼镜6中观看到画面的三维图像，从而使在场其他人员与培训人员同步接收培训人员看到的图像，所述显示屏7还可以显示学员信息、培训进度、培训时长、培训过程直播及录像等功能，据此，现场培训指导人员可以对正在进行手术的培训人员进行指导，其他培训人员可以观摩手术过程，领悟手术要点，优选地，所述显示屏7为3D触控显示屏。

综上所述，本发明提供了一种AR和VR相结合的可移动眼角膜智能手术培训系统，该系统通过3D摄像显微镜拍摄真实的动物眼球标本的图像，并通过计算机在该图像上叠加上虚拟现实或增强现实建模的手术的指导信息，使得培训人员可以在手术的过程中实时获得指导信息，提升培训的效率，同时通过TOF传感器获取培训人员实时的手术动作，将通过计算机判断培训人员的手术动作是否正确，并给出纠正信息，从而使得培训人员错误的手术动作得到实时纠正，并且其采用便携式的VR眼镜以及便携式的手术台，系统简单方便，手术培训不受场地的限制，在提升眼角膜手术培训的真实感与临场感的同时，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，实现可移动的眼角膜手术培训。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思做出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。