AR与VR相结合的眼角膜智能手术培训系统的制作方法

本发明涉及医疗培训技术领域，尤其涉及一种AR与VR相结合的眼角膜智能手术培训系统。

背景技术：

根据世界卫生组织的调查，角膜盲是仅次于白内障的第二大致盲眼病。中国目前角膜盲患者约为500万人，并且每年新增10万多病例，在这些患者当中，绝大多数人可以通过角膜移植重见光明。但是由于多方面因素，我国各地眼库的角膜来源奇缺，不少患者只能被动地等待捐献。统计数据显示，我国每年等待角膜移植的患者至少有50万人，但有机会接受角膜移植手术并复明的患者不到5000人。

随着科技不断发展，人工角膜的出现，解决角膜供体的不足，为我国500万乃至全球6000万的角膜盲患者带来复明的希望，但是角膜移植医生的严重不足仍然是横亘在角膜盲患者走向光明道路上的巨大障碍。目前全国共有眼科医生28000名左右，但能开展内眼手术的不足4000人，能够独立完成角膜移植手术的医生不足百人，眼科医生资源仍然缺乏。使得人工角膜推广应用受到极大限制，如何更多、更快地培养掌握板层角膜移植技术的医生成为急迫要解决的一道难题。

当前传统的板层角膜移植手术医生培训方法主要是集中讲授、观摩教学、替代物（如选择猪的眼球）演练及现场指导式实操，由于培训时学员观看角度与医生操作角度存在差异、观摩教学人数受限、替代物演练临场感不足、现场实操风险大等原因，即便是资深眼科医生掌握这项手术都需要较长时间，而年轻医生的培养周期就更为漫长。

虚拟眼球手术培训的问题是设备和程序复杂昂贵，并且与真实手术的模拟度还是较大距离，真实感不强。

虚拟现实（Virtual Reality，VR）技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机创造一个虚拟空间，用户通过VR眼镜能够完全沉浸到该虚拟空间中，利用双目视觉原理，虚拟空间在眼镜中是3D立体的，从而达到身临其境的效果。

由虚拟现实技术发展而来的增强现实（Augmented Reality，AR）技术是将虚拟的信息叠加到真实世界中，被人类感官所感知，从而达到超越现实的感官体验，不同于虚拟现实技术，采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息，还能够看到现有世界的真实信息，临场感与真实感都更强。

技术实现要素：

本发明的目的在于一种AR与VR相结合的眼角膜智能手术培训系统，能够真实再现眼角膜手术进程，并对培训人员进行实时指导，提升眼角膜手术培训的真实感与临场感，缩短眼角膜手术培训周期，降低眼角膜手术培训成本。

为实现上述目的，本发明提供了一种AR与VR（相结合的眼角膜智能手术培训系统，包括：仿真手术台、设有所述仿真手术台上的动物眼球标本、对应所述动物眼球标本设置的3D摄像显微镜、与所述3D摄像显微镜电性连接的中央处理器、与所述中央处理器电性连接的TOF传感器、以及与中央处理器电性连接的AR眼镜；

所述3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器；

所述TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，并将3D扫描图像传输至中央处理器；

所述中央处理器根据手术的进程输出预存在中央处理器中的相应的指导信息，同时将TOF传感器采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型；

所述AR眼镜实时获取中央处理器生成的增强现实或虚拟现实模型，并根据该虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR眼镜观看动物眼球标本和其使用的手术器械或观看动物眼球标本和其使用的手术器械的正面三维图像，并获取指导信息以及纠正信息。

还包括：与中央处理器电性连接的显示屏，所述显示屏同步显示培训人员通过AR眼镜观看到的画面的三维图像。

所述仿真手术台上还设有人体头部模型，所述动物眼球标本设于所述人体头部模型的眼部。

所述3D摄像显微镜拍摄的正面三维图像以及所述TOF传感器获取的3D扫描图像还通过互联网上传至云端，供培训指导人员对培训人员进行远程指导。

所述仿真手术台还设有脚踏，通过所述脚踏控制所述3D摄像显微镜。

所述中央处理器中设有存储单元，所述存储单元保存有预先建模好的标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件。

所述AR眼镜中还设有语音播报装置，通过语言播报装置对培训人员进行指导信息和纠正信息的语言提示。

所述AR眼镜为采用LCOS芯片、或Si-OLED芯片、或Micro-LED芯片的AR眼镜。

所述动物眼球标本为猪眼球。

所述指导信息以及纠正信息为文字信息、图像信息、或文字信息与图像信息的组合。

本发明的有益效果：本发明提供了一种AR与VR相结合的眼角膜智能手术培训系统，该系统通过3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，通过TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，通过中央处理器给出纠正信息和指导信息，建立包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR眼镜实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，通过AR与VR的结合，在真实图像上叠加虚拟图像，提升眼角膜手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，提升培训质量。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的AR与VR相结合的眼角膜智能手术培训系统结构框图；

图2为本发明的AR与VR相结合的眼角膜智能手术培训系统的立体图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1及图2，本发明提供一种AR与VR相结合的眼角膜智能手术培训系统，包括：仿真手术台1、设有所述仿真手术台1上的动物眼球标本2、对应所述动物眼球标本2设置的3D摄像显微镜3、与所述3D摄像显微镜3电性连接的中央处理器4、与所述中央处理器4电性连接的TOF传感器5、以及与中央处理器4电性连接的AR眼镜6。

具体地，所述仿真手术台1仿照真实的眼角膜手术的手术台制作，从而使得培训人员获取真实手术的临场体验，特别地，为了进一步提升手术的真实感，在该仿真手术台1上设有人体头部模型21，手术时，动物眼球标本2放于该人体头部模型21的眼部，同时与真实的眼角膜手术的手术台相同，该仿真手术台1也设有脚踏11，通过脚踏11可以调整3D摄像显微镜3拍摄的焦距、及位置等参数。

具体地，所述3D摄像显微镜3拍摄动物眼球标本2以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器4，优选地，如图2所示，该3D摄像显微镜3对应位于所述动物眼球标本2的正上方，从而采集与培训人员视角一致的正面三维图像，提升手术的真实感。

具体地，所述飞行时间（TIME OF FLIGHT，TOF）传感器5对动物眼球标本2、培训人员使用的手术器械、以及培训人员的手部动作进行侧面3D扫描，并将3D扫描图像传输至中央处理器4，所述中央处理器4中设有存储单元，所述存储单元保存有预先建模好的标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件，通过将TOF传感器5提供的3D扫描图像与标准的手术动作进行实时比对，实时纠正对培训人员在手术过程中的错误手术动作。其中，所述标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件参考的大量的专家手术案例进行制定，保证手术进程的准确性，以及培训的多样性与实用性，通过在标准的眼角膜手术进程加入突发事件处理的状况，培训人员能够获得处理多种手术突发事件的经验，从而达到更好的培训效果。通过TOF传感器5的应用，使得图像与数据采集实现了包括垂直角度与水平角度在内的多角度获取，从而可以更加真实地表现手术中的每个细节，展现出培训人员和医学专家在正常手术培训中难以看到的视角，降低手术动作的理解难度，加快培训速度，提升培训质量。

所述中央处理器4根据手术的进程输出预存在中央处理器4中的相应的指导信息，同时将TOF传感器5采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将3D摄像显微镜3采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜3采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型。

所述AR眼镜6实时获取中央处理器4生成的增强现实或虚拟现实模型，并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR眼镜6观看动物眼球标本2和其使用的手术器械或观看动物眼球标本2和其使用的手术器械的正面三维图像，并获取指导信息以及纠正信息，培训人员根据指导信息进行手术进程处理的培训，根据纠正信息培养标准的手术动作。

优选地，所述A眼镜6为采用硅基液晶（Liquid Crystal on Silicon，LCOS）芯片、硅基有机发光二极管（Si-OLED）芯片或微发光二极管（Micro-LED）芯片的能够显示超高清晰度图像的AR眼镜。

进一步地，所述AR（增强现实）眼镜6的实现方式可根据医疗培训的需要选择视频透视式（camera see through）或光学透视式（optical see through），其中，视频透视式是将3D摄像显微镜3采集的正面三维图像、指导信息、及纠正信息叠加到一个图像中，并通过相应的显示设备进行显示，培训人员观看的是显示在显示设备中动物眼球标本2和其使用的手术器械的正面三维图像以及叠加在该三维图像上的指导信息以及纠正信息，而光学透视式是将指导信息以及纠正信息投射在AR眼镜6的光路中，培训人员透过AR眼镜6的光路直接观看手术目标对象2和其使用的手术器械的真实场景以及投射在光路中的指导信息以及纠正信息，无论是在视频透视式还是光学透视式中指导信息以及纠正信息展示的位置均需要保证培训人员能够正常观察手术目标对象2和其使用的手术器械，以保证手术培训正常进行。其中，所述指导信息以及纠正信息可以是文字信息、也可以是图像信息、或者是文字信息与图像信息的组合。

可以理解的是，由于眼角膜手术是需要在显微镜下完成的手术，因此无论是通过视频透视式（camera see through）的AR眼镜6观看的3D摄像显微镜3采集的正面三维图像，还是光学透视式（optical see through）的AR（眼镜6观看到的动物眼球标本2和其使用的手术器械的真实场景都是经过放大，也即培训人员通过AR眼镜6观看到的是放大图像，从而达到在显示镜下进行的真实手术同样的观看效果，保证手术培训正常进行。

具体地，所述AR与VR相结合的眼角膜智能手术培训系统还包括：与中央处理器4电性连接的显示屏7，所述显示屏7可以同步显示培训人员从AR眼镜6中观看到画面的三维图像，从而使在场其他人员与培训人员同步接收培训人员看到的图像，所述显示屏7还可以显示学员信息、培训进度、培训时长、培训过程直播及录像等功能，据此，现场培训指导人员可以对正在进行手术的培训人员进行指导，其他培训人员可以观摩手术过程，领悟手术要点，优选地，所述显示屏7为3D触控显示屏。

进一步地，本发明的AR与VR相结合的眼角膜智能手术培训系统还具有远程指导功能，通过将所述3D摄像显微镜3拍摄的正面三维图像以及所述TOF传感器5获取的3D扫描图像经由互联网上传至云端9，眼科专家及眼科教授等专业的培训指导人员可以在云端9实时获取培训人员的手术进程，对其进行远程实时指导，从而使得培训过程更加多样与灵活，提升手术培训的效率。

此外，还可以在本发明的AR与VR相结合的眼角膜智能手术培训系统上增设语音播报装置，通过语音播报装置对培训人员进行指导信息和纠正信息的语音提示，优选地，所述语音播报装置设于所述AR眼镜6中。

优选地，所述动物眼球标本2为猪眼球，在兼顾手术培训真实性的同时，降低手术培训的成本，由于本发明采用真实的动物眼球标本2，相比于采用包括含有各种力反馈机构等在其中的人工眼球和人工手术刀的而进行的眼角膜手术培训系统相比，不但大大降低了系统成本，而且更接近实际手术的手感，使得培训的价值更高，相比于传统培训时培训人员直接观看或通过普通显微镜等辅助设备直接观看眼球进行手术，本发明能够在保证真实感的前提下，还随着手术的进程向培训人员提供指导信息和纠正信息，提升培训的效率和质量。

具体地，本发明还可以设置记录分析模块，通过记录分析模块记录培训人员每一次培训的过程，并对记录进行大数据分析，获取培训难点和培训效果等数据，用以优化培训方案，加快培训进程，提升培训效率。

值得一提的是，本发明既适用于板层角膜手术，也适用于穿透型角膜手术，优选地，本发明的主要用于眼角膜手术进程中的突发状况的培训。

进一步地，本发明的AR与VR相结合的眼角膜智能手术培训系统，采用3D摄像显微镜3采集现实世界中动物眼球标本2以及手术器械的三维画面，并通过建模在在培训人员的视野中展示指导信息和纠正信息，培训人员在手术时不仅看到手术场景，还能够看到叠加在手术场景中的指导信息和纠正信息，从而使得培训人员获取比直接观看更多的信息，对手术培训进行实时指导或纠正，设备简单，成本低，培训的效果更佳、效率更高，通过AR与VR相结合，实现了手术操作流程与实际情况处置的真正融合，实现完全可视、可模拟、可重复教学和培训的技术方案，解决了由于眼科手术的特殊性对显微采集后图像叠加的困难度，实现了增强现实真正意义上的运用到眼科手术的实体培训，设备简单，成本低，培训的效果更佳、效率更高，从而实现眼角膜手术医生的批量快速培训，为人工角膜推广应用扫清障碍。

综上所述，本发明提供了一种AR与VR相结合的眼角膜智能手术培训系统，该系统通过3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，通过TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，通过中央处理器给出纠正信息和指导信息，建立包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR眼镜实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，通过AR与VR的结合，在真实图像上叠加虚拟图像，提升眼角膜手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，提升培训质量。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。