AR和VR相结合的医学培训系统的制作方法

文档序号:12802278阅读:209来源:国知局

本实用新型涉及医疗培训技术领域,尤其涉及一种AR和VR相结合的医学培训系统。



背景技术:

随着医学院和医学生的增多,医院能够提供给医学生的实践机会和资源日益减少,本来就已经十分紧张的临床实践教学资源变得更加短缺,直接导致实习中观摩质量的下降,学生实操手术的机会更是微乎其微,难以培养出高水平的医生。

与此同时,由于多种原因导致目前的医患关系十分紧张,医疗纠纷不断,国家医疗纠纷及医疗事故处理条例也纷纷出台,过去医学生在病人身上进行实习的培养方法也已经被淘汰,由此,使得医学生的理论学习与实践学习无法融会贯通,难以提升医学生的临床综合能力,难以培养出高水平的医生,进而导致医患关系进一步更加紧张,形成一个恶性循环。

目前,很多机构也已经在研究通过各种手段进行模拟手术的技术,来为医学生增加更多的实习机会,目前的模拟手术大多是通过人造假体进行虚拟手术,其真实感与临场感很差,实用性不高,同时由于培训时学员观看角度与指导人员观看角度存在差异,以及指导人员的数量限制,学员也很难在第一时间得到手术指导,从而导致学员养成错误的手术习惯,难以改正。

虚拟现实(Virtual Reality,VR)与增强现实(Augmented Reality,AR)是近年出现的新的科研热点,通过VR和AR技术,人们可以观看到三维立体的虚拟画面,并且可以将三维立体的虚拟画面与现实世界中的场景进行叠加,从而使观众体验到身临其境的感觉,真实感与临场感极强。



技术实现要素:

本实用新型的目的在于提供一种AR和VR相结合的医学培训系统,使得培训人员能够同时观看到手术目标对象的三维图像以及当前手术进程的提示信息。

为实现上述目的,本实用新型提供了一种AR和VR相结合的医学培训系统,包括:模拟手术台、设于所述模拟手术台上手术目标对象、对应所述手术目标对象设置的3D图像采集模块、与所述3D图像采集模块通讯连接的中央处理器、与所述中央处理器通讯连接动作捕捉模块、与所述中央处理器通讯连接的AR交互模块。

所述3D图像采集模块为3D摄像显微镜、或3D摄像机。

所述动作捕捉模块为TOF传感器。

所述AR交互模块为AR眼镜。

所述AR眼镜为采用LCOS芯片、或Si-OLED芯片、或Micro-LED芯片的AR眼镜。

所述手术目标对象为该手术对应的动物身体部分的标本。

还包括设于所述模拟手术台上的人体模型,该手术对应的动物身体部分的标本对应设置于所述人体模型内。

还包括显示模块。

所述指导信息以及纠正信息均为文字信息、图像信息、或文字信息与图像信息的组合。

所述AR交互模块中还设有语音播报装置。

本实用新型的有益效果:本实用新型提供了一种AR和VR相结合的医学培训系统,其通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像,通过动作捕捉模块实时捕捉培训人员的手术动作,通过中央处理器给出纠正信息和指导信息,建立包含3D图像采集模块采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型,培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息,能够提升医疗培训的真实感与临场感,缩短医疗培训周期,降低医疗培训成本。

附图说明

为了能更进一步了解本实用新型的特征以及技术内容,请参阅以下有关本实用新型的详细说明与附图,然而附图仅提供参考与说明用,并非用来对本实用新型加以限制。

附图中,

图1为本实用新型的AR和VR相结合的医学培训系统结构图。

具体实施方式

为更进一步阐述本实用新型所采取的技术手段及其效果,以下结合本实用新型的优选实施例及其附图进行详细描述。

请参阅图1,本实用新型提供一种AR和VR相结合的医学培训系统,包括:模拟手术台1、设于所述模拟手术台1上手术目标对象2、对应所述手术目标对象2设置的3D图像采集模块3、与所述3D图像采集模块3通讯连接的中央处理器4、与所述中央处理器4通讯连接动作捕捉模块5、与所述中央处理器通讯连接的AR交互模块6。

具体地,所述模拟手术台1根据具体的医疗培训内容的需要,可以仿照真实手术台设置,以提升医疗培训的真实感,也可以是真实手术台的简化版,仅保留真实手术台的核心部分,以控制成本和便于模拟手术台1的携带。

具体地,所述手术目标对象2可以采用需要培训的手术对应的动物身体部分的标本,例如眼角膜手术培训时,该手术目标对象2可以选择猪眼球标本,同时为了进一步提供手术的真实感,此时还可以在所述模拟手术台1上设置人体模型,并将手术目标对象2放置于所述人体模型,例如眼角膜手术培训时,将猪眼球放置于人体头部模型的眼部,当然所述手术目标对象2也可以为人的器官模型,这些都可以依据医疗培训的需要进行调整,并不会影响本实用新型的实现。

具体地,所述3D图像采集模块3实时采集手术过程中手术目标对象2以及培训人员使用的手术器械的三维图像,并传输至中央处理器4,进一步地,根据医疗培训的需要该3D图像采集模块3可以选用3D摄像显微镜或3D摄像机,其中,需要在显微镜放大视野下进行的手术选择3D摄像显微镜以获取手术目标对象的三维放大图像,而不需要在显微镜下进行的手术则选用3D摄像机以获取手术目标对象的正常图像。

具体地,所述动作捕捉模块5实时采集手术过程中培训人员的手术动作,并传输至中央处理器4,优选地,所述动作捕捉模块5为飞行时间(Time of Flight,TOF)传感器,其在与所述3D图像采集模块3不同的角度采集培训人员的手术动作,例如3D图像采集模块3从手术目标对象2的正上方,采集三维图像,所述动作捕捉模块5从手术目标对象2的侧面采集手术动作,通过动作捕捉模块5的应用,使得图像与数据采集实现了包括垂直角度与水平角度在内的多角度获取,从而可以更加真实地表现手术中的每个细节,展现出培训人员和医学专家在正常手术培训中难以看到的视角,降低手术动作的理解难度,加快培训速度,提升培训质量。

具体地,所述中央处理器4根据手术的进程相应输出的预存在中央处理器4中的指导信息,并将动作捕捉模块5采集来的培训人员的手术动作和预设的标准手术动作进行实时比对,给出纠正信息,并将所述3D图像采集模块3采集的三维图像、指导信息、以及纠正信息一起进行建模,实时生成包含3D图像采集模块3采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型。进一步地,所述中央处理器4中存储有标准的手术进程、各个进程的标准手术动作、以及各个进程中可能出现的特殊状况,所述标准的手术进程、以及各个进程的标准手术动作参考的大量的专家手术的进程进行制定,保证手术进程的准确性,指导培训人员准确处理各个手术进程及各个手术进程中可能出现的特殊状况。优选地,所述指导信息以及纠正信息可以为文字信息、也可以图像信息、甚至为文字信息与图像信息的组合,培训人员根据指导信息获取手术进程及手术操作方法,根据纠正信息纠正错误的手术动作。

具体地,所述AR交互模块6实时获取中央处理器4生成的增强现实或虚拟现实模型,并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中,培训人员通过AR交互模块6观看手术目标对象2和其使用的手术器械或观看手术目标对象2和其使用的手术器械的三维图像,并获取指导信息以及纠正信息。优选地,所述AR交互模块6为AR眼镜,尤其是采用硅基液晶(Liquid Crystal on Silicon,LCOS)芯片、硅基有机发光二极管(Si-OLED)芯片或微发光二极管(Micro-LED)芯片的能够显示超高清晰度图像的AR眼镜。

进一步地,所述AR交互模块6的实现方式可根据医疗培训的需要选择视频透视式(camera see through)或光学透视式(optical see through),其中,视频透视式是将3D图像采集模块3采集的三维图像、指导信息、及纠正信息叠加到一个图像中,并通过相应的显示设备进行显示,培训人员观看的是显示在显示设备中手术目标对象2和其使用的手术器械的三维图像以及叠加在该三维图像上的指导信息以及纠正信息,而光学透视式是将指导信息以及纠正信息投射在AR交互模块6的光路中,培训人员透过AR交互模块6的光路直接观看手术目标对象2和其使用的手术器械的真实场景以及投射在光路中的指导信息以及纠正信息,无论是在视频透视式还是光学透视式中指导信息以及纠正信息展示的位置均需要保证培训人员能够正常观察手术目标对象2和其使用的手术器械,以保证手术培训正常进行。

值得一提的是,相比于传统培训时培训人员直接观看或通过普通显微镜等辅助设备观看手术目标对象,本实用新型能够在保证真实感的前提下,还随着手术的进程向培训人员提供指导信息和纠正信息,培训人员根据指导信息和纠正信息能够在没有其他指导人员的情况下独立进行手术培训,且保证手术动作及流程的准确性,相比于采用包括含有各种力反馈机构的医疗手术培训系统,本实用新型不需要在手术目标对象上增加采用繁琐的力反馈机构,且手术目标对象可以选择真实的动物身体标本2,手术的真实感更强,培训人员在手术过程中获得手术的手感更好,培训价值更高的同时系统成本还大大降低。

进一步地,本实用新型的AR和VR相结合的医学培训系统还可以包括一个独立的显示模块,所述显示模块同步显示培训人员通过AR交互模块6观看到的画面的三维图像,从而使在场其他人员与培训人员同步接收培训人员看到的图像,所述显示模块还可以显示学员信息、培训进度、培训时长、培训过程直播及录像等,据此,现场培训指导人员可以对正在进行手术的培训人员进行指导,其他培训人员可以观摩手术过程,领悟手术要点,优选地,所述显示屏为3D触控显示屏。此外,还可以在本实用新型的AR和VR相结合的医学培训系统上增设语音播报装置,通过语音播报装置对培训人员进行指导信息和纠正信息的语音提示,优选地,所述语音播报装置设于所述AR交互模块6中。

此外,本实用新型的AR和VR相结合的医学培训系统,还可以设置记录分析模块,通过记录分析模块记录培训人员每一次培训的过程,并对记录进行大数据分析,获取培训难点和培训效果等数据,用以优化培训方案,加快培训进程,提升培训效率。

需要说明的是,本实用新型的AR和VR相结合的医学培训系统,采用3D图像采集模块3采集现实世界中手术目标对象2以及手术器械的三维画面,并通过建模在在培训人员的视野中展示指导信息和纠正信息,培训人员在手术时不仅看到手术场景,还能够看到叠加在手术场景中的指导信息和纠正信息,从而使得培训人员获取比直接观看更多的信息,对手术培训进行实时指导或纠正,设备简单,成本低,培训的效果更佳、效率更高,通过AR与VR相结合,实现了手术操作流程与实际情况处置的真正融合,实现完全可视、可模拟、可重复教学和培训的技术方案。

综上所述,本实用新型提供了一种AR和VR相结合的医学培训系统,其通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像,通过动作捕捉模块实时捕捉培训人员的手术动作,通过中央处理器给出纠正信息和指导信息,建立包含3D图像采集模块采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型,培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息,能够提升医疗培训的真实感与临场感,缩短医疗培训周期,降低医疗培训成本。

以上所述,对于本领域的普通技术人员来说,可以根据本实用新型的技术方案和技术构思做出其他各种相应的改变和变形,而所有这些改变和变形都应属于本实用新型权利要求的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1