一种基于创新教具的AR医学影像学辅助学习系统

本发明涉及智慧医疗学习ar，具体为一种基于创新教具的ar医学影像学辅助学习系统。

背景技术：

1、增强现实（augmented reality，简称ar）的广泛发展，对许多行业都带来了新的突破点，相较于虚拟现实技术（vitual reality，简称vr），增强现实不仅仅是计算机的产物，它能够将计算机生成的虚拟场景与真实场景相结合，使用户与现实世界产生更强的互动性。随着技术的发展，医学教育也在不断创新，探索新的方法。过去的虚拟现实技术让难以理解的人体结构实现可视化，在三维空间中与虚拟物体进行交互探索出新的学习方式。增强现实的出现同样给医学教育带来了新的突破点，不仅仅拘泥于虚拟世界，将真实世界与虚拟世界的结合，更有利于医学生们的学习效率，同时增强了学习主动性和兴趣性。

2、医学影像学主要是借助影像资料诊断病情进行初次研判的学科，对于医学影像的学生来说这是十分复杂且基础的内容。由于脑部结构相较于其他器官较复杂，对于医学生来说脑部肿瘤的诊断以及病灶位置的确定比较困难。

3、现今课堂教学主要以书本作为教学工具，并配合一些三维视频图像作为辅助学习。对于空间感较差的学生而言，由于器官不可透视的特点，无法将脑肿瘤与所在脑区及对应的脑区功能联系起来，不利于学生对知识点的学习和理解，学习效果不好；另外，随着医学生的增加和遗体捐赠者的减少，更加需要探索新的教学策略。

4、因此，本申请提供一种基于创新教具的ar医学影像学辅助学习系统，用以解决上述问题。

技术实现思路

1、本发明要解决的技术问题是克服现有的缺陷，提供一种基于创新教具的ar医学影像学辅助学习系统，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，采用全新的教学方式，可以实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果，可以有效解决背景技术中的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于创新教具的ar医学影像学辅助学习系统，包括：

3、ar设备终端：用于接受、分析以及展示云端数据库反馈的最终结果；

4、云端数据库：用于储存图像识别模块所需调用的模型数据以及物体识别所需调用的模型数据和相关详细信息，并且实现ar设备终端和云端数据库之间的数据互通；

5、图像识别模块：设置在ar设备终端上，用户通过ar识别功能，使用ar设备终端扫描书本上的影像资料，相应的病灶模型和对应的资料通过ar设备终端展现在影像资料上方；

6、物体识别模块：设置在ar设备终端上，用户通过ar识别功能，使用ar设备终端扫描打印出来的3d真实模型，相应的病灶模型通过ar设备终端与真实模型配准并展现在用户面前。

7、作为本发明的一种优选技术方案，所述云端数据库的模型数据分别通过提取书本上的影像资料的点云特征获得以及三维重建的病灶模型的轮廓特征获得。

8、作为本发明的一种优选技术方案，所述云端数据库中的相关详细信息包括肿瘤类型，肿瘤所在脑区，脑区对应的功能，在诊断过程中的影像资料特点等。

9、作为本发明的一种优选技术方案，所述病灶模型获得方式为：通过筛选书本中的脑肿瘤典型案例，并在医院数据库中寻找相匹配的数据；然后将医院所给的原始数据进行处理，三维重建出病灶模型。

10、作为本发明的一种优选技术方案，所述病灶模型包括头颅、耳朵、肿瘤、以及肿瘤周边血管，其中任意两种器官所用的材质均不相同，且头颅使用透明的玻璃材质，能够透过头颅准确定位其他部分的位置关系；耳朵、肿瘤以及肿瘤周边血管都通过不同的颜色进行渲染，便于用户区分。

11、作为本发明的一种优选技术方案，所述3d真实模型获取方式为：将三维重建得到的模型缩放至百分之六十，然后通过halot-sky打印机打印出3d真实模型。

12、作为本发明的一种优选技术方案，通过halot-sky打印机打印时，需要对其进行如下设置：

13、初始曝光：40s，初始曝光强度过短会导致材料黏性降低或硬度减弱，影响产品质量；初始曝光强度过长会导致物体表面出现裂纹等；

14、打印曝光：3s；

15、电机速度：8mm/s；

16、底层曝光层数：10层，底层曝光层数使用的曝光时间为初始曝光时间。

17、模型设置：将模型等比缩小至百分之六十；为模型增加底部支撑，底部支撑的长度为10mm。

18、一种基于创新教具的ar医学影像学辅助学习系统的学习方法，包括如下步骤：

19、s1、提取书本影像资料的点云特征、3d打印模型的轮廓特征。

20、s2、使用ar设备终端扫描书本影像资料或者3d打印模型。

21、s3、通过ar设备终端提取书本影像资料的点云特征或者3d打印模型的轮廓特征并上传至云端数据库。

22、s4、将上传的特征与云端数据库的储存的特征进行检索、匹配，并把最终结果反馈至ar设备终端。

23、s5、ar设备终端将得到的结果进行处理。

24、s6、如果扫描的是书本影像资料，则会在书本上方出现相应的病灶模型和详细信息；如果扫描的是3d打印出来的模型，则会与模型配准，病灶模型会叠加在3d打印模型并显示详细信息。

25、s7、用户使用手势识别对病灶模型进行交互。

26、作为本发明的一种优选技术方案，在书本上方出现的详细信息主要为病灶的类型、临床表现、以及影像学特点。

27、作为本发明的一种优选技术方案，所述手势识别包括：

28、模型缩放：使用ar设备终端摄像头装置进行识别，当双手的大拇指和食指分别捏合，手势识别启动，通过双手移动对模型进行缩放；

29、模型拖动：使用ar设备终端摄像头装置进行识别，当单手的大拇指与食指捏合，手势识别启动，通过手部位置的移动对模型进行拖动。

30、与现有技术相比，本发明的有益效果是：

31、本发明示例的基于创新教具的ar医学影像学辅助学习系统，能够通过ar设备终端直接进行学习，同时连接到电脑上时可以实时看到ar设备终端的画面，能够使用一个设备进行多人学习；且采用虚拟与现实相结合的ar技术，在ar设备终端中显示的虚拟模型通过ct数据进行三维重建，能够做到与真实头颅完全还原，使人机交互方面更加丰富，可以增强学生的自主学习能力和学习兴趣；且该教学学习方法，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，并且实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果。

技术特征：

1.一种基于创新教具的ar医学影像学辅助学习系统，其特征在于：包括：

2.根据权利要求1所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：所述云端数据库的模型数据分别通过提取书本上的影像资料的点云特征获得以及三维重建的病灶模型的轮廓特征获得。

3.根据权利要求1所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：所述云端数据库中的相关详细信息包括肿瘤类型，肿瘤所在脑区，脑区对应的功能，在诊断过程中的影像资料特点等。

4.根据权利要求1所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：所述病灶模型获得方式为：通过筛选书本中的脑肿瘤典型案例，并在医院数据库中寻找相匹配的数据；然后将医院所给的原始数据进行处理，三维重建出病灶模型。

5.根据权利要求4所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：所述病灶模型包括头颅、耳朵、肿瘤、以及肿瘤周边血管，其中任意两种器官所用的材质均不相同，且头颅使用透明的玻璃材质，能够透过头颅准确定位其他部分的位置关系；耳朵、肿瘤以及肿瘤周边血管都通过不同的颜色进行渲染，便于用户区分。

6.根据权利要求1所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：所述3d真实模型获取方式为：将三维重建得到的模型缩放至百分之六十，然后通过halot-sky打印机打印出3d真实模型。

7.根据权利要求6所述的基于创新教具的ar医学影像学辅助学习系统，其特征在于：通过halot-sky打印机打印时，需要对其进行如下设置：

8.一种基于创新教具的ar医学影像学辅助学习系统的学习方法，包括如下步骤：

9.根据权利要求8所述的一种基于创新教具的ar医学影像学辅助学习系统的学习方法，其特征在于：在书本上方出现的详细信息主要为病灶的类型、临床表现、以及影像学特点。

10.根据权利要求8所述的一种基于创新教具的ar医学影像学辅助学习系统的学习方法，其特征在于：所述手势识别包括：

技术总结
本发明公开了一种基于创新教具的AR医学影像学辅助学习系统，包括：AR设备终端：用于接受、分析以及展示云端数据库反馈的最终结果；云端数据库：用于储存图像识别模块所需调用的模型数据以及物体识别所需调用的模型数据和相关详细信息，并且实现AR设备终端和云端数据库之间的数据互通；图像识别模块。该基于创新教具的AR医学影像学辅助学习系统，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，采用全新的教学方式，可以实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果。

技术研发人员：赵俊强,李南艾,岳军艳,韩东明,梁长华,闫瑞芳,王玉玺,杨世昌,于毅,赵章红,李君瑶,宋博,孙万奇,杨慧芳
受保护的技术使用者：新乡医学院
技术研发日：
技术公布日：2024/1/14