一种虚实结合力回馈虚拟仿真教学系统

1.本发明属于医疗技术领域，尤其是涉及一种虚实结合力回馈虚拟仿真教学系统。


背景技术：

2.虚拟仿真技术已经广泛的应用于医学教育，特别是在教育部评定国家虚拟仿真实验项目的大背景下，获得了快速的发展。目前主要的医学虚拟仿真实验软件已经在实验空间网站发布，学生均可以通过互联网访问学习。但是这些虚拟仿真实验主要依托pc、vr平台开发，学习内容有限，应用于高校日常教学工作尚可，与临床培训要求相去甚远。而临床培训的虚拟仿真设备造价昂贵，学习内容也不十分丰富，更缺乏和人工智能技术的有机结合。


技术实现要素：

3.有鉴于此，本发明提出一种虚实结合力回馈虚拟仿真教学系统，以提高真实感、沉浸感、以及交互感，并且依靠人工智能评判成绩，极大的拓展了教学内容的深度和广度。
4.为达到上述目的，本发明的技术方案是这样实现的：
5.一种虚实结合力回馈虚拟仿真教学系统，包括三维重建单元、虚拟仿真培训单元、pc单元、以及考核单元；
6.三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；
7.虚拟仿真培训单元，用于通过vr技术呈现手术场景和仪器设备，通过力回馈设备展现手术操作手感，进行虚拟培训；
8.pc单元，用于虚拟场景的构建与显示，为总控制端；
9.考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。
10.进一步的，还包括数据库单元以及服务器，数据库单元用于建立动态标准病例数据库，系统将日常采集数据传送至服务器再存储到数据库，使得影像数据与常规数据的数据标准与格式相同。
11.进一步的，所述虚拟仿真培训单元包括虚拟现实头戴设备以及力回馈设备，所述虚拟现实头戴设备佩戴于用户头部，使用户通过虚拟现实头戴设备中的显示器观看三维虚拟环境以及三维人体数字模型。
12.进一步的，所述力回馈设备用于模拟手术操作力度，满足模拟手术力的需求，同时力回馈设备支持6自由度位置感知与3自由度力回馈，实时反馈模拟检查过程中以手腕关节为轴的手部所受力的作用。
13.进一步的，所述标准病例数据库存储和管理的数据包括两种类型：结构化数据和非结构化数据，所述结构化数据包括临床诊断数据、实验室诊断数据，所述非结构化数据包括影像诊断数据等，结构化数据采用关系型数据库进行存储和管理，非结构化数据采用nosql数据库进行存储和管理，结构化数据与非结构化数据的比例为1：4。
14.进一步的，所述pc机基于c#的unity3d专业物理引擎开发环境，通过套接字网络通信资源加载方式及本地资源加载将影像数据在渲染引擎中实时读取，实现基于vtk开源工具库的实时体积渲染，展示视觉影像。
15.进一步的，所述pc单元内设或者外接存储器，用于存储教学案例以及训练信息。
16.相对于现有技术，本发明所述的一种虚实结合力回馈虚拟仿真教学系统具有以下优势：
17.本发明通过力回馈与虚拟现实的结合，给与使用者在模拟手术中的真实的视觉与触觉，增强真实感、沉浸感、以及交互感，更加逼真的模拟真实手术的场景，以帮助相关人员快速掌握手术技能，使用户获得更精细以及准确的交互体验，能够反馈手术操作信息和考核评价信息，教学互动性强。
附图说明
18.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
19.图1为本发明的一种虚实结合力回馈虚拟仿真教学系统的原理示意图；
20.图2为本发明的关系型数据库e-r模型示意图。
具体实施方式
21.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
22.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
23.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
24.下面将参考附图并结合实施例来详细说明本发明。
25.如图1所示，本发明提供一种虚实结合力回馈虚拟仿真教学系统，包括三维重建单元、虚拟仿真培训单元、pc单元、以及考核单元；
26.三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；
27.虚拟仿真培训单元，用于通过vr技术呈现手术场景和仪器设备，通过力回馈设备
展现手术操作手感，进行虚拟培训；
28.pc单元，用于虚拟场景的构建与显示，为总控制端；
29.考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。
30.具体的，还包括数据库单元以及服务器，数据库单元用于建立动态标准病例数据库，系统将日常采集数据传送至服务器再存储到数据库，使得影像数据与常规数据的数据标准与格式相同。
31.所述标准病例数据库存储和管理的数据包括两种类型：结构化数据和非结构化数据，所述结构化数据包括临床诊断数据、实验室诊断数据，所述非结构化数据包括影像诊断数据等，结构化数据采用关系型数据库进行存储和管理，非结构化数据采用nosql数据库进行存储和管理，结构化数据与非结构化数据的比例为1：4。
32.结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。目前，主流关系型数据库有oracle、sql server、mysql等。在实际应用中，关系型数据库的建立和使用需要在最初创建数据库的时候要做好设计，这个设计一旦定型以后，后期进行修改的难度较大。所以管理结构化数据最大的一个工作就是表的设计，这是在使用这种数据库的重点和难点。关系数据库将每一个关系都看成了一个表，每一列都看成是一个属性，每一行看成是他的一个元组(也就是数据)如果有许多相同值的话，它将具有相同字段的值独立出来，把一张表拆分成两张表，降低所谓的冗余度，这种关系也叫做e-r关系模型(实体关系模型)，如图2所示。常见的关系模型(结构化数据模型)：
33.关系模型：用一张二维表来表示关系模型。
34.实体关系模型：将一张表拆分，让它们产生某种联系。
35.对象关系模型：存储一些比较大的文件。可以将一个比较大的文件先存储在数据库文件管理系统当中的某一个存储空间上，表中用一个指针指向这么某一个数据，把它当作一个存储对象来进行管理。
36.半结构化数据模型：半结构化表示它并不是唯一的，可能第一行存储的是用户名和性别，第二行存储的是用户名和年龄这种，所以每一行存储不止存储它的数据，还存储它的标签。
37.非结构化数据指信息的形式相对不固定，常常是各种格式的文件。它是相对结构化信息而言的，从宏观上看也是结构化信息的一种形式。诸如电子文档、电子邮件、网页、视频文件、多媒体等。
38.具体的，所述虚拟仿真培训单元包括虚拟现实头戴设备以及力回馈设备，所述虚拟现实头戴设备佩戴于用户头部，使用户通过虚拟现实头戴设备中的显示器观看三维虚拟环境以及三维人体数字模型。
39.具体的，所述力回馈设备用于模拟手术操作力度，满足模拟手术力的需求，同时力回馈设备支持6自由度位置感知与3自由度力回馈，实时反馈模拟检查过程中以手腕关节为轴的手部所受力的作用。
40.具体的，所述pc机基于c#的unity3d专业物理引擎开发环境，通过套接字网络通信资源加载方式及本地资源加载将影像数据在渲染引擎中实时读取，实现基于vtk开源工具
库的实时体积渲染，展示视觉影像。通过搭建mvc设计模式，规范化开发流程，将数据、界面、业务逻辑合理分割，模型层实现用户数据同步、数据持久化、影像体渲染转三维可视化消化道模型；视图层中实现业务逻辑，ui获取及事件调用；控制器层实现函数逻辑及数据对接。最终实现数据-影像-算法-交互于一体的智能三维交互可视化系统。
41.具体的，所述pc单元内设或者外接存储器，用于存储教学案例以及训练信息。
42.本发明在使用过程中，通过数据库单元获取教学所需数据，并通过虚拟仿真培训单元模拟实际操作场景，进行三维重建，通过力回馈设备进行模拟操作，最后通过考核单元进行考核，pc单元存储相关的教学案例以及训练信息，以帮助使用者提高真实感以及交互感。
43.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。