沉侵式VR手术室场景于手机终端再现系统及其操作方法

沉侵式vr手术室场景于手机终端再现系统及其操作方法
技术领域
1.本发明涉及vr技术领域，尤其涉及沉侵式vr手术室场景于手机终端再现系统及其操作方法。


背景技术：

2.vr技术是利用计算机技术、多种传感器技术以及各种图形成像软件来组成的一种现代化教育教学技术，为受众对象构建3d虚拟场景，并能让受众对象与虚拟世界中的各种场景产生交互。整个虚拟环境与真实环境高度吻合，真实性强；整个过程在游戏中进行，趣味性强；受众者充分融入虚拟环境，沉浸感强。
3.现有的医学学生由于疫情或者其它原因，选择了线上教学，线上教学少了很多现场场景和动手术的一些手术现实动作教学，从而使得教学质量不好，同时现有的病人在手术前会比较紧张，常常会出现一些不良的身体特征，因此需要设计一种vr手术室场景系统，使得医学的学生可以提前的远程体验手术室，可以多次模拟手术。


技术实现要素：

4.本发明的目的在于提供沉侵式vr手术室场景于手机终端再现系统及其操作方法，解决背景技术中提到的技术问题。
5.为了实现上述目的，本发明采用的技术方案如下：
6.沉侵式vr手术室场景于手机终端再现系统，包括vr佩戴终端，还包括vr手术室场景数据系统，vr佩戴终端与vr手术室场景数据系统连接，vr手术室场景数据系统包括角色分配与信息导入单元、手术室内走廊单元、术前准备单元、手术室单元和过程监测评价单元，角色分配与信息导入单元与手术室内走廊单元连接，角色分配与信息导入单元用于供用户登录，并根据登录用户账户信息分配角色，并将角色须知告知用户，并将数据导入vr佩戴终端，手术室内走廊单元与术前准备单元连接，手术室内走廊单元用于展示手术室的进入内走廊的情境，并供用户更换穿戴衣物，术前准备单元与手术室单元连接，术前准备单元用于展示术前准备的情境，用户进行无菌消毒操作和清洗医疗器械操作，手术室单元用于展示手术室的情境，并生成需要手术的模拟体，供用户进行手术练习，过程监测评价单元与手术室单元，并通过身体监测穿戴设备监测手术训练用户或者体验病人的的身体情况数据，并根据数据和在手术训练或者手术前提体验的操作给出评价数据。
7.进一步地，角色分配与信息导入单元包括登录模块、角色流程须知模块和信息导入模块，登录模块用于供用户输入账号和密码进行登录，角色流程须知模块用于根据登录的用户账号权限，分配角色，然后角色对应需要注意的事项和角色在手术训练或者手术体验的具体流程，信息导入模块用于将数据导入到vr佩戴终端。
8.进一步地，手术室内走廊单元包括手术门模块、进入场景模块、更换穿戴模块和护士办公室模块，手术门模块通过采集真实手术门作为图片背景，然后将进入手术室的开门动作展示，主治医生或者有开门权限的的角色进行开门操作，进入场景模块通过采集手术
室的内走廊全景图像信息，并建立空间立体视觉体，空间立体视觉体的边缘即为内走廊全景图像的边缘信息，然后在内部的空间内建立三维坐标，然后分解为若干个三维坐标点，每个坐标点对应一个内走廊全景图像信息，更换穿戴模块用于供用户角色进行相应的术更换穿戴，护士办公室模块用于展示护士的位置信息，然后护士办公室模块模拟相应的护士角色记性配合。
9.进一步地，术前准备单元包括无菌室模块、术前场景模块、洗手模块和器械清洗模块，无菌室模块用于供手术训练角色进行对身体进行杀菌消毒处理，同时vr佩戴终端发出杀菌消毒的相关气味，术前场景模块通过采集术前场景的全景图像信息，并建立术前场景空间立体视觉体，术前场景空间立体视觉体的边缘即为术前场景真实的边缘信息，然后在术前场景的内部空间内建立三维坐标，然后分解为若干个三维坐标点，每个坐标点对应一个术前场景全景图像信息，洗手模块用于供手术训练角色洗手操作，器械清洗模块根据需要训练的手术所用到的医疗器械，每个医疗器械都标注有具体的名称，然后分配给相应的角色进行清洗操作。
10.进一步地，手术室单元包括手术机械模块、手术室场景模块、手术模拟体模块和手术室外景灯模块，手术机械模块用于生成手术室的机械设备，机械设备上标注设备名称，包括手术床和被单，手术室场景模块采集术手术室的全景图像信息，并建立手术室空间立体视觉体，手术室空间立体视觉体的边缘即为手术室的边缘信息，然后在内部的空间内建立三维坐标，然后分解为若干个三维坐标点，每个坐标点对应一个手术室全景图像信息，手术模拟体模块根据需要训练的手术，生成模拟人体的手术体，供手术训练，手术室外景灯模块用于模拟手术室的灯光。
11.进一步地，过程监测评价单元包括病人身体参数监测模块、训练者身体你监测模块、过程统计模块和结果评价模块，病人身体参数监测模块通过设置身体监测设备对体验手术的病人的血压、心率进行检测，检测的数据经过vr佩戴终端传给病人身体参数监测模块，训练者身体你监测模块通过设置身体监测设备对训练者的血压、心率进行检测，检测的数据经过vr佩戴终端传给训练者身体你监测模块，过程统计模块统计手术训练者在训练过程操作不当的操作数据，然后把数据传给结果评价模块，结果评价模块根据检测训练者的血压、心率和操作数据做出评价分数功能老师点评指出问题和改进操作。
12.沉侵式vr手术室场景于手机终端再现系统的操作方法，操作系统人员包括手术训练的学生和手术病人，如果为手术病人时，手术病人病人穿戴vr佩戴终端和身体检测设备，然后登陆系统，系统会自动生成相应的医生和护士组成模拟手术组，然后由护士根据真实的手术过程将病人领到手术室，病人体验的截止点为打麻醉前截止，然后过程监测评价单元根据穿戴设备反应病人的紧张程度，然后由护士进行手术前疏导，如果是手术训练的学生时，穿戴好vr佩戴终端和检测设备，将vr佩戴终端插入手机，并在手机上登录vr手术室场景数据系统，然后进入到手术室内走廊进行穿戴更换，然后到术前准备室内进行杀菌消毒和洗手操作，并将消毒的器械带好，然后进入到手术室内，vr手术室场景数据系统模拟好主刀医生和陪护护士，先由模拟好的主刀医生和模拟好的陪护护士进行手术，训练者先观察手术过程，然后做完后，由训练者组成的医生和护士进行重复一遍手术，然后过程监测评价单统计手术过程的不当的操作并记录，然后生成评价数据，最后由真实的老师对评价数据进行讲解。
13.本发明由于采用了上述技术方案，具有以下有益效果：
14.本发明让患者及手术室术前提前感知手术室环境，起到舒缓手术前的紧张情绪，手术训练的学习学生体验一个从进入手术室、术前外科刷手，到穿手术衣、戴手套，然后观察手术的整体模拟过程，然后学生在自主的模拟手术，可以提高学生对手术的各个环节掌握，同时提高学生对手术的理解，实现学生通过vr智能体感设备进入设计的虚拟手术室中，身临其境地进行手术操作实验。
附图说明
15.图1是本发明系统框图；
16.图2是本发明角色分配与信息导入单元模块框图；
17.图3是本发明手术室内走廊单元模块框图；
18.图4是本发明术前准备单元模块框图；
19.图5是本发明手术室单元模块框图；
20.图6是本发明过程监测评价单元模块框图。
具体实施方式
21.为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
22.如图1-6所示，沉侵式vr手术室场景于手机终端再现系统，包括vr佩戴终端，还包括vr手术室场景数据系统，vr佩戴终端与vr手术室场景数据系统连接，vr手术室场景数据系统包括角色分配与信息导入单元、手术室内走廊单元、术前准备单元、手术室单元和过程监测评价单元，角色分配与信息导入单元与手术室内走廊单元连接，角色分配与信息导入单元用于供用户登录，并根据登录用户账户信息分配角色，并将角色须知告知用户，并将数据导入vr佩戴终端，手术室内走廊单元与术前准备单元连接，手术室内走廊单元用于展示手术室的进入内走廊的情境，并供用户更换穿戴衣物，术前准备单元与手术室单元连接，术前准备单元用于展示术前准备的情境，用户进行无菌消毒操作和清洗医疗器械操作，手术室单元用于展示手术室的情境，并生成需要手术的模拟体，供用户进行手术练习，过程监测评价单元与手术室单元，并通过身体监测穿戴设备监测手术训练用户或者体验病人的的身体情况数据，并根据数据和在手术训练或者手术前提体验的操作给出评价数据。
23.vr佩戴终端为直接与手机进行连接，然后整个模拟过程由手机的通信网络建立联系，完成训练体验。基于虚拟现实(vr)技术，研究设计并开发虚拟现实手术室以及相关外科护理学手术室实验项目，实现学生通过vr智能体感设备进入设计的虚拟手术室中，身临其境地进行手术操作实验。根据外科护理学手术室实验中外科刷手、穿手术衣、戴手套、消毒铺巾、手术过程中多人协同操作等内容，进行开发设计。本项目设计内容：基于虚拟现实(vr)技术，研究设计并开发虚拟现实手术室以及相关外科护理学手术室实验项目，实现学生通过vr智能体感设备进入设计的虚拟手术室中，身临其境地进行手术操作实验。根据外科护理学手术室实验中外科刷手、穿手术衣、戴手套、消毒铺巾、手术过程中多人协同操作
等内容，进行开发设计。
24.外科护理学虚拟手术室虚拟空间主要包括手术室内走廊、开放式刷手间和外科手术室等3个操作空间，主要依据临床手术室实景图片、手术操作录像、教学图片等基础数据创建编写脚本，在空间的描述上主要有空间类型、空间描述、空间大小、是否位移、空间动线、空间动线描述、场景布置、避让物、避让条件、避让要求、禁行区域、可通行区域等方面。尤其是场景布置要点较多，脚本书写详尽，才能通过电脑构建更加逼真的空间环境，让患者有身临其境的感觉，增加角色体验感，提高实景感受的效果，从而达到减少术时紧张的心理。
25.本发明实施例中，如图2所示，角色分配与信息导入单元包括登录模块、角色流程须知模块和信息导入模块，登录模块用于供用户输入账号和密码进行登录，角色流程须知模块用于根据登录的用户账号权限，分配角色，然后角色对应需要注意的事项和角色在手术训练或者手术体验的具体流程，信息导入模块用于将数据导入到vr佩戴终端。
26.患者进入虚拟空间前，需要在得到进入空间密码，在手术室门外输入密码才能进入，参观者进入后在换鞋区应换鞋，然后进入参观者更衣室穿上参观衣，带口罩及帽子，然后才能进入内走廊，如参观者根据参观目的仅能进入自己参观的空间，如手术者仅能凭借密码进入第二天自己手术的手术室，其他该空间内根据手术室实验项目选择相对应的操作，这就是虚拟模型的创建。如为学生可拥有所有需参观空间的密码：内走廊、护士办公室、无菌室、洗手室、器械清洗间、手术室等，按区域功能逐步进入，不能逆行。主要依据临床手术室实景图片、在空间的描述上主要有空间类型、空间描述、空间大小、是否位移、空间动线、空间动线描述、场景布置、避让物、避让条件、避让要求、禁行区域、可通行区域等方面。通过手机构建更加逼真的空间环境，让学生有身临其境的感觉，增加角色体验感，提高实际操作练习的效果。空间的外观、大小、色彩和与实物的比例进行纹理映射和渲染，让参观者沉浸真实与虚拟中，加入实操智能语言交互功能，使沉浸式的交互体验更加自然，通过三维视频、模型、动画等“以虚补实、智能虚实结合”，激发其学习的兴趣。
27.本发明实施例中，如图3所示，手术室内走廊单元包括手术门模块、进入场景模块、更换穿戴模块和护士办公室模块，手术门模块通过采集真实手术门作为图片背景，然后将进入手术室的开门动作展示，主治医生或者有开门权限的的角色进行开门操作，进入场景模块通过采集手术室的内走廊全景图像信息，并建立空间立体视觉体，空间立体视觉体的边缘即为内走廊全景图像的边缘信息，然后在内部的空间内建立三维坐标，然后分解为若干个三维坐标点，每个坐标点对应一个内走廊全景图像信息，更换穿戴模块用于供用户角色进行相应的术更换穿戴，护士办公室模块用于展示护士的位置信息，然后护士办公室模块模拟相应的护士角色记性配合。
28.其中，空间立体视觉体的空间描述包括空间类型、空间描述、空间大小、是否位移、空间动线、空间动线描述、场景布置、避让物、避让条件、避让要求、禁行区域和可通行区域。
29.本发明实施例中，如图4所示，术前准备单元包括无菌室模块、术前场景模块、洗手模块和器械清洗模块，无菌室模块用于供手术训练角色进行对身体进行杀菌消毒处理，同时vr佩戴终端发出杀菌消毒的相关气味，术前场景模块通过采集术前场景的全景图像信息，并建立术前场景空间立体视觉体，术前场景空间立体视觉体的边缘即为术前场景真实的边缘信息，然后在术前场景的内部空间内建立三维坐标，然后分解为若干个三维坐标点，
每个坐标点对应一个术前场景全景图像信息，洗手模块用于供手术训练角色洗手操作，器械清洗模块根据需要训练的手术所用到的医疗器械，每个医疗器械都标注有具体的名称，然后分配给相应的角色进行清洗操作。
30.本发明实施例中，如图5所示，手术室单元包括手术机械模块、手术室场景模块、手术模拟体模块和手术室外景灯模块，手术机械模块用于生成手术室的机械设备，机械设备上标注设备名称，包括手术床和被单，手术室场景模块采集术手术室的全景图像信息，并建立手术室空间立体视觉体，手术室空间立体视觉体的边缘即为手术室的边缘信息，然后在内部的空间内建立三维坐标，然后分解为若干个三维坐标点，每个坐标点对应一个手术室全景图像信息，手术模拟体模块根据需要训练的手术，生成模拟人体的手术体，供手术训练，手术室外景灯模块用于模拟手术室的灯光。
31.本发明实施例中，如图6所示，过程监测评价单元包括病人身体参数监测模块、训练者身体你监测模块、过程统计模块和结果评价模块，病人身体参数监测模块通过设置身体监测设备对体验手术的病人的血压、心率进行检测，检测的数据经过vr佩戴终端传给病人身体参数监测模块，训练者身体你监测模块通过设置身体监测设备对训练者的血压、心率进行检测，检测的数据经过vr佩戴终端传给训练者身体你监测模块，过程统计模块统计手术训练者在训练过程操作不当的操作数据，然后把数据传给结果评价模块，结果评价模块根据检测训练者的血压、心率和操作数据做出评价分数功能老师点评指出问题和改进操作。
32.沉侵式vr手术室场景于手机终端再现系统的操作方法，操作系统人员包括手术训练的学生和手术病人，如果为手术病人时，手术病人病人穿戴vr佩戴终端和身体检测设备，然后登陆系统，系统会自动生成相应的医生和护士组成模拟手术组，然后由护士根据真实的手术过程将病人领到手术室，病人体验的截止点为打麻醉前截止，然后过程监测评价单元根据穿戴设备反应病人的紧张程度，然后由护士进行手术前疏导，如果是手术训练的学生时，穿戴好vr佩戴终端和检测设备，将vr佩戴终端插入手机，并在手机上登录vr手术室场景数据系统，然后进入到手术室内走廊进行穿戴更换，然后到术前准备室内进行杀菌消毒和洗手操作，并将消毒的器械带好，然后进入到手术室内，vr手术室场景数据系统模拟好主刀医生和陪护护士，先由模拟好的主刀医生和模拟好的陪护护士进行手术，训练者先观察手术过程，然后做完后，由训练者组成的医生和护士进行重复一遍手术，然后过程监测评价单统计手术过程的不当的操作并记录，然后生成评价数据，最后由真实的老师对评价数据进行讲解。
33.外科护理学手术实验室虚拟实训环境的构建包含vr虚拟手术室、vr虚拟模型和vr虚拟沉浸式交互实训环境三个部分的构建。
34.学生进入虚拟空间之后，需要在该空间内根据手术室实验项目选择相对应的操作物品，这就是虚拟模型的创建。如外科手术操作配合实验需要的虚拟模型主要有：手术刀、手术剪、手术镊、泡镊桶、止血钳、卵圆钳、布巾钳、组织钳、阑尾钳、手术纱布等。为增强实验的真实感，创建模型脚本主要从物品类型、物品名称、型号、物品数量、物品位置、组合逻辑、时间逻辑、变形、是否连通、是否穿戴等方面进行描写。最后，利用unity模型技术对物品的外观、大小、色彩和与实物的比例进行纹理映射和渲染，让学生使用起来更具真实感。基于vr技术的外科护理学手术室仿真实验可以使学生脱离枯燥乏味的技能训练，自主选择角色
并体验到角色价值，“以虚补实、虚实结合”，激发其学习的兴趣。主要采用以下相关技术：(1)开发平台(2)全景拍摄。这是目前虚拟场景构建成本最低的方式，也是vr视频拍摄方式。利用全景摄像机拍摄影片，经过后期制作后，即可在vr场景中进行观看，制作周期较快。(3)在交互功能的实现方面。
35.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。