基于全息教师及环幕互动的电气设备绝缘试验培训系统的制作方法

本发明属于电气设备试验仿真教学技术领域，尤其涉及基于全息教师及环幕互动的电气设备绝缘试验培训系统。

背景技术：

电气设备绝缘试验专业是一个相对特殊的专业，为了进行一些指标的检测或试验，往往需要对其施加高电压，所以，它对操作时的安全性和标准化有着非常严格的要求。同时，它也要求对设备的原理及试验标准操作流程有着清晰的了解，因此，要做好一次设备绝缘试验工作，就必须做好一次设备绝缘试验的培训。

电气设备绝缘试验培训主要经历了三个阶段的发展，(1)传帮带，师傅手把手带徒弟，但是因为师傅的水平参差不齐以及师徒存在的竞争和利益关系等导致一届不如一届现象，且系统运行依赖个人现象较重，知识经验流失会造成极大损失；(2)办理论班或者培训班进行培训，能够系统的进行知识理论培训，也是目前用的最多的一种方法，但是由于电力系统的特殊性，无法在真实环境里进行实际设备试验操作，容易只是其表不知其里的现象，为后期电气试验及系统运行安全埋下隐患；(3)仿真培训，利用多媒体和桌面虚拟现实仿真技术的培训方式，这种具备培训内容标准化，重复利用率高，并能满足大批学员同时开展培训等特点，但在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过鼠标和键盘操作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。另外电气设备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模式，与实际的操作过程存在差异。

技术实现要素：

本发明要解决的技术问题是：提供一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，以解决现有技术针对电气设备绝缘试验培训采用的仿真培训在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过鼠标和键盘操作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。另外电气设备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模式，与实际的操作过程存在差异等技术问题。

本发明的技术方案是：

一种基于全息教师及环幕互动的电气设备绝缘试验培训系统，它包括：全息教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部署在同一局域网络环境下，通过局域网进行数据通信，让全息教师模块、环幕互动模块和虚拟仿真培训模块互相通讯；

虚拟仿真培训模块：学员利用虚拟仿真培训模块进行培训学习，利用终端独立完成某个特定试验流程的所有内容；

环幕互动模块：环幕互动模块包括环幕立体投影模块和互动模块；环幕立体投影模块采用弧形环状的投影屏幕作为投射载体，利用2台投影机及融合处理器系统投射出无缝统一、逼真立体的完美影像，配合音响系统，营造出一种虚拟仿真显示环境；互动模块是通过环幕上方的4个空间定位摄像头来捕捉环幕前方佩戴定位功能的3d眼镜的观众或班长的动作，并识别操作手柄的发出的指令，来实现互动功能；

全息教师模块：是基于全息投影技术、虚拟主持人技术的全息投影互动系统，全息教师模块通过制造真人像模型，具备迎宾和教师两个功能。

所述全息教师模块包括：

迎宾功能：在没有进行仿真试验的情况下有参观人员进入实训室参观，全息屏幕通过人体红外感应装置能感应到人员，自动致欢迎辞，并播放对应的视频动画，对仿真培训课程内容进行讲解，实现课程介绍的功能；

教师功能：学员通过环幕和虚拟仿真培训终端进行培训时，全息教师与学员进行互动。

环幕互动模块的班长是环幕前方观看环幕投影的观众的一员，班长手持操作手柄、佩戴定位功能的3d眼镜，在环幕前方走动；而观众则坐在座位上、佩戴3d眼镜观看环幕投影；班长进入多人协同模式的试验空间，不参与试验项目操作，只观看到整个试验过程；所述多人协同模式的试验空间是由操作仿真培训终端的某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，学员都加入试验空间后，即可进行试验操作；学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，完成所有试验流程学习；观众通过佩戴3d主动立体眼镜，观看环幕投影进入试验场景观看学员的操作。

所述虚拟仿真培训模块是通过模拟电气设备试验的环境及试验过程，建立电气设备绝缘试验仿真培训及仿真考核系统，通过对试验准备、试验过程的操作、试验结果的模拟，让学员掌握电气设备绝缘试验的标准操作流程，并利用仿真考核系统来考察学员对试验原理及试验操作。

所述全息教师模块的实现方法包括：基于全息投影技术和虚拟主持人技术的全息投影互动系统，通过拍摄录制相应教学视频，运用三维动画、人机互动红外感应装置、全息显示和投影机背投技术来建设真人像模型，让教师具备自动迎宾和教师角色的功能；所述真人像模型的实现方法包括：

仿真人物的素材照片采集：使用1600万像素的相机对所需仿真的人物进行360度照片拍摄，采集外形、五官和整体三视图的jpg格式素材照片；

人像模型制作：采用镜像复刻人像模型的方法，使用面片建模的建模方法，从头部开始直至脚部，通过点、线、面的构建方式，通过采集的照片进行布线，得到完整的人像模型；

展开人像模型：使用unwrapuvw命令，对人像模型的点、线、面进行断开和捕捉，平整的展开到方框里，得到一个png格式的线框图；

人像模型贴图制作：将线框图导入ps中，利用画笔和着色器对线框图进行着色处理，运用色彩平衡原理和饱和度，得到jpg格式的人像贴图；

人像模型上色：将jpg格式的人像贴图添加到3dmax中的材质球上面，将材质球赋予到人像模型上面，得到所述的真人像模型。

环幕互动模块的实现方法包括：

硬件准备：所属硬件包括环幕投影幕布、投影仪a、投影仪b、融合处理器、空间定位摄像头、手柄、3d眼镜、音箱、服务器和观众席；

融合处理：利用融合处理器系统，实现投影仪a画面与投影仪b画面两边的完全融合，消除重叠拼接引起的过亮区域，让整个画面完整、清晰的显示在环幕上；

所述融合处理器系统的实现方法包括：

6)将两台sonnocsnp-lu6600高端激光工程投影机和互动环幕与融合处理器通信；

7)图像预处理，对图像进行数字化、平滑、复原、增强、图像去噪和图像配准；

8)运用对比度传递技术，采用算法：

式中m为输入图像，f为调整后的输出图像，mean代表m的均值，mean_ref是参考图像的均值，ms为m的均值方差，msref为参考图像的均值方差；得出的均值方差反映图像的平均亮度，方差表示图像的对比度，调整两台投影机画面的亮度和对比度；

9)运用直方图规格化技术，在归一化[0,1]的连续区间中，令r和z分别表示输入图像与输出图像的灰度级，输入灰度级的概率密度函数pr(r)，输出灰度级的概率密度函数pz(z)，用直方图均衡化得变换：

使输出图像得到变换后的灰度调整；

10)通过环幕前方的4个空间定位摄像头，班长在环幕前方区域站立或走动，利用佩戴有定位功能的3d眼镜并操作手柄，通过服务器的控制来实现班长在多人协同模式的试验空间内的空间定位及位置变换。

所述虚拟仿真培训模块的实现方法为：基于虚拟现实技术、光学动捕和人机互动技术建立电气设备绝缘试验环幕互动仿真培训系统完成试验项目的实操培训；虚拟现实技术是模拟电气设备试验的环境及试验过程，包括：包括场景模型建设、三维模型处理和试验操作流程模拟整合；

(1)场景模型建设：变电站环境模型制作，包括变电站的试验设备、周边建筑和地形绿化模型制作；

(2)试验设备制作：建模内容包含变压器试验设备、避雷器试验设备、互感器试验设备、断路器试验设备和化学试验设备模型制作；

(3)类型仪器工具制作：建模内容包括试验流程：变压器变比测试、变压器感应耐压试验和局部放电试验、变压器绝缘电阻测试、变压器连同套管介质损耗测试、变压器绕组变形试验、变压器有载分接开关测试、变压器直流电阻测试；断路器机械特性测试、断路器导电回路电阻测试；互感器介质损耗试验、互感器绝缘电阻试验；氧化锌避雷器直流参考电压及泄漏电流测试；现场取油样、现场气体取样、现场气体化验、现场气体化验、现场气体化验需要用到的所有仪器工具制作；

(4)工具室制作：根据流程选取相应的仪器工具，将这些仪器工具整合在一个工具室；

(5)流程动画制作：包括每个试验流程所有的交互步骤的人物、仪器和工具等动画制作。

所述仿真培训终端包括5个子模块界面，分别是变压器高压试验模块、断路器试验模块、互感器试验模块、避雷器试验模块和化学试验模块；选择进入每个模块后，出现3个次级模块界面，分别是单人操作模式、多人协同模式和漫游模式：

所述单人操作模式：提供试验的全流程供学员学习，选择某个特定的试验操作流程进行培训学习；

所述多人协同模式：某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，学员都加入试验空间后，即进行试验操作；学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，学员按步骤完成所有试验流程学习；观众通过佩戴3d主动立体眼镜，观看环幕投影进入试验场景观看学员的操作；

所述漫游模式：对场景及试验流程进行观看，每个试验模块都可以通过选择进行手动漫游和自动漫游的方式对试验场景进行观看。

本发明有益效果：

本发明优化了传统仿真培训结构和框架，实现多个培训人员间的协同操作；全息教师能够在培训过程中对试验操作的重难点、关键点进行有针对性的讲解，减轻培训人员的认知负荷；利用仿真培训学习和培训测试模块，可以对培训人员的实际学习情况进行记录及分析，从而有效提高培训效率。从认知学习到实操培训，最后到仿真考核，一步步对学员进行培训，并能够统计学员的掌握程度。能让实操培训和考核变得像做游戏一样充满乐趣，在玩中学，在学中玩，改变传统培训模式，提高培训效率；解决了现有技术针对电气设备绝缘试验培训采用的仿真培训在逼真度、真实感方面与实际测试设备存在一定的差距，用户通过鼠标和键盘操作繁琐，体验方式单一，学员间的互动性不佳，降低了培训的效率。另外电气设备绝缘试验操作通常由多人配合完成，目前的培训系统多采用单人模式，与实际的操作过程存在差异等技术问题。

附图说明

图1是全息教书模块结构示意图；

图2是虚拟仿真培训模块结构示意图；

图3是全息教师模块结构示意图；

图4是环幕互动模块硬件结构示意图；

图5是多人协同操作流程示意图；

图6是虚拟现实实现示意图；

图7是环幕互动模块实现示意图；

图8虚拟仿真培训模块实现示意图。

具体实施方式

本发明包括全息教师模块、环幕互动模块和虚拟仿真培训模块，整个系统部署在同一局域网络环境下，通过局域网进行数据通信，让全息教师模块、环幕互动模块、虚拟仿真培训模块产生联系，在学员利用虚拟仿真培训模块进行培训学习时，不仅能够利用终端独立完成某个特定试验流程的所有内容，还可以借助环幕互动模块，建立一个多人协同模式的试验空间，由多人共同完成某个特定的试验操作，另外，在学员培训过程中，全息教师能够按照预设的课程对培训关键点、重难点进行讲解及分析，帮助学员系统性的进行学习，并对成绩、学习数据进行统计分析。其中：

所述的全息教师模块，是基于全息投影技术、虚拟主持人技术的全息投影互动系统，全息教师在整个仿真培训系统中扮演大脑的角色，通过制造高清逼真人像模型，并使其具备自动迎宾和教师两个角色的功能，如下：

迎宾：在没有进行仿真试验的情况下，如果有参观人员(观众)进入实训室参观，全息屏幕通过人体红外感应装置能感应到人员，同时全息教师会自动致欢迎辞，并播放对应的视频动画，还会对仿真培训课程内容进行简要讲解，达到课程介绍的功能。

教师：学员通过环幕和虚拟仿真培训终端进行培训时，全息教师能与学员进行互动。互动体现在以下三方面：(1)教学引导：学员对虚拟仿真培训系统中的模拟环境和设备的认知学习时，教师能起到介绍、引导、指点学员的作用；(2)课程管理：在培训学习过程中，全息教师按照预设的课程进行讲解和知识点分析，帮助学员系统性的进行学习；(3)成绩管理：对学员理论学习、实操学习、实操考核的过程进行记录，并根据评分标准对学员的学习成效进行分数评估，同时能够通报表来直观分析学员实际学习时长和实际掌握程度的关联性。

所述的环幕互动模块，是由环幕立体投影模块和互动模块构成。环幕立体投影模块采用弧形环状的投影屏幕作为投射载体，利用2台投影机及融合处理器系统投射出无缝统一、逼真立体的完美影像，配合音响系统，营造出一种沉浸式的、身临其境般的虚拟仿真显示环境。互动模块是通过环幕上方的4个空间定位摄像头来捕捉环幕前方佩戴定位功能的3d眼镜的观众(简称：班长)的动作，并识别操作手柄的发出的指令，来实现互动功能。

进一步的，班长是环幕前方观看环幕投影的观众的一员。班长手持操作手柄、佩戴定位功能的3d眼镜，并在环幕前方走动；而其余观众则坐在座位上、佩戴3d眼镜观看环幕投影。班长可以进入多人(至少4人)协同模式的试验空间(此处班长体现为“透明人”，即“上帝视角”)，他不实际参与试验项目操作，但能观看到整个试验过程，且能具体的观看某个学员的操作；而其余观众观看的内容与“上帝视角”观看的内容相同的，即二者视角相同。

进一步的，多人协同模式的试验空间，是由操作仿真培训终端的某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，待其它学员都加入试验空间后，即可进行试验操作。学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，通过步骤的提升完成所有试验流程学习；观众通过佩戴3d主动立体眼镜，观看环幕投影可以进入试验场景观看学员的操作。

所述的虚拟仿真培训模块，是通过模拟电气设备试验的环境及具体试验过程，建立电气设备绝缘试验仿真培训及仿真考核系统，通过对试验准备、试验过程的操作、试验结果的模拟，让学员能够对电气设备绝缘试验的标准操作流程有着清晰的认识，并利用仿真考核系统，来考察学员对试验原理及试验操作的掌握程度。在学员培训过程中，既能够满足学员独立完成某个绝缘试验的全部操作，又具备至少4人同时上线协同完成某个绝缘试验的全部流程操作的功能，且在协同操作过程中，培训室内的其他学员通过佩戴3d眼镜，借助环幕投影，可以同时观看到4个学员的操作过程，并能切换到任何一个学员的操作视角进行观看。

所述全息教师模块的设计实现如下：

全息模块是基于全息投影技术、虚拟主持人技术的全息投影互动系统，通过拍摄录制相应教学视频，运用三维动画、人机互动红外感应装置、全息显示、投影机背投等技术来建设高清逼真人像模型，让教师具备自动迎宾和教师角色的功能。

(1)迎宾：代替迎宾人员对企业课程和实验内容进行介绍和引导。

(2)讲解：对系统教学和实操过程中展示内容进行详细讲解，起到“授课、监督、指导”的作用。

当有参观人员(观众)走到屏幕前时，屏幕就会有感应，屏幕中的全息教师就会向参观人员致欢迎词，并能对实训教室的布置、仿真试验项目和仿真系统目的进行说明和介绍。

讲解是全息教师在培训模式和考试模式下对试验内容进行讲解。在培训模式下，当观众戴着3d主动立体眼镜在环幕前方观看某个试验环节的立体投影时，虚拟教师会介绍该试验模块的主要目的；在学员利用终端学习试验流程及步骤时，虚拟教师会通过语音对当前步骤进行提示和操作介绍，指导学员学习。在考核模式下，当观众戴着3d主动立体眼镜在环幕前方观看某个试验环节的立体投影时，虚拟教师会介绍该试验模块的考核目的；在学员利用终端开始操作流程前虚拟教师会宣布考核的相关规则和考核注意事项，在学员操作错误时，虚拟教师会预警进行提示说明，并详细讲解相关知识点，引导学员完成考核。

所述的高清逼真人像模型实现：

基于3dsmax2014制作工具，实现高清逼真人像模型的制作，通过最优的制作方式得到最精细，仿真度最高的人像模型。使用adobephotoshopcc2018着色工具，实现色彩分明，层次清晰的人像贴图。

实现过程：

1)仿真人物的素材照片采集

使用1600万像素的相机对所需仿真的人物进行360度照片拍摄，采集其外形、五官和整体三视图的jpg格式素材照片；

2)高清人像模型制作

采用镜像复刻人像模型的传统手法，使用面片建模的建模方法，从头部开始直至脚部，通过点、线、面的构建方式，通过参考采集的照片进行合理精致的布线，得到完整的人像模型。

3)展开人像模型uv

使用unwrapuvw命令，对人像模型的点、线、面进行合理的断开和捕捉，平整的展开到方框里面，得到一个png格式的线框图。

4)高清人像模型贴图制作

将线框图导入ps中，利用画笔和着色器对线框图进行着色处理，运用相应的色彩平衡原理和饱和度，得到精细企鹅仿真度极高的jpg格式的人像贴图。

5)人像模型上色

将jpg格式的人像贴图添加到3dmax中的材质球上面，将材质球赋予到人像模型上面，得到高清逼真的人像模型。

所述的全息教师模块包括以下软件模块的制作：红外识别软件：红外范围识别，待机状态监测到人靠近，触发红外信号，开始虚拟迎宾模式。全息视频控制软件：控制全息视频的播放，且不同模式对应不同视频；

所述的环幕互动模块的设计实现如下：

环幕互动模块是由环幕立体投影模块和互动模块构成，包括环幕投影幕布、投影仪a、投影仪b、融合处理器、空间定位摄像头、手柄、3d眼镜、音箱、服务器、观众席。

利用融合处理器系统，既实现了投影仪a画面与投影仪b画面两边的完全融合，又消除了重叠拼接引起的过亮区域，让整个画面完整、清晰的显示在环幕上。

所述融合处理器系统实现过程：

11)两台sonnocsnp-lu6600高端激光工程投影机、互动环幕、融合处理器通信。

12)图像预处理，对数字化、平滑、复原、增强、图像去噪、图像配准。

13)运用对比度传递(luminance_contrast_adjust_transfer)技术，采用核心的算法：

设m为输入图像，f为调整后的输出图像，mean代表m的均值，mean_ref是参考图像的均值，ms为m的均值方差，msref为参考图像的均值方差。得出的均值方差反映图像的平均亮度，方差表示图像的对比度。调整两台投影机画面的亮度和对比度。

14)运用直方图规格化技术，原理为：

在归一化[0,1]的连续区间中，令r和z分别表示输入图像与输出图像的灰度级。输入灰度级的概率密度函数pr(r)，输出灰度级的概率密度函数pz(z)。有直方图均衡化可得变换：

使输出图像得到变换后的灰度调整。

环幕前方有4个空间定位摄像头，班长在环幕前方区域(区域面积5m*3m)站立或走动，利用佩戴有定位功能的3d眼镜，并操作手柄，通过服务器的控制来实现班长(“透明人”)在多人协同模式的试验空间内的空间定位及位置变换。

所述环幕观看视角实现：3d主动立体眼镜基于快门式3d技术实现3d立体效果，其原理是根据人眼对影像频率的刷新时间来实现的，通过提高画面的快速刷新率(至少要达到120hz)左眼和右眼各60hz的快速刷新图象才会让人对图象不会产生抖动感，并且保持与2d视像相同的帧数，观众的两只眼睛看到快速切换的不同画面，并且在大脑中产生错觉，便观看到立体影像。

实现过程：

1)tcp协议，实现数据之间的相互通信。

2)接入3d主动立体眼镜sdk，红外信号发射器同步控制快门式3d眼镜的左右镜片开关，使左、右双眼能够在正确的时刻看到相应画面。

3)提高图像画面的刷新率，实现高品质的3d立体图像效果。

4)接入optitrckflex光学位置摄像头sdk，使用optitrckflex光学位置摄像头对实时的影像空间位置追踪，获得实时虚拟影像的同步显示。

进一步的，当学员在仿真培训终端上进行仿真培训学习时，针对多人协同操作，其流程步骤操作如下，以“现场取油样试验”为例进行说明。多人协同操作时，学员之间按照任务划分，在仿真培训终端上来共同完成试验内容，且学员之间的操作是相互可见的，通过步骤的提升完成所有试验流程操作；观众中选定的某个人(班长)通过佩戴有定位功能的3d立体眼镜观看环幕投影，并利用手柄或在环幕前方走动(5m*3m的区域里)来切换观看的视角，即“班长”是参与协同操作的第5人(透明人，即“上帝视角”)，他不实际参与试验项目操作，但能观看到整个试验过程，且能具体的观看某个学员的操作；而坐在观众席位的观众通过佩戴3d主动立体眼镜，观看的内容与“上帝视角”观看的内容相同的，即二者视角相同。

所述虚拟仿真培训模块的设计实现如下：

虚拟仿真培训模块是基于虚拟现实技术、光学动捕和人机互动技术的电气设备绝缘试验环幕互动仿真培训系统，共由五个子模块共17个试验项目的实操培训。

虚拟现实是模拟电气设备试验的环境及具体试验过程，包括场景模型建设、三维模型处理、试验操作流程模拟整合。主要包括以下内容：

(1)试验场地建筑及周边环境建模

变电站环境模型制作，包括变电站的主要试验设备、周边建筑、地形绿化等模型制作。

(2)试验设备制作

建模内容包含变压器试验设备、避雷器试验设备、互感器试验设备、断路器试验设备和化学试验设备模型制作。

(3)所有类型仪器工具制作

建模内容包括17个试验流程分别是：变压器变比测试、变压器感应耐压试验和局部放电试验、变压器绝缘电阻测试、变压器连同套管介质损耗测试、变压器绕组变形试验、变压器有载分接开关测试、变压器直流电阻测试；断路器机械特性测试、断路器导电回路电阻测试；互感器介质损耗试验、互感器绝缘电阻试验；氧化锌避雷器直流参考电压及泄漏电流测试；现场取油样(注射器、广口瓶)、现场气体取样(钢瓶)、现场气体化验(分解物检测)、现场气体化验(湿度检测)、现场气体化验(纯度检测)；所需要用到的所有仪器工具制作。

(4)工具室制作

根据流程需要选取相应的仪器工具，需要将这些仪器工具整合在一个工具室。

(5)流程动画制作

包括17个试验流程每个流程所有的交互步骤的人物、仪器、工具等动画制作。

学员利用培训终端进入培训系统后，会出现5个子模块界面，分别是变压器高压试验模块、断路器试验模块、互感器试验模块、避雷器试验模块、化学试验模块。选择进入相应的模块后会出现3个次级模块界面，分别是单人操作模式、多人协同模式和漫游模式，对应功能如下：

(1)单人操作模式：试验的全流程供学员学习，可以选择某个特定的试验操作流程进行培训学习，学员通过提升完成每步操作流程。

(2)多人协同模式：由某个学员发起协同请求，建立一个多人协同模式的试验空间，来完成某个特定的试验操作，待其它学员都加入试验空间后，即可进行试验操作。学员之间按照任务划分，来共同完成试验内容，且学员之间的操作是相互可见的，通过步骤的提升完成所有试验流程学习；观众通过佩戴3d主动立体眼镜，观看环幕投影可以进入试验场景观看学员的操作。

(3)漫游模式：即可对场景及试验流程进行观看。每个试验模块都可以通过选择进行手动漫游和自动漫游的方式对试验场景进行观看，便于学员了解和熟悉整个场景的布局。

仿真培训系统中学员只能进行每个步骤的正确操作，每步流程都会通过语音、文字和高亮的表现方式指引学员进行该步骤的操作，学员在培训过程中不能跳过步骤进行操作。