基于树莓派和WebRTC的便携式智能眼镜高压输电设备辅助检修系统的制作方法

本发明属于高压输电设备检测实时通信技术领域，是一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统。

背景技术：

高压输电是远距离电力传输的重要方式，因此相关的高压输电设备是远距离电力传输的关键设备。高压输电设备在运行过程中故障时时发生，成为影响电力安全传输的重要问题。目前，高压输电设备在运行过程中故障频发最主要的原因就是自然灾害，由于这些不可抗力的因素，在很大程度上增加了高压输电设备的运行与维护的工作难度与工作强度，但无论是天气原因，还是由于相应的地质变化原因，高压输电设备的操作维修人员都应该最大程度地降低事故影响范围。

高压输电设备的安全运作将对电网系统的可靠供电具有重大意义。因此要对高压输电设备进行定期的检修及维护，及时发现高压输电设备的存在的安全隐患，排查可能发生故障的部位，避免意外事故的发生。高压输电设备的检修工作是一项专业性要求极强的工作，对检修人员的扎实的专业素质和熟练的检修技能具有很高的要求。但是，由于电网规模的不断扩大，新设备、新技术、新工艺的不断引进与采用，针对不同的高压输电设备、不同的检修工艺，其检修工艺与故障排除的步骤也日益变得复杂。因此，目前电网企业的检修工作普遍存在以下急需解决的三个方面的问题：一是现场检修人员专业知识水平、检修经验参差不齐，无法保证准确识别设备上存在的故障或潜在的安全隐患；二是设备检修及故障排除的步骤较多且复杂，对现场检修人员技术操作的熟练程度要求更高，导致对检修人员的培训时间更长，且现场操作受人为精神状态的影响较大；三是部分故障点位于高处，检修人员与地面技术人员距离较远，不能有效地进行实时的信息传递和沟通。

技术实现要素：

本发明的目的是克服现有技术的不足，提出一种结构合理，适用性强，可靠性高的基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统。

本发明的目的是由以下技术方案来实现的，一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统，其特征是，它包括信息采集模块、树莓派核心处理子系统、无线通信模块、显示模块、图像处理子系统、信令服务器系统、软件终端子系统，所述树莓派核心处理子系统分别与信息采集模块、显示模块、图像处理子系统、无线通信模块信号连接，所述无线通信模块与信令服务器系统、软件终端子系统依次信号连接，所述信息采集模块对高压输电设备进行拍照和视频采集，将采集的图像进行编码处理，传输给树莓派核心处理子系统；所述树莓派核心处理子系统为相连接的信息采集模块、显示模块、图像处理子系统、无线通信模块提供运算平台；所述显示模块对强光背景下的标准检修方案高清显示；所述无线通信模块实现现场图像以及检修方案的传输；所述图像处理子系统实现图像的去噪、压缩、编码和解码；所述信令服务器系统实现树莓派端和web端消息的传输和转发，所述软件终端子系统实现检修方案的录入、检索、现场数据的存储和历史数据的查询。

本发明是一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统，使用时，首先，检修人员佩戴智能眼镜对潜在安全隐患部位或故障发生点进行排查并拍摄图像，然后通过4g网络将图像和实时视频传送给web端技术人员，web端技术人员则根据图像和实时视频准确判断故障点类型并确定对应的检修方案，然后传输给检修人员，检修人员依据智能眼镜上显示的检修方案对故障点进行检修和排除。在检修操作完成后，检修人员再次对检修部位拍摄图像，并传递给地面技术人员，由web端技术人员决定检修工作是否顺利完成。本发明的实施将有效地降低因检修人员专业技能水平不足、熟练度掌握不够以及精神状态等因素对检修过程的影响，为高压输电设备维护和检修、故障排除提供高效、可靠的技术支持。具有结构合理，适用性强，可靠性高等优点。

附图说明

下面结合附图及具体实施实例对本发明再作进一步详细说明。

图1为本发明的一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统结构框图；

图2为web端软件系统模块图；

图3为webrtc通信机制示意图；

图4为一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统工作流程图。

具体实施方式

下面结合附图和实例对本发明的一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统作进一步的详细描述。

参照图1，本发明的一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统，包括信息采集模块、树莓派核心处理子系统、无线通信模块、显示模块、图像处理子系统、信令服务器系统、软件终端子系统，所述树莓派核心处理子系统分别与信息采集模块、显示模块、图像处理子系统、无线通信模块信号连接，所述无线通信模块与信令服务器系统、软件终端子系统依次信号连接。

所述信息采集模块对高压输电设备进行拍照和视频采集，将采集的图像进行编码处理，传输给树莓派核心处理子系统。

所述树莓派核心处理子系统负责无线通信模块、信息采集模块以及显示模块的驱动和控制，为图像处理、数据传输等提供计算平台。

所述显示模块对强光背景下的标准检修方案高清显示；室外强光会严重影响显示效果，本模块在设计上采用单目直接显示的方法将图像直接投影到眼球，消除折射投影造成的光损耗，提高室外强光下信息显示的效果，同时在设计上对显示模块进行微型化处理，提高室外作业的便捷性。

所述无线通信模块实现现场图像以及检修方案的传输。硬件方面，在无线通信模块和树莓派核心处理子系统之间增加滤波处理电路，降低电磁干扰的影响，提高整个通信网络的可靠性和有效性，并配置相应的无线4g网络；软件方面，对采集到的视频信息通过webrtc技术进行编码传输，webrtc技术视频采集---video_capture，支持多种媒体类型，并可以进行帧大小和帧率控制，视频编解码---video_coding，采用vp8编解码技术对视频信息进行编码，web终端与树莓派端通过服务进行连接及数据的传输，采用webrtc的api,networkstream和rtcpeerconnection建立tcp/udp连接，web终端与树莓派端依赖信令服务器进行连接并依赖stun和turn服务器解决不同网络之间的nat穿透问题。

所述图像处理子系统实现图像的去噪、压缩、编码和解码；结合现场实际情况，采用小波包变换与偏微分方程相结合的方法对现场采集到的图像进行去噪处理，降低周围电磁干扰以及环境因素对采集到的图像质量的影响，提高图像的清晰度和抗干扰性。

所述信令服务器系统实现树莓派端和web端消息的传输和转发。使用nodejs在linux系统下搭建信令服务器，借助异步非阻塞i/o、事件驱动、单线程、跨平台等特性，对于客户端发送来的请求，nodejs服务器端无需等待上一条指令执行完成，通过自行实现的线程池来完成请求处理和转发，并采用ice协议综合运用stun及turn机制来建立不同网络之间的呼叫连接，解决树莓派端和web端的nat穿透问题，从而建立树莓派端和web端的数据传输通道，数据的传输方式为全双工模式。

如图2所示，所述软件终端子系统实现检修方案的录入、检索、现场数据的存储和历史数据的查询。终端软件系统利用以php为基础，以web-base方式架构在网站主机上的mysql的数据库管理工具存储各类设备的检修方案、历史检修记录以及检修人员和技术人员等相关信息。采用php、html+css、javascript完成对本系统界面以及业务逻辑的开发，采用webrtc技术和websocket技术实现点对点视频通信和图像文本通信。检修人员佩戴智能眼镜对潜在安全隐患部位或故障发生点进行排查并拍摄图像，通过4g网络将图像和实时视频传送给web端技术人员，web端技术人员则根据图像和实时视频准确判断故障点类型并确定对应的检修方案，然后传输给检修人员，检修人员依据智能眼镜上显示的检修方案对故障点进行检修和排除。在检修操作完成后，检修人员再次对检修部位拍摄图像，并传递给web端技术人员，由web端技术人员和检修人员共同决定检修工作是否顺利完成。同时web端人员在软件终端子系统可以完成对检修方案的录入、检查，检修人员的录入与管理、检修方案的检索、检修工作的历史记录等工作。

本发明提出了一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统，通过便携式辅助检修设备对传统的高压输电设备的检修方式进行补充。本发明树莓派端采用4g无线网络，使用webrtc技术进行终端与便携式树莓派设备的数据传输，传输过程中采用nodejs服务器进行设备的通信连接和数据的转发。在通信过程中实现了视频的传输、文本图片的传输，web端技术人员对穿戴便携式设备维修人员就检修过程进行补充修正和指导作业，实现真正意义上的远端对现场维修的监控，进而减少高压输电设备的检修时间并且较为科学性的检修过程不仅增强检修人员的安全性，还提高了设备检修的准确性、可靠性。

本发明是一种基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统的设计，采用树莓派核心处理子系统作为软件搭载平台，以webrtc技术为核心的webapi开发，包括以下步骤：

(1)建立树莓派核心处理子系统，包括vga高清单目显示屏、麦克风、听筒、可移动式电源、高清usb摄像头、移动式4g网卡为一体的智能眼镜系统。首先到树莓派官网下载树莓派对应的系统，将其烧写到sd卡上，然后将其装载到树莓派上，通过vnc远程操控树莓派，对树莓派进行相应的配置，这样可以实现通信的树莓派就配置好了树莓派核心处理子系统，这里首先依据webrtc技术和websocket等协议通过ip地址和端口号实现web端到树莓派端的视频和文本图像通信，这里用到了webrtc一些关键api,如networkstream和rtcpeerconnection。

(2)考虑到网络通信存在阻塞i/o、跨平台、延时等问题，由于nodejs具有异步非阻塞i/o、事件驱动、单线程、跨平台等特性，所以本项目选择在linux系统下使用nodejs搭建信令服务器，采用socket.io将websocket和轮询机制封装成了通用接口，当树莓派端或web端通过ip地址和端口号发送来请求时，服务器端根据事件请求做出响应，当树莓派端和web端通过服务器建立点对点连接后，终端系统将不再对服务发送请求而直接进行数据传输，此时它通过自行实现的线程池来完成请求处理和转发，io线程由libuv管理控制的线程池控制，本质上是多线程，即采用线程池与阻塞io模拟异步io,线程池模拟异步i/o。

(3)将树莓派端代码嵌入到树莓派子系统里，对代码在树莓派平台下进行不同系统的兼容性的调试，同时进行通信过程中存在的问题进行调试，实现对树莓派端视频的采集和文本及图像的传输。

(4)web终端输入连接用户，点击登录按钮，然后输入树莓派端登录名并点击呼叫按钮对树莓派端进行呼叫，通过ip地址和端口号向服务器发起请求，服务器响应web端请求；树莓派端自动以某账号登陆，通过ip地址和端口号向服务器发起请求，这样树莓派端和web端通过信令服务器和stun及turn服务器建立传输通道，然后可以进行视频和图像文本的传输。

如图3所示：(5)webrtc通信过程树莓派端首先创建peerconnection对象，然后打开本地视频设备，将视频数据封装成mediastream添加到peerconnection中。树莓派端调用peerconnection的createoffer方法创建一个用于offer的sdp对象，sdp对象中保存当前视频的相关参数。树莓派端通过peerconnection的setlocaldescription方法将该sdp对象保存起来，并通过信令服务器发送给web端。

web端接收到树莓派端发送过的offersdp对象，通过peerconnection的setremotedescription方法将其保存起来，并调用peerconnection的createanswer方法创建一个应答的sdp对象，通过peerconnection的setlocaldescription的方法保存该应答sdp对象并将它通过信令服务器发送给树莓派端。

树莓派端接收到pc端发送过来的应答sdp对象，将其通过peerconnection的setremotedescription方法保存起来。在sdp信息的offer/answer流程中，树莓派端和web端已经根据sdp信息创建视频channel并开启candidate数据的收集，candidate数据可以理解成客户端的ip地址信息。

当树莓派端收集到candidate信息后，peerconnection会通过onicecandidate接口给树莓派端发送通知，树莓派端将收到的candidate信息通过信令服务器发送给web端，web端通过peerconnection的addicecandidate方法保存起来。同样的操作web端对树莓派端再来一次。

这样树莓派端和web端建立了视频传输的p2p通道，web端接收到树莓派端传送过来的视频流，会通过peerconnection的onaddstream回调接口返回一个标识树莓派端视频流的mediastream对象，在web端渲染出来即可。

(6)通过上面的步骤，基于树莓派和webrtc的便携式智能眼镜高压输电设备辅助检修系统就建立完成了，实现了检修人员将智能眼镜拍摄的现场图像通过无线4g网络传输到服务器端、服务器端将信息传输到web端，技术人员可以将相应检修方案通过服务器传输到检修人员所佩戴的眼镜式显示器上，对现场检修人员进行指导作业。

如图4所示，本系统具体的使用过程web终端拥有对检修人员的录入和管理、检修方案的录入与管理、查看历史检修记录等功能。通信时，首先打开便携式无线4g网络设备，为树莓派连接电源打开树莓派，树莓派开机自动连接移动4g网络和自启动web界面，同时完成连接并登录到nodejs服务器，检修人员可通过vga高清单目显示屏看到树莓派界面；此时web端工作人员打开终端软件系统并通过输入用户名登录nodejs服务器，在web端通信界面输入树莓派端登录用户名并点击呼叫按钮与树莓派端建立网络连接，此时在web端通信界面左边可看到通过树莓派高清usb摄像头拍摄的画面，web端工作人员可以对检修过程进行拍照，可以通过对设备关键字的检索和设备类型号的检索查询相应的检修方案并传输给现场的检修人员，现场检修人员可通过佩戴的vga高清单目显示屏看到传输的检修方案，并根据提示进行检修工作。最后，web端工作人员可以对本次检修方案进行存储，方便以后的查询。本系统目的是实现web端工作人员对现场高压输电设备检修人员检修工作的辅助及指导，提高检修的准确性和科学性，进而增强检修效率和检修安全性。

以上所述，仅仅为本发明的具体实施方式，但本发明的适用范围不仅仅局限于此，任何熟悉该领域技术的人员根据本发明的技术方案得出的其他实施方式也同样属于本发明所保护的范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

本发明的硬件均为现有技术的市售产品，软件程序依据网络传输协议、视频编解码技术、通信原理编制，是本领域技术人员所熟悉的技术，容易实施。