一种基于深度学习的刀闸图像识别方法及装置与流程

1.本发明属于人工智能图像自动识别技术领域，尤其涉及一种基于深度学习的刀闸图像识别方法及装置。


背景技术：

2.电网的倒闸过程中，采用一键顺控即计算机程序化操作代替人工操作可以提高其操作效率、减少人为误操作。但是一键顺控这种技术的应用和推广，前提之一是要用至少两种不同方法，可靠、准确、快速地判断倒闸过程中被操作的刀闸类设备的位置状态变化结果，与计算机程序化操作形成信息闭环。
3.现有的刀闸位置双源确认的视频方案，目前采用的图像识别方案主要思路是通过加装摄像头、nvr/dvr视频存储管理设备、千兆交换机等设备，捕捉刀闸的图像或视频，传输给智能辅助监控系统的站端视频主机，由站端视频主机做人工或者机器判断，将判断的刀闸位置结果通过加装的通信采集器转化成硬接点，再输送至测控装置。
4.现有的刀闸位置双源确认的姿态传感器方案，目前常用架构的原理是在刀闸本体上加装姿态传感器（一般采用陀螺仪姿态传感器），采集刀闸运动过程中的转动角速率，然后将此数据传给接收装置，由接收装置对数据进行计算，得到刀闸的转动角度，从而判断刀闸的运动是否到位，并将判断结果以硬接点的形式输出给测控装置。
5.但是现有的刀闸位置双源确认的视频方案和刀闸位置双源确认的姿态传感器方案在使用时仍存在一些不足，图像识别方案的缺点是：整体架构复杂，加装设备数量多，成本高，部署工作量大；核心的刀闸判断需要依托于站端视频主机做识别判断，识别算法和模型迭代不便，识别速度和准确性局限较大，且在传统站推广增加部署成本。
6.目前姿态传感器方案的缺点是：一般采用的3轴陀螺仪姿态传感器的采集数据只有一个维度，采集的数据容易受到温度、电磁干扰的影响，会直接影响刀闸位置判断的准确性。


技术实现要素：

7.本发明要解决的技术问题是：提供一种基于深度学习的刀闸图像识别方法及装置以解决现有的刀闸位置双源确认的视频方案和刀闸位置双源确认的姿态传感器方案整体架构复杂，加装设备数量多，成本高，部署工作量大；核心的刀闸判断需要依托于站端视频主机做识别判断，识别算法和模型迭代不便，识别速度和准确性局限较大，且在传统站推广增加部署成本等技术问题。
8.本发明技术方案为：一种基于深度学习的刀闸图像识别方法，它包括：s1、将视觉传感器采用非介入式安装方式，与三相刀闸进行非接触安装，每组三相刀闸部署两个视觉传感器，两个视觉传感器分别标记为x传感器和y传感器，x传感器和y传感器用于采集三相刀闸的整体图像和运动过程；
s2、每八组三相刀闸部署一套图像识别判断装置，并将图像识别判断装置中的高速交换模块与对应的八组三相刀闸中的视觉传感器点对点的网线连接；s3、视觉传感器以每秒25帧实时采集三相刀闸的图像视频数据，将采集的三相刀闸的图像视频数据以数字电信号的形式传输到图像识别判断装置内部的高速交换模块中，图像识别判断装置中的视频存储模块从高速交换模块中获取数字电信号的图像视频数据，并进行压缩和存储；s4、利用atlas200dk人工智能识别模块对图像识别判断装置中的图像视频数据进行识别，并通过识别结果驱动对应的继电器动作或打开，以继电器的接点作为指示刀闸位置的输出信号；s5、将姿态传感器采用介入式安装方式，与三相刀闸进行接触安装，每组三相刀闸中的每相刀闸部署一个姿态传感器；s6、每八组刀闸部署一套姿态位置判断装置，并将姿态位置判断装置采用点对点的方式通过串行通信总线与姿态位置传感器连接与对应的八组三相刀闸中的姿态传感器连接；s7、通过姿态传感器三相刀闸中单相刀闸运作过程中的加速度、角速率数据；s8、姿态传感器将采集的单相刀闸的加速度、角速率数据传输给姿态位置判断装置，姿态位置判断装置通过对接收的数据进行处理，判断刀闸是否位于指定锥形范围内，进而确定刀闸的位置状态，并通过判断结果驱动对应的继电器动作或打开，以继电器的接点作为指示刀闸位置的输出信号。
9.视觉传感器的拍摄方向与刀闸闭合时的导电杆所在直线之间的夹角为0-60
°
，视觉传感器的拍摄方向与水平面之间的夹角为0-60
°
。
10.图像识别判断装置采用poe方式与视觉传感器集中供电。
11.步骤s4具体步骤为：s401、通过局域网从高速交换模块中获取刀闸的图像视频数据；s402、将原始的每秒25帧的视频流经过抽帧提取其中的10帧图像；s403、利用atlas200dk人工智能识别模块中内置的训练好的人工智能模型算法对提取的10帧图像视频数据做出人工智能识别检测；s404、根据s403中的识别结果，自动判断出每相刀闸的分合闸位置，并将判断的结果通过串口通信总线传输给信号处理模块；s405、信号处理模块将判断结果转换为驱动信号，驱动对应的继电器，以继电器的接点作为指示刀闸位置的输出信号。
12.atlas200dk人工智能识别模块内部的人工智能模型算法是端到端的目标检测算法，由darknet-53主干网络和多尺度融合特征网络两部分组成，主干网络darknet-53用于提取图像特征，con2d layer表示卷积层，每个卷积层后连接批量正则化层和leaky relu激活函数，多尺度融合特征网络通过对大、中、小3种尺度的特征图的融合。
13.atlas200dk人工智能识别模块内部的人工智能模型算法的检测过程包括：一、利用人工智能模型算法对三相刀闸进行检测、跟踪和定位；二、利用人工智能模型算法对定位好的三相刀闸进行方向线检测，即对刀闸导电杆的方向线进行检测和标注；三、利用标注的方向线计算刀闸导电杆的相对角度，并持续设定的时间后，输出判断结果；人工智能算法内
部设有训练好的算法模型，用于对实际场景的刀闸位置端侧的图像视频识别，图像视频识别定期作为样本离线上传至样人工智能模型算法中，用于对模型进行训练，此为人工智能算法的自我迭代。
14.姿态传感器核心部件采用低功耗6轴微机电系统芯片，核心部件具有3轴16g（量程）数字加速度计和3轴2000dps（量程）数字陀螺仪。
15.姿态传感器内置温度传感器，温度传感器用于采集的姿态传感器的工作环境温度数据，姿态传感器采集的加速度、角速率通过温度补偿算法，修正硬件采集数据时受到的温度影响；姿态传感器的安装位置为三相刀闸中单相刀闸的地电位传动拐臂上。
16.s8中姿态位置判断装置对刀闸的位置状态的具体判断步骤为：s801、姿态位置判断装置接收姿态传感器传输的加速度和角速率数据；s802、采用双因子算法对加速度和角速率数据进行处理，即使用3轴陀螺仪采集的角速率计算转动角度，采用加速度数据作为校正，从而计算出测量点的转动角度；s803、利用s802中计算出的测量点的转动角度与设定的锥形空间范围角度进行对比，判断刀闸是否位于指定锥形范围内，进而确定刀闸的位置状态；s804、姿态位置判断装置中的信号处理模块将判断结果转换为驱动信号，驱动对应的继电器，以继电器的接点作为指示刀闸位置的输出信号。
17.包括刀闸状态智能感知成套装置系统，所述刀闸状态智能感知装置系统包括监控主机、智能防误主机、远动机和测控装置，所述监控主机、智能防误主机、远动机和测控装置之间通过tcp/ip站控层网络连接；所述刀闸状态智能感知装置系统还包括刀闸组、视觉传感器、图像识别判断装置、姿态传感器、姿态位置判断装置和三相刀闸；所述视觉传感器与三相刀闸之间为非接触安装，所述图像识别判断装置与视觉传感器之间为点对点的网线连接，与测控装置之间为无源硬接点连接，所述图像识别判断装置的内部设有atlas200dk人工智能识别模块、高速交换模块和视频存储模块，所述姿态传感器与三相刀闸之间为接触安装，所述姿态位置判断装置采用点对点的方式通过串行通信总线与姿态位置传感器连接，与测控装置之间为无源硬接点连接；所述图像识别判断装置和姿态位置判断装置内部设有信号处理模块，信号处理模块通过串口通信总线与atlas200dk人工智能识别模块连接；所述三相刀闸的每相刀闸的位置均设有两个独立的继电器，两个独立的继电器构成双位置接点。
18.本发明的有益效果是：本发明该基于深度学习的刀闸图像识别方法，通过视觉传感器与图像识别判断装置采用点对点的网线连接方式，并采用poe方式由图像识别判断装置给所连接的视觉传感器集中供电，可使得图像识别判断方案保持清晰简单的架构特点，可减少加装设备的数量，降低设备成本，同时降低部署工作量，视觉传感器与高速交换模块之间的端对端连接，可保障刀闸图像视频流数据的无延迟通信，图像识别判断装置与atlas200dk人工智能模块的配合使用，可以快速、准确地响应图像识别判断装置视觉传感器的图像视频数据的处理要求，同时采用人工智能模型算法的端到端的目标检测算法，可有效提高对刀闸位置识别的检测速度和准确性，以便及时将刀闸位置识别结果信号输出。
19.本发明基于深度学习的刀闸图像识别方法，通过姿态位置判断装置与姿态传感器配合，利用双因子算法将三轴陀螺仪采集的角速率计算出转动角度，同时以加速度数据作为校正可有效提高刀闸测量点转动角度的动态精度，同时姿态传感器内置的温度传感器，可以采集的温度数据，姿态传感器采集的加速度、角速率通过温度补偿算法，修正硬件采集数据时受到的温度影响，使得对刀闸位置判断的结果更加有效和准确。
20.解决了现有的刀闸位置双源确认的视频方案和刀闸位置双源确认的姿态传感器方案整体架构复杂，加装设备数量多，成本高，部署工作量大；核心的刀闸判断需要依托于站端视频主机做识别判断，识别算法和模型迭代不便，识别速度和准确性局限较大，且在传统站推广增加部署成本等技术问题。
附图说明
21.图1为本发明刀闸状态智能感知成套装置系统架构图；图2为本发明视觉传感器部署俯视图；图3为本发明人工智能模型算法离线训练和自我迭代示意图；图4为本发明姿态位置判断方案的工作原理示意图。
具体实施方式
22.实施例如下：请参阅图1-图4，基于深度学习的刀闸图像识别方法，具体包括以下步骤：s1、将视觉传感器采用非介入式安装方式，与三相刀闸进行非接触安装，每组三相刀闸部署两个视觉传感器，两个视觉传感器分别标记为x传感器和y传感器，x传感器和y传感器用于采集三相刀闸的整体图像和运动过程；s2、每八组三相刀闸部署一套图像识别判断装置，并将图像识别判断装置中的高速交换模块与对应的八组三相刀闸中的视觉传感器点对点的网线连接；s3、视觉传感器以每秒25帧实时采集三相刀闸的图像视频数据，将采集的三相刀闸的图像视频数据以数字电信号的形式传输到图像识别判断装置内部的高速交换模块中，图像识别判断装置中的视频存储模块从高速交换模块中获取数字电信号的图像视频数据，并进行压缩和存储；s4、利用atlas200dk人工智能识别模块对图像识别判断装置中的图像视频数据进行识别，并通过识别结果驱动对应的继电器动作或打开，以继电器的接点作为指示刀闸位置的输出信号；s5、将姿态传感器采用介入式安装方式，与三相刀闸进行接触安装，每组三相刀闸中的每相刀闸部署一个姿态传感器；s6、每八组刀闸部署一套姿态位置判断装置，并将姿态位置判断装置采用点对点的方式通过串行通信总线与姿态位置传感器连接与对应的八组三相刀闸中的姿态传感器连接；s7、通过姿态传感器三相刀闸中单相刀闸运作过程中的加速度、角速率数据；s8、姿态传感器将采集的单相刀闸的加速度、角速率数据传输给姿态位置判断装置，姿态位置判断装置通过对接收的数据进行处理，判断刀闸是否位于指定锥形范围内，进
而确定刀闸的位置状态，并通过判断结果驱动对应的继电器动作或打开，以继电器的接点作为指示刀闸位置的输出信号；视觉传感器的拍摄方向与刀闸闭合时的导电杆所在直线之间的夹角为0-60
°
，视觉传感器的拍摄方向与水平面之间的夹角为0-60
°
。
23.图像识别判断装置采用poe方式与视觉传感器集中供电。
24.包括刀闸状态智能感知成套装置系统，所述刀闸状态智能感知装置系统包括监控主机、智能防误主机、远动机和测控装置，所述监控主机、智能防误主机、远动机和测控装置之间通过tcp/ip站控层网络连接；所述刀闸状态智能感知装置系统还包括刀闸组、视觉传感器、图像识别判断装置、姿态传感器、姿态位置判断装置和三相刀闸；所述视觉传感器与三相刀闸之间为非接触安装，所述图像识别判断装置与视觉传感器之间为点对点的网线连接，与测控装置之间为无源硬接点连接，所述图像识别判断装置的内部设有atlas200dk人工智能识别模块、高速交换模块和视频存储模块，所述姿态传感器与三相刀闸之间为接触安装，所述姿态位置判断装置采用点对点的方式通过串行通信总线与姿态位置传感器连接，与测控装置之间为无源硬接点连接；所述图像识别判断装置和姿态位置判断装置内部设有信号处理模块，信号处理模块通过串口通信总线与atlas200dk人工智能识别模块连接；所述三相刀闸的每相刀闸的位置均设有两个独立的继电器，两个独立的继电器构成双位置接点；所述s4中具体步骤为：s401、通过局域网从高速交换模块中获取刀闸的图像视频数据；s402、将原始的每秒25帧的视频流经过抽帧提取其中的10帧图像；s403、利用atlas200dk人工智能识别模块中内置的训练好的人工智能模型算法对提取的10帧图像视频数据做出人工智能识别检测；s404、根据s403中的识别结果，自动判断出每相刀闸的分合闸位置，并将判断的结果通过串口通信总线传输给信号处理模块；s405、信号处理模块将判断结果转换为驱动信号，驱动对应的继电器，以继电器的接点作为指示刀闸位置的输出信号。
25.进一步的，所述s403中atlas200dk人工智能识别模块内部的人工智能模型算法是端到端的目标检测算法，由darknet-53主干网络和多尺度融合特征网络两部分组成，主干网络darknet-53用于提取图像特征，con2d layer表示卷积层，每个卷积层后连接批量正则化层和leaky relu激活函数，多尺度融合特征网络通过对大、中、小3种尺度的特征图的融合。
26.进一步的，所述s403中atlas200dk人工智能识别模块内部的人工智能模型算法的检测过程包括：一、利用人工智能模型算法对三相刀闸进行检测、跟踪和定位；二、利用人工智能模型算法对定位好的三相刀闸进行方向线检测，即对刀闸导电杆的方向线进行检测和标注；三、利用标注的方向线计算刀闸导电杆的相对角度，并持续设定的时间后，输出判断结果；人工智能算法内部设有训练好的算法模型，用于对实际场景的刀闸位置端侧的图像视频识别，图像视频识别定期作为样本离线上传至样人工智能模型算法中，用于对模型其
进行训练，此为人工智能算法的自我迭代。
27.进一步的，所述姿态传感器核心部件采用低功耗6轴微机电系统芯片，核心部件具有3轴16g（量程）数字加速度计和3轴2000dps（量程）数字陀螺仪。
28.进一步的，所述姿态传感器内置温度传感器，温度传感器用于采集的姿态传感器的工作环境温度数据，姿态传感器采集的加速度、角速率通过温度补偿算法，修正硬件采集数据时受到的温度影响。
29.进一步的，所述姿态传感器的安装位置为三相刀闸中单相刀闸的地电位传动拐臂上。
30.进一步的，所述s8中姿态位置判断装置对刀闸的位置状态的具体判断步骤为：s801、姿态位置判断装置接收姿态传感器传输的加速度和角速率数据；s802、采用双因子算法对加速度和角速率数据进行处理，即使用3轴陀螺仪采集的角速率计算转动角度，采用加速度数据作为校正，从而计算出测量点的转动角度；s803、利用s802中计算出的测量点的转动角度与设定的锥形空间范围角度进行对比，判断刀闸是否位于指定锥形范围内，进而确定刀闸的位置状态；s804、姿态位置判断装置中的信号处理模块将判断结果转换为驱动信号，驱动对应的继电器，以继电器的接点作为指示刀闸位置的输出信号。
31.在使用时，图像视频采集：刀闸本体图像视频的采集由两个400万像素，2560
×
1440@25fps高分辨率的视觉传感器完成。视觉传感器的前端采用大光圈镜头和高灵敏度分色棱镜，具备补光、白光和红外自动补偿、星光级别、宽动态抑制逆光功能。镜头成像棱镜分色后，光线落到视觉传感器的后端的摄像管靶面上。摄像管靶面将感光面上的光纤转换为与光纤成相应比例关系的电荷，这些电荷再经模数转换（a/d转换）后变成图像（视频）的数字电信号。图像（视频）的数字电信号经过信号传输送至刀闸图像识别判断装置，作为数据进行存储、处理。
32.视觉传感器在部署安装时，需考虑以下几点：从俯视角度看，其拍摄方向应与刀闸闭合时的导电杆所在直线呈0
°
至60
°
的夹角，在现场安装条件允许的情况下，夹角越接近0
°
越好。从视觉传感器的拍摄方向与水平面的夹角应在60
°
以内。在符合绝缘距离的情况下，视觉传感器的光学镜面和采集的最远相刀闸之间的距离在1.5米至10米之间。
33.视觉传感器与图像识别判断装置采用点对点的网线连接，并采用poe方式由图像识别判断装置给所连接的视觉传感器集中供电。使得图像识别判断方案保持清晰简单的架构特点。
34.视觉传感器的光学镜头若被水渍、灰尘或者冰雪覆盖等情况，这些干扰将会通过采集的视频流信息同步传输给图像识别判断装置。图像识别判断装置的人工智能模块针对这些干扰现象会提前做针对性地离线模型训练，使得人工智能模块具备对上述干扰进行甄别的能力，当人工智能识别模块识别出上述干扰后，将会通过对应视觉传感器的报警继电器发出信号，提示运维人员进行维护。
35.图像视频的传输和存储：视觉传感器在运行状态下，以每秒25帧实时采集刀闸的视频数据，视频格式支持avi、mp4、mpg、dav等。视频流数据以8mbps的速度传输至图像识别判断装置的高速交换模块。传输线缆采用铠装无氧铜的线芯的网线，每个视觉传感器的线缆传输长度不超过100米，可以保证极低的传输延时。高速交换模块具有24个端口，支持16
个视觉传感器的接入及内部转发，每个端口的传输能力达到1000m级传输，保障刀闸视频流数据的无延迟通信。模块具备物理编址、网络拓扑结构、错误校验、帧序列以及数据流控功能，并在内部可以自建局域网。图像识别的视频存储模块集成高压缩率、高效率、小失真的算法，并支持h.264及h.265编解码功能。视频存储模块集成不低于2t存储能力，可以满足16路视频流24小时数据存储30天，支持jpeg、mjpeg、mjpeg－4、h.264/h.265等。支持高清视频的保存和掉电不丢失、视频的就地及远程调取和回放等功能。视频存储模块从高速交换模块上直接获取各相刀闸的原始视频流数据，对其进行编码压缩和存储。
36.图像视频的人工智能识别：图像识别判断装置以atlas200dk人工智能模块为处理核心，编解码能力支持16通道全高清视频解码,atlas200dk人工智能模块可以快速、准确地响应图像识别判断装置对16路视觉传感器的图像视频数据的处理要求，其可在100ms之内即完成对一组三相刀闸位置的识别，并且在初次实用化后准确率即可到达95%以上。atlas200dk人工智能模块具备千兆以太网口，从高速交换模块的局域网直接获取刀闸的视频流数据，将原始的每秒25帧的视频流经过抽帧提取其中的10帧图像，通过其内置的训练好的人工智能模型算法对这10帧视频数据做出人工智能识别，自动判断出每相刀闸的分合闸位置，并将判断的结果通过串口通信总线传输给信号处理模块。
37.刀闸位置识别结果信号输出：信号处理模块采用32位微控制器作为核心处理单元。同时模块集成了flash和sram存储器、时钟、13个通信接口、112个i/o端口，并集成了继电器驱动模块。当信号处理模块从串口通信总线接收到来自人工智能模块的刀闸位置识别结果后，将实时地将这些判断结果转换成驱动信号，驱动对应的继电器动作或打开，以继电器的接点作为指示刀闸位置的输出信号。每相刀闸的位置均由两个独立的继电器同时指示，以构成双位置接点。
38.本技术方案提出的人工智能模型算法是采用渐进式尺度扩展算法，将每个文本实例分配给多个预测的分割区域，记作s1......sn。将这些分割区域表示为本文中的“核”，并且对于一个文本实例，有几个对应的内核。每个内核与原始的整个文本实例共享相似的形状，并且它们都位于相同的中心点但在比例上不同。
39.刀闸由动态过程进入静态后，其空间位置会处于分或合的最终状态下以转轴点为圆心的锥形空间范围内，姿态传感器和姿态位置判断装置部署好后，在刀闸处于合位和分为时，分别标定一下空间位置（调试程序一键完成标定），即可将开合状态的空间判定允许范围存储在姿态位置判断装置的存储模块中。结合实际过程中计算的角度数据，姿态位置判断装置即可完成实际过程中的刀闸位置判断。
40.姿态传感判据装置采用点对点工业总线形式，最多可以接入24个姿态传感器，即最大可以同时判断8组刀闸（24相刀闸）位置。并能输出24个刀闸的无源双位置接点。