一种基于深度学习的危险源识别方法与系统与流程

文档序号:15690065发布日期:2018-10-16 21:54阅读:318来源:国知局

本发明涉及信号与信息处理领域,特别是一种基于深度学习的危险源识别方法与系统。



背景技术:

深度学习算法,源于人工神经网络,通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习是机器学习领域的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。同机器学习一样,深度机器学习方法也有监督学习和无监督学习之分,不同的学习框架下建立的学习模型不同。

现今利用深度学习算法对图像进行识别已经得到了广泛的研究,在其应用方面,深度学习结合其他算法进行的车牌识别、人脸识别甚至表情识别已经出现了成熟的产品,但是对于特定场景的图像,尤其是带有运动目标的图像进行识别仍然是十分困难的,受限于运动情况、光照等诸多限制,运动图像识别应用于实际的工程中往往捉衿见肘。

尤其是在输变电领域,输电线路周围存在的危险源,容易对输变电设备引发无可挽回的危害,由于危险源并非是静止的,因此对于危险源的识别往往存在不小的困难,如何将深度学习应用于输电线路的危险源识别,是本领域技术人员急需解决的一个重要问题。



技术实现要素:

本发明的目的是提供一种基于深度学习的危险源识别方法与系统,旨在解决现有技术下输变电线路的危险源识别难度大的问题,实现对危险源运动特征的定位,准确得出运动危险源距离需要保护的目标的距离,保护输电线路安全。

为达到上述技术目的,本发明提供了一种基于深度学习的危险源识别方法,包括以下步骤:

s1、将摄像机采集到的图像以固定速率传输至后台服务器;

s2、后台服务器将采集到的图像利用深度学习算法求得特征,以该特征作为运动图像的检测条件;

s3、将所述特征输入系数字典,根据最优化稀疏表示求解得到运动目标;

s4、利用双目视觉对由稀疏表示求得的运动特征进行定位,实现危险源识别。

优选地,所述步骤s2具体为如下操作:

s201、后台服务器将采集到的图像输入样本输入深度学习中卷积神经网络的卷积层进行卷积特征提取;

s202、将卷积层得到的特征输入到池化层进行池化。

优选地,所述卷积特征提取具体操作如下:

对原始图像进行取片操作,获取多个局部图像;

利用局部图像作为训练数据构成训练集,将训练集数据进行白化预处理操作后送入神经网络;

利用反向传播误差算法进行网络参数训练;

将学习得到的网络作为滤波器对整幅原始图像进行卷积滤波,得到卷积特征。

优选地,所述步骤s3包括:

s301、将深度卷积特征作为训练字典;

s302、用稀疏表示求解最优化值。

优选地,所述用稀疏表示求解最优化值具体为:

建立基于稀疏表示的运动目标检测模型;

将运动目标检测模型转化为最优化求解目标函数;

将目标函数分解为两个最优化目标,求解获得最优化值。

优选地,所述运动目标检测模型为:

y=dx+es.t.‖d(:,i)‖2=1

y是待测区域或待测图像,d是构建的对应场景的字典,x是稀疏表示系数,e是重建误差,也即运动目标。

优选地,所述最优化求解目标函数为:

‖*‖f和‖*‖1分别表示frobenius范数和l1范数。

优选地,所述两个最优化目标分别为:

本发明还提供了一种基于深度学习的危险源识别系统,包括:

图像传输模块,用于将摄像机采集到的图像以固定速率传输至后台服务器;

特征求取模块,用于后台服务器将采集到的图像利用深度学习算法求得特征,以该特征作为运动图像的检测条件;

运动目标求解模块,用于将所述特征输入系数字典,根据最优化稀疏表示求解得到运动目标;

运动特征定位模块,用于利用双目视觉对由稀疏表示求得的运动特征进行定位,实现危险源识别。

优选地,所述特征求取模块包括卷积层计算单元和池化层单元;

所述卷积层计算单元,用于通过后台服务器将采集到的图像输入样本输入深度学习中卷积神经网络的卷积层进行卷积特征提取;

所述池化层计算单元,用于将卷积层得到的特征输入到池化层进行池化;

所述运动目标求解模块包括所述训练字典单元和最优化值求解单元;

所述训练字典单元,用于将深度卷积特征作为训练字典;

最优化值求解单元,用于通过稀疏表示求解最优化值。

发明内容中提供的效果仅仅是实施例的效果,而不是发明所有的全部效果,上述技术方案中的一个技术方案具有如下优点或有益效果:

与现有技术相比,本发明通过在对输电线路的危险源进行识别过程中,利用深度学习的卷积神经网络训练求得特征,以此特征作为运动图像的检测条件,根据深度卷积神经网络训练得到输入系数字典,并根据最优化稀疏表示求解得到运动目标能够在较强鲁棒性的基础上准确求解得到运动危险源目标,最后通过双目视觉对由稀疏表示的运动特征进行定位,能够得到运动危险源距离需要保护的目标的距离,实现对输电线路的保护,解决了现有技术下输变电线路的危险源识别难度大的问题,有效降低了人工提取危险源特征的劳动复杂度,其对特征的表达较其他方法更加完整有效,最终实现对危险源运动特征的定位,保护输变电线路安全。

附图说明

图1为本发明实施例中所提供的一种基于深度学习的危险源识别方法流程图;

图2为本发明实施例中所提供的图像坐标系、摄像机坐标系和世界坐标系示意图;

图3为本发明实施例中所提供的一种双目立体视觉测距原理示意图;

图4为本发明实施例中所提供的一种基于深度学习的危险源识别系统结构框图。

具体实施方式

为了能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

下面结合附图对本发明实施例所提供的一种基于深度学习的危险源识别方法与系统进行详细说明。

如图1所示,本发明实施例公开了一种基于深度学习的危险源识别方法,包括以下步骤:

s1、将摄像机采集到的图像以固定速率传输至后台服务器;

在输电线路附近架设摄像机,利用摄像机对输电线路周围的情况进行图像采集,并将采集到的图像以固定速率传输至后台服务器,所述固定速率为每30分钟1500张。在图像采集过程中,须确定摄像机所获取的图像的分辨率,并且在采集图像时,应该尽量保证所选取的拍摄时间类似,以此来保证在相似光照强度的条件下获得输电线路图像。

s2、后台服务器将采集到的图像利用深度学习算法求得特征,以该特征作为运动图像的检测条件;

首先,后台服务器将采集到的图像输入样本输入深度学习中卷积神经网络的卷积层进行卷积特征提取,所述卷积特征提取过程如下:

对原始图像进行取片操作,获取多个较小的局部图像;

利用局部图像作为训练数据构成训练集,将训练集数据进行白化等预处理操作后送入神经网络;

利用反向传播误差算法进行网络参数训练;

将学习得到的网络作为滤波器对整幅原始图像进行卷积滤波,得到卷积特征。

例如,所有层为c1-c6,c1,c3,c5层为特征提取层,也就是卷积层,以c1层为例,输入一个大小为32×32的样本,经过6个5×5的卷积核,得到了6个对应的大小为28×28的特征面。

然后,将卷积层得到的特征输入到池化层进行池化。

假设得到一个96×96的图像,学习到了400个定义在8×8卷积核上的特征,因此每一个特征和图像卷积都会得到一个(96-8+1)×(96-8+1)=7921维的特征,由于具有400个这样的特征,所以每个样本都会得到一个7921×400=3168400维的卷积特征,如此大的特征输入的分类器十分困难。因此需要输入池化层进行池化,例如在经过2×2的滤波器对特征图像进行池化后,特征图像压缩为原来的1/4。

由于对目标检测与识别所提取的特征是深度卷积特征,是通过对训练样本经过深度卷积网络中的卷积层以及池化层的计算,最终获得到这种深度卷积特征。

s3、将所述特征输入系数字典,根据最优化稀疏表示求解得到运动目标;

在经过卷积层和池化层后得到的特征求得了深度卷积特征后,将深度卷积特征作为训练字典d,利用稀疏表示的方式求解最优化值,基于稀疏表示的运动目标检测模型可以表示如下:

y=dx+es.t.‖d(:,i)‖2=1

其中y是待测区域或待测图像,d是构建的对应场景的字典,x是稀疏表示系数,e是重建误差,也即运动目标,同样为稀疏,将运动目标检测模型转化为最优化求解目标函数为:

‖*‖f和‖*‖1分别表示frobenius范数和l1范数。

将上述目标函数分解为两个最优化目标,采用两次迭代的方式对其进行分解,其分解结果如下:

用最小二乘法直接求解x=d-1*(y-e),而公式可以看作一个连续可导的函数和一个凸函数‖e‖1的加权之和,利用快速收缩阈值迭代算法进行求取,过程如下:

e=sλ(y-dx)

其中sλ(*)是soft-threshold算子,可以表示为sλ(*)=sgn(*)(|*|-λ)。sgn(*)是一个符号函数,当*>0则sgn(*)=1,反之则为0。求解得到的e就代表运动危险源。

s4、利用双目视觉对由稀疏表示求得的运动特征进行定位,实现危险源识别。

当求取得到运动危险源时,利用双目视觉原理对运动危险源进行辨识和定位,取两个时间段内对同一危险源识别出的摄像机进行计算,在摄像机当中,定义三个坐标系:摄像机坐标系(xc-yc-zc);图像坐标系(xi-oi-yi);世界坐标系(xw-yw-zw)。

如图2所示,m(xc,yc,zc)是摄像机空间的点,投影到图像空间后为m(xi,yi,zi),相机标定的目的就是实现目标点在不同坐标系下的转换。

图像坐标系和摄像头坐标系之间的转换关系如下:

其中f是摄像头的焦距。

相机坐标系与世界坐标系之间的转换关系如下:

其中,r是一个3×3的正交单位矩阵,t是一个三维的向量。

相机坐标系与世界坐标系之间的联系可以通过一个平移和旋转得到,旋转关系可以通过矩阵r得到,平移向量是t。

图像坐标与世界坐标之间的关系如下:

其中,dx是每个像素在横向坐标上的物理尺寸,dy是每个像素在纵向坐标上的物理尺寸。

在由两种图像计算危险源位置,即可采用如下方式,双目立体视觉测距原理如图3所示,在图中p为目标点,在经过左右两个摄像头成像后,在成像上对应的点为pl(ul,vl,fl)和pr(ur,vr,fr),所以图像空间上的两个点pl和pr与摄像头原点ocl和ocr构成的向量oclpl和ocrpr的坐标分别是oclpl=(ul,vl,fl)和ocrpr=(ur,vr,fr)。若左边的摄像机坐标系为参照系,可以得到oclpl=oclpl*r,oclocr=t,根据计算,可以得到点p到参照系相机之间的距离:

最终在后台服务器获得危险源识别的准确位置。

本发明实施例通过在对输电线路的危险源进行识别过程中,利用深度学习的卷积神经网络训练求得特征,以此特征作为运动图像的检测条件,根据深度卷积神经网络训练得到输入系数字典,并根据最优化稀疏表示求解得到运动目标能够在较强鲁棒性的基础上准确求解得到运动危险源目标,最后通过双目视觉对由稀疏表示的运动特征进行定位,能够得到运动危险源距离需要保护的目标的距离,实现对输电线路的保护,解决了现有技术下输变电线路的危险源识别难度大的问题,有效降低了人工提取危险源特征的劳动复杂度,其对特征的表达较其他方法更加完整有效,最终实现对危险源运动特征的定位,保护输变电线路安全。

如图4所示,本发明还提供了一种基于深度学习的危险源识别系统,包括:

图像传输模块,用于将摄像机采集到的图像以固定速率传输至后台服务器;

特征求取模块,用于后台服务器将采集到的图像利用深度学习算法求得特征,以该特征作为运动图像的检测条件;

运动目标求解模块,用于将所述特征输入系数字典,根据最优化稀疏表示求解得到运动目标;

运动特征定位模块,用于利用双目视觉对由稀疏表示求得的运动特征进行定位,实现危险源识别。

所述特征求取模块包括卷积层计算单元和池化层单元;

所述卷积层计算单元,用于通过后台服务器将采集到的图像输入样本输入深度学习中卷积神经网络的卷积层进行卷积特征提取;

所述池化层计算单元,用于将卷积层得到的特征输入到池化层进行池化。

所述运动目标求解模块包括所述训练字典单元和最优化值求解单元;

所述训练字典单元,用于将深度卷积特征作为训练字典;

最优化值求解单元,用于通过稀疏表示求解最优化值。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1