一种综合性工程车辆施工动作判断方法与流程

文档序号:26007711发布日期:2021-07-23 21:26阅读:来源:国知局

技术特征:

1.一种综合性工程车辆施工动作判断方法,其硬件设施包括位于道路旁及各个场地的监控摄像头,全部监控摄像头均通过网络连接后台服务器,其特征在于,判断方法包括以下步骤:

1)、目标获取:将全部监控摄像头所拍摄的画面输入后台服务器,启动检测算法,开始输出画面上的目标;

2)、目标追踪:此时监控摄像头的视角固定不变,启动追踪算法对画面中移动和/或静止的目标进行追踪,根据追踪结果判断目标是否发生位移;

3)、序列标准化:目标检测的结果图片大小尺寸不唯一,将图片尺寸标准化为设定图像,设定图像为224×224方形图像;

4)、工程机械的施工动作分析:寻找设定图像的前后帧之间是否存在关键性差异,使用帧融合特征提取的方式,对连续目标图像提取时空特征并进行是否作业的判断,具体算法如下:

4a)、输入单目标工程车图像序列尺寸定义为c×l×h×w,c是通道数,在施工动作分析算法中固定为3,代表rgb三个颜色通道,l是序列的帧数长度,算法中固定为12,h和w分别是帧的高度和宽度,均固定为224,使用二维空间特征提取网络对输入的单目标工程车图像序列进行特征提取,最终得到12个1024维特征向量:

liner_data=2dencoder(inputs),inputs∈r3×12×224×224,liner_data∈r12×2048

式中2dencoder(·)表示二维空间特征提取操作,对12帧3×224×224的图像矩阵分别进行特征提取,将每一帧图像的有效信息压缩在1024维向量中,进一步轻量化时空特征提取网络;

4b)、使用一个学习嵌入向量输入构建顺序编码向量,将上一步中整理出的12个特征向量与顺序编码向量pos_embeding相加作为编码器输入:

liner_data1=liner_data+pos_embeding,liner_data1∈r13×2048

顺序编码向量pos_embeding经过数据训练后,有助于后续时间特征提取时权重评估;

4c)、针对每一组输入,通过两个不同的编码过程构建两组u,v数据向量,两个编码过程的参数均为学习参数,经过训练后,线性编码得到进一步提炼的检索基准向量矩阵u,数据编码得到数据内容矩阵v:

u=linerencoder(liner_data1),u∈r8×13×128

v=dataencoder(liner_data1),v∈r8×13×128

使用点乘方式比较矩阵u内部向量之间的相似度,矩阵u,ut相乘并归一化,对相似度结果使用组合分类,并点乘数据内容矩阵v,得到每一帧及与其相关性较大帧的融合特征:

其中,t表示矩阵转置操作,maxsort(·)表示组合分类,将被操作矩阵数据对比度增大;组合分类结果与数据内容矩阵点乘,可以按照相关性结果给矩阵v加权,最终输出的结果为每一帧与其他帧的关联特征组合;

4d)、为避免训练中帧融合过程梯度消失,故引入残差,将未融合特征与融合特征加权相加,获得帧融合网络的时空特征输出:

x_out2=liner_data1+x_out1,x_out2∈r13×2048

4e)、引入残差后的输出特征进行过滤,去掉因相加操作造成的矩阵值跳变,使用后置特征过滤网络,进行两次线性过滤:

x_out=max(0,x_out2·w1+b1)w2+b2,x_out∈r13×2048

4f)、获得全帧融合特征维度为13×2048,而后进行一次一维映射,并使用组合分类器给出最终分类结果:

fin_out=maxsort(fc(x_out))

最终得到的分类结果仅为二分类,即存在施工动作或不存在施工动作;

5)、报警触发:综合利用追踪算法及施工动作分析算法的分析结果,对工程车辆进入管线埋设区域、途径路过、停放、危险施工各种状态作出判断,根据使用者设定的危险等级发出预警信号,及时阻止可能危害管线设施的违法施工行为。

2.如权利要求1所述的综合性工程车辆施工动作判断方法,其特征在于,在步骤2)中,追踪算法将监控摄像头视角固定时长内检测出的目标逐个区分开,按照时间顺序排序后将每个目标的连续检测图片输入施工动作分析算法得出追踪结果。

3.如权利要求1所述的综合性工程车辆施工动作判断方法,其特征在于,在步骤4)中,帧融合特征的提取操作运算量与输入帧的大小正相关,首先逐帧提取二维特征信息,再使用强化特征关联的方式融合连续帧的时空特征。

4.如权利要求1所述的综合性工程车辆施工动作判断方法,其特征在于,在步骤4)中,关键性差异具体指挖掘机挖斗动作或叉车前叉升降动作。

5.如权利要求1所述的综合性工程车辆施工动作判断方法,其特征在于,在步骤4c)中,由于在特征输入前增加一维顺序编码向量pos_embeding,在该步运算中,帧融合特征提取同时获取顺序特征提取。


技术总结
本发明提供了一种综合性工程车辆施工动作判断方法,其硬件设施包括位于道路旁及各个场地的监控摄像头,全部监控摄像头均通过网络连接后台服务器,判断方法包括以下步骤:1)、目标获取:将监控摄像头所拍摄的画面输入后台服务器,启动检测算法,开始输出画面上的目标;2)、目标追踪:此时监控摄像头的视角固定不变,启动追踪算法对画面中移动和/或静止的目标进行追踪,根据追踪结果判断目标是否发生位移,并将同一目标的检测结果归类;3)、序列标准化:目标检测的结果图片大小尺寸不唯一,将图片尺寸标准化为设定图像,设定图像为224×224方形图像;4)、工程机械的施工动作分析;5)、报警触发。本发明增加施工动作分析算法,减少误报几率。

技术研发人员:张朝瑞;刘辰飞;陈英鹏;高朋
受保护的技术使用者:神思电子技术股份有限公司
技术研发日:2020.12.29
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1