一种基于人体姿态的无人车控制指挥方法

文档序号:26008031发布日期:2021-07-23 21:27阅读:来源:国知局

技术特征:

1.一种基于人体姿态的无人车控制指挥方法,其特征在于,包括以下步骤:

s1:利用摄像头采集视频,转化为图片帧并进行预处理;

s2:对预处理后的图片帧进行目标检测分析,得到人体区域框;

s3:对人体区域框进行姿态检测,得到人体姿态特征信息;

s4:对人体姿态特征信息进行匹配,得到完整动作;

s5:对完整动作进行分类,并映射至无人车控制指令,完成无人车指令自动识别。

2.根据权利要求1所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s1中,利用摄像头采集视频数据,将视频数据按帧存储转化为图片帧,并进行预处理;

其中,若图片帧的采集场景为雾天或阴天,则对图片帧进行去噪处理;

若图片帧的亮度或暗度超过阈值,则调整图片帧的亮度或暗度;

若图片帧中人物大小超过阈值,则对图片帧进行缩放和裁剪处理;

若图片帧中人物站立角度超过阈值,则对图片帧进行旋转处理。

3.根据权利要求1所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s2中,进行目标检测分析的方法为:利用卷积神经网络检测预处理后的图片帧中人体所在区域并输出坐标,根据输出坐标进行区域裁剪,得到人体区域框。

4.根据权利要求1所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s3包括以下子步骤:

s31:利用空间变换网络接收人体区域框,并提取人体检测框,其计算公式为:

其中,表示转换之前的横坐标,表示转换之前的纵坐标,θ1表示空间变换网络的第一转换参数,θ2表示空间变换网络的第二转换参数,θ3表示空间变换网络的第三转换参数,表示转换之后的横坐标,表示转换之后的纵坐标;

s32:利用单人姿态检测算法对人体检测框进行姿态估计,得到人体姿态特征信息,并利用空间逆变换网络将人体姿态特征信息反映射至人体检测框中,其反映射公式为:

其中,γ1表示空间逆变换网络的第一转换参数,γ2表示空间逆变换网络的第二转换参数,γ3表示空间逆变换网络的第三转换参数;

s33:利用参数化姿态极大抑制法消除人体姿态特征信息中的重复姿态,完成姿态检测。

5.根据权利要求4所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s32中,进行反映射的过程中,采用平行的空间变换网络和单人姿态检测算法对人体姿态特征信息进行正则化。

6.根据权利要求4所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s33中,消除人体姿态特征信息中的重复姿态的计算公式为:

f(pi,pj|∧,η)=1(d(pi,pj|∧,λ)≤η)

其中,f(·)表示重复姿态函数运算,pi表示人体冗余姿态,pj表示人体姿态,∧表示d(·)的参数集合,η表示消除标准的阈值,d(·)表示姿态距离度量运算,λ表示权重系数。

7.根据权利要求1所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s4包括以下子步骤:

s41:截取采集的视频中所有开始模板和结束模板;

s42:将开始模板和结束模板与人体姿态特征信息进行匹配,将最后一次匹配到的开始动作记为am,将第一次匹配到的结束动作记为e1,并标记第一次匹配到的结束状态前的开始动作;

s43:将标准动作指令的持续时间换算为帧数,得到最低帧数和最高帧数;

s44:判断最后一次匹配到的开始动作am和第一次匹配到的结束动作e1之间的帧数是否大于等于最低帧数且小于等于最高帧数,若是则进入步骤s45,否则进入步骤s46;

s45:将最后一次匹配到的开始动作am和第一次匹配到的结束动作e1之间的所有帧作为完整动作帧序列,完成匹配;

s46:依次判断标记的第一次匹配到的结束状态前的开始动作和第一次匹配到的结束动作e1之间的帧数大于等于最低帧数且小于等于最高帧数,将其之间的所有帧作为完整动作帧序列,完成匹配。

8.根据权利要求7所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s41中,将视频中人体所有动作的开始状态作为开始模板,将视频中人体所有动作的手臂下垂状态作为结束模板;

所述步骤s42中,利用动作相似度对进行匹配,具体为:若动作相似度大于阈值,则将该人体姿态特征信息对应的动作标记为开始动作或结束动作,动作相似度k的计算公式为:

其中,xi表示预测的第i个关键点的横坐标,yi表示预测的第i个关键点的纵坐标,表示模板帧的第i个关键点的横坐标,表示模板帧的第i个关键点的纵坐标,m表示关键点个数;

所述步骤s43中,动作持续时间为2-4s的动作指令为标准动作指令。

9.根据权利要求1所述的基于人体姿态的无人车控制指挥方法,其特征在于,所述步骤s5中,利用人体姿态特征信息中的骨骼数据作为节点,构建时空图结构;将时空图结构输入至时空图卷积网络,利用时空图卷积网络对完整动作进行分类,并映射至无人车控制指令,完成无人车指令自动识别。


技术总结
本发明公开了一种基于人体姿态的无人车控制指挥方法,包括以下步骤:S1:利用摄像头采集视频,转化为图片帧并进行预处理;S2:对预处理后的图片帧进行目标检测分析,得到人体区域框;S3:对人体区域框进行姿态检测,得到人体姿态特征信息;S4:对人体姿态特征信息进行匹配,得到完整动作;S5:对完整动作进行分类,并映射至无人车控制指令,完成无人车指令自动识别。本发明基于人体姿态实现无人车指令自动识别,创新以计算机视觉的方法来实现对无人车的交互式控制,对于控制指挥中心来说是一种高效的指挥控制方式,对无人车智能化的发展有着极大的促进作用。

技术研发人员:杨幸;刘守池;段立新;李文;李晖
受保护的技术使用者:电子科技大学
技术研发日:2021.03.31
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1