一种人体运动速度估计方法与流程

文档序号:15494108发布日期:2018-09-21 21:17阅读:363来源:国知局
本发明属于运动预测
技术领域
,具体地说是一种人体运动速度估计方法。
背景技术
:近年来,随着深度学习的膨胀式发展,目前基于卷积神经网络的图像识别已进入激烈竞争阶段,将深度学习用于图像分析的案例越来越多,例如植物、服饰、人脸等识别。另外随着智慧城市的提出,视频监控必将在智慧建设中占据重要地位,智能监控将会更多的应用到服务行业、安全设备中去。通过视频分析人体运动趋势,从而对人体行为做出预测也逐渐引起众多研究人员的注意,这个课题对于公共安全、生产安全、家居老人安全等都有重要意义。技术实现要素:本发明要解决的技术问题是提供一种人体运动速度估计方法,更加精确的估计人体运动速度,应用更加广泛。为了解决上述技术问题,本发明采取以下技术方案:一种人体运动速度估计方法,包括以下步骤:s1,获取视频图像中的人体结构框架,人体结构框架上设定n个关节点;s2,序列化n个关节点,序列化的数据有[f,j,x,y,θ,v],其中f表示视频帧,j表示n个关节点的索引值,x表示关节点的横坐标,y表示关节点的纵坐标,θ表示关节点相对图像x轴正方向的顺时针方向角度,v表示关节点的速度大小,初始速度为0;s3,计算关节点j(j∈0,n-1)的速度大小vj和方向θj,利用连续帧间权重递增法估计下一帧关节点的运动速度;s4,计算人体躯干重心位置c(x,y),得到当前的人体躯干重心c的运动速度并作为人体整体运动速度,利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心c的运动速度;s5,将人体结构框架划分为6个部位,每个部位包含至少一个关节点,分别为首部、右上肢、左上肢、躯干、右下肢和左下肢,每个部位选择一个关节点设定为轴心节点,同时每个部位中的所有节点都为速度节点;s6,利用提出的关节点-轴心节点速度法线距离权重法,计算每个部位中的各个关节点的速度,将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。所述关节点的数量n设为14,具体为{头,颈,左肩,右肩,左肘,右肘,左腕,右腕,左臀,右臀,左膝,右膝,左脚踝,右脚踝},14个关节点的索引依次为{0,1,2,3,4,5,6,7,8,9,10,11,12,13},其中首部包含关节点{0}、右上肢包含关节点{2,4,6}、左上肢包含关节点{3,5,7}、躯干包含关节点{1,8,9}、右下肢包含关节点{8,10,12}、左下肢包含关节点{9,11,13}。所述步骤s3具体为:设关节点j连续两帧的图像为fj0(x0,y0)和fj1(x1,y1),则该两帧图像之间坐标满足即fj1(x1,y1)=fj0(x0+δx,y0+δy),通过傅里叶变换将图像坐标转化为相位坐标,fj1(u,v)=fj0(u,v)exp{-n2π(xj0u+yj0v)}根据傅里叶变换的相位相移特性,关节点j连续两帧之间的相位差为δf(u,v)=fj0(u,v)-fj1(u,v)=2π(xj0u+yj0v),对δf(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移δfj(x,y),计算速度大小速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度,计算运动速度加权平均值,该加权平均值即为下一帧关节点j的估计速度大小关节点j的速度方向加权平均值同时更新序列化数据中所有关节点的速度大小和速度方向。所述步骤s4具体为:设连续两帧图像人体躯干重心图像函数为fc0(xc0,yc0)、fc1(xc1,yc1),其中,根据连续临近帧权重递增法得到人体整体运动速度大小速度方向经过连续n帧权重递增方法精确估计下一帧人体整体运动速度值和角度,所述步骤s6具体为:计算关节点的速度时分别计算得到各个关节点在x轴、y轴方向的速度,其中p为各个部位的轴心节点,q为所有的关节点;将同一部位的x轴、y轴方向的速度乘以权重系数后分别累加,则vx和vy合成后即为该部位速度,该部位速度的角度为该部位速度大小为所述人体躯干重心位置c的计算方法为:计算{颈,左臀,右臀}即关节点{1,8,9}的几何重心,得到人体重心位置,所述关节点的速度方向θ,为表示速度方向变化程度,由[0,360°]的变化范围归一化为[0,1]。所述采用深度识别vgg卷积神经网络提取视频图像中人体结构框架。本发明能够更加精确人体运动速度,得到下一步的运动趋势,供研究参考用,可广泛应用于公共安全、生产安全、日常生活等各个行业领域。附图说明附图1为本发明流程示意图;附图2为人体关节点示意图;附图3为节点速度权重计算示意图;附图4为部位计算示意图。具体实施方式为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能,下面结合附图与具体实施方式对本发明作进一步详细描述。如附图1-4所示,本发明揭示了一种人体运动速度估计方法,包括以下步骤:s1,获取视频图像中的人体结构框架,人体结构框架上设定n个关节点。可采用深度识别vgg卷积神经网络提取视频图像中人体结构框架。总共设置14个关节点,具体为{头,颈,左肩,右肩,左肘,右肘,左腕,右腕,左臀,右臀,左膝,右膝,左脚踝,右脚踝},14个关节点的索引依次为{0,1,2,3,4,5,6,7,8,9,10,11,12,13},其中首部包含关节点{0}、右上肢包含关节点{2,4,6}、左上肢包含关节点{3,5,7}、躯干包含关节点{1,8,9}、右下肢包含关节点{8,10,12}、左下肢包含关节点{9,11,13}。如下表一所示:表一节点索引人体节点0头1颈2左肩3右肩4左肘5右肘6左腕7右腕8左臀9右臀10左膝11右膝12左脚踝13右脚踝s2,序列化14个关节点,序列化的数据有[f,j,x,y,θ,v],其中f表示视频帧,j表示n个关节点的索引值,x表示关节点的横坐标,y表示关节点的纵坐标,θ表示关节点相对图像x轴正方向的顺时针方向角度,v表示关节点的速度大小,初始速度为0。s3,计算关节点j(j∈0,n-1)的速度大小vj和方向θj,利用连续帧间权重递增法估计下一帧关节点的运动速度。在视频中连续n帧的人体运动速度较为接近,帧间越临近速度越接近。设关节点j连续两帧的图像为fj0(x0,y0)和fj1(x1,y1),则该两帧图像之间坐标满足即fj1(x1,y1)=fj0(x0+δx,y0+δy),通过傅里叶变换将图像坐标转化为相位坐标,fj1(u,v)=fj0(u,v)exp{-n2π(xj0u+yj0v)}根据傅里叶变换的相位相移特性,关节点j连续两帧之间的相位差为δf(u,v)=fj0(u,v)-fj1(u,v)=2π(xj0u+yj0v),对δf(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移δfj(x,y),计算速度大小速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度,计算运动速度加权平均值,该加权平均值即为下一帧关节点j的估计速度大小关节点j的速度方向加权平均值同时更新序列化数据中所有关节点的速度大小和速度方向。s4,计算人体躯干重心位置c(x,y),得到当前的人体躯干重心c的运动速度并作为人体整体运动速度,利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心c的运动速度。s5,将人体结构框架划分为6个部位,每个部位包含至少一个关节点,分别为首部、右上肢、左上肢、躯干、右下肢和左下肢,每个部位选择一个关节点设定为轴心节点,同时每个部位中的所有节点都为速度节点。在本实施例中,首部仅含有一个节点,故首部所包含的0节点即为轴心节点也为仅有的速度节点;右上肢部位以节点2为轴心节点,节点2、4、6为速度节点;左上肢部位以节点3为轴心节点,节点3、5、7为速度节点;右下肢部位以节点8为轴心节点,节点8、10、12为速度节点;左下肢部位以节点9为轴心节点,节点9、11、13为速度节点;躯干部位以躯干重心c为轴心节点,节点1、8、9为速度节点。按照上以方式设定轴心节点,是因为人类运动规律上肢的摆动以左右肩为轴心以类似钟摆形式甩动,且相邻两个关节点以肱骨或尺骨为连杆,左右上肢的运动范围和轴变角度都局限在一定范围。同理左右下肢也满足与上肢相同的运动规律。躯干和首部也可近似为轴心运动,摆动位置始终保持垂直向下方向。利用提出的关节点-轴心节点速度法线距离权重法计算节点的速度权重。轴心节点为部位速度估算的基准节点,规定轴心节点的速度权重为1。关节点-轴心节点速度法线距离权重法:将关节点和轴心节点的速度分解为x、y轴方向的速度分量,计算关节点x(y)轴方向速度分量的法线与轴心节点x(y)轴方向速度分量的法线之间的距离,并将该距离作为x(y)轴方向速度合成时该关节点的速度权重。以右上肢为例说明速度节点权重计算方法,设轴心节点2的坐标为(x2,y2),节点4坐标(x4,y4),节点6坐标(x6,y6)。根据连续帧间权重递增法得到节点2的速度方向θ2,节点4的速度方向θ4,节点6的速度方向θ6。将节点速度分解为x轴和y轴方向的速度分量,如图4所示,其中β2y为节点2速度v2y轴方向分量v2y的法线,β2x为节点2速度v2x轴方向分量v2x的法线,β4y为节点4速度v4y轴方向分量v4y的法线,β4x为节点4速度v4x轴方向分量v4x的法线,β6y为节点6速度v6y轴方向分量v6y的法线,β6x为节点6速度v6x轴方向分量v6x的法线。则节点2、4、6x轴方向的速度分量权重为β2x、β4x、β6x与轴心节点2x轴方向的法线β2x之间的距离,即为节点2、4、6的横坐标与轴心节点横坐标之间的距离:同理可得节点2、4、6在y轴方向的速度分量权重:将上述计算方式延伸到其他5个部位,则各关节点在x、y轴方向的速度权重可归结为:其中p为各个部位的轴心节点,p∈p{0,2,3,8,9,躯干部位重心},q各个部位的所有关节点。人体日常肢体活动的表现形式集中在四肢、首部和躯干,人的行为可以通过四肢、首部或躯干某一个部位的动作描述,对人体行为的判断是基于人体肢体动作的分析。s6,利用提出的关节点-轴心节点速度法线距离权重法,计算每个部位中的各个关节点的速度,将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。所述步骤s4具体为:设连续两帧图像人体躯干重心图像函数为fc0(xc0,yc0)、fc1(xc1,yc1),其中,根据连续临近帧权重递增法得到人体整体运动速度大小速度方向经过连续n帧权重递增方法精确估计下一帧人体整体运动速度值和角度,所述步骤s6具体为:计算关节点的速度时分别计算得到各个关节点在x轴、y轴方向的速度,其中p为各个部位的轴心节点,q为所有的关节点;将同一部位的x轴、y轴方向的速度乘以权重系数后分别累加,则vx和vy合成后即为该部位速度,该部位速度的角度为该部位速度大小为所述人体躯干重心位置c的计算方法为:计算{颈,左臀,右臀}即关节点{1,8,9}的几何重心,得到人体重心位置,所述关节点的速度方向θ,为表示速度方向变化程度,由[0,360°]的变化范围归一化为[0,1]。通过以上的计算,可以较为精确的估计到下一帧的人体整体运动速度,为研究分析提供更加可靠的参考数据。需要说明的是,以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,但是凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1