本发明属于交通监测领域，特别涉及一种交通环境行人多维运动特征视觉提取方法。
背景技术
近年来，随着科学技术的飞速发展，越来越多的智能方法被应用到交通方面，尤其是智能驾驶领域。交通安全是永恒的话题，在碰撞类事故中，车辆与行人之间的碰撞也占了很大的比重。对行人及时的检测和姿态辨识是现在智能交通主动保护系统中的关键所在。要实现准确的辨识，最重要的是行人运动特征提取。
行人的姿态辨识包括全局特征法和局部特征法。全局特征多采用运动历史图像的方法，即将视频序列的帧差信息累积到一帧图像中，帧差包含一定的运动信息但并未包含运动人体的形状信息，且易受噪声干扰。还有方法是提取每一帧图像中行人的静态边缘信息，帧间图像需要人为的联合，给辨识造成困难。目前行人的速度检测，多采用雷达的方法，不能与视觉图像很好的结合。
中国专利cn105957103a提出了一种基于视觉的运动特征提取方法，包括以下步骤：1.基于连续帧提取每个像素点的运动矢量；2.提取在x、y、t方向像素值强烈变化的特征点；3.以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；4.通过聚类算法对局部描述子形成编码向量。该专利存在以下问题：1.提取每个像素点的运动矢量时，未对像素点进行有效的筛选，数据量大，计算复杂；2.专利所应用的聚类算法容易出现局部收敛。
综上所述，急需提出一种在交通环境下行人运动特征更为准确的提取方法。
技术实现要素：
本发明提供了一种交通环境行人多维运动特征视觉提取方法，其目的在于，对行人在道路中的行人姿势进行准确提取，为行车道路中车辆进行及时的预警，减少交通事故的发生。
一种交通环境行人多维运动特征视觉提取方法，包括以下步骤：
步骤1：构建行人运动数据库；
采集行人在深度摄像头各拍摄方向下的各种运动姿势与所处道路位置的视频，其中，所述拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向七个方向，所述姿势包括行走、跑步以及站立三种；
步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；
步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的hog特征；
步骤4：构建基于elman神经网络的行人运动姿势识别模型；
将各行人在连续图像帧对应的运动能量图作为输入数据，以对应的行人的姿势作为输出数据，对elman神经网络进行训练；
所述站立姿势输出对应为[001],行走姿势输出对应为[010],奔跑姿势输出对应为[100]；
所述elman神经网络参数设置，输入层节点数对应运动能量图像素个数x，隐藏层节点为2x+1，输出层节点为3，最大迭代次数为1500，学习率为0.001，阈值为0.00001；
步骤5：利用基于elman神经网络的行人运动姿势识别模型，判断当前视频中行人姿势；
将当前视频按照步骤2提取同一行人在连续帧图像中的行人检测框图像，并输入基于elman神经网络的行人运动姿势识别模型中，获得对应的姿势，进行姿势辨别；
步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在x轴和y轴方向上的瞬时速度序列，得到行人实时速度；
步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
路口的摄像头采用深度摄像头，建立路口环境下的三维立体场景，实时得到图像中行人的位置信息，根据实际道路情况将三维立体场景划分为人行道路和车行道路，当人进入三维立体场景中，对每一个人建立一个id，通过连续帧图像信息判断人的运动特征。
进一步地，使用鸡群算法对基于elman神经网络的行人运动姿势识别模型中的elman神经网络的权值和阈值进行优化，具体步骤如下：
步骤a1：将鸡群个体位置作为elman神经网络的权值和阈值，初始化鸡群参数；
种群规模m＝[20,100]，搜索空间维数为j，j的值为所需优化elman神经网络的权值和阈值的参数个数之和，最大迭次数t＝[400,1000]，迭代次数为t，初始值为0，公鸡比例pg＝20％，母鸡比例pm＝70％，小鸡比例px＝10％，从母鸡中随机选择母代母鸡，比例pd＝10％；
步骤a2：设置适应度函数，并令迭代次数t＝1；
依次将鸡群个体位置对应的权值和阈值代入基于elman神经网络的行人运动姿势识别模型中，并利用鸡群个体位置确定的基于elman神经网络的行人运动姿势识别模型确定输入的同一行人在连续帧图像中的行人检测框图像中的行人姿势，将同一行人在连续帧图像中的行人检测框图像的行人姿势检测值与对应的行人姿势实际值之差的倒数作为第一适应度函数f1(x)；
适应度越大，个体越优秀；
步骤a3：构建鸡群子群；
根据所有个体适应度值进行排序，选取适应度值排前m*pg的鸡群个体判定为公鸡，每只公鸡作为一个子群体的头领；选取适应度值排后m*px的鸡群个体判定为小鸡；其他鸡群个体判定为母鸡；
将鸡群分为根据公鸡个数划分子群，一个子群包括一只公鸡、若干小鸡和若干母鸡，并且每个小鸡在种群随机选择一只母鸡构建母子关系；
步骤a4：鸡群个体位置更新并计算当前每个个体的适应度；
公鸡位置更新公式：
其中，
母鸡位置更新公式：
其中，
小鸡位置更新公式：
其中，
步骤a5：根据适应度函数更新个体最优位置和鸡群全体个体最优位置，判断是否达到最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤a3，直到满足最大迭代次数，输出最优鸡群个体位置对应的elman神经网络的权值与阈值，得到基于elman神经网络的行人运动姿势识别模型。
进一步地，所述行人实时速度为
其中，
δwj＝k|w2-w1|＝k|x2×p-x1×p|，δlj＝|f(l2)-f(l1)|，l1＝(n-y1)×p，
行人目标点在前一帧图像和当前帧图像中的像素坐标分别为(x1,y1)和(x2,y2)；l1和l2分别表示行人目标点在相邻两帧图像中距离显示屏y轴边缘的距离；
k表示实际场景距离与显示屏中场景成像距离的比值，m和n分别表示显示屏中x轴和y轴方向的总像素点的个数；p表示显示屏中每个像素点的长度，mp、np分别为整个屏幕的x轴和y轴的总长度；δwj和δlj分别表示行人目标点在相邻两帧图像中沿x轴和y轴方向产生的位移；
ab表示深度摄像头到行人的距离，α表示深度摄像头到行人之间的连线和地平面之间的夹角，θ为深度摄像头到行人之间的直线与成像平面的夹角，m为帧数。
ab，α，θ的取值利用深度摄像头进行实时测量获得。
进一步地，根据行人的实时运动特征，对行车道路上的车辆进行行人行为级别预警；
所述行为级别包括安全、威胁以及危险三个级别；
所述安全行为包括行人距离车行道路一米之外处于站立姿势下，行人在人行道路上且距离车行道路一米以外沿车行道路平行方向或背向车行道路处于行走姿势下，背向车行道路处于跑步姿势；
所述威胁行为包括行人在人行道路上距离车行道路一米之内，且位于人行道路中处于站立姿势下，距离车行道路边缘一米以内处于跑步姿势下；
所述危险行为包括行人在人行道路上朝向车行道路方向或行人在车行道路中处于跑步姿势下，以及在车行道路中处于行走姿势下；
当处于威胁行为中行人的行走速度大于1.9m/s或跑步速度大于8m/s时，威胁行为升级为危险行为。
所述行为级别是指对处于交通环境中行人状态的安全状况，不同的行为级别对交通环境中行驶的车辆驾驶员进行提示，确保交通安全；
进一步地，所述行人目标点为行人检测框图像的左下角像素点。
进一步地，对行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量，构建行人轨迹；
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识p；
所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；
前一帧行人图像中的行人在后一帧行人图像中的出现结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中。
有益效果
本发明提供了一种交通环境行人多维运动特征视觉提取方法，包括以下几个步骤：步骤1：构建行人运动数据库；步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的hog特征；步骤4：构建基于elman神经网络的行人运动姿势识别模型；步骤5：利用基于elman神经网络的行人运动姿势识别模型，判断当前视频中行人姿势；步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在x轴和y轴方向上的瞬时速度序列，得到行人实时速度；步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
相对于现有技术而言，具有以下优点：
1.辨识准确率高：本发明提取的合成运动能量图的hog特征既包含了整个图像序列的行人运动信息，又包含了行人的运动能量信息，特征具有代表性，可极大地方便行人的姿态辨识；
2.方便应用：本发明提出的行人速度计算方法直接基于视觉图像进行运算，实现了速度检测与图像识别的完美结合，方便用户的使用；
3.网络结构完整，本发明不仅实现了对图像中行人的姿态辨识还实现了行人的速度计算，网络结构完整，可极大地方便用户；
4.鲁棒性好：本发明使用神经网络，具有极强的非线性拟合能力，应对光照变化、行人遮挡等问题时具有较好的鲁棒性。
附图说明
图1为本发明所述方法的流程图；
图2为深度摄像头与行人之间的距离关系示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步地说明。
如图1所示，一种交通环境行人多维运动特征视觉提取方法，包括以下步骤：
步骤1：构建行人运动数据库；
采集行人在深度摄像头各拍摄方向下的各种运动姿势与所处道路位置的视频，其中，所述拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向七个方向，所述姿势包括行走、跑步以及站立三种；
步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；
步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的hog特征；
步骤4：构建基于elman神经网络的行人运动姿势识别模型；
将各行人在连续图像帧对应的运动能量图作为输入数据，以对应的行人的姿势作为输出数据，对elman神经网络进行训练；
所述站立姿势输出对应为[001],行走姿势输出对应为[010],奔跑姿势输出对应为[100]；
所述elman神经网络参数设置，输入层节点数对应运动能量图像素个数x，隐藏层节点为2x+1，输出层节点为3，最大迭代次数为1500，学习率为0.001，阈值为0.00001；
使用鸡群算法对基于elman神经网络的行人运动姿势识别模型中的elman神经网络的权值和阈值进行优化，具体步骤如下：
步骤a1：将鸡群个体位置作为elman神经网络的权值和阈值，初始化鸡群参数；
种群规模m＝[20,100]，搜索空间维数为j，j的值为所需优化elman神经网络的权值和阈值的参数个数之和，最大迭次数t＝[400,1000]，迭代次数为t，初始值为0，公鸡比例pg＝20％，母鸡比例pm＝70％，小鸡比例px＝10％，从母鸡中随机选择母代母鸡，比例pd＝10％；
步骤a2：设置适应度函数，并令迭代次数t＝1；
依次将鸡群个体位置对应的权值和阈值代入基于elman神经网络的行人运动姿势识别模型中，并利用鸡群个体位置确定的基于elman神经网络的行人运动姿势识别模型确定输入的同一行人在连续帧图像中的行人检测框图像中的行人姿势，将同一行人在连续帧图像中的行人检测框图像的行人姿势检测值与对应的行人姿势实际值之差的倒数作为第一适应度函数f1(x)；
适应度越大，个体越优秀；
步骤a3：构建鸡群子群；
根据所有个体适应度值进行排序，选取适应度值排前m*pg的鸡群个体判定为公鸡，每只公鸡作为一个子群体的头领；选取适应度值排后m*px的鸡群个体判定为小鸡；其他鸡群个体判定为母鸡；
将鸡群分为根据公鸡个数划分子群，一个子群包括一只公鸡、若干小鸡和若干母鸡，并且每个小鸡在种群随机选择一只母鸡构建母子关系；
步骤a4：鸡群个体位置更新并计算当前每个个体的适应度；
公鸡位置更新公式：
其中，
母鸡位置更新公式：
其中，
小鸡位置更新公式：
其中，
步骤a5：根据适应度函数更新个体最优位置和鸡群全体个体最优位置，判断是否达到最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤a3，直到满足最大迭代次数，输出最优鸡群个体位置对应的elman神经网络的权值与阈值，得到基于elman神经网络的行人运动姿势识别模型。
步骤5：利用基于elman神经网络的行人运动姿势识别模型，判断当前视频中行人姿势；
将当前视频按照步骤2提取同一行人在连续帧图像中的行人检测框图像，并输入基于elman神经网络的行人运动姿势识别模型中，获得对应的姿势，进行姿势辨别；
步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在x轴和y轴方向上的瞬时速度序列，得到行人实时速度；
所述行人实时速度为
其中，
δwj＝k|w2-w1|＝k|x2×p-x1×p|，δlj＝|f(l2)-f(l1)|，l1＝(n-y1)×p，
行人目标点在前一帧图像和当前帧图像中的像素坐标分别为(x1,y1)和(x2,y2)；l1和l2分别表示行人目标点在相邻两帧图像中距离显示屏y轴边缘的距离；
k表示实际场景距离与显示屏中场景成像距离的比值，m和n分别表示显示屏中x轴和y轴方向的总像素点的个数；p表示显示屏中每个像素点的长度，mp、np分别为整个屏幕的x轴和y轴的总长度；δwj和δlj分别表示行人目标点在相邻两帧图像中沿x轴和y轴方向产生的位移；
如图2所示，ab表示深度摄像头到行人的距离，α表示深度摄像头到行人之间的连线和地平面之间的夹角，θ为深度摄像头到行人之间的直线与成像平面的夹角，ab，α，θ的取值利用深度摄像头进行实时测量获得，m为帧数。
步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
路口的摄像头采用深度摄像头，建立路口环境下的三维立体场景，实时得到图像中行人的位置信息，根据实际道路情况将三维立体场景划分为人行道路和车行道路，当人进入三维立体场景中，对每一个人建立一个id，通过连续帧图像信息判断人的运动特征。
根据行人的实时运动特征，对行车道路上的车辆进行行人行为级别预警；
所述行为级别包括安全、威胁以及危险三个级别；
所述安全行为包括行人距离车行道路一米之外处于站立姿势下，行人在人行道路上且距离车行道路一米以外沿车行道路平行方向或背向车行道路处于行走姿势下，背向车行道路处于跑步姿势；
所述威胁行为包括行人在人行道路上距离车行道路一米之内，且位于人行道路中处于站立姿势下，距离车行道路边缘一米以内处于跑步姿势下；
所述危险行为包括行人在人行道路上朝向车行道路方向或行人在车行道路中处于跑步姿势下，以及在车行道路中处于行走姿势下；
当处于威胁行为中行人的行走速度大于1.9m/s或跑步速度大于8m/s时，威胁行为升级为危险行为。
所述行为级别是指对处于交通环境中行人状态的安全状况，不同的行为级别对交通环境中行驶的车辆驾驶员进行提示，确保交通安全；
在本实例中，行人检测框图像的左下角像素点作为行人目标点。
对行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量，构建行人轨迹；
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识p；
所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；
前一帧行人图像中的行人在后一帧行人图像中的出现结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。