一种行人行为状态识别方法及系统与流程

1.本发明涉及图像处理领域，特别是涉及一种行人行为状态识别方法及系统。


背景技术：

2.随着汽车智能化的起步，人们对于汽车安全性的要求越来越高；而在实际道路交通环境中，行人作为最为复杂的交通要素之一，与车辆发生事故的可能性较大，因此，准确识别行人的行为状态，辅助车辆或驾驶员更好地做出反应有着极其重要的作用。
3.现阶段，针对行人行为状态的识别方法，主要是直接通过原始图像数据来判断；这种识别方法的局限性在于，数据量较大，运算复杂，同时干扰信息较多，使得该方法无法准确识别行人的行为状态，并且存在实用性不强的问题。


技术实现要素：

4.本发明的目的是提供一种行人行为状态识别方法及系统，能够提高识别行人状态的准确性。
5.为实现上述目的，本发明提供了如下方案：一种行人行为状态识别方法，包括：利用车载摄像机采集行人图像信息；所述行人图像信息包括：设定时间段内连续的图像序列；所述图像序列包括图像信息和时间戳信息；根据所述行人图像信息，采用骨架识别方法，确定行人骨架节点数据；所述行人骨架节点数据包括：脊柱上下止点、肩关节、肘关节、髋关节、腕关节、膝关节以及踝关节节点；根据所述行人骨架节点数据提取行人骨架特征；所述行人骨架特征包括：距离特征、角度数值特征和角度数量特征；根据行人骨架特征，采用行人行为分类器，确定行人的行为状态；所述行人行为分类器以行人骨架特征为输入，以行人行为状态为输出；所述行人的行为状态包括：静止、行走或奔跑。
6.可选地，所述根据所述行人骨架节点数据提取行人骨架特征，具体包括：对所述行人骨架节点数据进行预处理；所述预处理包括：对骨架缺失的修补以及对节点缺失的修补；利用预处理后的行人骨架节点数据进行行人骨架特征的提取。
7.可选地，所述利用预处理后的行人骨架节点数据进行行人骨架特征的提取，具体包括：利用公式和公式确定距离特征；
利用公式和公式确定角度数值特征；利用公式和公式确定角度数量特征；其中，和分别为距离特征，为左右膝盖节点的距离和左右脚踝节点的距离除以行人的脊柱高度的值，分别为角度数值特征，为人体双膝关节所成角度，分别为角度数量特征，n为节点标号。
8.可选地，所述根据行人骨架特征，采用行人行为分类器，确定行人的行为状态，之前还包括：根据行人骨架特征，对行人图像信息进行聚类，建立行人行为分类器；聚类方法包括：k
‑
means++聚类算法或高斯混合模型聚类算法。
9.一种行人行为状态识别系统，包括：行人图像信息采集模块，用于利用车载摄像机采集行人图像信息；所述行人图像信息包括：设定时间段内连续的图像序列；所述图像序列包括图像信息和时间戳信息；行人骨架节点数据确定模块，用于根据所述行人图像信息，采用骨架识别方法，确定行人骨架节点数据；所述行人骨架节点数据包括：脊柱上下止点、肩关节、肘关节、髋关节、腕关节、膝关节以及踝关节节点；人骨架特征提取模块，用于根据所述行人骨架节点数据提取行人骨架特征；所述行人骨架特征包括：距离特征、角度数值特征和角度数量特征；行为状态确定模块，用于根据行人骨架特征，采用行人行为分类器，确定行人的行为状态；所述行人行为分类器以行人骨架特征为输入，以行人行为状态为输出；所述行人的行为状态包括：静止、行走或奔跑。
10.可选地，所述人骨架特征提取模块具体包括：人骨架节点数据预处理单元，用于对所述行人骨架节点数据进行预处理；所述预处理包括：对骨架缺失的修补以及对节点缺失的修补；人骨架特征提取单元，用于利用预处理后的行人骨架节点数据进行行人骨架特征的提取。
11.可选地，所述人骨架特征提取单元具体包括：距离特征确定子单元，用于利用公式和公式确定距离特征；
角度数值特征确定子单元，用于利用公式和公式确定角度数值特征；角度数量特征确定子单元，用于利用公式和公式确定角度数量特征；其中，和分别为距离特征，为左右膝盖节点的距离和左右脚踝节点的距离除以行人的脊柱高度的值，分别为角度数值特征，为人体双膝关节所成角度，分别为角度数量特征，n为节点标号。
12.可选地，还包括：行人行为分类器建立模块，用于根据行人骨架特征，对行人图像信息进行聚类，建立行人行为分类器；聚类方法包括：k
‑
means++聚类算法或高斯混合模型聚类算法。
13.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明所提供的一种行人行为状态识别方法及系统，利用摄像机收集的图像信息，从中提取出行人骨架信息，从行人骨架信息中提取出所需的特征，降低了特征提取的难度。利用聚类算法进行训练得到行人行为状态分类器，降低了聚类计算得到标签的成本，缩短了系统的训练时长。同时行人骨架节点的数据量远远小于原始图像，降低了系统中数据传输的压力。能够对行人行为状态进行识别，并且提高了识别的准确性。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明所提供的一种行人行为状态识别方法流程示意图；图2为人体骨架节点示意图；图3为本发明所提供的一种行人行为状态识别系统结构示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明的目的是提供一种行人行为状态识别方法及系统，能够提高识别行人状态
的准确性。
18.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
19.图1为本发明所提供的一种行人行为状态识别方法流程示意图，如图1所示，本发明所提供的一种行人行为状态识别方法，包括：s101，利用车载摄像机采集行人图像信息；所述行人图像信息包括：设定时间段内连续的图像序列；所述图像序列包括图像信息和时间戳信息；s102，根据所述行人图像信息，采用骨架识别方法，确定行人骨架节点数据；如图2所示，所述行人骨架节点数据包括：脊柱上下止点（1节点，8节点）、肩关节（2节点，5节点）、肘关节（3节点，6节点）、髋关节（9节点，12节点）、腕关节（4节点，7节点）、膝关节（10节点，13节点）、踝关节节点（11节点，14节点），节点数据由相应节点的在图像中的二维坐标信息组成；s103，根据所述行人骨架节点数据提取行人骨架特征；所述行人骨架特征包括：距离特征、角度数值特征和角度数量特征；s103具体包括：对所述行人骨架节点数据进行预处理；所述预处理包括：对骨架缺失的修补以及对节点缺失的修补；预处理具体的过程为：针对部分帧图像骨架缺失情况：首先判断该缺失帧的前j帧、后k帧中是否缺失，如果缺失则判断其不能进行修补。如果未缺失则选取最近的两帧作为修补的数据来源。缺失帧i的节点数据则可以由式计算得到：；式中分别为节点的横纵像素坐标，n为节点标号。
20.针对图像中缺失部分节点的情况：首先判断前一帧和后一帧中的骨架中对应节点是否缺失，如果相应节点都存在的话，再应用线性插值的方式进行修补，如果出现缺失的话，则不进行修补，因为此时进行插值可能导致较大的误差。其各节点修复时的公式如下：；式中分别表示节点的横纵像素坐标，下表中n表示节点标号，i表示其是第i帧中的骨架节点数据。
21.利用预处理后的行人骨架节点数据进行行人骨架特征的提取。
22.利用公式和公式确定距离特征；利用公式和公式确定角度数值特征；利用公式和公式确定角度数量特征；其中，和分别为距离特征，为左右膝盖节点的距离和左右脚踝节点的距离除以行人的脊柱高度的值，分别为角度数值特征，为人体双膝关节所成角度，分别为角度数量特征，n为节点标号。
23.；加入修正系数10和5来保持特征与之后聚类特征保持数量级上的一致。
24.；为两节点在像素坐标系下的欧式距离。
25.分别为的算术平均值除以调整系数90，以保证各个维度的特征在数量级上保持一致。
26.为在10帧中大于175
°
的个数除以调整系数10，为在10帧中大于175
°
的个数除以调整系数10。
27.s104，根据行人骨架特征，采用行人行为分类器，确定行人的行为状态；所述行人行为分类器以行人骨架特征为输入，以行人行为状态为输出；所述行人的行为状态包括：静止、行走或奔跑。
28.s104根据行人骨架特征，对行人图像信息进行聚类，建立行人行为分类器；聚类方法包括：k
‑
means++聚类算法或高斯混合模型聚类算法。
29.聚类后的行人图像信息聚类得到三个簇，不同簇对应的行人行为状态特征值划分范围便可以作为判断行人行为状态的依据，即通过判断输入行人骨架特征的所属的特征值范围来判断其所属的簇，进而判断对应的行为状态。所述行人行为状态为静止、行走、奔跑，根据实际经验，例如距离特征较小的行人为静止状态，角度数值和数量特征较大的行人为奔跑状态，来判断不同簇多对应的行人行为状态；通过判断输入行人骨架特征的所属的特征值范围来判断其所属的簇，进而判断对应的行为状态。
30.图3为本发明所提供的一种行人行为状态识别系统结构示意图，如图3所示，本发明所提供的一种行人行为状态识别系统，包括：行人图像信息采集模块301，用于利用车载摄像机采集行人图像信息；所述行人图像信息包括：设定时间段内连续的图像序列；所述图像序列包括图像信息和时间戳信息；行人骨架节点数据确定模块302，用于根据所述行人图像信息，采用骨架识别方法，确定行人骨架节点数据；所述行人骨架节点数据包括：脊柱上下止点、肩关节、肘关节、髋关节、腕关节、膝关节以及踝关节节点；人骨架特征提取模块303，用于根据所述行人骨架节点数据提取行人骨架特征；所述行人骨架特征包括：距离特征、角度数值特征和角度数量特征；行为状态确定模块304，用于根据行人骨架特征，采用行人行为分类器，确定行人的行为状态；所述行人行为分类器以行人骨架特征为输入，以行人行为状态为输出；所述行人的行为状态包括：静止、行走或奔跑。
31.所述人骨架特征提取模块303具体包括：人骨架节点数据预处理单元，用于对所述行人骨架节点数据进行预处理；所述预处理包括：对骨架缺失的修补以及对节点缺失的修补；人骨架特征提取单元，用于利用预处理后的行人骨架节点数据进行行人骨架特征的提取。
32.所述人骨架特征提取单元具体包括：距离特征确定子单元，用于利用公式和公式确定距离特征；角度数值特征确定子单元，用于利用公式和公式确定角度数值特征；角度数量特征确定子单元，用于利用公式和公式确定角度数量特征；
其中，和分别为距离特征，为左右膝盖节点的距离和左右脚踝节点的距离除以行人的脊柱高度的值，分别为角度数值特征，为人体双膝关节所成角度，分别为角度数量特征，n为节点标号。
33.本发明所提供的一种行人行为状态识别系统，还包括：行人行为分类器建立模块，用于根据行人骨架特征，对行人图像信息进行聚类，建立行人行为分类器；聚类方法包括：k
‑
means++聚类算法或高斯混合模型聚类算法。
34.本发明的优点如下：1.训练时间短，传输数据量少不同于传统方法直接采用行人图像信息作为行人行为识别数据源，本方法首先从原始图像信息之中提取出行人骨架关键节点，再从其中提取特征，降低了特征提取的难度，简化了之后的聚类系统，同时降低了聚类计算得到标签的成本，缩短了系统的训练时长。同时行人骨架节点的数据量远远小于原始图像，降低了系统中数据传输的压力。
35.2.对干扰的鲁棒性较强本方法所使用的数据预处理方法能够对缺失或不完整的骨架数据进行修补，提升了数据的完整性和连续性，减低了少数数据缺失对识别效果的影响。
36.3.直观性强，方便针对具体情况对系统进行调整本方法采用行人骨架关键节点作为行为识别的依据，具有较强的直观性，能够较为容易地赋予相关特征参数实际意义，可解释性较强，降低特征选取的难度，方便针对具体情况对相关特征或参数进行调整。
37.4.无需人为划定参数范围本方法采用聚类分析方法将不同特征参数的行人聚为k类，不同类别行人局域不同的行为状态；根据该聚类结果，能够训练行人行为识别器，该识别器能够根据特征参数识别行人的行为状态，避免传统行人行为识别方法中通过人为主观划分参数范围来判定行人行为状态带来的弱泛化性和不确定性。
38.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
39.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。