一种基于PointPillars的轨道交通异常行为检测方法及设备

本发明涉及三维目标检测，尤其是指一种基于pointpillars的轨道交通异常行为检测方法及设备。

背景技术：

1、异常行为的发生一直是公共安全领域的一个重要问题，对其进行准确检测具有广泛的应用空间，可在第一时间发现异常，并采取相应的行动和措施以确保相关对象的安全性。地铁站行人异常事件检测的方法有很多种，传统的监控行人异常行为的方法是采用人工观察监控视频的方式，此种方法虽然可以有效地检测出地铁客运站中的行人异常行为，但人的注意力和精力始终是有限的，所以可能会出现行人异常行为的漏检、发现不及时的情况，同时由于地铁站监控像头数量多，客流量大，会导致消耗大量的人力物力成本，因此针对地铁站中行人异常事件的自动检测方法具有重大意义。

2、但由于异常活动的种类众多，很难一概而论，因此对异常行为的定义也需要兼顾周围环境才能确定，通常异常活动会伴随着正常活动一起进行，因此对正常和异常活动进行分类就显得很重要。异常事件的定义在很大程度上取决于上下文，上下文在异常事件的定义中起着关键作用，再加上大量各种各样的意外事件，使得收集异常事件用于训练尤其困难。对于地铁站台场景，闸机跳跃和跟随是两种典型的异常行为，这两种行为严重危害了地铁的安全运营，给地铁方及其他乘客带来了不好的影响。因此，准确识别出这两种异常行为是十分必要的。

3、行为识别领域的研究大致经历包括：针对一些简单的人体动作进行剖析，例如，走路、跑步、踏步等等；利用背景减除法将轮廓特征从背景场景中提取出来，建立了行为描述模板；将隐马尔科夫算法(hmm)运用到人体行为识别当中，致力于基于状态空间行为识别研究；基于自主开发的特征提取器、二维姿态估计和机器学习技术，提出了一种快速用于视觉问答的人体动作识别方法，这种提取器可以根据距离、角度和检测到的关键点的位置来获取特征；将全局方向梯度直方图特征从每一帧图像中提取出来，以此来建立人体轮廓模型，同时提取了用以描述动作信息的三维光流直方图特征，用这种融合的方法来表征人体的运动特征；使用迁移学习来训练一些最著名的基于卷积神经网络的架构，并对这些架构进行了适当的调整，以便为基于静态图像的人体动作识别开发一个模型，在人体混乱动作识别及遮挡识别中取得了较好的效果。

4、目前，基于机器视觉的异常行为检测可看作是一个高层次的图像理解操作，从输入的图像序列中提取逻辑信息并进行行为建模。通常建模的思路包括两种：一种是首先学习正常行为的模型并以此为基础检测异常；另一种是通过批量或在线观察数据的统计特性自动学习模型。异常行为检测技术可被分为四个阶段：视频帧序列化阶段，负责将视频转化成帧或片段；预处理阶段，完成数据的清理工作；特征提取阶段，从视频中提取对象的运动特征；检测分类阶段，使用分类器对数据进行异常检测。在异常检测问题上，受监督的机器学习模型只能在“正常”数据上训练，比如，在描述系统“正常”运行情况的数据上训练。只有在分类/预测完成后，才能评估出输入数据是不是异常。

5、主流的人体行为识别研究方式主要是在采集到的视频图像数据的基础上进行算法的研究分析。然而利用计算机视觉的采集方式，易受到光照、纹理、遮挡等环境因素的影响，常会导致采集到的数据不准确。且现有的对闸机处异常行为检测的方法，是利用闸机处的视频图像，对乘客骨骼关键点进行检测，来检测通过闸机的乘客的行为，但由于背包等携带物对乘客图像的影响，导致无法准确识别经通过闸机的乘客的姿态。

6、在基于点云的传统障碍物检测算法中，最普遍的是通过激光雷达点云数据构建栅格地图，而后将点云投影到二维栅格中，对每一个栅格内部点云的均值和高度差进行统计，从而实现对障碍物的检测。cheng j提出了一种基于点云梯度的局部最优分割算法，通过对激光雷达扫描线的梯度分割，实现地面点云和目标点云的有效分割，然后提取目标点云特征，利用svm分类器完成障碍物分类任务。还有一类方法是通过激光点云构建点云无向图，将每个激光点作为图中的一个节点，利用节点间的距离等相关特征进行分割。moosmann提出一种基于无向图的点云分割方法，将点云看作连续曲面上的离散采样，计算曲面在每个节点的法向量并作为节点特征，如果两个相邻节点法向量相似则认为这两节点所处局部曲面较平滑，应当属于同一个物体，利用相邻节点间的相似性特征实现点云目标的分割。该检测方法计算量较大，一般适用于低速行驶场景中。peng y通过对激光点云数据的滤波和聚类，获取目标信息，实现障碍物检测与避障，并通过matlab仿真验证了该算法的有效性。

7、另一种更为高效的障碍物检测方法是利用激光点云构建二维深度图，图像中每一个像素存储的是激光点距离坐标原点的距离，在二维深度图中实现障碍物的快速分割。bogoslavskyi将三维激光点云转换为二维深度图，在二维深度图中完成地面的分离和障碍物的聚类。该方法能够在复杂环境下解析环境信息，提取障碍物特征，且处理速度能满足实际要求，但缺陷是需要设定多个阈值，且对噪声较为敏感。

8、随着神经网络的发展与成熟，越来越多的研究学者尝试将深度学习应用于点云空间的障碍物检测。基于深度学习的点云语义分割技术将每个点云都赋予一个标签，从而将具有不同属性的点云分割开来，以实现对全局几何结构以及每个点的颗粒度细节的了解。由于点云无序、无结构，使得标准cnn无法直接应用于点云处理中。为此，pointnet作为点云语义分割的先驱，利用点云的顺序无关性和刚体变换不变性，通过计算每一个点的特征得到全局点云分布特征，最后实现了直接面向原始点云的点云分割和目标识别，其中使用的是标准的多层感知器(mlp)和全局特征。在此基础上，pointnet++采用多尺度和多分辨率分组两种方式解决点云低密度区域的局部信息丢失问题。之后，liu x提出了引入sift模块来完成八个不同方向的编码，从而获取更为全面的特征。并且通过多尺度的信息堆叠获得尺度不变性，增强网络鲁棒性。为了进一步提升分割的准确率，pham q h针对点云分割，提出了基于注意力的机制，利用组随机注意力机制寻找点与点的关联，并将应用广泛的最远点采样法进行分析，从而提出了gumbel分组采样，该方法具有置换不变性，且对噪点不敏感，更符合实际使用的要求。尽管这些方法从检测精度上看都取得了不错效果，但是由于体素表示在特征提取阶段消耗庞大的计算量使得其检测速度大幅降低。

9、综上所述，当前大多数关于异常行为的研究都是在机器视觉的基础上展开的，然而利用机器视觉的采集方式，易受到光照、纹理、遮挡等环境因素的影响，会导致采集到的数据不准确。而基于点云处理的方法，在提取行为特征时，无法同时保障检测精度与特征提取效率，其特征提取消耗大，大幅降低了检测速度。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术利用点云数据检测时，特征提取消耗大，导致成本高、检测速度降低的问题。

2、为解决上述技术问题，本发明提供了一种基于pointpillars的轨道交通异常行为检测方法，包括：

3、将训练好的pointpillars网络部署在jetson tx2 nx上，实时采集行人通过闸机处的行为点云数据，发送至jetson tx2 nx；

4、利用pointpillars网络检测所述行为点云数据，获取基于oxy平面的点云伪图；

5、对所述点云伪图进行预处理，提取出3d感兴趣区域；

6、根据所述3d感兴趣区域，识别出闸机位置，获取闸机平面方程与闸机法向量，并对齐闸机平面与y轴，获取矫正的3d感兴趣区域；

7、将矫正的3d感兴趣区域输入训练好的pointpillars网络中，获取当前通过闸机处的乘客行为类别检测结果。

8、在本发明的一个实施例中，所述训练好的pointpillars网络的获取，包括：

9、采集行人通过闸机处的行为点云数据；

10、利用pointpillars网络检测所述行为点云数据，获取基于oxy平面的点云伪图；对所述点云伪图进行预处理，提取出3d感兴趣区域；

11、根据所述3d感兴趣区域，识别出闸机位置，获取闸机平面方程与闸机法向量，并对齐闸机平面与y轴，获取矫正的3d感兴趣区域；

12、利用cloudcompare对矫正的3d感兴趣区域中的点云数据进行行为类别标注，利用标注后的数据训练pointpillars网络，随机初始化网络权重，迭代预设次数，获取训练好的pointpillars网络。

13、在本发明的一个实施例中，所述pointpillars网络包括：

14、pill feature net，用于在三维空间内将所述行为点云数据，按照原始柱均匀划分，并提取出柱内的行为点云数据的特征，生成点云伪图；

15、backbone，由2d卷积神经网络组成，利用不同步长提取所述点云伪图的高维特征，进行多尺度特征融合，生成融合特征；

16、detection，利用ssd检测头检测所述融合特征，进行目标分类检测和非极大值抑制回归位置操作，生成目标对象的三维边界框。

17、在本发明的一个实施例中，所述利用pointpillars网络检测所述行为点云数据，获取基于oxy平面的点云伪图，包括：

18、对行为点云数据中的像素点进行划分，使其均匀的分布在基于oxy平面的网格中；

19、利用反射率、像素点到原始柱中所有点的算数平均值以及像素点到柱中心的方向偏离，对行为点云数据进行数据增强；

20、利用随机采样与零填充的方式，将数据增强后的行为点云数据，编码为一个张量；

21、将张量按照pointpillars网络中原始柱的位置堆积，获取点云伪图。

22、在本发明的一个实施例中，所述对所述点云伪图进行预处理，提取出3d感兴趣区域，包括：

23、利用ransac算法，基于点云伪图，求解地面方程及地面法向量；

24、利用所述地面法向量对地面进行矫正；

25、根据矫正后的点云数据，获取闸机感兴趣区域内的3d感兴趣区域。

26、在本发明的一个实施例中，所述根据所述3d感兴趣区域，识别出闸机位置，获取闸机平面方程与闸机法向量，并对齐闸机平面与y轴，获取矫正的3d感兴趣区域，包括：

27、根据所述3d感兴趣区域，识别出其中第一个闸机的位置；

28、利用ransac算法获取第一个闸机的平面方程与闸机法向量；

29、利用所述闸机法向量，对齐闸机平面与y轴，令闸机平面与y轴夹角为0，获取矫正的3d感兴趣区域。

30、在本发明的一个实施例中，所述乘客行为类别包括：跳跃、跟随与正常通过。

31、在本发明的一个实施例中，所述乘客行为类别检测结果包括三维边界框、乘客行为类别、置信度与相对应的行为点云数据。

32、本发明还提供了一种基于pointpillars的轨道交通异常行为检测设备，包括：

33、激光雷达，设置于闸机上，用于获取通过闸机的乘客的行为点云数据；

34、上位机，与所述激光雷达通讯连接，用于执行如权利要求1至8任一项所述的基于pointpillars的轨道交通异常行为检测方法，获取乘客行为类别检测结果；

35、报警器，与所述上位机连接，用于在所述乘客行为类别检测结果中的乘客行为类别为跳跃或跟随时，发出警报。

36、在本发明的一个实施例中，所述激光雷达采用型号为horn-x2的benewake固态激光雷达。

37、本发明的上述技术方案相比现有技术具有以下优点：

38、本发明所述的基于pointpillars的轨道交通异常行为检测方法，利用pointpillars网络实现对行为点云数据的检测，进而获取乘客行为类别；通过对行为点云数据进行基于地面与基于闸机平面的拟合与矫正，获取矫正的3d感兴趣区域，输入pointpillars网络中进行检测，提高了点云识别准确度，能更好的识别出乘客行为类别；且利用pointpillars网络来提取点云特征，实现对行为点云数据的多尺度特征融合，极大的提高了特征提取效率，提升了检测速度；

39、本发明将pointpillars网络部署在jetson tx2 nx上，在边缘端完成检测，不过多占用本地资源，减少本地消耗；且可提供出色的速度与能效，配备多种标准硬件接口，有大量可用的计算及存储资源；

40、本发明的基于pointpillars的轨道交通异常行为检测设备，仅需要在闸机上安装激光雷达来采集乘客行为点云数据，装置简单，成本低。