一种机器视觉融合身高特征的实时步态识别系统

本发明涉及步态识别，具体涉及一种机器视觉融合身高特征的实时步态识别系统。

背景技术：

1、近年来，计算机视觉与深度学习的迅速发展使得以指纹识别和人脸识别为典型代表的生物识别技术取得了长足的进步，其应用场景越来越广泛，在学校、家庭、商场、站点等场所中，随处可见其相关产品。

2、然而，指纹识别、人脸识别等生物识别技术对外界环境的要求相对严格，尤其是在规模较大、人数众多的场所，光线的昏暗程度、摄像头的安装角度、遮挡的面积大小、人员的配合程度等因素都会影响到识别的准确度。而在这种情况下，具有较远的识别距离、抗伪装性强、广阔的应用范围、360°全视角、无需人员配合等应用优势的生物识别技术——步态识别，可以在一定程度上解决人脸识别、指纹识别、声纹识别、虹膜识别存在的一些缺陷，因此逐渐受到人们越来越多的关注。

3、步态识别是一种利用人们形体的不同与走路姿势的差异来进行个人身份的认定识别的技术，因为每个人的步态是与众不同的，所以步态可以成为一种特有的生物特征识别技术。人的骨骼位置与长度、身体重心的高度、走路的风格都是不一样的，这些人与人之间天生不同的特点决定了每个人的步态是独一无二的；同时，生理结构的先天差异又一定程度上决定了行走方式，加之后天行走习惯的影响，决定着要伪装走路姿势非常困难，因此人的生理结构特点以及行走方式的不同决定着步态的唯一性，使得步态识别技术成为生物识别的一个重要分支，其研究具有十分重要的意义。与人脸、指纹、声纹等静态的生物特征不同的是，步态的生物特征是步态轮廓的动态时间序列，因此实时的步态识别在系统的实现上更为复杂，需要集成分割、跟踪、识别等多个环节；步态识别广泛的应用场景也使得识别算法需要适应更加复杂的视频环境，识别准确率也需要进一步提高，融合更多的生物特征以满足算法落地应用的需求。

4、现有的生物识别技术往往受到识别距离、识别角度、光照的敏感程度、是否可以伪装欺骗、是否需要受众配合等因素的影响，指纹识别技术需要进行接触，需要人员配合，可复制伪装；虹膜识别技术识别距离短，检测视角单一，需要人员配合，可复制伪装；人脸识别技术识别距离较近，检测视角基本单一，需要人员适度配合，可遮盖、复制、伪装；步态识别技术识别距离足够远，检测视角为全视角，无需人员配合，难以伪装。由于步态识别技术在识别技术中使用方式多样，更容易使人们接受。

5、步态识别技术作为一种新兴的生物识别技术，如今已取得长足进展，目前使用加入身高信息的步态识别算法已实现86％的识别准确率，已足以满足刑侦辅助、人员追踪等部分行业需求。从应用落地的角度看，步态识别的识别准确率还存在提升空间，除此之外，在使用方式和实时性上，现有的步态识别技术还存在以下挑战：

6、1、使用方式不便：一些步态识别技术需要采集大量的角度信息，如使用11个角度进行识别。这种方式需要特定的设备和布置，使得使用不够方便和实用。因此简化和优化采集方式，提高使用的便捷性是一个需要解决的问题。

7、2、实时性不强：在一些实时应用场景下，步态识别系统的实时性要求较高，例如安全监控和身份验证。然而，现有的步态识别技术在处理和分析大量数据时可能存在延迟，导致实时性不足。因此需要进一步整合和优化先进的技术，以提高步态识别系统的实时性和响应速度。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种机器视觉融合身高特征的实时步态识别系统，包括：步态库生成过程和步态识别过程；

2、所述步态库生成过程通过离线或者在线视频产生目标个体的步态信息，结合所述目标个体的身高信息生成步态库；

3、所述步态识别过程对实时视频信息或历史视频信息进行处理，与所述步态库进行步态比对，得出步态识别结果。

4、进一步地，步态库生成过程包括如下步骤：图像获取、掩膜生成、二值化处理、个体跟踪、步态生成、身高输入以及步态存储；

5、所述图像获取步骤用于获取离线视频或者在线视频的视频信息，过人机交互的方式确定目标个体；

6、所述掩膜生成步骤用于对所述视频信息进行语义分割得到掩膜数据；

7、所述二值化处理步骤用于对所述掩膜数据进行二值化处理，得到二值图；

8、所述个体追踪步骤用于将二值图按照所述目标个体进行分类；

9、所述步态生成步骤用于按照所述个体跟踪步骤对掩膜的分类结果生成个体原始步态；

10、所述身高输入步骤用于通过人机交互方式获取目标个体身高信息，与步态信息进行融合，得到目标个体的融合步态；

11、所述步态存储步骤用于将目标个体的融合步态存入步态库。

12、进一步地，步态识别过程包括如下步骤：图像获取、掩膜生成、二值化处理、个体跟踪、步态生成、身高获取、步态识别以及结果呈现；

13、所述图像获取步骤用于获取在线视频或历史视频数据的视频信息；

14、按照所述步态库生成过程中的掩膜生成步骤、二值化处理步骤、个体跟踪步骤、步态生成步骤中相同的方法对视频信息进行预处理，生成个体原始步态；

15、所述身高获取步骤通过视频信息计算个体身高，将所述个体原始步态与个体身高融合形成融合步态，与所述步态库进行匹配得到步态识别结果并呈现。

16、进一步地，所述个体追踪步骤采用deepsort追踪算法，它以检测框信息、检测结果的置信度、被检测目标的类名和掩膜为参数进行追踪；返回所有检测目标的id列表,每个id和其所对应的检测框信息、检测结果的置信度、被检测目标的类名和掩膜关联为一组数据，以id为依据对数据处理结果分类提取,得到不同对象的步态二值图。

17、进一步地，所述步态生成步骤包括：

18、对轮廓图进行上下边界的确定；

19、根据上下边界所在行对图像进行上下边界的切割操作；

20、对切割后的图像进行尺寸调整；

21、遍历调整后的图像的每一列，根据每列像素和最大的原则，找到中心线的位置；

22、根据中心线的位置，将图像进行水平切割，取中心线左右各32像素的部分，并补零填充；

23、进行数据重构，将身高信息作为识别参数融入神经网络。

24、进一步地，所述步态识别步骤通过步态图片序列提取视频流中所有步态的特征，计算并比较得到的特征向量与本地步态库中数据特征向量之间的欧式距离；

25、如果距离最近的数据集为本身，则记为true，则：

26、准确率＝true样本的总数量/测试集的总数量；

27、得出与本地步态库中最匹配的对象id。

28、相比于现有技术，本发明具有如下有益技术效果：

29、本发明克服了以往生物识别算法对环境适宜度、目标配合度、伪装程度有要求的缺点，实现了坏境依赖度低，目标配合度要求低，难以伪装、高准确率的生物识别技术。

30、本发明弥补深度学习大环境下人脸识别等多种识别方式易被伪装攻破的缺陷。实现了实例分割算法与目标追踪算法的改进和整合，使实例分割与目标追踪算法同时工作，并改进了以往追踪算法只能追踪检测框这一追踪对象受限的缺点，在deepsort开发并增添了mask分支(掩膜)，实现了检测框、掩膜的同时高准确率追踪与级联。

31、与以往忽视身高的其他深度学习的步态识别算法不同，本发明创造将身高信息作为特征加入了步态识别神经网络。并且只使用一个视角，避免了传统十一个视角采集数据复杂等的多种麻烦。