一种基于双目视觉的BERT行为检测方法及系统与流程

本发明涉及人工智能领域，尤其是涉及一种基于双目视觉的bert行为检测方法及系统。

背景技术：

1、行为分析检测是计算机视觉领域中的一个重要研究方向，它致力于通过分析和检测实时视频流或历史视频数据中的特定动作，为视频监控、社会治安和工业安全生产等领域提供支持和解决方案。随着技术的不断进步，行为分析检测在实际应用中的作用越来越大。

2、然而，目前大多数行为检测算法系统存在一些挑战。首先，这些算法通常需要大量的训练数据集来学习行为特征和模式，但获取高质量的数据集成本较高，特别是对于某些特定的行为类型或复杂的场景。其次，行为检测算法的通用性较低，需要在部署时进行微调以适应不同的应用场景。这是因为不同的应用场景可能涉及不同的行为类型、环境条件和监控设备，需要根据具体情况对算法进行调整和优化。

技术实现思路

1、本发明的目的就是为了提供一种提高检测准确性的基于双目视觉的bert行为检测方法及系统。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于双目视觉的bert行为检测方法，包括以下步骤：

4、获取多个双目立体相机采集待检测对象的多角度视频数据，并记录所述双目立体相机中每个摄像头的参考坐标系；

5、将所述视频数据转化为双目立体图像数据，并对所述图像数据依次进行实例分割和特征提取匹配，形成点云数据，将所述点云数据转换至所述参考坐标系下；

6、基于转换后的点云数据和bert网络进行特征优化，并基于优化后的特征训练lstm网络，最终获得行为检测模型；

7、根据所述行为检测模型从所述点云数据分别提取个体行为和群体行为。

8、进一步地，所述形成点云数据的过程具体包括：

9、将所述视频数据转化为双目立体图像数据；

10、将双目立体图像数据中的左右侧图像数据进行实例分割，并分配实例标识id；

11、将左右侧图像中的id相同的视为同一个对象，并对左右侧图像中的同一个对象进行特征提取匹配，形成三维点云数据。

12、进一步地，采用yolov8 segment进行实例分割。

13、进一步地，所述特征优化的具体步骤包括：

14、将所述点云数据映射到低维特征向量；

15、将所述低维特征向量进行特征融合，构建高级特征向量；

16、将所述高级特征向量输入至bert网络中，输出bert特征向量；

17、将所述bert特征向量存入预先构建的历史特征库中，同时从所述历史特征库按照存入的时间顺序提取多个bert特征向量，构建时序特征向量。

18、进一步地，依次通过卷积、全连接网络将所述点云数据映射到低维特征向量。

19、进一步地，所述高级特征向量在输入至bert网络前，进行向量对齐，并记录对应的mask掩码。

20、进一步地，所述获得行为检测模型的具体步骤包括：

21、将所述时序特征向量输入至lstm网络中，获得网络输出结果；

22、基于所述网络输出结果，利用损失函数计算损失值；

23、基于所述损失值，利用反向传播算法更新lstm网络的模型参数；

24、重复执行上述步骤，迭代训练所述lstm网络，直至所述损失值小于预设阈值或迭代次数达到预设上限，最终获得行为检测模型。

25、进一步地，更新所述lstm网络的模型参数过程中，根据所述mask掩码选出有效输出位，再进行损失值的计算和模型参数的更新。

26、进一步地，所述提取个体行为和群体行为的具体步骤包括：

27、将所述行为检测模型进行量化，获得行为检测量化模型；

28、将所述点云数据输入至所述行为检测量化模型中，并基于所述mask掩码提取与个体行为和群体行为相关的有效特征参数；

29、基于所述有效特征参数，分别提取个体行为和群体行为。

30、本发明还提供一种基于上述所述的基于双目视觉的bert行为检测方法的检测系统，其特征在于，包括：

31、数据采集模块：用于获取多个双目立体相机采集待检测对象的多角度视频数据，并记录所述双目立体相机中每个摄像头的参考坐标系；

32、数据预处理模块：用于将所述视频数据转化为双目立体图像数据，并对所述图像数据依次进行实例分割和特征提取匹配，形成点云数据，将所述点云数据转换至所述参考坐标系下；

33、数据训练模块：用于基于转换后的点云数据和bert网络进行特征优化，并基于优化后的特征训练lstm网络，最终获得行为检测模型；

34、模型推理模块：用于根据所述行为检测模型从所述点云数据分别提取个体行为和群体行为。

35、与现有技术相比，本发明具有以下有益效果：

36、(1)本发明在数据采集、算法部署时，标定参考坐标系，对点云数据进行变换，降低不同场景下获取的点云数据差异性，提高算法系统通用性，通过实例分割和特征提取匹配提取了多个包含关键信息的点云数据，并利用bert网络模型的先验知识对个体行为、个体与个体之间行为、群体行为进行特征优化，再经过训练好的行为检测模型进行推理分析，从而能够提高检测的准确性。

37、(2)本发明对采集的视频数据进行转换、实例分割、实例匹配以及特征优化等处理过程，能够从少量样本中提取到有效的特征，因而本发明基于少量的样本数据即可实现行为检测功能，并不需要大量的样本数据。

38、(3)本发明通过bert网络进行分析高级特征向量，获得bert特征向量，降低训练模型时数据集数量的要求。

39、(4)本发明通过将行为检测模型进行量化，量化技术能够缩小模型的大小并加速模型的推理过程，从而提高行为检测的效率。

40、(5)本发明易于部署、准确率高、能够适应不同应用场景，通用性强，易于迁移学习训练集以外的行为信息。

技术特征：

1.一种基于双目视觉的bert行为检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于双目视觉的bert行为检测系统，其特征在于，所述形成点云数据的过程具体包括：

3.根据权利要求2所述的一种基于双目视觉的bert行为检测系统，其特征在于，采用yolov8 segment进行实例分割。

4.根据权利要求1所述的一种基于双目视觉的bert行为检测系统，其特征在于，所述特征优化的具体步骤包括：

5.根据权利要求4所述的一种基于双目视觉的bert行为检测系统，其特征在于，依次通过卷积、全连接网络将所述点云数据映射到低维特征向量。

6.根据权利要求4所述的一种基于双目视觉的bert行为检测系统，其特征在于，所述高级特征向量在输入至bert网络前，进行向量对齐，并记录对应的mask掩码。

7.根据权利要求4所述的一种基于双目视觉的bert行为检测系统，其特征在于，所述获得行为检测模型的具体步骤包括：

8.根据权利要求6所述的一种基于双目视觉的bert行为检测系统，其特征在于，更新所述lstm网络的模型参数过程中，根据所述mask掩码选出有效输出位，再进行损失值的计算和模型参数的更新。

9.根据权利要求6所述的一种基于双目视觉的bert行为检测系统，其特征在于，所述提取个体行为和群体行为的具体步骤包括：

10.一种基于权利要求1-9任一所述的基于双目视觉的bert行为检测方法的检测系统，其特征在于，包括：

技术总结
本发明涉及一种基于双目视觉的BERT行为检测方法及系统，该方法包括以下步骤：获取多个双目立体相机采集待检测对象的多角度视频数据，并记录所述双目立体相机中每个摄像头的参考坐标系；将所述视频数据转化为双目立体图像数据，并对所述图像数据依次进行实例分割和特征提取匹配，形成点云数据，将所述点云数据转换至所述参考坐标系下；基于转换后的点云数据和BERT网络进行特征优化，并基于优化后的特征训练LSTM网络，最终获得行为检测模型；根据所述行为检测模型从所述点云数据分别提取个体行为和群体行为。与现有技术相比，本发明具有样本数量少、通用性强以及检测准确性高等优点。

技术研发人员：艾麦提·布拉丁,方逸洲,张青野,赵中瑞,仇正豪
受保护的技术使用者：上海仪电（集团）有限公司中央研究院
技术研发日：
技术公布日：2024/1/15