一种多目标检测的方法及装置与流程

本技术涉及计算机视觉，尤其涉及一种多目标检测的方法及装置。

背景技术：

1、随着科学的进步与发展，带动人工智能迅猛发展，我国的工业化朝着更加智能化的方向前进，而智能化进展过程中，视觉技术作为一种保障生产安全的关键技术，视觉检测重要设备的关键部位作为保障生产安全中的重要组成部分，能够在视频监控场景下监测重要机器的运动轨迹及异常抖动，再通过实时监控分析机械设备在生产过程中的异常活动，并借助人工智能、深度学习等技术，对生产过程中的重要机器的运动轨迹及异常抖动进行分析，能够有效降低各类安全生产风险。

2、然而，实时分析通常需要进行复杂的算法运算和大规模数据处理，而现有的设备视觉监测装置在运行的过程中，常常出现算力不足的问题，无法快速处理大量数据并保证检测的精度，导致现有的设备在视觉检测处理过程中，检测精度和实时性二者不可兼得。

技术实现思路

1、为了解决现有的重要设备在采用视觉检测方案时，常常由于算力不足的问题导致无法快速处理大量数据并保证检测的精度的问题，以能够准确地检测出视频中物体的位移变化情况，从而更好地实现视频监控和分析，本发明通过预处理视频采集装置采集到的视频数据，筛选目标感兴趣区域，通过分类器判断目标情况，确定目标区域的类别概率，筛选类别概率最高的目标区域，通过提取关键点和光流估计推断目标的位移量和速度，更新目标感兴趣区域的状态信息，记录状态信息的跟踪结果，输出跟踪结果至用户指定的保存位置。

2、本发明提出了如下方案：

3、一种多目标检测的方法，包括：

4、预处理视频采集装置在待测区域内采集到的视频数据；

5、根据处理后的视频数据，筛选目标感兴趣区域；

6、根据第一预设算法和目标感兴趣区域，通过分类器判断目标情况，确定目标区域的类别概率；

7、筛选类别概率最高的目标区域，通过提取关键点和光流估计推断目标的位移量和速度，更新目标感兴趣区域的状态信息；

8、记录状态信息的跟踪结果，输出跟踪结果至用户指定的保存位置。

9、如上所述的多目标检测的方法，所述预处理视频采集装置在待测区域内采集到的视频数据的步骤，包括：

10、获取视频采集装置在待测区域内采集到的待测物品的视频数据；

11、解码所述视频数据，生成图像序列；

12、基于第二预设算法和图像序列，确定对应维度的直方图；

13、归一化所述直方图，生成于归一化后的直方图对应的特征向量。

14、如上所述的多目标检测的方法，所述根据处理后的视频数据，筛选目标感兴趣区域的步骤，包括：

15、提取所述直方图对应的特征向量数据，生成特征向量数据集；

16、计算特征向量数据集中的各个数据点与最近邻点的距离，确定邻域半径及最小邻域数；

17、根据邻域半径及最小邻域数，获取各数据点的邻域内数据点的数量；

18、根据邻域内数据点的数量，标记各数据点为核心点或噪声点；

19、若所述数据点为核心点，聚类其邻域内的邻居点，生成对应的数据簇；

20、根据核心点、邻居点和数据簇，生成对应的感兴趣区域。

21、如上所述的多目标检测的方法，所述根据核心点、邻居点和数据簇，生成对应的感兴趣区域的步骤之后，还包括：

22、根据感兴趣区域的实际面积和预设区域面积，确定目标感兴趣区域；

23、基于分水岭算法分割所述目标感兴趣区域，遍历分割后的目标感兴趣区域的边界像素，确定空洞的像素点；

24、基于填充算法填充所述空洞的像素点，修复所述目标感兴趣区域的连通性。

25、如上所述的多目标检测的方法，所述根据第一预设算法和目标感兴趣区域，通过分类器判断目标情况，确定目标区域的类别概率的步骤，包括：

26、根据第一预设算法和目标感兴趣区域，生成视频数据的候选区域；

27、预测候选区域的边界框坐标以及类别概率；

28、基于边界框坐标和第三预设算法，筛除重复的边界框；

29、根据候选区域的类别概率及筛选后的边界框，确定目标区域的类别概率。

30、如上所述的多目标检测的方法，所述筛选类别概率最高的目标区域，通过提取关键点和光流估计推断目标的位移量和速度，更新目标感兴趣区域的状态信息的步骤中，包括：

31、筛选类别概率最高的目标区域；

32、基于关键点提取算法和类别概率最高的目标区域，确定目标强度关键点；

33、基于光流估计算法、目标强度关键点以及前一帧的关键点，预测像素点的移动量；

34、计算目标强度关键点以及像素点的移动量，确定目标强度关键点的位移量及运行速度；

35、根据目标强度关键点的位移量及运行速度，更新目标感兴趣区域的状态信息。

36、一种多目标检测的装置，包括：

37、处理模块，用于预处理视频采集装置在待测区域内采集到的视频数据；

38、筛选模块，用于根据处理后的视频数据，筛选目标感兴趣区域；

39、确定模块，用于根据第一预设算法和目标感兴趣区域，通过分类器判断目标情况，确定目标区域的类别概率；

40、更新模块，用于筛选类别概率最高的目标区域，通过提取关键点和光流估计推断目标的位移量和速度，更新目标感兴趣区域的状态信息；

41、输出模块，用于记录状态信息的跟踪结果，输出跟踪结果至用户指定的保存位置。

42、如上所述的多目标检测的装置，所述处理模块包括：

43、第一获取单元，用于获取视频采集装置在待测区域内采集到的待测物品的视频数据；

44、第一生成单元，用于解码所述视频数据，生成图像序列；

45、第一确定单元，用于基于第二预设算法和图像序列，确定对应维度的直方图；

46、第二生成单元，用于归一化所述直方图，生成于归一化后的直方图对应的特征向量；

47、所述筛选模块包括：

48、第三生成单元，用于提取所述直方图对应的特征向量数据，生成特征向量数据集；

49、第二确定单元，用于计算特征向量数据集中的各个数据点与最近邻点的距离，确定邻域半径及最小邻域数；

50、第二获取单元，用于根据邻域半径及最小邻域数，获取各数据点的邻域内数据点的数量；

51、标记单元，用于根据邻域内数据点的数量，标记各数据点为核心点或噪声点；

52、第四生成单元，用于若所述数据点为核心点，聚类其邻域内的邻居点，生成对应的数据簇；

53、第五生成单元，用于根据核心点、邻居点和数据簇，生成对应的感兴趣区域；

54、第三确定单元，用于根据感兴趣区域的实际面积和预设区域面积，确定目标感兴趣区域；

55、第四确定单元，用于基于分水岭算法分割所述目标感兴趣区域，遍历分割后的目标感兴趣区域的边界像素，确定空洞的像素点；

56、修复单元，用于基于填充算法填充所述空洞的像素点，修复所述目标感兴趣区域的连通性；

57、所述确定模块包括：

58、第六生成单元，用于根据第一预设算法和目标感兴趣区域，生成视频数据的候选区域；

59、第一预测单元，用于预测候选区域的边界框坐标以及类别概率；

60、筛除单元，用于基于边界框坐标和第三预设算法，筛除重复的边界框；

61、第五确定单元，用于根据候选区域的类别概率及筛选后的边界框，确定目标区域的类别概率；

62、所述更新模块包括：

63、筛选单元，用于筛选类别概率最高的目标区域；

64、第六确定单元，用于基于关键点提取算法和类别概率最高的目标区域，确定目标强度关键点；

65、第二预测单元，用于基于光流估计算法、目标强度关键点以及前一帧的关键点，预测像素点的移动量；

66、第七确定单元，用于计算目标强度关键点以及像素点的移动量，确定目标强度关键点的位移量及运行速度；

67、更新单元，用于根据目标强度关键点的位移量及运行速度，更新目标感兴趣区域的状态信息。

68、一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被多目标检测的装置执行时，实现如上所述的多目标检测的方法。

69、一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述计算机程序时实现如上所述的多目标检测的方法。

70、本发明实施例通过预处理视频采集装置采集到的视频数据，筛选目标感兴趣区域，通过分类器判断目标情况，确定目标区域的类别概率，筛选类别概率最高的目标区域，通过提取关键点和光流估计推断目标的位移量和速度，更新目标感兴趣区域的状态信息，记录状态信息的跟踪结果，输出跟踪结果至用户指定的保存位置，能够使重要设备在通过视觉检测的过程中，能够通过复杂的并行计算结构和高性能的gpu加速，在较短的时间内完成目标检测任务，适用于实时应用场景，通过深度学习可以实现进行端到端的训练，能够自动学习特征，对目标物体的形状、大小、姿态等变化具有较强的鲁棒性，能够快速处理大量数据并保证检测的精度。