基于图像识别的多目标跟踪标注方法、系统和存储介质与流程

本发明属于图像识别，具体涉及基于图像识别的多目标跟踪标注方法、系统和存储介质。

背景技术：

1、多目标检测技术是一种用于识别图像中特定目标的视觉检测技术，多目标检测的任务是找出图像中所有感兴趣的目标，然后通过符号对目标进行标注，以直观展示目标的类别和位置。

2、针对视频的目标检测技术，目前一般有以下两种方案，一种是采用传统的人工标注方法，通过使用视频标注工具对视频进行逐帧进行标注，此种方式虽然准确度高，但是会耗费较大的人力资源与成本；另一种方式是结合机器学习技术对视频进行自动或半自动标注，如中国专利申请“cn113283279a”公开了一种基于深度学习的视频中多目标跟踪方法及装置，该方法对采集到的目标视频信息进行分帧处理，并按照预置摄像头设备曝光时间在分帧处理形成的视频序列帧上标注时间戳，获得标注视频序列帧；对标注视频序列帧进行目标前景和目标背景分离处理，获得每一帧的目标前景和对应帧的目标背景；对每一帧的目标前景和对应的目标背景进行特征提取处理，获得每一帧的目标前景和对应的目标背景特征信息，最后将每一帧的目标前景和对应的目标背景特征信息输入目标轨迹跟踪网络中，以输出跟踪目标的运动轨迹；又例如中国专利申请“cn110796093a”公开了一种目标跟踪方法、装置、计算机设备和存储介质，该方法首先获取包括至少k+1帧的视频源，视频源的连续k帧图像上均已标注目标框位置；将连续k帧图像上标注的目标框位置分别输入至预设的预测网络，确定目标在连续k帧的后一帧图像上的预测框位置，根据预测框位置，在连续k帧的后一帧图像上截取预测框位置对应的图像，并将截取得到的图像输入至预设的跟踪模型，得到目标在连续k帧的后一帧图像上的跟踪位置。

3、然而，上述两种方法虽然都能实现对视频图像中的目标进行跟踪，但都是建立在能够连对目标进行识别的情况下，当要识别的目标被其他物体遮挡时，即便使用上述专利文献中，根据上一帧图像预测下一帧图像位置的方法，也只能得到目标对象所处的大概位置范围，当该位置范围过大时，便无法对目标进行准确的跟踪标注。

技术实现思路

1、为解决上述问题，本发明提供了一种基于图像识别的多目标跟踪标注方法、系统和存储介质，以解决现有技术中的当目标对象被遮挡时、存在无法对其进行跟踪标注的问题。

2、为了达到上述的发明目的，本发明提出一种基于图像识别的多目标跟踪标注方法，包括：

3、步骤s1：采集第一视频，所述第一视频为第一拍摄角度下生成的视频，将所述第一视频拆分为多张静态图像，基于时间特征对每张静态图像进行编号，确认要跟踪的目标对象，基于第一模型对所有静态图像进行识别，获取包含所述目标对象的静态图像，定义首次出现所述目标对象的静态图像为第一图像，对所述第一图像中的所述目标对象进行框选标注，若所述第一图像不为所述第一视频中的首帧图像，则执行步骤s2；

4、步骤s2：定义所述第一图像和首帧图像之间的静态图像为未识别图像，对所有所述未识别图像进行密度识别，获得每张所述未识别图像中多个预设区域的拥挤数值，基于拥挤数值将所述预设区域分类为第一密度区域和第二密度区域，所述第一密度区域的拥挤数值小于所述第二密度区域；

5、步骤s3：定义所述目标对象在所述第一图像中的位置为第一位置，基于编号位于所述第一图像之后的静态图像，获取所述目标对象在所述第一位置之后的移动方向和移动速度，基于所述第一位置、移动方向和移动速度，计算所述目标对象在各张所述未识别图像中的理论位置，若理论位置在所述未识别图像的所述第一密度区域内，则采集第二视频，所述第二视频为第二拍摄角度下生成的视频，识别所述第二视频中，与所述未识别图像时间特征对应的静态图像，若在静态图像中识别到所述目标对象，则将所述目标对象的识别结果投影至所述未识别图像中，若所述目标对象的理论位置在所述第二密度区域内，则执行步骤s4；

6、步骤s4：获取所述第二密度区域的遮挡数值，若所述第二密度区域的遮挡数值小于拥挤数值，则基于第二模型对所述未识别图像进行框选标注。

7、进一步的，若编号位于所述第一图像之后的静态图像中丢失所述目标对象，则基于以下步骤对所述目标对象进行跟踪：

8、将丢失所述目标对象的静态图像定义为第二图像，对所述第二图像进行密度识别，若所述第二图像中存在所述第一密度区域和/或所述第二密度区域，基于所述第一图像和所述第二图像之间的静态图像，获取丢失所述目标对象在所述第二图像中的理论位置，若理论位置在所述第一密度区域或所述第二密度区域，则基于所述步骤s3或所述步骤s4追踪所述目标对象；

9、若所述第二图像中不存在所述第一密度区域和/或所述第二密度区域，则基于所述第一图像和所述第二图像之间静态图像，获取朝向所述第二图像中，所述目标对应理论位置移动的其他捕获对象，若存在其他捕获对象在所述第二图像中，且位于所述目标对象的理论位置，将该捕获对象定义为重叠对象，对所述重叠对象进行框选标注；

10、若在所述第二图像之后的静态图像重新出现所述目标对象，定义所述目标对象与所述重叠对象之间距离为第一距离，若所述第一距离大于预设的第一判断距离，则取消对所述重叠对象的框选追踪。

11、进一步的，在所述第二视频中识别到所述目标对象后，基于以下步骤将所述目标对象投影至所述第一视频中：

12、基于拍摄所述第二视频摄像机的参数，获取目标对象及非目标对象与拍摄所述第二视频摄像机的距离，其中所述非目标对象为距离所述目标对象小于第二判断距离的捕捉对象，定位所述目标对象及所述非目标对象在静态图像中的第一空间数据；

13、识别从所述第一视频中抽取的静态图像，获取其中的所述非目标对象，基于拍摄所述第一视频摄像机的参数，构建所述非目标对象在静态图像中的第二空间数据，基于所述目标对象在所述第一空间数据中的位置信息，将其对应投影至所述第二空间数据中，以确定所述目标对象在所述第二空间数据中的位置。

14、进一步的，对所述未识别图像进行密度识别包括以下步骤：

15、在所述未识别图像内设置滑动窗口，基于第一公式计算滑动窗口内的拥挤数值，所述第一公式为： ，其中，为滑动窗口的面积，为滑动窗口内捕获到的对象数量，设置判断阈值，若拥挤数值小于所述判断阈值，将滑动窗口所在的区域划分为所述第一密度区域，否则将该区域划分为所述第二密度区域；

16、基于预设的步幅移动滑动窗口，并基于所述第一公式计算移动后滑动窗口的拥挤数值，并根据所述判断阈值对滑动窗口所在的区域进行分类，重复此步骤，直至滑动窗口遍历所述未识别图像的所有区域。

17、进一步的，获取所述第二密度区域的遮挡数值包括以下步骤：

18、建立覆盖率识别模型，设置识别特征，当滑动窗口内移动至所述第二密度区域后，提取滑动窗口内的所述识别特征，将所述识别特征输入至所述覆盖率识别模型，对滑动窗口所覆盖的区域进行识别，获取滑动窗口内捕获到目标的被覆盖率，并基于第二公式计算滑动窗口内的遮盖数值，所述第二公式为： ,其中，为滑动窗口内捕获到的目标数量， 为滑动窗口内第个捕获对象的被覆盖率，为第个捕获对象与理论位置之间的距离。

19、本发明还提供一种基于图像识别的多目标跟踪标注系统，该系统用于实现上述的一种基于图像识别的多目标跟踪标注系统，该系统包括：

20、采集模块，用于采集第一视频和第二视频，所述第一视频为第一拍摄角度下生成的视频，所述第二视频为第二拍摄角度下生成的视频；

21、抽帧模块，将所述第一视频和所述第二视频拆分为多张静态图像，基于时间特征对每张静态图像进行编号；

22、第一识别模块，存储有第一模型，所述第一识别模块获取目标对象，所述第一模型对所述第一视频和所述第二视频中的所有静态图像进行识别，获取包含所述目标对象的静态图像，定义首次出现所述目标对象的静态图像为第一图像，对所述第一图像中的所述目标对象进行框选标注，若所述第一图像不为所述第一视频中的首帧图像，则标注所述第一图像和首帧图像之间的静态图像为未识别图像；

23、密度识别模块，对所有所述未识别图像进行密度识别，获得每张所述未识别图像中多个预设区域的拥挤数值，基于拥挤数值将所述预设区域分类为第一密度区域和第二密度区域，所述第一密度区域的拥挤数值小于所述第二密度区域；

24、位置推算模块，获取所述目标对象在所述第一图像中的第一位置，基于编号位于所述第一图像之后的静态图像，获取所述目标对象在所述第一位置之后的移动方向和移动速度，基于所述第一位置、移动方向和移动速度，计算所述目标对象在各张所述未识别图像中的理论位置；

25、投影模块，将所述目标对象在第二视频中的识别结果投影至所述第一视频中；

26、第二识别模块，存储有第二模型，所述第二识别模块获取所述第二密度区域的遮挡数值，若所述第二密度区域的遮挡数值小于拥挤数值，则基于所述第二模型对所述未识别图像进行框选标注。

27、本发明还提供一种计算机存储介质，计算机存储介质存储有程序指令，其中，在程序指令运行时控制计算机存储介质所在设备执行上述的一种基于图像识别的多目标跟踪标注方法。

28、与现有技术相比，本发明的有益效果至少如下所述：

29、本发明通过设置多个摄像头，获取不同角度的视频图像，然后选取其中一个视频图像进行追踪识别，若追踪的目标没有在首帧图像中出现时，则获取未识别的图像，并对静态图像进行密度识别，获取未识别图像中不同密度区域，在此基础上，通过不同帧图像推算目标对象在未识别图像中的理论位置，基于理论位置在不同的密度区域采用不同的方式进行识别，从而提升捕获对象对象的概率。

30、本发明通过对多个不同角度拍摄视频进行捕捉识别，将捕捉结果投影至其中一个视频中，从而解决了现有技术中的当目标对象被遮挡时、存在无法对其进行跟踪标注的问题。