一种深度学习训练数据采样方法、系统、装置及存储介质与流程

本技术涉及深度学习，尤其涉及一种深度学习训练数据采样方法、系统、装置及存储介质。

背景技术：

1、当下，基于深度学习的目标检测算法广泛应用于办公、教育、安防、服务机器人、无人机、自动驾驶、智能家居等多个领域。模型的性能直接影响产品的功能体验，因此如何提高模型性能一直是研发人员关注的重点。

2、在深度学习算法的开发过程中，常常会遇到模型在某些场景表现不佳的情况。传统方法是通过采集相关场景的视频数据，对视频进行采样以获得待标注的图像，然后对这些图像进行标注，并将标注后的数据添加到训练集中，然后重新训练模型。

3、视频采样通常涉及固定时间间隔、帧间隔、关键帧(i帧)或场景转换帧的抽取。另一种方法是自适应采样，根据目标的运动速度或场景变化幅度来动态调整采样间隔。在这个过程中，也需要进行图像筛选，以排除相似度过高或图像质量差的帧。

4、然而，当模型在大多数情况下表现良好，只在个别帧或时间段出现误检或漏检时，传统的采样方式可能不再适用。此时，用模型对视频逐帧进行推理，并人工筛选出表现不佳的帧可能是一种解决方法，但效率较低且耗时。

5、另一种方法是将目标检测与目标跟踪结合，以更准确地确定模型何时出现误检或漏检。然而，这种方法有时会误判，并且不能涵盖所有情况。

6、综合考虑，需要探索更智能、高效的数据采样和训练策略，包括在线学习、主动学习、人工辅助标注、数据增强、自动化数据筛选、强化学习和领域适应等方法，以提高深度学习目标检测模型在实际应用中的性能。这些方法的选择应根据具体问题和可用资源进行权衡。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种深度学习训练数据采样方法、系统、装置及存储介质。下面对本技术中的技术方案进行描述：

2、本技术第一方面提供了一种深度学习训练数据采样方法所述方法包括：

3、确定待检测目标；

4、利用目标检测技术对每一帧中的待检测目标进行跟踪，得到所述待检测目标的状态信息；

5、根据所述状态信息判断跟踪过程是否发生符合预定义的状态转换事件；

6、若确定发生符合预定义的状态转换事件，则对相应的目标视频帧进行标记；

7、对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据。

8、可选的，所述状态信息包括匹配次数、匹配状态和跟踪状态，所述匹配状态为视频帧中的待检测目标是否被关联至目标检测框，所述跟踪状态为对所述待检测目标的确认情况，所述跟踪状态包括已确认、未确认和已删除，所述匹配状态包括匹配和未匹配。

9、可选的，所述状态转换事件包括：

10、事件一：在时间段一、时间段二和时间段三内，所述匹配状态对应发生匹配—未匹配—再次匹配的状态转换过程，所述跟踪状态由未确认转换为已确认；

11、可选的，所述状态转换事件包括：

12、事件二：在时间段一、时间段二和时间段三内，所述匹配状态发生匹配—未匹配—被删除的状态转换过程，所述跟踪状态由未确认转换为已确认再转换为已删除；

13、可选的，所述状态转换事件包括：

14、事件三：在时间段一、时间段二和时间段三内，所述匹配状态发生匹配—未匹配—被删除的状态转换过程，所述跟踪状态由未确认直接转换为已删除。

15、可选的，所述利用目标检测技术对每一帧中的待检测目标进行跟踪包括：

16、利用目标检测框对每一帧中的待检测目标进行跟踪；

17、所述目标检测框通过如下方式获得：

18、将待采样的视频数据输入至待优化的深度学习模型中，从而对视频数据中的每一帧进行逻辑运算，得到用于识别所述待检测目标的目标检测框。

19、可选的，在确定发生符合预定义的状态转换事件之后，还包括：

20、对所述状态转换事件的异常类型进行分析。

21、可选的，所述对所述状态转换事件的异常类型进行分析包括：

22、若所述状态转换事件为事件一，则确定异常类型为漏检。

23、可选的，所述对所述状态转换事件的异常类型进行分析包括：

24、若所述状态转换事件为事件二，则统计所述待检测目标的历史匹配次数；

25、若所述历史匹配帧数小于预先设定的阈值，则确定异常类型为误检；

26、若所述历史匹配帧数大于预先设定的阈值，则确定异常类型为漏检。

27、可选的，所述对所述状态转换事件的异常类型进行分析包括：

28、若所述状态转换事件为事件三，则确定异常类型为误检。

29、可选的，若所述状态转换事件为事件一，且所述待检测目标未与其它目标发生重叠，且所述待检测目标未超出画面边界，则确定异常类型为漏检。

30、可选的，通过下述方式判断所述待检测目标是否与其它目标发生重叠：

31、对于同一帧中的两个目标a和b，通过下述式子计算交并比iom：

32、

33、其中，intersection(a,b)表示目标a、b的重叠面积，sa、sb分别表示目标a、b的面积；

34、若iom大于预先设定的阈值，则确定目标a和目标b重叠，否则不重叠。

35、可选的，对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据包括如下两种方式：

36、方式一：直接对标记的所述目标视频帧进行抽取；

37、方式二：在识别目标检测框以及对待检测目标进行跟踪的过程中，缓存预设数量的邻近帧序列；

38、在对相应的目标视频帧进行标记之后，从缓存的邻近帧序列中抽取出所标记的目标视频帧。

39、可选的，当所述待采样的视频数据为离线数据时，采用所述方式一或者方式二进行目标视频帧抽取，当所述待采样视频数据为在线视频时，采用所述方式二进行目标视频帧抽取。

40、本技术第二方面提供了一种深度学习训练数据采样系统，包括：

41、确定单元，用于确定待检测目标；

42、跟踪单元，用于利用目标检测技术对每一帧中的待检测目标进行跟踪，得到所述待检测目标的状态信息；

43、判断单元，用于根据所述状态信息判断跟踪过程是否发生符合预定义的状态转换事件；

44、标记单元，用于若确定发生符合预定义的状态转换事件，则对相应的目标视频帧进行标记；

45、帧抽取单元，用于对标记的所述目标视频帧进行抽取，得到用于优化所述深度学习模型的采样数据。

46、本技术第三方面提供了一种深度学习训练数据采样装置，所述装置包括：

47、处理器、存储器、输入输出单元以及总线；

48、所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

49、所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

50、本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

51、从以上技术方案可以看出，本技术具有以下优点：

52、1、精准的异常帧采样：该方法通过深度学习模型和目标检测框的联合使用，可以精确识别视频中出现待检测目标状态转换事件的帧。这意味着只有在目标状态发生变化或异常时才会对帧进行标记和抽取，避免了采样过多的冗余数据。

53、2、自适应性：方法中提到根据状态信息判断状态转换事件，这使得采样过程变得自适应。如果目标的状态在大多数帧中保持稳定，只有少数帧发生状态变化，那么只有这些少数帧会被标记和抽取，减少了采样数据的数量。

54、3、节省资源：由于只有在状态转换事件发生时才进行标记和采样，这可以节省大量的计算资源和存储空间，相比于传统的连续采样方法，更加高效。

55、4、针对性的模型优化：采样数据的质量非常高，因为它们是由模型在关键状态转换事件发生时生成的。这些数据可以用于有针对性地优化深度学习模型，解决特定情况下的漏检、误检或其他性能问题，提高模型的鲁棒性和性能。

56、5、适用性广泛：这种方法不仅适用于目标检测模型，还可以用于其他深度学习任务，如人体姿态估计和图像分割，只需适当调整目标检测框的定义和状态转换事件的判定规则。