一种视频中对象关系的检测方法、装置、设备及存储介质与流程

本发明涉及计算机视觉，尤其涉及一种视频中对象关系的检测方法、装置、设备及存储介质。

背景技术：

1、视频场景图是对视觉信息的细粒度描述，以结构化的形式展现视频中对象以及对象间的关系，场景图中的节点表示对象，边表示关系。例如，网点的监控视频反应了网点的日常工作情况，通过视频场景图技术，能够有效识别网点经理违规着装与不合规行为，大大减少了日常管理成本，有效提高网点工作人员的形象与素养。

2、多年来，研究人员不断探索视频内容理解相关任务，包括动作识别、时间动作定位、时空动作检测等等。这些方法大多只是简单地为视频序列中的每个动作实例提供单个标签或时空范围。而理想的视频理解任务要求不仅能识别动作类型，还要通过将事件分解为不同实体之间的一系列交互关系来提供对整个场景的详细和结构化的解释。这种结构化的视频表示称为视频场景图。现有技术对于检测视频中对象之间的关系，生成视频场景图的准确性和效率有待提升。

技术实现思路

1、本发明提供了一种视频中对象关系的检测方法、装置、设备及存储介质，以实现对视频中对象之间的交互关系进行检测。

2、根据本发明的一方面，提供了一种视频中对象关系的检测方法，包括：

3、获取待检测视频，所述待检测视频中包含至少两帧待检测图像；

4、识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹；

5、对所述目标对象轨迹两两之间进行关联度评价，提取关联度大于设定关联度阈值的两个目标对象轨迹作为目标轨迹对；

6、对所述目标轨迹对对应的两个目标对象进行特征提取，根据提取的特征并结合设定关系检测模型，确定所述目标轨迹对对应的两个目标对象之间的关系。

7、进一步地，识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹，包括：

8、对所述待检测视频中的各所述待检测图像进行目标检测，得到至少一个候选对象；

9、合并所述候选对象中的相同对象，得到至少一个目标对象；

10、针对每个所述目标对象，提取所述待检测视频中包含所述目标对象的至少两帧相邻图像作为目标图像，连接所述目标图像得到对应的目标对象轨迹。

11、进一步地，合并所述候选对象中的相同对象，包括：

12、针对每两个候选对象，分别提取所述两个候选对象的位置特征与视觉特征，并确定所述两个候选对象之间的时间间隔；

13、根据所述两个候选对象的位置特征、视觉特征与时间间隔确定所述两个候选对象之间的相似度；

14、若所述两个候选对象之间的相似度大于设定相似度阈值，则确定所述两个候选对象为相同对象并进行合并。

15、进一步地，对所述目标对象轨迹两两之间进行关联度评价，包括：

16、针对每两个目标对象轨迹，将同时包含所述两个目标对象轨迹对应的目标对象的图像作为共现帧图像，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率；

17、根据预设数据集，确定所述两个目标对象轨迹对应的两个目标对象在所述预设数据集中的关联概率；

18、根据所述时空交叠率与所述关联概率确定所述两个目标对象轨迹的关联度。

19、进一步地，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率，包括：

20、确定所述两个目标对象轨迹中所述共现帧图像的帧数；

21、在所述共现帧图像中分别提取所述两个目标对象轨迹对应的目标对象的对象框，并确定两个对象框的对象框交叠率；

22、根据所述共现帧图像的帧数与所述对象框交叠率确定所述两个目标对象轨迹的时空交叠率。

23、进一步地，对所述目标轨迹对对应的两个目标对象进行特征提取，包括：

24、将所述共现帧图像中所述目标轨迹对对应的两个目标对象的对象框合并生成公共框；

25、在所述公共框中分别提取所述目标轨迹对对应的两个目标对象的视觉特征、位置特征和时序特征。

26、进一步地，确定所述目标轨迹对对应的两个目标对象之间的关系之后，还包括：

27、根据所述设定长度的时间窗口确定所述目标轨迹对对应的两个目标对象之间的关系变化情况。

28、根据本发明的另一方面，提供了一种视频中对象关系的检测装置，包括：

29、待检测视频获取模块，用于获取待检测视频，所述待检测视频中包含至少两帧待检测图像；

30、目标对象轨迹生成模块，用于识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹；

31、目标轨迹对确定模块，用于对所述目标对象轨迹两两之间进行关联度评价，提取关联度大于设定关联度阈值的两个目标对象轨迹作为目标轨迹对；

32、关系确定模块，用于对所述目标轨迹对对应的两个目标对象进行特征提取，根据提取的特征并结合设定关系检测模型，确定所述目标轨迹对对应的两个目标对象之间的关系。

33、可选的，目标对象轨迹生成模块还用于：

34、对所述待检测视频中的各所述待检测图像进行目标检测，得到至少一个候选对象；

35、合并所述候选对象中的相同对象，得到至少一个目标对象；

36、针对每个所述目标对象，提取所述待检测视频中包含所述目标对象的至少两帧相邻图像作为目标图像，连接所述目标图像得到对应的目标对象轨迹。

37、可选的，目标对象轨迹生成模块还用于：

38、针对每两个候选对象，分别提取所述两个候选对象的位置特征与视觉特征，并确定所述两个候选对象之间的时间间隔；

39、根据所述两个候选对象的位置特征、视觉特征与时间间隔确定所述两个候选对象之间的相似度；

40、若所述两个候选对象之间的相似度大于设定相似度阈值，则确定所述两个候选对象为相同对象并进行合并。

41、可选的，目标轨迹对确定模块还用于：

42、针对每两个目标对象轨迹，将同时包含所述两个目标对象轨迹对应的目标对象的图像作为共现帧图像，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率；

43、根据预设数据集，确定所述两个目标对象轨迹对应的两个目标对象在所述预设数据集中的关联概率；

44、根据所述时空交叠率与所述关联概率确定所述两个目标对象轨迹的关联度。

45、可选的，目标轨迹对确定模块还用于：

46、确定所述两个目标对象轨迹中所述共现帧图像的帧数；

47、在所述共现帧图像中分别提取所述两个目标对象轨迹对应的目标对象的对象框，并确定两个对象框的对象框交叠率；

48、根据所述共现帧图像的帧数与所述对象框交叠率确定所述两个目标对象轨迹的时空交叠率。

49、可选的，关系确定模块还用于：

50、将所述共现帧图像中所述目标轨迹对对应的两个目标对象的对象框合并生成公共框；

51、在所述公共框中分别提取所述目标轨迹对对应的两个目标对象的视觉特征、位置特征和时序特征。

52、可选的，装置还包括关系变化情况确定模块，用于根据所述设定长度的时间窗口确定所述目标轨迹对对应的两个目标对象之间的关系变化情况。

53、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

54、至少一个处理器；以及

55、与所述至少一个处理器通信连接的存储器；其中，

56、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的视频中对象关系的检测方法。

57、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频中对象关系的检测方法。

58、本发明公开了一种视频中对象关系的检测方法，首先获取待检测视频，待检测视频中包含至少两帧待检测图像；然后识别待检测视频中的目标对象，针对各目标对象分别生成目标对象轨迹；再对目标对象轨迹两两之间进行关联度评价，提取关联度大于设定关联度阈值的两个目标对象轨迹作为目标轨迹对；最后对目标轨迹对对应的两个目标对象进行特征提取，根据提取的特征并结合设定关系检测模型，确定目标轨迹对对应的两个目标对象之间的关系。本发明公开的视频中对象关系的检测方法，通过提取目标轨迹对，有效过滤无意义的轨迹对，同时能够准确反映对象轨迹间的相关性，提升关系检测效率与准确率。

59、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。