一种基于视频处理的对象分析方法及系统与流程

本发明涉及数据处理，具体而言，涉及一种基于视频处理的对象分析方法及系统。

背景技术：

1、视频监控在多种应用场景中都有应用，其中，在采集到对象监控视频之后，可以基于该对象监控视频对相应的监控对象进行分析等处理，其中，在进行分析的过程中，从对象监控视频中抽选出重要的局部视频，属于一个重要的环节，可以提高后续处理的精度和效率，但是，在现有技术中，在抽选出重要的局部视频的过程中，存在着可靠度不佳的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于视频处理的对象分析方法及系统，以提高对象分析的可靠度。

2、为实现上述目的，本发明实施例采用如下技术方案：

3、一种基于视频处理的对象分析方法，包括：

4、对于待处理对象监控视频，分离出所述待处理对象监控视频中的待处理对象监控视频帧序列和待处理对象监控音频帧序列，所述待处理对象监控视频基于对待处理对象进行视频监控以形成；

5、将所述待处理对象监控视频帧序列进行关键信息挖掘操作，以输出对应的原始视频特征表示；

6、将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作，以获得多阶段的特征聚合操作各自形成的聚合视频特征表示；

7、对形成的多个聚合视频特征表示进行特征合并操作，形成合并视频特征表示，以及，依据所述原始视频特征表示和所述合并视频特征表示，分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列；

8、将所述重要对象监控视频帧子序列作为所述待处理对象的代表视频。

9、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作，以获得多阶段的特征聚合操作各自形成的聚合视频特征表示的步骤，包括：

10、对于第一阶段的特征聚合操作，包括：

11、将所述待处理对象监控音频帧序列进行关键信息挖掘操作，以输出所述待处理对象监控音频帧序列对应的原始补充特征表示；

12、在所述原始视频特征表示中增加所述原始补充特征表示，以形成所述原始视频特征表示对应的中间特征表示；

13、对所述中间特征表示和所述原始补充特征表示进行聚合操作，以及，将聚合形成的特征表示进行关键信息挖掘操作，以形成第一阶段的特征聚合操作对应的聚合视频特征表示；

14、对于第一阶段的特征聚合操作外的每一个阶段的特征聚合操作，包括：

15、将所述待处理对象监控音频帧序列进行关键信息挖掘操作，以输出所述待处理对象监控音频帧序列对应的原始补充特征表示；

16、在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示，以形成对应的中间特征表示；

17、对所述中间特征表示和上一个阶段的特征聚合操作对应的聚合视频特征表示进行聚合操作，以及，将聚合形成的特征表示进行关键信息挖掘操作，以形成当前阶段的特征聚合操作对应的聚合视频特征表示。

18、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述将所述待处理对象监控音频帧序列进行关键信息挖掘操作，以输出所述待处理对象监控音频帧序列对应的原始补充特征表示的步骤，包括：

19、将所述待处理对象监控音频帧序列进行特征空间映射操作，以形成对应的特征空间映射特征表示，以及，对所述特征空间映射特征表示进行特征表示参数的行列分布调整操作，以形成第一调整特征表示；

20、将所述第一调整特征表示进行滤波操作，以形成滤波特征表示；

21、对所述滤波特征表示进行特征表示参数的行列分布调整操作，以形成对应的第二调整特征表示；

22、将所述第二调整特征表示进行滤波操作，以形成所述待处理对象监控音频帧序列对应的原始补充特征表。

23、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示，以形成对应的中间特征表示的步骤，包括：

24、将所述上一个阶段的特征聚合操作对应的聚合视频特征表示进行特征表示参数的行列分布调整操作，以形成调整聚合视频特征表示；

25、对所述调整聚合视频特征表示和所述原始补充特征表示进行聚合操作，以形成对应的优化补充特征表示；

26、对所述调整聚合视频特征表示和所述优化补充特征表示进行聚合操作，以形成对应的中间特征表示。

27、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述对所述调整聚合视频特征表示和所述原始补充特征表示进行聚合操作，以形成对应的优化补充特征表示的步骤，包括：

28、对所述调整聚合视频特征表示和所述原始补充特征表示进行拼接操作，以及，将进行拼接操作形成的特征表示进行线性整合操作，以形成对应的线性整合第一特征表示；

29、将所述线性整合第一特征表示进行参数分布调整和滤波操作，以形成对应的优化线性整合第一特征表示；

30、对所述原始补充特征表示和所述优化线性整合第一特征表示进行叠加操作，以及，将进行叠加操作形成的特征表示进行滤波操作，以形成对应的优化补充特征表示。

31、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述对所述调整聚合视频特征表示和所述优化补充特征表示进行聚合操作，以形成对应的中间特征表示的步骤，包括：

32、对所述调整聚合视频特征表示和所述优化补充特征表示进行拼接操作，以及，将进行拼接操作形成的特征表示进行线性整合操作，以形成对应的线性整合第二特征表示；

33、将所述线性整合第二特征表示进行参数分布调整和滤波操作，以形成对应的优化线性整合第二特征表示；

34、对所述优化补充特征表示和所述优化线性整合第二特征表示进行叠加操作，以及，将进行叠加操作形成的特征表示进行滤波操作，以形成对应的中间特征表示。

35、在一些优选的实施例中，在上述基于视频处理的对象分析方法中，所述对形成的多个聚合视频特征表示进行特征合并操作，形成合并视频特征表示，以及，依据所述原始视频特征表示和所述合并视频特征表示，分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列的步骤，包括：

36、对于所述多个聚合视频特征表示中的每一个聚合视频特征表示：

37、抽取出一个聚合视频特征表示的整体分布环境特征表示，以及，基于所述整体分布环境特征表示和所述一个聚合视频特征表示，确定出对应的一个整体视频特征表示；

38、对确定出的多个整体视频特征表示进行特征表示的大小更新操作，以形成大小一致的多个整体视频特征表示，以及，将大小一致的多个整体视频特征表示进行聚合操作，以形成对应的合并视频特征表示；

39、将所述合并视频特征表示进行空洞滤波操作，以形成所述合并视频特征表示对应的空洞滤波视频特征表示；

40、对所述空洞滤波视频特征表示和所述原始视频特征表示进行聚合操作，以形成对应的深度聚合视频特征表示，以及，将所述深度聚合视频特征表示进行滤波操作和插值操作，以形成所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列；

41、其中，所述将所述合并视频特征表示进行空洞滤波操作，以形成所述合并视频特征表示对应的空洞滤波视频特征表示的步骤，包括：

42、对于配置的多个空洞参数中的每一个空洞参数，基于该空洞参数对所述合并视频特征表示进行空洞滤波操作，以形成该空洞参数对应的局部空洞滤波视频特征表示；

43、对所述多个空洞参数对应的多个局部空洞滤波视频特征表示进行聚合操作，以形成所述合并视频特征表示对应的空洞滤波视频特征表示。

44、本发明实施例还提供一种基于视频处理的对象分析系统，包括：

45、监控视频分离模块，用于对于待处理对象监控视频，分离出所述待处理对象监控视频中的待处理对象监控视频帧序列和待处理对象监控音频帧序列，所述待处理对象监控视频基于对待处理对象进行视频监控以形成；

46、关键信息挖掘模块，用于将所述待处理对象监控视频帧序列进行关键信息挖掘操作，以输出对应的原始视频特征表示；

47、特征聚合模块，用于将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作，以获得多阶段的特征聚合操作各自形成的聚合视频特征表示；

48、重要视频帧提取模块，用于对形成的多个聚合视频特征表示进行特征合并操作，形成合并视频特征表示，以及，依据所述原始视频特征表示和所述合并视频特征表示，分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列；

49、对象代表视频确定模块，用于将所述重要对象监控视频帧子序列作为所述待处理对象的代表视频。

50、在一些优选的实施例中，在上述基于视频处理的对象分析系统中，所述特征聚合模块具体用于：

51、对于第一阶段的特征聚合操作，包括：

52、将所述待处理对象监控音频帧序列进行关键信息挖掘操作，以输出所述待处理对象监控音频帧序列对应的原始补充特征表示；

53、在所述原始视频特征表示中增加所述原始补充特征表示，以形成所述原始视频特征表示对应的中间特征表示；

54、对所述中间特征表示和所述原始补充特征表示进行聚合操作，以及，将聚合形成的特征表示进行关键信息挖掘操作，以形成第一阶段的特征聚合操作对应的聚合视频特征表示；

55、对于第一阶段的特征聚合操作外的每一个阶段的特征聚合操作，包括：

56、将所述待处理对象监控音频帧序列进行关键信息挖掘操作，以输出所述待处理对象监控音频帧序列对应的原始补充特征表示；

57、在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示，以形成对应的中间特征表示；

58、对所述中间特征表示和上一个阶段的特征聚合操作对应的聚合视频特征表示进行聚合操作，以及，将聚合形成的特征表示进行关键信息挖掘操作，以形成当前阶段的特征聚合操作对应的聚合视频特征表示。

59、在一些优选的实施例中，在上述基于视频处理的对象分析系统中，所述重要视频帧提取模块具体用于：

60、对于所述多个聚合视频特征表示中的每一个聚合视频特征表示：

61、抽取出一个聚合视频特征表示的整体分布环境特征表示，以及，基于所述整体分布环境特征表示和所述一个聚合视频特征表示，确定出对应的一个整体视频特征表示；

62、对确定出的多个整体视频特征表示进行特征表示的大小更新操作，以形成大小一致的多个整体视频特征表示，以及，将大小一致的多个整体视频特征表示进行聚合操作，以形成对应的合并视频特征表示；

63、将所述合并视频特征表示进行空洞滤波操作，以形成所述合并视频特征表示对应的空洞滤波视频特征表示；

64、对所述空洞滤波视频特征表示和所述原始视频特征表示进行聚合操作，以形成对应的深度聚合视频特征表示，以及，将所述深度聚合视频特征表示进行滤波操作和插值操作，以形成所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列。

65、本发明实施例提供的一种基于视频处理的对象分析方法及系统，可以先分离出待处理对象监控视频帧序列和待处理对象监控音频帧序列；将待处理对象监控视频帧序列进行关键信息挖掘操作，以输出原始视频特征表示；将待处理对象监控音频帧序列对应的原始补充特征表示和原始视频特征表示进行多阶段的特征聚合操作，以获得多个聚合视频特征表示；对多个聚合视频特征表示进行特征合并操作，形成合并视频特征表示，以及，依据原始视频特征表示和合并视频特征表示，分析出重要对象监控视频帧子序列；将重要对象监控视频帧子序列作为待处理对象的代表视频。基于前述的内容，由于在确定出重要对象监控视频帧子序列之前，会先将视频中的视频帧和音频帧进行分离，使得可以分别挖掘出对应的特征表示，再通过多阶段的特征聚合操作，可以使得得到的合并视频特征表示的可靠度更高，信息更为丰富，因此，可以提高重要对象监控视频帧子序列的确定精度，从而提高对象分析的可靠度，改善现有技术中的不足。

66、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。