图像显著性区域的检测方法及装置、存储介质及电子设备与流程

本发明涉及图像处理，特别涉及一种图像显著性区域的检测方法及装置、存储介质及电子设备。

背景技术：

1、视频感知编码是一种利用人眼注意力机制的视频编码技术，它通过在视频编码时将码率更多的分配到视频画面中人眼所关注的感兴趣区域，该感兴趣区域还可以称为显著性区域。使视频观看者在使用和原来相同或甚至更低码率的情况下，让视频观看者获取到更好的主观画质体验。

2、为了实现码率在感兴趣区域的重分配，检测视频画面中的显著性区域是必要的。目前在检测显著性区域时，为了快速检测出显著性区域，仅使用视频画面的简单特征数据进行检测，导致检测结果精度低。

技术实现思路

1、有鉴于此，本发明实施例提供一种图像显著性区域的检测方法及装置、存储介质及电子设备，本发明通过对提取的显著性特征进行语义增强以及多尺度增强等处理，提高特征的表现力，使得特征可以满足进行显著性区域检测的各种因素，进而提高检测的精度。

2、为实现上述目的，本发明实施例提供如下技术方案：

3、一种图像显著性区域的检测方法，包括：

4、获取待处理视频帧；

5、利用显著性特征提取模型提取所述待处理视频帧的显著性特征；

6、对所述显著性特征进行语义增强处理，得到语义增强特征；

7、对所述语义增强特征进行多尺度增强处理，获取多尺度增强特征；

8、对所述多尺度增强特征进行处理，获取所述待处理视频帧的显著性区域检测结果。

9、上述的方法，可选的，还包括：

10、基于所述显著性区域检测结果，对所述待处理视频帧的码率进行重分配。

11、上述的方法，可选的，所述显著性特征提取模型由轻量化网络组成，所述轻量化网络的总下采样率调整为预设数值，并且所述轻量化网络中设置空洞卷积。

12、上述的方法，可选的，所述获取待处理视频帧，包括：

13、获取视频，从所述视频中获取初始视频帧；

14、对所述初始视频帧进行格式转换，得到转换视频帧；

15、对所述转换视频帧进行降采样处理，得到降采样视频帧；

16、对所述降采样视频帧的边界进行填充，得到填充视频帧；

17、对所述填充视频帧进行归一化处理，得到归一化视频帧，并将所述归一化视频帧确定为待处理视频帧。

18、上述的方法，可选的，所述对所述显著性特征进行语义增强处理，得到语义增强特征，包括：

19、获取所述显著性特征中的各个显著性特征因子；

20、对各个所述显著性特征因子进行处理，获取全局语义增强向量；

21、对所述全局语义增强向量进行处理，得到每个所述显著性特征因子的语义增强向量；

22、对于每个所述显著性特征因子，将所述显著性特征因子和所述显著性特征因子的语义增强向量进行融合，得到所述显著性特征因子的语义增强特征因子；

23、基于各个所述语义增强特征因子，得到语义增强特征。

24、上述的方法，可选的，所述对所述语义增强特征进行多尺度增强处理，获取多尺度增强特征，包括：

25、对所述语义增强特征中的各个语义增强因子进行处理，得到每个所述语义增强因子的多尺度特征因子；

26、将各个所述多尺度特征因子进行融合，得到多尺度增强特征。

27、一种图像显著性区域的检测装置，包括：

28、获取单元，用于获取待处理视频帧；

29、提取单元，用于利用显著性特征提取模型提取所述待处理视频帧的显著性特征；

30、第一处理单元，用于对所述显著性特征进行语义增强处理，得到语义增强特征；

31、第二处理单元，用于对所述语义增强特征进行多尺度增强处理，获取多尺度增强特征；

32、第三处理单元，用于对所述多尺度增强特征进行处理，获取所述待处理视频帧的显著性区域检测结果。

33、上述的装置，可选的，还包括：

34、分配单元，用于基于所述显著性区域检测结果，对所述待处理视频帧的码率进行重分配。

35、上述的装置，可选的，所述显著性特征提取模型由轻量化网络组成，所述轻量化网络的总下采样率调整为预设数值，并且所述轻量化网络中设置空洞卷积。

36、上述的装置，可选的，所述获取单元，包括：

37、第一获取子单元，用于获取视频，从所述视频中获取初始视频帧；

38、转换子单元，用于对所述初始视频帧进行格式转换，得到转换视频帧；

39、降采样处理子单元，用于对所述转换视频帧进行降采样处理，得到降采样视频帧；

40、填充子单元，用于对所述降采样视频帧的边界进行填充，得到填充视频帧；

41、归一化处理子单元，用于对所述填充视频帧进行归一化处理，得到归一化视频帧，并将所述归一化视频帧确定为待处理视频帧。

42、上述的装置，可选的，所述第一处理单元，包括：

43、第二获取子单元，用于获取所述显著性特征中的各个显著性特征因子；

44、第三获取子单元，用于对各个所述显著性特征因子进行处理，获取全局语义增强向量；

45、第一处理子单元，用于对所述全局语义增强向量进行处理，得到每个所述显著性特征因子的语义增强向量；

46、第二融合子单元，用于对于每个所述显著性特征因子，将所述显著性特征因子和所述显著性特征因子的语义增强向量进行融合，得到所述显著性特征因子的语义增强特征因子；

47、获得子单元，用于基于各个所述语义增强特征因子，得到语义增强特征。

48、上述的装置，可选的，所述第二处理单元，包括：

49、第二处理子单元，用于对所述语义增强特征中的各个语义增强因子进行处理，得到每个所述语义增强因子的多尺度特征因子；

50、第二融合子单元，用于将各个所述多尺度特征因子进行融合，得到多尺度增强特征。

51、一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上所述的图像显著性区域的检测方法。

52、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上所述的图像显著性区域的检测方法。

53、与现有技术相比，本发明具有以下优点：

54、本发明提供一种图像显著性区域的检测方法及装置、存储介质及电子设备，包括：获取待处理视频帧；提取待处理视频帧的显著性特征；对显著性特征进行语义增强处理，得到语义增强特征；对语义增强特征进行多尺度增强处理，获取多尺度增强特征；对多尺度增强特征进行处理，获取待处理视频帧的显著性区域检测结果。本发明从待处理视频帧中提取显著性特征后，对显著性特征进行语义增强以及多尺度增强等处理，从而可以深度挖掘特征的表现力，增强特征的语义表达能力，以使特征满足检测显著性区域的各类因素和需求，进而提高显著性区域检测结果的准确性。