一种分区域的视频超分辨率处理方法、装置及存储介质与流程

本技术涉及数字图像处理，更具体的说，涉及一种分区域的视频超分辨率处理方法、装置及存储介质。

背景技术：

1、播放器在播放视频时，当用户本地网络较差，或者为了节省流量选择标清、极速清晰度播放视频，或者视频源本来就不清晰时，播放器会在视频画面解码出来时进行超分辨率处理。如此通过对解码出来的视频画面进行超分辨率处理，可以增强视频画质，以低清视频流体验超高清视频的观看效果，既可以减少用户消耗流量，还可以减少服务器出口带宽，降低运营的成本。

2、但是，目前播放器是对视频的每一帧画面全部进行超分辨率处理，如此会导致客户端超分辨率处理的计算量非常大，对客户端的性能要求较高。

技术实现思路

1、有鉴于此，本技术实施例公开一种分区域的视频超分辨率处理方法、装置及存储介质，以在增强视频画质的同时，减少客户端超分辨率处理的计算量。

2、本技术实施例提供的技术方案如下：

3、第一方面，本技术实施例提供了一种分区域的视频超分辨率处理方法，所述方法包括：

4、对视频流进行解码，得到多帧视频图片和每帧视频图片对应的特征区域序列集合；

5、根据当前帧视频图片对应的特征区域序列集合从所述当前帧视频图片中截取对应的特征图片，得到特征图片集合；

6、对所述特征图片集合中的图片进行超分辨率处理，得到超分辨率处理后的特征图片集合；

7、根据所述超分辨率处理后的特征图片集合和所述当前帧视频图片进行融合计算，得到超分辨率处理后的当前帧视频图片。

8、在一种可能的实现方式中，所述根据当前帧视频图片对应的特征区域序列集合从所述当前帧视频图片中截取对应的特征图片，得到特征图片集合，包括：

9、对当前帧视频图片对应的特征区域序列集合进行拆分，得到所述当前帧视频图片对应的人像显性区域集合、字幕区域集合和标识区域集合；

10、根据所述人像显性区域集合、所述字幕区域集合和所述标识区域集合从所述当前帧视频图片中截取对应的特征图片，得到特征图片集合。

11、在一种可能的实现方式中，所述根据所述人像显性区域集合、所述字幕区域集合和所述标识区域集合从所述当前帧视频图片中截取对应的特征图片，得到特征图片集合，包括：

12、对所述人像显性区域集合中相互重叠的区域进行处理，得到最终人像显性区域集合；

13、对所述字幕区域集合中与所述最终人像显性区域集合中的区域存在重叠的区域进行处理，得到最终字幕区域集合；

14、对所述标识区域集合中与所述最终人像显性区域集合中的区域存在重叠的区域进行处理，得到最终标识区域集合；

15、根据所述最终人像显性区域集合从所述当前帧视频图片中截取对应的特征图片，得到人像显性图片集合；

16、根据所述最终字幕区域集合从所述当前帧视频图片中截取对应的特征图片，得到字幕图片集合；

17、根据所述最终标识区域集合从所述当前帧视频图片中截取对应的特征图片，得到标识图片集合。

18、在一种可能的实现方式中，所述对所述人像显性区域集合中相互重叠的区域进行处理，得到最终人像显性区域集合，包括：

19、将所述人像显性区域集合中的区域按照区域面积从大到小进行排列，得到第一区域集合；

20、从所述第一区域集合中取出第一区域，放入第二区域集合中；所述第一区域为所述第一区域集合中面积最大的区域；

21、判断当前第一区域集合是否为空；

22、若所述当前第一区域集合不为空，则从当前第一区域集合中取出第二区域；所述第二区域为所述当前第一区域集合中面积最大的区域；

23、遍历所述第二区域集合中的区域，判断所述第二区域与当前遍历到的第三区域是否存在重叠；

24、若所述第二区域与所述第三区域存在重叠，则计算得到第一重叠指数；

25、判断所述第一重叠指数是否大于第一预设阈值；

26、若所述第一重叠指数大于第一预设阈值，则将所述第二区域与所述第三区域进行融合，得到第四区域；

27、利用所述第四区域替换所述第二区域集合中的所述第三区域，返回执行如下步骤：判断当前第一区域集合是否为空；

28、若所述当前第一区域集合为空，则将当前第二区域集合作为最终人像显性区域集合。

29、在一种可能的实现方式中，所述对所述字幕区域集合中与所述最终人像显性区域集合中的区域存在重叠的区域进行处理，得到最终字幕区域集合，包括：

30、判断当前字幕区域集合是否为空；

31、若所述当前字幕区域集合不为空，则从所述当前字幕区域集合中取出第五区域；所述第五区域为所述当前字幕区域集合中的任意一个区域；

32、遍历所述最终人像显性区域集合，判断所述第五区域与当前遍历到的第六区域是否存在重叠；

33、若所述第五区域与所述第六区域存在重叠，则计算得到第二重叠指数；

34、判断所述第二重叠指数是否大于第二预设阈值；

35、若所述第二重叠指数大于第二预设阈值，则过滤掉所述第五区域中与所述第六区域存在重叠的区域，得到过滤后的第五区域；

36、将所述过滤后的第五区域放入第三区域集合中，返回执行如下步骤：判断当前字幕区域集合是否为空；

37、若所述当前字幕区域集合为空，则将当前第三区域集合作为最终字幕区域集合。

38、在一种可能的实现方式中，所述对所述标识区域集合中与所述最终人像显性区域集合中的区域存在重叠的区域进行处理，得到最终标识区域集合，包括：

39、判断当前标识区域集合是否为空；

40、若所述当前标识区域集合不为空，则从所述当前标识区域集合中取出第七区域；所述第七区域为所述当前标识区域集合中的任意一个区域；

41、遍历所述最终人像显性区域集合，判断所述第七区域与当前遍历到的第八区域是否存在重叠；

42、若所述第七区域与所述第八区域存在重叠，则计算得到第三重叠指数；

43、判断所述第三重叠指数是否大于第三预设阈值；

44、若所述第三重叠指数大于第三预设阈值，则过滤掉所述第七区域中与所述第八区域存在重叠的区域，得到过滤后的第七区域；

45、将所述过滤后的第七区域放入第四区域集合中，返回执行如下步骤：判断当前标识区域集合是否为空；

46、若所述当前标识区域集合为空，则将当前第四区域集合作为最终标识区域集合。

47、在一种可能的实现方式中，所述对所述特征图片集合进行超分辨率处理，得到超分辨率处理后的特征图片集合，包括：

48、利用人像显性超分模型对所述人像显性图片集合进行超分辨率处理，得到超分辨率处理后的人像显性图片集合；

49、利用字幕超分模型对所述字幕图片集合进行超分辨率处理，得到超分辨率处理后的字幕图片集合；

50、利用标识超分模型对所述标识图片集合进行超分辨率处理，得到超分辨率处理后的标识图片集合。

51、第二方面，本技术实施例提供了一种分区域的视频超分辨率处理装置，所述装置包括：

52、解码单元，用于对视频流进行解码，得到多帧视频图片和每帧视频图片对应的特征区域序列集合；

53、截取单元，用于根据当前帧视频图片对应的特征区域序列集合从所述当前帧视频图片中截取对应的特征图片，得到特征图片集合；

54、超分处理单元，用于对所述特征图片集合中的图片进行超分辨率处理，得到超分辨率处理后的特征图片集合；

55、融合单元，用于根据所述超分辨率处理后的特征图片集合和所述当前帧视频图片进行融合计算，得到超分辨率处理后的当前帧视频图片。

56、第三方面，本技术实施例提供了一种分区域的视频超分辨率处理装置，所述设备包括：处理器、存储器、系统总线；

57、所述处理器以及所述存储器通过所述系统总线相连；

58、所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行以上第一方面任一项所述的分区域的视频超分辨率处理方法。

59、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行以上第一方面任一项所述的分区域的视频超分辨率处理方法。

60、第五方面，本技术实施例提供一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行以上第一方面任一项所述的分区域的视频超分辨率处理方法。

61、基于上述技术方案，本技术具有以下有益效果：

62、本技术实施例公开了一种分区域的视频超分辨率处理方法、装置及存储介质。其中，该方法包括：对视频流进行解码，得到多帧视频图片和每帧视频图片对应的特征区域序列集合；根据当前帧视频图片对应的特征区域序列集合从当前帧视频图片中截取对应的特征图片，得到特征图片集合；对特征图片集合中的图片进行超分辨率处理，得到超分辨率处理后的特征图片集合；根据超分辨率处理后的特征图片集合和当前帧视频图片进行融合计算，得到超分辨率处理后的当前帧视频图片。可见，本技术实施例中通过解码视频流获得特征区域序列集合，使得可以根据特征区域序列集合对原视频图片中的特征图片进行超分辨率处理，而无需对原视频图片全部进行超分辨率处理，如此在增强视频画质的同时，大大减少了客户端超分辨率处理的计算量。而且，每帧视频图片是对应一个特征区域序列集合，如此随着视频的变化，视频图片对应的特征区域会动态增加或减少，会动态地截取特征图片进行超分辨率处理，增加了超分辨率处理的灵活性，避免了对很少或没有特征区域的视频图片进行超分辨率处理而造成客户端资源的浪费。