一种视频图像处理方法、装置、存储介质和终端设备与流程

一种视频图像处理方法、装置、存储介质和终端设备
【技术领域】
1.本发明涉及图像处理技术领域，尤其涉及一种视频图像处理方法、装置、存储介质和终端设备。


背景技术：

2.目前视频通话已经非常普及，由于网络信号不稳定会导致视频图像的模糊和卡顿，降低了视频通话的质量。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种视频图像处理方法、装置、存储介质和终端设备，用以提高视频通话的质量。
4.一方面，本发明实施例提供了一种视频图像处理方法，包括：
5.获取视频图像；
6.判断所述视频图像的每秒传输帧数fps是否小于设定帧数阈值；
7.若判断出所述fps小于设定帧数阈值，通过深度学习算法对所述视频图像进行计算，生成增强图像；
8.通过二维插值算法对所述增强图像进行计算，生成至少一个插值图像；
9.根据所述增强图像和所述至少一个插值图像，生成视频帧图像。
10.可选地，所述视频图像包括当前帧图像和后一帧图像，所述增强图像包括当前帧图像对应的增强图像和后一帧图像对应的增强图像；
11.所述通过深度学习算法对所述视频图像进行计算，生成增强图像，包括：
12.通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像；
13.所述通过二维插值算法对所述增强图像进行计算，生成至少一个插值图像，包括：
14.根据生成的插值图像的个数，通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成至少一个插值图像；
15.所述根据所述增强图像和所述至少一个插值图像，生成视频帧图像，包括：
16.将所述至少一个插值图像在所述当前帧图像对应的增强图像和所述后一帧图像对应的增强图像之间进行插帧，生成视频帧图像。
17.可选地，所述通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像，包括：
18.通过卷积神经网络cnn算法提取所述当前帧图像的第一空间特征信息；
19.通过门控循环单元gru算法提取所述当前帧图像的第一时域特征信息；
20.根据所述第一空间特征信息和所述第一时域特征信息生成当前帧图像对应的增强图像；
21.通过卷积神经网络cnn算法提取所述后一帧图像的第二空间特征信息；
22.通过门控循环单元gru算法提取所述后一帧图像的第二时域特征信息；
23.根据所述第二空间特征信息和所述第二时域特征信息生成后一帧图像对应的增强图像。
24.可选地，所述根据所述第一空间特征信息和所述第一时域特征信息生成当前帧图像对应的增强图像，包括：
25.通过卷积门控合并单元cgmu算法对所述第一空间特征信息和所述第一时域特征信息进行卷积计算，生成当前帧图像对应的增强图像。
26.可选地，所述根据所述第二空间特征信息和所述第二时域特征信息生成后一帧图像对应的增强图像，包括：
27.通过卷积门控合并单元cgmu算法对所述第二空间特征信息和所述第二时域特征信息进行卷积计算，生成后一帧图像对应的增强图像。
28.可选地，所述根据生成的插值图像的个数，通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成至少一个插值图像之前，还包括：
29.根据所述fps和设置的目标fps，生成所述插值图像的个数。
30.可选地，还包括：
31.若判断出所述fps大于或等于设定帧数阈值，继续执行所述获取视频图像的步骤。
32.另一方面，本发明实施例提供了一种视频图像处理装置，包括：
33.获取模块，用于获取视频图像；
34.判断模块，用于判断所述视频图像的每秒传输帧数fps是否小于设定帧数阈值，若判断出所述fps小于设定帧数阈值，触发第一生成模块通过深度学习算法对所述视频图像进行计算，生成增强图像；
35.第二生成模块，用于通过二维插值算法对所述增强图像进行计算，生成至少一个插值图像；
36.第三生成模块，用于根据所述增强图像和所述至少一个插值图像，生成视频帧图像。
37.另一方面，本发明实施例提供了一种存储介质，包括：所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述一种视频图像处理方法。
38.另一方面，本发明实施例提供了一种终端设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现上述一种视频图像处理方法的步骤。
39.本发明实施例提供的视频图像处理方法的技术方案中，获取视频图像；判断视频图像的每秒传输帧数fps是否小于设定帧数阈值；若判断出fps小于设定帧数阈值，通过深度学习算法对视频图像进行计算，生成增强图像；通过二维插值算法对增强图像进行计算，生成至少一个插值图像；根据增强图像和至少一个插值图像，生成视频帧图像。本发明实施例提供的技术方案中，基于深度学习算法和二维插值算法对视频图像进行处理，解决了视频通话时的图像模糊和视频卡顿问题，提高了视频通话的质量。
【附图说明】
40.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
41.图1为本发明实施例提供的一种视频图像处理方法的流程图；
42.图2为本发明实施例提供的另一种视频图像处理方法的流程图；
43.图3为通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像的流程图；
44.图4为本发明实施例提供的一种深度学习算法的网络单元层结构示意图；
45.图5为本发明实施例提供的一种视频图像处理方法的流程示意图；
46.图6为本发明实施例提供的一种视频图像处理装置的结构示意图；
47.图7为本发明实施例提供的一种终端设备的示意图。
【具体实施方式】
48.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
49.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
50.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
51.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
52.本发明实施例提供了一种视频图像处理方法，图1为本发明实施例提供的一种视频图像处理方法的流程图，如图1所示，该方法包括：
53.步骤102、获取视频图像。
54.本发明实施例中，各步骤由终端设备执行，其中，终端设备为支持视频通话的终端设备。例如，终端设备包括手机、平板电脑、可穿戴设备、汽车中控屏幕等可以接收通信数据和可视化输出音视频的设备。
55.本步骤中，终端设备获取视频通话的视频图像。
56.步骤104、判断视频图像的每秒传输帧数fps是否小于设定帧数阈值。
57.本发明实施例中，能够根据实际情况设置设定帧数阈值。例如，设定帧数阈值为20。
58.步骤106、若判断出fps小于设定帧数阈值，通过深度学习算法对视频图像进行计算，生成增强图像。
59.本发明实施例中，深度学习算法包括卷积门控合并单元(convolution gated merge unit，简称cgmu)算法，其中，cgmu算法是由卷积神经网络(convolutional neural networks，简称cnn)算法和门控循环单元(gated recurrent unit，简称gru)算法融合，形
成的用于图像增强的深度学习算法。
60.本发明实施例中，增强图像为清晰的视频图像。
61.步骤108、通过二维插值算法对增强图像进行计算，生成至少一个插值图像。
62.步骤110、根据增强图像和至少一个插值图像，生成视频帧图像。
63.具体地，将至少一个插值图像在增强图像之间进行插帧，生成视频帧图像。
64.本发明实施例中，步骤110之后还包括：显示视频帧图像。终端设备的显示屏显示视频帧图像，此时，视频帧图像为连续且清晰的图像。
65.本发明实施例提供的技术方案中，获取视频图像；判断视频图像的每秒传输帧数fps是否小于设定帧数阈值；若判断出fps小于设定帧数阈值，通过深度学习算法对视频图像进行计算，生成增强图像；通过二维插值算法对增强图像进行计算，生成至少一个插值图像；根据增强图像和至少一个插值图像，生成视频帧图像。本发明实施例提供的技术方案中，基于深度学习算法和二维插值算法对视频图像进行处理，解决了视频通话时的图像模糊和视频卡顿问题，提高了视频通话的质量。
66.本发明实施例提供了另一种视频图像处理方法，图2为本发明实施例提供的另一种视频图像处理方法的流程图，如图2所示，该方法包括：
67.步骤202、获取视频图像。
68.本发明实施例中，各步骤由终端设备执行，其中，终端设备为支持视频通话的终端设备。例如，终端设备包括手机、平板电脑、可穿戴设备、汽车中控屏幕等可以接收通信数据和可视化输出音视频的设备。
69.本步骤中，终端设备获取视频通话的视频图像。
70.本发明实施例中，视频图像包括当前帧图像和后一帧图像。
71.步骤204、判断视频图像的每秒传输帧数fps是否小于设定帧数阈值，若是，执行步骤206；若否，执行步骤202。
72.本发明实施例中，能够根据实际情况设置设定帧数阈值。例如，设定帧数阈值为20。
73.本发明实施例中，若判断出视频图像的fps小于设定帧数阈值，则表明视频通话的视频图像较为模糊，需要进行图像增强，执行步骤206；若判断出视频图像的fps大于或等于设定帧数阈值，则表明视频通话的视频图像较为清晰，不需要进行图像增强，执行步骤202。
74.步骤206、通过深度学习算法对视频图像进行计算，生成增强图像。
75.本发明实施例中，增强图像包括当前帧图像对应的增强图像和后一帧图像对应的增强图像。
76.本发明实施例中，深度学习算法包括cgmu算法，其中，cgmu算法是由cnn算法和gru算法融合，形成的用于图像增强的深度学习算法。
77.具体地，通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像。
78.本发明实施例中，图3为通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像的流程图，如图3所示，通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像具体包括：
79.步骤s1、通过卷积神经网络cnn算法提取当前帧图像的第一空间特征信息。
80.图4为本发明实施例提供的一种深度学习算法的网络单元层结构示意图，如图4所示，cgmu算法由cnn算法和gru算法融合，其中，cnn算法中包含一个卷积核为1x1的卷积层conv1和一个卷积核n
×
n的卷积层conv2，conv1输出经过线性整流函数(rectified linear unit，简称relu)激活函数后会分三个方向，第一个方向直接输入至conv2，第二个方向是与conv2的输出相加，第三个是作为gru算法的输入数据。第一个方向与第二个方向的连接方式是经典的残差网络resnet连接方式，采用残差网络resnet的连接方式具有降低过拟合等优势。
81.步骤s2、通过门控循环单元gru算法提取当前帧图像的第一时域特征信息。
82.本发明实施例中，gru算法是长短期记忆网络(long short-term memory，简称lstm)的改进，通过两个门控制信息的储存和更新。gru算法储存在上一帧的图像可以指导当前帧图像在cnn算法中的时域特征信息提取，使输出的当前帧图像与后一帧图像之间更具有关联性，同时cnn算法对空间特征信息的提取可以输出更清晰的图像。
83.步骤s3、根据第一空间特征信息和第一时域特征信息生成当前帧图像对应的增强图像。
84.具体地，通过卷积门控合并单元cgmu算法对第一空间特征信息和第一时域特征信息进行卷积计算，生成当前帧图像对应的增强图像。
85.本发明实施例中，将gru算法和cnn算法的输出卷积构成cgmu算法。cgmu算法即具有gru算法提取时域特征信息的优势，又具有cnn算法提取空间特征信息的优势。
86.步骤s4、通过卷积神经网络cnn算法提取后一帧图像的第二空间特征信息。
87.本发明实施例中，步骤s4-步骤s6的计算方法与步骤s1-步骤s3相同，此处不再重复赘述。
88.步骤s5、通过门控循环单元gru算法提取后一帧图像的第二时域特征信息。
89.步骤s6、根据第二空间特征信息和第二时域特征信息生成后一帧图像对应的增强图像。
90.具体地，通过卷积门控合并单元cgmu算法对第二空间特征信息和第二时域特征信息进行卷积计算，生成后一帧图像对应的增强图像。
91.步骤208、通过二维插值算法对增强图像进行计算，生成至少一个插值图像。
92.具体地，根据生成的插值图像的个数，通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成至少一个插值图像。
93.本发明实施例中，步骤208之前还包括：根据fps和设置的目标fps，生成插值图像的个数。
94.本发明实施例中，目标fps能够根据实际情况进行设置。
95.具体地，通过公式对fps和设置的目标fps进行计算，生成插值图像的个数，其中，a为插值图像的个数，b为fps，c为目标fps。
96.本发明实施例中，生成的插值图像的个数，能够指导后续通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像计算生成的插值图像的个数。例如，若生成的插值图像的个数为3，则通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成3个插值图像。
97.步骤210、根据增强图像和至少一个插值图像，生成视频帧图像。
98.具体地，将至少一个插值图像在当前帧图像对应的增强图像和后一帧图像对应的增强图像之间进行插帧，生成视频帧图像。
99.本发明实施例中，视频帧图像为连续的图像序列。
100.本发明实施例中，步骤210之后还包括：显示视频帧图像。终端设备的显示屏显示视频帧图像，此时，视频帧图像为连续且清晰的图像。
101.图5为本发明实施例提供的一种视频图像处理方法的流程示意图，如图5所示，当前帧图像和后一帧图像分别同时输入上下两层cgmu算法。cgmu算法的中间网络层数为12个单元层，其中前6个单元层和后6个单元层为对称结构，后6个单元层的卷积采用反卷积方式。深度学习算法的通道数channel分别为3、64、128、128、64和3，卷积核大小kernel size分别为7、5、3、3、5和7，跨距stride分别为1、1、1、1、1和1。
102.本发明实施例中，能够通过cgmu算法后可输出高质量的当前帧图像对应的增强图像和后一帧图像对应的增强图像，并通过二维插值算法将当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成至少一个插值图像。将至少一个插值图像在当前帧图像对应的增强图像和后一帧图像对应的增强图像之间进行插帧，生成视频帧图像。最终可生成视频帧图像，视频帧为连续且清晰的图像。
103.本发明实施例提供的技术方案中，获取视频图像；判断视频图像的每秒传输帧数fps是否小于设定帧数阈值；若判断出fps小于设定帧数阈值，通过深度学习算法对视频图像进行计算，生成增强图像；通过二维插值算法对增强图像进行计算，生成至少一个插值图像；根据增强图像和至少一个插值图像，生成视频帧图像。本发明实施例提供的技术方案中，基于深度学习算法和二维插值算法对视频图像进行处理，解决了视频通话时的图像模糊和视频卡顿问题，提高了视频通话的质量。
104.本发明实施例提供的技术方案中，深度学习算法可以更好地提取视频图像的时域特征信息和空间特征信息，以输出高质量的增强图像。二维插值算法可以更快速地计算出插值图像，能够得出质量更好，耗时更短的视频帧图像。
105.本发明实施例提供的技术方案能够应用于如偏远地区，通信不发达的地区等。
106.本发明实施例提供了一种视频图像处理装置。图6为本发明一实施例提供的一种视频图像处理装置的结构示意图，如图6所示，该装置包括：获取模块11、判断模块12、第一生成模块13、第二生成模块14和第三生成模块15。
107.获取模块11用于获取视频图像。
108.判断模块12用于判断所述视频图像的每秒传输帧数fps是否小于设定帧数阈值，若判断出所述fps小于设定帧数阈值，触发第一生成模块13通过深度学习算法对所述视频图像进行计算，生成增强图像。
109.第二生成模块14用于通过二维插值算法对所述增强图像进行计算，生成至少一个插值图像。
110.第三生成模块15用于根据所述增强图像和所述至少一个插值图像，生成视频帧图像。
111.本发明实施例中，视频图像包括当前帧图像和后一帧图像，增强图像包括当前帧图像对应的增强图像和后一帧图像对应的增强图像；
112.第一生成模块13具体用于通过深度学习算法对当前帧图像和后一帧图像进行计算，生成当前帧图像对应的增强图像和后一帧图像对应的增强图像。
113.第二生成模块14具体用于根据生成的插值图像的个数，通过二维插值算法对当前帧图像对应的增强图像和后一帧图像对应的增强图像进行计算，生成至少一个插值图像。
114.第三生成模块15具体用于将所述至少一个插值图像在所述当前帧图像对应的增强图像和所述后一帧图像对应的增强图像之间进行插帧，生成视频帧图像。
115.第一生成模块13具体用于通过卷积神经网络cnn算法提取所述当前帧图像的第一空间特征信息；通过门控循环单元gru算法提取所述当前帧图像的第一时域特征信息；根据所述第一空间特征信息和所述第一时域特征信息生成当前帧图像对应的增强图像；通过卷积神经网络cnn算法提取所述后一帧图像的第二空间特征信息；通过门控循环单元gru算法提取所述后一帧图像的第二时域特征信息；根据所述第二空间特征信息和所述第二时域特征信息生成后一帧图像对应的增强图像。
116.第一生成模块13具体用于通过卷积门控合并单元cgmu算法对所述第一空间特征信息和所述第一时域特征信息进行卷积计算，生成当前帧图像对应的增强图像。
117.第一生成模块13具体用于通过卷积门控合并单元cgmu算法对所述第二空间特征信息和所述第二时域特征信息进行卷积计算，生成后一帧图像对应的增强图像。
118.本发明实施例中，该装置还包括：第四生成模块16。
119.第四生成模块16用于根据所述fps和设置的目标fps，生成所述插值图像的个数。
120.本发明实施例提供的技术方案中，获取视频图像；判断视频图像的每秒传输帧数fps是否小于设定帧数阈值；若判断出fps小于设定帧数阈值，通过深度学习算法对视频图像进行计算，生成增强图像；通过二维插值算法对增强图像进行计算，生成至少一个插值图像；根据增强图像和至少一个插值图像，生成视频帧图像。本发明实施例提供的技术方案中，基于深度学习算法和二维插值算法对视频图像进行处理，解决了视频通话时的图像模糊和视频卡顿问题，提高了视频通话的质量。
121.本实施例提供的视频图像处理装置可用于实现上述图1和图2中的视频图像处理方法，具体描述可参见上述视频图像处理方法的实施例，此处不再重复描述。
122.本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述视频图像处理方法的实施例的各步骤，具体描述可参见上述视频图像处理方法的实施例。
123.本发明实施例提供了一种终端设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述视频图像处理方法的实施例的各步骤，具体描述可参见上述视频图像处理方法的实施例。
124.图7为本发明实施例提供的一种终端设备的示意图。如图7所示，该实施例的终端设备20包括：处理器21、存储器22以及存储在存储器22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的应用于视频图像处理方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器21执行时实现实施例中应用于视频图像处理装置中各模型/单元的功能，为避免重复，此处不一一赘述。
125.终端设备20包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图
7仅仅是终端设备20的示例，并不构成对终端设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
126.所称处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
127.存储器22可以是终端设备20的内部存储单元，例如终端设备20的硬盘或内存。存储器22也可以是终端设备20的外部存储设备，例如终端设备20上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器22还可以既包括终端设备20的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及终端设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。
128.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
129.在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
130.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
131.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
132.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
133.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。