视频增强方法、装置、设备、存储介质及程序产品与流程

本技术涉及人工智能技术，尤其涉及一种基于人工智能的视频增强方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、人工智能(ai，artificial intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。

2、由于图像的质量良莠不齐，因此会对图像执行图像增强算法，从而可以向用户提供高质量的图像，由于视频中的视频帧本质上也是图像，因此可以借鉴图像增强算法对视频进行视频增强处理，但是相关技术中视频增强存在算法复杂度较高以及时域稳定性较差的问题。

技术实现思路

1、本技术实施例提供一种基于人工智能的视频增强方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高视频增强的时域稳定性以提升视频增强效果。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种基于人工智能的视频增强方法，包括：

4、对所述视频进行解码处理，得到多个视频帧；

5、获取所述视频帧的初始查找表；

6、当所述视频帧不具有相邻视频帧，或者，所述视频帧与所述视频帧的相邻视频帧属于不同镜头时，将所述视频帧的初始查找表作为所述视频帧的增强查找表，其中，所述相邻视频帧为所述视频帧的上一个视频帧或者所述视频帧的下一个视频帧；

7、当所述视频帧具有相邻视频帧，且所述视频帧与所述相邻视频帧属于相同镜头时，获取所述视频帧的相邻视频帧的增强查找表，并对所述视频帧的相邻视频帧的增强查找表和所述视频帧的初始查找表进行融合处理，得到所述视频帧的增强查找表；

8、基于所述视频帧的增强查找表，对所述视频帧进行图像增强处理，得到所述视频帧的增强图像，并对多个所述视频帧的增强图像进行编码处理，得到所述视频的增强视频。

9、本技术实施例提供一种基于人工智能的视频增强装置，包括：

10、解码模块，用于对所述视频进行解码处理，得到多个视频帧；

11、查找表模块，用于获取所述视频帧的初始查找表；

12、所述查找表模块，还用于当所述视频帧不具有相邻视频帧，或者，所述视频帧与所述视频帧的相邻视频帧属于不同镜头时，将所述视频帧的初始查找表作为所述视频帧的增强查找表，其中，所述相邻视频帧为所述视频帧的上一个视频帧或者所述视频帧的下一个视频帧；

13、融合模块，用于当所述视频帧具有相邻视频帧，且所述视频帧与所述相邻视频帧属于相同镜头时，获取所述视频帧的相邻视频帧的增强查找表，并对所述视频帧的相邻视频帧的增强查找表和所述视频帧的初始查找表进行融合处理，得到所述视频帧的增强查找表；

14、增强模块，用于基于所述视频帧的增强查找表，对所述视频帧进行图像增强处理，得到所述视频帧的增强图像，并对多个所述视频帧的增强图像进行编码处理，得到所述视频的增强视频。

15、在上述方案中，所述查找表模块，还用于：对所述视频帧进行分辨率变换处理，得到符合目标分辨率的目标视频帧；获取所述目标视频帧对应每个基础查找表的权重；基于每个所述基础查找表的权重对多个所述基础查找表进行加权求和处理，得到所述视频帧的初始查找表。

16、在上述方案中，所述初始查找表是通过查找表生成模型得到的；所述查找表模块，还用于：获取标签图像样本，并对所述标签图像样本进行退化处理，得到第一图像样本；对所述第一图像样本进行第一裁剪处理，得到第二图像样本，对所述第一图像样本进行第二裁剪处理，得到第三图像样本，并在所述第二图像样本上生成字幕掩膜图像，得到包括所述字幕掩膜图像的第四图像样本；将所述第二图像样本、所述第三图像样本以及所述第四图像样本在所述查找表生成模型中进行正向传播，得到正向传播结果；基于所述正向传播结果确定对应所述查找表生成模型的综合损失；将所述综合损失在所述查找表生成模型中进行反向传播，得到所述综合损失收敛至最小值时的参数更新值以及每个所述基础查找表的查找表更新值；基于所述参数更新值更新所述查找表生成模型的参数，并基于每个所述查找表更新值更新对应的基础查找表。

17、在上述方案中，所述查找表模块，还用于：通过所述查找表生成模型对所述第二图像样本进行查找表生成处理，得到所述第二图像样本的第二查找表，并基于所述第二查找表对所述第二图像样本进行图像增强处理，得到所述第二图像样本的第二增强图像；通过所述查找表生成模型对所述第三图像样本进行查找表生成处理，得到所述第三图像样本的第三查找表，并基于所述第三查找表对所述第三图像样本进行图像增强处理，得到所述第三图像样本的第三增强图像；通过所述查找表生成模型对所述第四图像样本进行查找表生成处理，得到所述第四图像样本的第四查找表，并基于所述第四查找表对所述第四图像样本进行图像增强处理，得到所述第四图像样本的第四增强图像；将所述第二查找表、所述第二增强图像、所述第三增强图像以及所述第四增强图像，组成所述正向传播结果。

18、在上述方案中，所述查找表模块，还用于：通过所述查找表生成模型对所述第二图像样本进行权重预测处理，得到每个所述基础查找表的权重；基于每个所述基础查找表的权重对多个所述基础查找表进行加权求和处理，得到所述第二图像样本的第二查找表。

19、在上述方案中，所述查找表模块，还用于：基于所述第二增强图像与所述标签图像样本之间的整体差异，确定重建损失；基于所述字幕掩膜图像对所述第二增强图像以及所述第四图像样本进行筛选处理，并基于筛选结果与所述第四增强图像的整体差异，确定字幕损失；基于所述第二增强图像以及所述第三增强图像之间的局部差异，确定局部损失；对所述第二查找表进行基于颜色通道的单调性处理，得到查找表损失；对所述重建损失、所述字幕损失、所述局部损失以及所述查找表损失进行融合处理，得到所述综合损失。

20、在上述方案中，所述第二增强图像以及所述标签图像样本之间的尺寸相同；所述查找表模块，还用于：针对所述第二增强图像以及所述标签图像样本中每个相同位置，执行以下处理：确定所述第二增强图像中所述位置的第一像素值以及所述标签图像样本中所述位置的第二像素值；将所述第一像素值与所述第二像素值之间的第一差值作为对应所述位置的损失；将对应多个所述位置的损失进行融合处理，得到所述重建损失。

21、在上述方案中，所述第二增强图像、所述字幕掩膜图像、所述第四图像样本以及所述第四增强图像之间的尺寸相同；所述查找表模块，还用于：针对所述第二增强图像、所述字幕掩膜图像、所述第四图像样本以及所述第四增强图像中每个相同位置，执行以下处理：确定所述第二增强图像中所述位置的第一像素值、所述第四图像样本中所述位置的第三像素值、以及所述第四增强图像中所述位置的第四像素值；当所述字幕掩膜图像中所述位置的像素属于字幕时，将所述第三像素值与所述第四像素值的第二差值作为对应所述位置的损失；当所述字幕掩膜图像中所述位置的像素不属于字幕时，将所述第一像素值与所述第四像素值的第三差值作为对应所述位置的损失；将对应多个所述位置的损失进行融合处理，得到所述字幕损失。

22、在上述方案中，所述查找表模块，还用于：确定所述第二图像样本中与所述第三图像样本重叠的第一区域、以及所述第三图像样本中与所述第二图像样本重叠的第二区域；确定所述第二增强图像中对应所述第一区域的第一裁剪图像以及所述第三增强图像中对应所述第二区域的第二裁剪图像；针对所述第一裁剪图像、以及所述第二裁剪图像中每个相同位置，执行以下处理：确定所述第一裁剪图像中所述位置的第五像素值、以及所述第二裁剪图像中所述位置的第六像素值；将所述第五像素值与所述第六像素值之间的第四差值作为对应所述位置的损失；将对应多个所述位置的损失进行融合处理，得到所述局部损失。

23、在上述方案中，所述查找表模块，还用于：针对每个所述颜色通道执行以下处理：获取针对所述颜色通道的多个颜色数据对，其中，所述颜色数据对包括第一颜色数据以及第二颜色数据，两个所述颜色数据对应其他颜色通道的颜色值相同，对应所述颜色通道的颜色值相邻，且所述第一颜色数据对应所述颜色通道的颜色值小于所述第二颜色数据对应所述颜色通道的颜色值；将每个所述颜色数据对输入所述第二查找表，得到每个所述颜色数据的映射值；针对每个所述颜色数据对，获取所述颜色数据对中所述第一颜色数据的映射值与所述第二颜色数据的映射值的差值；将多个所述颜色数据对的差值进行求和处理，得到对应所述颜色通道的求和结果；将对应多个所述颜色通道的求和结果进行求和处理，得到所述查找表损失。

24、在上述方案中，所述初始查找表是通过查找表生成模型得到的；所述查找表生成模型包括卷积网络、残差网络、池化网络、全连接网络、融合网络；所述查找表模块，还用于：通过所述卷积网络对所述目标视频帧进行第一卷积特征提取处理，得到所述目标视频帧的第一卷积特征；通过所述残差网络对所述第一卷积特征进行残差特征提取处理，得到所述目标视频帧的残差特征；通过所述池化网络对所述残差特征进行全局平均池化处理，得到所述目标视频帧的池化特征；通过所述全连接网络对所述池化特征进行全连接处理，得到每个所述基础查找表的权重；通过所述融合网络对多个所述基础查找表进行基于对应权重的加权求和处理，得到所述视频帧的初始查找表。

25、在上述方案中，所述残差网络包括n个级联的残差层，所述查找表模块，还用于：通过n个级联的残差层中的第n残差层，对所述第n残差层的输入进行残差特征提取处理，并将所述第n残差层输出的第n残差特征传输到第n+1残差层以继续进行特征提取处理；其中，n为取值从1开始递增的整数，且n的取值范围满足1≤n≤n-1，n为大于或等于2的整数；当n取值为1时，所述第n残差层的输入为所述第一卷积特征，当n取值为2≤n≤n-1时，所述第n残差层的输入为第n-1残差层输出的第n-1残差特征。

26、在上述方案中，所述查找表模块，还用于：通过所述第n残差层执行以下处理：对所述第n残差层的输入进行第二卷积特征提取处理，得到第二卷积特征；将所述第二卷积特征与所述第n残差层的输入进行求和处理，得到第一求和结果；对所述第一求和结果进行激活处理，得到第n残差特征。

27、在上述方案中，所述融合模块，还用于：当所述视频帧的分辨率与所述相邻视频帧的分辨率不同时，确定所述视频帧与所述相邻视频帧属于不同镜头；当所述视频帧的分辨率与所述相邻视频帧的分辨率相同，且所述视频帧的差值哈希特征与所述相邻视频帧的差值哈希特征之间的第一差异度小于第一差异度阈值时，确定所述视频帧与所述相邻视频帧属于相同镜头；当所述视频帧的分辨率与所述相邻视频帧的分辨率相同，所述视频帧的差值哈希特征与所述相邻视频帧的差值哈希特征之间的第一差异度不小于第一差异度阈值，且所述视频帧的多通道分块直方图与所述相邻视频帧的多通道分块直方图之间的第二差异度小于第二差异度阈值时，确定所述视频帧与所述相邻视频帧属于相同镜头；当所述视频帧的分辨率与所述相邻视频帧的分辨率相同，所述视频帧的差值哈希特征与所述相邻视频帧的差值哈希特征之间的第一差异度不小于第一差异度阈值，所述视频帧的多通道分块直方图与所述相邻视频帧的多通道分块直方图之间的第二差异度不小于第二差异度阈值，且所述视频帧的颜色空间转换图与所述相邻视频帧的颜色空间转换图之间的第三差异度不大于第三差异度阈值时，确定所述视频帧与所述相邻视频帧属于相同镜头；当所述视频帧的分辨率与所述相邻视频帧的分辨率相同，所述视频帧的差值哈希特征与所述相邻视频帧的差值哈希特征之间的第一差异度不小于第一差异度阈值，所述视频帧的多通道分块直方图与所述相邻视频帧的多通道分块直方图之间的第二差异度不小于第二差异度阈值，且所述视频帧的颜色空间转换图与所述相邻视频帧的颜色空间转换图之间的第三差异度大于第三差异度阈值时，确定所述视频帧与所述相邻视频帧属于不同镜头。

28、本技术实施例提供一种电子设备，包括：

29、存储器，用于存储计算机可执行指令；

30、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本技术实施例提供的基于人工智能的视频增强方法。

31、本技术实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时，实现本技术实施例提供的基于人工智能的视频增强方法。

32、本技术实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本技术实施例提供的基于人工智能的视频增强方法。

33、本技术实施例具有以下有益效果：

34、对视频帧和相邻视频帧进行镜头切换检测，如果同属一个镜头，则对这两个视频帧的查找表进行融合平滑，后续基于融合平滑结果进行增强，如果发生了镜头切换，则直接使用视频帧的查找表进行增强，从而使得镜头内部增强效果一致，镜头之间增强效果各自独立，从而提升了视频增强的时域稳定能力。