质量增强视频发送方法、装置、电子设备和可读介质与流程

本公开的实施例涉及计算机，具体涉及质量增强视频发送方法、装置、电子设备和可读介质。

背景技术：

1、近年来，视频在互联网上的传播愈发频繁，人们对高清视频的需求也越来越大。由于网络传输带宽的限制，视频必须经过压缩编码才能在互联网中传播。然而，压缩编码不可避免地会给视频带来失真，这会严重影响视频观看者的主观感受。因此，针对有损压缩视频进行视频质量增强，减轻其在有损压缩过程中的质量损失，从而生成更接近无损的高质量视频是十分必要的。目前，在对质量增强后的视频进行发送操作时，通常采用的方式为：通过利用通用深度神经网络模型(通常网络模型深度较深或模型较复杂，例如卷积神经网络模型)，对有损压缩视频中的每帧图像统一进行质量增强(关键帧和参考帧都进行质量增强)。然后将质量增强后的视频发送至相关显示终端。

2、然而，当采用上述方式对质量增强后的视频进行发送操作时，经常会存在如下技术问题：

3、采用通用神经网络模型对有损压缩视频中的每帧图像进行质量增强，一方面，由于通用神经网络模型的网络深度较深或者模型复杂度较高，容易导致模型的计算复杂度较高，导致计算机处理器资源的浪费；另一方面，对有损压缩视频的每帧图像都进行质量增强，通常会使网络的输入趋于多帧(例如，b帧质量增强需要依赖当前帧的前一帧与后一帧)，且需要利用参考帧进行信息补偿增强，会进一步增加缓存资源的占用，导致缓存资源的浪费。

4、继续的，在采用技术方案解决上述技术问题的过程中，进一步存在如下技术问题：

5、在对每帧图像进行质量增强的过程中，常规的技术方案会对每帧图像的所有特征(包括亮度和色度)统一进行特征提取，特征提取的能力有限，容易导致提取的特征错位和遗漏问题较多。从而导致进行质量增强后的图像质量较差，即质量增强后的视频质量较差。

6、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了用于质量增强视频发送方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种质量增强视频发送方法，该方法包括：获取待质量增强目标视频；对于上述待质量增强目标视频中的每帧待质量增强目标图像，对上述待质量增强目标图像进行颜色空间转换处理，得到颜色空间转换处理后的待质量增强目标图像作为转换待质量增强目标图像；将所得到的各个转换待质量增强目标图像组成的视频确定为转换待质量增强视频；对于上述转换待质量增强视频中的每帧转换待质量增强图像，执行以下步骤：响应于确定上述转换待质量增强图像对应的编码类型为关键帧类型，对上述转换待质量增强图像进行分量分离处理，以生成亮度分量图像和色度分量图像；根据上述亮度分量图像和预先训练的亮度图像质量增强模型，生成亮度增强图像，其中，上述亮度图像质量增强模型包括：特征提取层、权重特征提取层、特征阶跃层和图像重建层；根据上述亮度增强图像和上述色度分量图像，生成质量增强图像；将上述质量增强图像确定为转换待质量增强图像，以对上述转换待质量增强图像进行更新；将进行转换待质量增强图像更新后的转换待质量增强视频确定为质量增强视频；将上述质量增强视频发送至相关联的显示终端。

4、第二方面，本公开的一些实施例提供了一种质量增强视频发送装置，装置包括：获取单元，被配置成获取待质量增强目标视频；转换处理单元，被配置成对于上述待质量增强目标视频中的每帧待质量增强目标图像，对上述待质量增强目标图像进行颜色空间转换处理，得到颜色空间转换处理后的待质量增强目标图像作为转换待质量增强目标图像；第一确定单元，被配置成将所得到的各个转换待质量增强目标图像组成的视频确定为转换待质量增强视频；执行单元，被配置成对于上述转换待质量增强视频中的每帧转换待质量增强图像，执行以下步骤：响应于确定上述转换待质量增强图像对应的编码类型为关键帧类型，对上述转换待质量增强图像进行分量分离处理，以生成亮度分量图像和色度分量图像；根据上述亮度分量图像和预先训练的亮度图像质量增强模型，生成亮度增强图像，其中，上述亮度图像质量增强模型包括：特征提取层、权重特征提取层、特征阶跃层和图像重建层；根据上述亮度增强图像和上述色度分量图像，生成质量增强图像；将上述质量增强图像确定为转换待质量增强图像，以对上述转换待质量增强图像进行更新；第二确定单元，被配置成将进行转换待质量增强图像更新后的转换待质量增强视频确定为质量增强视频；发送单元，被配置成将上述质量增强视频发送至相关联的显示终端。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的质量增强视频发送方法，可以提高重建后视频的质量、可以减少计算机处理器资源的浪费和缓存资源的浪费。具体来说，造成计算机处理器资源的浪费和缓存资源的浪费的原因在于：采用通用神经网络模型对有损压缩视频中的每帧图像进行质量增强，一方面，由于通用神经网络模型的网络深度较深或者模型复杂度较高，容易导致模型的计算复杂度较高，导致计算机处理器资源的浪费；另一方面，对有损压缩视频的每帧图像都进行质量增强，通常会使网络的输入趋于多帧，且需要利用参考帧进行信息补偿增强，会进一步增加缓存资源的占用，导致缓存资源的浪费。基于此，本公开的一些实施例的质量增强视频发送方法，首先，获取待质量增强目标视频。由此，可以得到从终端视频采集设备获取到的待质量增强目标视频。然后，对于上述待质量增强目标视频中的每帧待质量增强目标图像，对上述待质量增强目标图像进行颜色空间转换处理，得到颜色空间转换处理后的待质量增强目标图像作为转换待质量增强目标图像。将所得到的各个转换待质量增强目标图像组成的视频确定为转换待质量增强视频。由此，可以得到表征亮度信息和色度信息的转换待质量增强视频。之后，对于上述转换待质量增强视频中的每帧转换待质量增强图像，执行以下步骤：响应于确定上述转换待质量增强图像对应的编码类型为关键帧类型，对上述转换待质量增强图像进行分量分离处理，以生成亮度分量图像和色度分量图像。由此，可以得到转换待质量增强视频中转换待质量增强图像类型为关键帧的亮度分量图像和色度分量图像。其次，根据上述亮度分量图像和预先训练的亮度图像质量增强模型，生成亮度增强图像。其中，上述亮度图像质量增强模型包括：特征提取层、权重特征提取层、特征阶跃层和图像重建层。由此，可以得到亮度增强图像。从而可以将浅层网络特征和深层网络特征通过跨层连接进行特征融合，可以更快地传播梯度信息和特征信息。从而在一定程度上可以减少梯度消失和梯度爆炸的发生。然后，根据上述亮度增强图像和上述色度分量图像，生成质量增强图像。由此，可以通过对表征图像亮度信息的亮度分量图像进行图像质量增强，得到质量增强图像。之后，将上述质量增强图像确定为转换待质量增强图像，以对上述转换待质量增强图像进行更新。由此，可以得到质量增强后的关键帧图像，从而可以用于生成质量增强后的视频。随后，将进行转换待质量增强图像更新后的转换待质量增强视频确定为质量增强视频。由此，可以得到质量增强后的质量增强视频。最后，将上述质量增强视频发送至相关联的显示终端。由此，可以将质量增强视频发送至显示终端，从而增强了显示的视频的视觉效果。也因为通过构建包括特征提取层、权重特征提取层、特征阶跃层和图像重建层的轻量型的亮度图像质量增强模型，可以降低模型本身的复杂度和模型的计算复杂度，特别地，增加了特征阶跃层，可以将浅层网络特征和深层网络特征通过跨层连接进行特征融合，可以更快地传播梯度信息和特征信息，从而一定程度上减少梯度消失和梯度爆炸的发生，减少计算机处理器资源的浪费。还因为通过确定转换待质量增强视频中的关键帧图像，并只对关键帧图像进行图像质量增强，可以减少网络模型的输入数据，且无需参考帧信息的补偿，进一步减少了缓存资源的占用，即，减少了缓存资源的浪费。