视频传输方法、电子设备及计算机存储介质与流程

本发明涉及图像通信，具体涉及一种视频传输方法、一种电子设备及一种计算机存储介质。

背景技术：

1、随着视频技术及显示硬件性能的提升，高分辨率成为未来的视频技术发展方向。为了高效快速地传输高分辨率视频，传统视频编解码技术通常会对视频数据进行高效地帧内帧间预测以得到预测残差数据，为了降低视频编码的数据量也即为了降低数据冗余，进一步的会对预测残差数据进行离散余弦或正弦变换，以提高数据的能量分布、从而达到数据稀疏化的目的，然后对变换后的数据进行量化处理，以有效地减少数据的取值空间、进而获得更好的压缩效果，最后对数据进行反量化与反变换处理，以达到对数据的恢复。

2、但是，传统视频编解码技术的这种先对预测残差数据进行变换处理、再对变换后的数据进行量化处理、最后对数据进行反量化处理和反变换处理的操作方式，存在着如数据稀疏化程度不高、计算量大、编码时间长等诸多弊端。

3、具体的，在变换处理和量化处理的过程中，离散余弦变换、正弦变换和反变换往往通过正交矩阵进行，本身并不会带来数据精度的损失，但对于提升数据的能量集中分布而言作用是有限的，即数据的稀疏化仍有可提升空间；量化是一种将连续的取值映射至有限的多个离散幅值的过程，此过程可以提升对数据的压缩程度，但量化幅值过大却会导致数据损失程度的增加，因此存在着降低码率与提升精度之间的矛盾，而目前通过采用率失真优化的量化手段来解决降低码率与提升精度之间的矛盾，编码性能够得到提升，但是这种量化手段需要遍历多个可选量化值及率失真代价，计算量大，不利于硬件的快速实现，存在编码时间延长等问题。因此需要对视频编解码技术进行改进。

技术实现思路

1、本公开针对现有技术中存在的上述不足，提供一种视频传输方法、一种电子设备及一种计算机存储介质。

2、第一方面，本公开实施例提供一种视频传输方法，所述方法包括：

3、利用预先训练得到的自编码网络中的最终编码网络，对待传输视频帧的预测残差数据进行编码处理得到视频特征数据，所述自编码网络包括所述最终编码网络和最终解码网络；

4、将所述视频特征数据传输至解码端设备。

5、在一些实施例中，所述方法还包括训练得到所述自编码网络的步骤：

6、根据样本视频帧的传输场景参数对初始网络进行调整，得到中间网络；

7、根据样本视频帧的预测残差数据训练所述中间网络，得到所述自编码网络；其中，所述样本视频帧的传输场景参数与所述待传输视频帧的传输场景参数相同。

8、在一些实施例中，所述初始网络包括初始编码网络和初始解码网络，所述中间网络包括中间编码网络和中间解码网络；所述根据样本视频帧的预测残差数据训练所述中间网络，得到所述自编码网络包括：

9、将所述样本视频帧的预测残差数据输入所述中间编码网络，得到所述中间编码网络输出的中间特征数据；

10、将所述中间特征数据输入所述中间解码网络，得到所述中间解码网络输出的中间预测残差数据；

11、在所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据不满足预设的优化停止条件的情况下，调整所述中间网络的参数，直至所述样本视频帧的预测残差数据以及调整后所得到的中间特征数据和中间预测残差数据满足预设的优化停止条件。

12、在一些实施例中，所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据满足预设的优化停止条件包括：

13、所述中间特征数据的数据维度小于预设维度阈值，且所述样本视频帧的预测残差数据和所述中间预测残差数据之间的平均方差小于预设方差阈值。

14、在一些实施例中，所述初始编码网络包括初始编码输入层、初始编码输出层和多个初始编码中间层，所述初始解码网络包括初始解码输入层、多个初始解码中间层和初始解码输出层和多个初始解码中间层；所述中间编码网络包括中间编码输入层、中间编码输出层和多个中间编码中间层，所述中间解码网络包括中间解码输入层、中间解码输出层和多个中间解码中间层；所述最终编码网络包括最终编码输入层、最终编码输出层和多个最终编码中间层，所述最终解码网络包括最终解码输入层、最终解码输出层和多个最终解码中间层；

15、所述初始编码中间层、所述初始解码中间层、所述中间编码中间层、所述中间解码中间层、所述最终编码中间层以及所述最终解码中间层的类型均共包括如下三种：卷积层、池化层和激活层；

16、所述初始编码输出层的类型、所述初始解码输入层的类型、所述中间编码输出层的类型、所述中间解码输入层的类型、所述最终编码输出层的类型以及所述最终解码输入层的类型均为全连接层；

17、所述初始编码输入层的类型、所述初始解码输出层的类型、所述中间编码输入层的类型、所述中间解码输出层的类型、所述最终编码输入层的类型以及所述最终解码输出层的类型均相同。

18、在一些实施例中，所述调整所述中间网络的参数包括：

19、调整所述中间编码中间层的数量和所述中间解码中间层的数量，以及调整所述中间编码中间层的神经元数量和所述中间解码中间层的神经元数量。

20、在一些实施例中，所述传输场景参数包括场景类别标识和传输带宽；所述根据样本视频帧的传输场景参数对初始网络进行调整，得到中间网络包括：

21、根据所述场景类别标识和所述传输带宽，调整所述初始编码中间层的数量和所述初始解码中间层的数量，以及调整所述初始编码输出层输出数据的维度。

22、第二方面，本公开实施例提供一种视频传输方法，所述方法包括：

23、接收编码端设备传输的视频特征数据，其中，所述视频特征数据是所述编码端设备利用预先训练得到的自编码网络中的最终编码网络，对待传输视频帧的预测残差数据进行编码处理得到的；

24、利用所述自编码网络中的最终解码网络，对所述视频特征数据进行解码处理，得到解码后的预测残差数据；

25、根据所述解码后的预测残差数据确定传输后视频帧。

26、第三方面，本公开实施例提供一种电子设备，包括：

27、一个或多个处理器；

28、存储装置，其上存储有一个或多个程序；

29、当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的视频传输方法。

30、第四方面，本公开实施例提供一种计算机存储介质，其上存储有计算机程序，所述程序被执行时实现如前所述的视频传输方法。

31、编码端设备通过利用预先训练得到的自编码网络中的最终编码网络，对待传输视频帧的预测残差数据进行编码处理得到视频特征数据，将所述视频特征数据传输至解码端设备，以供解码端设备利用自编码网络中的最终解码网络来对视频特征数据进行解码等处理以得到传输后视频帧，这种视频传输方式相较于传统的视频编解码技术而言，既能够提高视频传输码率又能够提升视频帧编解码精度，还具有计算量小、计算复杂度低以及编解码时间耗时短的优势。

技术特征：

1.一种视频传输方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括训练得到所述自编码网络的步骤：

3.根据权利要求2所述的方法，其特征在于，所述初始网络包括初始编码网络和初始解码网络，所述中间网络包括中间编码网络和中间解码网络；所述根据样本视频帧的预测残差数据训练所述中间网络，得到所述自编码网络包括：

4.根据权利要求3所述的方法，其特征在于，所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据满足预设的优化停止条件包括：

5.根据权利要求3所述的方法，其特征在于，所述初始编码网络包括初始编码输入层、初始编码输出层和多个初始编码中间层，所述初始解码网络包括初始解码输入层、多个初始解码中间层和初始解码输出层和多个初始解码中间层；所述中间编码网络包括中间编码输入层、中间编码输出层和多个中间编码中间层，所述中间解码网络包括中间解码输入层、中间解码输出层和多个中间解码中间层；所述最终编码网络包括最终编码输入层、最终编码输出层和多个最终编码中间层，所述最终解码网络包括最终解码输入层、最终解码输出层和多个最终解码中间层；

6.根据权利要求5所述的方法，其特征在于，所述调整所述中间网络的参数包括：

7.根据权利要求5所述的方法，其特征在于，所述传输场景参数包括场景类别标识和传输带宽；所述根据样本视频帧的传输场景参数对初始网络进行调整，得到中间网络包括：

8.一种视频传输方法，其特征在于，所述方法包括：

9.一种电子设备，包括：

10.一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1-8任一项所述的视频传输方法。

技术总结
本公开提供一种视频传输方法，所述方法包括：利用预先训练得到的自编码网络中的最终编码网络，对待传输视频帧的预测残差数据进行编码处理得到视频特征数据，所述自编码网络包括所述最终编码网络和最终解码网络；将所述视频特征数据传输至解码端设备。既能够提高视频传输码率又能够提升视频帧编解码精度，还具有计算量小、计算复杂度低以及编解码时间耗时短的优势。本公开还提供一种电子设备及计算机存储介质。

技术研发人员：刘伟伟,徐科,孔德辉,任聪,杨维
受保护的技术使用者：深圳市中兴微电子技术有限公司
技术研发日：
技术公布日：2024/2/19