一种Android平台视频通话编码的加速方法及系统

本发明属于视频编码，尤其涉及一种android平台视频通话编码的加速方法及系统。

背景技术：

1、随着音视频通信技术的发展，视频通话的分辨率越来越高，这就导致视频通话的数据量越来越庞大。目前，针对视频编解码的软件编码方案openh264在进行视频通话时，需要占用大量的cpu资源，会导致手机发热、卡顿等现象。

2、中国发明专利cn115190318a公开了一种基于内容相关性的视频编码方法与系统，所述方法包括：获取当前编码时域和空域上由边邻编码块组成的相关性编码集合；依次根据编码块集合中执行划分和不执行划分的数量、执行四叉树划分和不执行四叉树划分的数量、执行垂直划分的数量和执行水平划分的数量、执行二叉树划分的数量和执行三叉树划分的数量进行相关性判断；最终获得当前编码块的编码划分模式。该发明通过对时域和空域上相邻编码块编码划分类别的统计分析，从而获得当前编码块的编码方式，在提高了编码效率的同时大大降低了编码复杂度。

3、中国发明专利cn113810695a公开了一种视频编码方法、装置及计算机可读存储介质，所述方法包括：从视频中提取各个关键帧以及各个关键帧的时间索引；利用深度学习神经网络分别提取各个关键帧的特征向量；对各个关键帧的特征向量和时间索引进行编码。本发明能够减少视频编码的开销，从而提升视频编码的编码效率。

4、综上所述，在现有发明专利当中，通常使用深度学习模型如卷积神经网络等，改进视频编码框架的某一模块，以减少视频编码过程中的计算量，从而提升视频编码的效率，但是上述现有技术依然存在以下缺点；

5、(1)使用较深层次的神经网络模型移植到混合视频编码框架中，但未考虑具体应用平台的cpu及gpu性能能否满足视频通话的实时性要求。

6、(2)对不同区域采用不同的编码方案，增加了划分不同区域的计算成本，增加了视频编码的时间复杂度，降低了视频编码的效率。

7、(3)只停留在研究层面，未将研究落实的实际应用当中，没有提高视频图像帧的质量，因此无法保证视频清晰度。

技术实现思路

1、本发明的目的在于提供一种android平台视频通话编码的加速方法及系统，解决openh264在编码过程中cpu占用率高，编码速度慢的问题，提高编码效率的同时提高视频图像的质量及清晰度，同时满足了视频通话的实时性。

2、本发明的目的可以通过以下技术方案实现：

3、第一方面，本技术实施例提供了一种android平台视频通话编码的加速方法，包括以下步骤：

4、s1，采集视频数据，从所述视频数据中提取视频帧图像，用所述视频帧图像构建数据集；

5、s2，调用编码器并对其进行初始化，对所述视频帧图像进行编码处理，获取编码后的未滤波重建图像，保留编码前的原图像；

6、s3，构建卷积神经网络模型，将所述未滤波重建图像输入所述卷积神经网络模型进行滤波；

7、s4，获取所述原图像与所述未滤波重建图像之间的残差图像；

8、s5，将所述未滤波重建图像与所述残差图像相加，获取卷积滤波重建图像并输出；

9、s6，训练所述卷积神经网络模型，获取所述未滤波重建图像与所述卷积滤波重建图像之间的映射模型；

10、s7，将训练后的所述卷积神经网络模型进行模型转换，获取轻量化卷积神经网络模型；

11、s8，部署所述轻量化卷积神经网络模型替换原去块滤波模块，形成基于所述卷积神经网络模型的去块滤波模块；

12、s9，将所述卷积滤波重建图像进行传输。

13、作为本发明的一种优选技术方案，通过调用相机并设置所述视频数据的参数，采集所述视频数据。

14、作为本发明的一种优选技术方案，所述编码器包括调用接口，根据所述调用接口获取编码器对象并将其初始化，通过所述编码器对象调用所述编码器；其中，所述编码器对象为所述编码器对应的指针。

15、作为本发明的一种优选技术方案，所述卷积神经网络模型包括六个卷积层和两个全连接层。

16、作为本发明的一种优选技术方案，通过所述编码器对所述视频帧图像进行提取，获取图像数据集。

17、作为本发明的一种优选技术方案，将所述图像数据集按比例划分为训练集和测试集，将所述训练集中的数据输入所述卷积神经网络模型进行训练，通过所述测试集中的数据进行验证；其中，所述比例为：训练集:测试集＝4:1。

18、作为本发明的一种优选技术方案，所述模型转换的操作为：剔除所述卷积神经网络模型的训练功能，保留其推理功能。

19、第二方面，本技术实施例提供了一种android平台视频通话编码的加速系统，包括依次通信连接的视频采集模块、视频编码模块和视频传输模块；

20、所述视频采集模块，用于开启相机并设置参数，进行视频采集；

21、所述视频编码模块，用于通过调用并初始化编码器，对采集到的视频进行编码；构建卷积神经网络模型并进行训练，形成基于卷积神经网络模型的去块滤波模块，并用其替换原去块滤波模块；

22、所述视频传输模块，用于将经过采集、编码以及滤波后的图像进行传输。

23、作为本发明的一种优选技术方案，所述视频采集模块包括相机调用单元和参数设置单元；

24、所述相机调用单元，用于通过androidcamera2框架调用所述相机，并根据所述相机的id参数选择前置相机或者后置相机；

25、所述参数设置单元，用于设置所述视频的相关参数，包括分辨率、帧率、编码器以及视频数据格式。

26、作为本发明的一种优选技术方案，所述视频编码模块包括依次通信连接的编码器调用单元、编码器初始化单元、编码单元和去块滤波替换单元；

27、所述编码器调用单元，用于根据调用接口获取编码器对象，根据所述编码器对象调用所述编码器；

28、所述编码器初始化单元，用于对调用的所述编码器进行初始化，初始化视频数据指针参数以及编码后的nal单元数据指针参数；

29、所述编码单元，用于根据初始化后的参数对所述视频数据进行编码；

30、所述去块滤波替换单元，用于构建所述卷积神经网络模型并进行训练，将训练后的所述卷积神经网络模型进行模型转换，获取轻量化卷积神经网络模型并对其进行部署，形成基于所述卷积神经网络模型的去块滤波模块，并用其替换原去块滤波模块。

31、本发明的有益效果为：

32、(1)在去块滤波模块中，采用基于卷积神经网络模型的去块滤波模块代替基于传统计算方法的去块滤波模块，降低了android平台视频通话在视频编码过程中的cpu占用，保证了视频通话的实时性。

33、(2)在基于卷积神经网络模型的去块滤波模块的部署中，舍弃卷积神经网络的学习功能，只保留模型推理功能，提升从输入到输出的推理过程的计算速度，降低视频编码的时间复杂度，提高了视频编码的效率。

34、(3)本发明在提高编码效率同时提高视频的图像质量，进而保证了视频具有较高的清晰度。