基于混合式编码的远程视频业务办理方法和装置与流程

本技术属于视频处理，尤其涉及一种基于混合式编码的远程视频业务办理方法和装置。

背景技术：

1、远程在线办理业务需依赖实时音视频的传输，传统的实现远程在线办理业务的方法为：手机终端通过推流sdk进行avc视频编码后推流至服务器端，服务器对视频流进行解码得到视频帧，在收到检测命令后对视频帧进行分析并向手机终端返回分析结果，以实现ai辅助人工决策。传统方法需要较好的网络环境，在网络抖动大或网速不稳定的场景下，视频推流会发生延迟等问题，且视频帧发生滞后会降低视频解析算法的准确度，传统方法的适用场景有限。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种基于混合式编码的远程视频业务办理方法和装置，解决了多网环境下视频延迟的问题，提升了传输视频的流畅度以及稳定性，进而提升了用户体验。

2、第一方面，本技术实施例提供了一种基于混合式编码的远程视频业务办理方法，应用于推流终端，该方法包括：

3、基于目标时段内发送的原始视频流的数据量，确定所述推流终端的上行带宽；

4、基于所述上行带宽与目标阈值，确定所述原始视频流对应的目标码率；

5、基于所述目标码率，向服务器端发送第一视频流，所述第一视频流是基于所述目标码率对所述原始视频流编码得到的。

6、根据本技术实施例提供的基于混合式编码的远程视频业务办理方法，通过基于推流终端的上行带宽与目标阈值，确定原始视频流对应的目标码率，再基于目标码率对原始视频流进行编码以得到第一视频流，然后向服务器端发送第一视频流，可以在视频传输过程中，基于通信网络的上行带宽的实际可用空间实时调整视频数据的编码方式，并确定最佳的码率进行视频流的传输，从而实现在保证视频质量的同时，也能提高视频传输速率，解决了多网环境下视频延迟的问题，提升了传输视频的流畅度以及稳定性，进而提升了用户体验。

7、本技术一个实施例的基于混合式编码的远程视频业务办理方法，所述基于所述上行带宽与目标阈值，确定所述原始视频流对应的目标码率，包括：

8、在所述上行带宽小于所述目标阈值的情况下，确定所述目标码率为固定码率；

9、在所述上行带宽不小于所述目标阈值的情况下，基于推送速率，确定所述原始视频流对应的目标码率。

10、根据本技术一个实施例的基于混合式编码的远程视频业务办理方法，通过采用svc与avc混合双引擎的设计，在上行带宽小于目标阈值的情况下，确定目标码率为固定码率，并在上行带宽不小于目标阈值的情况下，基于推送速率，确定原始视频流对应的目标码率，能够根据推流终端的能力和实际网络情况动态改变编码方式，使得音视频的传输能高效率、高稳定、自适应地应用于互联网、内网等复杂网络环境，进而提高了推流效率。

11、本技术一个实施例的基于混合式编码的远程视频业务办理方法，所述基于所述推送速率，确定所述原始视频流对应的目标码率，包括：

12、基于所述推送速率，调整编码层数；

13、基于编码层数-码率对照表，获取与调整后的编码层数对应的所述目标码率。

14、根据本技术一个实施例的基于混合式编码的远程视频业务办理方法，通过基于推送速率，调整编码层数，然后基于编码层数-码率对照表，获取与调整后的编码层数对应的目标码率，能够根据实际网络环境下的推送速率来调整编码层数，并获取编码层数对应的目标码率，提高了传输视频的质量。

15、本技术一个实施例的基于混合式编码的远程视频业务办理方法，所述基于所述推送速率，调整编码层数，包括：

16、在所述上行带宽不小于所述第一视频流的当前码率所占用的带宽的情况下，增加所述编码层数；

17、在所述上行带宽小于所述第一视频流的当前码率所占用的带宽的情况下，减少所述编码层数。

18、根据本技术一个实施例的基于混合式编码的远程视频业务办理方法，通过在上行带宽不小于第一视频流的当前码率所占用的带宽的情况下，增加编码层数，并在上行带宽小于第一视频流的当前码率所占用的带宽的情况下，减少编码层数，能够基于推送速率，调整编码层数，以提高视频流质量。

19、本技术一个实施例的基于混合式编码的远程视频业务办理方法，所述基于所述推送速率，调整编码层数，包括：

20、基于目标权重值调整与所述目标权重值对应的编码层数，所述目标权重值包括空域层对应的权重值、时域层对应的权重值以及质量层对应的权重值中的至少一个；

21、基于调整后的编码层数发送所述第一视频流，并获取效果反馈；

22、基于所述效果反馈优化所述目标权重值。

23、根据本技术一个实施例的基于混合式编码的远程视频业务办理方法，通过基于目标权重值调整与目标权重值对应的编码层数，并基于调整后的编码层数发送第一视频流，并获取效果反馈，然后基于效果反馈优化目标权重值，能够获取实时的效果反馈，避免rw持续大于bw，进而使服务器端收到的视频数据发生延迟，能够根据实际的网络环境调整第一视频流的编码层数，进而提高第一视频流的质量。

24、第二方面，本技术实施例提供了一种基于混合式编码的远程视频业务办理方法，应用于服务器端，该方法包括：

25、基于接收到的推流终端发送的第一视频流，获取所述第一视频流对应的最高层的码率；所述第一视频流为所述推流终端基于目标码率发送的；

26、基于所述最高层的码率，确定与所述最高层的码率对应的目标解析算法；

27、基于所述目标解析算法解析所述第一视频流，获取第二视频流。

28、根据本技术实施例提供的基于混合式编码的远程视频业务办理方法，通过基于接收到的推流终端发送的第一视频流，获取第一视频流对应的最高层的码率，然后确定与最高层的码率对应的目标解析算法，再基于目标解析算法解析第一视频流，获取第二视频流，能够根据不同分辨率和解析度的视频流，选择不同的解析算法，提高了算法解析视频帧的准确度，进而提升了整个系统的视频解析准确度。

29、本技术一个实施例的基于混合式编码的远程视频业务办理方法，所述基于所述目标解析算法解析所述第一视频流，获取第二视频流，包括：

30、将所述第一视频流输入至与所述目标解析算法对应的目标算法模型，获取所述目标算法模型输出的所述第二视频流；

31、其中，所述目标算法模型为以与所述目标算法模型对应的样本抽帧图像为样本，以与所述样本抽帧图像对应的样本视频数据为样本标签，训练得到；所述样本视频数据为与所述目标解析算法对应的码率下的视频数据。

32、根据本技术一个实施例的基于混合式编码的远程视频业务办理方法，通过将第一视频流输入至与目标解析算法对应的目标算法模型，获取目标算法模型输出的第二视频流，能够根据不同分辨率和解析度的视频流，选择基于不同算法模型的解析算法，提高了算法解析视频帧的准确度，进而提升了整个系统的视频解析准确度，避免了多网环境下视频延迟的问题。

33、第三方面，本技术提供了一种基于混合式编码的远程视频业务办理装置，应用于推流终端，该装置包括：

34、第一处理模块，用于基于目标时段内发送的原始视频流的数据量，确定所述推流终端的上行带宽；

35、第二处理模块，用于基于所述上行带宽与目标阈值，确定所述原始视频流对应的目标码率；

36、第三处理模块，用于基于所述目标码率，向服务器端发送第一视频流，所述第一视频流是基于所述目标码率对所述原始视频流编码得到的。

37、根据本技术实施例提供的基于混合式编码的远程视频业务办理装置，通过基于推流终端的上行带宽与目标阈值，确定原始视频流对应的目标码率，再基于目标码率对原始视频流进行编码以得到第一视频流，然后向服务器端发送第一视频流，可以在视频传输过程中，基于通信网络的上行带宽的实际可用空间实时调整视频数据的编码方式，并确定最佳的码率进行视频流的传输，从而实现在保证视频质量的同时，也能提高视频传输速率，解决了多网环境下视频延迟的问题，提升了传输视频的流畅度以及稳定性，进而提升了用户体验。

38、第四方面，本技术提供了一种基于混合式编码的远程视频业务办理装置，应用于服务器端，该装置包括：

39、第四处理模块，用于基于接收到的推流终端发送的第一视频流，获取所述第一视频流对应的最高层的码率；所述第一视频流为所述推流终端基于目标码率发送的；

40、第五处理模块，用于基于所述最高层的码率，确定与所述最高层的码率对应的目标解析算法；

41、第六处理模块，用于基于所述目标解析算法解析所述第一视频流，获取第二视频流。

42、根据本技术实施例提供的基于混合式编码的远程视频业务办理装置，通过基于接收到的推流终端发送的第一视频流，获取第一视频流对应的最高层的码率，然后确定与最高层的码率对应的目标解析算法，再基于目标解析算法解析第一视频流，获取第二视频流，能够根据不同分辨率和解析度的视频流，选择不同的解析算法，提高了算法解析视频帧的准确度，进而提升了整个系统的视频解析准确度。

43、第五方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面或第二方面所述的基于混合式编码的远程视频业务办理方法。

44、第六方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面所述的基于混合式编码的远程视频业务办理方法。

45、第七方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的基于混合式编码的远程视频业务办理方法。

46、第八方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面所述的基于混合式编码的远程视频业务办理方法。

47、本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

48、通过基于推流终端的上行带宽与目标阈值，确定原始视频流对应的目标码率，再基于目标码率对原始视频流进行编码以得到第一视频流，然后向服务器端发送第一视频流，可以在视频传输过程中，基于通信网络的上行带宽的实际可用空间实时调整视频数据的编码方式，并确定最佳的码率进行视频流的传输，从而实现在保证视频质量的同时，也能提高视频传输速率，解决了多网环境下视频延迟的问题，提升了传输视频的流畅度以及稳定性，进而提升了用户体验。

49、进一步的，通过基于推送速率，调整编码层数，然后基于编码层数-码率对照表，获取与调整后的编码层数对应的目标码率，能够根据实际网络环境下的推送速率来调整编码层数，并获取编码层数对应的目标码率，提高了传输视频的质量。

50、更进一步的，通过基于接收到的推流终端发送的第一视频流，获取第一视频流对应的最高层的码率，然后确定与最高层的码率对应的目标解析算法，再基于目标解析算法解析第一视频流，获取第二视频流，能够根据不同分辨率和解析度的视频流，选择不同的解析算法，提高了算法解析视频帧的准确度，进而提升了整个系统的视频解析准确度。

51、再进一步的，通过将第一视频流输入至与目标解析算法对应的目标算法模型，获取目标算法模型输出的第二视频流，能够根据不同分辨率和解析度的视频流，选择基于不同算法模型的解析算法，提高了算法解析视频帧的准确度，进而提升了整个系统的视频解析准确度，避免了多网环境下视频延迟的问题。

52、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。