一种实时视频流多AI渲染方法和系统与流程

本发明涉及一种实时视频流多ai渲染方法和系统，涉及计算机。

背景技术：

1、在5g新通话的背景下，对视频流实时渲染提出了更多的需求，其中包括对ai能力及普通渲染能力的相关需求，例如虚拟背景、跟脸贴图、美白美颜、普通贴图及字幕等特效。随着渲染能力的增加，叠加场景也成为了更进一步的要求，同时也对实时视频流时延提出了更大的挑战。

2、通常情况下，增加一个模块的叠加功能就表示增加一部分编解码及渲染时延，若为ai能力时，还存在一部分ai处理时延。现有技术方案中，每个ai渲染模块都独立存在，视频流经过任意模块需要进行解封装、解码、处理、渲染、编码、封装等一系列操作，n个ai渲染模块便经过n次上述流程，n次流程引入的时延通过常规的算法优化无法减少，且视频流在各模块之间的传输需要经过复杂的流切换等业务管理流程。

3、因此，如何有效减少多个ai渲染模块对视频流的处理时延，从而满足低时延场景需求，已成为技术人员重点关注的技术问题。

技术实现思路

1、有鉴于此，本发明的目的是提供一种实时视频流多ai渲染方法和系统，能有效减少多个ai渲染模块对视频流的处理时延，从而满足低时延场景需求。

2、为了达到上述目的，本发明提供了一种实时视频流多ai渲染方法，包括有：

3、步骤一、视频流发送方将原始视频流发送给综合渲染装置和多个ai渲染装置；

4、步骤二、每个ai渲染装置对原始视频流进行ai识别，并向综合渲染装置返回ai识别结果；

5、步骤三、综合渲染装置对所有ai渲染装置返回的ai识别结果和原始视频流的时间戳进行对齐，然后按一定顺序叠加后编码生成处理后的视频流，并输出处理后的视频流。

6、为了达到上述目的，本发明还提供了一种实时视频流多ai渲染系统，包括有综合渲染装置和多个ai渲染装置，其中：

7、ai渲染装置，接收原始视频流，对原始视频流进行ai识别，并向综合渲染装置返回ai识别结果；

8、综合渲染装置，接收原始视频流，并对所有ai渲染装置返回的ai识别结果和原始视频流的时间戳进行对齐，然后按一定顺序叠加后编码生成处理后的视频流，并输出处理后的视频流。

9、与现有技术相比，本发明的有益效果是：本发明通过核心的综合渲染装置，视频流无需经过多次处理，综合渲染装置与各ai渲染装置同时接收视频流，ai渲染装置无需编码，只需解码并识别，并在完成识别后，将ai识别结果发送至综合渲染装置，本发明利用udp协议实现综合渲染装置与ai渲染装置之间的交互，并利用同步信号对ai识别结果与视频画面进行对齐，使用本发明还可以实现横向能力扩充及低延时高速响应的渲染能力。

技术特征：

1.一种实时视频流多ai渲染方法，其特征在于，包括有：

2.根据权利要求1所述的方法，其特征在于，步骤二中，综合渲染装置为不同ai渲染装置分配不同的pt值，以便于综合渲染装置对ai渲染装置返回的ai识别结果进行区分，包括有：

3.根据权利要求2所述的方法，其特征在于，综合渲染装置预先设置一个动态负载范围最小值dynaminmin，并判断原始视频流的pt值vpt是否大于dynaminmin，如果是，则为每个ai渲染装置分配的pt值的计算公式如下：pti＝vpt+i*z，如果否，则为每个ai渲染装置分配的pt值的计算公式如下：pti＝dynaminmin+i*z，其中，pti是为第i个ai渲染装置分配的pt值，z是一个自然数。

4.根据权利要求1所述的方法，其特征在于，步骤二中，每个ai渲染装置在向综合渲染装置返回ai识别结果时，包括有：

5.根据权利要求4所述的方法，其特征在于，步骤二中，ai渲染装置还根据网络延迟、及生存周期重复发送数据包，包括有：

6.根据权利要求1所述的方法，其特征在于，步骤三中，综合渲染装置对所有ai渲染装置返回的ai识别结果和原始视频流的时间戳进行对齐，进一步包括有：

7.根据权利要求1所述的方法，其特征在于，步骤二中，当ai渲染装置向综合渲染装置返回ai识别结果对应的一组数据包后，还包括有：

8.根据权利要求7所述的方法，其特征在于，ai渲染装置中还设置冗余适配器，包括有：

9.根据权利要求1所述的方法，其特征在于，综合渲染装置当接收到ai渲染装置返回的ai识别结果时，根据接收rtp数据包的序号来判断是否存在丢失的rtp数据包，并调整nack报文队列，同时，按照nack报文队列中的nack报文顺序，向ai渲染装置发送每个nack报文以请求重传数据包，包括有：

10.一种实时视频流多ai渲染系统，其特征在于，包括有综合渲染装置和多个ai渲染装置，其中：

技术总结
一种实时视频流多AI渲染方法和系统，包括：视频流发送方将原始视频流发送给综合渲染装置和多个AI渲染装置；每个AI渲染装置对原始视频流进行AI识别，并向综合渲染装置返回AI识别结果；综合渲染装置对所有AI渲染装置返回的AI识别结果和原始视频流的时间戳进行对齐，然后按一定顺序叠加后编码生成处理后的视频流，并输出处理后的视频流。本发明涉及计算机技术领域，能有效减少多个AI渲染模块对视频流的处理时延，从而满足低时延场景需求。

技术研发人员：廖建新,杨宇航,石峰,李孟选,周瑶,张涛
受保护的技术使用者：新讯数字科技（杭州）有限公司
技术研发日：
技术公布日：2024/3/4