一种视频会议辅助信息传输方法和系统与流程

本发明涉及视频会议信息传输，具体涉及一种视频会议辅助信息传输方法和系统。

背景技术：

1、随着视频云会议的快速发展，及视频会议业务多元化，打破了时域、地域限制，随时随地都能快速进行视频会议。同时，还能进行更高级的会议模式，比如当前流行的沉浸式布局会议。因此，就需要视频能随时携带更多的辅助信息，来实现各种云会议的扩展需求。

2、目前，现有的视频辅助信息传输的方案，分为通信协议方案和视频传输层方案。其中的通信协议方案，需要拟定一套针对视频辅助信息的通信协议通过tcp或http传输。那么，就需要对协议进行打包和解析，无法更好融入到既有的云会议系统中，而且还很难保证视频辅助信息与视频帧对齐。而视频传输层方案，是视频帧编码后在打rtp包时候，采用rtptype进行视频与辅助信息的区分，在一帧处理完成后加mark位。这种方案虽然能保证辅助信息与视频对齐，但是在发送端和接收端需要增加特定处理，同时也不能满足传输标准即私有化，导致媒体流兼容性差影响了云会议的用户体验。

3、现有的云会议中视频辅助信息传输方案，没有很好的解决视频与辅助信息的对齐显示及处理，从而影响了用户的会议使用体验。而且，现有技术方案在带宽使用上也有些浪费，视频兼容性差。

技术实现思路

1、因此，本发明要解决的技术问题在于克服现有技术中通信协议方案和视频传输层方案，无法同时兼顾视频辅助信息与视频帧对齐与过程简单化的问题，从而提供一种视频会议辅助信息传输方法和系统。

2、为解决上述技术问题，本发明公开实施例至少提供一种视频会议辅助信息传输方法和系统。

3、第一方面，本发明公开实施例提供了一种视频会议辅助信息传输方法，包括：

4、发送端向接收端发送当前视频帧rtp数据，所述当前视频帧rtp数据包括当前视频帧yuv数据和相应辅助信息；

5、接收端接收所述当前视频帧rtp数据，从所述当前视频帧rtp数据中解析出所述当前视频帧yuv数据和所述相应辅助信息，并将所述当前视频帧yuv数据和所述相应辅助信息一同用于后续处理。

6、可选地，所述发送端在向接收端发送当前视频帧rtp数据之前，所述发送端还进行如下处理：获取原始当前视频帧yuv数据和原始相应辅助信息；对所述原始当前视频帧yuv数据进行视频预处理，得到所述当前视频帧yuv数据；对所述当前视频帧yuv数据进行编码，得到视频es数据；对所述原始相应辅助信息进行预处理，得到所述相应辅助信息；对所述相应辅助信息进行标准sei打包处理；将打包后的标准sei插入到视频es数据；对所有视频数据进行rtp打包，得到当前视频帧rtp数据。

7、可选地，所述对所述原始相应辅助信息进行预处理包括：将所述原始相应辅助信息进行统一字节化；对统一字节化后的原始相应辅助信息进行无损压缩，得到所述相应辅助信息。

8、可选地，所述对所述相应辅助信息进行标准sei打包处理包括：确定打包有效数据长度；根据数据长度对所述相应辅助信息循环进行打包。

9、可选地，所述接收端从所述当前视频帧rtp数据中解析出所述当前视频帧yuv数据和所述相应辅助信息包括：对所述当前视频帧rtp数据进行解码处理，得到所述视频es数据；提取所述视频es数据中的sei数据；

10、从所述sei数据中解析出所述相应辅助信息；将视频es数据给到视频解码器进行解码，得到所述当前视频帧yuv数据；对所述相应辅助信息数据进行解压缩。

11、可选地，从所述sei数据中解析出所述相应辅助信息包括：循环处理得到的sei数据包长度；根据sei数据包长度解析出所述相应辅助信息。

12、可选地，所述无损压缩采用哈夫曼编码实现。

13、第二方面，本发明公开实施例还提供一种视频会议辅助信息传输系统，包括：

14、发送端，用于向接收端发送当前视频帧rtp数据，所述当前视频帧rtp数据包括当前视频帧yuv数据和相应辅助信息；

15、接收端，用于接收所述当前视频帧rtp数据，从所述当前视频帧rtp数据中解析出所述当前视频帧yuv数据和所述相应辅助信息，并将所述当前视频帧yuv数据和所述相应辅助信息一同用于后续处理。

16、第三方面，本发明公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面或第一方面中任一种可能的实施方式中的步骤。

17、第四方面，本发明公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面、或第一方面中任一种可能的实施方式中的步骤。

18、本发明的实施例提供的技术方案可以具有以下有益效果：

19、发送端向接收端发送当前视频帧rtp数据，当前视频帧rtp数据包括当前视频帧yuv数据和相应辅助信息；接收端接收当前视频帧rtp数据，从当前视频帧rtp数据中解析出当前视频帧yuv数据和相应辅助信息，并将当前视频帧yuv数据和相应辅助信息一同用于后续处理。通过标准视频辅助信息打包，能够无缝对接标准解码器，保证了视频的兼容性可以在标准解码器上正常解码，实现视频帧与辅助信息同步传输，有效解决了视频帧与其辅助信息对齐问题，保证了视频帧与辅助信息对齐显示处理，进一步采用哈夫曼无损压缩技术，大大降低辅助信息数据量，有效降低辅助信息数据量节省带宽浪费，实现带宽有效的使用，有效提升了云会议的用户体验及拓展性，有效解决了辅助信息过大引入传输压力，从而能携带跟更多的视频辅助信息，保证并提升了云会议效果体验与扩展需求，保证了传输带宽的合理使用。

20、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种视频会议辅助信息传输方法，其特征在于，包括：

2.根据权利要求1所述的视频会议辅助信息传输方法，其特征在于，所述发送端在向接收端发送当前视频帧rtp数据之前，所述发送端还进行如下处理：

3.根据权利要求2所述的视频会议辅助信息传输方法，其特征在于，所述对所述原始相应辅助信息进行预处理包括：

4.根据权利要求3所述的视频会议辅助信息传输方法，其特征在于，所述对所述相应辅助信息进行标准sei打包处理包括：

5.根据权利要求4所述的视频会议辅助信息传输方法，其特征在于，所述接收端从所述当前视频帧rtp数据中解析出所述当前视频帧yuv数据和所述相应辅助信息包括：

6.根据权利要求5所述的视频会议辅助信息传输方法，其特征在于，从所述sei数据中解析出所述相应辅助信息包括：

7.根据权利要求3-6任一项所述的视频会议辅助信息传输方法，其特征在于，所述无损压缩采用哈夫曼编码实现。

8.一种视频会议辅助信息传输系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述视频会议辅助信息传输方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7中任一项所述视频会议辅助信息传输方法。

技术总结
本申请公开提供了一种视频会议辅助信息传输方法和系统，涉及视频信息处理技术领域，该方法发送端向接收端发送当前视频帧RTP数据，当前视频帧RTP数据包括当前视频帧YUV数据和相应辅助信息；接收端接收当前视频帧RTP数据，从当前视频帧RTP数据中解析出当前视频帧YUV数据和相应辅助信息，并将当前视频帧YUV数据和相应辅助信息一同用于后续处理，解决了现有技术中通信协议方案和视频传输层方案，无法同时兼顾视频辅助信息与视频帧对齐与过程简单化的问题。

技术研发人员：马华文
受保护的技术使用者：全时云商务服务股份有限公司
技术研发日：
技术公布日：2024/1/11