专利名称：一种在多画面中显示辅流视频的方法及系统的制作方法
技术领域：
本发明属于视频会议领域，尤其涉及一种在多画面中显示辅流视频的方法及系 统。
背景技术：
视频会议系统通过网络通信技术实现两地或多个地点间实时传送活动图像信息， 最大程度地缩短了空间距离，方便处于不同地方的与会者进行实时交流。现有的视频会议技术中，通常在视频会议终端上只显示主流视频的画面，若与会 者希望观看辅流视频，则需要在视频会议终端上将当前视频切换为辅流视频。该方法不能 使与会者灵活选择观看的主流视频或者辅流视频，造成与会者体验不佳。
发明内容
本发明实施例提供了一种在多画面中显示辅流视频的方法，旨在解决与会者不能 在视频会议终端上灵活选择观看辅流视频，造成用户体验不佳的问题。本发明实施例是这样实现的，一种在多画面中显示辅流视频的方法，所述方法包 括步骤接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所 述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。本发明实施例的另一目的在于提供一种在多画面中显示辅流视频的系统，所述系 统包括RTP包接收单元，接收单个或多个视频会议终端发送的主流实时传送协议RTP包 和辅流RTP包；RTP包发送单元，对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会 议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。本发明实施例中，MCU接收各个会场发送的RTP包，该RTP包中包含各个会场中的 主流视频信息和辅流视频信息，在对接收的RTP包进行排序、解码、拼接为多画面YUV格式 数据以及对该YUV格式数据中的主流视频发送的码率、辅流视频发送的码率进行控制后， 再发送至会场的视频会议终端上。进一步地，在将拼接后包含主流视频信息和辅流视频信 息的YUV格式数据发送至视频会议终端之前，若没有接收到与会者发送的收看辅流视频指 令，则仅将主流视频发送至该与会者对应的视频会议终端上，若接收到与会者发送的收看 辅流视频指令，则将主流视频和辅流视频同时发送至该与会者对应的视频会议终端上，以 使该视频会议终端同时显示主流视频和辅流视频。由于与会者可以根据实际情况的需求， 方便地选择观看主流视频或者辅流视频，因此有效增强与会者的良好体验。
图1是本发明第一实施例提供的在多画面中显示辅流视频的方法流程；图2是本发明第二实施例提供的在多画面中显示辅流视频的系统结构。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。本发明实施例通过接收参与视频会议中单个或多个会场的视频会议终端发送的 实时传送协议RTP包，在对该包含主流视频信息和辅流视频信息的RTP包进行处理后，发送 至会场的视频会议终端以使该视频会议终端同时显示主流视频信息和辅流视频信息。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本发明第一实施例提供的在多画面中显示辅流视频的方法流程，详述 如下在步骤Sll中，接收单个或多个视频会议终端发送的主流实时传送协议RTP包和 辅流RTP包。作为本发明的另一个实施例，在视频会议开始之前，多点控制单元(Multi-point Control Unit, MCU)接收会议主席或者Web控制台发送的画面模式选择指令，根据该画面 模式选择指令选择在视频会议终端上显示的多画面模式。会议主席或者Web控制台根据参 与视频会议中会场的个数选择显示在视频会议终端的多画面模式，其中，该多画面模式的 种类通常有2、4、6、9、16种。假设该视频会议有4个会场，每个会场有一个视频会议终端， 则会议主席或者Web控制台在MCU上选择可以同时显示4个会场的画面模式。当然，已选 择的画面模式在视频会议过程中也可通过会议主席或者Web控制台进行更改。作为本发明的另一个实施例，在选择了多画面模式之后，由会议主席或者Web控 制台根据各个会场的入会顺序在MCU中指定各个会场主流视频信息和辅流视频信息在多 画面中显示的位置，并指定该主流视频信息和辅流视频信息在多画面中的编号。MCU接收会 议主席或者Web控制台的位置指定指令或者编号指定指令，并根据该位置指定指令指定参 与视频会议中各个会场的主流视频信息和辅流视频信息在多画面中显示的位置或者根据 该编号指定指令指定参与视频会议中各个会场的主流视频信息和辅流视频信息在多画面 中显示的编号。比如，在多画面的模式为显示4个会场的多画面时，将第一个入会的会场的 主流视频信息显示在整个画面的左上角，并编号为1，将该会场的辅流视频信息显示在整个 画面的右上角，并编号为2 ；将第二个入会的会场的主流视频信息显示在整个画面的左下 角，并编号为3，将该会场的辅流视频信息显示在整个画面的右下角，并编号为4。当然，在 视频会议的过程中，会议主席或者Web控制台可对每个会场的主流视频信息和辅流视频信 息的编号以及在多画面中显示的位置进行更改，本实施例不作限定。在本实施例中，若视频会议已开始，则MCU接收各个会场的视频会议终端通过主 流发送通道发送的主流实时传输协议(Real-time Transport Protocol, RTP)和通过辅流 发送通道发送的辅流RTP包，该主流PTP包和辅流RTP包中包含了各个会场中主流视频和辅流视频的图像信息。作为本发明的另一个实施例，在MCU接收单个或多个视频会议终端发送的主流 RTP包和辅流RTP包的步骤之前还包括下述步骤该MCU接收到某个视频会议终端发送的辅流发送请求，并响应该辅流发送请求， 以使该视频会议终端打开辅流通道并发送对应的辅流RTP包。在本实施例中，若参与视频会议中的某个会场需要向其他会场发送该会场的辅流 信息，则发送辅流发送请求至MCU，在该MCU作出响应后，该会场的视频会议终端将打开辅 流发送通道，并将辅流RTP包发送至该MCU。在步骤S12中，对该主流RTP包和辅流RTP包进行处理并发送至会场的视频会议 终端，以使该视频会议终端同时显示主流视频信息和辅流视频信息。本实施例中，当MCU接收到乱序的主流RTP包或者乱序的辅流RTP包时，则对该主流 RTP包或者辅流RTP包按照时间顺序重新排序，并分别解码排序后的主流RTP包和辅流RTP包。在解码主流RTP包和辅流RTP包后，获得各个会场中视频会议终端的主流视频和 辅流视频的YUV格式数据，其中，Y表示亮度信号值，u、v则表示色度值，用于描述影像色彩 和饱和度。对该辅流视频YUV格式数据的发送速率进行控制，以便保证与会者在视频会议 终端观看的多画面没有发生跳跃。若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则 缓存部分辅流RTP包以减小该辅流视频YUV格式数据的发送速率。在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同 时，将该多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV 格式数据，并对该多画面的YUV格式数据进行编码、流量控制，最后将经过流量控制的多画 面的YUV格式数据通过主流发送通道发送给所有与会的视频会议终端。作为本发明的另一个实施例，在MCU将辅流视频信息转发至所有与会的视频会议 终端的步骤之前还包括步骤接收与会者发送的辅流视频信息发送指令。若与会者希望接 收到MCU发送的辅流视频信息，则对该MCU发送辅流视频信息发送指令，该MCU接收到与会 者发送的辅流视频信息发送指令之后，将从视频会议终端接收到的辅流视频信息转发至参 与会议中其他视频会议终端上，以便参与会议中的其他视频会议终端可以同时显示主流视 频信息和辅流视频信息。若MCU没有接收到与会者发送的辅流视频信息发送指令，则仅将 主流视频信息发送至与会者所对应的视频会议终端上。当与会者希望同时收看主流视频和 辅流视频时，触发辅流视频收看按钮，则MCU根据辅流视频信息中包含的端口信息，将该辅 流视频信息发送至相应的视频会议终端。在本实施例中，由于将辅流视频信息加入到多画 面上，改变了原主流视频信息在视频会议终端上的画面，因此，MCU中的MC通过信令通知该 视频会议终端凝固图像，再请求MCU中的MP重新编一个参考帧，即I帧，发送至凝固图像的 视频会议终端，在该视频会议终端接收到MP发送的I帧之后，自动将凝固的图像解固，有效 防止了加入辅流视频后，改变主流画面没有参考帧产生的花屏现象。作为本发明的另一个实施例，若在视频会议开始后，参与视频会议的一个或多个 会场退出该视频会议，则退出该视频会议的会场在多画面上所处的位置将显示为黑屏。假 设编号为1的会场显示在多画面上的左上角，当该编号为1的会场中途退出该视频会议后， 多画面上的左上角将显示为黑屏。
在本发明第一实施例中，MCU接收各个会场发送的主流RTP包和辅流RTP包，该主 流RTP包中包含各个会场中的主流视频信息，该辅流RTP包中包含各个会场中的辅流视频 信息，在接收到该主流RTP包和辅流RTP包后，再排序、解码接收的主流RTP包和辅流RTP 包，并将解码辅流RTP包获得的辅流视频YUV格式数据进行速率控制，使该辅流视频YUV格 式数据发送速率和主流视频YUV格式数据发送速率相同，最后将该主流视频YUV格式数据 和辅流视频YUV格式数据拼接为多画面YUV格式数据，并对该多画面YUV格式数据编码以 及对该编码后的多画面YUV格式数据中的主流视频YUV格式数据的发送速率进行流量控 制，再发送至各个会场的视频会议终端上。进一步地，在MCU将包含主流视频信息和辅流视 频信息的多画面YUV格式数据转发至具有接收辅流视频信息的视频会议终端之前，若没有 接收到与会者发送的辅流视频信息发送指令，则仅将主流视频信息转发至该与会者对应的 视频会议终端上，若接收到与会者发送的辅流视频信息发送指令，则将主流视频信息和辅 流视频信息同时转发至该与会者对应的视频会议终端上，以使该视频会议终端同时显示主 流视频信息和辅流视频信息。由于与会者可以根据实际情况的需求，方便地选择观看主流 视频信息或者同时观看主流视频信息和辅流视频信息，因此有效增强与会者的良好体验。实施例二 图2示出了本发明第二实施例提供的在多画面中显示辅流视频的系统结构，为了 便于说明，仅示出了与本实施例相关的部分。该在多画面中显示辅流视频的系统可以用于通过有线或者无线网络连接服务器 的各种信息处理终端，例如移动电话、口袋计算机(Pocket PersonalComputer, PPC)、掌上 电脑、计算机、笔记本电脑、个人数字助理(PersonalDigital Assistant,PDA)等，可以是运 行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件 集成到这些终端中或者运行于这些终端的应用系统中。在视频会议开始前，MCU接收会议主席或者Web控制台发送的画面模式选择指令， 根据该画面模式选择指令选择在视频会议终端上显示的多画面模式。在视频会议开始后， MCU接收一个或多个视频会议终端发送的辅流发送请求，并响应该辅流发送请求，以使该视 频会议终端打开辅流通道并发送对应的辅流RTP包。该在多画面中显示辅流视频的系统包括RTP包接收单元21、RTP包发送单元22。其中，RTP包接收单元21接收单个或多个视频会议终端发送的主流实时传送协议 RTP包和辅流RTP包；RTP包发送单元22对RTP包接收单元21接收的主流RTP包和辅流RTP包进行处 理并发送至会场的视频会议终端，以使该视频会议终端在多画面中同时显示主流视频信息 和辅流视频信息。其中，该RTP包发送单元22包括RTP包排序解码模块221、数据拼接模块222以 及流量控制模块223。该RTP包排序解码模块221，用于在接收的主流RTP包或者辅流RTP包为乱序时， 按照时间顺序重新排序该主流RTP包或者辅流RTP包，并解码排序后的主流RTP包或者辅 流RTP包。本实施例中，MCU根据不同的码流格式解码接收的主流RTP包和辅流RTP包。该数据拼接模块222，用于将解码该主流RTP包和辅流RTP包获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据。该流量控制模块223，用于对该多画面YUV格式数据进行流量控制。本实施例中，MCU根据已有的带宽控制该多画面的YUV格式数据的发送速率。若 主流视频YUV格式数据的发送速率和辅流视频YUV格式数据的发送速率所占用的带宽超出 已有的带宽，则控制该主流视频YUV格式数据的发送速率，以使该多画面的YUV格式数据的 发送速率所占用的带宽不超出现有的带宽。作为本发明的另一个实施例，该RTP包发送单元22还包括速率控制模块224。本实施例中，在解码主流RTP包和辅流RTP包后，获得各个会场中视频会议终端的 主流视频和辅流视频的YUV格式数据，其中，Y表示亮度信号值，u、v则表示色度值，用于描 述影像色彩和饱和度。由于辅流视频发送的码率不同于主流视频发送的码率，因此在将各 个会场的主流视频YUV格式数据和辅流视频YUV格式数据拼接为一个多画面时，需控制该 辅流视频YUV格式数据的发送速率，使得该辅流视频YUV格式数据的发送速率与主流视频 YUV格式数据的发送速率相同，以便保证与会者在视频会议终端观看的多画面没有发生跳 跃。若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则 缓存部分辅流RTP包以减小该辅流视频YUV格式数据的发送速率。该速率控制模块2M用于通过缓存辅流RTP包控制辅流YUV格式数据的发送速率。若在视频会议开始后，参与视频会议的一个或多个会场退出该视频会议，则退出 该视频会议的会场在多画面上所处的位置将显示为黑屏。假设编号为1的会场显示在多画 面上的左上角，当该编号为1的会场中途退出该视频会议后，多画面上的左上角将显示为漂屏。在本发明第二实施例中，RTP包接收单元21接收单个或多个视频会议终端发送的 主流实时传送协议RTP包和辅流RTP包，RTP包发送单元22再对RTP包接收单元21接收的 主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使该视频会议终端在 多画面中同时显示主流视频信息和辅流视频信息。由于与会者可以根据实际情况的需求， 方便地选择观看主流视频或者辅流视频，因此增强了与会者的良好体验。本发明实施例中，MCU接收各个会场发送的主流RTP包和辅流RTP包，该主流RTP 包中包含各个会场中的主流视频信息，该辅流RTP包中包含各个会场中的辅流视频信息， 在接收到该主流RTP包和辅流RTP包后，再排序、解码接收的主流RTP包和辅流RTP包，并 将解码辅流RTP包获得的辅流视频YUV格式数据进行速率控制，使该辅流视频YUV格式数 据发送速率和主流视频YUV格式数据发送速率相同，最后将该主流视频YUV格式数据和辅 流视频YUV格式数据拼接为多画面YUV格式数据，并对该多画面YUV格式数据编码以及对 该编码后的多画面YUV格式数据中的主流视频YUV格式数据的发送速率进行流量控制，再 发送至各个会场的视频会议终端上。进一步地，在MCU将包含主流视频信息和辅流视频信 息的多画面YUV格式数据转发至所有与会的视频会议终端之前，若没有接收到与会者发送 的辅流视频信息发送指令，则仅将主流视频信息转发至该与会者对应的视频会议终端上， 若接收到与会者发送的辅流视频信息发送指令，则将主流视频信息和辅流视频信息同时转 发至该与会者对应的视频会议终端上，以使该视频会议终端同时显示主流视频信息和辅流
7视频信息。由于与会者可以根据实际情况的需求，方便地选择观看主流视频信息或者同时 观看主流视频信息和辅流视频信息，因此有效增强与会者的良好体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种在多画面中显示辅流视频的方法，其特征在于，所述方法包括步骤接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视 频会议终端在多画面中同时显示主流视频信息和辅流视频信息。
2.如权利要求1所述的方法，其特征在于，在接收单个或多个视频会议终端发送的主 流实时传送协议RTP包和辅流RTP包的步骤之前进一步包括下述步骤接收会议主席或者Web控制台发送的画面模式选择指令，根据所述画面模式选择指令 选择在视频会议终端上显示的多画面模式；根据选择的多画面模式指定辅流视频信息在多画面中显示的位置和编号。
3.如权利要求1所述的方法，其特征在于，在接收单个或多个视频会议终端发送的主 流实时传送协议RTP包和辅流RTP包的步骤之前进一步包括下述步骤接收一个或多个视频会议终端发送的辅流发送请求，并响应所述辅流发送请求，以使 所述视频会议终端打开辅流通道并发送对应的辅流RTP包。
4.如权利要求1所述的方法，其特征在于，对所述主流RTP包和辅流RTP包进行处理的 步骤具体为排序、解码所述主流RTP包和辅流RTP，并将解码获得的主流YUV格式数据和辅流YUV 格式数据拼接为一个多画面YUV格式数据。
5.如权利要求4所述的方法，其特征在于，在将主流YUV格式数据和辅流YUV格式数据 拼接为一个多画面YUV格式数据的步骤之前进一步包括下述步骤通过缓存辅流RTP包控制辅流YUV格式数据的发送速率。
6.一种在多画面中显示辅流视频的系统，其特征在于，所述系统包括RTP包接收单元，接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅 流RTP包；RTP包发送单元，对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终 端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。
7.如权利要求6所述的系统，其特征在于，所述RTP包发送单元包括RTP包排序解码模块，用于排序、解码所述主流RTP包和辅流RTP ；数据拼接模块，用于将解码所述主流RTP包和辅流RTP包获得的主流YUV格式数据和 辅流YUV格式数据拼接为一个多画面YUV格式数据。
8.如权利要求6所述的系统，其特征在于，所述RTP包发送单元还包括速率控制模块，用于通过缓存辅流RTP包控制辅流YUV格式数据的发送速率。
全文摘要
本发明适用于视频会议领域，提供了一种在多画面中显示辅流视频的方法及系统，所述方法包括步骤接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。本发明实施例使与会者方便地选择观看主流视频或者辅流视频，因此有效增强与会者的良好体验。
文档编号H04N7/15GK102118602SQ20111006184
公开日2011年7月6日 申请日期2011年3月15日 优先权日2011年3月15日
发明者刘春泉 申请人:深圳市捷视飞通科技有限公司