专利名称：一种ip视频会议系统中音视频流传输的流量控制方法
技术领域：
本发明涉及计算机多媒体系统，尤其涉及IP视频会议系统。
背景技术：
随着全球步入信息化时代，人们对了解事务、交换信息的要求已经从纸、笔、书本、语音等发展到通过Internet(因特网)，采用多种方式更准确、快捷、丰富地表达出来。在社会需求的推动下，多媒体计算机技术与通信技术相结合，逐渐发展成为一种新的多媒体通信技术。
面对面的交谈是人类表达思想最丰富的一种方式，人们会充分调动眼睛、表情和动作来渲染话语。对于商业事务来说，普通电话交谈无法表达图表、文件、数据表格之类有说服力和感染力的东西。企业或团体需要召开会议时，经常遇到其各有关人员无法集中的情况。由此产生了利用通信媒体召开视频会议的需求。所谓视频会议，就是利用通信线路把两个或多个会议室连接起来，以电视方式传播会议信息的一种音频、图像通信手段。视频会议的主要特征是能实时传送与会者的形象、声音以及会议资料图表和相关事物的图像等，身居不同地点的与会者可以闻声见影，如同坐在同一间会议室中开会一样。
目前的视频会议系统大都采用模拟方式传输图像，由于占用频带宽，设备昂贵，升级不便，故运营费用很高，难以普及。
数字式视频和音频技术的进步导致了计算机和网络的革命，并为计算机系统的应用开拓了新的领域。高速网络技术、分布式处理技术、多媒体信息处理技术、多媒体工作站技术等的进步为分布式多媒体系统的发展奠定了基础。
另一方面，以TCP/IP协议为基础的Internet，无论是网络规模还是用户数量都在迅速增长。许多单位都构造了自己的内部网(Intranet)，以实现对内和对外的数据交流。但是，随着IP网络的发展，单纯的数据交流已无法满足用户需求，人们希望实现集音频、视频、数据于一体的多媒体式的互动交流。
现有的基于IP网的视频会议系统一般采用一个连接通道来传输各种信息流，并且只对信道予以控制，而不区分音频、视频或者控制信号等信号流的不同。这样一来，音频信息、视频信息和控制信息会互相影响，当遇到信息通道出现带宽不足等异常现象发生时，非但站用带宽大的视频信号无法正常传输，还会殃及到音频信息的有效传递，从而造成整个视频会议系统的瘫痪。
发明内容
本发明要解决的技术问题在于避免上述现有技术的不足之处，而提出一种对视频信息和音频信息分别传输，并能确保网络带宽不足时，整个基于IP网的视频会议系统还可以进行有效信息传递的音频视频流量控制方法。
本发明解决上述技术问题采用的技术方案是，提出一种IP视频会议系统中音视频流传输的流量控制方法，所述视频会议系统包括相互建立通信联系的服务器和客户机，所述方法包括为所述服务器和客户机之间的通信建立三个并行运行但分工不同的连接，第一个连接负责视频数据的传输，第二个连接负责音频数据的传输，第三个连接负责控制信息的传输；当网络带宽不足时，遵照优先保证音频数据的传输、合理放弃视频数据的传输的规则来对负责视频数据传输的连接和负责音频数据传输的连接进行调节，所述合理放弃视频数据是指在视频数据的传输过程中限定视频数据队列中的视频帧数。
所述负责视频数据传输的连接遵照UDP协议进行，所述负责音频数据传输的连接遵照UDP协议进行，所述负责控制信息传输的连接遵照TCP协议进行。
所述限定视频数据队列中的视频帧数的具体调节方法，包括步骤①.判断发送队列是否为空，是则退出，否则转下一步；②.从队列头读取当前一帧数据到发送缓存后，计算当前视频数据队列的长度；③.判断队列长度是否超过上限，是则中止视频采集编码处理，转下一步，否则启动视频采集编码处理，转下一步；④.发送处于发送缓存中的数据；⑤.释放发送缓存占用的资源后，返回步骤①开始下一循环。
同现有技术相比，使用本发明IP视频会议系统中音视频流传输的流量控制方法，能确保在网络带宽不足时，整个视频会议系统还可以进行有效的信息传递。
图1为本发明方法所述视频会议系统整体结构示意图。
图2为本发明方法所述服务器工作流程示意图。
图3为本发明方法所述客户机工作流程示意图。
图4为本发明方法所述限定视频数据队列中的视频帧数方法的流程示意图。
具体实施例方式
下面结合附图对本发明的最佳实施例作进一步详细说明。
如图1所示，视频会议系统组成包括服务器和客户机，所述服务器的配置采用中央处理器Intel P4 1.4GHz、内存256M、网卡10/100M自适应、操作系统Windows 2000Server。所述客户机的配置采用中央处理器Intel PIII 800MHz、内存256M、网卡10/100M自适应、摄像头BOSER、采集卡OSPREY 200、麦克LABTEC、操作系统Windows 2000Professional。
所述视频会议系统包括相互建立通信联系的服务器和客户机，本发明方法包括为所述服务器和客户机之间的通信建立三个并行运行但分工不同的连接，第一个连接负责视频数据的传输，第二个连接负责音频数据的传输，第三个连接负责控制信息的传输；当网络带宽不足时，遵照优先保证音频数据的传输、合理放弃视频数据的传输的规则来对负责视频数据传输的连接和负责音频数据传输的连接进行调节，所述合理放弃视频数据是指在视频数据的传输过程中限定视频数据队列中的视频帧数。
如图2所示，服务器主线程启动后，先对各个数据结构进行初始化，并建立三个连接，将控制连接设置到监听状态，当有客户机发出请求连接的消息后，主线程启动音频接收发送线程和视频接收发送线程。之后这三个线程并行运行，直到客户机退出连接，主线程中止这两个线程。当音频接收发送线程或视频接收发送线程收到数据后，就放入一个缓存中，并启动播放线程，当缓存中的数据播放完毕后播放线程自动中止，直到缓存中再有数据后，重新被启动。
如图3所示，客户机主线程启动后，与服务器建立连接，初始化各个数据，启动以下各个子线程1)本地视频采集、编码线程采集本地图像，并将采集到的图像数据进行编码。编码后的数据放入发送缓存，并启动视频数据发送线程发送数据。
2)本地音频采集、编码、发送线程采集本地声音，并将采集到的声音数据进行编码，然后发送数据。因为音频数据量小，所以这几个功能都放在一个线程里。
3)视频数据发送线程将视频发送缓存中的数据发送出去。
4)视频数据接收线程接收视频数据，放入远端视频缓存区中，然后启动视频解码、播放线程。
5)视频解码、播放线程对视频编码数据进行解码，并播放图像。
6)音频接收、解码、播放线程接收音频数据，放入远端音频缓存区中，然后对音频编码数据进行解码，并播放声音。因为音频数据量小，所以这几个功能都放在一个线程里。
视频发送在视频数据发送线程中完成。系统运行后并不直接启动此线程，而是先启动视频采集编码线程。当视频采集编码线程采集到本地图像，经过编码将数据存入视频发送队列后，再启动视频数据发送线程。之后，视频数据发送线程和其他线程一起并行运行，直到视频发送队列为空时自动中止。在上述过程中会涉及到对共享数据----视频发送队列的操作，为防止出现共享冲突，在这两个线程对视频发送队列操作的前后分别用“临界区”变量加锁和解锁给予保护。如图4所示，发送线程发送完一帧数据后检查视频数据队列的长度，即队列中等待发送的视频数据的帧数，然后作决定如果此时等待发送的视频数据帧数还没有达到规定的上限，就可以将刚采集到的并经过编码的视频数据加进视频数据队列；否则将控制视频采集编码线程的信号量设置成无信号状态，这样视频采集和编码就停止了，直到队列长度降低到上限以下后，再启动采集编码线程。视频数据帧数的上限值根据实验测得，选用20比较合适。
当有数据到达时，系统并不直接接收数据，而是将当前这个套接字的指针作为消息的参数发送到接收线程。接收线程再对数据进行接收并将其存入一个共享缓存队列中，然后启动解码播放线程来显出远端的视频图像。这样如果当网络突然陷入阻塞而使接收过程被迫停止时，不会影响主线程或发送等其它线程。
上述优选实施例意在清楚说明本发明的构思和技术方案，即在IP视频会议系统中对音频信息和视频信息采用不同的通道进行传输，并且在网络带宽不足时，优先保证音频传输，限制视频传输。本发明之实施，并不局限于上述各实施例。任何基于本发明的构思和技术方案，而进行的无须创造性劳动的、简单推演或替换，都属于本发明之实施。
权利要求
1.一种IP视频会议系统中音视频流传输的流量控制方法，所述视频会议系统包括相互建立通信联系的服务器和客户机，其特征在于，所述方法包括为所述服务器和客户机之间的通信建立三个并行运行但分工不同的连接，第一个连接负责视频数据的传输，第二个连接负责音频数据的传输，第三个连接负责控制信息的传输；当网络带宽不足时，遵照优先保证音频数据的传输、合理放弃视频数据的传输的规则来对负责视频数据传输的连接和负责音频数据传输的连接进行调节，所述合理放弃视频数据是指在视频数据的传输过程中限定视频数据队列中的视频帧数。
2.如权利要求1所述的流量控制方法，其特征在于所述服务器的工作流程包括如下步骤服务器主线程启动后，主线程先对各个数据结构进行初始化，并建立所述第一、第二和第三个连接，将控制连接设置到监听状态，当有客户机发出请求连接的消息后，启动音频接收发送线程和视频接收发送线程；之后这三个线程并行运行，直到客户机退出连接，主线程中止这两个线程；当音频接收发送线程或视频接收发送线程收到数据后，就放入一个到缓存中，并启动播放线程，当缓存中的数据播放完毕后播放线程自动中止，直到缓存中再有数据存入，播放线程又重新被启动。
3.如权利要求1所述的流量控制方法，其特征在于所述客户机的工作流程包括如下步骤主线程启动后，与服务器建立连接，初始化各个数据，启动各个子线程；所述各个子线程包括本地视频采集、编码线程，本地音频采集、编码、发送线程，视频数据发送线程，视频数据接收线程，视频解码、播放线程，音频接收、解码、播放线程。
4.如权利要求3所述的流量控制方法，其特征在于为防止出现共享冲突，在本地视频采集、编码线程和/或视频数据发送线程对视频发送队列操作的前后分别用加锁和解锁给予保护。
5.如权利要求1所述的流量控制方法，其特征在于所述负责视频数据传输的第一个连接遵照UDP协议。
6.权利要求1所述的流量控制方法，其特征在于所述负责音频数据传输的第二个连接遵照UDP协议。
7.如权利要求1所述的流量控制方法，其特征在于所述负责控制信息传输的第三个连接遵照TCP协议。
8.如权利要求1所述的流量控制方法，其特征在于所述限定视频数据队列中的视频帧数，包括如下步骤①.判断视频数据发送队列是否为空，是则退出，否则转下一步；②.从队列头读取当前一帧数据存到发送缓存，计算当前视频数据队列的长度；③.判断队列长度是否超过上限，是则中止视频采集编码处理，转下一步，否则启动视频采集编码处理，转下一步；④.发送处于发送缓存中的数据；⑤.释放发送缓存占用的空间后，返回步骤①开始新一轮循环。
9.如权利要求8所述的流量控制方法，其特征在于在所述步骤①中，当发送队列不为空时，在转下一步之前还包括对视频数据发送队列进行加锁操作；相应地在所述步骤②中，当从队列头读取当前一帧数据到发送缓存之后还包括对视频数据发送队列进行解锁操作。
10.如权利要求8所述的流量控制方法，其特征在于在所述步骤②中，从队列头读取当前一帧数据存到发送缓存后，还包括删除视频数据队列头一帧数据的操作。
全文摘要
一种IP视频会议系统中音视频流传输的流量控制方法，所述视频会议系统包括相互建立通信联系的服务器和客户机，所述方法包括为所述服务器和客户机之间的通信建立三个并行运行但分工不同的连接一个负责视频数据的传输、一个负责音频数据的传输、一个负责控制信息的传输；当网络带宽不足时，遵照优先保证音频数据的传输、合理放弃视频数据的传输的规则来对负责视频数据传输的连接和负责音频数据传输的连接进行调节，所述合理放弃视频数据是指在视频数据的传输过程中限定视频数据队列中的视频帧数。同现有技术相比，使用本流量控制方法，能确保在网络带宽不足时，整个视频会议系统还可以进行有效的信息传递。
文档编号H04L12/28GK1540954SQ200310111999
公开日2004年10月27日 申请日期2003年10月30日 优先权日2003年10月30日
发明者刘晓冬, 刘小瀑 申请人:清华大学深圳研究生院