专利名称：在视频会议中同步推送音视频的方法
技术领域：
本发明涉及音视频同步技术，特别涉及在视频会议中同步推送音视频的方法。
背景技术：
随着信息技术的不断发展，网络已成为信息传播的重要手段。基于远程控制与操作互动作为一种新的交互方式，让用户不需要身临其境便可以实现相同的互动，异地的观看与操作。桌面共享是数据共享中的一种重要应用，在网络视频会议、頂即时通讯工具等各类网络通讯系统中经常被用于文档展示、操作演示、协同办公等，是音视频、文本消息等交互方式重要且有效的补充方式。目前大多视频会议、頂即时通讯工具等使用的屏幕共享技术是采用常见的屏幕截图、本地编码、发送屏幕数据、远端解码、远端显示的过程实现。如:宇龙计算机通信科技(深圳)有限公司的申请号为200910189480.X的专利申请中披露了:由主控端发送桌面请求命令向被控端，被控端在接收桌面共享后，将当前屏幕内容及屏幕显示更新的内容实时发送给对端，实现屏幕共享。又如:广东威创视讯科技股份有限公司的申请号为200810220423.9的专利申请中披露了:对共享线端进行鼠标信息采集、桌面图像采集、编码压缩图像、分块、打包、发送数据包至M⑶、MCU向控制端和观看者端发送图像、控制端向MCU发送控制命令 、MCU转发控制命令、共享线端执行响应的控制命令从而实现了屏幕的共享与远程控制。然而，在视频会议过程中，视频图像只是共享源设备共享的一部分数据，而另一部分音频数据则无法在以上各方法中同步传播，因而现有的视频会议系统大多无法同步共享源设备的音视频信息，使得视频会议中重要且关键的音频信息丢失，降低了视频会议的效率。目前，现有的音视频共享技术主要有以下两种:1、通过VGA视频线将PC (这里的PC作为共享源设备)与视频会议终端的视频接口连接，从PC的屏幕分流出一路视频流信号，并将视频流信号作为视频会议终端的视频输入信号方式将视频发送到MCU (微处理器)传输到会议室中其他与会者的客户终端，从而实现了会议中的PC屏幕推送。同时使用音频线，将PC的音频输入接入视频会议终端的音频输入，将PC的输出音频作为视频会议终端音频输入发送给MCU从而转发给视频会议中的其他与会者的客户终端。2、通过HDMI高清线将PC (这里的PC作为共享源设备)与视频会议终端连接，将PC的视频数据和音频数据传输给视频会议终端,视频会议终端将PC桌面视频流以视频会议终端视频方式发送给MCU进行转发，将音频以视频会议终端音频输入方式发送给MCU进行转发，从而实现PC视频和音频的同时转发。以上两种首视频共孚技术都存在着相应缺陷:1、以上两种方案中均采用接口硬双流方式接入PC的音视频流，这就要求视频会议终端必须支持上述接口，为此功能专门预留接口会增加视频会议终端的成本。2、不论是VGA视频线、音频线或是HDMI线均存在物理上的距离限制，对于一些大型的会议室来说，视频会议终端与讲台的连接可能因线本身的长短受限。3、以上两种方案均采用视频、音频分离传输的方式，无法保证音视频的同步性问题。4、以上两种方案均无法动态的扩展多个PC的音视频同步推送。5、以上两种方案在更换推送的PC时，需手动重新接线，将导致会议的中断，无法保证会议的连续性。因此，需要一种新的在视频会议中同步推送音视频的方法来解决现有的音视频共享技术存在的缺陷。
发明内容
本发明所要解决的技术问题是:针对现有的音视频共享技术存在的缺陷，提出一种新的在视频会议中同步推送音视频的方法，实现真正的音视频同步共享。本发明解决上述技术问题所采用的技术方案是:在视频会议中同步推送音视频的方法，应用于包括视频会议终端、共享源设备、MCU、客户终端的系统上，该方法包括以下步骤:a.在视频会议终端上建立并启动Socket Server服务；b.在共享源 设备上创建Socket连接,通过IP网络向视频会议终端发起接入认证请求； c.视频会议终端根据接入认证请求对共享源设备进行接入认证，在认证通过后建立与共享源设备之间的连接；d.视频会议终端向共享源设备发送音视频共享命令，并开启媒体接收队列、解码线程、转发线程、播放线程，同时向MCU发送屏幕及音频共享命令；e.MCU在接收到视频会议终端发送的屏幕及音频共享命令后，将该命令转发给客户终端；f.客户终端在接收到该命令后，开启媒体接收队列、解码线程、播放线程；g.共享源设备在接收到视频会议终端发送的音视频共享命令后，启动数据采集线程，采集共享源设备的当前音视频输出数据并形成相应的媒体流，将该媒体流发送给视频会议终端；h.视频会议终端通过开启的媒体接收队列接收该媒体流，通过开启的转发线程将该媒体流转发给MCU，同时，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放；1.MCU在收到视频会议终端转发的媒体流后，开启转发队列，将媒体流转发给客户终端；j.客户终端通过开启的媒体接收队列接收该媒体流，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放。进一步,步骤a中，视频会议终端在启动Socket Server服务时建立相应的连接密码，在步骤b中，共享源设备通过IP网络向视频会议终端发起的所述接入认证请求中包含用户输入的连接密码，在步骤C中，视频会议终端根据所述接入认证请求中包含的用户输入的连接密码对共享源设备进行接入认证，当用户输入的连接密码与视频会议终端建立的连接密码相匹配时则认证通过，则建立与共享源设备之间的连接；当用户输入的连接密码与视频会议终端建立的连接密码不匹配时则认证失败，则拒绝共享源设备的接入请求。进一步，步骤g中，所述数据采集线程用于实现包括:计时器功能、视频采集功能、音频采集功能、时间戳同步功能。具体的，所述实现计时器功能的方式为:建立采集时间轴，并在时间轴上确定音视频采集时间点，在到达音视频采集时间点时启动音频采集功能和视频采集功能。具体的，所述实现视频采集功能的方式为:抓取屏幕的图像，并形成视频流。具体的，所述实现音频采集功能的方式为:对音频输出数据进行抓取，并形成音频流。具体的，所述实现时间戳同步功能的方式为:在进行音、视频采集时，为音、视频流各注入一个相同的时间戳标识。进一步，步骤h及步骤j中，所述通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放的方法为:播放线程对媒体流的包头进行识别，区分出音频流和视频流，并识别当前应播放的音频数据信息和视频数据信息，建立播放时间轴，核对音频数据信息和视频数据信息的时间戳，在时间轴的进度上播放相应的音频流和视频流；当音频流或视频流数据接收延迟时，暂停当前播放，在同步接收到音频流和视频流后再开启播放。进一步，步骤i中，所述MCU在向客户终端转发媒体流时开启同步跟踪线程，所述同步跟踪线程用于监控向客户终端转发数据的转发队列，当转发速度过慢导致转发队列过长时，MCU向客户终端发起自动同步消息，并等待该客户终端反馈响应消息。进一步，所述MCU在收到该客户终端反馈的响应消息后，启动自动同步过程，所述自动同步过程是指=MCU将转发队列中旧的媒体流数据进行抛弃泄洪处理，保留最新的数据，对于保留的最新的数据长度根据实际需求进行设置，在将转发队列中旧的媒体流数据抛弃后，MCU继续向该客户终端转发新的媒体流数据。本发明的有益效果是:在不增加视频会议终端接口及其他硬件成本的情况下，利用网络将共享源设备的音视频数据流推送到视频会议终端，并由视频会议终端将音视频数据流发送给MCU，由MCU转发给其他与会者的客户终端，完成设备桌面的音视频共享，有效降低了终端多流音视频推送的成本；由于共享源设备与视频会议终端之间采用网络对接，因而不受VGA线、HDMI线的使用距离限制；建立音频数据与视频数据之间的同步时间戳，以保证在网络状况得不到保障的情况下，实现音视频的同步传输与播放；由于视频会议终端与共享源设备之间采用网络连接，不受视频会议终端端口限制，因而在更换共享源设备时也不会终端视频会议的召开，此外，本发明还支持多个设备的共享。
图1本发明应用的系统连接示意
图2为音频流的结构示意图3为视频流的结构示意图；图4为采集时间轴的示意图；图5为时间戳的结构示意图；图6为实施例中的首视频同步共孚流程不意图；图1为同步跟踪流程示意图。
具体实施例方式本发明针对现有的音视频共享技术存在的缺陷，提出一种新的在视频会议中同步推送音视频的方法，实现真正的音视频同步共享。本发明技术关键点在于:I)、共享源设备通过网络的方式接入视频会议终端:这里所述的网络接入方式指视频会议终端设备建立SocketServer，共享源设备通过Socke t连接接入视频会议终端的SocketServer,并通过TCP或UDP方式对SocketServer进行通信。通信内容包括:共享源设备与视频会议终端之间的协议信令传输，控制命令传输，音视频流数据传输等。所述的视频会议终端包括为视频会议系统支持接入的所有客户端，如:以软件方式登录视频会议系统的客户端、以硬件方式接入视频会议系统的客户端、接入视频会议系统的移动设备客户端等。2)、共享源设备与视频会议终端建立连接后，视频会议终端向共享源设备及MCU发起共享命令，由共享源设备采集自身的音视频数据推送到视频会议终端，并由视频会议终端将音视频数据流发送给MCU，由MCU转发给其他与会者的客户终端。3)、在共享源设备进行音视频采集时，建立时间轴，并为每个采集的数据流包建立时间戳，以确保播放时的时序同步。4)、MCU在转发媒体流数据时，建立同步跟踪线程，在部分客户终端因网络问题导致数据发送过慢、数据转发队列过长，导致终端音视频延迟过大时，进行自动跟踪同步更新。5)、客户终端接收到媒体流进行解码播放时，根据时间轴信息进行同步播放。当同步的音频包或视频包有延迟时，进行播放暂停处理，等待音视频同步时再进行播放，达到音视频同步的效果。下面结合附图及实施例对本发明的方案作进一步的描述:本发明中的在视频会议中同步推送音视频的方法所应用的系统如图1所示，其包括:共享源设备、视频会议终端、MCU、客户终端几个部分，共享源设备与视频会议终端信号相连，视频会议终端与MCU信号相连，MCU与客户终端信号相连；需要说明的是，这里的共享源设备可以为多个，客户终端也可以为多个。在本例中实现同步推送音视频的方法包括以下步骤:步骤1、在视频会议终端上建立网络通信连接服务SocketServer,并启动SocketServer服务,开放服务端口供共享源设备的服务连接；步骤2、在共享源设备上创建Socket连接,通过IP网络向视频会议终端发起接入认证请求；步骤3、视频会议终端根据接入认证请求对共享源设备进行接入认证，在认证通过后建立与共享源设备之间的连接；
步骤4、视频会议终端向共享源设备发送音视频共享命令，并开启媒体接收队列、解码线程、转发线程、播放线程，同时向MCU发送屏幕及音频共享命令；步骤5、MCU在接收到视频会议终端发送的屏幕及音频共享命令后，将该命令转发给客户终端；步骤6、客户终端在接收到该命令后，开启媒体接收队列、解码线程、播放线程；步骤7、共享源设备在接收到视频会议终端发送的音视频共享命令后，启动数据采集线程，采集共享源设备的当前音视频输出数据并形成相应的媒体流，将该媒体流发送给视频会议终端；步骤8、视频会议终端通过开启的媒体接收队列接收该媒体流，通过开启的转发线程将该媒体流转发给MCU，同时，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放；步骤9、MCU在收到视频会议终端转发的媒体流后，开启转发队列，将媒体流转发给客户终端；步骤10、客户终端通过开启的媒体接收队列接收该媒体流，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放。在上述步骤I中，视频会议终端在启动SocketServer服务时,建立相应的连接密码或密钥，用于后续的对共享源设备的接入认证；在上述步骤2中，共享源设备在通过IP网络向视频会议终端发起的接入认证请求中包含用户输入的连接密码；在上述步骤3中，视频会议终端根据接入认证请求中的用户输入的连接密码对共享源设备进行接入认证:如果用户输入的连接密码与视频会议终端建立的连接密码相匹配则认证成功，建立与共享源设备之间的连接；如果用户输入的连接密码与视频会议终端建立的连接密码不相匹配，则认证失败，拒绝共享源设备的接入请求；在上述步骤4中，所述媒体接收队列是指视频会议终端开辟的一块本地存储(主要是指内存，也可以是其他形式的存储器)用以接收共享源设备发送的媒体流数据，所述解码线程用于对媒体流数据进行解码，所述播放线程用于对解码后的媒体流数据进行区分识别，识别出音频数据和视频数据，并进行同步播放，所述转发线程用于将媒体流数据转发给MCU ;在上述步骤5中，MCU在收到屏幕及音频共享命令后，将屏幕及音频共享命令转发给与会者的客户终端，这里的客户终端可以为多个；在上述步骤6中，客户终端在收到屏幕及音频共享命令后，开启媒体接收队列、解码线程、播放线程；所述的媒体接收队列用于接收MCU转发的媒体流数据，所述的解码线程用于对媒体流数据进行解码；所述的播放线程用于对解码后的媒体流数据进行区分势必，识别出音频数据和视频数据，并进行同步播放；在上述步骤7中，共享源设备所启动的数据采集线程用于实现:计时器、视频采集、音频采集、时间戳同步等功能； 这里所述的计时器功能是指:建立采集时间轴，在时间轴上确定音频采集时间点和视频采集时间点，并在到达音视频采集时间点时启动视频采集、音频采集功能；所述的音频采集时间点和视频采集时间点是根据用户设置或默认的视频采集帧率、音频采样率等参数计算得出，通常的计算方法为均量计算法，即在单位时间内平均采样，当然，采样点的计算方法也可以根据具体环境的应用及要求采用其它计算方法；所述的视频采集功能的方式为:抓取屏幕的图像，并将图像形成视频流；所述音频采集功能的方式为:对音频输出数据进行抓取，音频采集的范围可根据用户要求采集线路声音、麦克风声音、CD音量、立体声混音等，音频数据抓取完成后形成音频流；所述时间戳同步功能是指:为音视频同步播放建立一个以时间为背景的同步标识，即在进行音、视频采集时，为音、视频流各注入一个相同的时间戳标识，该时间戳标识将作为音、视频数据流的一部分进行编码传输，该时间戳标识可以根据具体环境或要求，写入系统事件或时间轴的时间标识；图2示意了所述音频流的结构，其主要由包头、时间戳、音频数据流组成；其中，包头主要标识音频流的基本信息、包序号、包长度、音频标识等；时间戳则表述音频流的播放起始时间点、音频流的播放时间长度等；音频数据流则为数字音频的数据流信息；图3示意了所述视频流的结构，其主要由包头、时间戳、视频数据流组成；其中，包头主要标识视频流的基本信息、包序号、包长度、视频标识等；时间戳则表述视频流的播放起始时间点、视频流的播放时间长度、帧数等；视频数据流则为视频的数据流信息；步骤7中所述的媒体流就是完成音频数据和视频数据的采集并进行压缩编码后的数据流(既包含音频数据也包含视频数据)，对于编码方式而言，可以采用通用的H264、MPEG4、G722.1等编码方式来实现，在编码时，既可以对音频流或视频流分别进行单独的编码算法进行编码，也可以使用统一的编码器对音频流或视频流进行统一编码；在压缩编码完成后，将媒体流数据写入发送队列，通过与视频会议终端之间建立的连接将媒体流数据发送 给视频会议终端；在上述步骤8中，视频会议终端在接收到媒体流数据时进行本地解码，并进行媒体播放，同时将该媒体流数据转发给MCU ;所述的本地解码是指在视频会议终端在接收到共享源设备推送的媒体流时，对媒体流进行解压缩和解码，其解码为通用的H264、MPEG4、G722.1等现有通用的视频解码或音频解码方法，当然，所选用的解码方式必须与共享源设备对媒体流的编码方式相对应；所述的媒体播放过程包含:区分音频流与视频流信息、同步播放过程；区分音频流与视频流是指:在发送的媒体流中包含采集的音频流与视频流信息，解码后根据媒体流包头识别，分别识别出音频流和视频流；所述的同步播放指:视频会议终端识别当前应播放的音频数据信息和视频数据信息，建立播放时间轴，核对音频信息和视频信息的时间戳，在时间轴的进度上播放相应的音频流和视频流，以达到有序播放的目的，当音频流或视频流数据延迟接收时，同步机制根据时间轴判断，将暂停当前播放，在同步接收到音频流和视频流后再开启播放，以确保音频和视频的同步播放。关于采集时间轴的结构如图4所示，在时间轴上确定各个采集段，各个采集段的分布通常为均等时间分布，但也可以根据实际情况采用其它的分布方式；在各采集段上分别采集音频和视频，音频和视频根据采集的采样率和帧率不同，在采集段内分布的采集点也各有不同，但起始采集点保持一致。而时间轴的时间计量方式有两种，即:零点计量法和系统时间计量法；零点计量法:是指在初始化时间轴时，把起始时间计量为0，然后在每个采集段的采集开始时间和采集结束时间为当前采集时间与原点0时间之间的时间差；
系统时间计量法:是指在时间轴初始化的时候开始记录原点的系统时间，在每个采集段的采集开始时间和采集结束时间均同样记录系统时间；关于时间戳的结构如图5所示，其包含时间戳序号、采集开始时间、采集结束时间、采集时长几个部分，由于时间轴计量方式的不同，因而采集开始时间和采集结束时间的存储信息也有所不同。在零点计量法中，采集开始时间指采集的开始时系统时间与零点系统时间的时间差，采集结束时间指采集结束系统时间与零点系统时间的时间差。在系统时间计量法中，采集开始时间指开始采集时系统时间，采集结束时间指采集结束时系统时间；采集时长指采集开始时间与采集结束时间的时长，即整段采集的时长。在上述步骤9中，所述MCU在向客户终端转发媒体流时开启同步跟踪线程，这是为了解决在网络状况时好时坏的情况下，网络发送的音视频数据包可能在网络较差时造成延迟过大，而在网络状况良好时恢复数据的发送速度，造成的共享源设备的音视频输出与客户终端接收的音视频数据不能同步的问题；因此，这里的同步跟踪线程用于监控向客户终端转发数据的转发队列，当转发速度过慢导致转发队列过长时，MCU向客户终端发起自动同步消息，并等待该客户终端反馈响应消息。当客户终端收到MCU发送的自动同步消息后，对用户进行提示当前进入自动同步跟踪状态，并响应MCU的消息；MCU接收到客户终端反馈的响应消息后，启动自动同步过程；所述自动同步过程包括:MCU将转发队列中的旧的媒体流数据进行抛弃泄洪处理，保留最新的部分数据，至于保留的最新的数据长度可以根据实际要求设置，在旧的数据被抛弃后，MCU将开始转发新的媒体流数据，整个同步跟踪的流程如图7所示；在上述步骤10中，客户终端接收的都是MCU发送过来的最新的媒体流数据，因而可以实现同步播放的功能。当连接共享源设备的视频会议终端停止音视频同步共享时(包括正常使用情况下用户发起的停止共享命令、异常情况下如共享源设备的网络连接中断、视频会议终端断线重连、视频会议终端退出等情况)， 视频会议终端向共享源设备、MCU分别发起停止共享命令；共享源设备在接收到停止共享命令后，立即停止音频采集线程、视频采集线程、时间戳控制线程、编码线程、数据发送线程等；MCU在接收到视频会议终端发起的停止共享命令后，停止自动同步功能、向其它客户终端转发停止共享命令、停止媒体流的转发；客户终端在收到MCU转发的停止共享命令后，停止媒体流的接收、解码、播放；共享源设备在需要断开连接时,主动断开与视频会议终端的socket连接,视频会议终端在检测到共享源设备断开连接后，将释放内存并就绪其它共享源设备的连接。综上，在本例中，实现音视频同步共享的流程可以分为前序准备流程和音视频共享流程:如图6所示，前序准备流程包括:1、视频会议终端向共享源设备发送音频/屏幕同步共享命令；2、共享源设备初始化采集器；3、共享源设备初始化时间轴；4、共享源设备初始化编码器；5、视频会议终端初始化接收队列；6、视频会议终端初始化本地播放器；7、视频会议终端向MCU发送音频/屏幕同步共享命令；8、MCU启动同步跟踪播放线程；9、MCU向客户终端转发音频/屏幕同步共享命令；10、客户终端初始化本地接收队列；11、客户终端初始化播放器；
此后进入音视频共享流程:12、共享源设备依据时间轴采集音频、视频；13、共享源设备组合时间戳、封装媒体流；14、共享源设备对媒体流编码压缩；15、共享源设备向视频会议终端发送媒体流；16、视频会议终端对媒体流进行本地解码解压缩；17、视频会议终端对解码后的媒体流进行本地播放；18、视频会议终端将媒体流转发给MCU ； 19,MCU将媒体流转发给客户终端；20、客户终端对媒体流进行解压缩、解码；21、客户终端同步播放音视频。`
权利要求
1.在视频会议中同步推送音视频的方法，应用于包括视频会议终端、共享源设备、MCU、客户终端的系统上，其特征在于，该方法包括以下步骤: a.在视频会议终端上建立并启动SocketServer服务； b.在共享源设备上创建Socket连接,通过IP网络向视频会议终端发起接入认证请求； c.视频会议终端根据接入认证请求对共享源设备进行接入认证，在认证通过后建立与共享源设备之间的连接； d.视频会议终端向共享源设备发送音视频共享命令，并开启媒体接收队列、解码线程、转发线程、播放线程，同时向MCU发送屏幕及音频共享命令； e.MCU在接收到视频会议终端发送的屏幕及音频共享命令后，将该命令转发给客户终端; f.客户终端在接收到该命令后，开启媒体接收队列、解码线程、播放线程； g.共享源设备在接收到视频会议终端发送的音视频共享命令后，启动数据采集线程，采集共享源设备的当前音视频输出数据并形成相应的媒体流，将该媒体流发送给视频会议终端； h.视频会议终端通过开启的媒体接收队列接收该媒体流，通过开启的转发线程将该媒体流转发给MCU，同时，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放； 1.MCU在收到视频会议终端转发的媒体流后，开启转发队列，将媒体流转发给客户终端; j.客户终端通过开启的媒体接收队列接收该媒体流，通过开启的解码线程对该媒体流进行解码，通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放。
2.如权利要求1所述的在视频会议中同步推送音视频的方法，其特征在于，步骤a中，视频会议终端在启动Socket Server服务时建立相应的连接密码,在步骤b中,共享源设备通过IP网络向视频会议终端发起的所述接入认证请求中包含用户输入的连接密码，在步骤c中，视频会议终端根据所述接入认证请求中包含的用户输入的连接密码对共享源设备进行接入认证，当用户输入的连接密码与视频会议终端建立的连接密码相匹配时则认证通过，则建立与共享源设备之间的连接；当用户输入的连接密码与视频会议终端建立的连接密码不匹配时则认证失败，则拒绝共享源设备的接入请求。
3.如权利要求1所述的在视频会议中同步推送音视频的方法，其特征在于，步骤g中，所述数据采集线程用于实现包括:计时器功能、视频采集功能、音频采集功能、时间戳同步功能。
4.如权利要求3所述的在视频会议中同步推送音视频的方法，其特征在于，所述实现计时器功能的方式为:建立采集时间轴，并在时间轴上确定音视频采集时间点，在到达音视频采集时间点时启动音频采集功能和视频采集功能。
5.如权利要求3所述的在视频会议中同步推送音视频的方法，其特征在于，所述实现视频采集功能的方式为:抓取屏幕的图像，并形成视频流。
6.如权利要求3所述的在视频会议中同步推送音视频的方法，其特征在于，所述实现音频采集功能的方式为:对音频输出数据进行抓取，并形成音频流。
7.如权利要求3所述的在视频会议中同步推送音视频的方法，其特征在于，所述实现时间戳同步功能的方式为:在进行音、视频采集时，为音、视频流各注入一个相同的时间戳标识。
8.如权利要求1所述的在视频会议中同步推送音视频的方法，其特征在于，步骤h及步骤j中，所述通过开启的播放线程从解码后的媒体流中区分出音频流和视频流后，再同步播放的方法为:播放线程对媒体流的包头进行识别，区分出音频流和视频流，并识别当前应播放的音频数据信息和视频数据信息，建立播放时间轴，核对音频数据信息和视频数据信息的时间戳，在时间轴的进度上播放相应的音频流和视频流；当音频流或视频流数据接收延迟时，暂停当前播放，在同步接收到音频流和视频流后再开启播放。
9.如权利要求1-8任意一项所述的在视频会议中同步推送音视频的方法，其特征在于，步骤i中，所述MCU在向客户终端转发媒体流时开启同步跟踪线程，所述同步跟踪线程用于监控向客户终端转发数据的转发队列，当转发速度过慢导致转发队列过长时，MCU向客户终端发起自动同步消息，并等待该客户终端反馈响应消息。
10.如权利要求9所述的在视频会议中同步推送音视频的方法，其特征在于，所述MCU在收到该客户终端反馈的响应消息后，启动自动同步过程，所述自动同步过程是指:MCU将转发队列中旧的媒体流数据进行抛弃泄洪处理，保留最新的数据，对于保留的最新的数据长度根据实际需求进行设置，在将转发队列中旧的媒体流数据抛弃后，MCU继续向该客户终端转发新的媒体流数 据。
全文摘要
本发明涉及音视频同步技术，其公开了一种在视频会议中同步推送音视频的方法，以实现真正的音视频同步共享。本发明中的共享源设备通过网络的方式接入视频会议终端，视频会议终端向共享源设备及MCU发起共享命令，由共享源设备采集自身的音视频数据推送到视频会议终端，并由视频会议终端将音视频数据流发送给MCU，由MCU转发给其他与会者的客户终端；在共享源设备进行音视频采集时，建立时间轴，并为每个采集的数据流包建立时间戳，以确保播放时的时序同步；MCU在转发媒体流数据时，建立同步跟踪线程，对媒体流数据进行自动跟踪同步更新；客户终端接收到媒体流进行解码播放时，根据时间轴信息进行同步播放。本发明适用于视频会议系统中音视频的同步共享。
文档编号H04N7/15GK103237191SQ20131013178
公开日2013年8月7日 申请日期2013年4月16日 优先权日2013年4月16日
发明者刘天成, 田勇伟, 丁超 申请人:成都飞视美视频技术有限公司