专利名称：一种远程呈现技术中媒体数据发送和播放的方法及系统的制作方法
技术领域：
本发明涉及视频会议技术，特别是指ー种远程呈现技术中媒体数据发送和播放的方法及系统。
背景技术：
远程呈现(tel印resence)是ー种高级的远程会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。在传统视频会议系统 中，每个会场听到的声音是整个会议中前几个声音最大的会场混音叠加后的声音，每个会场声音的输入源和输出只有ー个，用户无法感受到声音从会场的哪个方位发出。在远程呈现会议系统中，各个会场有的是单屏会场有的是多屏会场。多屏会场中，每个屏幕显示ー处坐席与会者的图像，相应的每处坐席与会者对应了一路音频输入。如果要达到听声辨位的效果，在多屏会场中，发言者图像显示在会场哪个屏，声音即从该屏所在方位发出，即实现声音跟随图像。例如三屏会场中，左席发言，那么应该听到声音从左侧发出；中席发言，其应该听到声音从中间发出；右席发言，与会人员应该听到声音从右侧发出。这种情况下，不同方位的音频输入输出，需要区别对待进行不同的混音，传统的单路音频混音方法显然不能满足这种情況。同时在单屏和多屏会场互通的多点会议中，单屏和多屏会场如何混音输出，同时不影响两个会场听声辨位的效果，也是需要解决的问题。进一歩的，若采用多路码流分别传输的方式，则多路码流之间的严格同步非常困难，难以达到视频会议对音频的同步要求。
发明内容
有鉴于此，本发明的主要目的在于提供ー种远程呈现技术中媒体数据发送和播放的方法及系统，解决了现有的电视会议系统中，采用多路码流分别传输的方式来传输媒体数据，不易实现音频同步或视频同步的问题。为达到上述目的，本发明的技术方案是这样实现的本发明提供了ー种远程呈现技术中媒体数据发送的方法，所述方法包括采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统ー打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。其中，所述包含多路音频或视频的数据包，包括数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携帯多路码流数据的内容。其中，所述对采集到的音频或视频数据分别进行处理，具体为将每ー个采集位置采集到的音频或视频数据都分别处理为一路码流数据。本发明还提供了ー种远程呈现技术中媒体数据播放的方法，所述方法包括接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。其中，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息，具体为读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。本发明还提供了ー种远程呈现技术中媒体数据发送的系统，所述系统包括ー个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块，其中，所述ー个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块；所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块；所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。其中，所述包含多路音频或视频的数据包，包括数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携帯多路码流数据的内容。其中，所述多路码流数据处理模块对采集到的音频或视频数据分别进行处理，具体为将每ー个采集位置采集到的音频或视频数据都分别处理为一路码流数据。本发明还提供了ー种远程呈现技术中媒体数据播放的系统，所述系统包括多个音视频播放设备、多路码流数据处理模块和多路码流数据传输模块，其中，多路码流数据传输模块，用于接收并解析发送端的多路码流数据传输模块发送的包含多路音频或视频的数据包，将解析出的多路音频数据或视频数据，以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块；多路码流数据处理模块，用于将多路音频数据或视频数据，发送给各路码流数据的采集位置信息所对应的音视频播放设备完成播放。
本发明所提供的远程呈现技术中媒体数据发送和播放的方法及系统，采集与坐席相对应的视频或音频数据，对采集到的视频或音频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。能够在数据传输的过程中直接标识相应的采集位置，即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感受。进ー步的，也不需要另外进行音频同步或视频同歩。
图I为本发明ー种远程呈现技术中媒体数据发送和播放的方法流程示意图；图2为本发明所述包含多路音频或视频的数据包的结构示意图；图3为在三个单屏会场与ー个多屏会场组网时应用本发明通信的音频视频码流走向示意图； 图4为两个三个单屏会场组网时应用本发明通信的音频视频码流走向示意图；图5为本发明ー种远程呈现技术中媒体数据发送和播放的系统结构示意图。
具体实施例方式本发明的基本思想是采集与坐席相对应的视频或音频数据，对采集到的视频或音频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统ー打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。下面结合附图和具体实施例对本发明的技术方案进ー步详细阐述。图I为本发明ー种远程呈现技术中媒体数据发送和播放的方法流程示意图，如图I所示，所述方法包括步骤101，采集与坐席相对应的音频或视频数据；具体的，所述采集与坐席相对应的音频或视频数据，具体为通过安装在不同采集位置上的视频采集设备和音频采集设备来完成。步骤102，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；具体的，所述对采集到的音频或视频数据分别进行处理，具体为将每ー个采集位置采集到的视频或音频数据都分别处理为一路码流数据。其中，所述分别处理是根据采集位置的不同进行区分。例如三屏会场中有左、中、右三个采集位置，针对左侧视频和音频采集设备采集到的数据，分别处理得到左侧视频码流数据和左侧音频码流数据，所述左侧音频码流数据即对应接收端播放的左声道；针对右侧视频和音频采集设备采集到的数据，分别处理得到右侧视频码流数据和右侧音频码流数据，所述右侧音频码流数据即对应接收端播放的右声道；针对中间视频和音频采集设备采集到的数据，分别处理得到中间视频码流数据和中间音频码流数据。其中，中间音频码流数据可以是对应接收端播放的中间声道，也可以同时对应接收端播放的左声道和右声道，对于与会者来说同时听到左右声道播放相同的声音，会感觉声音来自中间，即正前方。进ー步的，针对多余3个屏幕的会场，则通过调整不同声道的音量大小，来体现音频数据的采集位置，原则上越接近于采集位置的声道的音量越大。步骤103，对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
具体的，所述多路码流数据进行编码，具体为根据传输协议对多路码流进行编码。所述包含多路音频或视频的数据包，包括在数据包头部分为每一路的视频或音频数据添加码流标识，并且标明码流长度，然后将码流数据的具体内容添加到数据包体部分。其中，所述添加的码流标识，用于对应码流数据各自的采集位置。图2为本发明所述包含多路音频或视频的数据包的结构示意图，如图2所示，数据包头21中包含码流I标识22、码流I长度23、码流2标识24、码流2长度25。数据包体26中包含码流I数据27和码流2数据28。在本发明的包含多路音频或视频的数据包中可以为多路码流分别添加码流标识，并标明码流长度，这样可以将多路码流打包为ー个包含多路音频或视频的数据包，使得多路码流同步的问题得到很好的解決。进ー步的，由于添加了对应采集位置信息的码流标识，因此可以在接收端依据采集位置还原音频数据的播放位置，实现了听声辨位。在步骤103之后，接收端为了播放所述包含多路音频或视频的数据包，本方法还包括步骤104，接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；具体的，所述解析包含多路音频或视频的数据包，具体为读取数据包头部分的码流标识得到码流数据的采集位置，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。步骤105，将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。具体的，将解析出的码流数据内容输出到会场中的对应的播放位置完成播放，则与会者可以得到听声辨位的体验。图3为在三个单屏会场与ー个多屏会场组网时应用本发明通信的音频视频码流走向示意图，如图3所示，3个单屏会场分别为单屏会场31、单屏会场32和单屏会场33，所述三个单屏会场和I个三屏会场34进行组网，其中3个单屏会场的视频依次显示在三屏会场的左、中、右屏幕，各单屏会场可以选看三屏会场34的任一坐席视频。首先三屏会场34中多个音频采集设备采集的音频码流，都输入到音频处理器设备，由音频处理器设备处理后分成左右两个声道的音频码流数据，再由负责三屏会场34的远程呈现多媒体終端对两个声道码流分别进行编码，并打包为包含多路音频的数据包进行发送。本实施例中以实时传送协议(Real-timeTransport Protocol, RTP)包结构为例,表I为包含多路音频或视频的数据包在RTP协议中的扩展结构。
权利要求
1.ー种远程呈现技术中媒体数据发送的方法，其特征在于，所述方法包括 采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息； 对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
2.根据权利要求I所述的方法，其特征在于，所述包含多路音频或视频的数据包，包括数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携帯多路码流数据的内容。
3.根据权利要求I或2所述的方法，其特征在于，所述对采集到的音频或视频数据分别进行处理，具体为将每ー个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
4.ー种远程呈现技术中媒体数据播放的方法，其特征在于，所述方法包括 接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息； 将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。
5.根据权利要求4所述的方法，其特征在于，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息，具体为读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
6.ー种远程呈现技术中媒体数据发送的系统，其特征在于，所述系统包括一个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块，其中， 所述ー个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块； 所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块； 所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
7.根据权利要求6所述的系统，其特征在于，所述包含多路音频或视频的数据包，包括数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携帯多路码流数据的内容。
8.根据权利要求6或7所述的系统，其特征在于，所述多路码流数据处理模块对采集到的音频或视频数据分别进行处理，具体为将每ー个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
9.ー种远程呈现技术中媒体数据播放的系统，其特征在于，所述系统包括多个音视频播放设备、多路码流数据处理模块和多路码流数据传输模块，其中， 多路码流数据传输模块，用于接收并解析发送端的多路码流数据传输模块发送的包含多路音频或视频的数据包，将解析出的多路音频数据或视频数据，以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块； 多路码流数据处理模块，用于将多路音频数据或视频数据，发送给各路码流数据的采集位置信息所对应的音视频播放设备完成播放。
10.根据权利要求9所述的系统，其特征在于，所述多路码流数据传输模块解析包含多路音频或视频的数据包，具体为读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
全文摘要
本发明公开了一种远程呈现技术中媒体数据发送的方法及系统，通过采集与坐席相对应的视频或音频数据，对采集到的数据分别进行处理，得到根据采集位置区分的多路码流数据和对应的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。本发明还公开了一种远程呈现技术中媒体数据播放的方法及系统，通过上述方法和系统，能够在数据传输的过程中直接标识相应的采集位置，即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感受。进一步的，有效解决了多路音频或视频数据之间的同步问题。
文档编号H04N7/52GK102655584SQ20111005334
公开日2012年9月5日 申请日期2011年3月4日 优先权日2011年3月4日
发明者叶小阳, 彭远疆, 王东, 阳彦字 申请人:中兴通讯股份有限公司