专利名称：多信息组合的多媒体通信方法以及系统的制作方法
技术领域：
本发明涉及多媒体通信领域，尤其涉及一种一种多信息组合的多媒体通信方法以及系统。
背景技术：
随着信息与电子技术的发展，多媒体设备(投影机、视频展台)应用的日益广泛，会议、培训、教学等场景中的展示手段日益丰富。对于大多数企业来说，重要的会议通常要进行录像存档，而传统的一些记录手段，如录像机、DV等设备只能记录单一的视音频信号，无法同步记录现场通过投影机等设备显示的会议、教学内容，无法满足会议、培训，教学中等场景中的可视化信息的全面记录的需求，而这些内容常常是会议交流讨论的重点。故目前的多媒体技术已经远远不能适应现代会议室的多媒体化、网络化、智能化的发展趋势社会上各行各业均需要一种能够满足会议、培训、教学等常见场景中多路可视信号(视音频、VGA、DVI等信号)及声音编码和同步全面记录的设备。而现有技术中的多媒体系统主要采用PC机以及视频捕捉卡配合组成，主要不足在于1、目前的多媒体系统主要采用一体机架构，如果实际中需要在多个会议室进行会议录播功能，择需要分别在每个会议室内单独部署一个一体机架构，存在设备成本高的不足，且不便于集中管理；2、目前的多媒体系统均采用基于Windows的操作系统以及控制平台，在使用过程中容易受病毒黑客攻击，稳定性差，不便于维护；3、目前的多媒体系统只能录制视频信号以及音频信号，而不能同步录制VGA信号，故应用目前的多媒体会议系统无法完整记录会议信息，不能满足目前的需要；4、目前的多媒体信息只能进行单向的流媒体分发，无交互性。
发明内容
本发明实施例第一目的在于提供一种多媒体通信方法，采用该方案有利于提高多媒体通信灵活性、便利性。本发明实施例第二目的在于提供一种多媒体通信系统，采用该方案有利于提高多媒体通信灵活性、便利性。本发明实施例提供的一种多媒体通信方法，包括信号采集模块同步采集显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据；所述信号采集模块将各所述采集编码数据通过互联网发送至信号处理模块；所述信号处理模块接收各所述采集编码数据，组合至少两个任意所述采集编码数据，获得组合音视频数据；
所述信号处理模块将所述组合音视频数据互联网发送至各客户端。可选地，在步骤所述信号采集模块分别获取相应的采集编码数据之后，还包括所述信号采集模块还将各所述采集编码数据通过互联网发送至所述各客户端。可选地，所述信号处理模块组合各所述采集编码数据获得组合音视频数据，具体是所述信号处理器运行微软音频格式软件开发工具包(Windows Media FormatSDK)将各所述采集编码数据组合录制成一串流多媒体格式文件，在所述串流多媒体格式文件中存储所述组合音视频数据。可选地，在步骤所述信号处理模块将所述组合音视频数据互联网发送至各客户端之后，还包括任一所述客户端向所述信号处理模块发送文字信息，所述处理器将所述文字信息发送至各所述客户端，在各所述客户端显示所述文字fn息ο可选地，所述信号处理模块将所述组合音视频数据互联网发送至各客户端，具体是所述信号处理模块根据各所述客户端预定的组播、单播或者组播代理的方式，向各所述客户端发送所述组合音视频数据。可选地，所述信号处理模块为采用嵌入式操作系统的服务器。本实施例提供的一种多媒体通信系统，包括信号采集模块，用于采集本信号采集模块端的显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据；所述信号处理模块，分别通过互联网与所述信号采集模块、以及客户端电连接，用于接收各所述采集编码数据，组合至少两个任意所述采集编码数据，获得组合音视频数据。可选地，所述信号处理模块为采用嵌入式操作系统的服务器。可选地，所述信号采集模块设置在会议室现场；所述信号处理模块设置在机房。可选地，所述信号处理模块还包括文字交互子模块，所述文字交互子模块，用于接收任一所述客户端的文字信息，将所述文字信息发送至各所述客户端。由上可见，应用本发明实施例的技术方案，由于在各会议现场端设置有信号采集模块，该信号采集模块对该现场的音频信号、视频信号、以及VGA信号进行采样编码，获得音频信号、视频信号、以及VGA信号对应的采样编码数据；该信号采样模块通过互联网(即通过网线)与信号处理模块连接，各信号采样模块通过互联网将本现场获得的采样编码数据发送至互联网另一侧的信号处理模块，由信号处理模块集中对各现场的各音频信号、视频信号、以及VGA信号对应的采样编码数据进行组合录制，将任意多组同步的音频信号、视频信号、以及VGA信号组合录制成组合音视频数据。这样，与本信号处理模块连接的各客户端可以通过播放组合音视频数据，在各客户端同时播放各会议现场、或者监控现场的音视频信号，大大提高视频会议的通信效果，提高用户的使用感受。
另外，利用本实施例技术方案，在各现场端分别设置信号采集模块，各会议现场的信号采集模块通过网线与集中控制端的信号处理模块连接，将采集端、信号处理端分开，采用该分布式设计可以更加有利于现场布线安装，系统采用基于IP网络的分布式产品架构，实现信号采集和信号处理的分离，系统部署及扩展更加灵活，前台用于信号采集的编码器可以安装在任何一间会议室中，后台的多媒体录播服务器可以安装在机房，前台及后台通过IP网络进行通讯，可以满足单位里任何一间会议室的会议录播需要。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中图1为本发明实施例1提供的一种多媒体通信方法的流程示意图；图2为本发明实施例2提供的一种多媒体通信方法的流程示意图；图3为本发明实施例3提供的一种多媒体通信系统的结构示意图。
具体实施例方式下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。实施例1 图1为本实施例提供的一种多媒体通信方法的流程示意图。参见图示，该方法主要包括以下步骤步骤101 信号采集模块同步采集显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据。在进行视频会议时，在视频会议室分别设置有视频设备，比如录影机、摄像机、麦克风以及其他等等。在各个视频会议室可能分别存在多个视频设备、影像设备，存在多种视频信号源。在本实施例中，在各个视频现场分别设置有信号采集模块，各信号采集模块采集本现场的音频信号、视频信号、以及显示绘图阵列(Video Graphics Array，简称AGA)信号，分别获得各信号源的采集编码数据。在本步骤中，各采集模块可以但不限于使用硬件芯片采集YUV(" Y"表示明亮度(Lumina nce或Luma)，也就是灰阶值；而〃 U"和"V"表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度〃是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。“色度"则定义了颜色的两个方面-色调与饱和度，分别用Cr和CB来表示。其中，Cr反映了 GB输入信号红色部分与RGB信号亮度值之间的差异)数据、以及脉冲编码调制(Pulse-code modulation，简称PCM)语音数据；然后采用软件WMVAE64，WMA/AAC算法对采集信号进行进行编码得到采集编码数据。该信号采集模块可以但不限于采用数字信号处理(Digital Signal Processing,简称DSP)芯片实现，在该DSP芯片中集成视音频编码器、高清编码器、VGA编码器而实现信号的采集、编码、传输。
步骤102 信号采集模块将各采集编码数据通过互联网发送至信号处理模块。各信号采集模块通过互联网与信号处理模块连接，在各信号采集模块分别在现场进行信号采集、编码后，各信号采集模块通过TCP/IP协议将各采集编码数据通过网络传输发送给网络另一侧的信号处理模块。在本实施例中，该信号处理模块可以但不限于设置在服务器端。另外，该信号处理模块还可以集成各种多媒体通信管理功能，信号处理模块在本实施例的多媒体通信系统中作为一个通信管理服务器使用，管理者可以在该信号处理模块端进行监控、管理。步骤103 信号处理模块接收各采集编码数据，组合至少两个任意采集编码数据，获得组合音视频数据。信号处理模块接收通过互联网发送到本端的各采集编码数据，根据本信号处理模块端当地预设的信号组合录制策略，对任意两组、或者任意两组以上的采集编码数据进行组合录制，获得由多组采集编码数据组合合成的组合音视频数据。比如在信号处理模块端输入的采集编码数据为以下几组AV1、VGA1、AV2、VGA2，则在信号处理模块端，信号处理模块可以支持AV与VGA信号的任意组合录制。比如可以采用以下的组合模式AV*1+VGA*1、或A#2+VGA*1、或AV*1+VGAM等。这样，可满足视频会议中本地图像、远端图像和双向媒体流内容在信号处理模块端可以同步记录，全面记录视频会议现场信息。在本步骤中，可以但不限于通过微软的微软音频格式软件开发工具包WindowsMedia Format SDK将选定组合录制的采样编码数据录制成高级串流格式(AdvancedStreaming Format,简称Asf)文件，在ASF文件中存储组合录制成的组合音视频数据。步骤104 信号处理模块将组合音视频数据互联网发送至各客户端。信号处理模块通过互联网与多个客户端连接。在本步骤中信号处理模块可以但不限于根据预定的播放策略或者当前客户端的请求，可以但不限于通过组播、单播或者组播代理的方式，将本地录制的组合音视频数据通过互联网发送至各客户端。步骤105 客户端接收组合音视频数据，在本地播放该组合音视频数据。各客户端接收数据处理模块发送过来的组合音视频数据后，在本地播放FAI组合音视频数据，这样各客户端可以同时浏览到同步的多路可视信号以及声音编码，可以全面了解会议的内容，提高网络会议的通信效果。由上可见，利用本实施例技术方案，由于在各会议现场端设置有信号采集模块，该信号采集模块对该现场的音频信号、视频信号、以及VGA信号进行采样编码，获得音频信号、视频信号、以及VGA信号对应的采样编码数据；该信号采样模块通过互联网(即通过网线)与信号处理模块连接，各信号采样模块通过互联网将本现场获得的采样编码数据发送至互联网另一侧的信号处理模块，由信号处理模块集中对各现场的各音频信号、视频信号、以及VGA信号对应的采样编码数据进行组合录制，将任意多组同步的音频信号、视频信号、以及VGA信号组合录制成组合音视频数据。这样，与本信号处理模块连接的各客户端可以通过播放组合音视频数据，在各客户端同时播放各会议现场、或者监控现场的音视频信号，大大提高视频会议的通信效果，提高用户的使用感受。
另外，利用本实施例技术方案，在各现场端分别设置信号采集模块，各会议现场的信号采集模块通过网线与集中控制端的信号处理模块连接，将采集端、信号处理端分开，采用该分布式设计可以更加有利于现场布线安装，系统采用基于IP网络的分布式产品架构，实现信号采集和信号处理的分离，系统部署及扩展更加灵活，前台用于信号采集的编码器可以安装在任何一间会议室中，后台的多媒体录播服务器可以安装在机房，前台及后台通过IP网络进行通讯，可以满足单位里任何一间会议室的会议录播需要。需要说明的是，在本实施例的步骤101之后，各信号采集模块还可以与步骤102同步地，将本信号采集模块获得的各采集编码数据通过互联网发送至各客户端，在各客户端进行直接播放。实施例2 图2为本实施例提供的另一种多媒体通信方法流程示意图，参见图2所示，本流程相对于图1所示流程所不同之处在于在步骤105之后，还包括以下步骤201 任一客户端向信号处理模块发送文字信息。任何一个客户端在进行视频会议过程中，可以在本客户端键入交互沟通的文字信息，并将该文字信息通过互联网发送至互联网另外一段的信号处理模块。步骤202 信号处理模块将文字信息发送至各客户端，在各客户端显示文字信息，实现互动。信号处理模块接到该交互的文字信息后，按照预定的发送路径，将该文字信息发送至相应的各客户端，从而实现信息交互互动。由上可见，在本实施例中，客户端提供了文字交互功能，用户可以边看边聊，及时提出问题，交互功能的引入可以更好地满足远程教学、培训、讲座的需要。比如Server 与 VGAbox 连接；Server 连接 VGAbox 端口 ；Server发送连接密码；VGAbox验证密码，成功则返回连接成功，否则返回密码失败。VGAbox发送视频和音频参数实施例3 图3为本实施例提供的一种多媒体通信系统结构示意图。参见图3所示，本系统主要包括信号采集模块301、信号处理模块302，两模块互联网连接。其工作原理主要如下信号采集模块301采集本信号采集模块301端的显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据。信号处理模块302网络接收各采集编码数据，组合至少两个任意所述采集编码数据，获得组合音视频数据，然后通过互联网将获得的组合音视频数据发送至互联网端的各客户端303。详细的工作原理参见实施例1中的记载，在此不做赘述。在本实施例中，为了进一步提高系统的鲁棒性，该信号处理模块302可以但不限于采用采用嵌入式操作系统，非PC架构的专用硬件平台，稳定可靠，抗病毒黑客攻击，易于
维护管理。另外，该信号处理模块302还可以但不限于包括文字交互子模块，该文字交互子模块用于接收互联网内的任一客户端303的文字信息，并根据预定的路由设置将当前的文字信息发送至相应的各客户端303，实现在视频会议中的信息交互，进一步提高多媒体通信的效率。具体详细见实施例2中的介绍。由上可见，利用本实施例技术方案，由于在各会议现场端设置有信号采集模块301，该信号采集模块301对该现场的音频信号、视频信号、以及VGA信号进行采样编码，获得音频信号、视频信号、以及VGA信号对应的采样编码数据；该信号采样模块通过互联网(即通过网线)与信号处理模块302连接，各信号采样模块通过互联网将本现场获得的采样编码数据发送至互联网另一侧的信号处理模块302，由信号处理模块302集中对各现场的各音频信号、视频信号、以及VGA信号对应的采样编码数据进行组合录制，将任意多组同步的音频信号、视频信号、以及VGA信号组合录制成组合音视频数据。这样，与本信号处理模块302连接的各客户端303可以通过播放组合音视频数据，在各客户端303同时播放各会议现场、或者监控现场的音视频信号，大大提高视频会议的通信效果，提高用户的使用感受。另外，利用本实施例技术方案，在各现场端分别设置信号采集模块301，各会议现场的信号采集模块301通过网线与集中控制端的信号处理模块302连接，将采集端、信号处理端分开，采用该分布式设计可以更加有利于现场布线安装，系统采用基于IP网络的分布式产品架构，实现信号采集和信号处理的分离，系统部署及扩展更加灵活，前台用于信号采集的编码器可以安装在任何一间会议室中，后台的多媒体录播服务器可以安装在机房，前台及后台通过IP网络进行通讯，可以满足单位里任何一间会议室的会议录播需要。以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式
以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.ー种多媒体通信方法，其特征是，包括信号采集模块同步采集显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据；所述信号采集模块将各所述采集编码数据通过互联网发送至信号处理模块； 所述信号处理模块接收各所述采集编码数据，组合至少两个任意所述采集编码数据， 获得组合音视频数据；所述信号处理模块将所述组合音视频数据互联网发送至各客户端。
2.根据权利要求1所述的ー种多媒体通信方法，其特征是，在步骤所述信号采集模块分别获取相应的采集编码数据之后，还包括 所述信号采集模块还将各所述采集编码数据通过互联网发送至所述各客户端。
3.根据权利要求1所述的ー种多媒体通信方法，其特征是，所述信号处理模块组合各所述采集编码数据获得組合音视频数据，具体是 所述信号处理器运行微软音频格式软件开发工具包(Windows Media Format SDK)将各所述采集编码数据组合录制成一串流多媒体格式文件， 在所述串流多媒体格式文件中存储所述组合音视频数据。
4.根据权利要求1所述的ー种多媒体通信方法，其特征是，在步骤所述信号处理模块将所述组合音视频数据互联网发送至各客户端之后，还包括任一所述客户端向所述信号处理模块发送文字信息，所述处理器将所述文字信息发送至各所述客户端，在各所述客户端显示所述文字信肩、ο
5.根据权利要求1所述的ー种多媒体通信方法，其特征是，所述信号处理模块将所述组合音视频数据互联网发送至各客户端，具体是 所述信号处理模块根据各所述客户端预定的组播、单播或者组播代理的方式，向各所述客户端发送所述组合音视频数据。
6.根据权利要求1所述的ー种多媒体通信方法，其特征是， 所述信号处理模块为采用嵌入式操作系统的服务器。
7.ー种多媒体通信系统，其特征是，包括信号采集模块，用于采集本信号采集模块端的显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据；所述信号处理模块，分别通过互联网与所述信号采集模块、以及客户端电连接，用于接收各所述采集编码数据，组合至少两个任意所述采集编码数据，获得組合音视频数据。
8.根据权利要求7所述的ー种多媒体通信系统，其特征是， 所述信号处理模块为采用嵌入式操作系统的服务器。
9.根据权利要求7或8所述的ー种多媒体通信系统，其特征是， 所述信号采集模块设置在会议室现场；所述信号处理模块设置在机房。
10.根据权利要求7或8所述的ー种多媒体通信系统，其特征是， 所述信号处理模块还包括文字交互子模块，所述文字交互子模块，用于接收任一所述客户端的文字信息，将所述文字信息发送至各所述客户端。
全文摘要
本发明涉及多媒体通信领域，公开了一种多信息组合的多媒体通信方法以及系统。方法包括信号采集模块同步采集显示绘图阵列信号、视音频信号，分别获取相应的采集编码数据；信号采集模块将各所述采集编码数据通过互联网发送至信号处理模块；信号处理模块接收各所述采集编码数据，组合至少两个任意所述采集编码数据，获得组合音视频数据；信号处理模块将所述组合音视频数据互联网发送至各客户端。
文档编号H04L29/06GK102595094SQ20111000606
公开日2012年7月18日 申请日期2011年1月11日 优先权日2011年1月11日
发明者廖海, 杨邵华, 韩伟 申请人:深圳市锐取软件技术有限公司