专利名称：一种无mcu的视频指挥/会议系统及方法
技术领域：
本发明涉及视频、语音通信技术领域，尤其涉及视频指挥/会议系统中的无MCU分 布式视频流处理方法，以及支持多路视频Push与单路视频申请结合的视频会议与视频监 控有机结合的应用模式，也涉及一种移动式视频采集及通信终端、以及一种融合会议终端 与PC显示器的一体化桌面终端。
背景技术：
伴随行业用户提高管理水平、提升安全生产意识的发展趋势，如何降低运营成本、 提高工作效率、加强异地各部门之间的联系、保证上级对下级工作环境和工作状况的清晰 了解、提升应急情况的快速定位及解决等问题逐渐显现出来，传统的视频会议和视频监控 系统均无法满足用户的此类需求，由此视频指挥/会议系统应运而生。视频指挥/会议系统是在独立的视频会议、视频监控系统的基础之上进行扩展， 将视频会议、视频监控有机结合的视频通信应用系统，针对现有的视频会议、视频监控结合 应用方式存在的问题进行针对性优化。由于视频会议、视频监控为独立的两套系统，因此视频会议、视频监控系统结合的 模式通常是将来自视频监控系统的监控视频流(已压缩编码)进行预解码后接入视频会议 终端，MCU将监控系统的监控视频流(已预解码)作为一路虚拟的视频会议终端配置到视 频会议中，并由MCU控制视频会议终端将该路监控视频图像向会场中的其他会议终端进行 广播，由此实现视频会议与视频监控的结合。目前这种模式由于其结合实现的固有不足，只能是由会议主席将固定的某路监控 视频图像向事先设定的会议终端进行广播，导致了系统应用模式固定单一，只能实现分会 场观看主会场或会议主席选定的固定某路监控视频。当某一个分会场或多个分会场在观看 指定的监控视频图像外，还希望根据自身具体情况观看其他监控视频时，现有模式则无法 满足用户的需求。而在行业用户中，这种共性化需求基础上的个性化需求是普遍存在的。基于MCU的视频会议系统，用户所选择的MCU型号，就决定了其视频会议网络所能 容纳的终端数量，网络容量的扩展就意味着MCU的配置增加或者甚至是MCU的更换或级联。 MCU本身的高价格，包括扩容导致更换或级联MCU都意味着用户为此付出的高昂投资，也意 味着基于MCU体系的视频会议系统其网络扩展性差，只能在MCU的端口配置范围内扩容。从用户操作的层面讲，现有模式操作繁琐，会议开始前需要熟悉系统软件硬件的 会议操作人员，对系统进行相应的设置，包括会议成员编辑、传输网络参数配置等，同时还 需要远端分会场人员配合进行分会场会议终端的调试。这样一种专业化的使用模式，使得 用户无法象熟悉的电话拨号那样随时使用业务。综上所述，现有模式的固有缺陷，导致了行业用户在面对其特有的生产调度、应急 抢险指挥、远程会商等个性化需求时，采用现有系统不能满足用户需求，并且部署及使用均 不便。本专利基于目前应用成熟的SIP通信协议，提出的无MCU、无独立应用服务器、非组播式的视频指挥/会议系统解决方案，能够很好的解决上述问题，在面向行业用户单位 范围内的指挥调度、应急抢险、远程会商等应用环境下中应用优势明显。
发明内容
本发明的目的是克服现有应用模式的缺点，基于SIP标准，提供一种视频指挥/会 议系统解决方案及其媒体处理方法。本系统无需MCU，也不需要标准软交换架构的独立应用 服务器，终端即插即用、系统部署快捷，用户操作方便可靠。且不需要底层传输网络支持组 播模式，可以有效保护用户前期在传输网络建设中的投资。本发明的技术方案如下在本视频指挥/会议系统中，系统构件包括1.ICC可视化视频指挥终端，拥有会议或指挥的控制权限，相当于会议主席或指挥 员的角色，直接参与指挥调度和会议控制；系统可以存在多个ICC，主ICC和其它低等级ICC 之间在指挥权限和配置管理权限上存在差异；2. DVT桌面视频通信终端，具有一定的指挥控制权限(主要是对视频采集设备的 控制权限)，但是更多是以顾问(听说均可)的身份与会，为会议的参与方；3. MVC移动视频采集及通信终端，为指挥系统中的下级，负责接受指挥方的指挥并 对指挥方发出的命令做出相应的动作；MVC采用无线技术，使得生产、抢险现场的人员可以 在一定的无线覆盖范围内移动，从而有利于将现场的情况更清晰和灵活的展现；4. FVC固定视频采集及通信终端，为指挥系统中的下级，其视频采集设备可以接受 指挥方的指挥(镜头拉远、转动等)做出相应的动作；FVC只能固定设置在某个现场位置；5. VDR录像服务器注MVC、FVC均支持语音的双向通信功能MVC和FVC是视频监控子功能涉及的系统构件，由其完成对生产调度、应急抢险等 现场的监控图像单向采集功能；同时其也支持语音的双向通信功能，既支持点对点语音通 信，也支持将接收到的来自ICC智能混音后的会场音频信息解码播放。从这个意义上讲， MVC、FVC也是会议终端，由此体现视频监控功能和视频会议功能的融合。MVC和FVC所采 集的视频图像(已压缩编码)，无需实施预解码即可进入视频指挥系统，只需要MVC、FVC在 ICC注册后ICC即可将监控图像直接Push给相关会议终端观看，也可由各个终端通过SIP 对话申请调看监控图像。可见，在本发明的技术方案中，视频监控系统和视频会议系统已经 实现有机融合，MVC, FVC已经成为视频指挥/视频会议系统的有机构件。系统各个构件内部集成了 SIP模块，互相之间采用标准SIP协议作为呼叫控制协 议，将视频指挥或视频会议解析为多个ICC之间，以及ICC与MVC、FVC、DVT、VDR等终端设备 之间的SIP会话，每组会话由参与会话的相关构件分布式独立地进行呼叫处理和媒体协商 工作。系统除VDR外的各个构件(指10、0￥1\1^(、？￥0，具有媒体处理单元，包括音频处 理模块和视频处理模块。每个构件在采集本地音频信息和视频信息后首先进行时戳标记， 然后分别传输进入系统网络中，由接收端自行完成音频/视频同步以及媒体处理。ICC拥有会议或指挥的控制权限，相当于会议主席或指挥员的角色，直接参与指挥 调度和会议控制。ICC的指挥权限及会议控制权限，是指发起指挥会议、确定指挥会议成员、 同意其它终端的数据流调看/调听请求、选择需要广播的视频图像/会议语音等权限。DVT则控制权限相对较小，主要是对视频采集设备的控制权限，更多是以顾问(听说均可)的身 份参与指挥。ICC控制会议开始，在这个视频指挥或视频会议所涉及的多组SIP会话中的主被 叫成功连接后，主ICC、低等级ICC、DVT、MVC、FVC的音频处理模块负责采集本地音频信号， 低等级ICC、DVT、MVC、FVC还需要将其采集的本地语音发送到主ICC，由主ICC负责将主ICC 本地音频以及来自其它会议成员的音频进行智能混音。混音合成后的指挥/会议音频由主 ICC控制向指定的会议成员广播，由会议成员自行音频解码后播放。ICC可以控制某个会议 成员，屏蔽其会议发言或阻断其接收合成后的会议音频。混音后的音频发送给VDR进行录 音保存。详见附图2。主ICC、低等级ICC、DVT、MVC、FVC的视频处理模块负责采集本地视频图像，并在 ICC的指挥控制下通过底层数据网络全部发给主ICC，但不经过ICC的合路处理，而是由主 ICC根据指挥/会议逻辑直接转发给相关接收终端。ICC能够控制(接收并转发)的视频 路数，即本发明系统的会议容量，可以达到64方以上；但ICC可以管理的会议成员(包括视 频监控)的数量远远大于其能够处理的方数。进一步地，视频流分发有两种模式。一种模 式是ICC根据指挥或会议需要，将需要与各会议终端分享或讨论的多路视频图像(可以是 多路来自MVC、FVC的监控视频，也可以使来自ICC和DVT的会场视频)，强行Push给与会 终端。被Push的多路视频，由主ICC直接转发给接收终端。第二种模式是与会终端，基于 其现场的特殊情况，需要在被Push的多路视频之外个性化的调看某一路视频(可以是监控 视频，也可以是会场视频)，这时可以在向ICC申请并经ICC同意后，该路单独申请调看的视 频由主ICC转发给提出申请的接收会议终端。对于接收终端而言，其本地视频、被Push的 多路视频以及申请调看的视频，均由该接收终端自行进行解码后显示。需要录像的视频由 ICC指定后由主ICC转发给VDR进行录制保存。详见附图3。与现有技术相比，本发明基于软交换架构，以SIP协议作为呼叫控制协议，在每个 系统构件中集成SIP模块，指挥或会议业务逻辑由ICC可视化指挥控制台进行设定控制，将 视频指挥或视频会议解析为将多个系统构件之间的多组SIP会话，而多组SIP会话的有机 结合就是一个视频指挥或视频会议。从系统架构上看，本发明不存在一个独立的应用服务 器。在媒体处理上，媒体流控制由ICC完成，媒体流的处理模式为音频媒体流处理采用ICC 集中混音后发送的处理策略；视频媒体流处理则采用了 End-to-EncK端到端)的架构，主 ICC根据会议需要选取会议相关的各会议终端，相关的各会议终端将其本地视频媒体流发 送到主ICC进行汇聚，由主ICC根据指挥/会议逻辑进行视频流转发，视频流处理则由ICC、 DVT等会议终端自行分布式完成。主ICC的画面显示内容(包括监控视频和会场视频)由 主ICC根据会议需要自行选取，会议中也可以临时变更其显示视频内容；主ICC控制低等级 ICC、多个DVT的画面显示内容(包括Push的视频和终端单独申请调看的视频)由ICC控 制，画面显示布局则由终端自行调整。整个系统架构采用了无MCU、无应用服务器的全分布式架构，使得系统部署简单、 快捷，整个系统的造价低廉，极大地扩展了系统的应用环境。而相比通常网络视频会议系 统，本发明的系统容量规模有数量级提升，采用目前主流配置PC，即可达到64方以上会议， 完全可以满足行业用户对于应急指挥抢险、生产调度等的需求。并且系统的部署不需要底 层数据传输网络升级支持组播模式，有效保护了用户前期的基础网络建设投资。
从本发明的功能看，ICC Push多路会场及监控视频图像，与分会场申请调看Push 图像之外的视频图像，两种模式的结合，使得本发明在快捷满足多数会场共性化需求的同 时，还可以满足分会场的个性化需求。从用户日常使用和维护来看，ICC、DVC、MVC、FVC、DVR等系统构件，只要在用户的 内网上即可支持即插即用，且ICC、DVC、MVC、FVC、DVR等所有系统构件均以RJ45以太网接 口与网络连接，用户使用如同拨号般简单，使得用户的使用和维护简单易行。终端的迁移， 也无需进行配置修改。
图1所示为系统各构件SIP呼叫模型2所示为采用智能混音模式的系统音频处理模型3所示为系统视频处理模型图
具体实施例方式下面根据附图和实例对本发明做进一步详细说明实例系统简化模型如图1所示，假定与会方为ICC指挥方㈧，参与方DVTl⑶，参 与方DVT2 (C)，现场视频采集及通信终端MVC (D)、现场固定视频采集及通信终端FVC (E)，录 像服务器DVR(F)。其中A、B、C、F位于用户办公所在地，D、E位于指挥、抢险、救灾等现场位 置。各个终端的指挥或会议权限为，A、B、C均可发言讨论及可见视频，D可发言讨论，E不 参与指挥讨论只上传现场固定监控音视频。DVR录音录像的视频来自A、B、C、D。则本发明 的视频指挥/视频会议的详细步骤(流程图参见图2及图幻为1. ICC、DVT、MVC、FVC、DVR开机后，通过SIP协议，均在ICC进行注册。ICC对会 议涉及的ICC、DVT、MVC、FVC、DVR构件进行权限设定A、B、C为音频/视频双向收发权限， D为音频双向收发权限(D的视频仅能够单向传送)，E为音频单向传送权限(E的视频仅能 够单向传送)。指挥中心ICC选择将A、B、C、D、E等5路视频全部显示在其本地，将来自A、 B、C的三路指挥/会议视频和一路来自D的监控视频强制Push给与会的B、C两个会议成 员，共同对来自D的现场抢险监控视频图像进行会商。B为了更进一步了解现场情况，在收 看Push的4路视频外，向A申请单独调看来自E的现场固定监控视频。经过会商形成的决 策指令以语音指令的方式下法给现场抢险或调度人员D。F对来自A、B、C、D的音频视频进 行录像保存。2. A、B、C、D、E五个终端各自采集自己的本地音频信号和视频信号，进行时戳标记 后，分别传输进入系统网络中。3.音频信号处理A、B、C、D、E五个终端各自采集自己的本地音频信号，B、C、D、E
将自己的本地音频信号经过数据网络发送给A，由A汇聚后进行智能会议混音。根据上述实 施实例业务逻辑，混音后的指挥/会议音频信息由A同时发送给B、C、D(A自己有混音后的 语音)，由B、C、D自行将混音音频进行解码后播放。E由于指挥/会议逻辑设定，只能发送 本地音频信息，接收不到会议语音信息。4.视频信号处理A、B、C、D、E五个终端各自采集自己的本地视频信号。根据详 细步骤1所述，A选择显示(A、B、C、D、E五路视频)，则B、C、D、E均将其本地视频流汇聚到A ；由A按照本实施实例的指挥/会议逻辑设定，将A、C、D视频信号直接转发给B，将A、B、D 视频信号直接转发给C。A自行将B、C、D、E两路指挥/会议视频信号和两路现场监控视频 信号进行解码，并连同A的本地视频共5路视屏图像一起显示；C自行将A、B两路指挥/会 议视频信号和D —路现场监控视频信号进行解码，并连同C的本地视频共4路视屏图像一 起显示。除接受被A Push的4路视频(A、C、D三路视频及C的本地视频)外，B向A申请 单独调看来自E的监控图像，A同意后，A将E的现场固定监控视频转发给B。B自行将A、C 两路指挥/会议视频信号和D、E两路现场监控视频信号进行解码，并连同B的本地视频共 5路视屏图像一起显示。由此C终端上显示的视频图像为来自A、B、C的会场视频和来自D 的现场移动视频；B终端上显示的视频图像为来自A、B、C的会场视频和来自D的现场移动 监控视频，以及B单独申请调看的来自E的现场固定监控视频。A作为指挥人员或会议的主 席较色，其权限可以根据需要自行调看任意会议视频和监控视频，根据前述实例系统描述， A终端上显示的视频图像为来自A、B、C的会场视频和来自D、E的现场视频；A可以在会议 中增加(总的显示视频路数的上限是画面显示格局5+1所限定的6路)或变更在其本地显 示的视频图像。5.指挥/会议录音、录像F对来自A、B、C、D、E的本地视频进行录像保存，并保存 会议混音音频。以上所述，仅为本发明典型的具体实施方式
，但本发明的保护范围并不局限于此， 任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖 在本发明的保护范围之内。
权利要求
1.一种无MCU的视频指挥/会议系统及方法，包括ICC可视化视频指挥终端、DVT桌 面视频通信终端、MVC移动视频采集及通信终端、FVC固定视频采集及通信终端、VDR录像服 务器。该系统涉及一种移动式视频采集及通信终端、以及一种融合会议终端与PC显示器的 一体化桌面终端(ICC、DVT均可使用该终端，可以替换办公PC的桌面显示器)。本发明涉及 的系统，其特征是作为视频指挥或视频会议的终端设备，包括指挥员或会议主席、参与方、 被指挥方或会议中的普通成员，任何注册在ICC上的终端设备(ICC、DVT、MVC、FVC)均可作 为会议成员直接参与会议，包括传统意义上的视频监控功能构件(MVC、FVC)。
2.根据权利要求1所述的系统，其特征在于，作为指挥员或会议主席角色的ICC可视化 视频指挥终端，负责指挥和会议的调度及业务控制，包括发起组成会议的SIP呼叫、邀请成 员入会、同意其它终端的数据流调看/调听请求、选择需要广播的视频图像/会议语音、控 制媒体流的流向(来自哪个终端设备，转发给哪个终端设备)、选择需要录音录像的终端、 结束会议等；作为指挥员或会议主席的终端设备，ICC在采集本地音频的同时，还接收来自 其他终端设备的音频媒体包，由ICC内部的媒体处理功能模块进行智能混音处理后分发给 各会议成员，媒体处理功能模块还需要采集本地视频以及自行对需要在ICC上显示的其他 多路会议视频图像进行解码后显示。
3.根据权利要求1所述的系统，其特征在于，作为会议参与者或参谋角色的DVT桌面视 频通信终端，具有一定的控制权限(主要是对MVC、FVC视频采集设备的控制权限)，但是更 主要是接收ICC Push的多路视频图像，以及通过申请的方式调看其他任意视频图像，参与 指挥或会议讨论；作为会议成员的终端设备，DVT在采集本地音频的同时，还接收来自ICC 智能混音处理后分发的会议语音，经过DVT内部的媒体处理功能模块进行解码播音，媒体 处理功能模块还需要采集本地视频以及自行对ICC指定(即Push)的并经ICC转发的、需 要在DVT上显示的其他多路视频图像进行解码后显示。
4.根据权利要求1所述的系统，其特征在于，作为设置在抢险等现场的被指挥方角色 的MVC、FVC,负责将现场音频、视频回传到指挥中心或主会场，同时接受指挥方的语音指令 并根据指挥方发出的命令要求做出相应的动作；作为指挥系统中的下级和被指挥对象的终 端设备，MVC、FVC在采集本地音频的同时，还接收来自ICC智能混音处理后分发的会议语 音，经过MVC、FVC内部的媒体处理功能模块进行解码播音，媒体处理功能模块还需要采集 来自现场的本地视频，在ICC控制之下发送给ICC，由ICC根据指挥或会议逻辑转发给相关 的会议成员终端设备。
5.根据权利要求1所述的系统，其特征在于，在ICC注册后的视频监控功能构件MVC 和FVC所采集的监控视频图像(已压缩编码)，无需实施预解码即可进入视频指挥/会议 系统，由ICC将监控图像直接Push给相关会议终端观看，也可由各个终端通过SIP对话向 ICC申请调看监控图像。由此实现视频会议系统和视频监系统的有机融合。
6.根据权利要求4所述的系统，其特征在于，MVC和FVC仅支持单向的视频图像采集功 能，从这个角度看是传统意义上的视频监控功能构件；而MVC和FVC还支持双向的音频通信 功能，以音频通信方式参与指挥或会议，从这个角度看又是传统意义上的会议功能构件。这 个特征也是视频会议系统和视频监控系统有机融合的标志。
7.根据权利要求2、3、4、5、6所述的系统，其特征在于，系统由此实现的视频指挥/会 议的业务模式，既满足了被指挥方或分会场的共性化需求，也能够满足个别被指挥方或分会场的个性化需求。指挥员或会议主席将指定的某几路监控视频图像/会场视频向与会的 会议终端进行Push，强制会议终端收看指定的视频图像，由此满足被指挥方或分会场的共 性化需求；同时，个别被指挥方或分会场根据其自身的特殊情况和特有需求，向ICC申请调 看被Push视频图像之外的自己感兴趣的任意会场图像或监控视频图像。这样，视频指挥/ 会议即可更加灵活，与会各方根据ICC Push的多路视频进行指挥会商或会议，分会场或被 指挥方可以灵活调看其它视频图像形成自己的意见后在会议上讨论。
8.根据权利要求4所述的系统，其特征在于，采用无线接入技术的MVC终端，使得生产、 抢险现场的人员(被指挥方)可以在一定的无线覆盖范围内根据指挥命令自由移动。FVC 固定视频采集及通信终端，可以固定设置在某个现场位置，通过接受指挥方的指挥(镜头 拉远、转动等)做出相应的动作。MVC和FVC终端，将现场的情况更清晰和灵活的回传展现， 也使得本发明所述的系统，不局限于应用在办公环境下，真正意义上实现视频指挥/会议 业务。
9.根据权利要求1所述的系统，其特征在于，所述的终端设备(ICC、DVT、MVC、FVC、DVR) 都是基于SIP协议，终端设备ICC、DVT、MVC、FVC都具有媒体控制和处理功能。终端设备 ICC、DVT、MVC、FVC具有媒体处理功能模块，包括音频处理功能模块和视频处理功能模块，并 由终端自行完成其接收到的会议混音音频和会议/监控视频的同步。所述的全部终端设备 (ICC、DVT、MVC、FVC、DVR)都集成有SIP通信模块，可以通过SIP协议在ICC的控制之下完 成呼叫连接和媒体流传输。
10.根据权利要求9所述的系统，其特征在于所述的系统基于软交换架构，以SIP协议 作为呼叫控制协议，将视频指挥或视频会议解析为将多个系统构件之间的多组SIP会话。
全文摘要
本发明旨在提供一种无MCU的视频指挥/会议系统及方法，适用于电力、石化、军队等行业的生产调度、应急指挥等领域。系统基于软交换架构，包括多个ICC视频指挥终端、DVT桌面视频通信终端、MVC移动视频采集及通信终端、FVC固定视频采集及通信终端，以及VDR录像服务器。系统各个构件之间采用SIP作为呼叫控制协议。在一个视频指挥或视频会议会话中，音频由ICC的智能混音模块进行混音处理后发送给相关终端；视频由ICC PUSH给多个DVT观看，DVT和低等级ICC也可主动申请调看某路视频。视频由接收端自行分布式进行处理，由此实现一种无MCU、非组播模式的视频指挥/会议。
文档编号H04N7/15GK102065264SQ20091010964
公开日2011年5月18日 申请日期2009年11月18日 优先权日2009年11月18日
发明者刘孝先, 吴维农, 崔燕明, 梁柯, 鲁彬, 黄波 申请人:深圳市邦彦信息技术有限公司, 重庆市电力公司