专利名称：用于视频会议中的图像采集自动控制系统以及控制方法
技术领域：
本发明涉及电视/视频会议通信技术领域，特别是一种用于视频会议中的图像采集自动控制系统以及控制方法。
背景技术：
在图像通讯中，由于图像采集及显示技术的限制，仅能呈现会议室中一部分的场景。当需要查看另一个场景时，或者缩放当前场景的时候，需要人工调整摄像头，调整的方法有通过遥控设备或者中控器进行。这种做法会增加会议操作的复杂度，使得会议管理人员不但需要保障会议正常进行，还需要关注会议内容，即使这样，摄像头的调整仍旧很难及时匹配会议的内容，跟踪会议中的热点，因此降低了会议的效率。另外，随着视频会议的发展，多点控制单元的接入协议变得多种多样，会议终端的型别也越来越多，目前的H323协议中的FECC部分可以实现远程遥控摄像头的功能，但是需要人工控制，并且也可能存在兼容性问题。在多种终端参与的情况下，控制的有效性不能得到保证。
发明内容
针对现有技术的缺陷，本发明提供一种用于视频会议中的图像采集自动控制系统以及控制方法，实现会议过程中图像采集装置如摄像头等的自动调度，与会议热点相匹配。为实现上述目的，本发明采取的技术方案为一种用于视频会议中的图像采集自动控制系统，包括会议服务器端和多个连接会议服务器的会议终端；会议终端设有终端主机、图像采集设备和图像输出设备；会议服务器接收各会议终端中图像采集设备所采集到的会议场景的图像数据，进行整合后输出至各会议终端的图像输出设备中；系统还包括图像分析模块和图像采集设备控制模块；
图像分析模块获取图像采集设备采集到的图像数据，然后经过分析，判断出图像数据所对应的会议场景中的热点区域，进而计算热点区域的运动轨迹，以及运动轨迹所对应的运动向量；再将运动向量发送至图像采集设备控制模块；
会议终端还设有动作驱动装置；图像采集设备控制模块根据接收到的运动向量控制动作驱动装置的移动，从而控制图像采集设备的移动。本发明的各会议终端中，终端设备可采用现有的视频会议终端设备产品。其中终端主机接收会议服务器发出的已整合的图像数据，然后输出至图像输出设备中；同样的，图像采集设备所采集到的图像数据也经过终端主机与会议服务器进行通信发送。终端主机与会议服务器之间的通信可利用现有视频会议通信技术。优选的，图像分析模块以及图像采集设备控制模块设在会议服务器端；图像分析模块从会议服务器中获取已整合的图像数据，并对所有会议终端的图像数据分别分析和计算，进而将各会议终端中热点区域的运动向量，皆发送至图像采集设备控制模块；图像采集设备控制模块根据各运动向量分别控制各对应会议终端中动作驱动装置的移动。进一步的，图像分析模块通过会议网关连接会议服务器。这种实施方式下，会议网关即模拟为一个会议终端参加会议。在加入会议后，会议网关像其它会议终端一样，能够从会议服务器接收到连续的图像数据，而这些数据正是图像分析模块所需要的分析依据。会议网关模拟会议终端加入的形式可以为基于H323和SIP协议的多种硬件终端；这种会议网关能够兼容现有的多种视频会议设备。更进一步的，现有的视频会议终端设备产品中，图像采集设备的种类不一，有的自带移动功能，有的则只能通过外部的动作驱动装置来完成移动。当图像分析模块及图像采集设备控制模块设在会议服务器端时，如果图像采集设备自带移动功能，即图像采集设备与动作驱动装置为一体化设计的，则图像分析模块通过会议网关连接会议服务器；图像采集设备控制模块经会议网关和会议服务器将移动指令和偏移数据发送到各会议终端的终端主机，通过终端主机控制动作驱动装置的移动。具体的，目前现有的公开标准的视频会议协议有H323和SIP，这两种协议中均有标准协议用来控制视频会议中的各设备，终端主机可直接控制自带移动功能的图像采集设备的移动；
如果摄像头没有自带移动功能，动作驱动装置为自行设置于会议终端中的；则图像采集设备控制模块可通过网络向动作驱动装置发送移动命令和偏移数据，从而控制动作驱动装置按照偏移数据进行移动。网络形式可为无线通信网络、互联网等现有网络通信技术。此外，本发明中图像分析模块以及图像采集设备控制模块还可以设在会议终端； 各会议终端的图像分析模块获取已整合的图像数据，并对其所在终端的图像数据进行分析计算，进而将热点区域的运动向量发送至图像采集设备控制模块；各会议终端的图像采集设备控制模块根据接收到的运动向量分别控制对应会议终端中动作驱动装置的移动。进一步的，图像分析模块与图像输出设备通过分路器共同连接终端主机，分路器将图像数据信号同步的发送给图像输出设备和图像分析模块。这种实施方式针对私有协议，当会议终端中的摄像头自带移动功能时，即图像采集设备与动作驱动装置为一体化设计时，图像采集控制装置发出的移动命令和偏移数据，需要经另外设置的会议网关发送至会议服务器，再发送到终端主机，通过终端主机控制动作驱动装置的移动。该方法的缺点是会议网关的部署添加了地理限制，必须部署在会议室中或附近地方；
当动作驱动装置为单独设置时，图像采集控制装置可直接向动作驱动装置发送移动命令和偏移数据，从而控制动作驱动装置的移动。本发明还提供基于上述用于视频会议中的图像采集自动控制系统的控制方法，其包括以下步骤
(1).各会议终端中的图像采集设备采集会议场景图像数据；图像采集设备采集到的会议场景的图像数据通过终端主机与会议服务器通信传输；
(2).图像分析模块获取图像采集设备采集到的图像数据，并对图像数据进行分析，得到图像数据对应的会议场景中的热点区域，以及热点区域的运动轨迹，从而判断是否需要移动图像采集设备以跟踪热点区域的轨迹变化；
本步骤中，图像分析模块获取图像数据的途径有两种其一是图像分析模块通过会议网关接入会议服务器，以一个会议终端的形式加入会议，与其它会议终端同步获取已整合的所有会议终端的图像数据；这种方式下，图像分析模块将对所有会议终端的会议场景进行分析，图像采集设备控制模块同时控制所有会议终端的图像采集设备；其二是，图像分析模块设置在每个会议终端，通过与图像输出设备接在同一个分路器的输出端，而分路器的输入端接收终端主机的视频输出接口，从而获取已整合的图像数据； 这种方式下，图像分析模块将提取出其所在会议终端的会议场景所对应的图像数据，并进行分析得到运动向量作为偏移数据，利用图像采集设备控制模块控制图像采集设备的移动，以跟踪会议热点区域。图像分析模块可通过软件设置根据终端IP提取当前会议终端的图像数据，各终端主机与会议服务器端的通信中，终端IP已经设置；
在获取到图像数据以后，对图像数据对应的会议场景中的热点区域进行判断的方法可以有多种方式，如设置图像分析软件模块中正在发言的人为图像中的热点区域。在参数设置时，可以设置焦点为运动最频繁的物体，或者运动最快的物体，或者画面中色彩最鲜艳的区域，或者最明亮的物体；参数设置的方法皆可参考现有软件编程技术中相关参数设置的方法；
在按照参数设置分析出热点区域后，则聚焦热点区域，进一步分析出热点区域的运动轨迹；
(3).如果判断结果为需要移动图像采集设备，则图像分析模块计算出运动轨迹所对应的运动向量，作为偏移数据输出到图像采集设备控制模块中；
(4).图像采集设备控制模块接收偏移数据后，首先判断图像采集设备是否自带动作驱动装置
如果自带，则图像采集设备控制模块将移动命令和偏移数据发送至终端主机，通过终端主机控制动作驱动装置移动，从而使得图像采集设备按照偏移数据移动；
如果没有自带动作驱动装置，则图像采集设备控制模块将移动命令和偏移数据发送至动作驱动装置；动作驱动装置根据接收到的偏移数据带动图像采集设备移动；
(5).当图像采集设备控制模块的移动命令和偏移数据发送完毕，重复步骤(1)至步骤 (4)内容。本发明的有益效果为，本发明通过图像分析模块中的预定义参数，可以自动分析出视频会议中的热点区域，并通过对热点区域运动轨迹的分析，得到控制图像采集设备移动的偏移数据，从而保证视频会议系统中的图像采集设备，如摄像头能够自动跟踪热点区域，采集到与会议内容相匹配的图像。同时，本发明系统可兼容多种终端设备参与到视频会议中，且在图像采集设备移动的控制过程中，本发明无需人工干预，避免了对会议的影响， 也节约了人力。
图1所示为本发明系统的实施例1框图； 图2所示为本发明系统的实施例2框图3所示为本发明系统的实施例3框图； 图4所示为本发明系统的实施例4框图； 图5所示为本发明系统的控制方法的流程示意图。
具体实施例方式为使本发明的内容更加明显易懂，以下结合附图和具体实施方式
作进一步描述。
结合图1至图4，本发明包括会议服务器端1，会议终端2 ’会议终端2中设有终端主机、图像输出设备、图像采集设备；会议服务器通过终端主机接收各会议终端中图像采集设备所采集到的会议场景的图像数据，进行整合后再经过终端主机输出至各会议终端的图像输出设备中；
系统还包括图像分析模块和图像采集设备控制模块图像分析模块获取图像采集设备采集到的图像数据，然后经过分析，判断出图像数据所对应的会议场景中的热点区域，进而计算热点区域的运动轨迹，以及运动轨迹所对应的运动向量；再将运动向量发送至图像采集设备控制模块；图像采集设备中设有动作驱动装置；图像采集设备控制模块根据接收到的运动向量控制动作驱动装置的移动，从而控制图像采集设备的移动。结合图5，本发明的用于视频会议中的图像采集自动控制系统的控制方法，包括以下步骤
(1).各会议终端中的图像采集设备采集会议场景图像数据；图像采集设备采集到的会议场景的图像数据通过终端主机与会议服务器通信传输；
(2).图像分析模块获取图像采集设备采集到的图像数据，并对图像数据进行分析，得到图像数据对应的会议场景中的热点区域，以及热点区域的运动轨迹，从而判断是否需要移动图像采集设备以跟踪热点区域的轨迹变化；
本步骤中，图像分析模块获取图像数据的途径有两种其一是，如图1、图2所示，图像分析模块通过会议网关接入会议服务器，以一个会议终端的形式加入会议，与其它会议终端同步获取已整合的所有会议终端的图像数据；这种方式下，图像分析模块将对所有会议终端的会议场景进行分析，图像采集设备控制模块同时控制所有会议终端的图像采集设备；
其二是，如图3、图4所示，图像分析模块设置在每个会议终端，通过与图像输出设备接在同一个分路器的输出端，而分路器的输入端接收终端主机的视频输出接口，从而获取已整合的图像数据；这种方式下，图像分析模块将提取出其所在会议终端的会议场景所对应的图像数据，并进行分析得到运动向量作为偏移数据，利用图像采集设备控制模块控制图像采集设备的移动，以跟踪会议热点区域。图像分析模块可通过软件设置根据终端IP提取当前会议终端的图像数据，各终端主机与会议服务器端的通信中，终端IP已经设置；
在获取到图像数据以后，对图像数据对应的会议场景中的热点区域进行判断的方法可以有多种方式，如设置图像分析软件模块中正在发言的人为图像中的热点区域。在参数设置时，可以设置焦点为运动最频繁的物体，或者运动最快的物体，或者画面中色彩最鲜艳的区域，或者最明亮的物体；参数设置的方法皆可参考现有软件编程技术中相关参数设置的方法；
在按照参数设置分析出热点区域后，则聚焦热点区域，进一步分析出热点区域的运动轨迹；
(3).如果判断结果为需要移动图像采集设备，则图像分析模块计算出运动轨迹所对应的运动向量，作为偏移数据输出到图像采集设备控制模块中；
(4).图像采集设备控制模块接收偏移数据后，首先判断图像采集设备是否自带动作驱动装置
如果自带，结合图2和图4，则图像采集设备控制模块将移动命令和偏移数据发送至终端主机，通过终端主机控制动作驱动装置移动，从而使得图像采集设备按照偏移数据移动； 图2所示的实施例2中，摄像头自带移动功能，则图像采集控制模块发出的移动命令和偏移数据通过设在服务器端的会议网关和服务器发送到终端主机，然后通过终端主机控制图像采集设备如摄像头的移动；图4所示的实施例4中，图像采集控制模块发出的移动命令和偏移数据，通过另外设置于会议终端的会议网关发送到会议服务器，最后发送到终端主机，由终端主机控制图像采集设备如摄像头的移动；
如果没有自带动作驱动装置，结合图1和图3，则图像采集设备控制模块将移动命令和偏移数据发送至动作驱动装置；动作驱动装置根据接收到的偏移数据带动图像采集设备移动；图1所示的实施例1中，图像采集设备控制模块通过互联网或者无线网络等方式将移动命令和偏移数据发送至动作驱动装置，进而控制图像采集设备的移动；图3所示的实施例 3中，图像采集设备控制模块则直接向动作驱动装置发送移动命令和偏移数据，最终实现图像采集设备的移动；
(5).当图像采集设备控制模块的移动命令和偏移数据发送完毕，重复步骤(1)至步骤 (4)内容。图5所示的控制流程中，还包括会议网关的软件流程；当图像分析模块以及图像采集设备控制模块位于服务器端时，会议网关可成功加入会议，进而获取图像数据；如果不能成功获取图像数据，则向会议网关给出警告，要求检查会议参数，重新尝试加入会议，直到成功获取图像数据。当图像分析模块以及图像采集设备控制模块位于会议终端时，则只需要检测会议网关与服务器间的信令是否兼容，在会议终端中图像采集设备自带移动功能时，图像采集设备控制模块需要经会议网关和服务器，将移动命令和偏移数据发送到终端主机，以控制图像采集设备的移动；进行过兼容性判断后，即判断是否需要会议网关来获取图像，如果会议网关设置在会议终端则不需要获取图像，此时由人工利用vga输入口获取图像数据，进而获取图像内容；成功获取图像数据发送到图像分析模块；
图像分析模块在获取到图像数据以后，对图像数据对应的会议场景中的热点区域进行判断的方法可以有多种方式，如设置图像分析软件模块中正在发言的人为图像中的热点区域。在参数设置时，可以设置焦点为运动最频繁的物体，或者运动最快的物体，或者画面中色彩最鲜艳的区域，或者最明亮的物体；参数设置的方法皆可参考现有软件编程技术中相关参数设置的方法。在按照参数设置分析出热点区域后，则聚焦热点区域，进一步分析出热点区域的运动轨迹，并计算运动轨迹对应的运动向量，通过图像采集设备控制装置向会议终端中动作驱动装置发送移动指令以及偏移数据，进而实现图像采集设备的移动，保证图像采集设备在会议过程中能够自动跟踪会议中的热点区域，匹配会议内容。本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。
权利要求
1.一种用于视频会议中的图像采集自动控制系统，包括会议服务器端和多个连接会议服务器的会议终端；会议终端设有终端主机、图像采集设备和图像输出设备；会议服务器接收各会议终端中图像采集设备所采集到的会议场景的图像数据，进行整合后输出至各会议终端，并通过图像输出设备输出；其特征是，还包括图像分析模块和图像采集设备控制模块；图像分析模块获取图像采集设备采集到的图像数据，然后经过分析，判断出图像数据所对应的会议场景中的热点区域，进而计算热点区域的运动轨迹，以及运动轨迹所对应的运动向量；再将运动向量发送至图像采集设备控制模块；会议终端还设有动作驱动装置；图像采集设备控制模块根据接收到的运动向量控制会议终端中动作驱动装置的移动，从而控制图像采集设备的移动。
2.根据权利要求1所述的用于视频会议中的图像采集自动控制系统，其特征是，图像分析模块以及图像采集设备控制模块设在会议服务器端；图像分析模块从会议服务器中获取已整合的图像数据，并对所有会议终端的图像数据分别分析和计算，进而将各会议终端中热点区域的运动向量，皆发送至图像采集设备控制模块；图像采集设备控制模块根据各运动向量分别控制各对应会议终端中动作驱动装置的移动。
3.根据权利要求1所述的用于视频会议中的图像采集自动控制系统，其特征是，图像分析模块以及图像采集设备控制模块设在会议终端；各会议终端的图像分析模块获取已整合的图像数据，并对其所在终端的图像数据进行分析计算，进而将热点区域的运动向量发送至图像采集设备控制模块；各会议终端的图像采集设备控制模块根据接收到的运动向量分别控制对应会议终端中动作驱动装置的移动。
4.根据权利要求2所述的用于视频会议中的图像采集自动控制系统，其特征是，图像采集设备控制模块通过网络向动作驱动装置发送移动命令和偏移数据，从而控制动作驱动装置按照偏移数据进行移动。
5.根据权利要求2所述的用于视频会议中的图像采集自动控制系统，其特征是，会议终端中的图像采集设备与动作驱动装置为一体化设计；图像分析模块通过会议网关连接会议服务器；图像采集设备控制模块经会议网关和会议服务器将移动指令和偏移数据发送到各会议终端的终端主机，通过终端主机控制动作驱动装置的移动。
6.根据权利要求3所述的用于视频会议中的图像采集自动控制系统，其特征是，图像分析模块与图像输出设备通过分路器共同连接终端主机。
7.根据权利要求6所述的用于视频会议中的图像采集自动控制系统，其特征是，图像采集控制装置向动作驱动装置发送移动命令和偏移数据，从而控制动作驱动装置的移动。
8.根据权利要求6所述的用于视频会议中的图像采集自动控制系统，其特征是，会议终端中图像采集设备与动作驱动装置为一体化设计；图像采集控制装置将移动命令和偏移数据发送到会议服务器，经服务器发给终端主机，最后终端主机控制动作驱动装置的移动。
9.一种权利要求1所述的用于视频会议中的图像采集自动控制系统的控制方法，其特征是，包括以下步骤(1).各会议终端中的图像采集设备采集会议场景图像数据；(2).图像分析模块获取图像采集设备采集到的图像数据，并对图像数据进行分析，得到图像数据对应的会议场景中的热点区域，以及热点区域的运动轨迹，从而判断是否需要移动图像采集设备以跟踪热点区域的轨迹变化；(3).如果判断结果为需要移动图像采集设备，则图像分析模块计算出运动轨迹所对应的运动向量，作为偏移数据输出到图像采集设备控制模块中；(4).图像采集设备控制模块接收偏移数据后，首先判断图像采集设备是否自带动作驱动装置如果自带，则图像采集设备控制模块将移动命令和偏移数据发送至终端主机，通过终端主机控制动作驱动装置移动，从而使得图像采集设备按照偏移数据移动；如果没有自带动作驱动装置，则图像采集设备控制模块将移动命令和偏移数据发送至动作驱动装置；动作驱动装置根据接收到的偏移数据带动图像采集设备移动；(5).图像采集设备控制模块的移动命令和偏移数据发送完毕，重复步骤(1)至步骤 (4)内容。
全文摘要
本发明公开一种用于视频会议中的图像采集自动控制系统以及控制方法，系统包括会议服务器端，设有图像采集设备和图像输出设备的会议终端，图像分析模块和图像采集设备控制模块；在应用时，会议服务器接收图像采集设备采集到的图像数据，整合后输出至各会议终端的图像输出设备中；图像分析模块获取图像采集设备采集到的图像数据，经过分析，得到图像数据所对应的会议场景中的热点区域及其运动轨迹，计算出运动轨迹对应的运动向量并发送至图像采集设备控制模块；图像采集设备控制模块根据接收到的运动向量控制图像采集设备的动作驱动装置移动，从而实现会议过程中图像采集装置如摄像头等的自动调度，与会议热点相匹配。
文档编号H04N7/15GK102572373SQ201110451800
公开日2012年7月11日 申请日期2011年12月30日 优先权日2011年12月30日
发明者张大千, 王翔宇, 黄祖斌 申请人:南京超然科技有限公司