视频会议系统、处理装置及视频会议方法
【技术领域】
[0001]本发明涉及视频会议领域，尤其涉及一种视频会议系统、处理装置及视频会议方法。
【背景技术】
[0002]传统的视频会议系统中，当多方进行会议时，尤其是当一个会议室里有多人参加会议，并发言时，实际的会议画面无法在聚焦于实际的发言人身上，其他与会各方无法实时、清晰的看到发言人的举止和表情。而与会各方通常都有与发言人进行沟通、交流和对话需求，并且通常都希望能将画面聚焦到发言人身上，并有一种面对面的感觉。
[0003]在这样的需求下，各种手动、自动的发言人跟踪、定位的系统与方法也应运而生。然而现有的一些系统在整套会议系统的部署上通常存在诸多问题，如:需要为每个人设置一个预置位，讲话前必须按发言键，话筒的位置需要固定等等。这都为整个系统的设置和最终会议的进行带来了各种各样的约束和限制，甚至极大的降低和损失了视频会议的友善性，交互性和体验度。
[0004]另有其他一些现有技术，利用一个摄像头来对整个会议场所内的发言人进行定位和跟踪，但在系统实际运行的过程中常常会因仅关注于小范围内的画面，都无法及时顾及整个会议场所内的一些情景及变化，从而易导致对一些特殊场景下的变化无法作出必要的反应或者反应不够及时。
【发明内容】
[0005]本发明为了克服上述现有技术存在的缺陷，提供了一种视频会议系统、处理装置及视频会议方法，其能够顾及整个视频会议场所中的情景变化。
[0006]根据本发明的一个方面，提供一种处理装置，应用于视频会议系统。所述视频会议系统包括第一摄像机、第二摄像机以及麦克风矩阵，所述处理装置包括:音源定位模块，用于根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源;第一控制模块，用于控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据；第一截取模块，用于获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据;合成模块，用于将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。
[0007]优选地，所述处理装置还包括:语音识别模块，用于根据所述麦克风矩阵所采集的音频识别来自不同发言人的所述第一音源以及至少一个所述第二音源。
[0008]优选地，所述处理装置还包括:切换模块，用于:当所述语音识别模块未识别到所述第一音源和所述第二音源时，指示所述处理装置输出全景视频数据；当所述语音识别模块识别到所述第一音源但未识别到所述第二音源时，指示所述处理装置输出第一视频数据；当所述语音识别模块识别到所述第一音源和至少一个所述第二音源时，指示所述处理装置输出所述合成画面。
[0009]优选地，所述合成模块还用于根据所述第二视频数据的数量将所述第一视频数据和所述第二视频数据布局在所述合成画面中。
[0010]优选地，所述第一视频数据在所述合成画面中所占比例大于任一个所述第二视频数据在所述合成画面中所占比例。
[0011]优选地，所述第一音源的音量大于第一阈值，并且所述第一音源大于第一阈值的持续时间大于第二阈值；以及所述第二音源在所述第一音源大于第一阈值的持续时间内大于第三阈值，并且所述第二音源大于第三阈值的持续时间小于第四阈值。
[0012]优选地，所述处理装置还包括:人脸识别模块，用于对所述第一视频数据及所述全景视频数据进行人脸识别，并根据所述第一视频数据获取与所述第一音源对应的第一发言人的位置。
[0013]优选地，所述处理装置还包括:定位校正模块，用于根据所述全景视频数据对所述第一视频数据中的所述第一发言人的位置进行校正。
[0014]优选地，所述处理装置还包括:运动跟踪模块，用于对所述第一视频数据中的所述第一发言人进行运动检测跟踪;所述第一控制模块还用于根据所述运动跟踪模块控制所述第一摄像机追踪所述第一发言人。
[0015]优选地，所述处理装置还包括:运动检测模块，用于对所述全景视频数据中的除所述第一发言人外的人员进行运动检测；以及第二截取模块，用于获取所述第二摄像机采集的全景视频数据，并在所述全景视频数据截取第三视频数据，所述第三视频数据包括除所述第一发言人外的人员移动的图像。
[0016]优选地，所述合成模块还用于将所述第三视频数据合成到所述合成画面中。
[0017]优选地，所述处理装置还包括:判断模块，用于判断使用所述第一截取模块和/或所述第二截取模块截取所述全景视频数据。
[0018]根据本发明的又一方面，还提供一种视频会议系统，包括:第一摄像机;第二摄像机;麦克风矩阵，用于采集音频;视频输出装置;以及处理装置，包括:音源定位模块，用于根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源;第一控制模块，用于控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据;第一截取模块，用于获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据;合成模块，用于将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。
[0019 ]优选地，所述第一摄像机为球型摄像机;所述第二摄像机为全景摄像机。
[0020]根据本发明的再一方面，还提供一种视频会议方法，应用如上所述的处理装置，包括:根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源;控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据;获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据；以及将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。
[0021]本发明利用双摄像机，配合麦克风矩阵，能够将视频会议场所中多个与会人员的发言都能够合成在同一画面中进行输出，并保证主要的发言人的定位和追踪，这样，不需要为每个与会人员都配备一台摄像机，就够实现视频会议输出的动态变化。
【附图说明】
[0022]通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
[0023]图1示出了根据本发明实施例的视频会议系统的示意图。
[0024]图2示出了根据本发明实施例的处理装置的示意图。
[0025]图3示出了根据本发明另一实施例的处理装置的示意图。
[0026]图4示出了根据本发明实施例的视频会议方法的流程图。
[0027]图5示出了根据本发明实施例的第一视频数据的画面。
[0028]图6示出了根据本发明实施例的第二视频数据的画面。
[0029]图7示出了根据本发明实施例的一种合成画面。
[0030]图8示出了根据本发明实施例的另一种合成画面。
[0031 ]图9示出了根据本发明实施例的又一种合成画面。
[0032]图10示出了根据本发明实施例的再一种合成画面。
【具体实施方式】
[0033]现在将参考附图更全面地描述示例实施方