二摄像机预设定位到会议场所的整个画面。同时，启动麦克风矩阵采集会议场所的音频，启动第一摄像机和第二摄像机采集视频数据。
[0067]可选地，在视频会议过程中，还可以包括如下步骤:
[0068]若在连续超过一定时间未检测到任何发言人的语音，并且未检测到发言人的走动，则视为发言结束。一旦本地发言人发言结束，处理装置将调动第一摄像机，将本地画面定位到会议室的整个画面，直到检测到本地与会的各方中再次有人发言。
[0069]通过上述本发明的技术方案说明，采用本发明，在用户在进行视频会议时，利用麦克风阵列实现音源的定位，再结合人脸检测，对发言人进行自动定位、聚焦和跟踪，整个功能可自动化实现，无需对会议的使用者进行如此那般的教育和指导，也无需人工干预，也无需为每一个与会人员单独设置一个麦克风，且麦克风可以不固定位置，为视频会议的召开和进行带来了极大的便利，并可为参与会议的各方带来一种面对面的体验和感受，可极大的提升视频会议的整体交互性和体验度。并在相对小的一个会议环境中得以更佳的体验。并且，双摄像机的设计，及对双视频输入源的灵活控制，而在检测到必要信息时，将双摄像头的图像进行相关的合成，以给远程参会方提供本会议场所中正在发生的、更多的实时辅助信息，对会议的互动性带来的很大的提升，并且整个发言人信息的提供做到在自动的同时又可兼顾输入源的控制要求，对会议的管理和扩展带来有效的帮助。
[0070]以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。
【主权项】
1.一种处理装置，应用于视频会议系统，所述视频会议系统包括第一摄像机、第二摄像机以及麦克风矩阵，其特征在于，所述处理装置包括: 音源定位模块，用于根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源； 第一控制模块，用于控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据； 第一截取模块，用于获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据； 合成模块，用于将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。2.如权利要求1所述的处理装置，其特征在于，还包括: 语音识别模块，用于根据所述麦克风矩阵所采集的音频识别来自不同发言人的所述第一音源以及至少一个所述第二音源。3.如权利要求2所述的处理装置，其特征在于，还包括: 切换模块，用于: 当所述语音识别模块未识别到所述第一音源和所述第二音源时，指示所述处理装置输出全景视频数据； 当所述语音识别模块识别到所述第一音源但未识别到所述第二音源时，指示所述处理装置输出第一视频数据； 当所述语音识别模块识别到所述第一音源和至少一个所述第二音源时，指示所述处理装置输出所述合成画面。4.如权利要求1至3任一项所述的处理装置，其特征在于，所述合成模块还用于根据所述第二视频数据的数量将所述第一视频数据和所述第二视频数据布局在所述合成画面中。5.如权利要求4所述的处理装置，其特征在于，所述第一视频数据在所述合成画面中所占比例大于任一个所述第二视频数据在所述合成画面中所占比例。6.如权利要求1至3任一项所述的处理装置，其特征在于， 所述第一音源的音量大于第一阈值，并且所述第一音源大于第一阈值的持续时间大于第二阈值；以及 所述第二音源在所述第一音源大于第一阈值的持续时间内大于第三阈值，并且所述第二音源大于第三阈值的持续时间小于第四阈值。7.如权利要求1至3任一项所述的处理装置，其特征在于，还包括: 人脸识别模块，用于对所述第一视频数据及所述全景视频数据进行人脸识别，并根据所述第一视频数据获取与所述第一音源对应的第一发言人的位置。8.如权利要求7所述的处理装置，其特征在于，还包括: 定位校正模块，用于根据所述全景视频数据对所述第一视频数据中的所述第一发言人的位置进行校正。9.如权利要求7所述的处理装置，其特征在于，还包括: 运动跟踪模块，用于对所述第一视频数据中的所述第一发言人进行运动检测跟踪； 所述第一控制模块还用于根据所述运动跟踪模块控制所述第一摄像机追踪所述第一发言人。10.如权利要求7所述的处理装置，其特征在于，还包括: 运动检测模块，用于对所述全景视频数据中的除所述第一发言人外的人员进行运动检测；以及 第二截取模块，用于获取所述第二摄像机采集的全景视频数据，并在所述全景视频数据截取第三视频数据，所述第三视频数据包括除所述第一发言人外的人员移动的图像。11.如权利要求10所述的处理装置，其特征在于，所述合成模块还用于将所述第三视频数据合成到所述合成画面中。12.如权利要求11所述的处理装置，其特征在于，还包括: 判断模块，用于判断使用所述第一截取模块和/或所述第二截取模块截取所述全景视频数据。13.一种视频会议系统，其特征在于，包括: 第一摄像机； 第二摄像机； 麦克风矩阵，用于采集音频； 视频输出装置；以及 处理装置，包括: 音源定位模块，用于根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源； 第一控制模块，用于控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据； 第一截取模块，用于获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据； 合成模块，用于将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。14.如权利要求13所述的视频会议系统，其特征在于， 所述第一摄像机为球型摄像机； 所述第二摄像机为全景摄像机。15.—种视频会议方法，应用如权利要求1至12任一项所述的处理装置，其特征在于，包括: 根据所述麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向，所述第一音源为持续音源，所述第二音源为动态音源； 控制所述第一摄像机转向第一音源所在方向，并指示所述第一摄像机采集第一音源所在方向的第一视频数据； 获取所述第二摄像机采集的全景视频数据，并根据所述第二音源所在方向在所述全景视频数据中截取对应于至少一个所述第二音源所在方向的至少一个第二视频数据；以及将所述第一视频数据和至少一个所述第二视频数据合成到合成画面中。
【专利摘要】本发明提供一种视频会议系统、处理装置及视频会议方法，处理装置包括：音源定位模块，用于根据麦克风矩阵所采集的音频确定第一音源以及至少一个第二音源所在方向；第一控制模块，用于控制第一摄像机转向第一音源所在方向，并指示第一摄像机采集第一音源所在方向的第一视频数据；第一截取模块，用于获取第二摄像机采集的全景视频数据，并根据第二音源所在方向在全景视频数据中截取对应于至少一个第二音源所在方向的至少一个第二视频数据；合成模块，用于将第一视频数据和至少一个第二视频数据合成到合成画面中。本发明提供的视频会议系统、处理装置及视频会议方法能够顾及整个视频会议场所中的情景变化。
【IPC分类】H04N7/15, H04N5/232, H04N5/265
【公开号】CN105592268
【申请号】CN201610120613
【发明人】韦国华, 陈冬根
【申请人】苏州科达科技股份有限公司
【公开日】2016年5月18日
【申请日】2016年3月3日