会议电视的音视频采集方法、装置和终端设备与流程

文档序号:16687554发布日期:2019-01-22 18:28阅读:340来源:国知局
会议电视的音视频采集方法、装置和终端设备与流程

本发明涉及会议电视系统领域,特别是涉及一种会议电视的音视频采集方法、装置和终端设备。



背景技术:

在会议中经常出现会议发言人没有在摄像头采集范围内或者麦克采集声音模糊等问题,目前都是通过人为参与的手段,调节摄像头或者调节麦克风位置,以使摄像头或者麦克风采集视频或音频的效果达到最好。

比如在一个小型会议场景,视频经常只有一个或两个摄像头采集,音频一般只有一个麦克采集,摄像头和麦克风的采集角度和位置也是事先预置好,但是这样只能保证特定位置的人处于预设的图像采集和声音采集,如果与会的其他人员想交流,就可能出现图像采集不能抓拍发言人,声音采集不清晰等问题,这时,只能通过人为参与的方式,调节摄像头和麦克风的采集角度和位置,使发言人处于预设的图像采集和声音采集的状态。



技术实现要素:

基于此,有必要针对上述问题,提供一种会议电视的音视频采集方法、装置和终端设备,旨在实现根据声音采集定位发言人并自动移动到发言人音视频采集的预设位置。

本发明实施例采用的技术方案如下:

一种会议电视的音视频采集方法,所述方法包括:

获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置;

根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置;

根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。

一种会议电视的音视频采集装置,所述装置包括:

定位模块,用于获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置;

声音采集位置移动模块,用于根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置;

图像采集位置移动模块,用于根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。

一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现以下步骤:

获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置;

根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置;

根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。

本发明实施例提供的一种会议电视的音视频采集方法、装置和终端设备,通过获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置;根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置;根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。本发明实施例提供的会议电视的音视频采集方法,相比传统技术中会议电视的音视频采集方法,基于声音识别,通过声音采集、图像采集及通过无人技术实现的音视频采集设备的移动,只要在布置会议电视系统时一次配置,以后根据对会议发言人的声音采集定位发言人的位置,实现音视频采集设备自动靠近发言人,无须参会人员的过多人工干预,自动调节移动到满足声音采集预设条件的声音采集位置和满足图像采集预设条件的图像采集位置,实现会议电视的音视频采集位置的自动调整,达到会议电视的音视频采集的预设效果,减少了会议电视的人力成本,提高了电视会议的效率。

附图说明

图1为本发明提供的会议电视的音视频采集方法一个实施例的流程图;

图2(a)-图2(d)为本发明提供的会议电视的音视频采集方法一个小型会议具体实施例的音视频采集示意图;

图3(a)-图3(f)为本发明提供的会议电视的音视频采集方法一个大型会议具体实施例的音视频采集示意图;

图4为本发明提供的会议电视的音视频采集装置一个实施例的程序模块架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明实施例提供的一种会议电视的音视频采集方法中,所述会议电视系统主要包括:

(1)显示设备。所述显示设备用来在视频会议场内本端或场外远端显示会场音视频,如显示屏幕等显示器;

(2)视频终端。所述视频终端用来接收并输出音视频采集设备采集的会议电视的音视频,及控制和管理音视频采集设备移动,比如计算机主机等;

(3)可移动的音视频采集设备。所述音视频采集设备上搭载视频和音频采集设备,优选的采用无人移动技术实现的音视频采集设备,比如和无人机原理相同或相似的移动音视频采集设备,所述音视频采集设备可以悬浮在半空中,在空中移动。

其中,所述可移动的音视频采集设备通过wifi或蓝牙等无线技术与视频终端连接,所述可移动的音视频采集设备采集的音视频图像数据通过wifi或蓝牙等技术传送给所述视频终端设备。

所述音视频采集设备通过搭载视频和音频采集设备采集会议现场的声音数据和视频图像数据,并发送给所述视频终端,所述视频终端接收所述音视频采集设备采集的会场音频数据,并对所述视频和音频数据处理后,通过显示设备显示出来。

请参阅图1,图1为本发明提供的会议电视的音视频采集方法一个实施例的流程图,所述方法包括:

s100、获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置。

在一个实施例中,步骤s100之前还包括:

会议开始时,移动所述音视频采集设备的自身位置到会场的预设初始位置。

具体的,在布置会议电视系统时,预先配置所述音视频采集设备在会场内的预设初始位置。

对于只需要一个所述音视频采集设备的小型会场,一般情况下,默认搭载视频和音频采集设备的音视频采集设备会配置在每个会场的中央位置,即所述音视频采集设备设置在会场的中间,当会场内有会议桌时,由于会议室的会议桌一般会放在会场的中间,因此,以会议桌为参照坐标,所述音视频采集设备设置在会议桌的上方中间。

对于大型会场,由于一个所述音视频采集设备只能覆盖一定的范围,比如每个所述音视频采集设备可以覆盖的直径为6米的范围,即覆盖半径为3米的范围,就需要多台所述音视频采集设备,根据会场大小布置合适数量的所述音视频采集设备,使所述音视频采集设备覆盖整个会场。从某一个位置开始,比如从靠近主席台的位置开始,以预设的直径范围,比如每6米左右,一个一个设置所述音视频采集设备,依次布置,直至覆盖整个会场。

当不进行电视会议时,所述音视频采集设备根据会场情况放置在会场内的适当位置。尤其是大型会场具有多个所述音视频采集设备时,当不进行电视会议时,多个所述音视频采集设备可以集中放置在会场内的某个适当位置。

当电视会议开始时,会议电视系统启动,开启终端设备,所述音视频采集设备自动移动到会场内的预设初始位置。比如,只有一个所述音视频采集设备的小型会场,所述音视频采集设备接收到会议电视系统启动的指令后,到会议桌上方中间位置的初始指令,使所述音视频采集设备启动,悬浮在会议桌上方中间位置的半空中;当是布置有多个所述音视频采集设备的大型会场时,大型会场会议电视终端开启后,则每个所述音视频采集设备启动后,各自移动到布置会议电视系统时配置的相应会场预设初始位置,使整个会场都处于所述音视频采集设备覆盖范围内。

由于所述音视频采集设备上搭载视频和音频采集设备,当会场内有人发言时,所述音视频采集设备根据声音开始采集音频数据,所述音视频采集设备获取所述音频数据后,根据所述音频数据定位发言的音视频源位置,即声音定位。

s200、根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置。

具体的,所述音视频采集设备根据获取到的音频数据,通过声音定位检测到会场中发言人的位置后,所述音视频采集设备自动移动到距离发言位置的满足声音采集预设条件的声音采集预设位置,使所述音视频采集设备靠近发言位置,从而使所述音视频采集设备处于声音采集的最佳位置。所述声音采集预设位置一般为距离发言位置为1-1.5米的一个弧形区域,即定位发言位置后,所述音视频采集设备自动移动到处于靠近发言位置的1-1.5米的一个弧形区域内。

比如在小型会场,由于所述音视频采集设备可移动,一般只需要一个所述音视频采集设备即可满足需求,通常情况下,小型会场的会议桌长度小于5米,而一个所述音视频采集设备可以覆盖的直径为6米,虽然会议桌在所述音视频采集设备覆盖范围内,但采集的音视频效果未必是最好的,因此仍需根据所述发言位置动态调整所述音视频采集设备,使所述音视频采集设备处在发言人合适的位置,从而使所述音视频采集设备处于音视频采集的预设位置,使所述音视频采集设备采集的音视频达到预设的清晰效果,所述清晰效果一般通过采集位置的移动就可以实现。

所述音视频采集设备采集会场音频数据后,分析所述音频数据,判断所述音频数据是否小于某一预设音频数据阈值,同时判断发言位置的距离和判断发言位置的方向,当判断所述音频数据小于某一预设音频阈值,则认为所述音视频采集设备距离发言人距离太远,导致采集的音频数据声音太小,需要向发言方向移动所述音视频采集设备的位置,靠近发言人。

当判断需要调整所述音视频采集设备的位置时,通过所述音视频采集设备的位置移动,使所述音视频采集设备采集到的音频达到音频预设条件。

当分析获取的会议现场发言人的声音小于某一预设声音分贝阈值时,比如会场有两个声音源a和b,所述音视频采集设备通过声音检测到当前声音源a小于600hz(赫兹),同时有其它声音源b大于700hz和25分贝以上,自调教系统锁定当前b的位置,所述音视频采集设备自动移动到b所确定的位置,使所述音视频采集设备采集到的音频达到音频预设条件。所述音频预设条件可以指音频分贝高于某一预设阈值,从而使采集的会议现场声音足够清晰。

当所述音视频采集设备判断不需要调整音视频采集的位置时,即默认当前位置为音视频采集的声音采集的最佳预设位置。

s300、根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。

在所述音视频采集设备移动到声音采集的预设位置后,满足了声音采集效果的要求,同时所述音视频采集设备获取会场的视频图像数据,并对所述视频图像数据处理后,通过显示设备显示出来。

所述音视频采集设备根据当前声音采集的预设位置,获取会场的视频图像数据,判断所述音视频采集设备在声音采集预设位置采集的视频图像是否满足预设的视频图像预设条件,即采集的视频图像是否足够清晰。当判断采集的视频图像不能满足预设的视频预设条件时,根据所述发言位置和所述声音采集位置,判断需要调整的所述音视频采集设备的满足图像采集预设条件的图像采集位置,并移动到所述图像采集位置,通过所述音视频采集设备的位置移动,使所述音视频采集设备采集到的视频图像达到视频图像采集的预设条件,否则,默认当前位置为所述音视频采集设备的视频图像采集预设位置。

具体的,当所述音视频采集设备判断需要调整视频图像采集的位置时,比如分析获取的会议现场发言人的视频图像清晰度或分辨率小于某一预设视频图像阈值时,通过视频自调教系统,确定视频图像采集预设位置,使所述音视频采集设备的位置在声音采集的预设范围内移动,移动到视频图像采集距离发言位置的预设视频采集点,靠近发言人,使所述音视频采集设备采集到的视频达到视频图像采集的预设条件,所述视频图像采集的预设条件可以指视频清晰度高于某一预设阈值或视频分辨率高于某一预设阈值,比如采集的人脸画面处在视频画面的正中间的位置,从而使采集的会议现场声音足够清晰。

其中,所述视频自调教系统,是指所述音视频采集设备根据发言人的声音大小(比如大于700hz和25分贝以上)确定当前圆弧形位置范围,同时根据视频采集传感器确定人脸图像最佳原则(脸部在图像2/5-3/5中间位置,鼻子在中间轴上)确定具体当前圆弧线上最佳一点位置,及接收的会议现场发言人的当前视频图像获取所述音视频采集设备移动方向及移动距离。

当所述音视频采集设备判断不需要调整音视频采集设备的图像采集位置时,即默认当前位置为发言位置的视频图像采集预设最佳位置。

在一个实施例中,所述会议开始时,移动所述音视频采集设备的自身位置到会场的预设初始位置的步骤之后还包括:

当会议是按照发言顺序采集音视频时,接收发言的音视频源位置,根据所述音视频源位置移动所述音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置和图像采集预设条件的图像采集位置。

由于行政会议一般是按照固定的发言顺序和发言时间进行的,即每个发言位置的发言顺序和发言时间都是预先设置的固定的顺序和时间,因此会议电视是行政会议时,电视会议的音视频采集也是按照发言顺序采集音视频的,根据预设发言位置顺序和预设的每个发言位置的发言时间,电视会议系统配置按照发言人顺序自动识别声音和图像的位置,所述视频终端设备根据当前发言人预先下发会议发言人的位置,所述音视频采集设备根据所述视频终端下发的坐标移动位置,即所述视频终端直接发送移动所述音视频采集设备到当前发言位置的指令,使所述音视频采集设备在预置的时间移动到对应的发言位置。

在一个实施例中,所述根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置的步骤之后还包括:

当在预设时间阈值内未接收到所述音频数据时,移动所述音视频采集设备的自身位置回到所述预设初始位置。

具体的,当在预设时间阈值内,比如30秒内,未接收到所述音视频采集设备的所述音频数据时,判断当前发言人发言完毕,此时所述音视频采集设备移动回到所述预设初始位置。比如只有一个所述音视频采集设备的小型会场,当本次发言人发言结束,所述音视频采集设备自动移动到会场的中间位置,亦即会议桌上方的中间位置,方便当有其他人发言时,所述音视频采集设备可以就近的移动到发言位置附近进行音视频的采集。

由于本发明实施例是采取可移动音视频采集设备,所述音视频采集设备悬在半空中,因此所述音视频采集设备会移动到会场的上方中间位置。

进一步的,当电视会议结束时,所述音视频采集设备接收到电视会议系统关闭指令,所述音视频采集设备自动移动到会场的预先指定位置,放置在会场内的一个位置上,尤其是大型会场具有多个所述音视频采集设备时,当不进行电视会议时,多个所述音视频采集设备集中放置在会场内的空闲处。

在一个实施例中,所述根据所述发言位置,移动到满足声音采集预设条件的声音采集位置的步骤还包括:

当检测到至少有两人同时发言时,根据同时发言的每个发言的音视频源位置,以同时发言的所述音视频源位置为顶点形成几何图形,以所述几何图形中心预设阈值内的位置为目标位置,移动所述音视频采集设备的自身位置到所述目标位置。

具体的,当检测到至少有两人同时发言时,根据同时发言的每个发言位置,获取一个目标位置,所述目标位置同时兼顾发言的所述每个发言位置,并移动到所述目标位置。

具体来说,当检测到至少有两人发言时,根据声音定位发言人的位置,根据所述发言人的位置确定一个目标位置,所述目标位置同时兼顾发言的所述每个发言位置,并移动到所述目标位置,使所述音视频装置采集音视频时能够兼顾各个所述发言人。

比如,如果发言人正在发言时,本次发言被其他人打断,或者至少需要两个人轮流交互式发言时,所述音视频采集设备会接收到至少两个人的音频数据时,所述音视频采集设备根据声音定位发言人的位置,根据所述发言人的位置确定一个中间位置,所述音视频采集设备自动移动到所述发言人中间的预设采集位置,所述发言人中间的预设采集位置,优选的,是以发言人为顶点,发言人之间的连线为边形成的多边形中心的预设阈值范围内,即以同时发言的所述音视频源位置为顶点形成几何图形,以所述几何图形中心预设阈值内的位置为目标位置,移动所述音视频采集设备的自身位置到所述目标位置,比如,当有两个人同时发言时,则为两人连线中点的预设阈值范围内,如果是三个人同时发言,则为三角形的中心预设阈值范围内,由于中心是一个点,而音视频采集位置为一个范围,所以在相对于几何图形中心的预设阈值范围内的位置,都是可以作为音视频采集的位置的。

在一个实施例中,所述根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置的步骤之后还包括:

接收调整音视频采集位置的指令,根据所述指令移动所述音视频采集设备的音视频采集位置。

当所述音视频采集设备接收到调整音视频采集位置的指令时,所述音视频采集设备按照所述指令移动位置,使所述音视频采集设备采集到的音视频达到音频预设条件和视频图像预设条件。

比如当电视会议通过本端和远端显示时,如果本端或远端发现视频或音频不够清晰,本端和远端可以通过红外遥控控制所述音视频采集设备,本端或远端发送所述音视频采集设备进行调整的指令,当所述音视频采集设备接收到调整位置的指令时,所述音视频采集设备根据所述指令移动位置,使所述音视频采集设备采集到的音频达到音频预设条件或视频图像达到视频图像预设条件。

在一个实施例中,当包括至少两个所述音视频采集设备时,选取其中一个音视频采集设备为主音视频采集设备,通过主音视频采集设备控制会场内其他音视频采集设备。

当包括至少两个所述音视频采集设备时,选取其中一个音视频采集设备为主音视频采集设备,其他音视频采集设备为从音视频采集设备,通过所述主音视频采集设备协调从音视频采集设备,其中,所述主音视频采集设备为采集会场音视频和协调所述从音视频采集设备的音视频采集设备,其他负责会场视频和音频采集位置最优的音视频采集设备为从音视频采集设备。

一般情况下,靠近主席台的所述音视频采集设备为主,即主音视频采集设备,其他的所述音视频采集设备为从音视频采集设备,主音视频采集设备设备控制其他所述从音视频采集设备到达采集范围和切换设备传输到会议电视终端上,靠近发言人的所述从音视频采集设备调整采集的音视频效果后把采集的音视频通过所述主音视频采集设备传送到会议电视终端。

具体的,在大型会场,当有多个所述音视频采集设备时,通过设置多个所述音视频采集设备中的一个所述音视频采集设备为主音视频采集设备,其他音视频采集设备为从音视频采集设备,通过所述主音视频采集设备来实现所述从音视频采集设备和所述视频终端之间的数据交流,优选的,设置靠近主席台的为主音视频采集设备,其他的为从音视频采集设备。

进一步的,大型会场会议电视终端开启后,通过所述主视音频采集设备下发所述从视音频采集设备在会场内的预设初始位置,即预置位置,所述从音视频采集设备根据所述主音视频采集设备下发的位置移动到各自在会场内的预设初始位置,即预置位置。

进一步的,大型会场通过一个所述主音视频采集设备协调多个所述从音视频采集设备,所述从音视频采集设备负责视频和音频位置采集的最优,并服从所述主音视频采集设备最终下发的位置。所述主音视频采集设备可以选择单个或多个所述从音视频采集设备音视频合成一个音视频源作为输入,声音只选择当前发言人为声音源。

比如所述视频终端设备接收到采集的音视频图像数据后进行处理,如果本端或远端发现视频或音频不够清晰,反馈所述音视频采集设备进行调整,当所述视频终端接收到调整所述音视频采集设备位置的指令时,如果是在在大型会场,所述视频终端要先发给所述主音视频采集设备,然后通过所述主音视频采集设备调节所述从音视频采集设备的位置。

进一步的,当在预设时间阈值内未接收到所述音频数据时,移动所述音视频采集设备的自身位置回到所述预设初始位置。如果是在大型会场,就由主音视频采集设备统一调度从音视频采集设备进行位置的移动。

进一步的,当本端或远端发送控制所述从音视频采集设备的指令时,也是所述视频终端要先发给所述主音视频采集设备,然后通过所述主音视频采集设备控制所述从音视频采集设备。

在大型会场,如果本次发言人发言结束,所述从音视频采集设备需要移动到会场内对应的所述预设初始位置,也是由所述主音视频采集设备统一调度所述从音视频采集设备。

在大型会场,如果本次发言被其他人打断,就通过所述从音视频采集设备把采集到位置坐标和声音的信息发给所述主音视频采集设备,由所述主音视频采集设备根据所述从音视频采集设备采集的信息处理后,分别调度所述从音视频采集设备。

在大型会场,当会议配置是按照发言人顺序识别声音图像位置时,所述视频终端设备根据当前发言人,预先下发会议发言人的位置给所述主音视频采集设备,所述主音视频采集设备根据所述视频终端下发的坐标控制自己的位置或其它一个或多个所述从音视频采集设备移动位置,并选择单个或多个所述音视频采集设备采集的音视频,合成一个音视频源作为输入。

下面以具体应用实施例来详细描述上述过程。

在会议开始前,根据会场的大小预先配置一个或多个自动音视频采集设备。所述会议电视系统终端开机后,根据预先配置好的自动音视频采集设备个数预置一个采集位置,如图2(a)和图3(a),下面分别描述。

(一)小型会场场景

请参阅图2(a)-图2(d),图2(a)-图2(d)为单音视频采集设备的小型会议采集示范图。

1)请参阅图2(a),会议开始,所述音视频采集设备预置在会场中间位置,当会场本地有人1发言,通过声音定位到发言人1的位置,所述音视频采集设备靠近发言人1,同时调教图像达到最优,然后把图像发送给所述视频终端设备。

如果所述视频终端设备请求调教所述音视频采集设备,所述音视频采集设备会根据所述视频终端发送的坐标最优原则做相应处理,否则默认当前位置最优,如图2(b)所示。

2)如果会议中有两个人(发言人1和发言人2)同时发言,所述音视频采集设备根据声音采集坐标自动移动到两个人预设的位置,一般情况下会在面向两个人的方向、且在两个人连线中心所在的弧形区域内。

如果所述视频终端设备请求调教所述音视频采集设备,所述音视频采集设备会根据如果所述视频终端发送的坐标最优原则做相应处理,否则默认当前位置最优,如图2(d)所示。

3)如果会议配置了根据发言人优先原则采集,所述视频终端设备会下发当前发言人的位置坐标,所述音视频采集设备根据所述坐标移动,然后根据自身的音视频自动调节最优后把数据发送给所述视频终端。如图2(b)所示当前是发言人1讲话,所述音视频采集设备根据接收的坐标,所述音视频采集设备移动到发言人1采集位置并调优。当下一个发言人2发言时,所述视频终端设备会下发当前发言人2的位置坐标,所述音视频采集设备移动到发言人2采集位置并调优,如图2(c)所示。

4)如果是会议讨论环节,会根据声音的强弱做位置微调。如图2(b)所示,当检测当前发言人1的声音最强,所述音视频采集设备移动到发言人1采集最优位置。如果检测到发言人1和发言人2声音强弱一致,回到如图2(d)所示的采集位置,也可根据所述视频终端设备下发的位置默认最优原则。

讨论结束,默认回到2(a)的位置。

(二)大型会场场景

请参阅图3(a)-图3(f),图3(a)-图3(f)为多个所述音视频采集设备的大型会议采集示范图,需要说明的是,附图中的采集即为音视频采集设备的简写。

1)开启终端设备,所述音视频采集设备预置会场特定位置,如图3(a)所示。

2)会议开始,所述音视频采集设备预置在会场默认的初始位置,如图3(b)所示。

当本地有人发言,所述主音视频采集设备1通过分析每个从音视频采集设备2、3和4上报的声音,定位到发言人的位置,所述主音视频采集设备1下发最近的一个或多个所述从音视频采集设备靠近发言人,同时所述主音视频采集设备1调教一个或多个从音视频采集设备让(合成或非合成)图像和声音达到最优,具体过程如下:

(1)如图3(c)所示,发言人2开始发言,如果是从音视频采集设备3单独采集就直接把数据发送给所述主音视频采集设备1,由所述主音视频采集设备1发送给视频终端设备。

如果会议电视的所述视频终端设备请求调教所述从音视频采集设备3,所述视频终端发送给所述主音视频采集设备1坐标,由所述主音视频采集设备1统一分配到所述从音视频采集设备3,所述从音视频采集设备3会根据所述视频终端发送的坐标做相应处理,否则所述从音视频采集设备3默认当前位置最优。

(2)如图3(d)所示,发言人2开始发言,如果是多台协同采集(从音视频采集设备2和从音视频采集设备3),需要把所述从音视频采集设备2和从音视频采集设备3采集的数据发送给所述主音视频采集设备1进行图像和声音合成,然后所述主音视频采集设备1发送合成的数据发送给会议电视的所述视频终端。

如果会议电视的所述视频终端设备请求调教从音视频采集设备2或从音视频采集设备3,所述视频终端发送给所述主音视频采集设备1坐标,由所述主音视频采集设备1统一分配到所述从音视频采集设备2或从音视频采集设备3,所述从音视频采集设备2或从音视频采集设备3会根据所述视频终端发送的坐标做相应处理,否则,所述从音视频采集设备2或从音视频采集设备3默认当前位置最优。

(3)如果会议中,同时有多人发言(发言人2和发言人3),如图3(c)所示,所述主音视频采集设备1下发最近的一个或多个从音视频采集设备(比如从音视频采集设备2、从音视频采集设备3或从音视频采集设备4)靠近发言人,同时所述主音视频采集设备1调教(从音视频采集设备2、从音视频采集设备3或从音视频采集设备4)设备,让合成图像和声音达到最优,(从音视频采集设备2、从音视频采集设备3或从音视频采集设备4)然后把图像发送给所述主音视频采集设备1,经过所述主音视频采集设备1合成处理后把数据发送给所述视频终端设备。

如图3(d)所示,如果所述视频终端设备请求调教音视频采集设备,所述视频终端发送给所述主音视频采集设备1坐标,由所述主音视频采集设备1统一分配给从音视频采集设备2、从音视频采集设备3或从音视频采集设备4位置坐标,否则默认当前位置最优。

(4)如果会议配置了根据发言人优先原则采集,所述视频终端设备会下发当前发言人1的位置坐标,如图3(e)所示:所述主音视频采集设备1根据坐标移动到当前发言人1的位置,如果所述主音视频采集设备1需要从音视频采集设备2和从音视频采集设备3协助采集,需要下发命令给从音视频采集设备2和从音视频采集设备3,然后从音视频采集设备2和从音视频采集设备3根据自身的音视频自动调节最优后把数据发送给所述主音视频采集设备1。所述主音视频采集设备1合成图像和声音处理后把数据传送给所述视频终端设备。

如果当前发言人2发言,如图3(f)所示:所述主音视频采集设备1根据坐标移动到当前发言人2的位置,如果所述主音视频采集设备1需要从音视频采集设备2和从音视频采集设备3协助采集,需要下发命令给从音视频采集设备2和从音视频采集设备3,然后从音视频采集设备2和从音视频采集设备3根据自身的音视频自动调节最优后把数据发送给所述主音视频采集设备1,所述主音视频采集设备1合成图像和声音处理后把数据传送给所述视频终端设备。

(5)视频会议结束,音视频采集设备设备默认移动到预定位置,如图3(a)所示。

本发明实施例提供的会议电视的音视频采集位置定位方法,基于无人移动技术实现的可移动音视频采集设备,根据对会议发言人的声音采集定位发言人的位置,所述音视频采集设备自动靠近发言人,并自动调节移动到发言人的满足声音采集预设条件的声音采集位置和满足图像采集预设条件的图像采集位置,实现会议电视的音视频采集位置的自动调整,相比传统技术中会议电视的音视频采集方法,本发明基于声音识别,通过声音采集、图像采集及可移动音视频采集设备的移动,只要在布置会议电视系统时一次配置,以后就根据自动采集系统自动的调节采集效果,无须参会人员的过多人工干预,就可以自动调解音视频采集达到预设的效果,减少了会议电视的人力成本,提高了电视会议的效率。

请参阅图4,在一个实施例中,本发明提供一种会议电视的音视频采集装置,所述装置包括:

定位模块10,用于获取声音采集的音频数据,根据所述音频数据定位会场内发言的音视频源位置。

具体的,当电视会议开始时,会议电视系统启动,开启终端设备,所述音视频采集设备自动移动到会场内的预设初始位置,由于所述音视频采集设备上搭载视频和音频采集设备,当会场内有人发言时,所述音视频采集设备开始采集音频数据和视频图像数据,所述音视频采集设备获取音频数据后,根据所述音频数据定位发言位置,即声音定位。

声音采集位置移动模块20,用于根据所述音视频源位置,移动音视频采集设备的自身位置到满足声音采集预设条件的声音采集位置。

具体的,所述音视频采集设备根据获取到的音频数据,通过声音定位检测到会场中发言人的位置后,所述音视频采集设备自动移动到距离发言位置的满足声音采集预设条件的声音采集预设位置,使所述音视频采集设备靠近发言位置,从而使所述音视频采集设备处于声音采集的最佳位置。

图像采集位置移动模块30,用于根据所述音视频源位置和所述声音采集位置,移动所述音视频采集设备的自身位置到满足图像采集预设条件的图像采集位置。

具体的,所述音视频采集设备根据当前声音采集的预设位置,获取会场的视频图像数据,判断所述音视频采集设备在声音采集预设位置采集的视频图像是否满足预设的视频图像预设条件,即采集的图像是否足够清晰。当判断采集的图像不能满足预设的视频预设条件时,根据所述发言位置和所述声音采集位置,判断需要调整的所述音视频采集设备的满足图像采集预设条件的图像采集位置,并移动到所述图像采集位置,通过所述音视频采集设备的位置移动,使所述音视频采集设备采集到的视频图像达到视频图像采集的预设条件。

在一个实施例中,所述装置还包括:

位置初始模块,用于会议开始时,移动所述音视频采集设备的自身位置到会场的预设初始位置。

具体的,当电视会议开始时,会议电视系统启动,开启终端设备,所述音视频采集设备自动移动到会场内的预设初始位置。

位置移回模块,用于当在预设时间阈值内未接收到所述音频数据时,移动所述音视频采集设备的自身位置回到所述预设初始位置。

具体的,当在预设时间阈值内,比如30秒内,所述音视频采集设备未接收到所述音频数据时,判断当前发言人发言完毕,此时所述音视频采集设备移动回到所述预设初始位置。

在一个实施例中,本发明还提供一个或多个存储有计算机可执行指令的非易失性计算机可读存储介质,所述计算机可执行指令被一个或多个处理器执行时,其中,可使得所述一个或多个处理器执行所述方法的步骤。

在一个实施例中,本发明还提供一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现所述方法的步骤。

在一个实施例中,本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现所述方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和控制,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1