一种获取音视频数据的方法、装置及系统与流程

文档序号:14295126阅读:179来源:国知局

本发明涉及音视频处理技术,尤其涉及一种获取音视频数据的方法、装置及系统。



背景技术:

随着微电子技术、互联网技术以及计算机视觉技术的不断发展,利用无人机实时跟踪目标,从而实现对目标的实时监控,得到了越来越广泛的应用,尤其是军事危险区域的侦测和民用领域应用尤为广泛。

但目前,由于无人机在飞行时,无人机的旋翼具有较高的旋转速度,而旋翼的高速旋转引起较强的噪音,从而使得目前的无人机中,不适合携带音频采集及播放设备,使得携带视频采集装置的无人机所拍摄的视频中,不会携带有音频数据,只能通过无音频的视频画面跟踪目标。但对于一些应用场景,例如,家居场景,利用家居飞行器,可以避免家居中在固定位置安装摄像头导致的具有拍摄死角的问题,但对于该家居飞行器,用户希望在拍摄视频的同时,能对家居中发出的声音进行同步录制,使得后续浏览的视频画面中能同步播放音频,例如,在家居飞行器拍摄视频的同时能录制音频,从而可以呈现家庭内成员的温馨画面,再例如,如果有非法入侵者,可以在拍摄视频的同时录制非法入侵者发出的音频,便于更快地定位非法入侵者。但目前即使有少数家具飞行器试携带音频采集设备,也由于旋转的旋翼引起的较大噪音,音频采集效率较低,而使得音频采集设备采集的音频失去实际意义;进一步地,在家居飞行器中安装音频采集设备,也增加了家居飞行器的重量,运行所需功耗大,导致其结构复杂。



技术实现要素:

有鉴于此,本发明实施例提供一种获取音视频数据的方法、装置及系统,能够提升音频采集效率,以解决现有的获取音视频数据的方法中,旋转的旋翼引起的噪音导致音频采集效率较低的问题。

第一方面,本发明实施例提供一种获取音视频数据的方法,包括:

同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

将所述音频数据合成至所述视频数据中。

结合第一方面,在第一方面的第一种实施方式中,在所述同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据之前,所述方法还包括:

接收自主行动设备以及音频采集设备发送的时间同步请求;

对所述自主行动设备以及所述音频采集设备进行时间同步。

结合第一方面,在第一方面的第二种实施方式中,所述固定安装的音频采集设备为用户预先安装在家具内各固定位置的内置音频采集卡的摄像头,所述获取固定安装的音频采集设备采集的音频数据包括:

从所述音视频数据中,删除包含的视频数据或提取包含的音频数据。

结合第一方面、第一方面的第一种或第二种实施方式,在第一方面的第三种实施方式中,所述将所述音频数据合成至所述视频数据中包括:

如果所述音频数据为一路,按照同步的时间轴,将所述音频数据添加到所述视频数据中。

结合第一方面、第一方面的第一种或第二种实施方式,在第一方面的第四种实施方式中,所述将所述音频数据合成至所述视频数据中包括:

如果所述音频数据为多路,依序提取多路音频数据中的动力噪音;

计算所述动力噪音的强度,依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据;

按照同步的时间轴,将所述待合成的一路音频数据添加到所述视频数据中。

结合第一方面的第四种实施方式,在第一方面的第五种实施方式中,所述依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据包括:

获取所述动力噪音强度大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值对应的音频数据,从中选取一音频数据作为所述待合成的一路音频数据。

结合第一方面、第一方面的第一种或第二种实施方式,在第一方面的第六种实施方式中,所述将所述音频数据合成至所述视频数据中包括:

分别获取每一音频采集设备相距所述自主行动设备的距离;

选取距离最短对应的音频数据,添加到所述视频数据中。

结合第一方面、第一方面的第一种或第二种实施方式,在第一方面的第七种实施方式中,所述将所述音频数据合成至所述视频数据中包括:

分别获取每一音频采集设备相距所述自主行动设备的距离;

获取距离在预先设置的第一距离阈值至第二距离阈值范围内的音频采集设备,从中选取一音频采集设备采集的音频数据作为所述待合成的一路音频数据。

第二方面,本发明实施例提供一种获取音视频数据的装置,包括:数据同步获取模块以及合成模块,其中,

数据同步获取模块,用于同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

合成模块,用于将所述音频数据合成至所述视频数据中。

结合第二方面,在第二方面的第一种实施方式中,所述装置还包括:请求接收模块以及同步模块,其中,

请求接收模块,用于接收自主行动设备以及音频采集设备发送的时间同步请求;

同步模块,用于对所述自主行动设备以及所述音频采集设备进行时间同步。

结合第二方面,在第二方面的第二种实施方式中,所述数据同步获取模块包括:视频数据接收单元以及音频数据提取单元,其中,

视频数据接收单元,用于同步获取自主行动设备采集的视频数据;

音频数据提取单元,用于同步获取固定安装的内置音频采集卡的摄像头采集的音视频数据,从所述音视频数据中,删除包含的视频数据或提取包含的音频数据。

结合第二方面、第二方面的第一种或至第二种实施方式,在第二方面的第三种实施方式中,所述合成模块包括:第一判断单元以及第一合成单元,其中,

第一判断单元,用于在判断所述音频数据为一路时,通知第一合成单元;

第一合成单元,用于按照同步的时间轴,将所述音频数据添加到所述视频数据中。

结合第二方面、第二方面的第一种或至第二种实施方式,在第二方面的第四种实施方式中,所述合成模块包括:动力噪音提取单元、音频数据选取单元以及第二合成单元,其中,

动力噪音提取单元,如果所述音频数据为多路,依序提取多路音频数据中的动力噪音;

音频数据选取单元,用于计算所述动力噪音的强度,依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据;

第二合成单元,用于按照同步的时间轴,将所述待合成的一路音频数据添加到所述视频数据中。

结合第二方面的第四种实施方式,在第二方面的第五种实施方式中,所述音频数据选取单元包括:计算子单元、筛选子单元以及选取子单元,其中,

计算子单元,用于计算所述动力噪音的强度;

筛选子单元,用于获取所述动力噪音强度大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值对应的音频数据;

选取子单元,用于从筛选子单元中选取一音频数据作为所述待合成的一路音频数据。

结合第二方面、第二方面的第一种或至第二种实施方式,在第二方面的第六种实施方式中,所述合成模块包括:距离计算单元以及第三合成单元,其中,

距离计算单元,用于分别获取每一音频采集设备相距所述自主行动设备的距离;

第三合成单元,用于选取距离最短对应的音频数据,添加到所述视频数据中。

结合第二方面、第二方面的第一种或至第二种实施方式,在第二方面的第七种实施方式中,所述合成模块包括:距离计算单元以及第四合成单元,其中,

距离计算单元,用于分别获取每一音频采集设备相距所述自主行动设备的距离;

第四合成单元,用于获取距离在预先设置的第一距离阈值至第二距离阈值范围内的音频采集设备,从中选取一音频采集设备采集的音频数据作为所述待合成的一路音频数据。

第三方面,本发明实施例提供一种获取音视频数据的系统,所述系统包括:获取音视频数据的装置、自主行动设备以及音频采集设备,其中,

自主行动设备,用于采集视频数据;

音频采集设备,用于采集音频数据;

获取音视频数据的装置,用于同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据,将所述音频数据合成至所述视频数据中。

结合第三方面,在第三方面的第一种实施方式中,所述获取音视频数据的装置包括:数据同步获取模块以及合成模块,其中,

数据同步获取模块,用于同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

合成模块,用于将所述音频数据合成至所述视频数据中。

本发明实施例提供的一种获取音视频数据的方法、装置及系统,通过同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;将所述音频数据合成至所述视频数据中,能够提升音频采集效率,以解决现有的获取音视频数据的方法中,旋转的旋翼引起的噪音导致音频采集效率较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1为本发明的实施例一获取音视频数据的方法流程示意图;

图2为本发明的实施例二获取音视频数据的方法流程示意图;

图3为本发明的实施例三获取音视频数据的装置结构示意图;

图4为本发明的实施例四获取音视频数据的系统结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

图1为本发明的实施例一获取音视频数据的方法流程示意图。如图1所示,本实施例的方法可以包括:

步骤101,同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

作为一可选实施例,自主行动设备包括但不限于:家居飞行器以及类似扫地机器人的自走设备。例如,本实施例的方法应用于家居场景,自主行动设备是适用于家居环境的飞行器,家居飞行器由于不需要特别关注飞行速度、加速度等,因而,维持飞行所需的功率相对较低,使得家居飞行器的旋翼导致的噪音会明显小于户外飞行器产生的噪音。

本实施例中,自主行动设备上未安装有音频采集设备,利用预先固定安装的音频采集设备进行音频采集,并对自主行动设备以及音频采集设备的采集时间进行同步,从而可以将音频采集设备采集的音频数据合成至自主行动设备同步采集的视频数据中。

本实施例中,除非自主行动设备飞行至和音频采集设备特别近的距离,一般情况下,音频采集设备和自主行动设备会有一定距离,使得音频采集设备所处位置采集到的自主行动设备的动力噪音,相对于安装在自主行动设备上的音频采集设备采集到的动力噪音,会明显偏低;进一步地,由于场所的空间相对较为有限,例如,家居飞行器飞行至客厅中央,除了家居飞行器的旋翼噪音,对于其它的环境声音,例如,家人的说话声、电视机的声音等,安装在客厅天花板角落的音频采集设备所采集到的音频,与用户在客厅中央听到的声音区别不会特别大,其差异程度可以被用户接受,从而使得音频采集设备采集到的音频质量达到用户可接受的水平。这样,通过利用原有音频采集设备,能够有效提升音频采集效率;进一步地,由于无需在自主行动设备中安装音频采集设备,能够有效降低自主行动设备的重量,减少运行所需功耗,无需对自主行动设备结构进行改动。

作为一可选实施例,固定安装的音频采集设备为用户预先安装在家具内各固定位置的内置音频采集卡的摄像头,例如,包括:安装在主卧的内置音频采集卡的摄像头、安装在书房的内置音频采集卡的摄像头、安装在客厅的内置音频采集卡的摄像头以及安装在厨房的内置音频采集卡的摄像头等。采集的音频数据为包含音频数据的音视频数据。

本实施例中,作为一可选实施例,家居飞行器具有如下基本特征:

1,家居飞行器具备目前市场上极小型无人机的基本特征,但相对于极小型无人机,还包含有保护装置,以避免飞行器桨叶(旋翼)对用户的伤害。本实施例中,保护装置包括但不限于:保护壳、保护罩或保护网。

2,具备摄像头采集视频能力;

3,具备路径规划和避障能力;

4,具备使用移动端设备app对飞行器进行远程控制的能力;

5,具备4g/5g、无线保真(wifi,wirelessfidelity)、蓝牙等无线通讯技术,用于对家居飞行器进行控制,及实时传输视频数据。

本实施例中,作为一可选实施例,自主行动设备如果为家居飞行器,则动力噪音为旋翼噪音,如果自主行动设备是地面移动的机器人,动力噪音为是滚轮噪音。

本实施例中,作为一可选实施例,如果固定安装的音频采集设备为用户预先安装在家具内各固定位置的内置音频采集卡的摄像头,获取固定安装的音频采集设备采集的音频数据包括:

从所述音视频数据中,删除包含的视频数据或提取包含的音频数据。

本实施例中,对于内置音频采集卡的摄像头,传输的数据是音视频混合数据,需要对音视频混合数据进行剥离,即从音视频数据中获取音频数据,将剥离后的音频数据与自主行动设备的视频数据进行合成。

本实施例中,关于从音视频数据中获取音频数据为公知技术,在此略去详述。

本实施例中,作为一可选实施例,在所述同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据之前,该方法还包括:

a11,接收自主行动设备以及音频采集设备发送的时间同步请求;

本实施例中,作为一可选实施例,音频采集设备,例如,内置音频采集卡的摄像头、自主行动设备以及具备无线路由、计算能力(运行程序能力)以及存储能力的智能网关可以组成一局域网,音频采集设备与自主行动设备向智能网关进行设备注册。

本实施例中,智能网关对注册的不同类型的设备进行类别区分,例如,音频采集设备与自主行动设备为不同的类别,采用不同的类别标识;同一类别的设备进行设备编号区分,例如,多个音频采集设备采用顺序设备编号进行区分。举例来说,对于一音频采集设备,智能网关可以为其配置:v-3,其中,v为类别标识,标识为音频采集设备,3为设备编号,每一音频采集设备对应一路音频数据。

本实施例中,作为一可选实施例,可以是自主行动设备执行飞行并进行视频数据采集时,向智能网关发送时间同步请求。

a12,对所述自主行动设备以及所述音频采集设备进行时间同步。

本实施例中,智能网关在接收到时间同步请求后,将智能网关的时间同步到所有在智能网关单元进行过注册的设备。例如,将智能网关的时间同步到该自主行动设备以及多个音频采集设备。

本实施例中,作为一可选实施例,时间同步精确到毫秒,通过时间同步,使得局域网内的自主行动设备和音频采集设备(内置音频采集卡的摄像头)拥有一致的时间轴。

步骤102,将所述音频数据合成至所述视频数据中。

本实施例中,作为一可选实施例,将所述音频数据合成至所述视频数据中包括:

如果所述音频数据为一路,按照同步的时间轴,将所述音频数据添加到所述视频数据中。

本实施例中,关于将音频数据合成至视频数据中为公知技术,在此略去详述。

本实施例中,如果场景内只有唯一的音频采集设备(内置音频采集卡的摄像头),则智能网关接收到的是一路音频数据。当自主行动设备执行飞行并执行视频拍摄时,音频采集设备将采集的音频数据实时回传至智能网关,同时,自主行动设备也将采集的视频数据实时回传至智能网关,由于智能网关具备执行程序和计算能力,因而,智能网关根据视频数据和音频数据的时间轴进行音视频合成,得到合成的音视频数据,使得用户在浏览合成的音视频数据时,能够有效提升用户的浏览体验。

本实施例中,由于已预先对自主行动设备以及音频采集设备执行时间同步,因而,利用智能网关合成的音视频数据能够基于同一时间轴,使得音频与视频的同步性得到较好保障。

本实施例中,作为一可选实施例,如果场景内存在多个音频采集设备(内置音频采集卡的摄像头),则需要使用预先设定的判定规则,以判断使用哪一音频采集设备采集的音频数据,以与自主行动设备的视频数据进行合成。

本实施例中,作为另一可选实施例,将所述音频数据合成至所述视频数据中包括:

a21,如果所述音频数据为多路,依序提取多路音频数据中的动力噪音;

本实施例中,由于自主行动设备旋翼的声音特性单一,在接收到多路音频数据后,可以依据动力噪音的特性,分别提取多路音频数据中的动力噪音。

本实施例中,动力噪音包括但不限于:旋翼噪音以及滚轮噪音等。

a22,计算所述动力噪音的强度,依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据;

本实施例中,作为一可选实施例,依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据包括:

获取所述动力噪音强度大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值对应的音频数据,从中选取一音频数据作为所述待合成的一路音频数据。

本实施例中,智能网关可以使用音频数据算法对接收的各路音频数据进行分析:如果某一路音频数据中,自主行动设备的动力噪音过强(大于或等于噪音强度第二阈值),表明自主行动设备离音频采集设备较近,使得该音频采集设备采集的音频数据质量较差,不予采用;如果某一音频数据中,自主行动设备的动力噪音过低(小于或等于噪音强度第一阈值),表明自主行动设备离音频采集设备较远,表明该音频采集设备采集的音频数据与自主行动设备所在飞行地点对应的音频数据可能存在较大差异,也不予采用。

本实施例中,噪音强度第一阈值与噪音强度第二阈值,即噪音强度阈值范围可依据实际需要进行设置,从而通过该种方式,可以判断出相对最优的音频数据。

本实施例中,如果大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值的动力噪音强度有多个,则从对应的音频数据中,随机选取一音频数据所述待合成的一路音频数据;或,计算噪音强度第一阈值与噪音强度第二阈值的算术平均值,再计算动力噪音强度与算术平均值的差值的绝对值,选取绝对值最小对应的音频数据作为所述待合成的一路音频数据,这样,可以获取相对最优的音频数据。

本实施例中,作为一可选实施例,如果没有动力噪音强度满足大于噪音强度第一阈值且小于噪音强度第二阈值,则可以计算噪音强度第一阈值与噪音强度第二阈值的算术平均值,再计算动力噪音强度与算术平均值的差值的绝对值,选取绝对值最小对应的音频数据作为所述待合成的一路音频数据。

a23,按照同步的时间轴,将所述待合成的一路音频数据添加到所述视频数据中。

本实施例中,作为再一可选实施例,将所述音频数据合成至所述视频数据中包括:

a31,分别获取每一音频采集设备相距所述自主行动设备的距离;

本实施例中,如果音频采集设备集成有wifi模块,例如,wifi摄像头,自主行动设备本身也携带有wifi模块,由于智能网关本身具备无线路由功能,则可以使用wifi定位技术来确定哪一音频采集设备离自主行动设备处于最近的位置,从而确定使用该音频采集设备采集的音频数据与自主行动设备采集的视频数据进行合成。

如果音频采集装置不具备可以进行定位的wifi模块,则可以在向智能网关进行注册时,以地点方位进行注册。例如,注册为客厅音频采集设备,厨房音频采集设备,阳台音频采集器等。自主行动设备自身可以用wifi模块定位确定方位,一旦确定的方位存在对应的音频采集器(设备),则使用该音频采集器的音频数据。

a32,选取距离最短对应的音频数据,添加到所述视频数据中。

本实施例中,作为再一可选实施例,将所述音频数据合成至所述视频数据中包括:

a41,分别获取每一音频采集设备相距所述自主行动设备的距离;

a42,获取距离在预先设置的第一距离阈值至第二距离阈值范围内的音频采集设备,从中选取一音频采集设备采集的音频数据作为所述待合成的一路音频数据。

本实施例中,提出一种适用于环境中使用的自主行动设备,利用环境已有的音频采集设备,进行音频采集,并与自主行动设备采集的视频进行同步合成,从而对于使用自主行动设备的用户来说,实现自主行动设备采集音频的目的。

本实施例中,随着自主行动设备的飞行,用于待合成的一路音频数据也会相应发生变化,即采用的音频采集设备也会随之变化。合成后的音视频数据可以通过智能网关,由用户进行实时观看,也可以存储在智能网关中,由用户进行事后的观看。这样,从用户或使用者角度,看到的是自主行动设备采集的视频,听到的是接近于自主行动设备所处位置所采集的音频。

图2为本发明的实施例二获取音视频数据的方法流程示意图。如图2所示,以家居场景的家居飞行器为例,本实施例的方法可以包括:

步骤201,预先绑定家居区域内具备音频采集功能的设备和家居飞行器;

步骤202,实时检测家居飞行器位置;

步骤203,判断家居飞行器是否启动拍摄,如果是,执行步骤204,如果否,执行步骤208;

步骤204,同步调用最优音频采集距离的音频采集设备;

本实施例中,选取与家居飞行器相距合适距离的音频采集设备,并通知其进行音频数据采集。

步骤205,接收家居飞行器发送的视频数据,以及音频采集设备发送的音视频数据;

本实施例中,利用内置音频采集卡的摄像头进行音视频数据采集。

步骤206,剥离音频采集设备采集的音视频数据中的音频数据,将家居飞行器的音频数据合成到被剥离后的音频数据中,得到合成音视频数据;

步骤207,保存合成音视频数据或向指定移动设备发送合成音视频数据;

步骤208,音频采集设备待命。

本发明实施例一获取音视频数据的方法,通过同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;将所述音频数据合成至所述视频数据中。这样,通过利用中的原有音频采集设备采集音频数据,结合自主行动设备采集的视频数据,合成为音视频数据,能够有效提升音频采集效率;进一步地,由于无需在自主行动设备中安装音频采集设备,能够有效降低自主行动设备的重量,减少运行所需功耗,无需对自主行动设备结构进行改动,从而解决在环境下,自主行动设备的音频采集问题。

图3为本发明的实施例三获取音视频数据的装置结构示意图,如图3所示,本实施例的装置可以包括:数据同步获取模块31以及合成模块32,其中,

数据同步获取模块31,用于同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

本实施例应用于场景。自主行动设备上未安装有音频采集设备,利用预先固定安装的音频采集设备进行音频采集,并对自主行动设备以及音频采集设备的采集时间进行同步。

作为一可选实施例,固定安装的音频采集设备为用户预先安装在家具内各固定位置的内置音频采集卡的摄像头,采集的音频数据为包含音频数据的音视频数据。

本实施例中,作为一可选实施例,固定安装的音频采集设备为用户预先安装在家具内各固定位置的内置音频采集卡的摄像头,数据同步获取模块31包括:视频数据接收单元以及音频数据提取单元(图中未示出),其中,

视频数据接收单元,用于同步获取自主行动设备采集的视频数据;

音频数据提取单元,用于同步获取固定安装的内置音频采集卡的摄像头采集的音视频数据,从所述音视频数据中,删除包含的视频数据或提取包含的音频数据。

本实施例中,对于内置音频采集卡的摄像头,传输的数据是音视频混合数据,需要对音视频混合数据进行剥离,即从音视频数据中获取音频数据,将剥离后的音频数据与自主行动设备的视频数据进行合成。

合成模块32,用于将所述音频数据合成至所述视频数据中。

本实施例中,如果场景内只有唯一的音频采集设备(内置音频采集卡的摄像头),则智能网关接收到的是一路音频数据。作为一可选实施例,合成模32包括:第一判断单元以及第一合成单元(图中未示出),其中,

第一判断单元,用于在判断所述音频数据为一路时,通知第一合成单元;

第一合成单元,用于按照同步的时间轴,将所述音频数据添加到所述视频数据中。

本实施例中,如果场景内存在多个音频采集设备(内置音频采集卡的摄像头),则需要使用预先设定的判定规则,以判断使用哪一音频采集设备采集的音频数据,以与自主行动设备的视频数据进行合成。作为另一可选实施例,合成模块32包括:动力噪音提取单元、音频数据选取单元以及第二合成单元,其中,

动力噪音提取单元,如果所述音频数据为多路,依序提取多路音频数据中的动力噪音;

本实施例中,由于自主行动设备旋翼的声音特性单一,在接收到多路音频数据后,可以依据动力噪音的特性,分别提取多路音频数据中的动力噪音。

音频数据选取单元,用于计算所述动力噪音的强度,依据计算的动力噪音强度以及预先设置的噪音强度阈值范围确定待合成的一路音频数据;

本实施例中,作为一可选实施例,音频数据选取单元包括:计算子单元、筛选子单元以及选取子单元,其中,

计算子单元,用于计算所述动力噪音的强度;

筛选子单元,用于获取所述动力噪音强度大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值对应的音频数据;

本实施例中,噪音强度第一阈值与噪音强度第二阈值,即噪音强度阈值范围可依据实际需要进行设置。

本实施例中,如果没有动力噪音强度满足大于噪音强度第一阈值且小于噪音强度第二阈值,则可以计算噪音强度第一阈值与噪音强度第二阈值的算术平均值,再计算动力噪音强度与算术平均值的差值的绝对值,选取绝对值最小对应的音频数据作为所述待合成的一路音频数据。

选取子单元,用于从筛选子单元中选取一音频数据作为所述待合成的一路音频数据。

本实施例中,如果大于预先设置的噪音强度第一阈值且小于预先设置的噪音强度第二阈值的动力噪音强度有多个,则从对应的音频数据中,随机选取一音频数据所述待合成的一路音频数据;或,计算噪音强度第一阈值与噪音强度第二阈值的算术平均值,再计算动力噪音强度与算术平均值的差值的绝对值,选取绝对值最小对应的音频数据作为所述待合成的一路音频数据,这样,可以获取相对最优的音频数据。

第二合成单元,用于按照同步的时间轴,将所述待合成的一路音频数据添加到所述视频数据中。

本实施例中,作为再一可选实施例,合成模块32包括:距离计算单元以及第三合成单元,其中,

距离计算单元,用于分别获取每一音频采集设备相距所述自主行动设备的距离;

第三合成单元,用于选取距离最短对应的音频数据,添加到所述视频数据中。

本实施例中,作为再一可选实施例,合成模块32包括:距离计算单元以及第四合成单元,其中,

距离计算单元,用于分别获取每一音频采集设备相距所述自主行动设备的距离;

第四合成单元,用于获取距离在预先设置的第一距离阈值至第二距离阈值范围内的音频采集设备,从中选取一音频采集设备采集的音频数据作为所述待合成的一路音频数据。

本实施例中,作为一可选实施例,该装置还包括:请求接收模块以及同步模块(图中未示出),其中,

请求接收模块,用于接收自主行动设备以及音频采集设备发送的时间同步请求;

同步模块,用于对所述自主行动设备以及所述音频采集设备进行时间同步。

本实施例中,作为一可选实施例,音频采集设备,例如,内置音频采集卡的摄像头、自主行动设备以及具备无线路由、计算能力(运行程序能力)以及存储能力的智能网关可以组成一局域网,音频采集设备与自主行动设备向智能网关进行设备注册。

本实施例中,作为一可选实施例,由自主行动设备、音频采集设备、智能网关、客户端组成局域网,其中,

自主行动设备用于在时间同步的情形下采集视频数据,输出至智能网关。

音频采集设备,在自主行动设备采集视频的同时,同步采集音频数据,输出至智能网关。

本实施例中,利用场景内已有的音频采集设备。作为一可选实施例,利用场景内已安装的带音频采集卡的摄像头采集包含音频数据的音视频数据。

智能网关,用于对接收的视频数据、音频数据或音视频数据进行处理,最后将音频数据合成至视频数据中。

本实施例中,作为一可选实施例,智能网关单元为具备无线路由、计算能力(运行程序能力)以及存储能力的路由器。

客户端,用于从智能网关获取合成的音视频数据,以供用户浏览。

本实施例中,作为一可选实施例,客户端包括但不限于:台式电脑客户端、移动电话、平板电脑等移动设备客户端。客户端与智能网关连接,智能网关实际上充当中心服务器的角色。

本实施例的装置,可以用于执行图1和图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图4为本发明的实施例四获取音视频数据的系统结构示意图。参见图4,该获取音视频数据的系统包括:获取音视频数据的装置41、自主行动设备42以及音频采集设备43,其中,

自主行动设备42,用于采集视频数据;

音频采集设备43,用于采集音频数据;

获取音视频数据的装置41,用于同步获取自主行动设备42采集的视频数据以及获取固定安装的音频采集设备43采集的音频数据,将所述音频数据合成至所述视频数据中。

本实施例中,获取音视频数据的装置41包括:数据同步获取模块以及合成模块(图中未示出),其中,

数据同步获取模块,用于同步获取自主行动设备采集的视频数据以及获取固定安装的音频采集设备采集的音频数据;

合成模块,用于将所述音频数据合成至所述视频数据中。

本实施例中,获取音视频数据的装置41的具体结构可参见图3,在此不再赘述。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1