一种处理声音信号的方法及装置的制造方法_2

文档序号:9691486阅读:来源:国知局
利用所述声源相对于所述移动终端的方向,生成增益调整参 数,所述增益调整参数包括:对应于所述左侧方向上的信号、所述右侧方向上的信号和所述 中侧方向上的信号的第1类增益调整参数a F、对应于所述左后环绕信号和所述右后环绕信 号的第1类增益调整参数a B、对应于所述左侧方向上的信号和所述左后环绕信号的第2类 增益调整参数c^、对应于所述右侧方向上的信号和所述右后环绕信号的第2类增益调整参 数ct R ;并且,当所述声源相对于所述移动终端的方向Θ e [0, 90) U (270, 360]时a F> a B, 当 Θ e (90, 270)时 a F〈 α B,当 Θ e (〇, 180)时 a L> a R,当 Θ e (180, 360)时 a L〈 a R ;
[0074] 第二处理单元,用于根据所述声音信号,获取所述空间音频信号中的各个方向上 的信号的初始值;
[0075] 第三处理单元,用于根据所述增益调整参数和所述空间音频信号中的各个方向上 的信号的初始值,生成所述左侧方向上的信号、所述右侧方向上的信号、所述中侧方向上的 信号、所述左后环绕信号、所述右后环绕信号。
[0076] 结合第二方面的第四种可能的实现方式,在第二方面的第六种可能的实现方式 中,所述空间音频信号还包括:双声道信号;
[0077] 所述装置还包括:
[0078] 第四处理单元,用于对所述左侧方向上的信号、所述右侧方向上的信号、所述中侧 方向上的信号、所述左后环绕信号和所述右后环绕信号进行下混,生成所述双声道信号。
[0079] 本发明实施例提供的处理声音信号的方法及装置,能够从移动终端周围的三维声 场中获取声音信号;并获取各个声源相对于移动终端的方向;再利用声源相对于移动终端 的方向和声音信号,生成用于模拟三维声场的空间音频信号。本发明提供的方案,能够通过 移动终端自身的元件采集和处理用于模拟三维声场的声音信号,并且分析出所接受到的各 个方向上的声源相对于移动终端的方向,再结合各个方向上的声源相对于移动终端的方向 模拟三维声场的效果,相对于现有技术中仅利用只有〇度和180度两个方向的波束模拟三 维声场的方案,由于本发明中获取了各个方向上的声源相对于移动终端的方向,而不仅限 于〇度和180度这两个方向,因此能够缓减所模拟出来的三维声场的左右的区分要比前后 明显的现象,从而提升所模拟的三维声场的质量。
【附图说明】
[0080] 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的 附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领 域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附 图。
[0081] 图1为本发明实施例提供的一种声音信号处理的方法流程图;
[0082] 图la、图lb、图lc、图Id、图le为本发明实施例提供的一种声音信号处理的应用 场景结构示意图;
[0083] 图2为本发明实施例提供的另一种声音信号处理的方法流程图;
[0084] 图2a为本发明实施例提供的一种声音信号处理的方法的具体实现方式的流程 图;
[0085] 图2b为本发明实施例提供的另一种声音信号处理的方法的具体实现方式的流程 图;
[0086] 图2c为本发明实施例提供的一种声音信号处理的应用场景结构示意图;
[0087] 图2d为本发明实施例提供的另一种声音信号处理的应用场景结构示意图;
[0088] 图2e为本发明实施例提供的再一种声音信号处理的应用场景结构示意图;
[0089] 图3为本发明实施例提供的一种声音信号处理的方法流程图;
[0090] 图3a为本发明实施例提供的另一种声音信号处理的方法流程图;
[0091] 图4为本发明实施例提供的一种声音信号处理的装置结构示意图;
[0092] 图4a、图4b、图4c、图4d、图4e、图4f、图4g、图4h、图4i、图4j为本发明实施例提 供的声音信号处理的装置的具体结构的示意图;
[0093] 图5为本发明实施例提供的一种声音信号处理的实体设备结构示意图。
【具体实施方式】
[0094] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它 实施例,都属于本发明保护的范围。
[0095] 本发明实施例提供一种处理声音信号的方法,如图1所示,包括:
[0096] 101,移动终端从三维声场中获取声音信号,所述移动终端设置有至少3个麦克 风。
[0097] 其中,一个麦克风用于接收至少一个方向上的声音信号。
[0098] 本发明实施例可以应用于一种移动终端,移动终端上布置有麦克风,麦克风用于 对三维声场进行测量,并从三维声场中获取声音信号并将声音信号传输给移动终端中的 处理器进行增强处理,并且可以将增强前后的声音信号传输给移动终端中的存储器进行存 储。具体的,移动终端上布置的麦克风可以是全指向型的麦克风,也可以是具有一定指向性 的麦克风,比如,具体可以在移动终端上布置MEMS (Micro-Electro-Mechanical System,微 机电系统)麦克风,或是ECM(Electret Condenser Microphones,驻极体电容传声器)麦克 风。
[0099] 在本实施例中,麦克风在移动终端上的布置方式可以有多种,在不同的布置方式 中移动终端上的麦克风的数量和位置并不限定,在本实施例中选取4个麦克风和3个麦克 风的情况为例进行说明。例如:在移动终端上可以如图la所示的将4个麦克风分别设置在 移动终端的四个角上。也可以如图lb所示的,将4个麦克风分别设置在移动终端的四个 边上。还可以如图lc所示的,在移动终端的底边、正面的听筒旁边、背面摄像头附近以及 背面底边附近各设置一个麦克风;再例如:可以在移动终端上只设置3个麦克风。如图Id 所示,在移动终端底边设置2个麦克风,在正面听筒的旁边设置1个麦克风。也可以如图le 所示的,在移动终端的底边、正面听筒的旁边、背面摄像头附近各设置一个麦克风。
[0100] 102,根据所获取的声音信号,获取声源相对于所述移动终端的方向。
[0101] 移动终端通过麦克风对发出声源进行估计,并得到声源相对于移动终端的方向。 在本实施例中,对声源进行估计的方法可以有多种,比如基于最大输出功率的可控波束形 成技术,或者是基于到达时间差的定位技术,还可以是基于高分辨率谱估计的定位技术等。
[0102] 并且,移动终端在对声源位置进行估计的同时,还可以对接收到的声音信号进行 增强处理。例如:移动终端可以利用波束形成、空间预测、听觉场景分析等技术手段获得各 个方向增强后的声音信号。比如:移动终端通过波束形成增强声音信号的具体方法可以包 括:延迟相加波束形成、滤波相加等固定波束形成技术,或者是基于最小方差无畸变响应准 则的自适应波束形成算法、线性约束最小方差波束形成、旁瓣抵消算法等自适应波束形成 技术,还可以是差分波束形成技术;移动终端通过空间预测增强声音信号的具体方法可以 包括:通过预先设定某些方向上期望采集到的空间声信号,然后通过预先训练好的最优滤 波器组,利用空间预测技术将移动终端上的声音接收器接收到的各个方向上的声音信号转 换成为预先设定的某些方向上期望输出信号,从而使得输出的增强后的声音信号的噪声最 小且预测误差趋近于零;在本实施例中,听觉场景分析技术具体可以是盲源分离算法。
[0103] 增强得到至少具有波束指向性的两个方向上的声音信号,由一个麦克风接收到的 声音信号经过增强处理得到的具有波束指向性一个方向上的声音信号,例如:可以区分为 前方、后方、左侧、右侧等不同方向声源向移动终端发送的各个方向上的声音信号。比如:移 动终端对接收到的声音信号进行增强处理后生成四个方向增强后的声音信号,分别具有左 前侧、右前侧、左后侧、右后侧的波束指向性;也可以生成四个方向增强后的声音信号分别 具有前侧、后侧、左侧、右侧的波束指向性。在本实施例中,也可以根据具体需要,由多个方 向不同指向性的声音信号合成某一个指定方向上的声音信号,且经过增强处理得到的具有 波束指向性的声音信号的波束形状可以为心形指向,也可以是超心形等其他形状。
[0104] 103,根据所述声源相对于所述移动终端的方向和所获取的声音信号,得到空间音 频信号。
[0105] 其中,所述空间音频信号用于模拟所述三维声场,所述三维声场可以理解为移动 终端周围在一定范围内的声场,声源可以从三维声场任意方向发出声音信号,并被移动终 端接收。
[0106] 例如:移动终端利用声源相对于移动终端的方向和接收到的各个方向上的声音信 号,产生用5. 1声道回放系统模拟声场的空间音频信号,移动终端可以将增强后得到的各 个方向上的声音信号映射为用于组成5. 1声道回放系统模拟声场的空间音频信号所需的 总共六个方向上的声音信号,并利用声源相对于移动终端的方向,进一步提升用5. 1声道 回放系统模拟声场的空间音频信号所需的六个方向上的声音信号的分离度,比如:移动终 端可以根据声源相对于移动终端的方向,计算每个方向用5. 1声道回放系统模拟声场的空 间音频信号所需的声音信号的增益调整参数,并利用增益调整参数调整用5. 1声道回放系 统模拟声场的空间音频信号所需的声音信号。空间音频信号至少包括左侧方向上的信号、 右侧方向上的信号、中侧方向上的信号、左后环绕信号、右后环绕信号。
[0107] 其中,移动终端接收到的各个方向上的声音信号与用5. 1声道回放系统模拟声场 的空间音频信号所需的六个方向上的声音信号之间的对应关系可以有多种。比如:对移动 终端接收到的声音信号进行增强并输出四个方向上的声音信号,分别为左前、左后、右前以 及右后;并将左前方向上的声音信号映射为用5. 1声道回放系统模拟声场的空间音频信号 所需的左侧方向上的声音信号;将右前方向上的声音信号映射为用5. 1声道回放系统模 拟声场的空间音频信号所需的右侧方向上的声音信号;根据左前方向上的声音信号和右前 方向上的声音信号求取平均信号并将平均信号映射为用5. 1声道回放系统模拟声场的空 间音频信号所需的中侧方向上的信号;将左后方向上的声音信号映射为用5. 1声道回放系 统模拟声场的空间音频信号所需的左后环绕声音信号;将右后方向上的声音信号映射为用 5. 1声道回放系统模拟声场的空间音频信号所需的右后环绕声音信号;根据左前方向、左 后方向、右前方向和右后方向上的声音信号求取平均值并对平均值进行150Hz的低通滤波 处理,得到用5. 1声道回放系统模拟声场的空间音频信号所需的重的低音信号。
[0108] 再例如:对移动终端接收到的声音信号进行增强并输出四个方向上的声音信号, 分别为前侧、后侧、左侧以及右侧四个方向上的声音信号;并将左侧方向与前侧方向上的声 音信号的平均信号映射为用5. 1声道回放系统模拟声场的空间音频信号所需的左侧方向 上的声音信号;将右侧方向与前侧方向上的声音信号的平均信号映射为用5. 1声道回放系 统模拟声场的空间音频信号所需的右侧方向上的声音信号;将前侧方向上的声音信号映射 为用5. 1声道回放系统模拟声场的空间音频信号所需的中侧方向上的信号;将左侧方向与 后侧方向上的声音信号的平均信号映射为用5. 1声道回放系统模拟声场的空间音频信号 所需的左后环绕声音信号;将右侧方向与后侧方向上的声音信号的平均信号映射为用5. 1 声道回放系统模拟声场的空间音频信号所需的右后环绕声音信号;根据前侧方向、后侧方 向、左侧方向和右侧方向上的声音信号求取平均值并对平均值进行150Hz的低通滤波处 理,得到用5. 1声道回放系统模拟声场的空间音频信号所需的重的低音信号。
[0109] 本发明实施例提供的处理声音信号的方法,能够从移动终端三维声场中获取声音 信号;并获取各个声源相对于移动终端的方向;再利用声源相对于移动终端的方向和声音 信号,得到用于模拟三维声场的空间音频信号。本发明提供的方案,能够通过移动终端自 身的元件采集和处理用于模拟三维声场的声音信号,并且分析出所接受到的各个方向上的 声源相对于移动终端的方向,再结合各个方向上的声源相对于移动终端的方向增强三维声 场的效果,相对于现有技术中仅利用波束模拟三维声场的方案,由于本发明中获取了各个 方向上的声源相对于移动终端的方向,并利用该方向信息对波束形成进行进一步的增益调 整,因此能够缓减所模拟出来的三维声场的左右的区分要比前后明显的现象,从而提升所 模拟的三维声场的质量。
[0110] 在本实施例中,移动终端获取声源相对于所述移动终端的方向的方式可以有多 种,比如可以采用定位技术获取作为声源的移动终端和移动终端的空间坐标,并根据作为 声源的移动终端和移动终端的空间坐标确定声源相对于所述移动终端的方向。但是在移动 终端进行定位的过程中需要占用网络带宽,并且定位过程有一定的延时,而在本实施例中, 移动终端需要获取多个方向上的声源相对于移动终端的方向,可以通过基于到达时间差的 定位技术获取声源相对于所述移动终端的方向,因此,如图2所示,102的具体实现方式可 以包括:
[0111] 1021,获取所述移动终端上的麦克风接收到一个方向上的声音信号与另一个方向 上的声音信号之间的到达时间差。。
[0112] 其中,移动终端上的麦克风用于接收至少四个方向上的声音信号。
[0113]
获取在第m麦克风接收到的声音信号与在第1 麦克风接收到的声音信号之间的到达时间差I。
[0114] 其中,P表7K时延样点数,P的值一般会根据不同的应用系统中麦克风之间的相对 距离以及位置关系,信号的采样率,声速,声源入射角度的范围等条件,在一个指定范围内 随机获取, yi (η)表示在第1麦克风接收到的声音信号,yni(η)表示在第m麦克风接收到的 声音信号,
S 丨表不y 1 (η)和ym (η)之间的互相关谱, Φ (f)表示接收到的各个方向上的声音信号所在频域的加权函数。
[0115] 1022,根据所获取的到达时间差和所述移动终端上的麦克风在所述移动终端上的 位置,得到所述声源相对于所述移动终端的方向。
[0116] 其中,根据麦克风在移动终端上布置方式的不同,移动终端获取所述声源相对于 所述移动终端的方向的具体方式可以有多种。
[0117] 例如:在一种移动终端上,所述第1麦克风与所述第4麦克风位于同一侧,所述第 1麦克风与所述第2麦克风位于同一侧;c表7K声速,d表7K所述第1麦克风的中心点与所 述第4麦克风的中心点之间的距离,d等于所述第2麦克风的中心点与所述第3麦克风的中 心点之间的距离,h表示所述第1麦克风的中心点与所述第2麦克风的中心点之间的距离, h等于所述第3麦克风的中心点与所述第4麦克风的中心点之间的距离,ct表示所述移动 终端的对角线与所述第1麦克风和所述第4麦克风所位于的角所在的边的夹角。
[0118] 则如图2a所示,1022具体可以实现为10221-10222。
[0119] 10221,根据
,估计第2麦克风接收到的声音信号的方向& ;
估计第3麦克风接收到的声音信号的方向^ ;根据
5估计第4麦克风接收到的声音信号的方向#。 %
[0120] 其中,所述方向|、$和$是根据

得到的估计值,而通过10222的
对采样的数据样本求平均所得 到的值,作为确切值。
[0121]
?获取所述声源相对于所述移动终端的方向Θ。
[0122] 再例如:在另一种移动终端上,所述第1麦克风与所述第2麦克风位于所述移动 终端的一个面的轴对称线上,并分别处于所述一个面上的两条相互平行的边缘;所述第3 麦克风与所
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1