基于线性扬声器阵列的自适应3d声场重现方法及系统的制作方法
【专利摘要】本发明公开一种基于线性扬声器阵列的自适应3D声场重现方法及系统，包括：利用用户手持麦克风采集线性扬声器阵列通过三维声场重现单元处理后输出的声学信号；利用声学信号实时估计线性扬声器阵列与用户之间的间距，并将间距反馈至三维声场重现处理单元；三维声场重现处理单元根据该间距按预设串音消除方法调整，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销后再输出相应的声学信号。本发明利用麦克风采集线性扬声器阵列输出的声学信号估计线性扬声器阵列与用户之间间距，在估计完成后输送回线性扬声器阵列三维声场重现处理单元对三维声场重现处理单元调整后输出声学信号，达到精确为用户渲染三维声场的目的。
【专利说明】
基于线性扬声器阵列的自适应3D声场重现方法及系统
技术领域
[0001]本发明涉及3D声场重现技术领域，具体涉及一种基于线性扬声器阵列的自适应3D 声场重现方法及系统。
【背景技术】
[0002] 线性扬声器阵列可通过信号处理的方法实现三维声场的重建，但目前线性扬声器 阵列的三维声场重建普遍使用波束检测的技术，通过检测用户与线性扬声器阵列间的间距 来调节线性扬声器阵列的输出，这种控制技术虽然实现了自适应三维声场的重建，但在效 果上并不能达到满意的效果，因此，需要进行改进。
【发明内容】
[0003] 为了解决上述问题，本发明提出一种基于线性扬声器阵列的自适应3D声场重现方 法及系统，该方法通过检测用户与线性扬声器阵列之间的实时间距，利用该检测的实时间 距，采用串扰消除技术调整线性阵列的幅度和相位，使得线性扬声器阵列的总输出信号根 据该实时间距进行自适应地实时调整与修订，从而使输出的总输出信号的性质符合期望。
[0004] 本发明是这样实现的，一种基于线性扬声器阵列的自适应3D声场重现方法，包括 以下步骤：
[0005] 利用用户手持麦克风采集线性扬声器阵列通过线性扬声器阵列三维声场重现单 元处理后输出的声学信号；
[0006] 利用所述声学信号实时估计线性扬声器阵列与用户之间的间距，并将所述间距反 馈至线性扬声器阵列三维声场重现处理单元；
[0007] 线性扬声器阵列三维声场重现处理单元根据该间距按预设串音消除方法调整处 理，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使串音 消除后再输出相应的声学信号。
[0008] 所述用户手持麦克风为单麦克风或麦克风阵列。
[0009] 其中，所述线性扬声器阵列与用户之间的间距通过以下一种方法得到，或采用以 下两种或两种以上方法测得初始间距后对初始间距按不同的权重综合处理而得到：
[0010] (1)基于校准器而使用户手持麦克风与线性扬声器阵列共享同步时钟的时间差并 利用声音传播速度计算得到；
[0011] (2)通过房屋大小与混响时间RT60的数学模型得到；
[0012] (3)基于单麦克风估计直达源和第一个反射源的间隔时间计算得到；
[0013] (4)基于麦克风阵列通过估计直达源和定向反射源的间隔时间计算得到。
[0014] 所述房屋大小与混响时间RT60的数学模型为：
[0015] 狀60: = 〇,M9 . v为房间体积，S为房间表面积，α为墙面吸音系数。
[0016] 本发明中，当采用两种或两种以上间距估计方法时，最后综合得到的间距D'用下 公式计算：
[0017] 其中，wn为权重，上 dn为第η种方法估计的间距，N为
.， -- - 间距估计方法的数量，Κ η < Ν。
[0018] 本发明的目的还在于提供一种基于线性扬声器阵列的自适应3D声场重现系统，包 括：
[0019] 麦克风，由用户手持以采集线性扬声器阵列通过线性扬声器阵列三维声场重现处 理单元输出的声学信号；
[0020] 间距估计模块，用于利用所述声学信号估计线性扬声器阵列与用户之间的间距， 并将所述间距反馈至线性扬声器阵列三维声场重现处理单元；
[0021] 线性扬声器阵列三维声场重现处理单元，用于根据该间距按预设串音消除方法调 整处理，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使 串音消除后再输出相应的声学信号。
[0022] 本发明基于线性扬声器阵列的自适应3D声场重现方法以及系统，通过利用用户手 持麦克风，采集线性扬声器阵列输出的声学信号估计线性扬声器阵列与用户之间的间距间 距，此间距间距在估计完成后将输送回线性扬声器阵列三维声场重现处理单元对三维声场 重现处理单元调整后输出声学信号，从而达到精确为用户渲染三维声场的目的。
【附图说明】
[0023] 图1是本发明提供的基于线性扬声器阵列的自适应3D声场重现方法的流程图； [0024]图2是本发明提供的基于线性扬声器阵列的自适应3D声场重现方法的原理图； [0025]图3是现有技术中利用耳机实现3D声场重现的声学模型图；
[0026]图4是本发明提供的基于线性扬声器阵列的自适应3D声场重现方法声学模型图；
[0027] 图5是本发明提供的基于校准器计算扬声器阵列与用户间的间距的示意图；
[0028] 图6是本发明提供的直达源与反射、混响时间的关系示意图；
[0029] 图7是本发明提供的计算直达源及反射源的时间间隔的示意图；
[0030] 图8是本发明提供的计算直达源及几个反射源的时间间隔的示意图。
【具体实施方式】
[0031] 下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局 限于所列的实施例。
[0032] 参见图1所示，一种基于线性扬声器阵列的自适应3D声场重现方法，包括以下步 骤：
[0033]利用用户手持麦克风采集线性扬声器阵列通过线性扬声器阵列三维声场重现单 元处理后输出的声学信号；
[0034]利用所述声学信号实时估计线性扬声器阵列与用户之间的间距，并将所述间距反 馈至线性扬声器阵列三维声场重现处理单元；
[0035]线性扬声器阵列三维声场重现处理单元根据该间距按预设串音消除方法调整处 理，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使串音 消除后再输出相应的声学信号利用用户手持麦克风采集线性扬声器阵列输出的声学信号； [0036]本发明中，所述用户手持麦克风可以为单麦克风，或麦克风阵列。
[0037]需要说明的是，本发明中，所述线性扬声器阵列输出的声学信号是通过三维声场 重建算法或模型输出的三维环绕声声学信号，所述线性扬声器阵列安装于外壳中并线性设 置，包括有至少两个扬声器换能器件，以接收来自音源的音频信号进行处理后输出。
[0038]所述基于串扰消除技术，利用所述间距对线性扬声器阵列三维声场重现处理单元 进行调整后输出相应的声学信号，是指在原有三维声场重建算法的基础上，根据估计的所 述线性扬声器阵列与用户之间的间距，并利用滤波器来调整线性扬声器阵列输出的声学信 号的相位及幅度，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相 抵销而使串音消除，从而保证线性扬声器阵列输出的三维环绕声的总输出信号的性质仍然 能达到预期的效果。
[0039] 其中，所述线性扬声器阵列与用户之间的间距指的是面向用户设置的线性扬声器 阵列的声音发出面与用户的双耳之间的垂直间距。
[0040] 参见图2所示，具体实现中，为了更好进行三维（3D)声场重建，在麦克风采用线性 扬声器阵列输出的音频信号后，即录音后，对采集的音频录音信号进行预处理，包括去除噪 音、滤波处理，使采集的音频信号使线性扬声器阵列输出的音频信号相一致，然后分析与线 性扬声器阵列相关的房间声学参数，包括有房间大小、线性扬声器阵列与麦克风的距离以 及房间的混响时间等声学参数，由线性扬声器阵列三维(3D)声场重建处理模块根据该声学 参数计算相应的修正参数，然后对输入线性扬声器阵列的音频信号进行根据修正的参数进 行调整，使在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而 使串音消除，从而保证线性扬声器阵列输出的三维环绕声的总输出信号的性质仍然能达到 预期的效果。
[0041 ]下面结合耳机3D虚拟环绕声场重建对本发明基于扬声器的3D虚拟环绕声场重建 进行详细说明。
[0042] 3D虚拟环绕声场重建技术主要用耳机作为播放设备。3D虚拟环绕声核心技术是头 相关函数HRTF使用。头相关函数HRTF是空间中的任意位置到达人双耳的一对传输函数，即 若在3维空间中采样η个方向，所对应的头相关函数将为η对，2η个(左、右耳各一个）。假设需 重建某一个方向声源S(水平角为Θ，垂直角#)，双耳重建信号可由输入信号与头相关函数 HRTF卷积得到：
[0043] L =. S ? HRTFu)'i9
[0044] R = S?HRTFro&
[0045] 假设输入信号为标准双声道音频信号Sl，Sr，分别对应左耳及右耳，其预设的扬声 器位置为左30度，右30度。虚拟环绕声技术希望通过耳机使用户感觉到从头部外，既虚拟扬 声器位置发出的声源，使用虚拟环绕声技术通过耳机播放的信号为，如图3所示：
[0046] L = SL? HRTFl 0 + SR ? HRTFl 0
[0047] 及=& ?撤1?我，〇 + 4 ? 趨1^，各5〇
[0048] 以上是利用头相关函数，使耳机实现播放三维或3D环绕声的信号处理过程，通过 左耳机11、右耳机21可使音频信号信号按上述的信号输入至用户100左右耳，实现三维声场 重现。
[0049] 本发明中，为了使用扬声器直接达到3D声场重建的目的并使串音消除抵销，采用 如图4示所示声学模型。相比于图3的耳机重建三维声场的模型，图4中播放设备由耳机变成 了扬声器，其最终目的在于，通过计算滤波器Η使得声道音频信号Sl、Sr的串扰音，即右扬声 器20发至左耳的信号与左扬声器10发至右耳的信号Grl和Glr在用户100的左、右耳的位置被 完全抵消，从而导致左耳总传递函数变为Ga，即左耳扬声器只输出至左耳的信号，右耳总传 递函数变为Grr，即右耳扬声器只输出至右耳的信号，因此进一步使得在图4中的扬声器可像 耳机一样应用头相关函数进行3D虚拟声场的重建。具体应用包括，如使用标准左30度和右 30度的两个扬声器虚拟左后和右后110度的声源，即虚拟5.1环绕声，也可以设置更多的扬 声器以实现虚拟左前、右前或中后、中前相应位置的声源，以实现不同的虚拟环绕声。滤波 器Η的计算方法如下：
[0050] 如在ζ域，假设输入的双耳头相关函数处理后的信号为[L(z)R(z)]，分别对应左耳 和右耳。通过扬声器播放且被人耳接收的信号为[EL(z)ER(z)].在z域扬声器到双耳的传递 函数G( ζ)可通过以下数学模型模拟或测量得：
[0051] __ KL·
KK、_，_
[0052]则需要对输入的信号[L(z)R(z)]预处理的滤波器Η为：
[0053]
[0054]其中，d为延迟项，如图4所示，扬声器的每个单元到用户双耳之间的传递函数G随 水平角Θ，垂直角和扬声器到双耳的传递间距D而改变，即
[0055]
[0056]假设扬声器单元至线性阵列中轴线的间距为do,用户头半径固定为dh，则在2D平 面，水平角Θ和扬声器到双耳的传递距离D为：
[0057] Θ =arctan[ (d0-dh)/d]
[0058]
[0059] 当用户与扬声器阵列的间距d发生改变时，水平角Θ和垂直角·0也将发生改变，故 用户与扬声器间的传递函数G也会随之改变，最终导致计算的滤波器Η改变。如果用户与扬 声器之间的间距d估计有误，将会极大影响最终的串扰消除性能，影响声场方向性声源的重 建质量，因此，本发明提出了根据用户即听众与线性扬声器阵列间的间距来自适应调整，以 实现三维声场的自适应重建。
[0060] 以上分析可以看出，使用扬声器作为播放设备来重现三维环绕声，重要的已知信 息之一则是线性扬声器阵列与听众之间的间距d，此间距d可以影响基于线性扬声器阵列的 信号处理算法的性能，进而影响三维声场重建的质量，所以实际的线性扬声器阵列的应用 中，使用简单设备准确估计此间距的方法非常必要。
[0061] 为了实现线性扬声器阵列与听众之间的间距d的简单而准确的估计，本发明提出 以下几种方法。
[0062] -种方法是，基于校准器而使用户手持麦克风与线性扬声器阵列共享同步时钟的 时间差，利用声音传播速度计算得到。
[0063] 其中，所述用户手持麦克风与该校准器配置在一起。
[0064]如图5所示，若声音从线性扬声器阵列50(包括多个线性排40扬声器)传播至用户 的时间为t，则扬声器至用户100之间的间距d为：
[0065] d = t · v.
[0066] V为声音在空气中传播的速度(约为343米/秒）。
[0067]假设在一般家庭起居室内线性阵列至用户的间距不小于2米，则t最短为2/343~ 5.83ms。假设音频信号采样率为44.1kHz，从线性扬声器阵列至用户间最短数字信号采样点 为5.83*44.1~256个点。若线性扬声器阵列与用户手中的校准器30使用同一时钟，校准音 频信号在T1时刻从线性扬声器阵列发出，在T2时刻由校准器接收，由于两者分享同一时钟 信号，则线性扬声器阵列和用户之间的间距d为：
[0068] d=(T2-Ti) · V。
[0069] 第二方法是，通过房屋大小与混响时间RT60的数学模型得到。
[0070] 所述房屋大小与混响时间RT60的数学模型为：
[0071]
[0072] 其中，V为房间体积，S为房间表面积，α为墙面吸音系数。
[0073] 混响时间RT60为反射源能量衰减至直达源-60dB时的时间。一般认为在正常屋子 中，低频信号的混响时间RT60比高频信号的混响时间RT60大。从整体来看，大房间的混响时 间RT60大于小房间的混响时间RT60.故通过测量大量房间的混响时间RT60可总结混响时间 RT60与房屋大小的数学模型。通过房屋大小的数学模型可进一步估计线性扬声器阵列与用 户之间的间距。
[0074]假设正常客厅高为2.8m，长宽比例为2:1，则客厅大小可解。通过客厅长宽高可以 使用，宽〇. 5米为线性扬声器阵列与听众用户的间距，即假设线性扬声器阵列在客厅一端， 用户在对应的另一端，0.5米为用户位置到后墙和线性扬声器阵列到前墙的大致间距。 [0075]第三种估计所述线性扬声器阵列与用户之间的间距的方法，还可以是通过单麦克 风以估计直达源和第一个反射源的间隔时间计算得到。
[0076]如图6-7所示，单个扬声器40在房间中，由于房间反射，在用户头部101处可以形成 一个直达路径和若干个反射路径。通过一个麦克风可测得房间的混响时间RT60。在混响中， 经过信号处理的平滑算法和局部最大值估计算法可自动找出直达源及前几个反射源。通过 计算直达源于第一个反射源的时间可估算出直达路径的间距。如图6所示，在正常房屋中， 假设第一个反射路径为地面或桌面的反射，故有：
[0077]
[0078] 其中dh为平均家用电视柜高度。直达源ds和反射源dr的时间间隔Δ t已知，即，
[0079]
[0080] 其中v为声音在空气中传播的速度(常量），故，
[0081]
[0082]从而通过上述式，由直达源和反射源的时间间隔，并利用声音传播速度而计算出 所述线性扬声器阵列与用户之间的间距。
[0083]第四种估计所述线性扬声器阵列与用户之间的间距的方法，还可以是基于一个麦 克风或麦克风阵列通过估计单个扬声器40与用户头部101间的直达源ds和定向反射源dRidR2 的间隔时间计算得到。
[0084] 当校准器具备麦克风阵列时，直达源及前几个反射源相对于用户的角度可估计得 至1J，参见图6及图8所示。
[0085] 故有
[0086] (drl)2= (dr2)2+(ds)2-2 · dr2 · ds · COS0
[0087] dri+dr2-ds= Δ d
[0088]
[0089] Ad= At · v
[0090] 故直达源ds可解。
[0091] 需要说明的是，本发明中，所述线性扬声器阵列与用户之间的间距，可以分别采用 以上一种方法单独实现，也可以是采用上述两种或两种以上组合的方法分别获得相应的估 计间距后，按一定的方法处理，获得相适应的间距值来实现。
[0092] 假设从中选择N种方法，测得N个间距[cU，^，···，(!"]，则最后采用的间距估计值D' 可表示为
[0093] n.-i
[0094] 最终的估计误差r为估计值D'和真实值D的差，即
[0095] r=|D_D，
[0096] 其中，wn为权重，」
Vn表征不同方法估计结果对最后结果的影响。可 n:~\ 通过实验测得不同方法误差范围及发生不准确测量情况的比例从而决定《"的值。即找出一 组权重[W1，W2，…，Wn]，使得估计值D '和真实值D在实验的各个房间中[ri，Γ2，…，rm]的总误 差最小：
[0097] 优化[W1，W2,…，Wn]使得
[0098]
[0099] 最小，其中，Dr为在实验房间r(l彡r彡M，M为实验房间数量）中线性扬声器到用户 的真正距离;dr,n为在房间r中使用方法η (1彡η彡N，N为采用上述距离估计方法的总数量） 得到的估计距离，同时应保才
[0100]本发明的目的还在于提供一种基于线性扬声器阵列的自适应3D声场重现系统，包 括：
[0101] 麦克风，由用户手持以采集线性扬声器阵列通过线性扬声器阵列三维声场重现处 理单元输出的声学信号；
[0102] 间距估计模块，用于利用所述声学信号估计线性扬声器阵列与用户之间的间距， 并将所述间距反馈至线性扬声器阵列三维声场重现处理单元；
[0103] 线性扬声器阵列三维声场重现处理单元，用于根据该间距按预设串音消除方法调 整处理，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使 串音消除后再输出相应的声学信号。
[0104] 关于上述的基于线性扬声器阵列的自适应3D声场重现系统的说明，请参考上述的 基于线性扬声器阵列的自适应3D声场重现方法的详细说明。
[0105] 本发明基于线性扬声器阵列的自适应3D声场重现方法以及系统，通过利用用户手 持麦克风，采集线性扬声器阵列输出的声学信号估计线性扬声器阵列与用户之间的间距， 此间距在估计完成后将输送回线性扬声器阵列三维声场重现处理单元对三维声场重现处 理单元调整后输出声学信号，从而达到精确为用户渲染三维声场的目的。
[0106] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种基于线性扬声器阵列的自适应3D声场重现方法，其特征在于，包括步骤： 利用用户手持麦克风采集线性扬声器阵列通过线性扬声器阵列三维声场重现单元处 理后输出的声学信号； 利用所述声学信号实时估计线性扬声器阵列与用户之间的间距，并将所述间距反馈至 线性扬声器阵列三维声场重现处理单元； 线性扬声器阵列三维声场重现处理单元根据该间距按预设串音消除方法调整处理，在 当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使串音消除 后再输出相应的声学信号。2. 根据权利要求1所述基于线性扬声器阵列的自适应3D声场重现方法，其特征在于，所 述用户手持麦克风为单麦克风或麦克风阵列。3. 根据权利要求1或2所述基于线性扬声器阵列的自适应3D声场重现方法，其特征在 于，所述线性扬声器阵列与用户之间的间距通过以下一种方法得到，或采用以下两种或两 种以上方法测得初始间距后对初始间距按不同的权重综合处理而得到： (1) 基于校准器而使用户手持麦克风与线性扬声器阵列共享同步时钟的时间差并利用 声音传播速度计算得到； (2) 通过房屋大小与混响时间RT60的数学模型得到； (3) 基于单麦克风估计直达源和第一个反射源的间隔时间计算得到； (4) 基于麦克风阵列通过估计直达源和定向反射源的间隔时间计算得到。4. 根据权利要求3所述基于线性扬声器阵列的自适应3D声场重现方法，其特征在于，所 述房屋大小与混响时间RT60的数学模型为：V为房间体积，S为房间表面积，α为墙面吸音系数。 ，5. 根据权利要求3所述基于线性扬声器阵列的自适应3D声场重现方法，其特征在于，采 用两种或两种以上间距估计方法时，最后综合得到的间距D'用下公式计算：dn为第η种方法估计的间距，N为间距估计 ， 方法的数量，Kn<N。6. -种基于线性扬声器阵列的自适应3D声场重现系统，其特征在于，包括： 麦克风，由用户手持以采集线性扬声器阵列通过线性扬声器阵列三维声场重现处理单 元输出的声学信号； 间距估计模块，用于利用所述声学信号估计线性扬声器阵列与用户之间的间距，并将 所述间距反馈至线性扬声器阵列三维声场重现处理单元； 线性扬声器阵列三维声场重现处理单元，用于根据该间距按预设串音消除方法调整处 理，在当前间距下使左扬声器发至右耳的信号与右扬声器发至左耳的信号相抵销而使串音 消除后再输出相应的声学信号。7. 根据权利要求1所述基于线性扬声器阵列的自适应3D声场重现系统，其特征在于，所 述麦克风为单麦克风或麦克风阵列。8. 根据权利要求1或2所述基于线性扬声器阵列的自适应3D声场重现系统，其特征在 于，所述线性扬声器阵列与用户之间的间距通过以下一种方法得到，或采用以下两种或两 种以上方法测得初始间距后对初始间距按不同的权重综合处理而得到： (1) 基于校准器而使用户手持麦克风与线性扬声器阵列共享同步时钟的时间差并利用 声音传播速度计算得到； (2) 通过房屋大小与混响时间RT60的数学模型得到； (3) 基于单麦克风估计直达源和第一个反射源的间隔时间计算得到； (4) 基于麦克风阵列通过估计直达源和定向反射源的间隔时间计算得到。9. 根据权利要求3所述基于线性扬声器阵列的自适应3D声场重现方法，其特征在于，所 述房屋大小与混响时间RT60的数学模型为：V为房间体积，S为房间表面积，α为墙面吸音系数。 t10. 根据权利要求3所述基于线性扬声器阵列的自适应3D声场重现系统，其特征在于， 采用两种或两种以上间距估计方法时，最后综合得到的间距D'用下公式计算：计方法的数量，K η < N。 dn为第η种方法估计的间距，N为间距估 ，
【文档编号】H04R9/06GK105933835SQ201610251445
【公开日】2016年9月7日
【申请日】2016年4月21日
【发明人】杨维国, 侯欢
【申请人】音曼（北京）科技有限公司