一种联合耳机和扬声器的声场渲染方法及系统与流程

本发明属于声场渲染技术领域，具体涉及一种联合耳机和扬声器的声场渲染方法及系统。

背景技术：

传统多声道3d音频播放采用扬声器阵列或耳机虚拟环绕声的方法。其中，扬声器阵列主要应用于电影院、客厅等多人同时观看的环境中。耳机虚拟环绕声主要应用于单个用户的应用场景如配合电脑，平板电脑以及手机等播放设备。采用扬声器阵列的播放方法，其优点为：一套设备可以同时为多人播放3d环绕声音频，如在电影院及家庭客厅中的5.1、7.1.4、9.1.6、22.2系统等。扬声器阵列的低频还原度高，声场效果充分。由于物理原因，扬声器阵列的最低低频相应于腔体体积称反比，故在电影院中有条件配备腔体大的高功率低音炮，营造最佳低音效果。其缺点为：阵列中心地带为最佳听音位置，在此位置之外的听众无法体验正确的声场，对于声场的设置无法根据每个用户的喜好进行调整。采用耳机虚拟环绕声的方法，其优点为：用户听音位置佳，声场等设置可以根据每个用户的喜好进行调整高频解析度高，有利于还原细节；其缺点为：低音效果低于扬声器阵列。

技术实现要素：

本发明的目的在于解决上述的技术问题而提供一种联合耳机和扬声器的声场渲染方法及系统，旨在充分结合耳机及扬声器的优点，利用信号处理及声学原理，使得用户在观看同一视频图像时，最高限度地达到最佳音频声场重现并能个性化3d声场的重现。

为实现上述目的，本发明采用如下技术方案：

一种联合耳机和扬声器的声场渲染方法，包括以下步骤：

将原始输入的多路音频信号通过分频分离为高频的耳机播放信号和低频的扬声器播放信号；

将所述高频的耳机播放信号和低频的扬声器播放信号分别输入到耳机以及扬声器；

所述耳机以及扬声器分别对输入的信号处理后输出。

将原始输入的多路音频信号通过分频分离为高频的耳机播放信号和低频的扬声器播放信号采用滤波器进行。

所述扬声器在对信号处理时，采用以下步骤：

通过信号转换矩阵将输入的扬声器播放信号转换成对应于扬声器位置的信号，并根据耳机的传输损失参数进行扬声器输出信号的幅度和/或相位调整后输出。

所述耳机在对输入的耳机播放信号处理时，采用以下步骤：

将耳机播放信号分为语言声道以及非语言声道；

对非语言声道及语言声道的信号进行虚拟环绕声场处理，形成虚拟环绕声；

对虚拟环绕声处理模块形成的虚拟环绕声进行增益处理后输出至耳机的输出声道。

所述原始的多路音频信号包括基于声道的声道多路信号、基于声音对象的声音对象多路信号以及包含前述的声道多路信号和声音对象多路信号的多路信号。

本发明的目的还在于提供一种联合耳机和扬声器的声场渲染系统，包括：

分离器，将原始输入的多路音频信号通过分频分离为高频的耳机播放信号和低频的扬声器播放信号，并将所述耳机播放信号和扬声器播放信号分别输入到耳机以及扬声器；

耳机，与分离器连接，对所述分离器输入的高频的耳机播放信号进行处理后输出；

扬声器，与分离器连接，对所述分离器输入的低频的扬声器播放信号处理后输出。

所述分离器为一个滤波器。

所述扬声器包括：

扬声器信号处理模块，用于通过转换矩阵将输入的扬声器播放信号转换成对应于扬声器位置的信号，并根据耳机的传输损失参数进行扬声器输出信号的幅度和/或相位调整后输出。

所述耳机包括：

分类器，用于将耳机播放信号分为语言声道以及非语言声道；

虚拟环绕声处理模块，用于对非语言声道及语言声道的信号进行虚拟环绕声场处理，形成虚拟环绕声；

增益混合矩阵，用于对虚拟环绕声处理模块形成的虚拟环绕声进行增益处理后输出至耳机的输出声道。

本发明方法及系统使得用户在观看同一视频图像时，最高限度地达到最佳音频声场重现并能个性化3d声场的重现。

附图说明

图1是本发明中耳机和扬声器声场渲染的使用场景示意图；

图2是本发明的联合耳机和扬声器的声场渲染方法的流程图；

图3是滤波器的原理图；

图4是耳机环绕声处理的原理示意图；

图5是本发明中耳机的信号处理流程示意图。

具体实施方式

下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。

结合图1-5所示，一种联合耳机和扬声器的声场渲染方法，包括以下步骤：

s101,将原始输入的多路音频信号分离为高频的耳机播放信号和低频的扬声器播放信号；

s102,将所述耳机播放信号和扬声器播放信号分别输入到耳机以及扬声器；

s103,所述耳机以及扬声器对输入的信号处理后输出。

其中，所述扬声器的输出信号为扬声器的对应输出声道输出的声道信号，所述耳机的输出信号为耳机左右输出声道输出的左右两路信号。

本发明在用户通过观看屏幕100播放的视频图像时，通过将与视频图像对应的原始输入的音频信号分离为耳机播放信号和扬声器播放信号后，分别输入到不同位置处的耳机20以及各个不同位置的扬声器10，由耳机以及扬声器对输入的信号处理后输出，可以实现将采用通过耳机及扬声器同时播放声音的方式最大限度地发挥两种方法的优势，同时规避两种声音输出设备的劣势。

本发明中，所述耳机可以多声道环绕声耳机，可以实现多声道环绕三维声场的重现；所述扬声器包括多个扬声器，形成扬声器阵列，布置于不同方向与位置，可以实现多声道环绕三维声场的重现。

具体在原始音频信号分离时，可以根据耳机以及扬声器的频率响应情况，将从原始音频信号中分离出的低频信号通过扬声器输出，而将从原始音频信号中分离出的高频信号通过耳机输出，通过耳机虚拟环绕声的方法输出播放。这样可以通过扬声器保证低频响应；通过耳机保证高频细节，从而实现通过耳机虚拟环绕声算法保证每个用户都处于最佳听音位置。

需要说明的是，本发明中，所述原始的音频信号可以是基于声道的声道多路信号、基于声音对象的声音对象多路信号以及包含前述的声道多路信号和声音对象多路信号的多路信号。

当所述原始的多路音频信号为基于声道的声道多路信号时，将分离出的低频信号分给扬声器，余下高频信号分给耳机。频率分离具体可以为分频器，如巴特沃斯一阶分频器，频率为f的低通及高通的频率响应为：

其中，hl为低通滤波器响应，hh为高通滤波器响应，f为频率，f0为分频点频率，j为虚数符号。则若输入信号为s，频率为f，通过下式(3)(4)即获得频率为f的输入信号s的低频信号sl(f)，与高频信号sh(f)，实现高频信号与低频信号的分频处理。

sl(f)＝hl(f)·s(f)(3)

sh(f)＝hh(f)·s(f)(4)

具体的，该频率分离可通过一个通用的滤波器实现，所述滤波器如图3所示，包括电阻r以及电容c，实现滤波处理。

当所述原始的多路音频信号为为基于声音对象的多路信号时，可将除对白对象的其他声音对象信号进行式(1)中的分频处理，将分频处理后的声音对象信号的低频信号送至扬声器，将分频处理后的声音对象信号的高频信号以及全部声音对象(包含对白对象)送至耳机。通过将声音对象信号的单独处理可以使听众在耳机中选择不同的语言音轨。

当所述原始的多路音频信号为为涵盖声道信号和声音对象信号时(如dolbyatmos格式)，将声道信号和声音对象信号(除对白对象)分别做式(1)和(2)中的相应处理。将声道信号和声音对象信号的低频信号送至扬声器，将声道信号和声音对象信号的高频信号以及全部声音对象(包含对白对象)信号送至耳机。

在将分离的低频信号输入扬声器后，扬声器的信号处理模块通过处理算法对输入的音频信号处理，包括声场渲染处理。将输入信号使用如ambisonic或panning的方法转换对应到指定位置的扬声器而输出。

具体的，本发明中，所述扬声器的扬声器在对信号处理时，采用以下步骤：通过信号转换矩阵将输入的扬声器播放信号转换成对应于扬声器位置的信号，并根据耳机的传输损失参数进行扬声器输出信号的幅度和/或相位调整后输出。

由于输入的低频信号是唯一标准格式，而放映环境决定了扬声器摆放，此信号转换处理在各种影院等播放环境中被广泛运用，其原理为将输入信号通过以下式(5)表示的转换矩阵转换成针对于实际扬声器位置的信号：

其中输入信号为m路sig，输出信号为s路spkr，转换矩阵维度为s*m。此处的输入信号sig为低通处理后的低频信号。

通过以上所述的扬声器的信号处理模块的信号转换处理，从而就实现了不同位置的扬声器输出相应的对应信号，三维声场的重现。

同时，为了保证用户佩戴耳机时抵消的声音被考虑，扬声器还接收耳机参数(如耳机参数损失)，并根据该耳机参数来调节输出信号，该调节具体由扬声器的信号处理模块来实现。所述调节输出输出信号具体可根据耳机参数进行的扬声器输出信号幅度和/或相位调整。

当用户佩戴耳机听扬声器播放的声音时，由于耳机本身有物理降低外界声音的特点，扬声器播放的声音不能被耳机完全听到。耳机阻挡外界声音的特性为传输损失，根据耳机设计在每个频率都有不同。若耳机的传输损失为l(f)，f为频率，则扬声器在该频率f实际输出的第i路信号为：

其中,上述式(6)耳机的传输损失l(f),可由如下方式获得：

(1),当播放环境使用同一耳机时，可实现测得该传输损失l(f)。

(2),当播放环境使用不同耳机时(如用户使用自己喜欢的耳机)，可使用一通用传输损失l(f)参数来计算补偿。如在用户端通过数字耳机接口得知耳机型号的情况下，由耳机端补偿通用传输损失l(f)和实际耳机传输损失l(f)的差别而获得。比如头戴式耳机，该通用传输损失l(f)和实际耳机传输损失l(f)的差别最大在6db左右(不是非常大)，故可以通过耳机端补偿。

本发明中，所述耳机在对输入的耳机播放信号处理时，参考图4-5所示，采用以下步骤：

s201,将耳机播放信号分为语言声道以及非语言声道；

s202,对非语言声道及语言声道的信号通过虚拟环绕声算法，进行虚拟环绕声场处理，形成虚拟环绕声；

s203,对虚拟环绕声处理模块形成的虚拟环绕声进行增益处理后输出至耳机的输出声道。

下面对耳机的信号处理过程进行说明。参见图4、5所示，图4示出了耳机利用关相关函数进行3d虚拟环绕声场处理的原理，图5示出本发明中耳机的信号处理过程。参见图4所示，分离的高频信号送入耳机后，耳机信号处理模块对输入的高频信号进行处理，如利用现有的耳机3d虚拟环绕声场算法进行处理。3d虚拟环绕声场处理的核心是头相关函数hrtf使用。头相关函数hrtf是空间中的任意位置到达人双耳的一对传输函数，即若在3维空间中采样n个方向，所对应的头相关函数将为n对，2n个(左耳、右耳各一个)。假设需重建某一个方向声源s(水平角为θ，垂直角)，双耳重建信号可由输入信号与头相关函数hrtf卷积得到：

假设输入信号为标准双声道音频信号sl，sr，分别对应左耳及右耳，其预设的扬声器位置为左30度，右30度。虚拟环绕声技术希望通过耳机使用户感觉到从头部外,既虚拟扬声器位置发出的声源，使用虚拟环绕声技术通过耳机播放的信号为，如图4所示：

以上是利用头相关函数，使耳机实现播放三维或3d环绕声的信号处理过程，通过左耳机11、右耳机21可使音频信号信号按上述的信号输入至用户200的左右耳，实现三维声场重现。多声道的三维声场重建与两声道同理。

本发明中，耳机使用者还可通过耳机信号处理算法模块根据自己喜好调整算法参数，而调节声场渲染设置，如根据自己偏好调节耳机的音量、均衡器、语言声道选择设置等。其中所述耳机信号处理算法模块可以是包括耳机虚拟环绕声算法，主动降噪算法，均衡器等。

具体实现上，所述用户个人偏好设置，包括语言声道选择与音量选择：

1)语言声道选择：如果输入信号中含有不同语言的对白音频对象，则用户可以选择对白的语言。实现不同语言的听众可以在同一个电影院欣赏不同对白语言的电影。

2)音量选择：用户可以按不同频率调整耳机输入部分的各种音量，如对白部分的音量、背景部分的音量、对白加背景相对于扬声器低频部分的音量。

其中，本发明还可以记录用户的偏好选择，在以后自动适配。记录的参数，如可以是对白相对于背景部分的音量以及耳机信号相对于扬声器部分的音量。

另外，当耳机带有主动降噪功能时，还可以通过耳机带有的主动降噪模块调整扬声器对于每个耳机的用户实际听到的外界音量。如用户不希望听到大量低频声音时，主动降噪功能加强，反之则减弱。主动降噪功能可以在本应用场景下实现，其原因为主动降噪算法在1000hz下有明显效果，而这里的低通滤波部分的截止频率小于1000hz。另外当耳机具有此主动降噪功能时，还可加强低频响应，即耳机的低频和扬声器的低频同时工作。

参见图5所示，本发明中耳机的输入信号为分离的低频输入信号经过高通滤波之后形成的多个耳机声道信号，如图5所示，耳机声道1、耳机声道2…..耳机声道n的信号,该耳机声道1、耳机声道2…..耳机声道n的信号由耳机内部的分类器分类后可形成语言1、语言2…..语言l等多个语言声道，供用户通过语言选择按键或按钮选择后将选择的语言输入到虚拟环绕声算法处理，以及分出非语言声道1、非语言声道2……非语言声道k等多个非语言声道，并将该非语言声道的传送到虚拟环绕声算法处理，并按上述虚拟环绕声过程进行处理后输出到增益混合矩阵，最后输出通过耳机的左右输出声道输出用户需要的音频信号。

其中，增益混合矩阵运算为下式所示，其元素可是实数也可是虚数。

其中，h^left为耳机左声道输出，h^right为耳机右声道输出，l^left为选择的对白通过虚拟环绕声之后的左耳输出，l^right为选择的对白通过虚拟环绕声之后的右耳输出，为第k个非对白声道通过虚拟环绕声之后的左耳输出，为第k个非对白声道通过虚拟环绕声之后的右耳输出，mj为第j个麦克风输入信号，g为用户对于各个成分所选择的增益。

本发明目的还在于提供一种联合耳机和扬声器的声场渲染系统，参见图2所示，包括：

分离器，用于将原始输入的多路音频信号通过分频分离为高频的耳机播放信号和低频的扬声器播放信号，并将所述耳机播放信号和扬声器播放信号分别输入到耳机以及扬声器；

耳机，与分离器信号传输连接，对所述分离器输入的高频的耳机播放信号进行处理后输出；

扬声器，与分离器信号传输连接，对所述分离器输入的低频的扬声器播放信号处理后输出。

其中，所述分离器具体可以为一个滤波器，参见图3所示。所述分离器的分频处理过程，请参阅本说明书中有关式(1)-(4)的有关说明，在此不再进行赘述。

其中，本发明中，所述原始的音频信号可以是基于声道的声道多路信号、基于声音对象的声音对象多路信号以及包含前述的声道多路信号和声音对象多路信号的多路信号。关于对基于声道的声道多路信号、基于声音对象的声音对象多路信号以及包含前述的声道多路信号和声音对象多路信号的多路信号的分频处理的说明，参见本说明书前述的有关说明。

本发明中，相应的，所述扬声器包括：

扬声器信号处理模块，用于通过转换矩阵将输入的扬声器播放信号转换成对应于扬声器位置的信号，并根据耳机的传输损失参数进行扬声器输出信号的幅度和/或相位调整后输出。

以上所述的扬声器信号处理模块的信号处理过程，包括矩阵转换以及根据耳机参数进行的扬声器输出信号幅度和/或相位调整的内容，请参阅本说明书上述关于扬声器信号处理过程的说明部分，在此不再赘述。

参见图4-5所示，本发明中，相应的，所述耳机包括：

分类器，用于将耳机播放信号分为多个语言声道以及多个非语言声道；

虚拟环绕声处理模块，用于对多个非语言声道及选择的一个语言声道的信号通过虚拟环绕声算法进行虚拟环绕声场处理，形成虚拟环绕声；

增益混合矩阵，用于对虚拟环绕声处理模块形成的虚拟环绕声进行增益处理后输出至耳机的输出声道，形成左耳信号以及右耳信号。

其中，所述耳机播放信号为多声道信号，且为低频处理过的低频信号。

其中，关于耳机的信号处理过程详细描述见本说明见本说明书中关于耳机信号处理过程的说明，在此不再赘述。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。