用于处理生成附加刺激的双耳音频信号的方法和装置与流程

本发明涉及音频信号处理方法和装置。更具体地说，本发明涉及用于合成对象信号和声道信号并且有效地双耳渲染合成信号的音频信号处理方法和装置。

背景技术：

3d音频通常是指一系列信号处理、传输、编码和再现技术，用于通过将对应于高度方向的附加轴提供给在由常规环绕音频提供的水平面(2d)上的音响场景，提供给出三维空间的临场感的音响。特别地，即使使用比常规技术更多扬声器或更少扬声器，3d音频要求用于在扬声器不存在的虚拟位置形成声像的渲染技术。

3d音频被预期成为超高清tv(uhdtv)的音频解决方案，并且除演变成高质量信息娱乐空间的车载音响外，被预期应用于影院音响、个人3dtv、平板、无线通信终端和云游戏的各个领域。

同时，提供给3d音频的声源包括基于声道的信号和基于对象的信号。此外，声源可以是基于声道的信号和基于对象的信号的混合类型，通过该配置，可以为用户提供一种新的听觉体验。

执行双耳渲染以将这样的3d音频建模成待递送到人类的双耳的信号。用户可以通过头戴式耳机或耳机，体验来自双耳渲染的双声道音频输出信号的三维感。如下所述描述双耳渲染的具体原理。人类通过双耳收听声音，并且从声音识别声源的位置和方向。因此，如果可以将3d音频建模成待递送到人类的双耳的音频信号，可以通过双声道音频输出，在无需大量扬声器的情况下再现3d音频的三维性。

然而，人类可以不仅通过声音，而且通过由于声音产生的振动，识别方向和声级。因此，这种振动还显著地影响人类对声音的三维的识别。因此，如果双耳渲染音频信号处理装置与双耳渲染一起对用户提供附加刺激，则双耳渲染音频信号处理装置可以通过双耳渲染提高用户感知的三维性。

技术实现要素：

技术问题

本发明的实施例的目的是提供用于在立体声中播放多声道或多对象信号的双耳音频信号处理装置和方法。

特别地，本发明的实施例的目的是通过提供附加刺激来提供提高三维性的双耳音频信号处理装置和方法。

技术方案

根据本发明的实施例的一种音频信号处理装置包括：双耳渲染器，被配置成接收音频信号并且通过基于接收的音频信号执行双耳渲染来输出双耳渲染的音频信号；以及额外激励器，被配置成生成对用户的身体的刺激，其中，刺激对应于双耳渲染的音频信号。

在此，额外激励器可以将刺激递送到用户的头部。

此外，额外激励器可以基于由双耳渲染的音频信号模拟的声源的位置生成刺激。

额外激励器可以包括多个激励换能器，可以基于由双耳渲染的音频信号模拟的声源的位置选择多个激励换能器中的至少一个，并且可以通过所选择的至少一个激励换能器生成刺激。

在此，额外激励器可以基于用户与由双耳渲染的音频信号模拟的声源的位置之间的距离生成刺激。

此外，额外激励器可以在以下情形中的至少一种的情形下生成刺激：双耳渲染的音频信号的耳间声级差小于第一参考值的情形，和双耳渲染的音频信号的耳间时间差小于第二参考值的情形。

此外，额外激励器可以基于包括在应用于双耳渲染的头部相关传递函数(hrtf)中的陷波的频率值生成附加刺激。

其中，额外激励器可以基于包括在hrtf中的陷波的频率值确定是否生成附加刺激。

此外，额外激励器可以基于包括在hrtf中的陷波的频率值确定将生成附加刺激的位置。

接收的音频信号可以包括通过额外激励器输出的第一音频信号和通过双耳渲染器输出的第二音频信号，其中，基于通过从接收的音频信号减去第一音频信号获得的音频信号，生成第二音频信号。

其中，双耳渲染器可以根据接收的音频信号的频率特性，将接收的音频信号分成第一音频信号和第二音频信号。

此外，双耳渲染器可以将用于对除对应于第一音频信号的频带外的剩余区域进行建模的头部相关传递函数(hrtf)应用于接收的音频信号。

刺激可以是非侵入性大脑/神经激发、振动和骨传导信号中的至少一个。

刺激可以与双耳渲染的音频信号的时间同步。

额外激励器可以基于双耳渲染的音频信号的大小生成刺激。

额外激励器可以基于双耳渲染的音频信号的频率生成刺激。

额外激励器可以基于阈值调整刺激的大小。

其中，可以基于用户输入确定阈值。

额外激励器可以根据应用于区分刺激的大小的步骤的缩放值生成刺激。

此处，基于用户的外部环境，确定缩放值。

可以基于用户的外部环境的噪声，确定缩放值。

一种操作根据本发明的实施例的音频信号处理装置的方法，该方法包括步骤：接收音频信号；通过基于接收的音频信号执行双耳渲染，输出双耳渲染的音频信号；以及生成对用户的身体的刺激，其中，刺激对应于双耳渲染的音频信号。

有益效果

本发明的实施例提供用于在立体声中播放多声道或多对象信号的双耳音频信号处理装置和方法。

特别地，本发明的实施例可以通过提供附加刺激，提供用于提高三维性的双耳音频信号处理装置和方法。

附图说明

图1是示出根据本发明的实施例的双耳音频信号处理装置的框图。

图2示出仅通过双耳渲染的音频信号用户难以识别的声源的位置的示例。

图3示出根据本发明的实施例的包括在双耳音频信号处理装置中的额外激励器。

图4示出根据本发明的实施例的额外激励器根据由双耳音频信号模拟的声源的运动生成刺激。

图5示出根据本发明的实施例的基于是否生成附加刺激分离待输出的音频信号的双耳音频信号处理装置。

图6示出根据本发明的实施例的双耳音频信号处理装置的操作。

具体实施方式

在下文中，将参考附图，详细地描述本发明的实施例，使得本领域的技术人员能易于实现本发明的实施例。然而，本发明可以以各种不同形式实现，并且不限于本文所述的实施例。在图中未示出与描述不相关的实施例的一些部件，以便清楚地描述本发明的实施例。在整个描述中，相似的参考数字指示相似的元件。

当提及某一部件“包括”某些元件时，该部件可以进一步包括其他元件，除非另有说明。

本申请要求韩国专利申请号10-2014-0193545和10-2015-0114080的优先权，在此视为并入其实施例及描述。

图1是示出根据本发明的实施例的双耳音频信号处理装置的框图。

根据本发明的实施例的双耳音频信号处理装置10包括双耳渲染器100和额外激励器400。

双耳渲染器100接收音频信号。双耳渲染器100在接收的音频信号上执行双耳渲染来输出双耳渲染的音频信号。在此，由双耳渲染器100接收的音频信号可以是单声道音频信号或包括一个对象的音频信号。在另一实施例中，由双耳渲染器100接收的音频信号可以是包括多个对象或多个声道信号的音频信号。

额外激励器400生成对用户的身体的刺激。在此，该刺激对应于双耳渲染的音频信号。详细地，额外激励器400可以生成与双耳渲染的音频信号同步的刺激以向用户的身体提供刺激。在此，额外激励器400可以从双耳渲染器100接收用于生成对用户的身体的刺激所需的信息。详细地，用于生成对用户的身体的刺激所需的信息可以是以下中的至少一个：指示由双耳渲染的音频信号刺激的声源的位置的位置信息、双耳渲染的音频信号的大小、双耳渲染的音频信号的频率、和双耳渲染的音频信号的同步信息。在此，在音频信号为声道信号的情况下，位置信息可以是指示在由声道信号形成的三维声音场景上形成的声源的位置。在音频信号为对象信号的情况下，位置信息可以是指示与由对象的元数据识别的三维声音场景上的位置对应的位置的信息。

同时，当完成双耳渲染时，不能直接检测由双耳渲染的音频信号模拟的声源的位置。因此，额外激励器400可以使用双耳渲染的音频信号的左侧信号和右侧信号，逆向地估计耳间声级差(ild)和耳间时间差(itd)中的至少一个，并且可以基于逆向估计的ild和itd中的至少一个，获得位置信息。此外，额外激励器400可以基于在其处存在双耳渲染的音频信号的左侧信号和右侧信号包括的陷波的频率、和陷波的大小，获得位置信息。

对该操作，额外激励器400可以从双耳渲染器100接收双耳渲染的音频信号。在另一具体的实施例中，额外激励器400可以无损地接收由双耳渲染器100接收的音频信号。

由额外激励器400生成的、对用户的身体的刺激可以包括非侵入性大脑/神经激发、振动和骨传导信号中的至少一个。详细地，非侵入性大脑/神经激发可以是经颅直流电刺激(tdcs)、经颅交流电刺激(tacs)、经颅磁刺激(tms)和经颅电刺激(tes)的任何一个。

此外，额外激励器400可以将上述刺激递送到用户的头部。这是因为当声波通过头部被递送到鼓膜时，人类能更精确地识别声源的位置。

此外，额外激励器400可以包括用于生成对用户的身体的刺激的激励换能器。在另一具体实施例中，额外激励器400可以生成用于控制位于额外激励器外的激励换能器的控制信号。在这种情况下，激励换能器响应于控制信号，生成对用户的身体的刺激。

借助于额外激励器400的操作，用户可以识别仅通过双耳渲染的音频信号用户难以识别的声源的位置。将参考图2提供相关详细描述。

图2示出仅通过双耳渲染的音频信号用户难以识别的声源的位置的示例。详细地，图2(a)示出如从用户的头部上方看，仅通过双耳渲染的音频信号难以识别的声源的位置。此外，图2(b)示出如从用户的头部侧面看，仅通过双耳渲染的音频信号难以识别的声源的位置。

人类可以通过递送到双耳的声音的ild和itd，识别声源的位置。关于该空间提示，人们可以具有不同特性，特别地，在许多情况下，难以借助这样的提示来区分前后或区分高度。在从双耳音频信号处理装置10输出的音频信号的耳间声级差和耳间时间差小的情况下，例如，在声源围绕用户的头部的中心分布的情况下，双耳音频信号处理装置10的用户难以检测声源的位置。详细地，双耳音频信号处理装置10的用户难以识别声源是在用户的前方还是后方，声源存在于双耳之间的中间以及位于头部的中心的平面上并且垂直于水平面。例如，用户难以识别从图2(a)的实施例的第一声源s1、第二声源s2和第三声源s3传递的声音是从前方还是后方传递的。

然而，当用户收听来自实际声源的声音时，通过转动用户的头部，用户可以准确地识别声源的位置。此外，当用户收听来自实际声源的声音时，即使难以基于耳间声级差和耳间时间差的位置识别，用户也可以通过作为由于该声音生成的并且经由诸如面部的身体部位递送到鼓膜的波的信号来识别声源的位置。因此，如果双耳音频信号处理装置10生成附加刺激并且将其提供给用户的身体，双耳音频信号处理装置10可以通过双耳渲染的音频信号，提高由用户识别的三维性。

将参考图3至6，描述额外激励器400的具体操作。

图3示出包括在根据本发明的实施例的双耳音频信号处理装置中的额外激励器。

额外激励器400基于双耳渲染的音频信号，生成对用户的身体的刺激。详细地，额外激励器400可以与双耳渲染的音频信号同步地生成对用户的身体的刺激。在具体的实施例中，额外激励器400可以在递送双耳渲染的音频信号的同时，生成对应于双耳渲染的音频信号的刺激。在另一具体实施例中，额外激励器400可以在比输出双耳渲染的音频信号的时间更早的某一时间，生成对应于双耳渲染的音频信号的刺激。在另一具体实施例中，额外激励器400可以在比输出双耳渲染的音频信号的时间更晚的某一时间，生成对应于双耳渲染的音频信号的刺激。在这些实施例中，双耳音频信号处理装置10可以基于额外激励器400生成刺激所花的时间，调整双耳渲染的音频信号的输出时间。例如，额外激励器400可以要求至少一定时间来生成刺激。在这种情况下，如果在生成对用户的身体的刺激前太早输出双耳渲染的音频信号，会减轻用户感知的三维性。因此，双耳音频信号处理装置10可以延迟输出双耳渲染的音频信号的时间。以这种方式，双耳音频信号处理装置10可以始终保持生成对用户的身体的刺激的时间与输出双耳渲染的音频信号的时间之间的差。此外，在具体实施例中，在与视频信号一起输出双耳渲染的音频信号的情况下，双耳音频信号处理装置10可以延迟音频信号和视频信号的输出。

此外，额外激励器400可以基于双耳渲染的音频信号的大小，生成对用户的身体的刺激。详细地，双耳渲染的音频信号的大小越大，额外激励器400可以生成的对用户的身体的刺激越强。例如，在第一音频信号的大小大于第二音频信号的大小的情况下，额外激励器400可以生成比基于第二音频信号生成的刺激更强的基于第一音频信号的刺激。此外，额外激励器400可以与双耳渲染的音频信号的大小成比例地增加对用户的身体的刺激的大小。

此外，额外激励器400可以基于由双耳渲染的音频信号模拟的声源与用户之间的距离，生成对用户的身体的刺激。详细地，由双耳渲染的音频信号模拟的声源与用户之间的距离越短，额外激励器400可以生成的对用户的身体的刺激越强。例如，在由第一音频信号模拟的声源比由第二音频信号模拟的声源更接近用户的情况下，额外激励器400可以生成比基于第二音频信号生成的刺激更强的基于第一音频信号的刺激。在具体的实施例中，额外激励器400可以与在由双耳渲染的音频信号模拟的声源与用户之间的距离成反比地确定对用户的身体的刺激的大小。此外，额外激励器400可以基于与双耳音频信号同步的3d视频信号的深度信息，生成对用户的身体的刺激。

此外，当用户难以识别由双耳渲染的音频信号模拟的声源的位置时，额外激励器400可以生成对用户的身体的刺激。详细地，在双耳渲染的音频信号的耳间声级差小于第一参考值的情形以及耳间时间差小于第二参考值的情形的至少一个中，额外激励器400可以生成对用户的身体的刺激。其中，第一参考值和第二参考值可以彼此不同。详细地，在特定时间点的双耳渲染的音频信号的耳间声级差小于第一参考值的情形以及特定时间点的双耳渲染的音频信号的耳间时间差小于第二参考值的情形的至少一个中，额外激励器400可以在包括该时间点的时间段期间，生成对用户的身体的刺激。其中，可以预先确定包括该时间点的时间段的持续时间。在另一具体实施例中，可以根据双耳渲染的音频信号的大小和频率的至少一个，改变包括该时间点的时间段的持续时间。

此外，额外激励器400可以基于包括在被应用于双耳渲染的头部相关传递函数(hrtf)中的陷波的频率值，生成附加刺激。详细地，额外激励器400可以基于包括在hrtf中的陷波的频率值，确定是否生成附加刺激。此外，额外激励器400可以基于包括在hrtf中的陷波的频率值，确定将生成附加刺激的位置。详细地，仅借助于双耳渲染的音频信号，用户可能难以识别由双耳渲染的音频信号模拟的声源的高度。然而，由于人耳与水平面平行地水平地定位，用户可以根据耳廓(earflap)的形状，通过hrtf的陷波频率，识别声源的高度。因此，额外激励器400可以基于包括在hrtf中的陷波的频率值，生成附加刺激，并且用户可以通过生成的附加刺激，识别由双耳渲染的音频信号模拟的声源的高度。

在本文中，hrtf是通过对将声音从位于特定位置的声源传递到人的双耳的过程进行建模获得的传递函数。详细地，hrtf可以包括双耳房间传递函数(binauralroomtranferfunction，brtf)，该函数是通过对在用户和声源均位于室内的同时将声音从声源传递到用户的双耳的过程进行建模的传递函数。在具体的实施例中，可以在消声室中测量hrtf。此外，可以通过模拟估计hrtf。用于估计hrtf的模拟技术可以是以下中的至少一个：球形头部模型(shm)、雪人模型、时域有限差分法(fdtdm)、和边界元法(bem)。在本文中，球形头部模型可以表示其中假定人头为球形而执行模拟的模拟技术。雪人模型可以表示假定人头和躯干均为球形而执行模拟的模拟技术。

此外，额外激励器400可以基于双耳渲染的音频信号的频率特性，生成对用户的身体的刺激。详细地，额外激励器400可以与双耳渲染的音频信号的频率成比例地增加对用户的身体的刺激的频率。此外，双耳渲染的音频信号的频率越高，额外激励器400可以生成的对用户的身体的刺激越强。

额外激励器400可以基于由双耳渲染的音频信号模拟的声源的位置，生成对用户的身体的刺激。详细地，额外激励器400可以包括多个激励换能器，并且可以基于由双耳渲染的音频信号模拟的声源的位置，选择多个激励换能器的至少一个。额外激励器400可以通过至少一个选择的激励换能器生成对用户的身体的刺激。在具体的实施例中，额外激励器400可以根据由双耳渲染的音频信号模拟的声源的位置与多个激励换能器的每一个之间的距离，选择多个激励换能器的至少一个。例如，额外激励器400可以包括用于生成对用户的正面的刺激的第一激励换能器，以及用于生成对用户的背部的刺激的第二激励换能器。其中，当双耳渲染器100模拟从位于用户的正面的声源传递的声音时，额外激励器400可以通过第一激励换能器生成对用户的身体的刺激。此外，当双耳渲染器100模拟位于用户的背面的声源传递的声音时，额外激励器400可以通过第二激励换能器生成对用户的身体的刺激。

如上所述，额外激励器400包括多个激励换能器。详细地，如图3所示，额外激励器400包括第一激励换能器e1、第二激励换能器e2、第三激励换能器e3和第四激励换能器e4。

在图3的实施例中，基于用于输出立体声的左侧的声音输出单元lo和用于输出立体声的左侧的声音输出单元ro，区分用户的左侧和右侧。

在本文中，第一激励换能器e1可以位于用户的左前侧，以及第三激励换能器e3可以位于用户的左后侧。此外，第二激励换能器e2可以位于用户的右前侧，以及第四激励换能器e4可以位于用户的右后侧。如上所述，额外激励器400可以基于由双耳渲染的音频信号模拟的声源的位置，通过第一至第四激励换能器e1至e4的至少一个，生成对用户的身体的刺激。

此外，激励换能器可以被包括在由用户穿戴的可穿戴装置中。详细地，激励换能器可以包括在护目镜、眼镜、头盔、头戴式耳机、耳机和头戴显示器(hmd)的至少一个中。

此外，由额外激励器400生成的刺激的大小可以具有阈值。额外激励器400可以基于阈值，生成对用户的身体的刺激。例如，额外激励器400可以不生成其大小等于或大于阈值的刺激。此外，额外激励器400可以根据用户输入，确定刺激大小的阈值。

此外，额外激励器400可以根据应用于区分对用户的身体的刺激的大小的步骤的缩放值，生成对用户的身体的刺激。额外激励器400可以基于用户输入设定缩放值。以这种方式，即使生成用于双耳渲染的音频信号的刺激，可以生成基于用户的不同大小的刺激。此外，额外激励器400可以基于用户的周围环境，设定由额外激励器400生成的刺激的大小的缩放值。此外，额外激励器400可以基于外部噪声，设定由额外激励器400生成的刺激的大小的缩放值。例如，基于外部噪声，额外激励器400可以在产生大噪声的大街中将由额外激励器400生成的刺激的大小的缩放值设定成大于在提供安静环境的图书馆中的缩放值。为此，额外激励器400可以包括能够检测外部环境的检测装置。在另一具体的实施例中，额外激励器400可以基于用户的位置，设定由额外激励器400生成的刺激的大小的缩放值。例如，当用户处于家中时，额外激励器400可以设定由额外激励器400生成的刺激的大小的缩放值高于当用户处于工作场所时的缩放值。为此，额外激励器400可以包括用于检测用户的位置的检测装置。

详细地，当双耳渲染的音频信号模拟移动声源时，额外激励器400可以基于由双耳渲染的音频信号模拟的声源的运动，生成对用户的身体的刺激。将参考图4，详细地描述该操作。

图4示出根据本发明的实施例的额外激励器根据由双耳音频信号模拟的声源的运动生成刺激。

如上所述，额外激励器400可以基于由双耳渲染的音频信号模拟的声源的运动，生成对用户的身体的刺激。详细地，额外激励器400可以基于由双耳渲染的音频信号模拟的声源的运动，选择被包括在额外激励器400中的多个激励换能器中的至少一个。在本文中，额外激励器400可以通过所选择的激励换能器，生成对用户的身体的刺激。详细地，额外激励器400可以基于由双耳渲染的音频信号模拟的声源的运动，确定激励换能器的刺激生成的开始、刺激生成的结束和生成的刺激的大小的至少一个。

图4(a)示出表示由双耳渲染的音频信号模拟的声源的运动的轨迹。图4(b)示出关于时间由第一至第四激励换能器e1至e2生成的刺激的大小。

在图4的实施例中，可以基于用于输出立体声的左侧的声音输出单元lo和用于输出立体声的右侧的声音输出单元ro，区分用户的左侧和右侧。

由双耳渲染的音频信号模拟的声源s1初始地位于用户的右前方。此后，由双耳渲染的音频信号模拟的声源沿凸向用户的头部的中心的抛物线轨迹，移动到用户的右后方。

详细地，在第一时段(t0-t1)，由双耳渲染的音频信号模拟的声源s1接近用户的头部的右前侧。因此，在第一时段(t0-t1)，通过第二激励换能器e2，额外激励器400逐步生成对用户的身体的刺激，并且在第一时段(t0-t1)的中间之后，通过第一激励换能器e1，开始生成振动。

此外，在第二时段(t1-t2)，由双耳渲染的音频信号模拟的声源s1经过用户的右耳。因此，在第二时段(t1-t2)中，额外激励器400逐步减小由第二激励换能器e2生成的刺激的大小，并且在第二时段(t1-t2)的中间之后，通过第三激励换能器e3和第四激励换能器e4，生成刺激。

此外，在第三时段(t2-t3)，由双耳渲染的音频信号模拟的声源s1位于用户的头部的右后侧。因此，在第三时段(t2-t3)中，额外激励器400停止第一激励换能器e1和第二激励换能器e2的操作，并且在第三时段(t2-t3)的中间之后，通过第三激励换能器e3和第四激励换能器e4继续生成刺激。

此外，在第四时段(t3-t4)中，由双耳渲染的音频信号模拟的声源s1移动到用户的头部的右后方，并且逐步移离用户。因此，在第四时段(t3-t4)中，额外激励器400停止第三激励换能器e1的操作，并且在第四时段(t3-t4)中，继续减小由第四激励换能器e3生成的刺激的大小。

通过该操作，双耳音频信号处理装置10可以指示从移动声源传递的声音的三维性。

在图3和4的实施例中，已经将额外激励器400描述为包括包括激励换能器。然而，如上所述，激励换能器可以位于额外激励器400外，并且额外激励器400可以生成用于控制在额外激励器外的激励换能器的控制信号。即使在这种情况下，可以同样应用生成对应于双耳音频信号的对用户的身体的刺激的图3和4的实施例。

当双耳音频信号处理装置10在输出双耳音频信号的同时生成附加刺激时，附加刺激会影响传递到用户的声音。例如，在通过骨传导的刺激的情况下，可以将增强低频分量的声音传递给用户。因此，双耳音频信号处理装置10可以基于是否生成附加刺激，在接收的音频信号上执行双耳渲染。

图5示出根据本发明的实施例，基于是否生成附加刺激，分离待输出的音频信号的双耳音频信号处理装置。

双耳音频信号处理装置10可以将接收的音频信号分成待通过额外激励器400输出的第一音频信号，以及待通过双耳渲染器100输出的第二音频信号。详细地，双耳音频信号处理装置10可以根据频率特性，将接收的音频信号分成第一音频信号和第二音频信号。在具体的实施例中，第一音频信号可以是低频带的音频信号，以及第二音频信号可以是中间频带和高频带的音频信号。在本文中，低频带的音频信号可以是具有低于第一参考值的频率的音频信号。此外，中频带的高频带的音频信号可以是具有高于第二参考值的频率的音频信号。在具体的实施例中，第一参考值可以等于或大于第二参考值。

为此，双耳渲染器100可以通过在接收的音频信号上执行低通滤波，生成第一音频信号，并且可以将第一音频信号传递到额外激励器400。此外，双耳渲染器100可以通过在接收的音频信号上执行高通滤波，生成第二音频信号。

在另一特定实施例中，双耳渲染器100可以将用于对除对应于第一音频信号的频带的音频信号外的剩余区域进行建模的头部相关传递函数(hrtf)应用于接收的音频信号。详细地，双耳渲染器100可以存储用于仅对与第二音频信号相对应的频带进行建模的hrtf，并且可以通过应用存储的hrtf，在第二音频信号上执行双耳渲染。在这种情况下，双耳渲染器100可以增加双耳渲染的处理效率。例如，双耳渲染器100可以同时存储向其应用高通滤波器以移除低频带的hrtf和不向其应用高通滤波器的hrtf。在这种情况下，代替通过高通滤波器滤波接收的音频信号且然后向其应用hrtf，应用高通滤波器的hrtf可以被直接应用于接收的音频信号。因此，可以使处理量减少了与通过高通滤波器滤波所需的处理一样多。

如上所述，第一音频信号是通过额外激励器400输出的音频信号。详细地，第一音频信号可以是由具有响应特性和对应于骨传导传感器的再现频带的频带的滤波器滤波的信号。其中，可以基于通过从由双耳音频信号处理装置10接收的音频信号减去第一音频信号获得的信号，生成第二音频信号。详细地，第二音频信号可以是通过从由双耳音频信号处理装置10接收的音频信号减去第一音频信号获得的信号。

双耳渲染器100可以在第二音频信号上执行双耳渲染并且可以输出双耳渲染信号。此外，额外激励器400可以基于第一音频信号，生成对用户的身体的刺激。在本文中，由额外激励器400生成生成的刺激可以是骨传导信号。

如上所述，双耳音频信号处理装置10可以基于是否生成附加刺激，在接收的音频信号上执行双耳渲染。因此，在生成附加刺激的情况下，如上所述，双耳音频信号处理装置10可以将接收的音频信号分成第一音频信号和第二音频信号。

此外，由额外激励器400生成的刺激可以是通过骨传导的刺激。

在图5的实施例中，双耳渲染器100包括音频信号分离单元110。音频信号分离单元110将接收的音频信号分成第一音频信号和第二音频信号。详细地，在生成附加刺激的情况下，音频信号分离单元110可以将接收的音频信号分成第一音频信号和第二音频信号。如上所述，在生成附加刺激的情况下，音频信号分离单元110可以根据频率特性，将接收的音频信号分成第一音频信号和第二音频信号。音频信号分离单元110的具体操作可以根据双耳渲染器100的上述操作。

图6示出根据本发明的实施例的双耳音频信号处理装置的操作。

双耳渲染器100接收音频信号(s501)。其中，由双耳渲染器100接收的音频信号可以是单声道音频信号或包括一个对象的音频信号。在另一实施例中，由双耳渲染器100接收的音频信号可以是包括多个对象的音频信号或多个声道信号。

双耳渲染器100在音频信号上执行双耳渲染(s503)。双耳渲染器100可以通过各种实施例在音频信号上执行双耳渲染。如上关于图5的实施例所述，双耳渲染器100可以基于是否生成附加刺激，在接收的音频信号上执行双耳渲染。由双耳音频信号处理装置10接收的音频信号可以包括第一音频信号和第二音频信号。其中，额外激励器400可以输出第一音频信号，以及双耳渲染器100可以输出第二音频信号。详细地，第二音频信号可以是通过从由双耳音频信号处理装置10接收的音频信号减去第一音频信号获得的信号。详细地，如上关于图5的实施例所述，由双耳渲染器100接收的信号可以被分成第一音频信号和第二音频信号。第一音频信号和第二音频信号可以具有如上所述的特定特性。

额外激励器400生成对应于双耳渲染的音频信号的附加刺激(s505)。为此，额外激励器400可以接收由双耳渲染器接收的音频信号。在另一具体实施例中，额外激励器400可以接收双耳渲染的音频信号。在另一具体的实施例中，如上所述，额外激励器400可以接收第一音频信号。在这种情况下，额外激励器400可以从由双耳渲染器100接收的音频信号、双耳渲染的音频信号以及第一音频信号的至少一个获得用于生成对用户的身体的刺激的信息。详细地，用于生成对用户的身体的刺激所需的信息可以是以下中的至少一个：指示由双耳渲染的音频信号模拟的声源的位置的位置信息、双耳渲染的音频信号的大小、双耳渲染的音频信号的频率、以及双耳渲染的音频信号的同步信息。其中，在音频信号为声道信号的情况下，位置信息可以是指示形成在由声道信号形成的三维声音场景上的声源的位置的信息。在音频信号为对象信号的情况下，位置信息可以是指示与由关于对象的元数据识别的三维声音场景上的位置对应的位置的信息。

双耳音频信号处理装置10可以进一步包括双耳参数控制器。双耳参数控制器生成用于双耳渲染的双耳参数，并且将该双耳参数递送到双耳渲染器100。在这种情况下，双耳参数控制器可以将生成对用户的身体的刺激所需的信息传递到额外激励器400。其中，额外激励器400可以基于生成对用户的身体的刺激所需的信息，生成附加刺激。

此外，由额外激励器400生成的刺激可以被递送到用户的头部。详细地，由额外激励器400生成的刺激可以被递送到用户的鼓膜。这是因为当声波通过头部被递送到鼓膜时，人类能更精确地识别声源的位置。为此，包括在额外激励器400中的激励换能器可以位于离用户的头部的某一距离内。详细地，激励换能器可以位于头部、耳朵和颈部的至少一个上。此外，额外激励器400可以包括多个激励换能器。可以预先指定多个激励换能器的每一个的位置。在另一具体实施例中，额外激励器400可以测量多个激励换能器的每一个的位置，并且可以根据多个激励换能器的每一个的测量位置生成刺激。详细地，额外激励器400可以确定刺激的大小、生成刺激的时间和刺激的持续时间的至少一个。

详细地，额外激励器400可以生成与双耳渲染的音频信号同步的刺激以将刺激提供给用户的身体。详细地，刺激可以包括非侵入性大脑/神经激发、振动和骨传导信号中的至少一个。详细地，非侵入性大脑/神经激发可以是经颅直流电刺激、经颅交流电刺激、经颅磁刺激和经颅电刺激中的任何一个。

此外，额外激励器400可以生成与双耳渲染的音频信号同步的刺激以向用户的身体提供刺激。在具体的实施例中，额外激励器400可以与输出双耳渲染的音频信号同时地生成对应于双耳渲染的音频信号的刺激。在另一具体的实施例中，额外激励器400可以在早于输出双耳渲染的音频信号的时间的某一时间，生成对应于双耳渲染的音频信号的刺激。在另一具体的实施例中，额外激励器400可以在晚于输出双耳渲染的音频信号的时间的某一时间，生成对应于双耳渲染的音频信号的刺激。在这些实施例中，双耳音频信号处理装置10可以基于额外激励器400生成刺激所花费的时间，调整双耳渲染的音频信号的输出时间。双耳音频信号处理装置10的具体操作可以与上述实施例相同。

此外，额外激励器400可以基于双耳渲染的音频信号的大小，生成对用户的身体的刺激。

此外，额外激励器400可以基于由双耳渲染的音频信号模拟的声源与用户之间的距离，生成对用户的身体的刺激。

此外，当用户难以识别由双耳渲染的音频信号模拟的声源的位置时，额外激励器400可以生成对用户的身体的刺激。详细地，在双耳渲染的音频信号的耳间声级差小于第一参考值的情形以及双耳渲染的音频信号的耳间时间差小于第二参考值的情形的至少一个中，额外激励器400可以生成对用户的身体的刺激。这里，额外激励器400的具体操作与上述实施例相同。

此外，额外激励器400可以基于双耳渲染的音频信号的频率特性，生成对用户的身体的刺激。

额外激励器400可以基于由双耳渲染的音频信号模拟的声源的位置，生成对用户的身体的刺激。详细地，额外激励器400可以包括多个激励换能器，并且可以基于由双耳渲染的音频信号模拟的声源的位置，选择多个激励换能器中的至少一个以生成刺激。这里，额外激励器400可以与双耳渲染的音频信号的模拟信号的时间同步。

此外，额外激励器400可以基于阈值，调整对用户的身体的刺激的大小。详细地，额外激励器400可以不生成其大小等于或大于阈值的刺激。在具体的实施例中，额外激励器400可以根据用户输入，确定刺激大小的阈值。

此外，额外激励器400可以根据应用于区分对用户的身体的刺激的大小的步骤的缩放值，生成对用户的身体的刺激。额外激励器400可以基于用户输入设定缩放值。

此外，当用户难以识别由双耳渲染的音频信号模拟的声源的位置时，额外激励器400可以生成对用户的身体的刺激。详细地，在双耳渲染的音频信号的耳间声级差小于第一参考值的情形以及双耳渲染的音频信号的耳间时间差小于第二参考值的情形的至少一个中，额外激励器400可以生成对用户的身体的刺激。这里，第一参考值和第二参考值可以彼此不同。详细地，在特定时间点的双耳渲染的音频信号的耳间声级差小于第一参考值的情形以及特定时间点的双耳渲染的音频信号的耳间时间差小于第二参考值的情形的至少一个中，在包括该时间点的时间段期间，额外激励器400可以生成对用户的身体的刺激。其中，可以预先确定包括该时间点的时间段的持续时间。在另一具体的实施例中，可以根据双耳渲染的音频信号的大小和双耳渲染的音频信号的频率的至少一个，改变包括该时间点的时间段的持续时间。在另一具体的实施例中，额外激励器400可以基于包括在应用于双耳渲染的hrtf中的陷波的频率值，生成附加刺激。详细地，额外激励器400可以基于被包括在hrtf中的陷波的频率值，确定是否生成附加刺激。此外，额外激励器400可以基于被包括在hrtf中的陷波的频率值，确定将生成附加刺激的位置。详细地，用户仅借助于双耳渲染的音频信号可能难以识别由双耳渲染的音频信号模拟的声源的高度。然而，由于人类耳朵水平上处于与水平面平行，用户能根据耳廓形状，通过hrtf的陷波频率，识别声源的高度。因此，额外激励器400可以基于包括在hrtf中的陷波的频率值，生成附加刺激，并且用户可以通过生成的附加刺激，识别由双耳渲染的音频信号模拟的声源的高度。

如上所述，激励换能器可以位于额外激励器400外部，以及额外激励器400可以生成用于控制位于额外激励器外的激励换能器的控制信号。即使在这种情况下，如上参考图6所述的实施例可以同样应用于双耳音频信号处理装置10。

根据本发明的实施例的双耳音频信号处理装置10可以用在各种声音输出装置和实现虚拟现实(vr)或增强现实(ar)的各种电子装置中。特别地，根据本发明的实施例的双耳音频信号处理装置10可以用在可穿戴电子装置，诸如hmd、眼镜、头盔等中。

尽管使用具体的实施例描述了本发明，但本领域的技术人员可以在不背离本发明的精神和范围的情况下做出改变和改进。即，尽管已经描述了用于多音频信号的双耳渲染的实施例，但本发明能同样应用和扩展到不仅包括音频信号，而且包括视频信号的各种多媒体信号。因此，本领域的技术人员从本发明的详细描述和实施例易于推断的任何衍生物应当解释为落在本发明的权利的范围内。