处理音频信号的方法和音频设备的制作方法
【专利摘要】本发明公开了一种处理音频信号的方法和音频设备。提供一种音频设备以及处理音频设备的音频信号的方法。所述方法包括：接收主音频和交互音频；利用用户的位置信息、交互音频的声源位置信息和扬声器位置信息对交互音频进行平移；根据主音频的空间特性渲染平移的交互音频；将渲染的交互音频和主音频混合并输出，以向用户提供更有现场感的交互音频。
【专利说明】处理音频信号的方法和音频设备
[0001]本申请要求2012年12月5日提交到韩国知识产权局的韩国专利申请第10-2012-0140581号的优先权，其公开通过引用被全部合并于此。
【技术领域】
[0002]本发明总的发明构思总体涉及提供音频设备、处理音频信号的方法以及存储执行该方法的程序的计算机可读记录介质，更具体地讲，涉及提供这样一种音频设备、处理音频信号的方法以及存储执行该方法的程序的计算机可读记录介质，其中，如果多媒体内容被播放，则所述音频设备响应于用户的控制提供交互音频。
【背景技术】
[0003]传统音频设备单方地将存储在多媒体内容中的音频提供给用户。然而，最近的音频设备提供存储在多媒体内容中的主音频以及响应于用户的输入而产生的交互音频。
[0004]例如，在游戏内容的情况下，音频设备提供在产生游戏内容时存储的主音频(例如，背景音乐)以及响应于用户控制而产生的交互音频。
[0005]然而，现有音频设备不考虑实现主音频的空间的特性而提供交互音频。例如，在射击游戏内容的情况下，作为交互音频的枪炮声根据实现主音频的空间(如，室内或室外空间)而变得不同。然而，现有音频设备不考虑实现主音频的空间而提供枪炮声。因此，由于不考虑主音频而提供交互音频，提供给用户的交互音频不真实，现场感较差。
[0006]另外，现有音频设备不考虑扬声器的位置和用户的位置而提供交互音频。因此，由于扬声器和用户的位置中的至少一个改变，导致提供给用户的交互音频不真实，现场感较差。
【发明内容】
[0007]本发明总的发明构思的示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其他缺点。另外，不要求本发明总的发明构思的示例性实施例克服上述缺点，本发明总的发明构思的示例性实施例可不克服上述任何问题。
[0008]本发明总的发明构思的另外的特征和效用将部分地在下面的描述中阐述，并且从所述描述中这部分将明显，或者可通过总的发明构思的实践被了解。
[0009]本发明总的发明构思的上述和/或其他特征和效用通过提供一种音频设备、处理音频信号的方法以及存储执行该方法的程序的计算机可读记录介质来实现，其中，所述音频设备包括根据用户的位置、扬声器的位置以及实现音频的空间的特性的交互音频，以便提供具有闻现场感的交互首频。
[0010]本发明总的发明构思的上述和/或其他特征和效用还可通过提供一种处理音频设备的音频信号的方法来实现。所述方法可包括:接收主音频和交互音频；利用用户的位置信息、交互音频的声源位置信息和扬声器位置信息对交互音频进行平移；根据主音频的空间特性渲染平移的交互音频；将渲染的交互音频和主音频混合并输出。[0011]如果音频设备被实现为输出具有不同仰角元素的多个声道的多个扬声器，则可将交互音频平移到具有仰角元素的3维(3D)空间中。
[0012]对交互音频进行平移的步骤可包括:感测用户的位置信息；利用感测到的用户的位置信息以及交互音频的声源的位置基于用户位置确定交互音频的声源的相对位置信息；利用感测到的用户的位置信息以及扬声器位置信息基于用户位置分析声源的平移系数；根据交互音频的声源的相对位置信息基于声源的平移系数将交互音频平移到具有仰角分量的3D空间中。
[0013]如果音频设备被实现为输出具有相同仰角元素的多个声道的多个扬声器，则可将交互音频平移为具有虚拟仰角分量。
[0014]当接收主音频和交互音频时，可一起接收主音频的空间信息。可利用主音频的空间信息渲染平移的交互音频。
[0015]主音频的空间信息可以是脉冲响应或传递函数。
[0016]可根据通过分析主音频确定的主音频的空间特性渲染平移的交互音频。
[0017]本发明总的发明构思的上述和/或其他特征和效用还可通过提供一种音频设备来实现，所述音频设备包括:输入装置，接收主音频和交互音频；平移装置，利用用户的位置信息、交互音频的声源的位置信息和扬声器位置信息对交互音频进行平移；渲染器，根据主音频的空间特性渲染平移的交互音频；输出装置，将渲染的交互音频和主音频混合并输出。
[0018]如果音频设备被实现为输出具有不同仰角元素的多个声道的多个扬声器，则平移装置可将交互音频平移到具有仰角元素的3D空间中。
[0019]所述平移装置可包括:用户位置传感器，感测用户的位置信息；相对位置信息确定器，利用由用户位置传感器感测的用户的位置信息以及交互音频的声源的位置基于用户位置确定交互音频的声源的相对位置信息；平移系数分析器，利用用户的位置信息以及扬声器位置信息基于用户位置分析声源的平移系数；3D平移装置，根据交互音频的声源的相对位置信息基于声源的平移系数将交互音频平移到具有仰角分量的3D空间中。
[0020]如果音频设备被实现为输出具有相同仰角元素的多个声道的多个扬声器，则平移装置可对交互音频进行平移以使得交互音频具有虚拟仰角分量。
[0021]输入装置可接收主音频的空间信息。渲染器可利用输入的主音频的空间信息渲染平移的交互音频。
[0022]主音频的空间信息可以是脉冲响应或传递函数。
[0023]所述渲染器可包括:空间特性确定器，分析主音频以确定主音频的空间特性。渲染器可根据由空间特性确定器确定的主音频的空间特性渲染平移的交互音频。
[0024]本发明总的发明构思的上述和/或其他特征和效用还可通过提供一种存储执行所述方法的程序的计算机可读记录介质来实现。
[0025]本发明总的发明构思的上述和/或其他特征和效用还可通过提供一种音频设备来实现，所述音频设备包括:平移装置，基于用户位置利用声源的相对位置信息和平移系数表将交互音频平移到三维(3D)空间中；渲染装置，利用主音频的空间信息渲染平移的交互音频；输出装置，将渲染的交互音频和主音频混合并输出。
[0026]所述音频设备还可包括:输入装置，接收主音频和交互音频，将主音频发送给渲染装置和输出装置，将交互音频发送给平移装置。
[0027]所述渲染装置可包括:存储装置，接收并存储主音频的空间信息；声场渲染装置，利用存储在所述存储装置中的主音频的空间信息渲染交互音频。
[0028]所述渲染装置可包括:空间特性确定装置，分析主音频的空间特性以确定主音频的空间信息，基于确定的主音频的空间信息产生环境指数或与环境指数相应的脉冲响应；声场渲染装置，反映主音频的空间信息以渲染平移的交互音频。
[0029]本发明总的发明构思的上述和/或其他特征和效用还可通过提供一种处理音频信号的方法来实现，所述方法包括:基于用户位置利用声源的相对位置信息和平移系数表将交互音频平移到三维(3D)空间；利用主音频的空间信息渲染平移的交互音频；将渲染的交互音频和主音频混合并输出。
【专利附图】
【附图说明】
[0030]通过下面结合附图对实施例进行的描述，本发明总的发明构思的这些和/或其他特征和效用将变得明显并更容易理解，其中:
[0031]图1是示出根据本发明总的发明构思的示例性实施例的音频设备的结构的示意性框图；
[0032]图2是示出根据本发明总的发明构思的示例性实施例的平移(panning)装置的结构的框图；
[0033]图3是示出根据本发明总的发明构思的示例性实施例的渲染器的结构的框图；
[0034]图4是示出根据本发明总的发明构思的另一示例性实施例的渲染器的框图；
[0035]图5是示出根据本发明总的发明构思的示例性实施例的处理音频信号的方法的流程图。
【具体实施方式】
[0036]现在将详细参照本发明总的发明构思的实施例，其示例示出于附图中，在附图中，相同标号始终指代相同元件。下面在参照附图的同时描述实施例以解释本发明总的发明构思。
[0037]在下面的描述中，即使在不同的图中，相同的元件也使用相同的附图标号。提供描述中定义的诸如详细构造和元件的内容以帮助全面理解本发明总的发明构思的示例性实施例。因此，明显的是，本发明总的发明构思的示例性实施例可在没有那些具体定义的内容的情况下实施。另外，不详细描述公知功能或构造，因为它们将在不必要的细节方面使本发明总的发明构思的示例性实施例模糊。
[0038]图1是示出根据本发明总的发明构思的示例性实施例的音频设备100的结构的示意性框图。参照图1，音频设备100包括输入装置110、平移装置120、渲染器130和输出装置 140。
[0039]输入装置110接收主音频和交互音频。这里，主音频可以是在执行多媒体内容时不考虑用户命令而输出的音频，交互音频可以是在执行多媒体内容时响应于用户输入而输出的音频。例如，如果多媒体内容是游戏内容，则主音频可以是在玩游戏时输出的背景音乐，交互音频可以是响应于用户输入而输出的声音效果(如，枪炮声等)。在接收到主音频和交互音频之后，输入装置Iio将主音频发送给渲染器130和输出装置140，并将交互音频发送给平移装置140。
[0040]平移装置120利用用户的位置信息、交互音频的扬声器位置信息和声源位置信息来对通过输入装置110输入的交互音频进行平移。这里，如果音频设备100被实现为输出具有不同仰角(elevation)元素的多个声道的多个扬声器，则平移装置120将交互音频平移到具有高水平分量的3维(3D)空间中。
[0041]现在将参照图2更详细地描述平移装置120。参照图2，平移装置120包括相对位置信息确定器121、平移系数分析器123和3D平移装置125。如图2所示，平移装置120接收交互音频数据、交互音频的声源位置信息、用户位置信息和扬声器位置信息。平移装置120通过输入装置110接收交互音频数据和交互音频的声源位置信息。平移装置120通过用户位置传感器127获取用户位置信息。这里，用户位置传感器通过各种类型的感测装置(如，相机、红外传感器等)获取用户位置信息。平移装置120从存储装置(未示出)接收扬声器位置信息。
[0042]相对位置信息确定器121利用交互音频的声源的位置信息和用户位置信息基于用户位置确定交互音频的声源的相对位置信息。换言之，相对位置信息确定器121基于由用户位置传感器127感测到的用户位置确定交互音频的声源的位置。例如，如果交互音频的声源的位置为基于参考点(0，0，0)的(x，y，z)，并且用户位于基于任意基准点的(a, b, c),则相对位置信息确定器121确定交互音频的声源的相对位置为(a+x, b+y, c+z)。
[0043]平移系数分析器123利用感测到的用户位置信息和扬声器位置信息来基于用户位置分析声源的平移系数。详细地讲，平移系数分析器123基于任意点根据扬声器的位置确定平移系数。这里，平移系数可按照一对一的方式与声源的位置映射，然后以表的形式存储。平移系数分析器123将任意点的平移系数表转换为基于用户位置的平移系数表，以分析最佳平移系数表。
[0044]3D平移装置125利用从相对位置信息确定器121输出的声源的相对位置信息以及从平移系数分析器123输出的平移系数表将交互音频平移到3D空间中。详细地讲，如果音频设备100被实现为输出具有不同仰角元素的多个声道的多个扬声器，则3D平移装置125将交互音频的声源的相对3D位置应用于平移系数表，以对交互音频进行平移。这里，3D平移装置125利用矢量基幅度平移(VBAP)方法来将音频信号平移到3D空间中。这里，VBAP方法是指利用两个或三个扬声器所形成的扬声器组播放由扬声器形成的空间内的虚拟声源的方法。
[0045]然而，根据本发明总的发明构思的另一示例性实施例，如果音频设备100被实现为具有相同仰角元素的多个扬声器，则3D平移装置125可利用多个扬声器对音频信号进行平移以使得音频信号包括虚拟仰角元素。这里，音频设备100可使用上扬声器系统来利用具有相同仰角元素的多个扬声器输出具有虚拟仰角元素的音频信号。详细地讲，上扬声器系统是能够执行声聚焦的扬声器系统。上扬声器系统可通过具有强线性的超声扬声器执行声聚焦，可通过扬声器阵列执行波束成形以执行声聚焦，或者可根据基于心理声学的仰角使用音染滤波器。通过上扬声器系统播放的音频通过天花板或特定反射表面反射以传输给用户，在声像具有仰角的情况下产生的频率特性被传输，用户感觉就像他/她听到来自上方的声音。[0046]平移装置120根据如上所述的方法将交互音频平移到3D空间中，并将平移的交互音频输出给渲染器130。
[0047]渲染器130根据由主音频实现的空间的特性(以下称作主音频的空间信息)渲染交互音频。详细地讲，渲染器130以环境指数来对主音频的空间特性数字化，并反映环境指数以渲染交互音频。这里，环境指数对应于交互音频在空间中回响的数字化的回响时间，并且可根据主音频的空间特性而改变。例如,如果由主音频实现的空间为洞穴,则交互音频回响较长时间，因此环境指数大。如果由主音频实现的空间为室外，则交互音频回响较短时间，因此环境指数小。
[0048]如本发明总的发明构思的上述示例性实施例中一样，如果从环境指数实现主音频的空间特性，则计算多回响作为脉冲响应或传递函数。然而，从存储在渲染器130中的脉冲响应或传递函数的值选择与环境指数匹配的值，然后将其反映在交互音频上。
[0049]可使用直接读取并反映不是数字化环境指数的脉冲响应或传递函数的方法。详细地讲，如果针对空间计算脉冲响应或传递函数，则在时域中将脉冲响应或传递函数与交互音频卷积或者执行块卷积以在交互音频上反映对应空间特性。
[0050]渲染器130可根据各种方法获取主音频的空间特性。现在将参照图3和图4描述通过渲染器130获取主音频的空间特性的方法。
[0051]图3是示出根据本发明总的发明构思的示例性实施例的渲染器130a的结构的框图。参照图3，渲染器130a包括声场渲染器131和存储装置133。这里，当输入主音频时，存储装置133接收并存储主音频的空间信息。例如，存储装置133从流化/存储多媒体内容的介质(如，来自互联网源的流介质、数字通用盘(DVD)或蓝光盘(BD)等)读取被数字化为环境指数的主音频的空间信息，并流化/存储该空间信息。声场渲染器131利用存储在存储装置133中的主音频的空间信息来渲染交互音频。
[0052]图4是示出根据本发明总的发明构思的另一示例性实施例的渲染器130b的结构的框图。参照图4，渲染器130b包括声场渲染器131和空间特性确定器135。这里，空间特性确定器135分析输入的主音频以分析主音频的空间特性。详细地讲，空间特性确定器135分析主音频的特性以确定由主音频实现的空间信息，并基于确定的空间信息产生环境指数或与环境指数相应的脉冲响应。例如，空间特性确定器135分析主音频的回响时间以产生主音频的环境指数。声场渲染器131反映由空间信息确定器135确定的主音频的空间信息，以渲染交互音频。具体地讲，图4的渲染器130b可应用于过去制造的未存储主音频的空间信息的介质。
[0053]输出装置140输出主音频和由渲染器130渲染的交互音频。这里，输出装置140可包括将主音频与由渲染器130渲染的交互音频混合的混合器(未不出)。
[0054]如上所述，音频设备100根据用户的位置、扬声器的位置和主音频的空间特性来提供交互音频。因此，用户更有现场感地聆听交互音频。
[0055]现在将参照图5描述处理音频设备100的音频信号的方法。
[0056]参照图5，在操作S510中，音频设备100接收主音频和交互音频。这里，主音频可以是在执行多媒体内容时不考虑用户命令而输出的音频。交互音频可以是在执行多媒体内容时响应于用户命令而输出的音频。
[0057]在操作S520中，音频设备100利用用户的位置信息、交互音频的声源位置信息和扬声器位置信息来对交互音频进行平移。详细地讲，音频设备100利用用户的位置信息和交互音频的声源位置信息来基于用户位置确定交互音频的声源的相对位置。音频设备100基于用户的位置信息和扬声器的位置信息分析最佳平移系数表。音频设备100将交互音频的声源的相对位置应用于平移系数表以对交互音频进行平移。这里，音频设备100将交互音频平移到3D空间中，以使得通过具有不同仰角元素的扬声器输出交互音频。
[0058]在操作S530中，音频设备100根据主音频的空间特性渲染平移的交互音频。这里，主音频的空间特性可被数字化为环境指数，但本发明总的发明构思不限于此。例如，如果针对空间计算脉冲响应或传递函数，则在时域中将脉冲响应或传递函数与交互音频卷积或者执行块卷积以在交互音频上反映相应的空间特性。因此，可将主音频的空间特性实现为脉冲响应或传递函数。当主音频输入时，音频设备100 —起接收主音频的空间信息，将主音频的空间信息存储在存储装置133中，并分析主音频以确定主音频的空间信息。
[0059]在操作S540中，音频设备100将渲染的交互音频与主音频混合。在操作S550中，音频设备100通过多个扬声器输出混合的音频。
[0060]如上所述，根据处理音频信号的方法，用户接收到根据用户的位置和由主音频实现的空间而提高了现场感的交互音频。
[0061]根据本发明总的发明构思的上述各种示例性实施例的处理音频设备的音频信号的方法可被实现为程序并提供给显示设备。
[0062]详细地讲，可提供一种存储有程序的非暂时性计算机可读介质，所述程序实现如下步骤:接收主音频和交互音频；利用用户的位置信息、交互音频的声源位置信息和扬声器位置信息对交互音频进行平移；根据主音频的空间特性渲染平移的交互音频；将渲染的交互音频和主音频混合并输出。
[0063]非暂时性计算机可读介质是指这样的介质，其并非如寄存器、缓存、内存等那样短时间存储数据，而是半永久地存储数据并可由装置读取。详细地讲，上述应用或程序可被存储并提供在诸如CD、DVD、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等的非暂时性计算机可读介质上。
[0064]尽管已示出并描述了本发明总的发明构思的一些实施例，但是本领域技术人员将理解，在不脱离总的发明构思的原理和精神的情况下可对这些实施例进行改变，总的发明构思的范围在权利要求及其等同物中限定。
【权利要求】
1.一种处理音频设备的音频信号的方法，所述方法包括: 接收主音频和交互音频； 利用用户的位置信息、交互音频的声源位置信息和扬声器位置信息对交互音频进行平移； 根据主音频的空间特性渲染平移的交互音频； 将渲染的交互音频和主音频混合并输出。
2.根据权利要求1所述的方法，其中如果音频设备被实现为输出具有不同仰角元素的多个声道的多个扬声器，则将交互音频平移到具有仰角元素的3维3D空间中。
3.根据权利要求2所述的方法，其中对交互音频进行平移的步骤包括: 感测用户的位置信息； 利用感测到的用户的位置信息以及交互音频的声源的位置基于用户位置确定交互音频的声源的相对位置信息； 利用感测到的用户的位置信息以及扬声器位置信息基于用户位置分析声源的平移系数； 根据交互音频的声源的相对位置信息基于声源的平移系数将交互音频平移到具有仰角分量的3D空间中。
4.根据权利要求1所述·的方法，其中对交互音频进行平移的步骤包括: 如果音频设备被实现为输出具有相同仰角元素的多个声道的多个扬声器，则将交互音频平移为具有虚拟仰角分量。
5.根据权利要求1所述的方法,其中，当接收主音频和交互音频时,一起接收主音频的空间信息， 其中，当渲染平移的交互音频时，利用主音频的空间信息渲染平移的交互音频。
6.根据权利要求5所述的方法，其中，主音频的空间信息是脉冲响应或传递函数。
7.根据权利要求1所述的方法，其中，当渲染平移的交互音频时，根据通过分析主音频确定的主音频的空间特性渲染平移的交互音频。
8.一种音频设备，包括: 输入装置，接收主音频和交互音频； 平移装置，利用用户的位置信息、交互音频的声源的位置信息和扬声器位置信息对交互音频进行平移； 渲染器，根据主音频的空间特性渲染平移的交互音频； 输出装置，将渲染的交互音频和主音频混合并输出。
9.根据权利要求8所述的音频设备，其中如果音频设备被实现为输出具有不同仰角元素的多个声道的多个扬声器，则平移装置将交互音频平移到具有仰角元素的3D空间中。
10.根据权利要求9所述的音频设备，其中，所述平移装置包括: 用户位置传感器，感测用户的位置信息； 相对位置信息确定器，利用由用户位置传感器感测的用户的位置信息以及交互音频的声源的位置来基于用户位置确定交互音频的声源的相对位置信息； 平移系数分析器，利用用户的位置信息以及扬声器位置信息基于用户位置分析声源的平移系数；3D平移装置，根据交互音频的声源的相对位置信息基于声源的平移系数将交互音频平移到具有仰角分量的3D空间中。
11.根据权利要求8所述的音频设备，其中，如果音频设备被实现为输出具有相同仰角元素的多个声道的多个扬声器，则平移装置对交互音频进行平移以使得交互音频具有虚拟仰角分量。
12.根据权利要求8所述的音频设备，其中，输入装置接收主音频的空间信息， 其中，渲染器利用输入的主音频的空间信息渲染平移的交互音频。
13.根据权利要求12所述的音频设备，其中，主音频的空间信息是脉冲响应或传递函数。
14.根据权利要求8所述的音频设备，其中，所述渲染器包括: 空间特性确定器，分析主音频以确定主音频的空间特性， 其中，渲染器根据由空间特·性确定器确定的主音频的空间特性渲染平移的交互音频。
【文档编号】H04S5/00GK103856878SQ201310652342
【公开日】2014年6月11日 申请日期:2013年12月5日 优先权日:2012年12月5日
【发明者】田相培, 金善民, 朴在夏, 金显民, 金正寿 申请人:三星电子株式会社