信号处理装置和方法以及程序与流程

1.本技术涉及信号处理装置、信号处理方法和程序，并且更具体地涉及能够提供更高的真实感的信号处理装置、信号处理方法和程序。


背景技术：

2.例如，为了从诸如鸟瞰图或步行穿越的自由视点再现声场，以尽可能高的信噪比(snr)记录诸如人的声音、诸如运动中的踢球声音的选手的运动声音或音乐中的乐器声音的目标声音非常重要。
3.此外，同时，对于目标声音的每个声源，必须再现具有精确定位的声音，并且使声像定位等跟随视点或声源的移动。
4.顺便提及，期望能够在自由视点或固定视点内容中提供更高的真实感的技术，并且已经提出了大量这样的技术。
5.例如，作为关于从自由视点再现声场的技术，提出了用于在用户可以自由指定收听位置的情况下，根据从改变的收听位置到音频对象的距离执行增益校正和频率特性校正的技术(例如，参见专利文献1)。
6.引用列表
7.专利文件
8.专利文献1：wo 2015/107926 a。


技术实现要素：

9.本发明要解决的问题
10.然而，上述技术在某些情况下不能提供足够高的真实感。
11.例如，在现实世界中，声源不是点声源，并且声波从具有尺寸的发声体以包括由发声体引起的反射和衍射的特定方向特性传播。
12.然而，目前已经进行了大量尝试记录目标空间中的声场，并且即使在针对每个声源(即，针对每个音频对象)执行记录的情况下，在某些情况下也不能获得足够高的真实感，这是因为在再现侧不考虑每个音频对象的方向。
13.本技术是鉴于这种情况而做出的，并且本技术的目的是提供更高的真实感。
14.问题的解决方案
15.根据本技术的一个方面的信号处理装置包括：获取单元，其获取元数据和音频对象的音频数据，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方向信息；以及信号生成单元，其基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号。
16.根据本技术的一个方面的信号处理方法或程序包括：获取元数据和音频对象的音频数据的步骤，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方
向信息；以及基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号的步骤。
17.在本技术的一个方面，获取元数据和音频对象的音频数据，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方向信息；以及基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号。
附图说明
18.图1是包括在内容中的对象的方向的说明图。
19.图2是对象的方向特性的说明图。
20.图3示出了元数据的语法示例。
21.图4示出了方向特性数据的语法示例。
22.图5示出了信号处理装置的配置示例。
23.图6是相对方向信息的说明图。
24.图7是相对方向信息的说明图。
25.图8是相对方向信息的说明图。
26.图9是相对方向信息的说明图。
27.图10是示出内容再现处理的流程图。
28.图11示出了计算机的配置示例。
具体实施方式
29.在下文中，将参考附图描述应用本技术的实施例。
30.《第一实施例》
31.《本技术》
32.本技术涉及一种传输再现系统，该系统能够通过适当地发送指示用作声源的音频对象的方向特性的方向特性数据并且基于方向特性数据在内容再现侧的内容再现中反映音频对象的方向特性来提供更高的真实感。
33.用于再现用作声源的音频对象(在下文中，也被简称为对象)的声音的内容例如是固定视点内容或自由视点内容。
34.在固定视点内容中，收听者的视点位置，即收听位置(收听点)被设置为预定的固定位置，而在自由视点内容中，作为收听者的用户可以实时自由指定收听位置(视点位置)。
35.在现实世界中，每个声源都有独特的方向特性。即，即使是从同一声源发出的声音，也根据从声源观察的方向而具有不同的声音传递特性。
36.因此，在内容中用作声源的对象或收听位置处的收听者自由移动或旋转的情况下，收听者收听对象的声音的方式也根据对象的方向特性而变化。
37.在内容的再现中，通常执行根据从收听位置到对象的距离再现距离衰减的处理。同时，本技术不仅考虑距离衰减而且还考虑对象的方向特性来再现内容，从而提供更高的真实感。
38.即，在本技术中收听者或对象自由移动或旋转的情况下，不仅考虑收听者与对象之间的距离，而且例如还考虑收听者与对象之间的相对方向，将根据距离衰减和方向特性的传递特性动态添加到每个对象的内容的声音中。
39.例如，通过根据距离衰减和方向特性的增益校正、基于考虑距离衰减和方向特性的波前振幅和相位传播特性的波场合成处理等来添加传递特性。
40.本技术使用方向特性数据以添加根据方向特性的传递特性。在与每个目标声源(即对象的每个类型)相对应地准备方向特性数据的情况下，可以提供更高的真实感。
41.例如，可以通过预先使用麦克风阵列等记录声音或通过执行模拟并计算从对象发出的声音通过空间传播时每个方向和每个距离的传递特性来获得每种类型的对象的方向特性数据。
42.每种类型的对象的方向特性数据与内容的音频数据一起或分开地被预先发送到再现侧的装置。
43.然后，当再现内容时，再现侧的装置使用方向特性数据来将根据距对象的距离和方向特性的传递特性添加到对象的音频数据，即添加到用于再现内容的声音的再现信号。
44.这使得可以再现具有更高的真实感的内容。
45.在本技术中，针对每种类型的声源(对象)，添加根据收听者与对象之间的相对位置关系(即，根据收听者与对象之间的相对距离或方向)的传递特性。因此，即使在对象和收听位置等距的情况下，收听者听到对象的声音的方式也根据收听者从哪个方向听到声音而变化。这使得可以再现更真实的声场。
46.本技术适用的内容的示例包括以下内容：
[0047]-再现执行团队运动的场地的内容；
[0048]-再现存在多个表演者的空间(诸如音乐剧、歌剧或戏剧)的内容；
[0049]-在现场表演场地或主题公园中再现任意空间的内容；
[0050]-再现管弦乐队、军乐队等表演的内容；以及
[0051]-诸如游戏的内容。
[0052]
注意，例如，在军乐队等的表演内容中，表演者可以静止或移动。
[0053]
接下来，在下文中，将更详细地描述本技术。
[0054]
例如，将描述内容再现足球场上的任意位置被设置为收听位置的声场的示例。
[0055]
在这种情况下，例如，如图1所示，场上有各队队员和裁判员，并且这些队员和裁判员是音源，即音频对象。
[0056]
在图1的示例中，图1中的每个圆圈表示选手或裁判员，即对象，并且每个圆圈所附的线段的方向表示圆圈所表示的选手或裁判员所面向的方向，即诸如选手或裁判员的对象的方向。
[0057]
在这里，这些对象在不同的位置面向不同的方向，并且对象的位置和方向随时间而变化。即，每个对象随着时间移动或旋转。
[0058]
例如，对象ob11是裁判员，并且在对象ob11的位置被设置为视点位置(收听位置)和图1中的向上方向(即对象ob11的方向被设置为视线方向)的情况下获得的视频和音频作为内容呈现给收听者作为示例。
[0059]
在图1的示例中，每个对象位于二维平面上，但是实际上，每个作为对象的选手和
裁判员在嘴的高度、作为生成踢球声音的位置的脚的高度等方面是不同的。此外，对象的姿势也不断变化。
[0060]
即，在实践中，每个对象和视点(收听位置)两者都位于三维空间中，并且同时，视点处的这些对象和收听者(用户)以各种姿势面向各个方向。
[0061]
以下是根据对象的方向的方向特性可以反映在内容中的情况的分类。
[0062]
(情况1)
[0063]
对象或收听位置位于二维平面上，并且仅考虑指示对象的方向的方位角(yaw)，而未考虑仰角(pitch)或倾斜角(roll)的情况。
[0064]
(情况2)
[0065]
对象或收听位置位于三维空间中，并且考虑指示对象的方向的方位角和仰角，而未考虑指示对象的旋转的倾斜角的情况。
[0066]
(情况3)
[0067]
对象或收听位置位于三维空间中，并且考虑包括指示对象的方向的方位角和仰角以及指示对象的旋转的倾斜角的欧拉角的情况。
[0068]
本技术适用于上述情况1至情况3中的任何一种情况，并且在每种情况下，适当地考虑收听位置、对象的位置以及对象的方向和旋转(倾斜)(即对象的旋转角度)来再现内容。
[0069]
《传输装置》
[0070]
传输和再现这种内容的传输再现系统例如包括传输内容的数据的传输装置和用作根据从传输装置传输的内容的数据再现内容的再现装置的信号处理装置。注意，一个或多个信号处理装置可以用作再现装置。
[0071]
传输再现系统的传输侧的传输装置例如传输用于再现包括在内容中的一个或多个对象中的每一个的声音的音频数据和作为内容的数据的每个对象的元数据(音频数据)。
[0072]
在这里，元数据包括声源类型信息、声源位置信息和声源方向信息。
[0073]
声源类型信息是指示用作声源的对象的类型的id信息。
[0074]
例如，声源类型信息可以是诸如选手或乐器的声源独有的信息(指示用作声源的对象本身的类型(种类))，也可以是指示从对象发出的声音(诸如选手的声音、踢球声音、拍手声音或其他运动声音)的类型的信息。
[0075]
另外，声源类型信息可以是指示对象本身的类型和从对象发出的声音的类型的信息。
[0076]
此外，针对声源类型信息所指示的每种类型准备方向特性数据，并且基于针对声源类型信息确定的方向特性数据在再现侧生成再现信号。因此，也可以说声源类型信息是指示方向特性数据的id信息。
[0077]
在传输装置中，声源类型信息例如被手动分配给包括在内容中的每个对象并且被包括在对象的元数据中。
[0078]
此外，包括在元数据中的声源位置信息指示用作声源的对象的位置。
[0079]
在这里，声源位置信息例如是指示由诸如全球定位系统(gps)模块的位置测量模块测量(获取)的地球表面上的绝对位置的纬度和经度、通过将纬度和经度转换为距离而获得的坐标等。
[0080]
另外，声源位置信息可以是任何信息，只要该信息指示对象的位置，诸如以在要记录内容的目标空间(目标区域)中的预定位置作为参考位置的坐标系中的坐标。
[0081]
此外，在声源位置信息为坐标(坐标信息)的情况下，该坐标可以是任何坐标系中的坐标，诸如包括方位角、仰角和半径的极坐标系中的坐标，xyz坐标系中的坐标，即三维正交坐标系中的坐标或者二维正交坐标系中的坐标。
[0082]
此外，包括在元数据中的声源方向信息指示声源位置信息所指示的位置处的对象所面对的绝对方向，即对象的前面方向(正面方向，front direction)。
[0083]
注意，声源方向信息不仅可以包括指示对象的方向的信息，还可以包括指示对象的旋转(倾斜)的信息。在下文中，声源方向信息包括指示对象的方向的信息和指示对象的旋转的信息。
[0084]
具体地，例如，声源方向信息包括在用作声源位置信息的坐标的坐标系中指示对象的方向的方位角ψo和仰角θo，以及在用作声源位置信息的坐标的坐标系中指示对象的旋转(倾斜)的倾斜角
[0085]
换句话说，可以说，声源方向信息指示欧拉角，包括指示对象的绝对方向和旋转的方位角ψo(yaw)、仰角θo(pitch)和倾斜角例如，可以从附接到对象的地磁传感器、对象用作目标的视频数据等中获得声源方向信息。
[0086]
传输装置针对每个对象，针对音频数据的每个帧或者针对每个离散的单位时间，诸如针对预定数量的帧，即，以预定时间间隔生成声源位置信息和声源方向信息。
[0087]
然后，包括声源类型信息、声源位置信息和声源方向信息的元数据与对象的音频数据一起针对每单位时间(诸如针对每帧)被发送到信号处理装置。
[0088]
此外，传输装置针对声源类型信息所指示的每个声源类型，预先或顺序地将方向特性数据发送到再现侧的信号处理装置。注意，信号处理装置可以从与传输装置不同的装置等获取方向特性数据。
[0089]
方向特性数据指示声源类型信息所指示的声源类型的对象的方向特性，即从对象观察的各个方向的传递特性。
[0090]
例如，如图2所示，每个声源具有特定于声源的方向特性。
[0091]
例如，在图2的示例中，作为声源的哨子具有声音沿前面(前方)方向强烈传播的方向性，即具有如箭头q11所示的尖锐的前面方向性。
[0092]
此外，例如，从用作声源的尖峰等发出的脚步声具有声音以大致相同的强度在所有方向传播的方向特性(非方向性)，如箭头q12所示。
[0093]
此外，例如，从用作声源的选手的嘴发出的声音具有声音向前面和侧面强烈传播的方向特性，即，具有如箭头q13所示的相对强的前面方向性。
[0094]
可以通过使用例如消声室等中的麦克风阵列，针对每种声源类型获取声音到周围环境的传播特性(传递特性)来获得指示这种声源的方向特性的方向特性数据。另外，也可以通过例如对模拟声源的形状的3d数据执行模拟来获得方向特性数据。
[0095]
具体地，方向特性数据例如是针对指示声源类型的id的值i确定的被定义为指示从声源观察的方向的方位角ψ和仰角θ的函数的增益函数dir(i，ψ，θ)。
[0096]
此外，不仅具有方位角ψ和仰角θ而且还具有距离散化的声源的距离d作为参数的
增益函数dir(i，d，ψ，θ)可以用作方向特性数据。
[0097]
在这种情况下，当每个参数被代入增益函数dir(i，d，ψ，θ)时，获得指示声音传递特性(传播特性)的增益值作为增益函数dir(i，d，ψ，θ)的输出。
[0098]
增益值指示从id值为i的声源类型的声源发出的声音在从声源观察的方位角ψ和仰角θ的方向上传播并且到达距声源距离d处的位置(在下文中，被称为位置p)的特性(传递特性)。
[0099]
因此，在id值为i的声源类型的音频数据根据增益值进行增益校正的情况下，可以再现从id值为i的声源类型的声源发出并且应该在位置p实际听到的声音。
[0100]
具体地，在该示例中，在使用用作增益函数dir(i，d，ψ，θ)的输出的增益值的情况下，可以实现用于添加由考虑到距声源的距离(即，距离衰减)的方向特性指示的传递特性的增益校正。
[0101]
注意，方向特性数据可以例如是指示还考虑了混响特性等的传递特性的增益函数。另外，方向特性数据可以例如是高保真立体声格式数据(ambisonics format data)，即，在每个方向上包括球面谐波系数(球面谐波频谱)的数据。
[0102]
传输装置将如上所述为每个声源类型准备的方向特性数据发送到再现侧的信号处理装置。
[0103]
这里，将描述传输元数据和方向特性数据的具体示例。
[0104]
例如，为对象的音频数据的具有预定时间长度的每个帧准备元数据，并且针对每个帧通过使用图3所示的比特流语法将元数据发送到再现侧。注意，在图3中，uimsbf表示无符号整数msb在前，并且tcimsbf表示二进制补码整数msb在前。
[0105]
在图3的示例中，元数据包括内容中包括的每个对象的声源类型信息“object_type_index”、声源位置信息“object_position[3]”和声源方向信息“obiect_direction[3]”。
[0106]
具体地，在该示例中，声源位置信息object_position[3]被设置为以对象位于其中的目标空间中的预定参考位置为原点的xyz坐标系(三维正交坐标系)的坐标(xo，yo，zo)。坐标(xo，yo，zo)指示对象在xyz坐标系中(即在目标空间中)的绝对位置。
[0107]
此外，声源方向信息object_direction[3]包括指示对象在目标空间中的绝对方向的方位角ψo、仰角θo和倾斜角
[0108]
例如，在自由视点内容中，视点(收听位置)在内容的再现期间随时间变化。因此，当对象的位置由指示绝对位置的坐标而不是基于收听位置的相对坐标表示时，生成再现信号是有利的。
[0109]
同时，例如，在固定视点内容的情况下，包括指示从收听位置观察的对象的方向的方位角和仰角以及指示从收听位置到对象的距离的半径的极坐标系的坐标被优先设置为指示对象的位置的声源位置信息。
[0110]
注意，元数据的配置不限于图3的示例并且可以是任何其他配置。此外，仅需要以预定时间间隔传输元数据，并不总是需要针对每一帧传输元数据。
[0111]
此外，每个声源类型的方向特性数据可以存储在元数据中并且然后发送，或者可以通过使用例如图4所示的比特流语法与元数据和音频数据分开预先发送。
[0112]
在图4的示例中，具有距声源的距离“distance”以及指示从声源观察的方向的方
位角“azimuth”和仰角“elevation”作为参数的增益函数“object_directivity[distance][azimuth][elevation]”被发送作为与预定声源类型信息的值相对应的方向特性数据。
[0113]
注意，方向特性数据可以是用作参数的方位角和仰角的采样间隔不是等角间隔的格式的数据，或者可以是更高阶高保真立体声(hoa)格式的数据，即高保真立体声格式(球面谐波系数)。
[0114]
例如，一般的声源类型的方向特性数据优先预先传输到再现侧。
[0115]
同时，具有非一般方向特性的声源的方向特性数据(诸如没有预先定义的对象)可以包括在图3的元数据中并作为元数据发送。
[0116]
如上所述，元数据、音频数据和方向特性数据从传输装置传输到再现侧的信号处理装置。
[0117]
《信号处理装置的配置示例》
[0118]
接下来，将描述作为再现侧的装置的信号处理装置。
[0119]
例如，再现侧的信号处理装置被配置为如图5所示。
[0120]
图5的信号处理装置11基于预先从传输装置等获取或预先共享的方向特性数据，生成用于再现收听位置处的内容(对象)的声音的再现信号，并将再现信号输出到再现单元12。
[0121]
例如，信号处理装置11通过使用方向特性数据执行基于矢量的幅度平移(vbap)或波场合成的处理、头部相关传递函数(hrtf)卷积处理等来生成再现信号。
[0122]
再现单元12例如包括头戴式耳机、耳机、包括两个或更多个扬声器的扬声器阵列等，并且基于从信号处理装置11提供的再现信号再现内容的声音。
[0123]
此外，信号处理装置11包括获取单元21、收听位置指定单元22、方向特性数据库单元23和信号生成单元24。
[0124]
获取单元21例如通过接收从传输装置传输的数据或从通过有线等连接的传输装置读取数据来获取方向特性数据、元数据和音频数据。
[0125]
注意，获取方向特性数据的定时与获取元数据和音频数据的定时可以相同或不同。
[0126]
获取单元21将所获取的方向特性数据和元数据提供给方向特性数据库单元23，并且还将所获取的元数据和音频数据提供给信号生成单元24。
[0127]
收听位置指定单元22指定目标空间中的收听位置和处于收听位置的收听者(用户)的方向，并且作为指定结果，将指示收听位置的收听位置信息和指示收听者的方向的收听者方向信息提供给信号生成单元24。
[0128]
方向特性数据库单元23记录从获取单元21提供的多种声源类型中的每一种的方向特性数据。
[0129]
此外，在包括在元数据中的声源类型信息是从获取单元21提供的情况下，方向特性数据库单元23将所记录的多条方向特性数据中的由所提供的声源类型信息指示的声源类型的方向特性数据提供给信号生成单元24。
[0130]
信号生成单元24基于从获取单元21提供的元数据和音频数据、从收听位置指定单元22提供的收听位置信息和收听者方向信息以及从方向特性数据库单元23提供的方向特性数据来生成再现信号，并将再现信号提供给再现单元12。
[0131]
信号生成单元24包括相对距离计算单元31、相对方向计算单元32和方向性渲染单元33。
[0132]
相对距离计算单元31基于从获取单元21提供的包括在元数据中的声源位置信息和从收听位置指定单元22提供的收听位置信息计算收听位置(收听者)与对象之间的相对距离，并将指示计算结果的相对距离信息提供给方向性渲染单元33。
[0133]
相对方向计算单元32基于从获取单元21提供的包括在元数据中的声源位置信息和声源方向信息以及从收听位置指定单元22提供的收听位置信息和收听者方向信息计算收听者与对象之间的相对方向，并将指示计算结果的相对方向信息提供给方向性渲染单元33。
[0134]
方向性渲染单元33基于从获取单元21提供的音频数据、从方向特性数据库单元23提供的方向特性数据、从相对距离计算单元31提供的相对距离信息、从相对方向计算单元32提供的相对方向信息以及从收听位置指定单元22提供的收听位置信息和收听者方向信息执行渲染处理。
[0135]
方向性渲染单元33将通过渲染处理获得的再现信号提供给再现单元12，并使再现单元12再现内容的声音。例如，方向性渲染单元33执行用于vbap或波场合成的处理、hrtf卷积处理等作为渲染处理。
[0136]
《信号处理装置的每个单元》
[0137]
(收听位置指定单元)
[0138]
接下来，将更详细地描述信号处理装置11的每个单元。
[0139]
收听位置指定单元22响应于用户操作等来指定收听者的收听位置和方向。
[0140]
例如，在自由视点内容的情况下，正在观察内容的用户，即收听者在当前执行的服务、应用程序等中操作图形用户界面(gui)等，从而指定收听者的任意收听位置或方向。
[0141]
在这种情况下，收听位置指定单元22将由用户指定的收听者的收听位置和方向设置为用作内容的视点和收听者面对的方向(即收听者的方向)的收听位置(视点位置)。
[0142]
此外，例如，当用户从多个预定玩家等中指定期望的玩家时，可以将玩家的位置和方向设置为收听者的收听位置和方向。
[0143]
此外，收听位置指定单元22可以执行一些自动路由程序等或从包括再现单元12的头戴式显示器获取指示用户的位置和方向的信息，从而指定收听者的任意收听位置和方向而无需接收用户操作。
[0144]
如上所述，在自由视点内容中，收听者的收听位置和方向被设置为可以随时间改变的任意位置和任意方向。
[0145]
同时，在固定视点内容中，收听位置指定单元22将预定的固定位置和固定方向指定为收听者的收听位置和方向。
[0146]
指示收听位置的收听位置信息的具体示例例如是指示地球表面上的绝对位置的xyz坐标系或指示目标空间中的绝对位置的xyz坐标系中的指示收听位置的坐标(xv，yv，zv)。
[0147]
此外，例如，收听者方向信息可以是包括指示收听者在xyz坐标系中的绝对方向的方位角ψv和仰角θv和收听者在xyz坐标系中的绝对旋转(倾斜)角度的倾斜角(即，可以是欧拉角)的信息。
[0148]
具体地，在这种情况下，在固定视点内容中，例如仅需要设置收听位置信息(xv，yv，zv)＝(0，0，0)和收听者方向信息)＝(0，0，0)和收听者方向信息
[0149]
注意，在下文中，将在假设收听位置信息是xyz坐标系中的坐标(xv，yv，zv)并且收听者方向信息是欧拉角的情况下继续描述。
[0150]
类似地，在下文中，将在假设声源位置信息为xyz坐标系中的坐标(xo，yo，zo)并且声源方向信息为欧拉角的情况下继续描述。
[0151]
(相对距离计算单元)
[0152]
相对距离计算单元31计算从收听位置到对象的距离作为包括在内容中的每个对象的相对距离do。
[0153]
具体地，相对距离计算单元31通过基于收听位置信息(xv，yv，zv)和声源位置信息(xo，yo，zo)计算以下表达式(1)来获得相对距离do，并输出指示所获得的相对距离do的相对距离信息。
[0154]
[数学1]
[0155]do
＝sqrt((x
o-xv)2+(y
o-yv)2+(z
o-zv)2)
ꢀꢀꢀ
···
(1)
[0156]
(相对方向计算单元)
[0157]
此外，相对方向计算单元32获得指示收听者与对象之间的相对方向的相对方向信息。
[0158]
例如，相对方向信息包括对象方位角ψ
i_obj
、对象仰角θ
i_obj
、对象旋转方位角ψ
_roti_obj
和对象旋转仰角θ
_roti_obj
。
[0159]
这里，对象方位角ψ
i_obj
和对象仰角θ
i_obj
是分别指示从收听者观察的对象的相对方向的方位角和仰角。
[0160]
以收听位置信息(xv，yv，zv)指示的位置为原点并且将xyz坐标系旋转收听者方向信息指示的角度获得的三维正交坐标系将被称为收听者坐标系。在收听者坐标系中，收听者的方向，即收听者的前面方向被设置为+y方向。
[0161]
此时，指示对象在收听者坐标系中的方向的方位角和仰角是对象方位角ψ
i_obj
和对象仰角θ
i_obj
。
[0162]
类似地，对象旋转方位角ψ_
roti_obj
和对象旋转仰角θ
_roti_obj
是分别指示从对象观察的收听者的相对方向(收听位置)的方位角和仰角。换句话说，可以说，对象旋转方位角ψ
_roti_obj
和对象旋转仰角θ
_roti_obj
是指示对象的前面方向相对于收听者旋转了多少的信息。
[0163]
以声源位置信息(xo，yo，zo)指示的位置为原点并且将xyz坐标系旋转声源方向信息指示的角度获得的三维正交坐标系将被称为对象坐标系。在对象坐标系中，对象的方向，即对象的前面方向被设置为a+y方向。
[0164]
此时，指示收听者(收听位置)在对象坐标系中的方向的方位角和仰角是对象旋转方位角ψ_
roti_obj
和对象旋转仰角θ
_roti_obj
。
[0165]
这些对象旋转方位角ψ
_roti_obj
和对象旋转仰角θ
_roti_obj
是在渲染处理期间用于参考方向特性数据的方位角和仰角。
[0166]
注意，在下面的描述中，将诸如目标空间中的xyz坐标系、收听者坐标系以及对象
坐标系的每个三维正交坐标系中的方位角的前面方向(+y方向)的顺时针方向设为正方向。
[0167]
例如，在xyz坐标系中，在将诸如对象的目标点投影到xy平面之后，基于xy平面中的+y方向指示投影目标点的位置(方向)的角度，即投影目标点的方向与+y方向之间的角度被设置为方位角。此时，从+y方向起的顺时针方向为正方向。
[0168]
此外，在收听者坐标系或对象坐标系中，收听者或对象的方向，即收听者或对象的前面方向为+y方向。
[0169]
将诸如目标空间中的xyz坐标系、收听者坐标系和对象坐标系的每个三维正交坐标系中仰角的向上方向设置为正方向。
[0170]
例如，在xyz坐标系中，xy平面与穿过xyz坐标系的原点和诸如对象的目标点的直线之间的角度为仰角。
[0171]
此外，在将诸如对象的目标点投影到xy平面上并且将包括xyz坐标系的原点、目标点和投影目标点的平面设置为平面a的情况下，将从xy平面起的a+z方向设置为平面a上的仰角的正方向。
[0172]
注意，例如，在收听者坐标系或对象坐标系的情况下，对象或收听位置用作目标点。
[0173]
此外，在仰角旋转之后，诸如目标空间中的xyz坐标系、收听者坐标系、对象坐标系的每个三维正交坐标系中的倾斜角在+y方向为正方向时沿右上方向旋转的情况下，这种旋转被设置为正向旋转。
[0174]
注意，这里，在三维正交坐标系中指示收听位置、对象的方向等的方位角、仰角和倾斜角如上所述定义。然而，本技术不限于此并且即使在这些角度通过使用四元数、旋转矩阵等以另一种方式定义的情况下也不失一般性。
[0175]
这里，将描述相对距离do、对象方位角ψ
i_obj
、对象仰角θ
i_obj
、对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
的具体示例。
[0176]
首先，将描述在声源方向信息和收听者方向信息中仅考虑方位角而未考虑仰角和倾斜角的情况，即二维情况。
[0177]
例如，如图6所示，在以原点o为参考的xy坐标系中的点p21的位置被设置为收听位置，并且对象位于点p22的位置。
[0178]
此外，将通过点p21的线段w11的方向，更具体地，从点p21朝向与点p21相反的线段w11的端点的方向被设置为收听者的方向。
[0179]
类似地，通过点p22的线段w12的方向被设置为对象的方向。此外，通过点p21和点p22的直线被定义为直线l11。
[0180]
在这种情况下，点p21与点p22之间的距离被设置为相对距离do。
[0181]
此外，线段w11与直线l11之间的角度，即箭头k11所示的角度是对象方位角ψ
i_obj
。类似地，线段w12与直线l11之间的角度，即箭头k12所示的角度为对象旋转方位角ψ_rot
i_obj
。
[0182]
此外，在三维目标空间的情况下，相对距离do、对象方位角ψ
i_obj
、对象仰角θ
i_obj
、对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_r
oti_obj
如图7至图9所示。注意，图7至图9中的对应部分由相同的参考标记表示，并且将适当地省略其描述。
[0183]
例如，如图7所示，将点p31和p32在以原点o为参考的xyz坐标系中的位置分别设置
轴旋转角度θ以获得旋转后的x2y3z2空间的旋转矩阵。
[0200]
此外，表达式(2)的右侧从右数第四个矩阵是用于在x2z2平面中将x2y3z2空间绕y3轴旋转角度ψ以获得旋转后的x3y3z3空间的旋转矩阵。
[0201]
相对方向计算单元32通过使用表达式(2)所示的旋转矩阵来生成相对方向信息。
[0202]
具体地，相对方向计算单元32基于声源位置信息(xo，yo，zo)和收听者方向信息计算下面的表达式(3)，从而获得声源位置信息所指示的坐标(xo，yo，zo)的旋转后的坐标(x
o’，y
o’，z
o’)。
[0203]
[数学3]
[0204][0205]
在表达式(3)的计算中，设定θ＝-θv以及ψ＝-ψv，并计算旋转矩阵。
[0206]
这样获得的坐标(x
o’，y
o’，z
o’)指示对象在收听者坐标系中的位置。然而，这里的收听者坐标系的原点不是收听位置，而是目标空间中得xyz坐标系的原点o。
[0207]
接下来，相对方向计算单元32基于收听位置信息(xv，yv，zv)和收听者方向信息计算以下表达式(4)，从而获得收听位置信息所指示的坐标(xv，yv，zv)的旋转后的坐标(x
v’，y
v’，z
v’)。
[0208]
[数学4]
[0209][0210]
在表达式(4)的计算中，设定θ＝-θv以及ψ＝-ψv，并计算旋转矩阵。
[0211]
这样获得的坐标(x
v’，y
v’，z
v’)指示收听者坐标系中的收听位置。然而，这里的收听者坐标系的原点不是收听位置，而是目标空间中的xyz坐标系的原点o。
[0212]
此外，相对方向计算单元32基于由表达式(3)计算的坐标(x
o’，y
o’，z
o’)和由表达式(4)计算的坐标(x
v’，y
v’，z
v’)计算下面的表达式(5)。
[0213]
[数学5]
[0214][0215]
计算表达式(5)以获得指示对象在以收听位置为原点的收听者坐标系中的位置的坐标(x
o”，y
o”，z
o”)。坐标(x
o”，y
o”，z
o”)指示从收听者观察的对象的相对位置。
[0216]
相对方向计算单元32基于如上所述获得的坐标(xo″
，yo″
，zo″
)计算以下表达式(6)
和(7)，从而获得对象方位角ψ
i_obj
和对象仰角θ
i_obj
。
[0217]
[数学6]
[0218]
ψ
i_obj
＝arctan(y
o”/x
o”)
ꢀꢀꢀ
···
(6)
[0219]
[数学7]
[0220]
θ
i_obj
＝arctan(z
o”/sqrt(x
o”2
+y
o”2
))
ꢀꢀꢀ
···
(7)
[0221]
在表达式(6)中，基于x坐标和y坐标的x
o”和y
o”获得对象方位角ψ
i_obj
。
[0222]
注意，更具体地，在表达式(6)的计算中，基于y
o”的符号和x
o”的零确定的结果执行按情况证明处理并基于按情况证明的结果执行异常处理来计算对象方位角ψ
i_obj
。然而，这里将省略其详细描述。
[0223]
此外，在表达式(7)中，基于坐标(x
o”，y
o”，z
o”)获得对象仰角θ
i_obj
。注意，更具体地，在表达式(7)的计算中，基于z
o”的符号和(x
o”2
+y
0”2
)的零确定的结果执行按情况证明处理并基于按情况证明的结果执行异常处理来计算对象仰角θ
i_obj
。然而，这里将省略其详细描述。
[0224]
在通过上述计算获得对象方位角ψ
i_obj
和对象仰角θ
i_obj
的情况下，相对方向计算单元32执行类似的计算以获得对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
。
[0225]
即，相对方向计算单元32基于收听位置信息(xv，yv，zv)和声源方向信息计算以下表达式(8)，从而获得收听位置信息所指示的坐标(xv，yv，zv)的旋转后的坐标(x
v’，y
v’，z
v’)。
[0226]
[数学8]
[0227][0228]
在表达式(8)的计算中，设定θ＝-θo以及ψ＝-ψo，并计算旋转矩阵。
[0229]
这样获得的坐标(x
v’，y
v’，z
v’)指示对象坐标系中的收听位置(收听者的位置)。然而，这里的对象坐标系的原点不是对象的位置，而是目标空间中的xyz坐标系的原点o。
[0230]
接下来，相对方向计算单元32基于声源位置信息(xo，yo，zo)和声源方向信息计算下面的表达式(9)，从而获得声源位置信息所指示的坐标(xo，yo，zo)的旋转后的坐标(x
o’，y
o’，z
o’)。
[0231]
[数学9]
[0232][0233]
在表达式(9)的计算中，设定θ＝-θo以及ψ＝-ψo，并计算旋转矩阵。
[0234]
这样获得的坐标(x
o’，y
o’，z
o’)指示对象在对象坐标系中的位置。然而，这里的对
象坐标系的原点不是对象的位置，而是目标空间中的xyz坐标系的原点o。
[0235]
此外，相对方向计算单元32基于由表达式(8)计算的坐标(x
v’，y
v’，z
v’)和由表达式(9)计算的坐标(x
o’，y
o’，z
o’)计算下面的表达式(10)。
[0236]
[数学10]
[0237][0238]
计算表达式(10)以获得以对象的位置为原点的对象坐标系中指示收听位置的坐标(x
v”，y
v”，z
v”)。坐标(x
v”，y
v”，z
v”)指示从对象观察的收听位置的相对位置。
[0239]
相对方向计算单元32基于如上所述获得的坐标(xv″
，yv″
，zv″
)计算以下表达式(11)和(12)，从而获得对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
。
[0240]
[数学11]
[0241]
ψ_rot
i_obj
＝arctan(y
v”/x
v”)
ꢀꢀꢀ
···
(11)
[0242]
[数学12]
[0243]
θ_rot
i_obj
＝arctan(z
v”/sqrt(x
v”2
+y
v”2
))
ꢀꢀꢀ
···
(12)
[0244]
以与表达式(6)类似的方式计算表达式(11)以获得对象旋转方位角ψ_rot
i_obj
。此外，以与表达式(7)类似的方式计算表达式(12)以获得对象旋转仰角θ_rot
i_obj
。
[0245]
相对方向计算单元32对多个对象的音频数据的每一帧执行上述处理。
[0246]
因此，可以获得每一帧的每个对象的包括对象方位角ψ
i_obj
、对象仰角θ
i_obj
、对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
的相对方向信息。
[0247]
使用如上所述获得的相对方向信息使得可以根据收听位置、收听者的方向以及对象的移动和旋转来定位每个对象的声像，从而提供更高的真实感。
[0248]
(方向特性数据库单元)
[0249]
方向特性数据库单元23针对每种类型的对象，即针对每种声源类型记录方向特性数据。
[0250]
方向特性数据例如是使用从对象观察的方位角和仰角作为参数并获得传播方向上的增益和由方位角和仰角指示的球面谐波系数的函数。
[0251]
注意，代替函数，方向特性数据可以是表格形式的数据，即，例如，从对象观察的方位角和仰角与传播方向的增益和方位角和仰角指示的球面谐波系数相关联的表格。
[0252]
(方向性渲染单元)
[0253]
方向性渲染单元33基于每个对象的音频数据、为每个对象获得的方向特性数据、相对距离信息和相对方向信息、收听位置信息和收听者方向信息执行渲染处理，并且为用作目标装置的对应再现单元12生成再现信号。
[0254]
《内容再现处理的描述》
[0255]
接下来，将描述信号处理装置11的操作。
[0256]
即，下面将参考图10的流程图描述由信号处理装置11执行的内容再现处理。
[0257]
注意，这里，在假设要再现的内容是自由视点内容并且每个声源类型的方向特性数据被预先获取并记录在方向特性数据库单元23中的情况下进行描述。
[0258]
在步骤s11中，获取单元21从传输装置获取包括在内容中的每个对象的一帧的元数据和音频数据。换句话说，以预定时间间隔获取元数据和音频数据。
[0259]
获取单元21将所获取的每个对象的元数据中包括的声源类型信息提供给方向特性数据库单元23，并将所获取的每个对象的音频数据提供给方向性渲染单元33。
[0260]
此外，获取单元21将所获取的每个对象的元数据中包括的声源位置信息(xo，yo，zo)提供给相对距离计算单元31和相对方向计算单元32，并将所获取的每个对象的元数据中包括的声源方向信息提供给相对方向计算单元32。
[0261]
在步骤s12中，收听位置指定单元22指定收听者的收听位置和方向。
[0262]
即，收听位置指定单元22响应于收听者的操作等确定收听者的收听位置和方向，并生成指示确定结果的收听位置信息(xv，yv，zv)和收听者方向信息
[0263]
收听位置指定单元22将所得的收听位置信息(xv，yv，zv)提供给相对距离计算单元31、相对方向计算单元32和方向性渲染单元33，并将所得的收听者方向信息提供给相对方向计算单元32和方向性渲染单元33。
[0264]
注意，在固定视点内容的情况下，例如，收听位置信息被设置为(0，0，0)，并且收听者方向信息也被设置为(0，0，0)。
[0265]
在步骤s13中，相对距离计算单元31基于从获取单元21提供的声源位置信息(xo，yo，zo)和从收听位置指定单元22提供的收听位置信息(xv，yv，zv)计算相对距离do，并将指示计算结果的相对距离信息提供给方向性渲染单元33。例如，在步骤s13中，针对每个对象计算上述表达式(1)，并针对每个对象计算相对距离do。
[0266]
在步骤s14中，相对方向计算单元32基于从获取单元21提供的声源位置信息(xo，yo，zo)和声源方向信息以及从收听位置指定单元22提供的收听位置信息(xv，yv，zv)和收听者方向信息)和收听者方向信息计算收听者与对象之间的相对方向，并将指示计算结果的相对方向信息提供给方向性渲染单元33。
[0267]
例如，相对方向计算单元32针对每个对象计算上述表达式(3)至(7)，从而获得每个对象的对象方位角ψ
i_obj
和对象仰角θ
i_obj
。
[0268]
此外，例如，相对方向计算单元32针对每个对象计算上述表达式(8)至(12)，从而获得每个对象的对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
。
[0269]
相对方向计算单元32将包括针对每个对象获得的对象方位角ψ
i_obj
、对象仰角θ
i_obj
、对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
的信息作为相对方向信息提供给方向性渲染单元33。
[0270]
在步骤s15中，方向性渲染单元33从方向特性数据库单元23获取方向特性数据。
[0271]
例如，在步骤s11中针对每个对象获取元数据和包括在元数据中的声源类型信息被提供给方向特性数据库单元23的情况下，方向特性数据库单元23输出每个对象的方向特性数据。
[0272]
即，方向特性数据库单元23针对从获取单元21提供的每条声源类型信息，从记录的多条方向特性数据中读取声源类型信息所指示的声源类型的方向特性数据，并将方向特性数据输出到方向性渲染单元33。
[0273]
方向性渲染单元33如上所述从方向特性数据库单元23获取针对每个对象输出的方向特性数据，从而获得每个对象的方向特性数据。
[0274]
在步骤s16中，方向性渲染单元33基于从获取单元21提供的音频数据、从方向特性数据库单元23提供的方向特性数据、从相对距离计算单元31提供的相对距离信息、从相对方向计算单元32提供的相对方向信息以及从收听位置指定单元22提供的收听位置信息(xv，yv，zv)和收听者方向信息执行渲染处理。
[0275]
注意，收听位置信息(xv，yv，zv)和收听者方向信息仅需要根据需要用于渲染处理，并且不必用于渲染处理。
[0276]
例如，方向性渲染单元33执行用于vbap或波场合成的处理、hrtf卷积处理等作为渲染处理，从而生成用于再现收听位置处的对象(内容)的声音的再现信号。
[0277]
这里，将描述执行vbap作为渲染处理的示例。因此，在这种情况下，再现单元12包括多个扬声器。
[0278]
此外，为了描述简单，将描述包括在内容中的单个对象的示例。
[0279]
首先，方向性渲染单元33基于由相对距离信息指示的相对距离do计算以下表达式(13)，从而获得用于再现距离衰减的增益值gain
i_obj
。
[0280]
[数学13]
[0281]
gain
i_obj
＝1.0/power(do，2.0)
ꢀꢀꢀ…
(13)
[0282]
注意，表达式(13)中的power(do，2.0)表示用于计算相对距离do的平方值的函数。这里，将描述使用平方反比定律的示例。然而，用于再现距离衰减的增益值的计算不受限制，并且可以使用任何其他方法。
[0283]
接下来，方向性渲染单元33例如基于包括在相对方向信息中的对象旋转方位角ψ_roti_
ob
j和对象旋转仰角θ_rot
i_obj
计算以下表达式(14)，从而根据对象的方向特性获得增益值dir_gain
i_obj
。
[0284]
[数学14]
[0285]
dir_gain
i_obj
＝dir(i，ψ_rot
i_obj
，θ_rot
i_obj
)
ꢀꢀꢀ…
(14)
[0286]
在表达式(14)中，dir(i，ψ_rot
i_obj
，θ_rot
i_obj
)表示与作为方向特性数据提供的声源类型信息相对应的值i的增益函数。
[0287]
因此，方向性渲染单元33通过将对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
代入增益函数来计算表达式(14)，从而获得增益值dir_gain
i_obj
作为计算结果。
[0288]
即，在表达式(14)中，从对象旋转方位角ψ_rot
i_obj
、对象旋转仰角θ_rot
i_obj
和方向特性数据获得增益值dir_gain
i_obj
。
[0289]
如上所述获得的增益值dir_gain
i_obj
实现了用于添加从对象朝向收听者传播的声音的传递特性的增益校正，换句话说，用于根据对象的方向特性再现声音传播的增益校正。
[0290]
注意，距对象的距离可以被包括作为如上所述用作方向特性数据的增益函数的参数(变量)，从而通过使用作为增益函数输出的增益值dir_gain
i_obj
实现不仅再现方向特性而且再现距离衰减的增益校正。在这种情况下，由相对距离信息指示的相对距离do用作作为增益函数的参数的距离。
[0291]
此外，方向性渲染单元33通过基于包括在相对方向信息中的对象方位角ψ
i_obj
和对
象仰角θ
i_obj
执行vbap来获得与包括在再现单元12中的多个扬声器中的每一个相对应的声道的再现增益值vbap_gain
i_spk
。
[0292]
然后，方向性渲染单元33基于对象的音频数据obj_audio
i_obj
、距离衰减的增益值gain
i_obj
、方向特性的增益值dir_gain
i_obj
以及与扬声器相对应的声道的再现增益值vbap_gain
i_spk
计算以下表达式(15)，从而获得提供给扬声器的再现信号speaker_signal
i_spk
。
[0293]
[数学15]
[0294]
speaker_signal
i_spk
[0295]
＝obj_audio
i_obj
×
vbap_gain
i_spk
×
gain
i_obj
×
dir_gain
i_obj
[0296]
···
(15)
[0297]
这里，针对包括在再现单元12中的扬声器和包括在内容中的对象的每个组合计算表达式(15)，并且针对包括在再现单元12中的多个扬声器中的每一个获得再现信号speaker_signal
i_spk
。
[0298]
因此，实现了用于再现距离衰减的增益校正、用于根据方向特性再现声音传播的增益校正以及用于将声像定位在期望位置处的vbap处理。
[0299]
同时，在从方向特性数据中获得的增益值dir_gain
i_obj
是考虑方向特性和距离衰减两者的增益值的情况下，即在由相对距离信息指示的相对距离do被包括为增益函数的参数的情况下，计算以下表达式(16)。
[0300]
即，方向性渲染单元33基于对象的音频数据obj_audio
i_obj
、方向特性的增益值dir_gain
i_obj
和再现增益值vbap_gain
i_spk
计算以下表达式(16)，从而获得再现信号speakersignal
i_spk
。
[0301]
[数学16]
[0302]
speaker_signal
i_spk
[0303]
＝obj_audio
i_obj
×
vbap_gain
i_spk
×
dir_gain
i_obj
ꢀꢀꢀ
···
(16)
[0304]
在如上所述获得再现信号的情况下，方向性渲染单元33最终将针对当前帧获得的再现信号speaker_signal
i_spk
与当前帧的前一帧的再现信号speaker_signal
i_spk
执行重叠相加，从而获得最终再现信号。
[0305]
注意，本文已经描述了执行vbap作为渲染处理的示例，但是在执行hrtf卷积处理作为渲染处理的情况下，可以通过执行类似的处理来获得再现信号。
[0306]
这里，将描述通过使用包括根据指示对象与用户(收听者)之间的相对位置关系的距离、方位角和仰角的每个用户的hrtf的hrtf数据库来生成考虑对象的方向特性的耳机的再现信号的情况。
[0307]
具体地，这里，方向性渲染单元33保存hrtf数据库，该hrtf数据库包括来自与测量hrtf时使用的真实扬声器相对应的虚拟扬声器的hrtf，并且再现单元12是耳机。
[0308]
注意，这里将描述考虑到每个用户的个人特性的差异为每个用户准备hrtf数据库的情况。然而，可以使用所有用户通用的hrtf数据库。
[0309]
在该示例中，用于识别单个用户的个人id信息被设置为j，并且指示声音从声源(虚拟扬声器)即对象到用户耳朵的到达方向的方位角和仰角分别用ψ
l
和ψr以及θ
l
和θr表示。这里，方位角ψ
l
和仰角θ
l
是指示到达用户左耳方向的方位角和仰角，并且方位角ψr和仰角θr是指示到达用户右耳的方向的方位角和仰角。
[0310]
此外，用作从声源到用户左耳的传递特性的hrtf将具体由hrtf(j，ψ
l
，θ
l
)表示，并且用作从声源到用户左耳的传递特性的hrtf将具体由hrtf(j，ψr，θr)表示。
[0311]
注意，可以针对每个到达方向和距声源的距离准备到用户的左耳和右耳中的每一个的hrtf，并且距离衰减也可以通过hrtf卷积来再现。
[0312]
此外，方向特性数据可以是指示从声源到每个方向的传递特性的函数，或者可以是如上述vbap的示例中的增益函数，并且在任一情况下，对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
用作函数的参数。
[0313]
另外，可以考虑用户的左耳和右耳相对于对象的会聚角(即，由用户的面部宽度引起的对象与用户的每只耳朵之间的声音到达角度的差异)，针对左耳和右耳中的每一个获得对象旋转方位角和对象旋转仰角。
[0314]
这里的会聚角是连接用户(收听者)的左耳和对象的直线与连接用户的右耳和对象的直线之间的角度。
[0315]
在下文中，在包括在相对方向信息中的对象旋转方位角和对象旋转仰角中，针对用户的左耳获得的对象旋转方位角和对象旋转仰角分别用ψ_rot
i_obj_1
和θ_rot
i_obj_1
具体表示。
[0316]
类似地，在下文中，在包括在相对方向信息中的对象旋转方位角和对象旋转仰角中，针对用户的右耳获得的对象旋转方位角和对象旋转仰角分别用ψ_rot
i_obj_r
和θ_rot
i_obj_r
具体表示。
[0317]
首先，方向性渲染单元33计算上述表达式(13)，从而获得用于再现距离衰减的增益值gain
i_obj
。
[0318]
注意，在针对每个声音到达方向和距声源的距离准备hrtf作为hrtf数据库并且可以通过hrtf卷积再现距离衰减的情况下，不计算增益值gain
i_obj
。此外，距离衰减可以通过从方向特性数据获得的传递特性的卷积而不是hrtf卷积来再现。
[0319]
接下来，方向性渲染单元33例如基于方向特性数据和相对方向信息获取根据对象的方向特性的传递特性。
[0320]
例如，在提供用于获得传递特性的函数作为方向特性数据并且该函数使用距离、方位角和仰角作为参数的情况下，方向性渲染单元33基于相对距离信息、相对方向信息和方向特性数据计算以下表达式(17)。
[0321]
[数学17]
[0322]
dir_func
i_obj_l
＝dir(i，d
i_obj
，ψ_rot
i_obj_l
，θ_rot
i_obj_l
)
[0323]
dir_func
i_obj_r
＝dir(i，d
i_obj
，ψ_rot
i_obj_r
，θ_rot
i_obj_r
)
[0324]
···
(17)
[0325]
即，在表达式(17)中，方向性渲染单元33将由相对距离信息指示的相对距离do设置为d
i_obj
。
[0326]
然后，方向性渲染单元33将相对距离do、对象旋转方位角ψ_rot
i_obj_1
和对象旋转仰角θ_rot
i_obj_1
代入作为方向特性数据提供的左耳函数dir(i，d
i_obj
，ψ_rot
i_obj_1
，θ_rot
i_obj_1
)，从而获得左耳的传递特性dir_func
i_obj_1
。
[0327]
类似地，方向性渲染单元33将相对距离do、对象旋转方位角ψ_rot
i_obj_r
和对象旋转仰角θ_rot
i_obj_r
代入作为方向特性数据提供的右耳函数dir(i，d
i_obj
，ψ_rot
i_obj_r
，θ_
rot
i_obj_r
)，从而获得右耳的传递特性dir_func
i_obj_r
。
[0328]
在这种情况下，距离衰减也通过传递特性dir_func
i_obj_1
和dir_func
i_obj_r
的卷积再现。
[0329]
此外，方向性渲染单元33基于对象方位角ψ
i_obj
和对象仰角θ
i_obj
从保持的hrtf数据库中获得左耳的hrtf(j，ψ
l
，θ
l
)和右耳的hrtf(j，ψr，θr)。在此，例如，从hrtf数据库中读取设置ψ
l
＝ψ
i_obj
和θ
l
＝θ
i_obj
的hrtf(j，ψ
l
，θ
l
)。注意，还可以针对左耳和右耳中的每一个获得对象方位角和对象仰角。
[0330]
在通过上述处理获得左耳和右耳的传递特性和hrtf的情况下，基于传递特性、hrtf和对象的音频数据obj_audio
i_obj
获得要提供给用作再现单元12的耳机的用于左耳和右耳的再现信号。
[0331]
具体地，例如，在考虑方向特性和距离衰减两者从方向特性数据获得传递特性dir_func
i_obj_l
和dir_func
i_obj_r
的情况下，即，在从表达式(17)获得传递特性的情况下，方向性渲染单元33计算以下表达式(18)以获得左耳的再现信号hpout
l
和右耳的再现信号hpoutr。
[0332]
[数学18]
[0333]
hpout
l
＝obj_audio
i_obj
*dir_func
i_obj_l
*hrtf(j，ψ
l
，θ
l
)
[0334]
hpoutr＝obj_audio
i_obj
*dir_func
i_obj_r
*hrtf(j，ψr，θr)
[0335]
···
(18)
[0336]
注意，在表达式(18)中，*表示卷积处理。
[0337]
因此，在此，传递特性dir_func
i_obj_1
和hrtf(j，ψ
l
，θ
l
)被卷积到音频数据obj_audio
i_obj
以获得左耳的再现信号hpout
l
。类似地，传递特性dir_func
i_obj_r
和hrtf(j，ψr，θr)被卷积到音频数据obj_audio
i_obj
以获得右耳的再现信号hpoutr。此外，在距离衰减由hrtf再现的情况下，再现信号也通过类似于表达式(18)的计算获得。
[0338]
同时，例如，在不考虑距离衰减而获得从方向特性数据和hrtf获得的传递特性的情况下，方向性渲染单元33计算以下表达式(19)以获得再现信号。
[0339]
[数学19]
[0340]
hpout
l
＝obj_audio
i_obj
*dir_func
iobj_l
*hrtf(j，ψ
l
，θ
l
)*gain
i_obj
[0341]
hpoutr＝obj_audio
j_obj
*dir_func
i_obj_r
*hrtf(j，ψr，θr)*gain
i_obj
[0342]
···
(19)
[0343]
在表达式(19)中，音频数据obj_audio
i_obj
不仅经历表达式(18)中执行的卷积处理，而且经历用于卷积用于再现距离衰减的增益值gain
i_obj
的处理。因此，获得左耳的再现信号hpout
l
和右耳的再现信号hpoutr。增益值gain
i_obj
从上述表达式(13)获得。
[0344]
在通过上述处理获得再现信号hpout
l
和hpoutr的情况下，方向性渲染单元33执行再现信号与前一帧的再现信号的重叠相加，从而获得最终再现信号hpout
l
和hpoutr。
[0345]
此外，在执行波场合成处理作为渲染处理的情况下，即，在使用多个扬声器用作再现单元12通过波场合成形成包括对象的声音的声场的情况下，如下生成再现信号。
[0346]
在此，将描述通过使用球面谐波函数生成要提供给包括在再现单元12中的扬声器的扬声器驱动信号作为再现信号的示例。
[0347]
在距预定声源一定半径r外的位置处(即距声源半径(距离)为r’(其中，r’＞r)并
且指示从声源观察的方向的方位角和仰角是ψ和θ的位置处)的外部声场(即声压p(r’，ψ，θ))可以由以下表达式(20)表示。
[0348]
[数学20]
[0349][0350]
注意，在表达式(20)中，y
nm
(ψ，θ)表示球面谐波函数，并且n和m表示球面谐波函数的次数和阶数。此外，h
n(1)
(kr)是第一类汉克尔函数，并且k表示波数。
[0351]
此外，在表达式(20)中，x(k)表示以频域表示的再现信号，并且p
nm
(r)表示半径(距离)为r的球体的球面谐波频谱。在此，频域中的信号x(k)与对象的音频数据相对应。
[0352]
例如，在用于测量方向特性的测量麦克风阵列具有半径为r的球形的情况下，可以通过使用测量麦克风阵列测量从存在于球体(测量麦克风阵列)的中心的声源向所有方向传播的声音的半径为r的位置处的声压。具体地，由于方向特性根据声源而变化，因此通过在每个位置测量来自声源的声音来获得包括方向特性信息的观察声音。
[0353]
球面谐波频谱p
nm
(r)可以通过使用由测量麦克风阵列测量的这样的测量观察声压p(r，ψ，θ)由以下表达式(21)表示。
[0354]
[数学21]
[0355][0356]
注意，在表达式(21)中，表示积分范围并且特别表示半径r上的积分。
[0357]
这样的球面谐波频谱p
nm
(r)是指示声源的方向特性的数据。因此，例如，在预先针对每个声源类型测量预定域中的n次和m阶的每个组合的球面谐波频谱p
nm
(r)的情况下，可以使用下面的表达式(22)所示的函数作为方向特性数据dir(i_obj，d
i_obj
)。
[0358]
[数学22]
[0359][0360]
注意，在表达式(22)中，i_obj表示声源类型，d
i_obj
表示距声源的距离，并且距离d
i_obj
与相对距离do相对应。相应n次和m阶的这样的一组方向特性数据dir(i_obj，d
i_obj
)是指示在考虑振幅和相位的情况下基于方位角ψ和仰角θ确定的每个方向上(即在所有方向上)的传递特性的数据。
[0361]
在对象与收听位置之间的相对位置关系不变的情况下，可以从上述表达式(20)获得还考虑了方向特性的再现信号。
[0362]
然而，即使在对象与收听位置之间的相对位置关系变化的情况下，基于方位角ψ、仰角θ和距离d
i_obj
确定的点(d
i_obj
，ψ，θ)处的声压p(d
i_obj
，ψ，θ)可以通过基于对象旋转方位角ψ_rot
i_obj
和对象旋转仰角θ_rot
i_obj
对方向特性数据dir(i_obj，d
i_obj
)进行旋转运算来获得，如下面的表达式(23)所示。
[0363]
[数学23]
[0364][0365]
注意，在表达式(23)的计算中，将相对距离do代入距离d
i_obj
并将对象的音频数据代入x(k)，并且因此针对每个波数(频率)k获得声压p(d
i_obj
，ψ，θ)。然后，计算针对相应波数k获得的每个对象的声压p(d
i_obj
，ψ，θ)的总和以获得在点(d
i_obj
，ψ，θ)处观察到的声音信号，即再现信号。
[0366]
因此，为了生成用于波场合成的再现信号，作为步骤s16中的处理，针对每个对象的每个波数k计算表达式(23)，并且基于计算结果生成再现信号。
[0367]
在通过上述渲染处理获得要提供给再现单元12的再现信号的情况下，处理从步骤s16进行到步骤s17。
[0368]
在步骤s17中，方向性渲染单元33将通过渲染处理获得的再现信号提供给再现单元12并使再现单元12输出声音。因此，再现了内容的声音，即对象的声音。
[0369]
在步骤s18中，信号生成单元24确定是否终止再现内容的声音的处理。例如，在对所有帧执行处理并且内容的再现结束的情况下，确定要终止处理。
[0370]
在步骤s18中确定处理尚未终止的情况下，处理返回到步骤s11，并且重复执行上述处理。
[0371]
同时，在步骤s18中确定要终止处理的情况下，终止内容再现处理。
[0372]
如上所述，信号处理装置11生成相对距离信息和相对方向信息，并通过使用相对距离信息和相对方向信息来执行考虑方向特性的渲染处理。这使得可以再现根据对象的方向特性的声音传播，从而提供更高的真实感。
[0373]
《计算机的配置示例》
[0374]
顺便提及，上述一系列处理可以由硬件或软件来执行。在一系列处理由软件执行的情况下，形成软件的程序安装在计算机中。在此，计算机例如包括内置于专用硬件中的计算机、可以通过安装各种程序来执行各种功能的通用个人计算机等。
[0375]
图11是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0376]
中央处理单元(cpu)501、只读存储器(rom)502和随机存取存储器(ram)503通过计算机中的总线504相互连接。
[0377]
总线504进一步连接到输入/输出接口505。输入/输出接口505连接到输入单元506、输出单元507、记录单元508、通信单元509和驱动器510。
[0378]
输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质511。
[0379]
在如上所述配置的计算机中，例如，cpu 501通过输入/输出接口505和总线504将记录在记录单元508中的程序加载到ram 503并执行该程序来执行上述一系列处理。
[0380]
由计算机(cpu 501)执行的程序可以通过例如记录在作为封装介质等的可移动记录介质511上来提供。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传
输介质来提供程序。
[0381]
在计算机中，通过将可移动记录介质511附接到驱动器510，可以经由输入/输出接口505将程序安装在记录单元508中。此外，程序可以通过有线或无线传输介质由通信单元509接收并安装在记录单元508中。此外，程序可以预先安装在rom 502或记录单元508中。
[0382]
注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要的定时(诸如在执行调用时)执行处理的程序。
[0383]
此外，本技术的实施例不限于以上实施例，并且可以在不脱离本技术的主旨的情况下进行各种修改。
[0384]
例如，本技术可以具有云计算的配置，其中，单个功能由多个装置经由网络共享和联合处理。
[0385]
此外，上述流程图中描述的各个步骤可以由单个装置执行，或者可以由多个装置共享执行。
[0386]
此外，在单个步骤包括多个处理的情况下，单个步骤中包括的多个处理可以由单个装置执行或者可以通过由多个装置共享执行。
[0387]
更此外，本技术还可以具有以下配置。
[0388]
(1)一种信号处理装置，包括：
[0389]
获取单元，其获取元数据和音频对象的音频数据，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方向信息；以及
[0390]
信号生成单元，其基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号。
[0391]
(2)根据(1)的信号处理装置，其中，
[0392]
获取单元以预定时间间隔获取元数据。
[0393]
(3)根据(1)或(2)的信号处理装置，其中，
[0394]
信号生成单元基于指示音频对象的方向特性的方向特性数据、收听位置信息、收听者方向信息、位置信息、方向信息和音频数据生成再现信号。
[0395]
(4)根据(3)的信号处理装置，其中，
[0396]
信号生成单元基于针对音频对象的类型确定的方向特性数据生成再现信号。
[0397]
(5)根据(3)或(4)的信号处理装置，其中，
[0398]
方向信息包括指示音频对象的方向的方位角。
[0399]
(6)根据(3)或(4)的信号处理装置，其中，
[0400]
方向信息包括指示音频对象的方向的方位角和仰角。
[0401]
(7)根据(3)或(4)的信号处理装置，其中，
[0402]
方向信息包括指示音频对象的方向的方位角和仰角以及指示音频对象的旋转的倾斜角。
[0403]
(8)根据(3)至(7)中任一项的信号处理装置，其中，
[0404]
收听位置信息指示预先确定的且固定的收听位置，并且收听者方向信息指示预先确定的且固定的收听者的方向。
[0405]
(9)根据(8)的信号处理装置，其中，
[0406]
位置信息包括指示从收听位置观察的音频对象的方向的方位角和仰角以及指示从收听位置到音频对象的距离的半径。
[0407]
(10)根据(3)至(7)中任一项的信号处理装置，其中，
[0408]
收听位置信息指示任意确定的收听位置，并且收听者方向信息指示任意确定的收听者的方向。
[0409]
(11)根据(10)的信号处理装置，其中，
[0410]
位置信息是指示音频对象的位置的正交坐标系的坐标。
[0411]
(12)根据(3)至(11)中任一项的信号处理装置，其中，
[0412]
信号生成单元基于以下各项生成再现信号：
[0413]
方向特性数据，
[0414]
基于收听位置信息和位置信息获得的并且指示音频对象与收听位置之间的相对距离的相对距离信息，
[0415]
基于收听位置信息、收听者方向信息、位置信息和方向信息获得的并且指示音频对象与收听者之间的相对方向的相对方向信息，以及
[0416]
音频数据。
[0417]
(13)根据(12)的信号处理装置，其中，
[0418]
相对方向信息包括指示音频对象与收听者之间的相对方向的方位角和仰角。
[0419]
(14)根据(12)或(13)的信号处理装置，其中，
[0420]
相对方向信息包括指示从音频对象观察的收听者的方向的信息和指示从收听者观察的音频对象的方向的信息。
[0421]
(15)根据(14)的信号处理装置，其中，
[0422]
信号生成单元基于指示从音频对象观察的收听者的方向的传递特性的信息生成再现信号，该信息是基于方向特性数据和指示从音频对象观察的收听者的方向的信息来获得的。
[0423]
(16)一种信号处理方法，包括：
[0424]
使信号处理装置：
[0425]
获取元数据和音频对象的音频数据，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方向信息；并且
[0426]
基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号。
[0427]
(17)一种程序，用于使计算机执行包括以下步骤的处理：
[0428]
获取元数据和音频对象的音频数据的步骤，该元数据包括指示音频对象的位置的位置信息和指示音频对象的方向的方向信息；以及
[0429]
基于指示收听位置的收听位置信息、指示收听位置处的收听者的方向的收听者方向信息、位置信息、方向信息和音频数据生成用于再现收听位置处的音频对象的声音的再现信号的步骤。
[0430]
参考标记列表
[0431]
11
ꢀꢀ
信号处理装置
[0432]
21
ꢀꢀ
获取单元
[0433]
22
ꢀꢀ
收听位置指定单元
[0434]
23
ꢀꢀ
方向特性数据库单元
[0435]
24
ꢀꢀ
信号生成单元
[0436]
31
ꢀꢀ
相对距离计算单元
[0437]
32
ꢀꢀ
相对方向计算单元
[0438]
33
ꢀꢀ
方向性渲染单元。