声音处理装置的制作方法

本申请为于2015年10月19日提交、申请号为201480022270.0、发明名称为“声音处理装置及声音处理系统”的中国专利申请的分案申请。所述母案申请的国际申请日为2014年4月11日，优先权日为2013年4月26日，国际申请号为pct/jp2014/060460。

本技术涉及声音处理装置以及声音处理系统，并且更具体地涉及用于使得声音图像能够更加稳定地定位的声音处理装置及声音处理系统。

背景技术：

作为使用扬声器控制声音图像的定位的技术，已知有vbap(向量基幅度平移)(例如，参见非专利文献1)。

借助于vbap，通过朝向围绕定位位置设置的两个或三个扬声器延伸的向量的线性和来表达声音图像的目标定位位置。在线性和中相应向量所乘的系数被用作要从相应扬声器输出的声音的增益，并且执行增益调节以使得将声音图像固定在目标位置处。

引用列表

非专利文献

非专利文献1：villepulkki,“virtualsoundsourcepositioningusingvectorbaseamplitudepanning”,journalofaes,vol.45,no.6,pp.456-466,1997。

技术实现要素：

本发明要解决的问题

尽管借助于上述技术可以将声音图像固定在目标位置处，但是声音图像的定位可能会取决于声音图像的定位位置而变得不稳定。

关于用于使用三个扬声器执行vbap的三维vbap，会存在以下情况：这三个扬声器当中仅有两个扬声器输出声音，而剩下的一个扬声器取决于声音图像的目标定位位置而被控制成不输出声音。

在这样的情况下，当用户边收听声音边移动时，声音图像可能沿与移动方向不同的方向移动，并且用户可能感觉到声音图像的定位不稳定。如果声音图像的定位变得不稳定，则作为最佳收听位置的悦人点(sweetspot)的范围变窄。

本技术就是鉴于这些情形而开发并且是为了使得声音图像的定位能够更加稳定。

针对问题的解决方案

根据本技术的一个方面的声音处理装置包括：四个或更多个声音输出单元；增益计算单元，关于所述位于靠近作为目标位置的声音图像定位位置的四个或更多个声音输出单元中的两个或三个声音输出单元的组合中的每个不同组合，通过基于所述声音输出单元之间的位置关系来计算要从所述声音输出单元输出的声音的增益，以确定要从所述四个或更多个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及增益调节单元，基于所述输出增益对要从所述声音输出单元输出的声音进行增益调节。

所述输出增益中的至少四个输出增益中的每一个具有非零值。

所述增益计算单元可以包括：第一增益计算单元，其基于虚拟声音输出单元、所述声音输出单元中的两个声音输出单元以及所述声音图像定位位置之间的位置关系来计算所述声音输出单元中的两个声音输出单元以及所述虚拟声音输出单元的输出增益；第二增益计算单元，其基于除了所述声音输出单元中的所述两个声音输出单元以外的所述声音输出单元中的另外两个声音输出单元和所述虚拟声音输出单元之间的位置关系来计算所述声音输出单元中的所述另外两个声音输出单元的增益，所述声音输出单元中的所述另外两个声音输出单元的增益要用于将声音图像固定在所述虚拟声音输出单元的位置处；以及计算单元，其基于所述声音输出单元中的所述另外两个声音输出单元的增益以及所述虚拟声音输出单元的输出增益来计算所述声音输出单元中的所述另外两个声音输出单元的输出增益。

所述计算单元可以通过将所述声音输出单元中的所述另外两个声音输出单元的增益与所述虚拟声音输出单元的输出增益相乘来计算所述声音输出单元中的所述另外两个声音输出单元的所述输出增益。

所述虚拟声音输出单元的位置可以被设置在以下多边形的边上：使所述四个或更多个声音输出单元处于所述多边形的拐角处。

所述增益计算单元可以包括：虚拟增益计算单元，其基于所述声音输出单元中的三个声音输出单元和所述声音图像定位位置之间的位置关系来计算所述声音输出单元中的所述三个声音输出单元的输出增益；以及计算单元，其基于由关于所述组合中的不同组合来计算所述输出增益的所述虚拟增益计算单元计算的所述输出增益来计算所述声音输出单元的最终输出增益。

所述计算单元可以通过确定关于所述声音输出单元中的一个声音输出单元而确定的输出增益的和来计算所述声音输出单元中的同一个声音输出单元的最终输出增益。

根据本技术的一个方面的声音处理系统包括：四个或更多个声音输出单元；增益计算单元，关于所述位于靠近作为目标位置的声音图像定位位置的四个或更多个声音输出单元中的两个或三个声音输出单元的组合中的每个不同组合，通过基于所述声音输出单元之间的位置关系来计算要从所述声音输出单元输出的声音的增益，以确定要从所述四个或更多个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置；以及增益调节单元，基于所述输出增益来对要从所述声音输出单元输出的声音进行增益调节。

在本技术的一个方面，关于位于靠近作为目标位置的声音图像定位位置的四个或更多个声音输出单元中的两个或三个声音输出单元的组合中的每个不同组合，通过基于所述声音输出单元之间的位置关系来计算要从所述声音输出单元输出的声音的增益，以计算要从所述四个或更多个声音输出单元输出的声音的增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及基于所述输出增益对要从所述声音输出单元输出的声音进行增益调节。

根据本技术的一个方面的声音处理装置包括：扬声器选择单元，被配置成：选择四个处理目标扬声器；虚拟扬声器位置确定单元，被配置成：基于从所述扬声器选择单元提供的选择信息来确定虚拟扬声器的位置；以及增益计算单元，被配置成：基于目标声音图像位置和指示所述虚拟扬声器的位置的信息来计算选择的处理目标扬声器的增益。

选择的处理目标扬声器的增益中的每一个具有非零值。

本发明的效果

根据本技术的一个方面，可以以更加稳定的方式来固定声音图像。

附图说明

图1是用于说明二维vbap的图。

图2是用于说明三维vbap的图。

图3是用于说明扬声器布置的图。

图4是用于说明要在设置有四个扬声器的情况下使用的增益计算方法的图。

图5是用于说明声音图像的移动的图。

图6是用于说明在应用本技术的情况下声音图像的移动的图。

图7是用于说明根据本技术的增益计算的图。

图8是用于说明根据本技术的增益计算的图。

图9是示出了声音处理装置的示例结构的图。

图10是示出了增益计算单元的示例结构的图。

图11是用于说明声音定位控制处理的流程图。

图12是用于说明计算扬声器的增益的另一种方法的图。

图13是示出了增益计算单元的另一种示例结构的图。

图14是用于说明声音定位控制处理的流程图。

图15是用于说明计算扬声器的增益的方法的图。

图16是示出了计算机的示例配置的图。

具体实施方式

下面参考附图来描述应用本技术的实施方式。

<第一实施方式>

<本技术的概要>

参考图1至图8，描述本技术的概要。在图1至图8中，用相同的附图标记来表示相同的部件，并且将无必要重复说明这些部件。

如图1所示，例如，要观看或收听内容如伴有声音或乐曲的运动图像的用户u11正在收听从两个扬声器sp1和sp2输出的双声道声音作为内容的声音。

在此情况下，可以使用关于输出相应声道的声音的这两个扬声器sp1和sp2的位置信息来将声音图像固定在虚拟声源vsp1的位置处。

例如，假设用户u11的头部的位置是原点o，则虚拟声源vsp1在分别以竖直方向和水平方向作为x轴方向和y轴方向的二维坐标系中的位置通过在图中以原点0为起点的向量p来表示。

由于向量p是二维向量，所以可以通过以原点o为起点分别沿扬声器sp1的方向和扬声器sp2的方向延伸的向量l1和向量l2的线性和来表示向量p。即，向量p可以通过使用向量l1和向量l2的以下等式(1)来表达：

[数学公式1]

p＝g1l1+g2l2...(1)

对在等式(1)中向量l1和向量l2所乘的系数g1和系数g2进行计算。当这些系数g1和系数g2分别是从扬声器sp1和sp2输出的声音的增益时，可以将声音图像固定在虚拟声源vsp1的位置处。即，可以将声音图像固定在向量p所表示的位置处。

将通过从关于这两个扬声器sp1和sp2的位置信息计算系数g1和系数g2来控制声音图像的定位位置的方法称为二维vbap。

在图1所示的示例中，可以将声音图像固定在连接扬声器sp1和扬声器sp2的弧ar11上的任何位置处。此处，弧ar11是以原点o为中心的经过扬声器sp1和扬声器sp2的各自位置的圆圈的一部分。

由于向量p是二维向量，所以如果向量l1和向量l2之间的角度大于0°而小于180°，则要作为增益的系数g1和系数g2唯一地被确定。在上述非专利文献1中详细描述了计算这些系数g1和系数g2的方法。

然而在要再现三声道声音的情况下，例如，输出声音的扬声器的数量如图2所示为3。

在图2所示的示例中，从三个扬声器sp1、sp2和sp3输出各自声道的声音。

在这样的情况下，除了要从扬声器sp1至sp3输出的各自声道的声音的增益数量或要被计算作为增益的系数的数量是3以外，概念与上述二维vbap相同。

特别地，在要将声音图像固定在虚拟声源vsp2的位置处的情况下，在以用户u11的头部的位置为原点o的三维坐标系中，通过以原点o为起点的三维向量p来表示虚拟声源vsp2的位置。

在从以原点o为起点的方向朝向扬声器sp1至sp3的各自位置延伸的三维向量是向量l1至l3的情况下，可以通过向量l1至l3的线性和来表达向量p，如在以下等式(2)中所示：

[数学公式2]

p＝g1l1+g2l2+g3l3...(2)

对在等式(2)中向量l1至l3所乘的系数g1至g3进行计算。当这些系数g1至g3是分别从扬声器sp1至sp3输出的声音的增益时，可以将声音图像固定在虚拟声源vsp2的位置处。

将通过根据关于三个扬声器sp1至sp3的位置信息计算系数g1至g3来控制声音图像的定位位置的方法称为三维vbap。

在图2所示的示例中，可以将声音图像固定在包括扬声器sp1、扬声器sp2和扬声器sp3的位置的球面三角形区域tr11内任何位置处。此处，区域tr11是以下区域，所述区域位于球面上，以原点o为中心并且包括扬声器sp1至sp3的各自位置，并且区域tr11是球面上的由扬声器sp1至sp3围成的三角形区域。

利用这样的三维vbap，可以将声音图像固定在空间中的任何位置处。

如图3所示，输出声音的扬声器的数量增加，并且其中每一个都等同于图2所示的三角形区域tr11的区域被设置在空间中，以使得可以将声音图像固定在例如这些区域中的任何位置处。

在图3所示的示例中，设置有五个扬声器sp1至sp5，并且扬声器sp1至sp5输出各自声道的声音。此处，扬声器sp1至sp5被设置在以位于用户u11的头部处的原点o为中心的球面上。

在此情况下，沿从原点o朝向扬声器sp1至sp5的各自位置的方向延伸的三维向量是向量l1至向量l5，并且与上述根据等式(2)的计算相同的计算被执行，以确定从各自的扬声器输出的声音的增益。

此处，在以原点o为中心的球面上的区域当中，扬声器sp1、sp4和sp5所围成的三角形区域是区域tr21。类似地，在以原点o为中心的球面上的区域当中，扬声器sp3、sp4和sp5所围成的三角形区域是区域tr22，并且扬声器sp2、sp3和sp5所围成的三角形区域是区域tr23。

区域tr21至区域tr23中的每个区域是等同于如图2所示的区域tr11的区域。当表示要固定声音图像的位置的三维向量是向量p时，向量p在图3所示的示例中表示区域tr21中的位置。

因此，在这个示例中，与根据等式(2)的计算相同的计算使用表示扬声器sp1、sp4和sp5的位置的向量l1、l4和l5来进行，并且从各自的扬声器sp1、sp4和sp5输出的声音的增益被计算。在此情况下，从其它扬声器sp2和sp3输出的声音的增益是0。即，没有声音从这些扬声器sp2和sp3被输出。

在以此方式将五个扬声器sp1至sp5设置在空间中的情况下，可以将声音图像固定在由区域tr21至tr23形成的区域中的任何位置处。

如图4所示，可以将四个扬声器sp1至扬声器sp4设置在空间中，并且要将声音图像固定在位于这些扬声器sp1至sp4之间的中间位置处的虚拟声源vsp3的位置处。

在图4所示的示例中，扬声器sp1至sp4被设置在以原点o(未示出)为中心的球的面上，并且所述面上的区域并且由扬声器sp1至sp3围成的三角形区域是区域tr31。在以原点o为中心的球面上的区域当中，由扬声器sp2至sp4围成的三角形区域是区域tr32。

虚拟声源vsp3位于区域tr31的右下边上。虚拟声源vsp3还位于区域tr32的左上边上。

从而，在该情况下，三维vbap应该关于扬声器sp1至sp3来执行，或者三维vbap应该关于扬声器sp2至sp4来执行。在任一情况下，获得相同的三维vbap计算结果，并且确定增益以使得仅两个扬声器sp2和sp3输出声音，并且剩余的扬声器sp1和sp4不输出任何声音。

通过三维vbap，在声音图像要被固定到的位置是在连接三个扬声器的球面上的三角形区域之间的边界线上或者是在球面上的三角形的边上的情况下，仅位于所述边的两端上的两个扬声器输出声音。

如图5所示，例如，在如上所述在仅两个扬声器sp2和sp3输出声音的情况下，位于作为最佳聆听点的悦人点处中的用户u11可能如由箭头a11所示在图中向左移动。

因此，用户u11的头部变得靠近扬声器sp3，并且从扬声器sp3输出的声音相对于用户u11而言变得响亮。因此，用户u11感觉如同虚拟声源vsp3，或者声音图像在附图中如由箭头a12所示的向左下方移动。

利用三维vbap，在如图5所示仅两个扬声器输出声音的情况下，如果用户u11离开悦人点而仅移动短的距离，则声音图像沿与用户u11的移动垂直的方向移动。在这样的情况下，用户u11感到如同声音图像沿与她的/他的移动的方向不同的方向移动。即，用户u11感觉声音图像的定位位置不稳定，并且悦人点范围变窄。

鉴于此，根据与上述vbap相对的本技术，使比三个更多个扬声器或者比四个或更多个扬声器输出声音，以使得声音图像的定位位置变得更加稳定，并且悦人点范围相应地变宽。

尽管被使得输出声音的扬声器的数量可以是等于或大于4的任何数量，但是在下面的描述中继续对有四个扬声器被使得输出声音的示例情况进行说明。

例如，在如图4所示的示例中，要将声音图像固定在四个扬声器sp1至sp4之间的中心位置处的虚拟声源vsp3的位置处。

根据本技术，在这样的情况下选择两个或三个扬声器作为组合，并且关于扬声器的不同组合执行vbap，以计算从四个扬声器sp1至sp4输出的声音的增益。

从而，根据本技术，例如，如图6所示，全部四个扬声器sp1至sp4输出声音。

在这样的情况下，如果用户u11如图6中的箭头a21所示，从悦人点向左移动，则虚拟声源vsp3的位置或声音图像的定位位置如在图中的箭头a22所示的仅向左移动。即，声音图像如图5中的示例所示的不向下移动或沿与用户u11的移动方向垂直的方向移动，而是仅沿着与用户u11的移动方向相同的方向移动。

这是因为，当用户u11向左移动时，用户u11变得靠近扬声器sp3，但是扬声器sp1还在扬声器sp3之上。在这种情况下，声音从相对于用户u11的左上方和左下方到达用户u11的耳朵，并且因此，用户u11几乎感觉不到声音图像向下移动。

从而，可以使得声音图像的定位位置与通过传统的vbap技术相比更加稳定，并且因此，可以使得悦人点范围变宽。

接着，更加详细地描述根据本技术的对声音定位的控制。

在本技术中，表示要固定声音图像的位置的向量是以三维坐标系的原点o(未示出)作为起点的向量p，并且向量p通过以下等式(3)来表达：

[数学公式3]

p＝g1l1+g2l2+g3l3+g4l4...(3)

在等式(3)中，向量l1至向量l4表示朝向扬声器sp1至sp4的位置延伸的三维向量，扬声器sp1至sp4位于声音图像的定位位置的附近，并且被布置成围绕声音图像的定位位置。此外，在等式(3)中，g1至g4表示要被计算而作为要从扬声器sp1至sp4输出的各自声道的声音增益的系数。

在等式(3)中，向量p被表达为四个向量l1至向量l4的线性和。由于向量p是三维向量，所以四个系数g1至g4不是唯一地被确定。

因此，根据本技术，要作为增益的各自系数g1至g4通过下述方法来计算。

如图4所示，要将声音图像固定在由四个扬声器sp1至sp4围绕的球面上的四边形的中心位置处，或虚拟声源vsp3的位置处。

首先，选择球面上以扬声器sp1至sp4作为拐角的一个四边形，并且假设虚拟扬声器(下文称为“虚拟扬声器”)存在于边上。

如图7所示，在球面上的以扬声器sp1至sp4为拐角的四边形中，例如选择在图中连接位于左下角和右下角的扬声器sp3和sp4的边。例如，假设虚拟扬声器vsp’存在于连接扬声器sp3和sp4的边与从虚拟声源vsp3的位置延伸的垂线之间的焦点的位置处。

然后关于以下三个扬声器来执行三维vbap：虚拟扬声器vsp’以及位于图中左上角和右上角的扬声器sp1和sp2。特别地，根据与如上所述等式(2)相同的等式来进行计算，以确定要作为要从扬声器sp1、扬声器sp2和虚拟扬声器vsp’输出的声音的增益的系数g1、系数g2和系数g’。

在图7中，将向量p表达为从原点o延伸的三个向量的线性和，或者朝向扬声器sp1延伸的向量l1、朝向扬声器sp2延伸的向量l2以及朝向虚拟扬声器vsp’延伸的向量l’的线性和。即，向量p被表达为p＝g1l1+g2l2+g’l’。

此处，为了将声音图像固定在虚拟声源vsp3的位置处，虚拟扬声器vsp’需要以增益g’输出声音，但是虚拟扬声器vsp’实际不存在。因此，如图8所示，根据本技术，四边形中的虚拟扬声器vsp1位于的边的两端上的两个扬声器sp3和sp4用于将声音图像固定在虚拟扬声器vsp’的位置处。以此方式来实现虚拟扬声器vsp’。

特别地，关于两个扬声器sp3和sp4来执行二维vbap，这两个扬声器sp3和sp4位于球面上的虚拟扬声器vsp’位于的边的两端上。即，根据与上述等式(1)相同的等式来进行计算，以计算要作为分别要从扬声器sp3和扬声器sp4输出的声音的增益的系数g3’和g4’。

在图8所示的示例中，朝向虚拟扬声器vsp’延伸的向量l’被表达为朝向扬声器sp3延伸的向量l3以及朝向扬声器sp4延伸的向量l4的线性和。即，向量l’被表达为l'＝g3’l3+g4’l4。

通过将所计算的系数g3’与系数g’相乘而获得的值g’g3’设置为要从扬声器sp3输出的声音的增益，并且通过将所计算的系数g4’与系数g’相乘而获得的值g’g4’设置为要从扬声器sp4输出的声音的增益。以此方式，通过扬声器sp3和sp4来实现以增益g’输出声音的虚拟扬声器vsp’。

此处，要作为增益值的g’g3’的值是上述等式(3)中的系数g3的值，并且要作为增益值的g’g4’的值是上述等式(3)中的系数g4的值。

上面所获得并且不为0的值g1、g2、g’g3’和g’g4’被设置为要从扬声器sp1至sp4输出的各自声道的声音的增益。以此方式，使得四个扬声器输出声音，并且可以将声音图像固定在目标位置处。

当如上所述通过使四个扬声器输出声音来将声音图像固定在某位置处时，声音图像的定位位置与通过传统vbap技术将声音图像固定在某个位置相比可以更加稳定。从而，可以加宽悦人点范围。

<声音处理装置的示例结构>

接着，将描述应用了上面描述的本技术的特定示例。图9是示出了应用了本技术的声音处理装置的实施方式的示例结构的图。

声音处理装置11对各自声道的从外部提供的单声道声音信号进行增益调节。通过进行此增益调节，声音处理装置11生成n声道(n≥5)声音信号，并且将所述声音信号提供给与n个声道对应的扬声器12-1至12-n。

扬声器12-1至12-n基于从声音处理装置11提供的声音信号输出各自声道的声音。即，扬声器12-1至12-n是用作输出各自声道的声音的声源的声音输出单元。下文中，当不特别需要将扬声器12-1至12-n彼此区分开时，还简单地将扬声器12-1至12-n称为扬声器12。尽管扬声器12不包括在图9中的声音处理装置11中，但是扬声器12也可以包括在声音处理装置11中。此外，组成声音处理装置11和扬声器12的相应部件可以被设置在几个装置中，以形成包括声音处理装置11和扬声器12的相应部件的声音处理系统。

扬声器12被布置成围绕当观看以及聆听内容等时假设用户存在的位置(在下文中将该位置简单地称为用户位置)。例如，各个扬声器12被布置在以用户位置为中心的球的面上的位置处。换言之，各个扬声器12被布置在距用户的相同距离的位置处。此外，还可以以有线或无线方式将声音信号从声音处理装置11提供给扬声器12。

声音处理装置11包括扬声器选择单元21、增益计算单元22、增益确定单元23、增益输出单元24和增益调节单元25。

由附接至如移动对象的对象上的麦克风采集的声音的声音信号以及关于该对象的位置信息被提供给声音处理装置11。

基于从外部提供的对象的位置信息，扬声器选择单元21识别要在其处固定要从空间中的包括要固定的扬声器12的对象发出的声音的声音图像的位置(在下文中还将要识别的位置称为目标声音图像位置)，并且将识别结果提供给增益计算单元22。

基于目标声音图像位置，扬声器选择单元21从n个扬声器12中选择用于输出声音的四个扬声器12作为处理目标扬声器12，并且将表示选择结果的选择信息提供给增益计算单元22、增益确定单元23和增益输出单元24。

增益计算单元22基于从扬声器选择单元21提供的选择信息和目标声音图像位置来计算处理目标扬声器12的增益，并且将增益提供给增益输出单元24。增益确定单元23基于从扬声器选择单元21提供的选择信息来确定非处理目标扬声器的扬声器12的增益，并且将所述增益提供给增益输出单元24。例如，不是处理目标的扬声器12的增益被设置为“0”。即，不是处理目标的扬声器12被控制成不输出对象的任何声音。

增益输出单元24将从增益计算单元22和增益确定单元23提供的n个增益提供给增益调节单元25。这里，增益输出单元24基于从扬声器选择单元21提供的选择信息在增益调节单元25中确定从增益计算单元22和增益确定单元23提供的n个增益的提供目的地。

基于从增益输出单元24提供的相应的增益，增益调节单元25对从外部提供的对象的声音信号进行增益调节，并且将结果的n个声道的声音信号提供给扬声器12，以使得扬声器12输出声音。

增益调节单元25包括放大器31-1至放大器31-n。基于从增益输出单元24提供的增益，放大器31-1至放大器31-n对从外部提供的声音信号进行增益调节，并且将结果的声音信号提供给扬声器12-1至12-n。

下文中，当不需要将放大器31-1至31-n彼此区分开时，放大器31-1至31-n也会被简单地称为放大器31。

<增益计算单元的示例结构>

图9所示的增益计算单元22例如具有图10所示的结构。

图10所示的增益计算单元22包括虚拟扬声器位置确定单元61、三维增益计算单元62、二维增益计算单元63、乘法器64和乘法器65。

虚拟扬声器位置确定单元61基于表示目标声音图像位置的信息以及从扬声器选择单元21提供的选择信息来确定虚拟扬声器的位置。虚拟扬声器位置确定单元61将表示目标声音图像位置的信息、选择信息以及表示虚拟扬声器的位置的信息提供给三维增益计算单元62，并且将选择信息以及表示虚拟扬声器的位置的信息提供给二维增益计算单元63。

基于从虚拟扬声器位置确定单元61提供的信息的相应片段，三维增益计算单元62关于处理目标扬声器12中的两个扬声器12以及虚拟扬声器进行三维vbap。然后，三维增益计算单元62将通过三维vbap而获得的两个扬声器12的增益提供给增益输出单元24，并且将虚拟扬声器的增益提供给乘法器64和乘法器65。

基于从虚拟扬声器位置确定单元61提供的信息的相应片段，二维增益计算单元63关于处理目标扬声器12中的两个扬声器进行二维vbap，并且将扬声器12的结果的增益提供给乘法器64和乘法器65。

乘法器64通过将从二维增益计算单元63提供的增益乘以从三维增益计算单元62提供的增益来获得扬声器12的最终的增益，并且将所述最终的增益提供给增益输出单元24。乘法器65通过将从二维增益计算单元63提供的增益乘以从三维增益计算单元62提供的增益来获得扬声器12的最终的增益，并且将最终的增益提供给增益输出单元24。

<声音定位控制处理的描述>

同时，当对象的位置信息和对象的声音信号被提供给声音处理装置11并且用于输出对象的声音的指令被发出时，声音处理装置11开始声音定位控制处理，以使得对象的声音被输出，并且将声音图像固定在适当的位置处。

现在参考图11所示的流程图来描述要由声音处理装置11进行的声音定位控制处理。

在步骤s11中，扬声器选择单元21基于从外部提供的对象的位置信息来选择处理目标扬声器12。

特别地，扬声器选择单元21例如基于对象的位置信息识别目标声音图像位置，并且从n个扬声器12中选择作为位于目标声音图像位置的附近并且被布置成围绕目标声音图像位置的四个扬声器12的处理目标扬声器12。

例如，在图7所示的虚拟声源vsp3的位置被设置为目标声音图像位置的情况下，等同于围绕虚拟声源vsp3的四个扬声器sp1至sp4的扬声器12被选择作为处理目标扬声器12。

扬声器选择单元21将表示目标声音图像位置的信息提供给虚拟扬声器位置确定单元61，并且将表示四个处理目标扬声器12的选择信息提供给虚拟扬声器位置确定单元61、增益确定单元23和增益输出单元24。

在步骤s12中，虚拟扬声器位置确定单元61基于表示目标声音图像位置的信息以及从扬声器选择单元21提供的选择信息来确定虚拟扬声器的位置。例如，如图7所示的示例，在连接球面上的处理目标扬声器12当中的、相对于用户位于左下角和右下角的扬声器12的边与从目标声音图像位置朝向所述边延伸的垂直线之间的交叉点位置被设置为虚拟扬声器的位置。

在虚拟扬声器的位置被确定之后，虚拟扬声器位置确定单元61将表示目标声音图像位置的信息、选择信息以及表示虚拟扬声器的位置的信息提供给三维增益计算单元62，并且将选择信息以及表示虚拟扬声器的位置的信息提供给二维增益计算单元63。

虚拟扬声器的位置可以是任何位置，只要虚拟扬声器的位置位于球面上的四边形的边上即可，所述四边形具有处于相应拐角处的四个处理目标扬声器12。即使在处理目标扬声器12的数量是5或更大的情况下，虚拟扬声器的位置可以是位于球面上的多边形的边上的任何位置，所述多边形具有处于拐角处的那些处理目标扬声器12。

在步骤s13中，三维增益计算单元62基于表示目标声音图像位置的信息、选择信息以及关于虚拟扬声器的位置的信息来计算虚拟扬声器和两个处理目标扬声器12的增益，所述信息从虚拟扬声器位置确定单元61被提供。

特别地，三维增益计算单元62确定要作为表示目标声音图像位置的三维向量的向量p，并且确定要作为朝向虚拟扬声器延伸的三维向量的向量l’。三维增益计算单元62还确定要作为朝向处理目标扬声器12当中与图7所示的扬声器sp1相同的位置关系的扬声器12延伸的向量的向量l1，以及确定要作为朝向与扬声器sp2具有相同位置关系的扬声器12延伸的向量的向量l2。

然后，三维增益计算单元62将表达向量p的等式确定为向量l’、向量l1和向量l2的线性和，并且根据该等式来进行计算，以计算分别作为向量l’、向量l1和向量l2的系数g’、系数g1和系数g2的增益。即，进行与根据等式(2)的上述计算相同的计算。

三维增益计算单元62将与扬声器sp1和sp2具有相同位置关系的扬声器12的所计算的系数g1和g2作为要从这些扬声器12输出的声音的增益而提供给增益输出单元24。

三维增益计算单元62还将所计算的虚拟扬声器的系数g’作为要从虚拟扬声器输出的声音的增益提供给乘法器64和乘法器65。

在步骤s14中，二维增益计算单元63基于选择信息以及关于虚拟扬声器的位置的信息来计算两个处理目标扬声器12的增益，所述信息从虚拟扬声器位置确定单元61被提供。

特别地，二维增益计算单元63将向量l’确定为表示虚拟扬声器的位置的三维向量。二维增益计算单元63还将向量l3确定为朝向处理目标扬声器12当中的与图8所示的扬声器sp3具有相同位置关系的扬声器12延伸的向量，并且将向量l4确定为朝向与扬声器sp4具有相同位置关系的扬声器12延伸的向量。

然后，二维增益计算单元63将表达向量l’的等式确定为向量l3和向量l4的线性和，并且根据所述等式进行计算，以计算分别作为向量l3和向量l4的系数g3’和系数g4’的增益。即，进行与根据等式(1)的上述计算相同的计算。

二维增益计算单元63将所计算的与扬声器sp3和sp4具有相同位置关系的扬声器12的系数g3’和系数g4’作为要从这些扬声器12输出的声音的增益输出给乘法器64和乘法器65。

在步骤s15中，乘法器64和乘法器65将从二维增益计算单元63提供的增益g3’和g4’与从三维增益计算单元62提供的虚拟扬声器的增益g’相乘，并且将结果的增益提供给增益输出单元24。

从而，作为四个处理目标扬声器12当中与图8所示的扬声器sp3具有相同位置关系的扬声器12的最终增益，增益g3＝g’g3’被提供给增益输出单元24。同样地，作为四个处理目标扬声器12当中的与图8所示的扬声器sp4具有相同位置关系的扬声器12的最终增益，增益g4＝g’g4’被提供给增益输出单元24。

在步骤s16中，增益确定单元23基于从扬声器选择单元21提供的选择信息来确定除了处理目标扬声器以外的扬声器12的增益，并且将所述增益提供给增益输出单元24。例如，非处理目标的所有扬声器12的增益被设置为“0”。

在来自增益计算单元22的增益g1、g2、g’g3’和g’g4’以及来自增益确定单元23的增益“0”被提供给增益输出单元24之后，增益输出单元24基于从扬声器选择单元21提供的选择信息将这些增益提供给增益调节单元25的放大器31。

特别地，增益输出单元24将增益g1、g2、g’g3’和g’g4’提供给放大器31，放大器31将声音信号提供给相应的处理目标扬声器12，或等同于图7所示的扬声器sp1至sp4的相应扬声器12。例如，在等同于扬声器sp1的扬声器12是扬声器12-1的情况下，增益输出单元24将增益g1提供给放大器31-1。

增益输出单元24还将从增益确定单元23提供的增益“0”提供给放大器31，放大器31将声音信号提供给非处理目标的扬声器12。

在步骤s17中，增益调节单元25的放大器31基于从增益输出单元24提供的增益对从外部提供的对象的声音信号进行增益调节，并且将结果的声音信号提供给扬声器12，以使得扬声器12输出声音。

相应的扬声器12基于从放大器31提供的声音信号输出声音。更具体地，仅四个处理目标扬声器12输出声音。从而，可以将声音图像固定在目标位置处。由于声音从扬声器12被输出，声音定位控制处理终止。

如上所述，声音处理装置11基于关于对象的位置信息来选择四个扬声器12作为处理目标，并且关于这些扬声器12和虚拟扬声器中的两个或三个扬声器的组合来执行vbap。然后，声音处理装置11基于相应的处理目标扬声器12的增益来对声音信号进行增益调节，所述增益通过对不同组合执行vbap来获得。

从而，可以从围绕目标声音图像位置的四个扬声器12输出声音，并且可以使得声音的定位更加稳定。因此，可以使得悦人点范围变宽。

<第二实施方式>

<增益计算>

在上述示例中，从包括虚拟扬声器的5个扬声器中选择用于形成扬声器的一个组合的两个或三个扬声器，并且对不止一个组合执行vbap，以计算处理目标扬声器12的增益。然而根据本技术，还可以在不确定任何虚拟扬声器的情况下通过以下来计算增益：从四个处理目标扬声器12中选择组合，并且对每个组合执行vbap。

在这样的情况下，例如，如图12所示，应当执行vbap的次数取决于目标声音图像位置而变化。在图12中，与图7所示的部件等同的部件由与在图7中所使用的附图标记相同的附图标记来表示，并且不会再非必需地对它们进行重复说明。

在虚拟声源的位置或目标声音图像位置是由箭头q11表示的位置的情况下，例如，由箭头q11表示的位置处于球面上的由扬声器sp1、扬声器sp2和扬声器sp4围成的三角形区域中。从而，如果三维vbap关于由扬声器sp1、sp2和sp4组成的扬声器组合来进行(该组合在下文中还将被称为第一组合)，则要从这三个扬声器sp1、sp2和sp4输出的声音的增益被确定。

同时，由箭头q11表示的位置也是球面上的由扬声器sp2、扬声器sp3和扬声器sp4围成的三角形区域中的位置。从而，如果三维vbap关于由扬声器sp2、sp3和sp4组成的扬声器组合(该组合在下文中也将被称为第二组合)被执行，则要从这三个扬声器sp2、sp3和sp4输出的声音的增益被确定。

此处，将未在第一组合中和第二组和中使用的扬声器的增益的每一个设置为“0”，以使得可以将两组增益获得为第一组合和第二组合中四个扬声器sp1至sp4的各自增益。

对于每个扬声器，获得在第一组合和第二组合中的获得的扬声器的增益的和作为增益和。例如，当第一组合中扬声器sp1的增益是g1(1)，并且第二组合中扬声器sp1的增益是g1(2)时，则扬声器sp1的增益和gs1被表达为增益和gs1＝g1(1)+g1(2)。

由于扬声器sp1不包括在第二组合中，所以g1(2)为0。由于扬声器sp1包括在扬声器的第一组合中，所以g1(1)不为0。因此，扬声器sp1的增益和gs1不为0。这同样适用于其它扬声器sp2至sp4的增益和。

由于以上面的方式确定了各个扬声器的增益和，所以通过利用这些增益和的平方和对各个扬声器的增益和进行归一化而获得的值被设置为这些扬声器的最终增益，或更特别地被设置为要从扬声器输出的声音的增益。

由于以上面的方式确定各个扬声器sp1至sp4的增益，所以总是获得不为0的增益。从而，可以使得这四个扬声器sp1至sp4中的每个扬声器输出声音，并且可以将声音图像固定在期望位置处。

在下面的描述中，第m(1≤m≤4)个组合中的扬声器spk(1≤k≤4)的增益由gk(m)来表示。扬声器spk(1≤k≤4)的增益和由gsk来表示。

此外，在目标声音图像位置是由箭头q12表示的位置，或是球面上连接扬声器sp2与扬声器sp3的线与连接扬声器sp1与扬声器sp4的线之间的交叉点的位置的情况下，存在三个扬声器的四个组合。

特别地，当存在扬声器sp1、扬声器sp2和扬声器sp3的组合(在下文中将该组合称为第一组合)时，扬声器sp1、扬声器sp2和扬声器sp4的组合(在下文中将该组合称为第二组合)是可以的。此外，当存在扬声器sp1、扬声器sp3和扬声器sp4的组合(在下文中将该组合称为第三组合)时，扬声器sp2、扬声器sp3和扬声器sp4的组合(在下文中将该组合称为第四组合)是可以的。

在该情况下，对第一至第四组合中的每个组合执行三维vbap，以确定各个扬声器的增益。关于相同扬声器而获得的四个增益的和被设置为增益和，并且通过使用关于各个扬声器而确定的四个增益和的平方和对各个扬声器的增益和进行归一化而获得的值被设置为这些扬声器的最终增益。

在目标声音图像位置是由箭头q12表示的位置的情况下，例如，如果由球面上的扬声器sp1至sp4形成的四边形是矩形等，则从第一组合和第四组合获得与三维vbap相同的计算结果。从而，如果在这种情况下关于适当的两个组合如第一组合和第二组合执行三维vbap，则可以获得各个扬声器的增益。然而，在球面上由扬声器sp1至sp4形成的四边形不是矩形等而是非对称四边形的情况下，则必须关于这四个组合中的每个组合执行三维vbap。

<增益计算单元的示例结构>

在没有确定任何虚拟扬声器的情况下，当通过从四个处理目标扬声器12中选择扬声器组合并且关于这些组合中的每个组合执行vbap来计算增益时，图9所示的增益计算单元22具有例如图13所示的结构。

图13所示的增益计算单元22包括选择单元91、三维增益计算单元92-1、三维增益计算单元92-2、三维增益计算单元92-3、三维增益计算单元92-4和加法器93。

基于表示目标声音图像位置的信息以及从扬声器选择单元21提供的选择信息，选择单元91从被选择为处理目标的四个扬声器12中确定围绕目标声音图像位置的三个扬声器12的组合。选择单元91将表示扬声器12的组合的信息以及表示目标声音图像位置的信息提供给三维增益计算单元92-1至92-4。

三维增益计算单元92-1至92-4基于表示扬声器12的组合信息以及表示从选择单元91提供的目标声音图像位置的信息来执行三维vbap，并且将各个扬声器12的结果的增益提供给加法器93。在下面的描述中，当不特别需要将三维增益计算单元92-1至92-4彼此区分开时，也将三维增益计算单元92-1至92-4简单地称为三维增益计算单元92。

加法器93基于从三维增益计算单元92-1至92-4提供的各个处理目标扬声器12的增益来确定增益和，并且通过对这些增益和进行归一化来计算各个处理目标扬声器12的最终增益。然后，加法器93将最终增益提供给增益输出单元24。

<声音定位控制处理的描述>

现参考图14中的流程图，对在增益计算单元22具有图13所示的结构的情况下进行的声音定位控制处理进行描述。

步骤s41中的过程与图11中的步骤s11中的过程相同，并且因此在本文中不再重复其说明。

在步骤s42中，选择单元91基于表示目标声音图像位置的信息以及从扬声器选择单元21提供的选择信息来确定扬声器12的组合，并且将表示扬声器12的组合的信息以及表示目标声音图像位置的信息提供给三维增益计算单元92。

例如，在目标声音图像位置是由图12中的箭头q11表示的位置的情况下，包括等同于扬声器sp1、sp2和sp4的三个扬声器12的扬声器12的组合(第一组合)被确定。此外，包括等同于扬声器sp2、sp3和sp4的三个扬声器12的扬声器12的组合(第二组合)被确定。

在此情况下，选择单元91将表示扬声器12的第一组合的信息以及表示目标声音图像位置的信息提供给三维增益计算单元92-1，并且将表示扬声器12的第二组合的信息以及表示目标声音图像位置的信息提供给三维增益计算单元92-2。在此情况下，表示扬声器12的组合等的信息不被提供给三维增益计算单元92-3和92-4，并且三维增益计算单元92-3和92-4都不执行任何三维vbap计算。

在步骤s43中，基于表示扬声器12的组合的信息以及表示从选择单元91提供的目标声音图像位置的信息，三维增益计算单元92计算扬声器12的组合中的各个扬声器12的增益，并且将这些增益提供给加法器93。

特别地，三维增益计算单元92通过关于由表示扬声器12的组合的信息表示的三个扬声器12执行与图11中的步骤s13中的过程相同的过程来确定各个扬声器12的增益。即，进行与根据等式(2)的上述计算相同的计算。四个处理目标扬声器12当中的除由表示扬声器12的组合的信息表示的那三个扬声器12以外剩余的一个扬声器12的增益被设置为“0”。

在第一组合和第二组合这两个组合例如在步骤s42中被确定的情况下，三维增益计算单元92-1关于第一组合通过三维vbap来计算各个扬声器12的增益。三维增益计算单元92-2关于第二组合通过三维vbap来计算各个扬声器12的增益。

特别地，包括与图12所示的扬声器sp1、sp2和sp4等同的三个扬声器12的扬声器的组合被确定为第一组合。在该情况下，三维增益计算单元92-1计算等同于扬声器sp1的扬声器12的增益g1(1)、等同于扬声器sp2的扬声器12的增益g2(1)以及等同于扬声器sp4的扬声器12的增益g4(1)。同时，等同于扬声器sp3的扬声器12的增益g3(1)被设置为“0”。

在步骤s44中，加法器93基于从三维增益计算单元92提供的各个扬声器12的增益计算处理目标扬声器12的最终增益，并且将最终增益提供给增益输出单元24。

例如，加法器93通过确定扬声器12的增益g1(1)、g1(2)、g1(3)和g1(4)的和来计算等同于扬声器sp1的扬声器12的增益和gs1，所述增益从三维增益计算单元92被提供。同样地，加法器93还计算等同于扬声器sp2的扬声器12的增益和gs2、等同于扬声器sp3的扬声器12的增益和gs3以及等同于扬声器sp4的扬声器12的增益和gs4。

然后，加法器93通过使用增益和gs1至gs4的平方和来对等同于扬声器sp1的扬声器12的增益和gs1进行归一化以确定等同于扬声器sp1的扬声器12的最终增益g1(系数g1)。加法器93还通过与上面相同的计算来确定等同于扬声器sp2至sp4的扬声器12的最终增益g2至g4。

在处理目标扬声器12的增益以上述方式被确定之后，步骤s45和s46中的过程被执行，并且然后声音定位控制处理终止。然而，这些过程与图11中步骤s16和s17中的过程相同，并且因此本文不再重复对它们的说明。

如上所述，声音处理装置11基于关于对象的位置信息选择四个扬声器12作为处理目标，并且关于作为在四个处理目标扬声器12当中的三个扬声器12的扬声器12的组合执行vbap。然后，声音处理装置11通过确定关于不同组合而进行的vbap来获得的每个扬声器12的增益的和来确定各个处理目标扬声器12的最终增益，并且对声音信号进行增益调节。

从而，可以从围绕目标声音图像位置的四个扬声器12输出声音，并且可以使得声音的定位更加稳定。因此，悦人点范围可以更宽。

尽管在本实施方式中已经描述了围绕目标声音图像位置的四个扬声器12是处理目标扬声器12的示例情况，但是要被选择为处理目标的扬声器12的数量可以是四个或更大。

例如，在五个扬声器12被选择为处理目标扬声器12的情况下，由围绕目标声音图像位置的三个扬声器12组成的扬声器12的组合被选择为五个扬声器12中的一个组合。

特别地，如图15所示，等同于五个扬声器sp1至sp5的扬声器12被选择为处理目标扬声器12，并且目标声音图像位置是由箭头q21表示的位置。

在该情况下，扬声器sp1、sp2和sp3的组合被选择为第一组合，并且扬声器sp1、sp2和sp4的组合被选择为第二组合。此外，扬声器sp1、sp2和sp5的组合被选择为第三组合。

各个扬声器的增益关于第一组合至第三组合被确定，并且根据各个扬声器的增益和来计算最终增益。即，关于第一组合至第三组合，图14中步骤s43中的过程被执行，并且步骤s44至s46中的过程然后被执行。

如上所述，在有五个或更多个扬声器12被选择为处理目标扬声器12的情况下，还从所有的处理目标扬声器12输出声音，以使得声音图像可以被固定。

上述系列处理可以通过硬件来执行或者可以通过软件来执行。当由软件来执行所述系列处理时，形成软件的程序被安装至计算机中。此处，计算机可以是结合至专用硬件的计算机，或者可以是可以执行各种功能如执行安装在其中的各种程序的通用计算机。

图16是示出了根据程序来执行上述系列处理的计算机的硬件的结构的示例的框图。

在该计算机中，cpu801、rom802和ram803通过总线804彼此连接。

输入/输出接口805还连接至总线804。输入单元806、输出单元807、记录单元808、通信单元809和驱动器810被连接至输入/输出接口805。

输入单元806形成有键盘、鼠标、麦克风、成像设备等。输出单元807形成有显示器、扬声器等。记录单元808形成有硬盘、非易失性存储器等。通信单元809形成有网络接口等。驱动器810驱动可移动介质811如磁盘、光盘、磁光盘或半导体存储器。

在具有上述结构的计算机中，cpu801将记录在记录单元808中的程序例如通过输入/输出接口805和总线804来加载至ram803，并且执行程序以使得上述系列处理被执行。

要由计算机(cpu801)执行的程序可以被记录在可移动介质811例如要提供的封装介质上。可替代地，可以通过有线或无线传输介质如局域网、因特网或数字卫星广播等来提供程序。

在该计算机中，当可移动介质811被安装在驱动器810上时，可以经由输入/输出接口805将程序安装至记录单元808中。程序还可以经由有线传输介质或无线传输介质被通信单元809接收，并且可以被安装至记录单元808中。可替代地，程序可以预先被安装至rom802或记录单元808中。

要由计算机执行的程序可以是用于根据在本说明书中描述的顺序按照时间次序来执行处理的程序，或者可以是用于并行地执行处理或在必要时如有调用时执行处理的程序。

应当注意，本技术的实施方式不限于上述实施方式，并且在不偏离本技术的范围的情况下可以对这些实施方式做出各种修改。

例如，本技术可以按照以下云计算结构来实施：其中，经由网络在装置之间共享一个功能，并且通过装置彼此协作来执行处理。

参考上述流程图而描述的各个步骤可以通过一个设备来执行，或者可以在设备之间共享。

当在一个步骤中包括多于一个处理的情况下，包括在该步骤中的处理可以通过一个设备来进行，或可以在设备之间被共享。

此外，本技术可以采取以下形式。

[1]一种声音处理装置，包括：

四个或更多个声音输出单元；

增益计算单元，其关于位于靠近作为目标位置的声音图像定位位置的所述四个或更多个声音输出单元中的两个或三个声音输出单元的组合中的每个不同组合，通过基于所述声音输出单元之间的位置关系来计算要从所述声音输出单元输出的声音的增益，以确定要从所述四个或更多个声音输出单元输出的声音的输出增益；以及

增益调节单元，其基于所述输出增益来对要从所述声音输出单元输出的声音进行增益调节。

[2]根据[1]所述的声音处理装置，其中，所述输出增益中的至少四个输出增益中的每一个具有非零值。

[3]根据[1]或[2]所述的声音处理装置，其中，所述增益计算单元包括：

第一增益计算单元，其基于虚拟声音输出单元、所述声音输出单元中的两个声音输出单元以及所述声音图像定位位置之间的位置关系来计算所述声音输出单元中的所述两个声音输出单元和所述虚拟声音输出单元的输出增益；

第二增益计算单元，其基于除了所述声音输出单元中的所述两个声音输出单元以外的所述声音输出单元中的另外两个声音输出单元与所述虚拟声音输出单元之间的位置关系来计算所述声音输出单元中的所述另外两个声音输出单元的增益，所述声音输出单元中的所述另外两个声音输出单元的增益要用于将声音图像固定在所述虚拟声音输出单元的位置处；以及

计算单元，其基于所述声音输出单元中的所述另外两个声音输出单元的增益以及所述虚拟声音输出单元的输出增益来计算所述声音输出单元中的所述另外两个声音输出单元的输出增益。

[4]根据[3]所述的声音处理装置，其中，所述计算单元通过将所述声音输出单元中的所述另外两个声音输出单元的增益与所述虚拟声音输出单元的输出增益相乘来计算所述声音输出单元中的所述另外两个声音输出单元的输出增益。

[5]根据[3]或[4]所述的声音处理装置，其中，所述虚拟声音输出单元的位置在以下多边形的边上：所述四个或更多个声音输出单元处于所述多边形的拐角处。

[6]根据[1]或[2]所述的声音处理装置，其中，所述增益计算单元包括：

虚拟增益计算单元，其基于所述声音输出单元中的三个声音输出单元和所述声音图像定位位置之间的位置关系来计算所述声音输出单元中的所述三个声音输出单元的输出增益；以及

计算单元，其基于由所述虚拟增益计算单元计算的所述输出增益来计算所述声音输出单元的最终输出增益，所述虚拟增益计算单元关于组合当中的不同组合计算所述输出增益。

[7]根据[6]所述的声音处理装置，其中，所述计算单元通过确定关于所述声音输出单元中的一个声音输出单元而确定的所述输出增益的和来计算所述声音输出单元中的同一个声音输出单元的最终输出增益。

附图标记列表

11声音处理装置

12-1至12-n以及12扬声器

21扬声器选择单元

22增益计算单元

25增益调节单元

61虚拟扬声器位置确定单元

62三维增益计算单元

63二维增益计算单元

64乘法器

65乘法器

91选择单元

92-1至92-4以及92三维增益计算单元

93加法器