声音再现系统的制作方法

本申请涉及进行三维音响再现的声音再现系统。

背景技术：

目前不仅在电影和音乐，在游戏中也普及了5.1ch、7.1ch等多声道的音频信号，利用设置在围绕收听者的规定位置上的多声道扬声器进行再现时，能够实现具有临场感的音频再现。并且为了解决设置5.1ch以及7.1ch的扬声器存在困难的情况，开发了用以往的立体声扬声器，模拟地实现与多声道音频再现相同的效果的三维音响技术。

在该三维音响技术中，通常使用声像控制滤波器，该声像控制滤波器是利用从扬声器到收听者的双耳边的音响特性，即头部音响传递函数hrtf(head-relatedtransferfunction)来设计的。关于三维音响技术，在非专利文献1中已经公开。然而这样的三维音响技术，在变更收听位置、变更收听者本身的情况下，不能获得所期望的信号。关于如何减轻扬声器和收听者的相对的位置关系的影响，正在讨论几个方案。

其中一例是专利文献1，利用被称为立体声偶极的再现方式，即左扬声器、收听者、右扬声器构成的角度设为8度至20度，从而能够对扬声器与收听者的相对的位置偏离，进行有力控制。

此外，专利文献2中公开了专利文献1中公开的立体声偶极方式的小型扬声器单元，以装拆自由的方式安装在游戏控制器上。

另一方面，专利文献3中公开了具有控制器的家庭用游戏机系统，该控制器除了控制杆和按钮等之外还具备扬声器。并且公开了如下方式，在该家庭用游戏机系统中，控制器比电视机更靠近用户，所以将不希望用户听漏的重要的声音信息通过控制器的扬声器来再现。

(现有技术文献)

(专利文献)

专利文献1：日本专利第4508295号公报

专利文献2：日本特开2004-128669号公报

专利文献3：日本特开2014-81727号公报

(非专利文献)

非专利文献1：“音响系统和数字处理”电子信息通信学会编辑发行，大贺寿郎、山崎芳男、金田丰共著

技术实现要素：

发明要解决的课题

如上所述，为了得到所希望的三维音响效果，需要在设计声像控制滤波器时设想的位置上收听，换言之需要在扬声器与收听者的设想位置上收听。在扬声器再现的情况下，通常多数情况下利用设置在电视机的扬声器、或者设置在电视机附近的扬声器，利用该扬声器获得三维音响效果，就需要用户在玩游戏时，不能离开设想的位置。

近几年的游戏机，控制器已经无线化，只要无线信号到达的范围内，用户可以移动到喜欢的地方来玩游戏。尽管在这样的状况下，为了从游戏机获得三维音响效果，而限制收听位置，从而用户不能在喜欢的位置上玩游戏，会夺走游戏乐趣的一部分。

此外，有一些游戏软件是能够多个用户同时玩的。多个人在相对于扬声器是相同的位置上玩游戏是不可能的，在多个用户同时玩的游戏中，存在不能使全体用户获得三维音响效果的课题。

在专利文献1中公开了对收听者的移动有效的声像控制方式，但是这个方式中再现扬声器是固定的状态，用户没有四处移动的自由度，不能解决所述课题。

本申请提供一种不限制用户的收听位置，并能够舒适地享受通常音以及三维音响处理音的声音再现系统。

解决课题所采用的手段

为了解决所述课题，本申请的一个方案涉及的声音再现系统，具备：声音处理装置，与台式的第一输出装置连接，该第一输出装置具备多个声音输出部；以及便携式的第二输出装置，具备多个声音输出部，所述声音处理装置生成第一声音输出信号和第二声音输出信号，所述第一声音输出信号是输出到所述第一输出装置的信号，所述第二声音输出信号是与所述第一声音输出信号不同的、输出到所述第二输出装置的信号，在所述第一声音输出信号以及所述第二声音输出信号中，至少所述第二声音输出信号包含进行了三维音响处理的信号。

通过这个构成，能够接收从第一输出装置再现的第一声音输出信号的同时，从用户能够把持的便携型式第二输出装置再现被进行了三维音响处理的信号，从而不受用户位置的限制，能够享受舒适的三维音响效果。

此外，可以是在所述的声音再现系统，所述第一输出装置，能够再现比所述第二输出装置再现的频带低的频带，所述声音处理装置具备三维处理部、频带分割滤波器、以及加算处理部，所述三维处理部，进行所述三维音响处理，所述频带分割滤波器，将所述第二声音输出信号、或者对所述第二声音输出信号进行所述三维音响处理之前的声源信号，用规定的截止频率来分割为低频带信号和高频带信号，所述加算处理部，将所述低频带信号与所述第一声音输出信号相加。

通过这个构成，将便携式的第二输出装置难以再现的低频带信号，用台式的第一输出装置来再现，所以音质变化少、且能够享受更出色的三维音响效果。

此外，可以是所述声音处理装置还具备延迟校正部，该延迟校正部校正所述第一声音信号以及所述第二声音信号的一方，以使在收听位置上难以感知所述第一声音输出部的输出延迟与所述第二声音输出部的输出延迟之间的延迟时间差。

通过该构成，能够使通过第一输出装置延迟的第二声音输出信号的低频带成分与从第二输出装置再现的第二声音输出信号的高频带成分之间被感知的时间差难以感知，能够减少由延迟时间差产生的不协调感。

在此，可以是所述延迟校正部，使所述第二声音信号延迟。

通过该构成，能够使所述延迟时间差本身变小，从而减少所述不协调感。

在此，可以是所述延迟校正部，使所述第二声音输出信号的攻击成分减弱。

通过这个构成，能够使第二声音信号的攻击成分减弱，能够减少所述不协调感。

此外，可以是所述三维音响处理是在收听者的耳边感知声像的音响处理。

通过该构成，通过在耳边生成声像，从而能够实现更具有临场感的三维音响效果。

此外，可以是所述三维处理部，按照所述收听者对所述第二输出装置进行的操作，变更所述虚拟声源的位置。

通过该构成，能够按照状况再现充满临场感的声音再现。

发明效果

通过本申请，不限制游戏用户的收听位置，能够舒适地享受通常音以及三维音响处理音。

附图说明

图1是表示实施方式1涉及的声音再现系统的构成的一例的图。

图2是表示实施方式2涉及的声音再现系统的构成的一例的图。

图3是表示实施方式2涉及的声音再现系统的第一变形例的图。

图4是表示实施方式2涉及的声音再现系统的第二变形例的图。

图5是表示实施方式2涉及的声音再现系统的第三变形例的图。

图6是表示实施方式3涉及的声音再现系统的构成的一例的图。

图7是表示实施方式3涉及的声音再现系统的第一变形例的图。

图8是实施方式3的延迟校正部中使用的窗函数的一例的图。

图9是表示实施方式2涉及的声音再现系统的第二变形例的图。

图10是表示三维声音再现系统的构成的一例的图。

图11是表示游戏机系统的构成的一例的图。

具体实施方式

(作为本发明的基础的知识)

本发明人针对背景技术部分中记载的声音再现系统(家庭用游戏机系统)，发现了以下问题。

首先，说明非专利文献1公开的三维音响技术。

图10是表示三维声音再现系统的构成的一例的框图。以下将信号和滤波器用频域来表示。hrtf通常用有限长的脉冲响应、或者将其变换为频域来表示，在这里说明用频域来表示的hrtf。图10的三维声音再现系统具备左扬声器20、右扬声器21、以及声像控制部30。声像控制部30具备，声像控制滤波器31、以及声像控制滤波器32。将声像控制滤波器31的传递函数设为xl，声像控制滤波器32的传递函数设为xr。

在这个例子中，利用设置在收听者10的前方的立体声扬声器(左扬声器20、右扬声器21)，在收听者10的两耳位置再现与设置在后方的虚拟扬声器22再现输入信号s时相同的声音。从左扬声器20、右扬声器21到收听者10的两耳为止的hrtf分别设为hll、hlr、hrl、hrr，此外从虚拟扬声器22到收听者10的两耳为止的hrtf设为dl、dr。输入信号s在这里是双声道的声音信号。输入到左扬声器20、右扬声器21的信号，是分别在声像控制滤波器31、32进行了滤波处理的输入信号s。该声像控制滤波器31、32被设计为，在收听者10的两耳位置，能够获得与虚拟扬声器22再现输入信号s一样的信号。

具体而言，用以下的式1来解xl，xr。*是表示卷积的运算符号。

[数式1]

满足所述的xl、xr，例如可以通过式2来求出。

[数式2]

将需要的频率中的xl、xr，分别用所述式2来求出，通过与输入信号s卷积并再现，从而能够在收听者10的两耳位置上获得从虚拟扬声器22输出输入信号s一样的信号。换言之，即使从设置在前方的左扬声器20、右扬声器21再现声音，收听者10感知为从虚拟扬声器22再现声音。

在这里，hrtf中包含扬声器和收听者10的两耳位置之间的全部音响特性。换言之，扬声器与收听者10的相对位置关系发生变化的情况下，以及收听者10变为其他人的情况下，hrtf发生变化。因此，所述求出的声像控制滤波器31、32的特性(传递函数)，严密上说是在计测hrtf的位置，计测hrtf的收听者10听到在声像控制滤波器31、32被控制的声音的情况下，能够实现所希望的特性，换言之，在两耳位置上再现dl*s，dr*s。但是，收听位置或者收听者10本身变更的情况下，不一定能获得所希望的信号。

作为收听者10变更的对策，通常在hrtf计测中使用模拟头。模拟头是指模拟了人的头部或上半身的模特儿，包含头部和耳壳的形状以及尺寸，与标准的人相同地设计而成。通过采用模拟头，能够计测标准的人的hrtf，所以能够减少hrtf的个人差的影响。

另一方面，作为声音再现系统的一例的家庭用游戏机系统中，采用具备控制杆和按钮等的控制器，该控制器具备扬声器。通过利用与这样的家用游戏机连接的电视机扬声器，以及搭载在控制器的扬声器，从而出现了新的游戏。

图11是作为声音再现系统的一例表示的、在专利文献3公开的利用电视机扬声器和搭载在控制器的扬声器的游戏机系统的构成的一例的图。游戏机系统由电视机110、与电视机110连接的游戏机主体120、以及控制器130构成。电视机110，具备电视机画面111、以及两个电视机扬声器112。控制器130，具备控制器画面131、十字按键132、控制按钮133、控制杆134、扬声器135、控制器音量调整凸部136、耳机端子137、摄像机138以及麦克风139。

电视机110与游戏机主体120通常用hdmi(注册商标)电缆等连接，从游戏机主体120输出的游戏的视频信号输出到电视机110的电视机画面111，此外，音频信号从电视机扬声器112输出。游戏机主体120还与控制器130有线、或者无线连接。控制器130通过用户140被用于游戏操作等。控制器130具备扬声器135，按照游戏的进程或用户的操作，输出与电视机扬声器112不同的、或者相同的音频信号。在专利文献3中，将不希望用户听漏的重要的声音信息，从控制器扬声器再现。但是，存在从控制器130的扬声器135不能再现三维声音的问题。进而，因为扬声器135是小型，所以低频带的再现能力缺乏，有效地再现三维声音存在困难。

此外，在专利文献2，公开了用搭载在控制器上的扬声器来提供三维音响效果的方式，但是能够搭载在控制器的扬声器，通常不能再现几百hz以下的低频带的声音。近几年游戏软件对应多声道音频，只要准备5.1ch等家庭影院扬声器的多声道再现环境，就能用具有震撼力的音频再现来享受游戏。只依靠搭载在控制器的扬声器，很难充分发挥这样的声音的震撼力。不仅是震撼力，根据再现的信号，由于信号中的低频带成分不能再现，所以导致音质变化，产生不协调感。此外，对于进行了三维音响处理的声音，因为不能再现低频带，所以三维效果也变弱，从而存在不能享受具有临场感的再现的课题。

本发明人在所述声音再现系统(游戏机系统)中，发现了利用控制器130的扬声器135，能够进行有效的三维声音再现。

于是，本申请提供一种不受用户的收听位置的限制，并能舒适地享受通常音以及三维音响处理音的声音再现系统。

(实施方式1)

以下适当地参考附图，详细说明实施方式。但是，有时省略必要以上的详细说明。例如，省略已知事项的详细说明或者实际上相同的构成的重复说明。这是为了避免下述说明不必要地冗长，是为了本领域技术人员便于理解。

另外，发明人提供的附图以及下述说明是为了方便本领域技术人员充分理解本申请，其不是用于限制技术方案所记述的主题。

以下，利用附图来说明实施方式。

图1是表示实施方式1涉及的声音再现系统100的构成的一例的图。在这里说明将声音再现系统100适用于图11的游戏机系统的例子。以下，游戏机系统的影像处理以及声音处理中，主要以声音处理为中心进行说明。

声音再现系统100与第一输出装置400连接，由声音处理装置200和第二输出装置300构成。另外，图1的第一输出装置400、第二输出装置300、声音处理装置200，分别适用于图11的电视机110、游戏机主体120、控制器130。

声音处理装置200在这里是游戏机主体，根据记录在可读取的光盘上的游戏程序执行游戏处理等。在该游戏处理中包含影像处理和声音处理。

第一输出装置400在这里是电视机，作为扬声器具备多个声音输出部410、411(以下记为电视机扬声器410、411)。第一输出装置400与游戏机主体即声音处理装置200通常由hdmi(注册商标)电缆等来连接，按照游戏的进程，从游戏机主体即声音处理装置200输出的游戏的视频信号在第一输出装置400的电视机画面111、并且电视机用音频信号(第一声音信号)在电视机扬声器410、411再现以及输出。

声音处理装置200，作为游戏机主体，也与第二输出装置300(控制器)无线、或有线连接。该声音处理装置200生成输出到第一输出装置400的第一声音输出信号、以及与第一声音输出信号不同的输出到第二输出装置300的第二声音输出信号。在第一声音输出信号以及第二声音输出信号中，至少第二声音输出信号包含由声音处理装置200进行了三维音响处理的信号。

第二输出装置300在这里是游戏控制器，具备扬声器即声音输出部330、331(以下记为扬声器330、331)。第二输出装置300，可以是与图11的控制器130相同的构成，具备控制杆等。玩游戏的用户手持第二输出装置300等进行操作。声音处理装置200，作为游戏机主体，按照该用户的操作来控制游戏的进程。第二输出装置300，按照游戏的进程，再现从声音处理装置200发送来的控制器用音频信号(第二声音信号)。在这里，扬声器330、331是双声道扬声器为前提来说明，但是三声道以上也可以。此外，第二输出装置300具备音量调整部320，例如按照用户对第二输出装置300具备的音量调整凸部等进行操作，能够调整从扬声器330、331再现的第二声音信号的音量。

记录在游戏程序内的音频信号，作为声音素材b211以及声音素材a212存储在游戏机主体即声音处理装置200中的存储器等。

声音素材b211，在三维处理部220实施三维音响处理，作为第二声音信号在扬声器330、331再现。这样，能够获得例如从用户耳边听到声音素材b211的声音的效果。在此，作为三维音响处理，不仅限于定位在耳边，也可以实现其他定位位置。三维处理部220的一例是与图10的声像控制部30相同的构成，具备声像控制滤波器31、声像控制滤波器32。通常，声像控制滤波器31、32多数用fir(finiteimpulseresponse：有限冲激响应)滤波器来实现，但也可以用iir(infiniteimpulseresponse：无限冲激响应)滤波器来实现，也可以是组合多个fir滤波器和iir滤波器等，也可以是除了fir滤波器以外的构成。声像控制滤波器31，32的特性，例如用所述式1、式2来说明的方法等来设定。此外，图10中针对一个输入信号在一个虚拟扬声器22的位置定位声像，但是在图1中的将不同的输入信号定位在不同的虚拟扬声器的位置的情况下，可以按照虚拟扬声器的位置的数量来设置声像控制部30，针对各个声源进行声像控制处理。

在三维处理部220进行了三维音响处理的声音素材b211，作为第二声音信号，在无线通信部230变换为无线通信信号，发送到第二输出装置300。第二输出装置300接收的无线通信信号，在第二输出装置300具备的无线通信部310被取出第二声音信号，在音量调整部320进行音量调整后，在扬声器330、331再现。

声音素材a212，作为第一声音信号在电视机扬声器410、411再现。这个声音素材a212，以在电视机扬声器410、411换言之是两个扬声器的情况下，通常设想感觉从用户的前方再现的方式来制作。

如上所述，用户在不同的位置上感知各个声像，从用户耳边感知对声音素材b211进行了三维音响处理的第二声音信号，此外从电视机扬声器410、411作为第一声音信号感知声音素材a212。与在电视机扬声器的位置、控制器的扬声器的位置上感知声像的专利文献3等以往的声音再现系统(游戏机系统)比较，能够实现更具有临场感的音频再现。例如，在恐怖类的游戏等，作为声音素材b211使用从后面袭过来的僵尸的声音，此外，作为声音素材a212，使用bgm，从而能够实现更忠实于影像的声像，成为比以往的游戏机系统更具有临场感的音频再现。

此外，通过具备多个第二输出装置300(控制器)，从而对多个用户实现同样的音频再现。因为第二输出装置300由用户手持着使用，在扬声器330、331再现的三维效果，能够针对多个用户分别发挥效果。声音素材a211和三维处理部220存在多个，对不同的控制器作为不同的信号来发送，从而当然可以实现按照每个用户不同的音频再现。

另外，通常电视机扬声器410、411多数是立体声扬声器，但是可以具备3ch以上的扬声器。代替电视机扬声器410、411，可以是被称为条形音箱等的条形的附放大器的扬声器、或者可以是经由av放大器另与5.1ch等家庭影院型的扬声器系统连接的形态。在5.1ch扬声器的情况下，可以使声音素材a212不仅在用户的前方方向感知，还在后方方向感知，所以能够进行更丰富的音频再现。

(实施方式2)

在本实施方式，说明如下的声音再现系统，在便携式第二输出装置300难以再现或容易缺失信息的第二声音信号中的低频带声音信号，在台式第一输出装置400来再现的声音再现系统。

图2是表示实施方式2涉及的声音再现系统100的构成的一例的图。与实施方式1同样，将本申请作为适用于游戏机系统的例子来说明。图2的声音处理装置201，与图1的声音处理装置200的不同之处在于增加了声音素材c210、频带分割滤波器250以及加算处理部240、241。除此之外与图1相同。以下以不同点为中心进行说明。

频带分割滤波器250，将第二声音输出信号、或者对第二声音输出信号进行所述三维音响处理之前的声源信号(换言之声音素材a212)，用规定的截止频率来分割为低频带信号(换言之低频带成分)和高频带信号(换言之高频带成分)。在图2中，频带分割滤波器250，不是对声源信号，而是对进行了三维音响处理后的第二声音输出信号进行频带分割。

加算处理部241，将所述低频带信号与第一声音输出信号相加，输出到第一输出装置400。

加算处理部240，将所述高频带信号与声音素材c210的声音信号相加，输出到第二输出装置300。声音素材c210是在扬声器330、331不进行三维音响处理而再现的声音素材。

如上所述，第二输出装置300通常是用户手持着进行操作，所以被搭载的扬声器330、331多数是其直径为几厘米的适用于便携设备的小型装置。与电视机扬声器410、411比较时，多数情况下是扬声器330、331的直径小，扬声器330、331比电视机扬声器410、411，可再现的下限频带高。换言之，扬声器330、331与电视机扬声器410、411比较时，难以再现低频带成分。所以即使向扬声器输出比可再现的下限频带低的音频信号，但是从扬声器再现的是比输入的级别非常小的声音，例如，男性的声音等有时被感知为音质发生变化的声音。此外，因为音量小，使输入级别设为过大时，有可能损坏扬声器单元本身。

为了改善这个课题，在图2中，导入了频带分割滤波器250。频带分割滤波器250，用规定的截止频率，例如，在扬声器330、331的再现下限频率附近(也根据扬声器的直径和功能，在适用于便携式设备的扬声器单元中，通常是几百hz附近)，将第二声音信号分割为高频带成分和低频带成分。频带分割滤波器250，在来自三维处理部220的第二声音信号中，将高频带成分输出到加算处理部240，并且将低频带成分输出到加算处理部241。对声音素材b211进行了三维音响处理的第二声音信号中，高频带成分与声音素材c210的声音信号相加在扬声器330、331再现，此外低频带成分与第一声音信号相加在电视机扬声器410、411再现。

这样，不能在扬声器330、331再现的声音素材b211的低频率的低频带信号，由电视机扬声器410、411取代扬声器330、331来再现。这样，能够减少低频带成分的信息缺失。例如，在图1的方式中，只包含低频率的背景音等想仅由扬声器330、331再现也不能再现，出现信息缺失，但是图2的声音处理装置201中，低频带成分在电视机扬声器410、411再现，所以能够减少信息缺失。此外，在扬声器330、331再现的例如男性声音的低频带成分的音质变化也减少，能够实现接近于游戏开发者原本设想的音频再现。

另外，如图3所示，声音再现系统100，可以具备声音处理装置202，以取代声音处理装置201。图3是表示实施方式2涉及的声音再现系统的第一变形例的图。在图3，声音处理装置202与声音处理装置201比较时，加算处理部240不是设置在频带分割滤波器250的后段，而是设置在前段。加算处理部240的输出，不仅包括第二声音信号，还包括声音素材c210的声音信号。这样，频带分割滤波器250，不仅对第二声音信号，也对声音素材c210的声音信号进行频带分割，将高频带成分输出到无线通信部230，将低频带成分输出到加算处理部241。从而，利用电视机扬声器410、411能够对声音素材c210的低频带成分也无遗漏地进行再现，这是优点。

此外，如图4所示，声音再现系统100，可以具备声音处理装置203，以取代声音处理装置201。图4是表示实施方式2涉及的声音再现系统的第二变形例的图。声音处理装置203，与声音处理装置201的不同之处是增加了频带分割滤波器251、以及频带分割滤波器250的设置不同。

此外，如图5所示，声音再现系统100，可以具备声音处理装置204，以取代声音处理装置203。图5是表示实施方式2涉及的声音再现系统的第三变形例的图。声音处理装置204与声音处理装置203比较时，增加了三维处理部221。这样，将频带分割滤波器251的输出(低频带成分)，在三维处理部221另进行三维音响处理，以在电视机扬声器410、411再现。在此，三维处理部220和三维处理部221优选的是达到相同的三维效果。具体而言例如是在用户的耳边定位。这样，能够获得更强的三维效果。

(实施方式3)

图6是表示本申请的实施方式3涉及的声音再现系统的构成的一例的图。与实施方式1和2相同，将本申请的声音再现系统适用于游戏机系统为例子进行说明。

图6与图2比较时，不同之处在于增加了延迟校正部260。下面以不同点为中心进行说明。

从图2的声音处理装置200向第一输出装置400(电视机)输入影像以及第二声音信号后，实际在电视机画面以及电视机扬声器410、411输出为止，是有延迟时间的。另一方面，从声音处理装置200向第二输出装置300输入第一声音信号后，实际在扬声器330、331输出为止也是有延迟时间的。这些延迟时间不一定相同，多数情况下是不同的。换言之，本来三维处理部220的输出，应该是使低频带成分、高频带成分同步(换言之延迟时间差为0)地再现，但是，在电视机扬声器410、411的再现是延迟了该延迟时间，所以给用户感知声音带来影响。为了解决这个课题，图6的声音处理装置205中导入了延迟校正部260。延迟校正部260，生成延迟时间，以使上述的在电视机扬声器410、411再现时产生的所述延迟时间差消除。这样，扬声器330、331与电视机扬声器410、411再现的声音以没有时间差的方式再现。

通常，第一输出装置400的输出延迟时间，根据第一输出装置400的机种和工作模式而变化。于是，可以设为用户能够调整在延迟校正部260校正的延迟时间。可以以ms单位来调整，或者具有几个代表性的延迟时间的模式，用户能够从中选择没有不协调感的最适合的延迟时间。

此外，延迟校正部260，可以如图7的声音处理装置206，设置在频带分割滤波器250和无线通信部230之间。图7是表示实施方式3涉及的声音再现系统的第一变形例的图。在该图中，从扬声器330、331输出的信号的全部，与在电视机扬声器410、411再现的信号之间的延迟之差被校正，所以能够使作为声音再现系统100的全部同步地再现音频。

此外，在图3、图4的声音处理装置202、203，可以与图6、图7一样追加延迟校正部260。

此外，通过我们的实验结果得知对上升尖锐的音响信号，较大地感知该延迟时间的影响。所以图6的延迟校正部260可以不生成延迟时间，而是减弱第二声音信号的攻击(attack)成分。例如，延迟校正部260，可以对第二声音信号的上升成分乘以图8表示的窗函数。图8是实施方式3的延迟校正部260中使用的窗函数的一例的图。图8的图表的横轴表示样品数，纵轴表示进行乘算的增益。该图的图表为截取了汉宁(hanning)窗的前半部分。将这样的窗函数与音频信号相乘，能够将陡峭的声音的上升变得平滑，所以在感知上能够减轻扬声器330、331与电视机扬声器410、411之间的到达时间差。另外，图8表示的窗函数是一例，可以改变窗的形状和窗长(增益0至1为止的样品数)。作为窗的形状可以使用例如汉宁窗、汉明(hamming)窗等，从增益0至1平滑地变化的窗。进而，检测上升尖锐的音响信号，可以对该信号不输出低频带成分(仅从扬声器330、331输出)。在实时地实现本处理的情况下，可以设置检测上升锐度的检测部，从而在检测部检测出的锐度超过规定的阈值的情况下，不输出低频带成分。例如，可以使图8所述的窗函数的增益值全部设为0，或者另外设置控制低频带成分的输出的开关，将该开关切换为不输出。

从实施方式1至3的三维处理部220中实施的三维音响处理，通过从外部的控制，使虚拟声源位置发生变化，或者也可以使三维音响处理中使用的声像控制滤波器31、32的特性本身发生变化。使虚拟声源位置发生变化的例子，例如，反映用户进行的控制杆的控制的方法。在游戏中的音频再现，能够实现好像用户成为登场人物一样的再现，从而能够进一步实现身临其境。也可以按照用户用控制杆来操作游戏软件中登场的人物，使再现的音频发生变化。具体而言，用控制杆改变了登场人物的面部朝向以及站立位置的情况下，与此对应地改变在游戏内产生的声源(例如，开枪声音或另外的登场人物的声音等)的位置。从而，能够提供用户实际上成为登场人物本身，置身于游戏中的感觉。在作为游戏机主体的声音处理装置205中，算出登场人物与全部或某个特定的声源位置之间的距离与方向，进行按照算出的该距离与方向来改变虚拟声源位置的三维音响处理。此时，不仅在三维音响处理，也可以对电视机扬声器410、411和第二输出装置300通常再现的声音素材，通过定位(panning)处理等来改变。此外，三维音响处理中的虚拟声源位置是与电视机扬声器410、411和扬声器330、331的位置相同，或者接近的位置的情况下，在电视机扬声器410、411或者扬声器330、331可以不进行三维音响处理来再现。例如，车辆从游戏内的登场人物的右前方，向登场人物的紧右侧通过并且行驶到右后侧的情况下，将车辆的声音，从电视机扬声器410、411的右扬声器渐渐提升音量再现，并渐渐降低音量，与其对应地将扬声器330、331的正常输出渐渐提升音量。之后，扬声器330、331的正常输出的音量下降，扬声器330、331的三维输出的音量渐渐提升，并且渐渐降低。此时，作为三维音响处理，以好像在用户的右耳边存在虚拟声源的方式进行处理。通过进行这样的处理，用户能够获得车辆从右侧前方渐渐接近并经过的效果。

此外，也可以利用搭载在第二输出装置的摄像机的图像，接受脸部识别的结果，来切换声像控制滤波器。如上所述，声像控制滤波器31、32，按照收听者的变化，其效果也变化。例如，通过脸部识别，检测用户的性别和脸部大小，与此对应地在事先准备的声像控制滤波器中使用最适合的声像控制滤波器。这样，比基于模拟头的hrtf的声像控制滤波器31、32，进行更正确的声像控制。

此外，在再现被进行了三维音响处理的音响信号时，其他的音响信号的音量可以降低。从而，能够强调进行了三维音响处理的声音，能够进一步加强临场感。

在上述中，声音素材c210、声音素材b211、声音素材a212可以全部同时再现，也可以任意选择一个或多个来再现。

此外，图9是表示实施方式2涉及的声音再现系统的第二变形例的图。如图9所示即使没有声音素材c210，本申请的有效性也不受损。

在实施方式1至3中，对声音素材c210、声音素材b211以及声音素材a212，说明了实时处理的方式，但是对声音素材c210、声音素材b211以及声音素材a212的全部或者一部分可以不进行实时处理，可以分别对各个声音素材预先进行规定的处理，将该结果保存在游戏软件来进行再现。此时，就不需要三维处理部220和频带分割滤波器250、延迟校正部260等实时处理，所以能够抑制声音处理装置200的处理负荷。

此外，在所述实施方式中，各个构成要素可以通过专用的硬件来构成，或者执行与各个构成要素适合的软件来实现。各个构成要素，也可以通过cpu或处理器等程序执行部，读出并执行记录在硬盘或半导体存储器等记录介质的软件程序来实现。

工业实用性

本申请涉及的声音再现系统，在用户移动的情况下也能够听起来舒适地再现音频并获得三维音响效果，所以能够广泛应用于声音再现系统。

符号说明

10收听者

20左扬声器

21右扬声器

22虚拟扬声器

30声像控制部

31，32声像控制滤波器

100声音再现系统

110，400第一输出装置(电视机)

111电视机画面

112，410，411电视机扬声器(声音输出部)

120游戏机主体

130，300第二输出装置(控制器)

131控制器画面

132十字按键

133控制按钮

134控制杆

135，330，331扬声器(声音输出部)

136控制器音量调整凸部

137耳机端子

138摄像机

139麦克风

140用户

200～207声音处理装置(游戏机主体)

210声音素材c

211声音素材b

212声音素材a

220，221三维处理部

230，310无线通信部

240，241加算处理部

250，251频带分割滤波器

260延迟校正部

320音量调整部