声音信号处理系统和声音信号处理装置的制作方法

本发明涉及处理由麦克风收集的声音信号的声音信号处理系统、声音信号处理装置、信息处理装置和声音信号处理方法。

背景技术：

已知包括收集声音的麦克风的声音信号处理系统。这样的声音信号处理系统对由麦克风收集的声音信号执行语音识别处理，或者将声音信号发送到另一通信设备以便在外部再现。

技术实现要素：

[技术问题]

在某些情况下，期望将诸如回声去除处理之类的声音信号处理应用于由麦克风获得的声音信号。然而，在某些情况下，语音识别处理的精确度可能受到不利影响，这取决于所应用的声音信号处理的类型。

鉴于上述情况做出了本发明。本发明的目的之一是提供一种声音信号处理系统、声音信号处理装置、信息处理装置和声音信号处理方法，其能够在应用必要的声音信号处理的同时避免对语音识别处理的不利影响。

[问题解决方案]

根据本发明的声音信号处理系统包括被配置为彼此可通信地连接的声音信号处理装置和信息处理装置，其中所述声音信号处理装置包括：信号处理部分，其被配置为对由麦克风收集的收集声音信号执行非线性信号处理，以及发送部分，其被配置为向所述信息处理装置发送执行所述非线性信号处理之前的执行前声音信号、和执行所述非线性信号处理之后的执行后声音信号二者，并且所述信息处理装置包括：接收部分，其被配置为从所述声音信号处理装置接收所述执行前声音信号和所述执行后声音信号，以及处理部分，其被配置为对所述执行前声音信号执行第一处理，并且对所述执行后声音信号执行第二处理，所述第二处理不同于所述第一处理。

根据本发明的声音信号处理装置被配置为可通信地连接到信息处理装置，并且所述声音信号处理装置包括：信号处理部分，其被配置为对由麦克风收集的收集声音信号执行非线性信号处理；以及发送部分，其被配置为向所述信息处理装置发送执行所述非线性信号处理之前的执行前声音信号、和执行所述非线性信号处理之后的执行后声音信号二者。

根据本发明的信息处理装置被配置为可通信地连接到声音信号处理装置，并且所述信息处理装置包括：接收部分，其被配置为从所述声音信号处理装置接收对由麦克风收集的收集声音信号执行非线性信号处理之前的执行前声音信号、和对所述收集声音信号执行所述非线性信号处理之后的执行后声音信号二者；以及处理部分，其被配置为对所述执行前声音信号执行第一处理，并且对所述执行后声音信号执行第二处理，所述第二处理不同于所述第一处理。

根据本发明的声音信号处理方法包括：对由麦克风收集的收集声音信号执行非线性信号处理的步骤；以及将执行所述非线性信号处理之前的执行前声音信号、和执行所述非线性信号处理之后的执行后声音信号二者发送到信息处理装置的步骤。

附图说明

图1是示出根据本发明实施例的包括声音信号处理装置的声音信号处理系统的总体配置图。

图2是示出根据本发明实施例的声音信号处理装置的配置框图。

图3是示出根据本发明实施例的声音信号处理装置的功能框图。

图4是示出用于描述由根据本发明实施例的声音信号处理装置执行的噪声去除处理的图。

图5是示出用于描述由根据本发明实施例的声音信号处理装置发送两种类型的声音信号的处理的图。

具体实施方式

在下文中，将参照附图详细描述本发明的实施例。

图1是示出根据本发明实施例的包括声音信号处理装置10的声音信号处理系统1的总体配置图。如图所示，声音信号处理系统1包括声音信号处理装置10和信息处理装置50。在本实施例中，声音信号处理装置10和信息处理装置50通过诸如蓝牙(注册商标)标准的无线通信来发送和接收数据。注意，尽管这里通过无线通信发送和接收数据，但是本实施例不限于此，并且声音信号处理装置10和信息处理装置50例如可以根据诸如通用串行总线(usb)的标准通过有线通信进行连接。

图2是示出声音信号处理装置10的示意性硬件配置的配置框图。声音信号处理装置10是例如家用游戏机等的控制器。如图2所示，声音信号处理装置10包括声音输入/输出电路11、微控制器12、扬声器13、耳机端子14、麦克风15和多个操作按钮16。

声音输入/输出电路11是用于控制声音的输入和输出的集成电路，并且其包括执行声音信号处理的内置数字信号处理器(dsp)11a。声音输入/输出电路11使得连接到耳机端子14的耳机或扬声器13基于微控制器12从信息处理装置50接收到的声音信号产生声音。此外，声音输入/输出电路11对通过麦克风15收集声音而获得的声音信号执行必要的声音信号处理。之后，声音输入/输出电路11将声音信号输出到微控制器12。此外，在每个操作按钮16由用户操作的情况下，声音输入/输出电路11从微控制器12接收指示操作内容的操作信号，以执行后面描述的噪声去除处理。后面将描述由声音输入/输出电路11实现的声音信号处理的细节。

微控制器12是用于控制声音信号处理装置10的每个部分的集成电路。微控制器12包括内置通信电路12a。通信电路12a连接到天线12b并且控制无线通信以经由天线12b与信息处理装置50的交换信息。具体地，通信电路12a从信息处理装置50接收稍后描述的将从扬声器13或耳机再现的声音信号。此外，通信电路12a向信息处理装置50发送通过对麦克风15收集的声音信号应用稍后描述的声音信号处理而获得的声音信号、指示相应操作按钮16上的用户操作内容的操作信号等。注意，微控制器12可以包括基于诸如i2s(ic间声音“inter-icsound”)的标准的通信接口，作为用于向声音输入/输出电路11发送声音信号和从声音输入/输出电路11接收声音信号的接口。

扬声器13基于从信息处理装置50接收到的声音信号单声道地再现声音。支持单声道再现的耳机和支持立体声再现的耳机都可以连接到耳机端子14。在耳机连接到耳机端子14的情况下，声音输入/输出电路11可以使耳机代替扬声器13基于从信息处理装置50接收到的声音信号再现声音。麦克风15是包括两个麦克风元件15a和15b的麦克风阵列，并且收集正在使用声音信号处理装置10的用户发出的声音。在下文中，将从信息处理装置50发送到声音信号处理装置10以便从扬声器13或耳机再现的声音信号称为再现声音信号。相比之下，通过使用麦克风15收集声音而获得的声音信号将被称为收集声音信号。

信息处理装置50是例如家用游戏机、个人计算机等，并且包括控制部分51、存储部分52和通信部分53。

控制部分51包括至少一个处理器，并且根据存储部分52中存储的程序执行各种类型的信息处理。存储部分52包括至少一个存储元件，并存储控制部分51要执行的程序和该程序要处理的数据。通信部分53包括用于与声音信号处理装置10交换信息的通信接口。此外，通信部分53可以包括用于经由诸如因特网的通信线路向另一信息处理装置发送数据和从另一信息处理装置接收数据的通信接口。

在本实施例中，信息处理装置50对从声音信号处理装置10接收的收集声音信号执行语音识别处理。此外，信息处理装置50将从声音信号处理装置10接收到的收集声音信号发送到另一信息处理装置，以在另一地方再现收集声音信号。因此，信息处理装置50能够识别用户朝向声音信号处理装置10的麦克风15所说的语言内容，并且使另一用户能够在远处收听语音。

下面将参考图3的功能框图来描述由声音信号处理装置10具体在声音信号处理方面实现的功能。在图3中，数字声音信号的传输路径和模拟声音信号的传输路径分别由实线和虚线表示。

如图3所示，声音输入/输出电路11包括两个信号输入部分21a和21b、扬声器音质调整部分22、选择器23、两个数字模拟(d/a)转换器24a和24b，以及两个模拟数字(a/d)转换器26a和26b、波束形成处理部分27、回声去除部分28，噪声去除部分29、操作输入接收部分30、延迟处理部分31以及两个信号输出部分32a和32b。此外，三个放大器25a、25b和25c连接到声音输入/输出电路11。扬声器音质调整部分22、选择器23、波束形成处理部分27、回声去除部分28、噪声去除部分29、操作输入接收部分30和延迟处理部分31的功能由作为声音信号处理电路的dsp11a实现。

首先，将描述声音信号处理装置10用于再现来自耳机或扬声器13的声音的信号处理的内容。信息处理装置50向声音信号处理装置1发送立体声(双声道)数字数据作为再现声音信号。通信电路12a接收这些数字数据，并将l(左)声道数据和r(右)声道数据分别输入到信号输入部分21a和信号输入部分21b。

输入到信号输入部分21a的l声道再现声音信号被原样输入到d/a转换器24a。同时，输入到信号输入部分21b的r声道再现声音信号被输入到选择器23和扬声器音质调整部分22。在耳机未连接到耳机端子14的情况下(即，在从扬声器13再现声音的情况下)，扬声器音质调整部分22执行用于改善要从扬声器13再现的声音的音质的处理。具体地，扬声器音质调整部分22对再现声音信号执行预定的均衡器处理、压缩器处理等。由扬声器音质调整部分22调整后的再现声音信号被输入到后面描述的选择器23和回声去除部分28中的每一个。

选择器23选择要提供给d/a转换器24b的再现声音信号。具体地说，在耳机连接到耳机端子14的情况下，选择器23将已经输入到信号输入部分21b的r声道再现声音信号原样输入到d/a转换器24b。相比之下，在耳机未连接到耳机端子14的情况下，选择器23将由扬声器音质调整部分22调整后的、将从扬声器13再现的声音信号输入到d/a转换器24b。

d/a转换器24a和24b将相应的输入数字再现声音信号转换为模拟信号，并将模拟信号提供给相应的放大器。具体地，从d/a转换器24a输出的模拟声音信号由放大器25a放大，并且从连接到耳机端子14的耳机再现。此外，在耳机连接到耳机端子14的情况下，从d/a转换器24b输出的模拟声音信号被放大器25b放大并从耳机再现。在没有耳机连接到耳机端子14的情况下，从d/a转换器24b输出的模拟声音信号被放大器25c放大并从扬声器13再现。

注意，在连接到耳机端子14的耳机支持单声道再现的情况下，l声道再现声音信号可以从耳机中再现，同时r声道再现声音信号可以从扬声器13再现。在这种情况下，即使耳机连接到耳机端子14，选择器23也选择由扬声器音质调整部分22调整的再现声音信号作为输入。

总之，输入到信号输入部分21a的再现声音信号总是经由d/a转换器24a和放大器25a从连接到耳机端子14的耳机中再现。相比之下，输入到信号输入部分21b的再现声音信号是沿着以下两条路径之一处理的。即，在支持立体声再现的耳机连接到耳机端子14的情况下，输入到信号输入部分21b的再现声音信号经由选择器23、d/a转换器24b和放大器25b从耳机中再现。相比之下，在从扬声器13再现声音的情况下，输入到信号输入部分21b的再现声音信号经由扬声器音质调整部分22、选择器23、d/a转换器24b和放大器25c从扬声器13中再现。

接下来，将描述由麦克风15收集的收集声音信号的处理。从各个的麦克风元件15a和15b输出的模拟收集声音信号通过a/d转换器26a和26b转换为数字数据。波束形成处理部分27基于从各自的a/d转换器26a和26b输出的收集声音信号的数据生成具有指向性的采集声音信号的数据。在后续处理中，由波束形成处理部分27生成的收集声音信号的数据被用作由麦克风15收集的声音的数据。

此外，回声去除部分28对由波束形成处理部分27生成的收集声音信号的数据执行回声去除处理。这是通过、从收集声音信号中去除由麦克风15收集从扬声器13再现的声音产生的声学回声的处理。回声去除部分28通过使用从扬声器音质调整部分22输出以便从扬声器中再现的再现声音信号作为输入，对收集声音信号执行回声去除处理。由回声去除部分28对其执行了回声去除处理的收集声音信号分别输入到噪声去除部分29和延迟处理部分31。

注意，仅在从扬声器13再现声音的情况下，回声去除部分28才需要执行回声去除处理。在从d/a转换器24b输出的再现声音信号从耳机中再现的情况下，回声去除部分28不需要执行回声去除处理。在从扬声器13再现声音的情况下，声音总是由扬声器音质调整部分22进行调整。因此，仅当扬声器音质调整部分22正在执行调整处理时，回声去除部分28才可以使用调整后的声音信号作为输入来执行回声去除处理，并且在其他情况下，回声去除部分28可以原样输出输入收集声音信号。

如上所述对收集声音信号执行的每个声音信号处理(即，由波束形成处理部分27和回声去除部分28中的每个执行的声音信号处理)是线性信号处理。相比之下，下面描述的噪声去除处理是非线性信号处理。

噪声去除部分29执行噪声去除处理，用于从已从回声去除部分28输出的去除了回声的收集声音信号中去除噪声。具体地，在本实施例中，噪声去除部分29通过使用输入到任何操作按钮16的用户操作输入的存在/不存在作为输入来执行噪声去除处理。在对任何操作按钮16执行操作输入的情况下，有可能产生按钮的操作声音，并且操作声音作为噪声包括在收集声音信号中。因此，在本实施例中，在用户执行对任何操作按钮16的操作输入的情况下，微控制器12向声音输入/输出电路11输入操作信号。操作信号指示已进行操作输入。操作输入接收部分30接收操作信号，并通知噪声去除部分29已经接收到操作输入。在噪声去除部分29从操作输入接收部分30接收到通知的情况下，噪声去除部分29基于在该时间点收集的声音信号包括噪声的假设来执行去除噪声的处理。

相比之下，在没有接收到操作输入的时间点，假设没有产生由操作按钮的操作引起的噪声。因此，噪声去除部分29可以不对此时收集的声音信号应用噪声去除处理。然而，存在收集声音信号包括除操作按钮16的操作声音以外的噪声的可能性。因此，对于没有接收到操作输入的情况下，噪声去除部分29对所收集到的声音信号应用噪声去除处理是可取的。对于这种情况执行的噪声去除处理的内容与对于接收到操作输入的情况的内容不同。即，噪声去除部分29根据是否接收到输入到任何操作按钮16的操作来改变噪声去除处理的内容。

图4是示出用于描述由噪声去除部分29执行的噪声去除处理的类型的图。如该图所示，噪声去除部分29将收集到的声音信号划分到单位时间(帧)，并且在每个单位时间对划分的声音信号执行噪声去除处理。此时，噪声去除处理的内容根据是否在相应的单位时间内接收到操作输入而改变。在该图的示例中，星号指示接收到对操作按钮16的操作输入时的时刻。对与该时刻相对应的帧1、3、4和7中的每一帧中的收集声音信号执行假设有操作输入的噪声去除处理(这里称为处理a)。相比之下，对帧2，5和6中的每一个中的收集声音信号执行未执行操作输入的情况的噪声去除处理(这里称为处理b)。

作为具体示例，噪声去除部分29可以使用以取决于操作输入的存在/不存在而彼此不同的输入数据为基础优化的滤波算法来执行噪声去除处理。在该示例中，噪声去除部分29通过将在接收到操作输入的时间点获得的收集声音信号用作输入，来调整确定上述处理a的处理内容的一个或多个参数的值。相比之下，噪声去除部分29通过将在没有接收到操作输入的时间点获得的收集声音信号用作输入，来调整确定处理b的处理内容的一个或多个参数的值。由于输入不同，用于处理a的参数和用于处理b的参数被调整为彼此不同的值。噪声去除部分29使用以这种方式为每个处理调整的参数来执行相应的噪声去除处理。以这种方式，噪声去除部分29通过使用优化的结果来执行噪声去除处理，该处理是基于过去收集的声音信号执行的，并且取决于操作输入的存在/不存在而彼此独立。以这种方式可以实现适合于各种情况的噪声去除。

注意，这里，仅基于输入到操作按钮16之一的操作的存在/不存在来改变处理的内容，而不识别对多个操作按钮16中的哪个操作按钮进行了操作。然而，本实施例不限于此，并且噪声去除部分29可以取决于操作输入的内容来改变噪声去除处理的内容。作为示例，噪声去除部分29可以接收用于识别多个操作按钮16中的哪个操作按钮被操作的信息，并且执行内容取决于操作按钮而变化的噪声去除处理。

此外，噪声去除部分29可以将多个操作按钮16分类为多个组，并且改变针对每个组的噪声去除处理的内容。例如，在某些情况下，生成的操作声音可以取决于操作按钮的类型和结构而变化。此外，假设由麦克风15收集的操作声音的音量等取决于操作按钮的布置位置是接近还是远离麦克风15而变化。因此，任何布置位置和结构相似的操作按钮都属于同一组。在操作属于该组的任何操作按钮的情况下，应用其内容对应于该组的噪声去除处理。相比之下，在操作相互属于不同组的任何操作按钮的情况下，执行内容不同的噪声去除处理。具体地，例如，噪声去除部分29使用以取决于分组而变化的输入数据为基础优化的一个或多个参数来执行噪声去除处理。以这种方式，噪声去除部分29可以通过根据布置位置、形状等将操作按钮分类为多个组，并根据组执行内容彼此不同的噪声去除处理来提高噪声去除处理的精确度。

此外，尽管在这里，操作输入接收部分30仅接收输入到操作按钮16中每个的操作输入，但是声音信号处理装置10可以配备有来自操作按钮的不同类型的操作构件(例如，操纵杆等)，并且操作输入接收部分30可以接收输入到这种不同类型的操作构件中的操作。此外，在这种情况下，噪声去除部分29可以根据操作部件的类型改变噪声去除处理的内容。因此，对于每种类型的操作构件，噪声去除部分29可以执行适合于由相应的操作构件上的操作所产生的噪声的噪声去除处理。

此外，操作输入接收部分30可以接收关于用户针对操作构件的操作模式的信息。基于关于操作模式的信息，噪声去除部分29可以改变噪声去除处理的内容。关于操作模式的信息包括操作量、操作强度、操作速度等。例如，在操作按钮16是能够检测按压量的按钮的情况下，操作输入接收部分30接收检测到的按压量作为关于操作模式的信息。假设产生操作声音的方式根据用户执行的操作模式而变化。因此，使用关于操作模式的信息改变噪声去除处理的内容可以提高噪声去除处理的精确度。

此外，操作输入接收部分30可以接收有关不同类型的操作输入的信息，而不限于对布置在声音信号处理装置10的外壳的表面上的操作构件的操作输入。具体地，操作输入接收部分30可以接收由声音信号处理装置10中并入的各种传感器中的任何一个检测到的检测值，作为操作输入的内容。作为示例，假定将诸如加速度传感器的运动传感器并入声音信号处理装置10中。在这种情况下，当用户执行例如移动声音信号处理装置10本身的操作时，操作的内容被运动传感器检测到。特别地，当用户使声音信号处理装置10与任何物体接触时，由运动传感器检测由接触产生的冲击，同时，由麦克风15收集该冲击声音。因此，在运动传感器检测到具有预定强度的冲击的情况下，操作输入接收部分30接收其内容作为有关操作输入的信息。噪声去除部分29根据输入改变噪声去除处理的内容。因此，噪声去除部分29能够有效地去除由操作构件上的操作以外的操作产生的噪声。

此外，噪声去除部分29可以不仅基于关于由操作输入接收部分30接收的操作输入的内容的信息来改变噪声去除处理的内容，还可以基于从信息处理装置50接收的有关声音信号处理装置10的使用状态的信息来改变噪声去除处理的内容。例如，当用户开始使用声音信号处理装置10时，在某些情况下，信息处理装置50可以执行认证处理以识别用户是谁。信息处理装置50向声音信号处理装置10发送作为该认证处理的结果而获得的用户身份信息。之后，声音信号处理装置10使用与用户身份信息相关联地存储的一个或多个参数执行噪声去除处理，并且基于该结果调整存储的每个参数的值。这使得能够执行反映每个用户的用户操作趋势的噪声去除处理。

此外，噪声去除部分29可以接收用于识别由信息处理装置50执行的应用程序的类型的信息，作为关于声音信号处理装置10的使用状态的信息，并且根据应用程序类型的内容改变噪声去除处理的内容。例如，在信息处理装置50执行诸如游戏的应用程序的情况下，用户通过操作布置在声音信号处理装置10上的操作按钮16来玩游戏。此时，由用户执行的操作输入的趋势取决于游戏类型(例如，动作游戏或冒险游戏)等而变化。因此，噪声去除处理的内容取决于正在执行的应用程序的类型而改变。以这种方式，可以实现适合于应用程序的操作趋势的噪声去除处理。

如上所述，噪声去除部分29从所收集到的声音信号中去除各种类型的噪声(诸如操作声音)从而获得容易让人听的声音信号。然而，如上所述，根据本实施例的噪声去除处理对应于非线性信号处理，并且在某些情况下可能导致信号波形中的不连续变化。应用这种非线性信号处理的声音信号有可能导致声音失真并对语音识别处理的准确性产生不利影响。

因此，在本实施例中，声音信号处理装置10向信息处理装置50发送在应用非线性信号处理(这里，由噪声去除部分29执行的噪声去除处理)之前收集的声音信号和在已应用非线性信号处理之后收集的声音信号。通过这种配置，信息处理装置50可以将已经应用了非线性信号处理的声音信号用于其中有人正在听的应用程序(诸如语音聊天)，而将尚未应用非线性信号处理的声音信号用于机械处理(诸如语音识别处理)。在下文中，为了便于描述，执行非线性信号处理之后的收集声音信号(执行后声音信号)将被称为收听声音信号，并且执行非线性信号处理之前的收集声音信号(执行前声音信号)将被称为识别声音信号。注意，信息处理装置50可以将这些声音信号用于除这里描述的那些应用以外的应用。此外，这里仅应用于收听声音信号的非线性信号处理不限于噪声去除处理，并且可以包括其他信号处理。

收听声音信号和识别声音信号可以在不同的时间点彼此独立地被发送到信息处理装置50。然而，在本实施例中，声音信号处理装置10将这两种类型的声音信号一起发送到信息处理装置50。具体地，声音输入/输出电路11包括两个信号输出部分32a和32b。信号输出部分32a和信号输出部分32b可以并行地分别输出收听声音信号和识别声音信号。通过这种配置，声音输入/输出电路11可以在相同的时间段内输出两种类型的声音信号。这两种声音信号由微控制器12的通信电路12a作为一种声音信号共同发送到信息处理装置50。即，通信电路12a将这两种类型的声音信号作为多声道声音信号数据发送到信息处理装置50，一种存储在l声道中，并且另一种存储在r声道中。以这种方式，微控制器12可以通过使用符合标准的公知模块(例如i2s)来实现。因此，可以使用与发送正常立体声声音信号的情况下的方法类似的方法并行地发送这两种类型的声音信号。

此外，在本实施例中，在声音信号处理装置10并行地发送两种类型的声音信号的情况下，声音信号处理装置10执行调整，使得要同时发送的声音信号成为在接近时间点收集的声音信号。具体地，识别声音信号是在应用了由回声去除部分28执行的回声去除处理之后、并且在提供由噪声去除部分29执行的噪声去除处理之前的声音信号。因此，在噪声去除处理开始的时刻，识别声音信号已经准备好被发送。然而，噪声去除处理需要一定的时间，并且直到噪声去除处理完成才生成收听声音信号。因此，在本实施例中，延迟处理部分31临时缓冲识别声音信号，并且延迟其传输的开始，直到经过假定噪声去除处理所需的时间为止。

在这种控制下，要在同一时间段中发送的两种类型的声音信号可以是大致同时收集的声音信号。图5是示出用于描述该控制的内容的图，并且示出了对在特定时间段t1期间收集的声音信号执行的处理的时间图。如在该图的示例中所示，延迟处理部分31将识别声音信号的发送的开始延迟噪声去除处理所需的时间δt，使得对应于相同时间段的两种类型的声音信号被一起发送。

通过以这种方式在相同时间段发送与相同时间段相对应的收听声音信号和识别声音信号，可以提高从声音信号处理装置10向信息处理装置50发送声音信号时的发送效率。具体地，当无线地发送声音信号时，微控制器12基于预定的声音编解码器来压缩或编码声音信号。这里，如上所述，在将两种类型的声音信号(即收听声音信号和识别声音信号)作为立体声信号发送的情况下，微控制器12通过立体声编解码器执行编码。此时，由于l声道声音信号和r声道声音信号之间的相关性更高(即，两者更相似)，因此可以提高编码时的压缩效率。此外，通常，立体声编解码器在假设l声道声音信号和r声道声音信号是彼此接近的数据的情况下工作。因此，通过将与相同时间段相对应的收听声音信号和识别声音信号用作立体声声音信号，可以提高两者之间的相关性并有效地执行编码。

在上述过程中，信息处理装置50的通信部分53接收从声音信号处理装置10发送的声音信号。控制部分51对接收到的两种类型的声音信号中的每一种执行彼此不同的处理。具体地，控制部分51从接收到的立体声信号的一个声道中提取识别声音信号，并将识别声音信号输入语音识别引擎。以此种方式，控制部分51执行语音识别处理，以分析用户说出的单词的内容。此时，由于识别声音信号是尚未应用非线性信号处理的信号，与应用了非线性信号处理之后的信号相比，该语音识别的准确度可以得到提升。

此外，信息处理装置50还执行从同一立体声信号的另一声道提取收听声音信号并经由通信网络将收听声音信号发送到另一信息处理装置的传输处理。接收到该收听声音信号的另一信息处理装置使扬声器等再现该声音。因此，声音信号处理装置10的用户所说的内容可以被实时地发送给远方的另一个用户，从而实现诸如语音聊天之类的语音呼叫。此时，由于另一用户所收听的声音是应用了噪声去除处理的声音，因此从该声音中去除了诸如操作声音之类的噪声，并且这个人可以容易地收听该声音。

注意，尽管在上述描述中，声音信号处理装置10总是将这两种类型的声音信号发送到信息处理装置50，但是本实施例不限于此，并且声音信号处理装置10可以响应于来自信息处理装置50的请求切换要发送的声音信号的类型。具体地，在要执行语音识别处理的情况下，信息处理装置50仅请求识别声音信号。在不需要语音识别处理并且仅执行语音聊天的情况下，信息处理装置50可以仅请求收听声音信号。作为对这种请求的回应，声音信号处理装置10在两种类型的声音信号并行发送的模式、仅发送识别声音信号的模式和仅发送收听声音信号的模式之间进行切换。特别地，在仅发送一种类型的声音信号的情况下，与并行发送两种类型的声音信号的情况相比，可以提高发送效率。

根据上述本发明实施例的声音信号处理装置10可以通过根据操作输入的存在/不存在来改变噪声去除处理的内容来提高噪声去除处理的精确度。

此外，根据本发明实施例的声音信号处理装置10可以基于相同的收集声音信号向信息处理装置50发送识别声音信号和收听声音信号。因此，信息处理装置50可以使用已经单独执行了适当的信号处理的声音信号来执行向外部发送以允许人收听的处理、语音识别处理等。

注意，在本实施例中，由操作输入接收部分30接收的指示操作输入的存在/不存在的信息被用于噪声去除处理。因此，期望由声音信号处理装置10而不是信息处理装置50执行噪声去除处理。这是因为，如果在用户实际执行操作输入并产生其操作声音的时间点与信息处理装置50接收操作输入的时间点之间存在间隙，则难以准确地执行去除由操作声音产生的噪声的处理。

注意，本发明的实施例不限于上述实施例。例如，尽管在上述描述中，声音信号处理装置10是家用游戏机的控制器，但是声音信号处理装置10不限于此。声音信号处理装置10可以是各种设备中的任何一种，例如在同一外壳中包括麦克风、扬声器和操作按钮的电子设备。此外，在上述描述中由信息处理装置50执行的处理可以被分发到多个计算机并由多个计算机执行。作为示例，信息处理装置50可以包括经由通信网络彼此连接的客户端装置和服务器装置。在该示例中，客户端装置直接连接到声音信号处理装置10并从声音信号处理装置10接收两种类型的声音信号，而服务器装置从客户端装置接收这两种类型的声音信号中的一种或两种，并对接收到的声音信号执行预定处理。此外，这里描述为由服务器装置执行的处理可以被进一步分发并由多个计算机执行。

此外，上述声音信号处理装置10的硬件配置和电路配置仅仅是示例，并且信号处理流程可以不同于上述流程。例如，回声去除部分28可以对由单个麦克风元件收集的收集声音信号执行回声去除处理。此外，在对由多个麦克风元件获得的多个收集声音信号中的每一个执行回声去除处理之后，可以执行波束形成处理。此外，如有必要，可对声音信号执行诸如下采样之类的声音信号处理。此外，在本实施例中，通过对识别声音信号另外执行噪声去除处理来生成收听声音信号，并且不对识别声音信号执行噪声去除处理。或者，在对识别声音信号应用相对不太可能影响语音识别处理的信号处理之后，可以将识别声音信号发送到信息处理装置50。

此外，在上述描述中由声音输入/输出电路11实现的一些功能可以在声音输入/输出电路11之外实现。例如，在上述描述中由声音输入/输出电路11实现的诸如d/a转换器24a和24b以及a/d转换器26a和26b之类的功能可以由设置在声音输入/输出电路11外部的另一电路元件来实现。此外，可以在微控制器12中执行描述为由声音输入/输出电路11的dsp11a执行的声音信号处理的一部分。另一方面，在上述描述中，由微控制器12执行的处理(例如声音信号编码处理)的至少一部分可以由声音输入/输出电路11执行。此外，尽管在上述描述中，声音输入/输出电路11和微控制器12中的每一个都是单个集成电路，但是声音输入/输出电路11和微控制器12中的每一个都可以由多个集成电路实现。此外，声音输入/输出电路11和微控制器12的功能可以由一个集成电路实现。

[参考符号列表]

1：声音信号处理系统

10：声音信号处理装置

11：声音输入/输出电路

11a：dsp

12：微控制器

12a：通信电路

12b：天线

13：扬声器

14：耳机端子

15：麦克风

15a，15b：麦克风元件

16：操作按钮

21a，21b：信号输入部分

22：扬声器音质调整部分

23：选择器

24a、24b：d/a转换器

25a、25b、25c：放大器

26a、26b：a/d转换器

27：波束形成处理部分

28：回声去除部分

29：噪声去除部分

30：操作输入接收部分

31：延迟处理部分

32a、32b：信号输出部分

50：信息处理装置

51：控制部分

52：存储部分

53：通信部分