声音信息显示装置、声音信息显示方法和程序的制作方法

专利名称：声音信息显示装置、声音信息显示方法和程序的制作方法
技术领域：
本公开涉及声音信息显示装置、声音信息显示方法和程序，并且具体地涉及在头戴式显示器等上显示覆盖在可视图像上的声源的声音信息的声音信息显示装置。
背景技术：
在针对专利申请第2004-021031号的PCT国际公布的国内再公布中描述了一种用于通过多个麦克风来估计声源的位置和声音的强度的技术。进一步，在日本待审专利申请公布第2007-334149号中描述了一种用于听力受损者的头戴式显示器，该显示器通过多个麦克风识别声源的到达方向，并且输出对应于识别结果的字和拟声作为字符信息。进而，在日本待审专利申请公布第08-179791号中描述了一种可视化装置，该可视化装置从输入图像中提取声音信息，分类并且标识这样的声音是什么，并且将声音与图像之内的静止图像相关联。

发明内容
用于估计声源方向的技术或者用于从中查明声音的强度的技术(参考针对专利申请第2004-021031号的PCT国际公布的国内再公布)已经得以建立并且主要用于测量。 然而，由于在测量领域中对精度有要求，所以设备目前尺度很大。另一方面，这样的声源方向估计技术可以成为用于针对一般群体搜索发声体的工具，或者成为辅助听力受损者的听力的工具。上面描述的日本待审专利申请公布第2007-334149号中描述的技术是眼镜式的头戴式显示器，并且朝向一般行人调整。然而，声源的到达方向被显示为字符，这难以直观理解。进而，虽然使用拟声词来表达识别结果，但是在发声体的声音的表达方面可能存在个体差异。进一步，上面描述的日本待审专利申请公布第08-179791号中描述的技术需要庞大的数据库，进而，标识隐藏在图像之内的发声体或者标识从图像之外到达的发声体是困难的。用户希望能够直观地确定关于声源的位置和由声源产生的声音的信息。本公开的实施例的要点是一种声音信息显示装置，该声音信息显示装置包括多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。本公开的实施例包括多个声音收集单元，例如多个麦克风。基于多个声音收集单元收集的声音信息，信息获得单元获得声源的位置信息和声音信息。例如，声音信息是从声源输出的声音的声级信息或者从声源输出的声音的频率信息等。显示数据生成单元生成用于显示由信息获得单元获得的声音信息的显示数据。显示数据被生成以在可视图像之内的位置处显示声音信息，该位置对应于由信息获得单元获得的位置信息，以覆盖在可视图像上。例如，显示数据被生成，以使用预定形状如圆圈的尺寸来显示从声源输出的声音的等级信息。在这样的情况下，变得可以确定远近感。例如，可以根据逐渐扩大的圆圈而确定声源正在接近。进一步，例如，显示数据被生成，以使用施加到预定形状如圆圈的颜色来显示从声源输出的声音的频率信息。在这样的情况下，可以基于颜色找到特定声源。基于由显示数据生成单元生成的显示数据，在头戴式图像显示单元上显示声源的声音信息。在这样的情况下，声音信息在可视图像之内的对应于声源的位置处被显示覆盖在图像上，以覆盖在可视图像上。例如，在当声源位置处于可视图像之内时的情况下，声音信息显示在声源位置或其附近。进一步，例如，在当声源位置不在可视图像之内时的情况下，声音信息显示在可视图像的接近于声源位置的端部。头戴式图像显示单元例如可以是透射的图像显示单元。在这样的情况下，可视图像是用户可以通过图像显示单元观察的实际图像。进一步，例如，头戴式图像显示单元可以是非透射的图像显示单元。在这样的情况下，用于获得可视图像的图像数据的成像单元布置在图像显示单元上，并且由显示数据生成单元生成的显示数据叠加在成像单元所获得的图像数据上。进而，虽然基于叠加数据在图像显示单元上显示可视图像，但是声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处。亦即，在这样的情况下的可视图像是显示在图像显示单元上的显示图像。以这样的方式，在本公开的实施例中，由于声源的声音信息显示覆盖在可视图像之内的对应于声源的位置处，所以用户可以直观地确定声源的位置和从声源输出的声音的信息。进一步，在本公开的实施例中，基于多个声音收集单元收集的声音信息获得声源的位置信息和声音信息，并且甚至关于可视图像之内的预定对象中隐藏的声源，也能够在可视图像之内的对应于声源的位置处显示覆盖在隐藏的声源上的声源的声音信息。在本公开的实施例中，例如，多个声音收集单元可以显示在图像显示单元上，并且由多个声音收集单元的布置位置配置而成的表面可以不正交于图像显示单元的显示表面。 在这样的情况下，易于执行在图像显示单元的显示表面之上、亦即在二维平面之上获得声源位置。例如，由多个声音收集单元的布置位置配置而成的表面可以平行于图像显示单元的显示表面。在这样的情况下，用于在图像显示单元的显示表面之上获得声源位置的操作变得容易。进一步，在本公开的实施例中，例如，多个声音收集单元可以包括多个全向声音收集单元和多个定向声音收集单元，并且信息获得单元可以基于多个全向声音收集单元收集的声音信息获得声源的第一定向信息，可以基于第一定向信息通过控制多个定向声音收集单元的定向方向而获得声源在多个定向声音收集单元的布置位置中的第二定向信息，并且可以基于第二定向信息获得声源的位置信息。在这样的情况下，可以提高获得的声源的位置信息的准确度，而不用增加声音收集单元的数目。进一步，在本公开的实施例中，例如，可以进一步包括声源指定单元，其指定作为由信息获得单元获得位置信息和声音信息的目标的声源。例如，在声源指定单元中，可以指定通过频率作为用于获得声音信息的目标的声源。在这样的情况下，可以在可视图像之内仅显示特定声源的声音信息，并且对特定声源的搜索变得容易。根据本公开的实施例，由于声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处，所以用户可以直观地确定声源的位置和从声源输出的声音的信息，并且，例如使用听力受损者等的视觉来辅助听力成为可能。


图1是图示作为本公开的第一实施例的透射的头戴式显示器(透射HMD)的外观的示图；图2A和2B是用于描述由四个麦克风的布置位置配置而成的表面和显示表面之间的关系的示图；图3是图示作为本公开的第一实施例的透射HMD系统的配置例子的框图；图4是图示配置透射HMD系统的信号处理单元的配置例子的框图；图5A和5B是用于描述用于声源位置检测的到达角的计算方法的例子的示图；图6是图示配置透射HMD系统的信号处理单元的处理顺序的流程图；图7A至7C是图示显示例子的示图，在该显示例子中，声音信息被显示覆盖在可视图像之内的对应于声源的位置处；图8A和8B是用于描述针对透射HMD的其它麦克风布置例子的示图；图9是图示作为本公开的第二实施例的透射的头戴式显示器(透射HMD)的外观的示图；图10是图示作为本公开的第二实施例的透射HMD系统的配置例子的框图；图11是图示配置透射HMD系统的信号处理单元的配置例子的框图；图12是图示配置透射HMD系统的信号处理单元的处理顺序的流程图；图13是图示作为本公开的第三实施例的非透射的头戴式显示器(非透射HMD)的外观的示图；图14是图示作为本公开的第三实施例的非透射HMD系统的配置例子的框图；图15是用于描述非透射HMD上的成像装置(摄影机)的另一个布置例子的示图； 以及图16是图示作为本公开的第四实施例的透射HMD系统的配置例子的框图。
具体实施例方式下面描述本公开的实施例。这里，将会按照以下顺序给出描述。1.第一实施例2.第二实施例3.第三实施例4.第四实施例5.修改例子根据本公开的实施例的声音信息显示装置可以包括多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源
的声音信息。<1.第一实施例〉[透射的头戴式显示器的配置例子]图1图示了作为第一实施例的透射的头戴式显示器(透射HMD) 10的外观。在透射HMD 10的前面布置四个全向麦克风101。全部的麦克风以其间具有一定间隙的方式布置，以便提高声源位置检测的精度。这里，麦克风101配置声音收集单元。在这样的情况下，由四个麦克风101的布置位置配置而成的表面没有正交于透射 HMD 10的显示表面。在这样的情况下，四个麦克风101包括其中在显示表面的水平方向上的布置位置不同的麦克风和其中在显示表面的垂直方向上的布置位置不同的麦克风。图2A图示了这样的状态。在图2A中，实线方块示意性地指示显示表面SFa，而虚线方块则指示由四个麦克风101的显示位置配置而成的表面sm3。在这样的情况下，表面 SFb成为在当表面Srn3投射在显示表面Sh上时的情况下的表面。因此，变得容易的是，基于稍后描述的四个麦克风ιο 收集的声音信息(声音信号)，在显示表面Sh之上、亦即在二维平面之上获得声源位置。这里，如图2B所示，四个麦克风101可以布置在透射HMD 10上，使得表面SFb变得平行于表面SFa。在这样的情况下，稍后描述的基于通过四个麦克风101收集的声音信息在显示表面Sh之上、亦即在二维平面之上获得声源位置的操作变得容易。图3图示了作为第一实施例的透射HMD 10的系统配置。透射HMDlO包括四个麦克风101、放大器102、模拟数字转换器103、信号处理单元104和显示单元105。放大器102 放大四个麦克风101收集的声音信息(声音信号)。模拟数字转换器103将放大器102放大的四个麦克风101收集的声音信息(声音信号)从模拟信号转换成数字信号。基于模拟数字转换器103获得的四个麦克风101收集的声音信息(声音信号)， 信号处理单元104获得声源的位置信息和声音信息，并且生成用于显示声音信息的显示数据。在可视图像之内的对应于位置信息的位置处，显示数据显示覆盖在可视图像上的声音信息。这里，可视图像之内的对应于位置信息的位置不仅包括由位置信息指示的位置，而且还包括由位置信息指示的位置附近的位置。通过包括这样的附近位置，例如变得使用户可以观看可视图像之内的声源图像而不妨碍声音信息的显示。信号处理单元104配置信息获得单元和显示数据生成单元。在实施例中，声音信息是从声源输出的声音的等级信息和频率信息。信号处理单元104生成显示数据，以便使用预定形状(在实施例中为圆圈(包括椭圆))的尺寸来显示从声源输出的声音的等级信息。进一步，信号处理单元104生成显示数据，以便用施加到上述圆圈的颜色来显示从声源输出的声音的频率信息。基于信号处理单元104生成的显示数据，在可视图像之内的对应于声源的位置处，显示单元105显示覆盖在可视图像上的声源的声音信息。在这样的情况下，在当声源位置处于可视图像之内时的情况下，声音信息显示在声源位置处或其附近。进一步，在这样的情况下，在当声源位置没有处于可视图像之内时的情况下，声音信息显示在可视图像的接近于声源位置的端部。显示单元105由透射结构的显示器配置而成，在该透射结构中，从液晶显示器(IXD)去除了背光单元。图4图示了信号处理单元104的详细配置。信号处理单元104包括数字滤波器 111、增益调整单元112、声源位置检测单元113、等级分析单元114、频率分析单元115和显示数据生成单元116。数字滤波器111执行滤波处理，以去除或减少四个麦克风101收集的声音信息(声音信号)Sl至S4中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。原因是这样的频率分量有害地影响了声源位置检测过程等。数字滤波器111例如由有限脉冲响应(FIR)滤波器或无限脉冲响应(IIR)滤波器配置而成。例如，数字滤波器111配置高通滤波器或带通滤波器。进一步，例如，在当存在不要被检测的特定频率的噪声时的情况下，数字滤波器111配置陷波滤波器，其阻挡一部分的带宽。增益调整单元112从四个麦克风101收集的声音信息(声音信号)Sl至S4中切掉诸如反射声音和固定声音之类的低电平信号。原因是这样的低电平信号对声源位置检测过程等具有有害的影响。增益调整单元112例如由自动控制电路配置而成，该自动控制电路根据输入信号电平来执行增益控制。基于四个麦克风101收集的声音信息(声音信号)Sl至S4，声源位置检测单元113 检测声源的位置信息。声源位置检测单元113使用透射HMD 10的显示表面、亦即显示单元 105的显示表面(二维平面)作为X-Y坐标平面来检测位置信息。通过声源位置检测单元 113进行的声源位置检测过程被分成以下三个阶段(1)查明声音从声源到麦克风101中的每一个的到达时间的差异；( 计算来自声源的声音的到达角；以及C3)估计声源位置。下面描述每个阶段的过程。(1)描述查明到达时间的差异的过程。尽管省略了该过程的详细描述，但是该过程由现有技术的常见方法执行。例如，使用互相关函数的查明方法或者使用傅里叶变换的互功率谱相位分析(CSP)方法等是常见的。(2)描述计算到达角的过程。针对从四个麦克风101中提取的每对麦克风，声源位置检测单元113执行各个到达角的计算过程。图5A图示了到达方向计算方法的一个例子。 如图5B所示，假定一对麦克风Ml和M2每个之间的到达时间之差为τ。当麦克风Ml和Μ2 之间的距离为d并且声速为c时，如以下方程1那样计算来自声源的声音的到达角θ。θ = sin_1(c ‘ τ/d) ...(1)C3)描述估计声源位置的过程。通过组合针对每对麦克风分别计算的到达角，声源位置检测单元113估计声源的位置，亦即声源在包括显示表面的二维平面之上的位置。作为以这样的方式估计的声源位置，存在两种类型。亦即，显示表面之内(可视图像之内)的位置和显示表面之外(可视图像之外)的位置。这里，通过声源位置检测单元113进行的声源位置检测过程是使用了来自声源的声音的到达时间之差的过程。然而，通过声源位置检测单元113进行的声源位置检测过程可以是其它过程，例如使用振幅特性和相位特性的过程(针对专利申请第2004-021031号的PCT国际公布的国内再公布)等。返回到图4，针对由声源位置检测单元113对其检测了声源位置的每个声源，通过分析来自声源的声音的等级(声音的强度)，等级分析单元114获得等级信息作为声源的声音信息。如上所述，在麦克风101中的每一个处，在来自声源的声音的到达时间方面出现差异。将到达时间方面的差异纳入考虑，等级分析单元114对四个麦克风101收集的声音信息(声音信号)Sl至S4进行求和，并且基于求和的信号获得声源的等级信息。
针对由声源位置检测单元113对其检测了声源位置的每个声源，通过分析来自声源的声音的频率，频率分析单元115获得频率信息作为声源的声音信息。例如，使用针对每个类型的声源提取频率分量的多个数字滤波器，频率分析单元115执行频率分析。进一步， 例如通过对来自声源的声音执行快速傅里叶变换(FFT)过程，频率分析单元115能够执行频率分析。显示数据生成单元116生成显示数据Dds，所述显示数据Dds用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。基于声源位置检测单元113检测的声源的位置信息、等级分析单元114获得的来自声源的声音的等级信息和频率分析单元115获得的来自声源的声音的频率信息，显示数据生成单元116生成显示数据 Dds。显示数据生成单元116生成显示数据Dds，使得通过圆圈的尺寸来显示从声源输出的声音的等级信息。在这样的情况下，等级越高，则圆圈越大。进一步，显示数据生成单元116生成显示数据Dds，使得通过施加到圆圈的颜色来显示从声源输出的声音的频率信息。通过这样做，在当声音的频率分量针对每个类型的声源不同时的情况下，每个类型的声源通过施加到圆圈的颜色而变得可识别。如上所述，存在两种类型的由声源位置检测单元113检测的声源的位置信息。亦艮口，存在当显示表面之内(可视图像之内)的位置被示出时的情况和当显示表面之外(可视图像之外)的位置被示出时的情况。在当声源位置处于显示表面之内(可视图像之内) 时的情况下，显示数据生成单元116生成显示数据Dds，使得声音信息显示在声源位置或其附近。进一步，在当声源位置处于显示表面之外(可视图像之外)时的情况下，显示数据生成单元116生成显示数据Dds，使得声音信息显示在显示表面(可视图像)的接近于声源位置的端部。例如由计算机(CPU)例如通过软件过程来执行图4所示的信号处理单元104的每个单元的过程。在这样的情况下，使得计算机基于处理程序起到图4所示的信号处理单元 104的每个单元的作用。自然地，同样可以通过硬件来配置图4所示的信号处理单元104的每个部分的一部分或整体。图6的流程示了图4所示的信号处理单元104的处理顺序。信号处理单元 104周期性地重复该处理顺序，并且连续地更新显示数据Dds。信号处理单元104在移动到 ST2的过程之前在步骤STl中开始处理。在步骤ST2中，信号处理单元104执行滤波处理，以去除或减少四个麦克风101收集的声音信息(声音信号)Sl至S4中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。进而，在步骤ST3中，信号处理单元104执行从四个麦克风101收集的声音信息 (声音信号)Sl至S4中切掉诸如反射声音和固定声音之类的低电平信号的增益调整处理。接下来，在步骤ST4中，基于四个麦克风101收集的声音信息(声音信号)Sl至S4， 信号处理单元104检测声源的位置信息。进一步，在步骤ST5中，针对对其检测了声源位置的每个声源，通过分析来自声源的声音的等级(声音的强度)，信号处理单元104获得等级信息作为声源的声音信息。进而，在步骤ST6中，针对对其检测了声源位置的每个声源，通过分析来自声源的声音的频率，信号处理单元104获得频率信息作为声源的声音信息。接下来，在步骤ST7中，基于在步骤ST4中获得的声源的位置信息、在步骤ST5中获得的来自声源的声音的等级信息和在步骤ST6中获得的来自声源的声音的频率信息，信号处理单元104生成显示数据。亦即，在步骤ST7中，信号处理单元104生成显示数据，所述显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。在步骤ST7的过程之后，信号处理单元104在步骤ST8中结束处理。描述图1和3所示的透射HMD 10的行为。四个麦克风101收集的声音信息(声音信号)在由放大器102放大并且由模拟数字转换器103从模拟信号转换成数字信号之后被供应给信号处理单元104。在信号处理单元104中，基于四个麦克风101收集的声音信息 (声音信号)，获得声源的位置信息和声音信息(等级信息、频率信息)。进一步，在信号处理单元104中，基于获得的声源的位置信息和声音信息，生成用于显示声音信息的显示数据。在可视图像之内的对应于位置信息的位置处，显示数据显示覆盖在可视图像上的声音信息。在这样的情况下，显示数据被生成使得通过圆圈的尺寸来显示从声源输出的声音的等级信息。进一步，在这样的情况下，显示数据被生成使得通过施加到圆圈的颜色来示出从声源输出的声音的频率信息。由信号处理单元104生成的显示数据被供应给显示单元105。在显示单元105中， 在可视图像之内的对应于位置信息的位置处，声源的声音信息被显示覆盖在可视图像上。 在这样的情况下，在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音信息被显示在声源位置或其附近。进一步，在这样的情况下，在当声源位置处于显示表面之外 (可视图像之外)时的情况下，声音信息被显示在显示表面(可视图像)的接近于声源位置的端部。图7A图示了用户通过透射HMD 10观察的可视图像(实际图像)的一个例子。进一步，图7B图示了显示在显示单元105上的声音信息(等级信息、频率信息)的一个例子。 这里，在图7B中，通过图案而不是颜色来图示从声源输出的声音的频率信息。用户观察如图7C所示的那样的图像，该图像处于这样一种状态下图7B所示的声音信息显示叠加在图 7A所示的可视图像上。显示了在可视图像之内的对应于声源的位置处的覆盖在这样的图像上的声源的声音信息。在图1和3所示的透射HMD 10中，声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处。因此，用户变得可以直观地确定声源的位置和从声源输出的声音的 fn息ο进一步，在图1和3所示的透射HMD 10中，基于四个麦克风101收集的声音信息 (声音信号)获得声源的位置信息和声音信息。因为这样的原因，同样关于可视图像之内的预定对象所隐藏的声源，声源的声音信息能够被显示覆盖在可视图像之内的对应于声源的位置处。进一步，在图1和3所示的透射HMD 10中，由于通过圆圈的尺寸来显示声源的声音的等级信息，所以变得可以确定远近感。例如，可以根据逐渐扩大的圆圈而确定声源正在接近。进一步，在图1和3所示的透射HMD 10中，由于通过施加到圆圈的颜色来显示声源的声音的频率信息，所以能够基于颜色搜索特定声源。进一步，在图1和3所示的透射HMD 10中，在当声源位置处于可视图像之外时的情况下，声音信息被显示在可视图像的接近于声源位置的端部。因此，甚至对于处在可视图像之外的位置处的声源也能够显示声音信息，并且进一步，用户能够直观地看到声源关于可视图像处于哪个方向。进而，在图1和3所示的透射HMD 10中，由布置在透射HMD 10上的四个麦克风 101配置而成的表面Sm3配置成不正交于透射HMD 10的显示表面SFa。在这样的情况下， 由于表面Srn3成为在当表面Srn3投射在显示表面Si^i时的情况下的表面，所以在显示表面Sh之上、亦即在二维平面之上执行对声源位置的获得变得容易。这里，在图1和3所示的透射HMD 10中，使用了模拟麦克风101。使用数字麦克风如MEMS并且省略放大器和模拟数字转换器的配置也是可以的。进一步，尽管在图1和3所示的透射HMD 10中使用了四个麦克风101，但是麦克风101的数目不限于四个。例如，图8A图示了其中两个麦克风101布置在透射HMD 10的前面的例子。进一步，图8B图示了其中三个麦克风101布置在透射HMD 10的前面的例子。重要的是，麦克风以其间具有一定间隔的方式布置，以便提高声源检测的精度。因此，在当两个麦克风101布置在透射HMD 10的前面时的情况下，例如如图8A所示，麦克风 101布置在左右端。进一步，在当三个麦克风101布置在透射HMD 10的前面时的情况下，例如如图8B所示，麦克风101布置成形成三角形。进一步，在图1和3所示的透射HMD 10中，麦克风101整体地布置在透射HMD 10 的前面。然而，麦克风101可以独立于透射HMD 10。在这样的情况下，用于将麦克风101和透射HMD 10之间的距离的信息和麦克风101之间的距离的信息传递到信号处理单元104 的机构变得重要。在这样的情况下，希望麦克风101的位置固定在透射HMD 10附近。其中透射HMD 10和用于收集其它声音的设备被集成的结构也是可以的。进一步，在当使用两个麦克风时的情况下，如果麦克风布置在耳廓附近，则还可以通过使用两耳之间的相关性的方法或者使用两耳之间的相差的方法来估计声源位置(参见日本待审专利申请公布第2004-325^4 号)。关于上面的修改例子中的每一个，对于稍后描述的其它实施例同样成立。<2.第二实施例>[透射的头戴式显示器的配置例子]图9图示了作为第二实施例的透射的头戴式显示器(透射HMD) IOA的外观。类似于图1所示的透射HMD 10，四个全向麦克风101布置在透射HMD IOA的前面。进一步，三个定向麦克风IOla布置在透射HMD IOA的前面。这里，麦克风101和IOla配置声音收集单兀。类似于图1所示的透射HMD 10，由四个麦克风101的布置位置配置而成的表面不正交于透射HMD IOA的显示表面。类似地，由三个麦克风IOla的布置位置配置而成的表面不正交于透射HMD IOA的显示表面。亦即，在这样的情况下，三个麦克风IOla不仅可以具有在显示表面的水平方向上不同的布置位置，而且还可以具有在显示表面的垂直方向上不同的布置位置。
11
图10图示了作为第二实施例的透射HMD IOA的系统配置。在图10中，相同的标号给予与图3相对应的部分，并且在适当时会省略详细描述。透射HMD IOA包括四个全向麦克风101、三个定向麦克风101A、放大器102和106、模拟数字转换器103和107、信号处理单元104A和显示单元105。例如，定向麦克风IOla由多个麦克风阵列构成，并且能够动态地扫描定向方向。放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟数字转换器 103将放大器102放大的四个麦克风101收集的声音信息(声音信号)从模拟信号转换成数字信号。放大器106放大三个麦克风IOla收集的声音信息(声音信号)。模拟数字转换器107将放大器106放大的三个麦克风IOla收集的声音信息(声音信号)从模拟信号转换成数字信号。基于来自模拟数字转换器103的四个全向麦克风101收集的声音信息(声音信号)和来自模拟数字转换器107的三个定向麦克风IOla收集的声音信息(声音信号)，信号处理单元104A获得声源的位置信息和声音信息。进一步，基于声源的位置信息和声音信息，信号处理单元104A生成用于显示声音信息的显示数据。显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上。信号处理单元104A配置信息获得单元和显示数据生成单元。信号处理单元104A按照以下顺序获得声源的位置信息。亦即，基于四个全向麦克风101收集的声音信息(声音信号)，信号处理单元104A获得声源的第一定向信息。第一定向信息是指示声源的一般方向的信息。接下来，信号处理单元104A基于第一定向信息控制三个定向麦克风IOla的定向方向，并且获得声源在三个定向麦克风IOla的布置位置的第二定向信息。在这样的情况下，尽管在图10中没有图示从信号处理单元104A至定向麦克风 IOla的控制线，但是定向麦克风IOla的定向方向由信号处理单元104A控制，以扫描通过第一定向信息指示的预定范围。信号处理单元104A将其中定向麦克风IOla收集的声音信息(声音信号)的等级为最大的定向方向设置为声源在定向麦克风IOla的布置位置的第二定向信息。第二定向信息是精确地指示声源方向的信息。进而，基于声源在三个定向麦克风IOla的布置位置的第二定向信息，信号处理单元104A获得声源的位置信息。基于由信号处理单元104A生成的显示数据，在可视图像之内的对应于声源的位置处，显示单元105显示覆盖在可视图像上的声源的声音信息。在这样的情况下，在当声源位置处于可视图像之内时的情况下，声音信息显示在声源位置或其附近。进一步，在这样的情况下，在当声源位置处于可视图像之外时的情况下，声音信息显示在可视图像的接近于声源位置的端部。图11图示了信号处理单元104A的详细配置。在图11中，与图4相对应的部分给予相同的标号，并且在适当时会省略其详细描述。信号处理单元104A包括数字滤波器111 和118、增益调整单元112和119、声源方向估计单元117、声源位置检测单元113A、等级分析单元114、频率分析单元115和显示数据生成单元116。数字滤波器111执行滤波处理，以去除或减少四个麦克风101收集的声音信息 (声音信号)Sl至S4中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。原因是这样的频率分量有害地影响了声源位置检测过程等。增益调整单元112从四个麦克风101收集的声音信息(声音信号)Sl至S4中切掉诸如反射声音和固定声音之类的低电平信号。原因是这样的低电平信号对声源位置检测过程等具有有害的影响。基于已对其执行了滤波处理和增益调整过程的四个麦克风101收集的声音信息 (声音信号)Sl至S4,声源方向估计单元117示意性地估计声源方向。从图4所示的透射 HMD 10中的上面描述的信号处理单元104的三个阶段当中，声源方向估计单元117执行以下两个阶段(1)查明声音从声源到麦克风101中的每一个的到达时间的差异；以及(2)计算来自声源的声音的到达角。基于声源方向估计单元117获得的多个到达角的信息和三个定向麦克风IOla收集的声音信息(声音信号)Sal至&3，声源位置检测单元113A检测声源的位置信息。声源位置检测单元113A使用透射HMD IOA的显示表面、亦即显示单元105的显示表面(二维平面)作为X-Y坐标平面来检测位置信息。声源位置检测单元113A首先获得针对三个定向麦克风IOla的布置方向的各个声源方向。在这样的情况下，声源位置检测单元113A控制定向麦克风IOla的定向方向，以扫描声源方向估计单元117获得的多个到达角的信息(声源的第一定向信息)所指示的预定范围。进而，声源位置检测单元113A将其中定向麦克风IOla收集的声音信息(声音信号) 的等级为最大的定向方向设置为定向麦克风IOla的布置位置的声源方向。声源位置检测单元113A接下来基于三个定向麦克风IOla的布置位置和声源定向信息(声源的第二定向信息)而获得声源的位置信息。亦即，通过组合三个定向麦克风 IOla的布置位置的声源方向，声源位置检测单元113A估计声源的位置，亦即在包括声源的显示表面的二维平面上的位置。作为以这样的方式估计的声源位置，存在两种类型。亦即， 显示表面之内(可视图像之内)的位置和显示表面之外(可视图像之外)的位置。关于由声源位置检测单元113A对其检测了声源位置的每个声源，等级分析单元 114分析例如由四个全向麦克风101收集的声源的声音的等级(声音的强度)，并且获得等级信息作为声源的声音信息。如上所述，在朝向麦克风101中的每一个的声源的声音的到达时间方面出现差异。将到达时间方面的差异纳入考虑，等级分析单元114对四个麦克风101收集的声音信息(声音信号)Sl至S4进行求和，并且基于求和的信号获得声源的等级信息。针对由声源位置检测单元113A对其检测了声源位置的每个声源，频率分析单元115分析例如由三个定向麦克风IOla收集的声源的声音的频率，并且获得频率信息作为声源的声音信息。显示数据生成单元116生成显示数据Dds，所述显示数据Dds用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。基于声源位置检测单元113A检测的声源的位置信息、等级分析单元114获得的来自声源的声音的等级信息和频率分析单元115获得的来自声源的声音的频率信息，显示数据生成单元116生成显示数据 Dds。显示数据生成单元116生成显示数据Dds，使得通过圆圈的尺寸来显示从声源输出的声音的等级信息。在这样的情况下，等级越高，则圆圈越大。进一步，显示数据生成单元116生成显示数据Dds，使得通过施加到圆圈的颜色来显示从声源输出的声音的频率信息。通过这样做，在当声音的频率分量针对每个类型的声源不同时的情况下，每个类型的声源通过施加到圆圈的颜色而变得可识别。
如上所述，存在两种类型的由声源位置检测单元113A检测的声源的位置信息。亦艮口，存在当显示表面之内(可视图像之内)的位置被示出时的情况和当显示表面之外(可视图像之外)的位置被示出时的情况。在当声源位置处于显示表面之内(可视图像之内) 时的情况下，显示数据生成单元116生成显示数据Dds，使得声音信息显示在声源位置或其附近。进一步，在当声源位置处于显示表面之外(可视图像之外)时的情况下，显示数据生成单元116生成显示数据Dds，使得声音信息显示在显示表面(可视图像)的接近于声源位置的端部。例如由计算机(CPU)例如通过软件过程来执行图11所示的信号处理单元104A的每个单元的过程。在这样的情况下，使得计算机基于处理程序起到图11所示的信号处理单元104A的每个单元的作用。自然地，同样可以通过硬件来配置图11所示的信号处理单元 104A的每个部分的一部分或整体。图12的流程示了图11所示的信号处理单元104A的处理顺序。信号处理单元104A周期性地重复该处理顺序，并且连续地更新显示数据Dds。信号处理单元104A在移动到STll的过程之前在步骤STlO中开始处理。在步骤STll中，信号处理单元104A执行滤波处理，以去除或减少四个全向麦克风 101收集的声音信息(声音信号)Sl至S4中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。进而，在步骤ST12中，信号处理单元104A执行从四个全向麦克风101收集的声音信息(声音信号)Sl至S4中切掉诸如反射声音和固定声音之类的低电平信号的增益调整处理。接下来，在步骤ST13中，基于已对其执行了滤波处理和增益调整处理的四个麦克风101收集的声音信息(声音信号)Sl至S4，信号处理单元104A示意性地估计声源方向。 在这样的情况下，信号处理单元104A执行以下两个阶段(1)查明声音从声源到麦克风中的每一个的到达时间的差异；以及(2)计算来自声源的声音的到达角。接下来，在步骤ST14中，信号处理单元104A执行滤波处理，以去除或减少三个定向麦克风IOla收集的声音信息(声音信号)Sal至Sa3中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。进而，在步骤ST15中，信号处理单元104A执行从三个定向麦克风IOla收集的声音信息(声音信号)Sal至Sa3中切掉诸如反射声音和固定声音之类的低电平信号的增益调整处理。接下来，在步骤ST16中，信号处理单元104A检测声源的位置信息。在这样的情况下，基于在步骤ST13中获得的多个到达角的信息和已对其执行了滤波处理和增益调整处理的三个定向麦克风IOla收集的声音信息(声音信号)Sal至&3，信号处理单元104A检测声源的位置信息。接下来，在步骤ST17中，针对已对其检测了声源位置的每个声源，通过分析来自声源的声音的等级(声音的强度)，信号处理单元104A获得等级信息作为声源的声音信息。 进而，在步骤ST18中，针对已对其检测了声源位置的每个声源，通过分析来自声源的声音的频率，信号处理单元104A获得频率信息作为声源的声音信息。接下来，在步骤ST19中，基于在步骤ST16中获得的声源的位置信息、在步骤ST17 中获得的来自声源的声音的等级信息和在步骤ST18中获得的来自声源的声音的频率信息，信号处理单元104A生成显示数据。亦即，在步骤ST19中，信号处理单元104A生成显示数据，所述显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。在步骤ST19的过程之后，信号处理单元104A在步骤ST20中结束处理。描述图9和10所示的透射HMD IOA的行为。四个全向麦克风101收集的声音信息(声音信号)在由放大器102放大并且由模拟数字转换器103从模拟信号转换成数字信号之后被供应给信号处理单元104A。进一步，三个定向麦克风IOla收集的声音信息(声音信号)在由放大器106放大并且由模拟数字转换器107从模拟信号转换成数字信号之后被供应给信号处理单元104A。在信号处理单元104A中，基于四个全向麦克风101收集的声音信息(声音信号) 和三个定向麦克风IOla收集的声音信息(声音信号)，通过获得声源的位置信息和声音信息来生成用于显示声音信息的显示数据。显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。在这样的情况下，在信号处理单元104A中，基于四个全向麦克风101收集的声音信息(声音信号)Sl至S4获得声源的第一定向信息(指示声源的一般方向的信息)。接下来，在信号处理单元104A中，基于第一定向信息来控制三个定向麦克风IOla的定向方向。 进而，基于三个定向麦克风IOla收集的声音信息(声音信号)Sal至Sa3获得声源在三个定向麦克风IOla的布置位置的第二定向信息(指示声源的精确位置的信息)。另外，在信号处理单元104A中，基于声源在三个定向麦克风IOla的布置位置的第二定向信息，获得声源的位置信息。由信号处理单元104A生成的显示数据被供应给显示单元105。在显示单元105中， 在可视图像之内的对应于位置信息的位置处，声源的声音信息基于显示数据被显示覆盖在可视图像上(参考图7C)。在这样的情况下，在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音信息被显示在声源位置或其附近。进一步，在这样的情况下，在当声源位置处于显示表面之外(可视图像之外)时的情况下，声音信息被显示在显示表面(可视图像)的接近于声源位置的端部。由于与上面描述的图1和3所示的透射HMD 10类似地配置图9和10所示的透射 HMD 10A，所以能够获得同样的效果。在图9和10所示的透射HMD IOA中，在信号处理单元 104A中，通过基于四个全向麦克风101收集的声音信息的过程和基于三个定向麦克风IOla 收集的声音信息的过程这两个阶段的过程，获得声源的定向信息。因此，变得可以提高获得声源的位置信息的准确度，而不用显著增加麦克风的数目。<3.第三实施例〉[非透射的头戴式显示器的配置例子]图13图示了作为第三实施例的非透射的头戴式显示器(HMD) IOB的外观。类似于图1所示的透射HMD 10，四个全向麦克风101布置在非透射HMD IOB的前面。进一步，用于获得可视图像的图像数据的成像装置(摄影机)131布置在非透射HMD IOB的前面的中心。 这里，麦克风101配置声音收集单元。类似于图1所示的透射HMD 10，由四个麦克风101的布置位置配置而成的表面不正交于非透射HMD IOB的显示表面。图14图示了作为第三实施例的非透射HMD IOB的系统配置。在图14中，与图3 相对应的部分给予相同的标号，并且在适当时会省略其详细描述。非透射HMD IOB包括四个全向麦克风101、放大器102、模拟数字转换器103、信号处理单元104、成像装置(摄影机)131、成像信号处理单元132、叠加单元1；34和显示单元105B。放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟数字转换器 103将放大器102放大的四个麦克风101收集的声音信息(声音信号)从模拟信号转换成数字信号。基于模拟数字转换器103获得的四个麦克风101收集的声音信息(声音信号)， 通过获得声源的位置信息和声音信息，信号处理单元104生成用于显示声音信息的显示数据。成像装置(摄影机)131捕捉对应于用户视野的对象。成像信号处理单元132处理由成像装置131获得的成像信号，并且输出可视图像的图像数据。在这样的情况下，在成像信号处理单元132中，还执行针对取决于成像装置131的布置位置而发生的捕捉图像和用户的实际视野之间的偏差的补偿。这里，成像装置131和成像信号处理单元132配置成像单元。叠加单元1；34将信号处理单元104生成的显示数据叠加在成像信号处理单元132 获得的可视图像的图像数据之上。显示单元105B基于叠加单元134的输出数据来显示可视图像，并且在可视图像之内的对应于声源的位置处显示覆盖在可视图像上的声源的声音信息。不同于图3所示的透射HMD 10的显示单元105，显示单元105B例如由背光单元尚未从中去除的常规液晶显示器(LCD)配置而成。描述图13和14所示的非透射HMD IOB的行为。四个麦克风101收集的声音信息 (声音信号)在由放大器102放大并且由模拟数字转换器103从模拟信号转换成数字信号之后被供应给信号处理单元104。在信号处理单元104中，通过基于四个麦克风101收集的声音信息(声音信号)获得的声源的位置信息和声音信息，生成用于显示声音信息的显示数据。显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。进一步，在成像装置131中，捕捉对应于用户视野的对象。从成像装置131输出的成像信号被供应给成像信号处理单元132。在成像信号处理单元132中，处理成像信号并且生成可视图像的图像数据。在成像信号处理单元132中，还执行针对取决于成像装置131 的布置位置而发生的捕捉图像和用户的实际视野之间的偏差进行补偿的过程。由成像信号处理单元132获得的可视图像的图像数据被供应给叠加单元134。由信号处理单元104生成的显示数据被供应给叠加单元134。在叠加单元134中，显示数据被叠加在可视图像的图像数据上。叠加数据被供应给显示单元105B。在显示单元105B中，基于叠加单元134的输出数据(叠加数据)显示可视图像，并且在可视图像之内的对应于声源的位置处，声源的声音信息被显示覆盖在可视图像上(参考图7C)。在这样的情况下，在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音信息被显示在声源位置或其附近。进一步，在这样的情况下，在当声源位置处于显示表面之外(可视图像之外)时的情况下，声音信息被显示在显示表面(可视图像)的接近于声源位置的端部。除了可视图像显示在显示单元105B上以及声源的声音信息之外，由于与上面描述的图1和3所示的透射HMD 10类似地配置图13和14所示的非透射HMD 10B，所以能够获得同样的效果。进一步，在图13和14所示的非透射HMD IOB中，由于在成像信号处理单元132中补偿了取决于成像装置131的布置位置而发生的可视图像和用户的实际视野之间
16的偏差，所以能够在显示单元105B上显示对应于实际视野的令人满意的可视图像。这里，在图13和14所示的非透射HMD IOB中，尽管成像装置(摄影机)131整体地布置在非透射HMD IOB的前面的中心，但是成像装置131的布置位置不限于此。例如，如图15所示，还可以考虑将成像装置131放置在非透射HMD IOB的前面的侧端，或者放置在独立于非透射HMD IOB的位置处。甚至在这样的情况下，如上所述，通过在成像信号处理单元132中补偿取决于成像装置131的布置位置而发生的可视图像和用户的实际视野之间的偏差，变得可以在显示单元105B上显示对应于实际视野的令人满意的可视图像。<4.第四实施例〉[透射的头戴式显示器的配置例子]图16图示了根据第四实施例的透射的头戴式显示器(HMD) IOC的配置。尽管在附图中未示出，透射HMD IOC的外观与图1所示的透射HMD 10的外观相同。在图16中，与图 3相对应的部分给予相同的标号，并且在适当时会省略其详细描述。透射HMD IOC包括四个全向麦克风101、放大器102、模拟数字转换器103、信号处理单元104C、显示单元105和声源指定单元135。放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟数字转换器 103将放大器102放大的四个麦克风101收集的声音信息(声音信号)从模拟信号转换成数字信号。基于模拟数字转换器103获得的四个麦克风101收集的声音信息(声音信号)， 通过获得声源的位置信息和声音信息，信号处理单元104C生成用于显示声音信息的显示数据。声源指定单元135指定作为通过信号处理单元104C进行的用于获得位置信息和声音信息的目标的声源。声源指定单元135包括声源选择按钮(未示出)等，并且允许用户执行声源指定操作。尽管例如能够用声音的频率或等级等来执行对目标声源的指定，但是在本实施例中，用频率来执行对目标声源的指定。基于由信号处理单元104C生成的显示数据，显示单元105在可视图像之内的对应于声源的位置处显示覆盖在可视图像上的声源的声音信息。显示单元105例如由透射结构配置而成，在该透射结构中，从液晶显示器(LCD)去除了背光单元。描述图16所示的透射HMD IOC的行为。四个麦克风101收集的声音信息(声音信号)在由放大器102放大并且由模拟数字转换器103从模拟信号转换成数字信号之后被供应给信号处理单元104C。在信号处理单元104C中，基于四个麦克风101收集的声音信息 (声音信号)，获得声源的位置信息和声音信息(等级信息、频率信息)。在这样的情况下， 在信号处理单元104C中，仅以声源指定单元135所指定的声源作为目标来获得位置信息和声音信息。进一步，在信号处理单元104C中，基于获得的声源的位置信息和声音信息，生成用于显示声音信息的显示数据。显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。在这样的情况下，显示数据被生成使得通过圆圈的尺寸来显示从声源输出的声音的等级信息。进一步，在这样的情况下，显示数据被生成使得通过施加到圆圈的颜色来表示从声源输出的声音的频率信息。由信号处理单元104C生成的显示数据被供应给显示单元105。在显示单元105 中，基于显示数据，在可视图像之内的对应于声源的位置处，声源的声音信息被显示覆盖在可视图像上(参考图7C)。在这样的情况下，在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音信息被显示在声源位置或其附近。在这样的情况下，在当声源位置处于显示表面之外(可视图像之外)时的情况下，声音信息被显示在显示表面(可视图像) 的接近于声源位置的端部。由于与上面描述的图1和3所示的透射HMD 10类似地配置图16所示的透射HMD 10C，所以能够获得同样的效果。进一步，在图16所示的透射HMD IOC中，在信号处理单元 104C中，仅以声源指定单元135所指定的声源作为目标来获得位置信息和声音信息。因此， 可以仅在可视图像之内显示指定的声源的声音信息，并且搜索指定的声源变得容易。<5.修改例子〉这里，在上面描述的实施例中，已描述了其中声源的声音信息是等级信息或频率信息的例子。然而，作为声音信息，还可以考虑其它类型的信息。例如存在(1)字符信息， 其表示通过语音识别确定的字；( 象声词，其指示从环境的声音(移动火车的声音)中获得的对象的声音；C3)拟声，其指示活物的声音；以及(4)声音信号的时域波形、功率谱和频率谱等。进一步，在上面描述的实施例中，已描述了其中通过圆圈的尺寸来显示来自声源的声音的等级信息的例子。然而，除了圆圈之外的显示形状也是可以的。例如存在(1)多边形、(2)箭头、(3)语音气泡以及(4)取决于发声体如人声、其它活物和环境声音的类型的
字型等。进一步，在上面描述的实施例中，已描述了其中通过颜色来显示来自声源的声音的频率信息的例子。然而，可以考虑颜色编码和显示(1)人的性别、( 人的话语、C3)发声体如其它活物和环境声音的类型并进一步通过颜色的阴影等来显示声音的强度。本公开包含与2010年12月M日向日本专利局申请的日本优先权专利申请JP 2010486934中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。本领域技术人员应当理解的是，取决于设计要求和其它因素，可以进行各种修改、 组合、再组合和变更，它们都处在所附权利要求或其等效含义的范围之内。
权利要求
1.一种声音信息显示装置，包括 多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。
2.根据权利要求1所述的声音信息显示装置，其中， 所述多个声音收集单元布置在所述图像显示单元上，并且由所述多个声音收集单元的布置位置配置而成的表面不正交于所述图像显示单元的显示表面。
3.根据权利要求2所述的声音信息显示装置，其中，由所述多个声音收集单元的布置位置配置而成的表面平行于所述图像显示单元的显示表面。
4.根据权利要求1所述的声音信息显示装置，其中， 所述声音信息是从所述声源输出的声音的等级信息。
5.根据权利要求4所述的声音信息显示装置，其中，所述显示数据生成单元生成使用预定形状的尺寸来显示所述等级信息的显示数据。
6.根据权利要求1所述的声音信息显示装置，其中， 所述声音信息是从所述声源输出的声音的频率信息。
7.根据权利要求6所述的声音信息显示装置，其中，所述显示数据生成单元生成用施加到预定形状的颜色来显示所述频率信息的显示数据。
8.根据权利要求1所述的声音信息显示装置，其中，所述多个声音收集单元包括多个全向声音收集单元和多个定向声音收集单元，并且所述信息获得单元基于所述多个全向声音收集单元收集的声音信息获得声源的第一定向信息，基于所述第一定向信息通过控制所述多个定向声音收集单元的定向方向而获得声源在所述多个定向声音收集单元的布置位置中的第二定向信息，并且基于所述第二定向信息获得声源的位置信息。
9.根据权利要求1所述的声音信息显示装置，进一步包括声源指定单元，其指定作为由所述信息获得单元获得所述位置信息和所述声音信息的目标的声源。
10.根据权利要求9所述的声音信息显示装置，其中，所述声源指定单元指定通过频率作为用于获得所述声音信息的目标的声源。
11.根据权利要求1所述的声音信息显示装置，其中， 所述图像显示单元是透射的图像显示单元。
12.根据权利要求1所述的声音信息显示装置，其中，所述图像显示单元是非透射的图像显示单元，所述声音信息显示装置进一步包括 成像单元，其布置在所述图像显示单元上，并且用于获得所述可视图像的图像数据；以及叠加单元，其将所述显示数据生成单元生成的显示数据叠加在所述成像单元获得的图像数据上，其中，基于所述叠加单元的输出数据，在显示所述可视图像的同时，在所述可视图像之内的对应于声源的位置处，所述图像显示单元显示覆盖在所述可视图像上的声源的声音信肩、ο
13.一种声音信息显示方法，包括基于多个声音收集单元收集的声音信息，获得声源的位置信息和声音信息； 生成显示数据，所述显示数据用于在可视图像之内的与在获得所述位置信息时获得的位置信息相对应的位置处显示覆盖在所述可视图像上的在获得所述位置信息时的声音信息；以及基于在生成所述显示数据时生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。
14.一种使计算机起到以下作用的程序信息获得单元，其基于多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；以及显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息。
全文摘要
本公开提供了一种声音信息显示装置、声音信息显示方法和程序。根据本公开的声音信息显示装置包括多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。
文档编号G10L21/06GK102543099SQ201110423268
公开日2012年7月4日 申请日期2011年12月16日 优先权日2010年12月24日
发明者酒井寿理 申请人:索尼公司