信息处理设备、信息处理系统、控制方法和程序与流程
本发明涉及信息处理设备、信息处理系统、控制方法和程序。
背景技术：
存在定向扬声器其输出定向声音，使得声音只能在特定方向上被听到，或者使得反射面反射的定向声音，从而使用户感觉到声音好像从反射面发出。
[引用列表]
专利文献
[ptl1]
日本专利特开2005-101902号
[ptl2]
日本专利特开2010-56710号
[ptl3]
日本专利特开2012-49663号
技术实现要素：
[技术问题]
当定向声音由反射面反射时，反射特性根据反射面的材料和取向而不同。因此，即使输出相同的声音，也可以根据反射面来改变诸如音量、频率等的声音的特性。然而，在过去，没有考虑到取决于反射面的材料和取向的反射特性。
鉴于上述问题而作出本发明。本发明的目的是提供一种根据反射面的反射特性来控制定向声音的输出的信息处理设备。
[问题的解决方案]
本发明的信息处理设备包括：反射面确定部分，配置为确定作为反射声音的对象的反射面；反射面信息获取部分，配置为获取表示所确定的反射面的反射特性的反射面信息；以及输出控制部分，配置为根据获取的反射面信息将定向声音输出到所确定的反射面。
此外，在上述信息处理设备中，反射面信息获取部分可以获取反射面的反射率作为反射面信息。
此外，在上述信息处理设备中，输出控制部分可以根据获取的反射率来确定定向声音的输出音量。
此外，在上述信息处理设备中，反射面信息获取部分可以获取所述定向声音在所述反射面上的入射角作为所述反射面信息。
此外，在上述信息处理设备中，输出控制部分可以根据获取的入射角确定定向声音的输出音量。
此外，在上述信息处理设备中，反射面信息获取部分可以获取所述定向声音经由反射所述定向声音的所述反射面到达用户之前要行进的到达距离作为所述反射面信息。
此外，在上述信息处理设备中，输出控制部分可以根据获取的到达距离确定定向声音的输出音量。
此外，在上述信息处理设备中，所述反射面信息获取部分可以获取作为所述反射面的候选的多个候选反射面中的每一个的反射面信息，并且所述信息处理设备还可以包括反射面选择部分，配置为从所述多个候选反射面中选择具有由所述候选反射面的反射面信息表示的优异反射特性的候选反射面。
此外，在上述信息处理设备中，反射面信息获取部分可以基于由照相机拍摄的反射面的图像的特征信息获取反射面信息。
此外，本发明的信息处理系统包括：定向扬声器，配置为通过使由预定反射面反射的定向声音产生的非定向声音到达用户；反射面确定部分，配置为将反射面确定为反射定向声音的对象；反射面信息获取部分，配置为获取表示所确定的反射面的反射特性的反射面信息；和输出控制部分，配置为根据所获取的反射面信息将所述定向声音从定向扬声器输出到确定的反射面。
此外，本发明的控制方法包括：反射面确定步骤，确定作为反射声音的对象的反射面；反射面信息获取步骤，获取表示确定的反射面的反射特性的反射面信息；以及输出控制步骤，根据所获取的反射面信息将定向声音输出到所确定的反射面。
此外，本发明的程序是用于使计算机作为以下的程序：反射面确定部分，配置为确定作为反射声音的对象的反射面；反射面信息获取部分，配置为获取表示所确定的反射面的反射特性的反射面信息；以及输出控制部分，配置为根据获取的反射面信息将定向声音输出到所确定的反射面。所述程序可以存储在计算机可读存储介质上。
附图说明
图1是示出根据实施例的娱乐系统的硬件配置的图。
图2是示意性地表示定向扬声器的结构的示例的图。
图3是示出本实施例的娱乐系统的使用场景的示意性概略图。
图4是示出由根据第一实施例的娱乐系统执行的主要功能的示例的功能框图。
图5是示出音频信息的示例的图。
图6是示出材料特征信息的示例的图。
图7是示出用户位置信息的示例的图。
图8是示出分区的示例的图。
图9是示出分区信息的示例的图。
图10是示出候选反射面信息的示例的图。
图11是示出由根据第一实施例的娱乐系统执行的房间图像分析处理的流程的示例的流程图。
图12是示出由根据第一实施例的娱乐系统执行的声音输出控制处理的流程的示例的流程图。
图13是示出通过布置多个定向扬声器而形成的结构的示例的图。
图14是示出由根据第二实施例的娱乐系统10执行的声音输出控制处理的流程的示例的流程图。
具体实施方式
第一实施例
以下将参考附图详细描述本发明的第一实施例。
1.硬件配置
图1是示出根据本发明的实施例的娱乐系统(声音输出系统)10的硬件配置的图。如图1所示，娱乐系统10是包括控制部分11、主存储器20、图像处理部分24、监视器26、输入-输出处理部分28、音频处理部分30、定向扬声器32、光盘读取部分34、光盘36、硬盘38、接口(i/f)40、控制器42和网络i/f44。
控制部分11包括例如中央处理单元(cpu)、微处理器单元(mpu)或图形处理单元(gpu)。控制部分11根据存储在主存储器20中的程序进行各种处理。以下，对由本实施例中的控制部分11执行的处理的具体例进行说明。
主存储器20包括诸如随机存取存储器(ram)、只读存储器(rom)等存储元件。从光盘36和硬盘38读出的程序和数据以及经由网络i/f48从网络提供的程序和数据根据需要写入主存储器20。主存储器20还操作为控制部分11的工作存储器。
图像处理部分24包括gpu和帧缓冲器。gpu根据从控制部分11提供的图像数据在帧缓冲器中呈现各种屏幕。形成在帧缓冲器中的屏幕被转换为视频信号，并以预定的时序输出到监视器26。顺便提及，例如家用电视接收机被用作监视器26。
输入-输出处理部分28与音频处理部分30、光盘读取部分34、硬盘38、i/f40和44、以及网络i/f48连接。输入-输出处理部分28控制控制部分11和音频处理部分30、光盘读取部分34、硬盘38、i/f40和44、以及网络i/f48之间的数据传送。
音频处理部分30包括声音处理单元(spu)和声音缓冲器。声音缓冲器存储从光盘36和硬盘38读出的各种音频数据，如游戏音乐、游戏声音效果、消息等。spu再现这些各种音频数据，并从定向扬声器32输出各种音频数据。顺便提及，代替音频处理部分30(spu)，控制部分11可以再现各种音频数据，并从定向扬声器32输出各种音频数据。也就是说，可以通过控制部分11执行的软件处理来实现各种音频数据的再现和从定向扬声器32的各种音频数据的输出。
定向扬声器32例如是参数扬声器。定向扬声器32输出定向声音。定向扬声器32与用于致动定向扬声器32的致动器连接。致动器与电机驱动器33连接。电机驱动器33执行致动器的驱动控制。图2是示意性地示出定向扬声器32的结构的示例的图。如图2所示，定向扬声器32通过在板32a上布置多个超声波探测体32b而形成。从各个超声波探测体32a输出的超声波在空气中彼此叠加，从而从超声波转换为可听见的声音。此时，仅在超声波彼此重叠的中央部分产生声音，因此产生仅在超声波的行进方向上听到的定向声音。此外，这样的定向声音被反射面扩散地反射，从而被转换成非定向声音，使得用户能够感觉到从反射面产生声音。在本实施例中，电机驱动器33驱动致动器以围绕x轴和y轴旋转定向扬声器32。因此，可以任意地调节从定向扬声器32输出的定向声音的方向，并且可以在任意位置反射定向声音，以使得用户感觉到好像从该位置产生声音。
光盘读取部分34根据来自控制部分11的指示读取存储在光盘36上的程序或数据。光盘36例如是普通光盘，诸如数字通用盘(dvd)-rom等。此外，硬盘38是普通硬盘装置。各种程序和数据以计算机可读的方式存储在光盘36和硬盘38上。顺便提及，娱乐系统10可以配置为能够读取存储在不同于光盘36或硬盘38的另外的信息存储介质上的程序或数据。
光盘36例如是诸如dvd-rom等的普通光盘(计算机可读信息存储介质)。此外，硬盘38是普通硬盘装置。各种程序和数据以计算机可读的方式存储在光盘36和硬盘38上。
i/f40和44是用于连接诸如控制器42、相机单元46等各种外围设备的i/f。例如，通用串行总线(usb)i/f用作这样的i/f。此外，例如可以使用诸如蓝牙(注册商标)i/f的无线通信i/f。
控制器42是通用操作输入装置。控制器42用于用户输入各种操作(例如游戏操作)。输入-输出处理部分28以预定时间(例如1/60秒)的间隔扫描控制器42的每个部分的状态，并将指示扫描结果的操作信号提供给控制部分11。控制部分11基于操作信号确定用户执行的操作的细节。顺便提及，娱乐系统10配置为可与多个控制器42连接。控制部分11基于从各个控制器42输入的操作信号执行各种处理。
相机单元46例如包括公知的数码相机。相机单元46以预定时间(例如1/60秒)的间隔输入黑白、灰度或彩色拍摄的图像。本实施例中的相机单元46将拍摄的图像作为图像数据输入到联合摄影专家组(jpeg)格式中。此外，相机单元46经由电缆连接到i/f44。
网络i/f48连接到输入-输出处理部分28和通信网络。网络i/f48通过通信网络中继娱乐系统10与其他娱乐系统10的数据通信。
2.示意性概略图
图3是示出本实施例的娱乐系统10的使用场景的示意性概略图。如图3所示，娱乐系统10由用户在单独的房间中使用，使得房间被四边的墙围绕，并且例如在房间中布置各种家具。在这种情况下，定向扬声器32安装在监视器26上，以便能够将定向声音输出到房间内的任意位置。相机单元46也安装在监视器26上，以便能够拍摄整个房间。然后，监视器26、定向扬声器32和照相机单元46连接到作为家用游戏机等的信息处理设备50。当用户通过在这样的房间中使用娱乐系统10操作控制器42来玩游戏时，娱乐系统10首先读出游戏程序，诸如游戏音效等的音频数据，以及用于输出每个来自提供给信息处理设备50的光盘36或硬盘38的音频数据，并执行游戏。然后，娱乐系统10控制定向扬声器32，以便根据显示在监视器26上的游戏图像和游戏进度的条件，从预定位置产生声音效果。因此，娱乐系统10为用户提供了逼真的游戏环境。具体地，例如，当在游戏中的用户角色的后方发生爆炸时，可以产生爆炸的声音，以便通过使得在用户的后方的墙壁反射定向声音从真实用户的后方听到爆炸的声音。此外，当游戏中的用户角色的心率增加时，可以产生心跳声，以便通过使用户的身体反射定向声音，从真实的用户自身听到心跳声。当进行这样的再现时，反射特性根据反射定向声音的反射面(墙壁、桌子、用户的身体等)的材料和取向而不同。因此，用户不一定听到具有预期特征(音量、音高等)的声音。因此，本发明配置为能够根据反射定向声音的反射面的材料和取向来控制定向扬声器32的输出。顺便提及，在本实施例中，将描述用户使用娱乐系统10玩游戏的情况。然而，本发明也适用于用户观看诸如电影等的运动图像的情况以及用户仅在无线电等上听到声音的情况。
以下将描述娱乐系统10对定向扬声器32的输出的控制。
3.功能框图
图4是示出由根据第一实施例的娱乐系统10执行的主要功能的示例的功能框图。如图4所示，第一实施例中的娱乐系统10功能上例如包括音频信息存储部分54、材料特征信息存储部分52、房间图像分析部分60和输出控制部分70。在这些功能中，房间图像分析部分60和输出控制部分70由控制部分11通过执行从光盘36或硬盘38读出的程序或者经由网络i/f48从网络提供的程序来实现。例如，音频信息存储部分54和材料特征信息存储部分52也由光盘36或硬盘38实现。
首先，在音频信息存储器中预先存储音频信息，其中诸如游戏声音效果等的音频数据和用于输出每条音频数据的控制参数数据(称为音频输出控制参数数据)彼此相关联。假设，在这种情况下，音频数据是表示假设音频数据将从定向扬声器32输出的音频信号的波形的波形数据。假设音频输出控制参数数据是假定音频数据将从定向扬声器32输出而生成的控制参数。图5是示出音频信息的示例的图。如图5所示，管理音频信息，使得音频信号和输出条件对于每条音频数据彼此相关联。音频信号具有由音频信号的波形数据定义的音量和频率(声音的音调)。假设本实施例中的每个音频信号具有假设音频信号被具有作为基准的反射特性的反射面反射的音量和频率。具体而言，设定为具有作为基准的反射特性的反射面的是具有基准到达距离dm(例如4米)的情况，基准到达距离dm为从定向扬声器输出并且被反射面反射之后直到到达用户声音要进行的到达距离，基准材料m(例如木材)作为反射面的材料，以及基准入射角α(例如45度)作为入射角。然后，假设每个音频信号的音量和频率被定义为使得在具有如上所述的作为基准的反射特性的反射面反射之后到达用户的声音具有预期的特征。输出条件是指示输出音频数据的定时和产生声音的声音产生位置的信息。第一实施例中的输出条件特别是指示以游戏中的用户角色为基准的声音产生位置的信息。输出条件例如是指示用户角色作为基准的方向或位置的信息，例如从用户角色观看的右侧或前方。根据输出条件确定从定向扬声器32输出的定向声音的方向。顺便提及，假设没有输出条件与预先未定义输出位置的音频数据相关联，并且根据游戏条件或用户操作给出输出条件。
此外，材料特征信息存储部分52预先存储材料特征信息，材料特征信息表示典型表面的材料、表面的特征信息和声音的反射率之间的关系。图6是示出材料特征信息的示例的图。如图6所示，管理材料特征信息，使得诸如木材、金属、玻璃等的材料名称、作为由相机拍摄材料时的从图像获取的特征信息的材料特征信息、以及声音的反射率对于每个材料相互关联。在这种情况下，假设从图像获取的特征信息例如是包括在图像中的颜色分量的分布(例如，诸如rgb的颜色空间中的颜色分量、可变比特率(vbr)等)、饱和度的分布和亮度的分布，并且可以是这些分布中的两个或更多个的一个或任意组合。
4.房间图像分析处理
房间图像分析部分60分析由照相机单元46拍摄的房间的图像。房间图像分析部分60主要由控制部分11实现。房间图像分析部分60包括房间图像获取部分62、用户位置识别部分64和候选反射面选择部分66。
房间图像获取部分62响应于房间图像获取请求获取由相机单元46拍摄的房间的图像。房间图像获取请求例如在游戏开始时或根据游戏条件的预定定时发送。此外，相机单元46可以在主存储器20中存储以预定时间(例如1/60秒)的间隔生成图像的房间的图像，以及主存储器20中存储的房间的图像可以响应于房间图像获取请求而获取。
用户位置识别部分64通过分析由房间图像获取部分62获取的图像的房间的图像(以下将被称为获取的房间图像)来识别房间中存在的用户的位置。用户位置识别部分64通过使用公知的人脸识别技术从所获取的房间图像中检测房间中存在的用户的面部图像。用户位置识别部分64例如可以检测眼睛、鼻子、嘴等的脸部分，并根据这些部分位的位置检测面部。用户位置识别部分64也可以使用肤色信息来检测脸部。用户位置识别部分64也可以使用另一种检测方法来检测面部。用户位置识别部分64将由此检测到的面部图像的位置识别为用户的位置。此外，当在房间中存在多个用户时，可以基于从检测到的用户的面部图像获取的特征信息的差异来区分多个用户。然后，用户位置识别部分64在用户位置信息存储部分中存储通过将从用户的面部图像获取的特征信息与指示用户的识别位置的位置信息彼此关联获得的用户位置信息。指示位置的位置信息可以是指示与成像装置的距离(例如从成像装置到用户的面部图像的距离)的信息，或者可以是三维空间中的坐标值。图7是示出用户位置信息的示例的图。如图7所示，管理用户位置信息，使得向每个识别的用户给出的用户标识(id)、从所识别的用户的面部图像获取的用户特征信息和指示用户的位置的位置信息相互关联。
用户位置识别部分64还可以检测由用户保持的控制器42，并且将检测到的控制器42的位置识别为用户的位置。当通过检测控制器42来识别用户的位置时，用户位置识别部分64从获取的房间图像中检测从控制器42的发光部分发射的光，并将检测到的光的位置识别为用户的位置。此外，当在房间中存在多个用户时，可以基于从控制器42的发光部分发射的光的颜色之间的差异来区分多个用户。
候选反射面选择部分66基于获取的房间图像和存储在用户位置信息存储部分中的用户位置信息，选择用于反射从定向扬声器32输出的定向声音的反射面的候选(被称为候选反射面)。在这种情况下，用于反射定向声音的反射面具有尺寸6到9平方厘米就足够了，用于反射定向声音的反射面可以是例如墙壁、书桌、椅子、书架、用户的身体等的一部分。
首先，候选反射面选择部分66根据产生声音的声音产生位置将房间空间划分为多个分区。声音产生位置对应于包含在存储在音频信息存储部分54中的音频信息中的输出条件，并且用游戏中的用户角色作为基准定义。候选反射面选择部分66在将用户的位置作为基准的情况下将房间空间分割为与声音产生位置对应的多个分区，用户的位置由存储在用户位置信息存储部分中的用户位置信息指示。图8是示出分区的示例的图。当以游戏中的用户角色作为基准准备八种声音产生位置时，八种声音产生位置是右下前方、左下前方、左上前方、右上前方、右下后方、下左后方，左上后方和右上后方，房间空间分为八个分区(分区id：
然后，候选反射面选择部分66对于每个分区，从分区内存在的表面选择作为候选反射面的反射声音的最佳表面。假设在这种情况下，用于反射声音的最佳表面是具有优异反射特性的表面，并且是例如由高反射率的材料或颜色形成的表面。
将描述选择候选反射面的处理。首先，候选反射面选择部分66从所获取的房间图像中提取可以是分区内的候选反射面的表面，并且获取所提取的表面(被称为提取的反射面)的特征信息。分区内的多个提取的反射面可以是候选反射面，并且是候选反射面的候选。然后，候选反射面选择部分66从分区内的多个提取的反射面中选择具有最佳反射特性的提取的反射面作为候选反射面。
假设在这种情况下，当候选反射面选择部分66选择具有最佳反射特性的提取的反射面作为候选反射面时，候选反射面选择部分66将提取的反射面的反射率进行相互比较。首先，候选反射面选择部分66参照存储在材料特征信息存储部分52中的材料特征信息，并从所提取的反射面的特征信息来估计提取的反射面的材料/反射率。候选反射面选择部分66例如使用公知的图案匹配技术，从提取的反射面的特征信息中估计提取的反射面的材料/反射率。然而，候选反射面选择部分66可以使用其他方法。具体地，候选反射面选择部分66将提取的反射面的特征信息与材料特征信息存储部分52中存储的材料特征信息进行匹配，并且估计与具有最高匹配度的材料特征信息相对应的材料/反射率作为提取的反射面的材料/反射率。候选反射面选择部分66因此分别从多个提取的反射面的特征信息中估计各个提取的反射面的材料/反射率。然后，候选反射面选择部分66从分区内的多个提取的反射面之中选择具有最佳反射率的提取反射面作为候选反射面。候选反射面选择部分66对每个分区进行这样的处理，从而选择分区的候选反射面。
顺便提及，估计提取的反射面的反射率的方法不限于上述方法。例如，定向扬声器32实际上可以将声音输出到提取的反射面，并且麦克风可以收集被提取的反射面反射的反射的声音，从而可以测量提取的反射面的反射率。此外，可以通过将光输出到提取的反射面，并检测被提取的反射面反射的反射光来测量光的反射率。然后，可以使用光的反射率来代替选择候选反射面的声音的反射率，或者可以根据光的反射率估计声音的反射率。
此外，当候选反射面选择部分66选择具有最佳反射特性的提取的反射面作为候选反射面时，候选反射面选择部分66可以将从定向扬声器32输出的定向声音入射到反射面上的入射角相互比较。这利用了随着入射角增加而改善反射效率的特性。在这种情况下，候选反射面选择部分66基于获取的房间图像计算从定向扬声器32延伸的直线入射到提取的反射面上的入射角。然后，候选反射面选择部分66计算从定向扬声器32延伸的直线入射到多个提取的反射面的每一个上的入射角，并选择具有最大入射角的提取的反射面作为候选反射面。
此外，当候选反射面选择部分66选择具有最佳反射特性的提取的反射面作为候选反射面时，候选反射面选择部分66可以相互比较声音的到达距离，声音的到达距离每个是从定向扬声器32到提取的反射面的直线距离和从提取的反射面到用户的直线距离的总和。这是基于这样的想法，即，在通过反射音频数据的反射面到达用户之前，从定向扬声器32输出的音频数据行进的距离越短，用户听到的声音越容易。在这种情况下，候选反射面选择部分66基于获取的房间图像计算到达距离。然后，候选反射面选择部分66分别经由多个提取的反射面计算到达距离，并且将与最短到达距离相对应的提取的反射面选择为候选反射面。
如上所述，候选反射面信息存储部分存储表示候选反射面选择部分66所选择的候选反射面的候选反射面信息。图10是示出候选反射面信息的示例的图。如图10所示，管理候选反射面信息，使得对于每个分区，指示分区的分区id、表示候选反射面的位置的位置信息、表示从方向扬声器32输出的声音在经由反射声音的反射面到达用户之前要进行的距离的到达距离、候选反射面的反射率、以及候选反射面上的定向声音的入射角相互关联。
顺便提及，当候选反射面选择部分66选择具有最佳反射特性的提取的反射面作为候选反射面时，候选反射面选择部分66可任意组合提取的反射面的反射率、提取的反射面的入射角以及上述到达距离中的两个或多个，以选择具有优异反射特性的表面。
如上所述的房间图像分析处理可以选择用于反射定向声音的最佳反射面，而与房间的形状或用户的位置无关。
下面将参照图11的流程图描述由根据第一实施例的娱乐系统10执行的房间图像分析处理的流程的示例。
首先，房间图像获取部分62响应于房间图像获取请求获取由照相机单元46拍摄的房间图像(s1)。
然后，用户位置识别部分64从由房间图像获取部分62获取的所获取的房间图像识别用户的位置(s2)。
然后，候选反射面选择部分66基于获取的房间图像将房间空间分割为多个分区(s3)。假设在这种情况下，房间空间被划分为k个分区，并且将数字1至k作为分区id给予相应的分区。然后，候选反射面选择部分66为分区1到k的每个选择候选反射面。
候选反射面选择部分66将变量i初始化为i＝1(s4)。变量i是表示分区id的变量，是假定为1至k的整数值的计数器变量。
候选反射面选择部分66基于获取的房间图像，从分区1中提取可以作为反射面的提取的反射面，并且获取提取的反射面的特征信息(s5)。
候选反射面选择部分66根据存储在材料特征信息存储部分52中的材料特征信息来检查在s5的处理中获取的提取的反射面的特征信息(s6)，以估计所提取的反射面的反射率。然后，候选反射面选择部分66在多个提取的反射面之中，在分区1中选择具有最佳反射率的提取的反射面作为候选反射面。
然后，将候选反射面选择部分66所选择的候选反射面的反射特性作为候选反射面信息存储在候选反射面信息存储部分中(s8)。在这种情况下，反射特性是候选反射面的反射率、从定向扬声器输出的声音入射到候选反射面上的入射角、从定向扬声器输出的声音在经由反射声音的候选反射面到达用户之前要行进的到达距离等。包括在候选反射面信息中的反射率可以是从存储在材料特征信息存储部分52中的材料特征信息估计的反射率，或者可以是当从定向扬声器实际输出到候选反射面的音频数据时通过收集反射的声音测量的反射率。此外，假设基于获取的房间图像来计算包括在候选反射面信息中的入射角和到达距离。这些反射特性与指示分区的分区id和表示候选反射面的位置的位置信息相关联地存储。
然后，将一添加到变量i(s9)，并且候选反射面选择部分66重复执行从s5开始的处理直到i＝k。当变量i变得等于k时(s10)，房间图像分析处理结束，并且分别对应于分区1至k的k个候选反射面的候选反射面信息被存储在候选反射面信息存储部分中，如图10所示。
如上所述的房间图像分析处理可以在游戏开始的定时进行，或者可以在游戏开始期间周期性地执行。在游戏开始期间周期性地执行房间图像分析处理的情况下，即使当用户在游戏期间在房间内移动时，也可以根据用户的移动执行合适的声音输出。
5.输出控制处理
输出控制部分70通过控制电动机驱动器33来控制定向扬声器32的取向，并且从定向扬声器32输出预定的音频数据。输出控制部分70主要由控制部分11和音频处理部分30实现。输出控制部分70包括音频信息获取部分72、反射面确定部分74、反射面信息获取部分76和输出音量确定部分78。
输出控制部分70根据由反射面信息获取部分76获取的信息的确定的反射面的信息和由音频信息获取部分72获取的音频信息来控制来自定向扬声器32的音频输出。具体地说，输出控制部分70基于关于所确定的反射面的信息来改变包括在音频信息中的音频数据，使得根据所确定的反射面上的信息的音频数据从定向扬声器32输出。在这种情况下，输出控制部分70改变音频数据，以补偿由于所确定的反射面的反射特性和用作基准的反射特性之间的差异而发生变化的声音特征的变化。包括在音频信息中的音频数据是假设音频数据被具有用作基准的反射特性的反射面反射音频数据而产生的数据，并且通过被具有作为基准的反射特性的反射面反射，音频数据能够向用户提供具有预期特征的声音(音量、频率等)。当这样产生的音频数据被具有与基准不同的反射特性的反射面反射时，具有与预期特征不同的特征的声音可能会到达用户，使得可能对用户造成陌生感。例如，当声音被具有低于作为基准的反射特性的反射率的反射率的反射面反射时，用户听到音量低于预期音量的声音。因此，即使当声音被具有比作为基准的反射率低的反射率的反射面反射时，为了使用户听到具有预期音量的声音，输出控制部分70增加包括在获取的音频信息中的音频数据的音量。用于补偿声音特征变化的音频数据的输出音量或输出变化量由输出音量确定部分78确定。在这种情况下，假设确定的反射面的反射特性和作为基准的反射特性之间的差异与由于差异而发生的变化的声音特征的变化量之间的关系被预先定义。此外，假设还预先定义声音特征的变化量与用于补偿变化量或输出变化量的音频数据的输出音量之间的关系。
音频信息获取部分72根据游戏条件从音频信息存储部分54获取要从定向扬声器32输出的音频数据。
反射面确定部分74基于由音频信息获取部分72和候选反射面信息，从由候选反射面信息中包含的多个候选反射面中确定作为用于反射要从定向扬声器32输出的音频数据的对象作为反射面。首先，反射面确定部分74识别对应于与获取的音频数据相关联的输出条件的分区id。然后，反射面确定部分74通过参照候选反射面信息确定对应于识别的分区id候选反射面作为用于反射要从定向扬声器32输出的音频数据的反射面。
反射面信息获取部分76从候选反射面信息中获取由反射面确定部分74确定为用于反射要从定向扬声器32输出的音频数据的反射面的候选反射面(被称为确定的反射面)的信息。具体地，反射面信息获取部分76从候选反射面信息获取所确定的反射面的位置信息，以及关于到达距离、反射率和入射角的信息作为所确定的反射面的反射特性。
然后，输出音量确定部分78根据由反射面信息获取部分76获取的反射特性的所确定的反射面的反射特性，确定音频数据的输出音量。首先，输出音量确定部分78根据音频数据从定向扬声器32输出之后然后由确定的反射面反射直到到达用户所要进行的到达距离，确定音频数据的输出音量。具体地，输出音量确定部分78将经过确定的反射面的到达距离与基准到达距离进行比较。当经由确定的反射面的到达距离大于基准到达距离时，输出音量确定部分78增加输出音量，或者当所确定的反射面的到达距离小于基准到达距离时，输出音量确定部分78减小输出音量。根据通过确定的反射面的到达距离与基准到达距离之间的差异，确定输出的增加量和输出的减少量。
输出音量确定部分78根据所确定的反射面的反射率确定音频数据的输出音量。具体地，输出音量确定部分78将确定的反射面的反射率与基准材料的反射率进行比较。当确定的反射面的反射率大于基准材料的反射率时，输出量确定部分78减小输出音量，并且当确定的反射面的反射率小于基准材料的反射率时，输出音量确定部分78增加输出音量。根据所确定的反射面的反射率和基准材料的反射率之间的差异，确定输出的增加量和输出的减少量。
输出音量确定部分78根据在确定的反射面上从定向扬声器32输出的音频数据的入射角来确定音频数据的输出音量。具体地，输出音量确定部分78将确定的反射面上的入射角与基准入射角进行比较。当确定的反射面的入射角大于基准入射角时，输出音量确定部分78减小输出音量，并且当所确定的反射面上的入射角小于基准入射角时，输出音量确定部分78增加输出音量。根据所确定的反射面的入射角与基准入射角之间的差异，确定输出的增加量和输出的减少量。
顺便提及，输出音量确定部分78可以使用到达距离、反射率和入射角的各条信息中的一条信息来确定输出音量作为所确定的反射面的上述反射特性，或者可以使用各条信息中的两条或多条信息的任意组合来确定输出量。
输出控制部分70因此基于所确定的反射面的位置信息，通过控制电动机驱动器33来调节定向扬声器32的取向，使得音频数据从定向扬声器32输出到确定的反射面。然后，输出控制部分70使从方向扬声器32输出的音频数据为具有由输出音量确定部分78确定的输出音量的音频数据。
顺便提及，输出音量确定部分78可以根据经由所确定的反射面、所确定的反射面的反射率和所确定的反射面上的入射角的到达距离来确定音频数据的频率。
如上所述的输出控制处理可以根据所确定的反射面的反射特性来控制音频输出。因此，用户可以听到具有预期特征的声音，而不管确定的反射面的材料、确定的反射面的位置、用户的位置等。
下面将参照图12的流程图描述由根据第一实施例的娱乐系统10执行的声音输出控制处理的流程的示例。
首先，音频信息获取部分72从存储在音频信息存储部分54中的音频信息中获取要从定向扬声器32输出的声音的音频信息(s11)。
然后，反射面确定部分74基于在步骤s11中由音频信息获取部分72获取的音频信息和存储在分区信息存储部分中的分区信息来识别分区(s12)。这里，反射面确定部分74在步骤s11中识别与由音频信息获取部分72获取的音频信息中包括的输出条件相对应的分区。
接下来，反射面确定部分74根据候选反射面信息存储部分中存储的候选反射面信息，确定与步骤s12中识别的分区相对应的候选反射面作为反射要从定向扬声器32输出的音频数据的反射面(s13)。然后，反射面信息获取部分76从候选反射面信息存储部分取得所确定的反射面的反射面信息(s14)。具体地说，反射面信息获取部分76获取表示所确定的反射面的位置的位置信息和确定的反射面的反射特性(到达距离、反射率、入射角度)。
然后，输出音量确定部分78确定要输出到在步骤s14中由反射面确定部分74确定的确定的反射面的音频数据的输出音量(s15)。输出音量确定部分78基于作为反射面信息获取部分76获取的反射特性的所确定的反射面的反射特性的到达距离、反射率和入射角中的每一个，确定输出音量。然后，输出控制部分70通过控制电动机驱动器33来调节定向扬声器32的取向，使得音频数据由被输出到由所确定的反射面的位置信息指示的位置，并且使音频数据从定向扬声器32输出，音频数据具有在步骤s15中由输出音量确定部分78确定的输出音量(s16)。然后，声音输出控制处理结束。
娱乐系统10还可以包括多个定向扬声器32。图13示出了通过布置多个定向扬声器32而形成的结构的示例。如图13所示，可以布置各自独立地移动的16个定向扬声器32-n(n＝1到16)。在这种情况下，假设相应的定向扬声器32-n在取向上调整，以将音频数据输出到各个不同的反射面。当开始使用娱乐系统10的游戏时，或者当多个定向扬声器32-n安装在房间中时，例如，基于由房间图像获取部分62获取的房间图像确定指向各个方向扬声器32-n的反射面。在这种情况下，假设定向扬声器32-n的一旦确定的取向基本上是固定的。当调节各个定向扬声器32-n的取向时，不管用户的位置如何，房间空间可被划分为多个分区(例如，数量与定向扬声器32相等的分区)，并且可以调整相应的定向扬声器32-n以便指向各个不同分区内的反射面。或者，可以选择在室内具有优异的反射特性的反射面，反射面的数量与定向扬声器32的数量相等，并且可以调整各个定向扬声器32-n以指向各个不同的反射面。假设在调整了所有定向扬声器32的取向之后，相互相关联地存储各个定向扬声器32-n和定向扬声器32-n所指向的反射面的位置信息。然后，假设当在包括这样的多个定向扬声器32的娱乐系统10中执行声音输出处理时，将基于包括在由音频信息获取部分72获取的音频信息中的输出条件(在此情况下的声音生成位置)、各个定向扬声器32所指向的反射面的位置信息和用户的位置信息，来选择要输出音频数据的方向扬声器32。具体地，基于反射面的位置信息和用户的位置信息，以用户为基准确定反射面所处的区域。因此，即使当用户在房间内移动时，也可以以用户的位置为基准来确定区域。然后，假设反射面的区域与发声位置一致，则选择与反射面对应的定向扬声器32。顺便提及，假设当没有与声音产生位置一致的区域时，则选择与位于最靠近声音产生位置的区域中的反射面相对应的定向扬声器32。当预先确定多个定向扬声器32-n的取向时，本发明也可以应用于需要声音输出的快速响应的情况，例如，将声音输出到具有用户根据用户操作作为参考的位置。
第二实施例
在第一实施例中，已经描述了与存储在音频信息存储部分54中的音频数据相关联的输出条件主要是指示以游戏中的用户角色为基准的声音产生位置的信息的情况。在第二实施例中，将进一步描述输出条件是指示房间内的特定位置的信息，诸如指示在房间内的对象的位置作为基准的声音产生位置的信息、指示基于房间结构的预定位置的信息等。具体地，指示房间内的特定位置的信息是指示距离用户预定距离或预定范围(诸如到用户的位置左侧50厘米等)的位置等，指示从用户观看的方向或位置(诸如从用户观看的右侧或前方)的信息，或者基于诸如房间的中心等的房间的结构来指示预定位置的信息。顺便提及，当以用户角色作为基准的声音产生位置的信息与输出条件相关联时，可以从该信息中识别表示房间中的特定位置的信息。
指示由根据第二实施例的娱乐系统10执行的主要功能的示例的功能框图类似于图4所示的根据第一实施例的功能框图，除了表示由根据第二实施例的娱乐系统10执行的主要功能的示例的功能框图不包括候选反射面选择部分66。以下将仅描述与在第一实施例中的那些不同的部分，并且将省略重复的描述。
下面将说明根据第二实施例的输出控制部分70的输出控制处理。
音频信息获取部分72根据游戏条件从音频信息存储部分54获取要从定向扬声器32输出的音频数据。假设在这种情况下，音频数据的输出条件与表示房间内的特定位置的信息(例如，作为基准的房间内的对象的预定位置)相关联。例如，假设输出条件是表示房间内的特定位置的信息，诸如用户位置左侧的50厘米、显示器前方30厘米、房间中心等。
首先，反射面确定部分74基于由音频信息获取部分72获取的音频数据，确定反射面作为用于反射从定向扬声器32输出的音频数据的对象。反射面确定部分74识别房间内的位置，该位置对应于与所获取的音频数据相关联的输出条件指示的位置。例如，当以用户的位置为基准的预定位置(例如用户的位置左侧的50里面等)与输出条件相关联时，反射面确定部分74从由用户位置识别部分64识别位置的用户的位置信息和由输出条件指示的位置的信息，识别反射面的位置。此外，假设当将具有用户以外的对象的位置(例如显示器前方30厘米)作为基准的预定位置与输出条件相关联时，识别关联的对象的位置，并且获取其位置信息。
反射面信息获取部分76获取由反射面确定部分74确定的确定的反射面(被称为确定的反射面)的反射面信息。具体地，反射面信息获取部分76获取表示所确定的反射面的位置的位置信息、所确定的反射面的反射特性等。首先，反射面信息获取部分76从室内图像获取与所确定的反射面的位置对应的确定的反射面图像的特征信息、由在从定向扬声器32输出之后并且然后被所确定的反射面反射直到到达用户所行进的到达距离、以及在所确定的反射面上从定向扬声器32输出的音频数据的入射角。在这种情况下，所确定的反射面图像可以是以所确定的反射面的位置为中心的预定范围内的区域的图像。然后，反射面信息获取部分76通过将获取的确定的反射面图像的特征信息与存储在材料特征信息存储部分52中的材料特征信息进行比较，识别所确定的反射面的材料和反射率。反射面信息获取部分76因此获取关于反射率、到达距离和入射角的信息作为所确定的反射面的反射特性。
输出音量确定部分78确定要输出到所确定的反射面的音频数据的输出音量。在这种情况下，当由反射面确定部分74确定的反射面的反射特性与用作基准的反射特性不同时，改变存储在音频信息存储部分中的音频数据中定义的输出音量，使得用户可以听到具有预期音量的音频数据。输出音量确定部分78根据反射率、到达距离和入射角确定音频数据的输出音量，作为所确定的反射面的反射特性。输出音量确定部分78的输出音量确定处理如第一实施例中所述。
因此，输出控制部分70通过根据所确定的反射面的位置信息控制电动机驱动器33，来调整方向扬声器32的取向，将定向扬声器32的音频数据输出到确定的反射面。然后，输出控制部分70从定向扬声器32输出具有由输出音量确定部分78确定的输出音量的音频数据。
因此，当从房间内的特定位置听到声音时，可以根据特定位置处的反射面的反射特性，使用户听到预期的声音，并且可以从任意位置产生预期的声音，而不依赖于房间中的条件，例如家具的布置、用户的位置、反射面的材料等。
下面将参考图14的流程图描述由根据第二实施例的娱乐系统10执行的声音输出控制处理的流程的示例。。
首先，房间图像获取部分62响应于房间图像获取请求而获取由相机单元46拍摄的房间图像(s21)。
然后，用户位置识别部分64从由房间图像获取部分62获取的获取的房间图像中识别用户的位置(s22)。
接下来，音频信息获取部分72从存储在音频信息存储部分54中的音频信息中获取要从定向扬声器32输出的音频数据(s23)。
然后，反射面确定部分74在步骤s23中基于由音频信息获取部分72获取的音频数据来确定反射面(s24)。这里，反射面确定部分74识别与由音频信息获取部分72获取的音频数据的输出条件相关联的与反射位置相对应的反射面。
反射面信息获取部分76从由房间图像获取部分62获取的房间图像，获取由反射面确定部分74在步骤s24中确定的确定的反射面的信息(s25)。具体地，反射面信息获取部分76获取表示所确定的反射面的位置和确定的反射面的反射特性(到达距离、反射率、入射角度)的位置信息。
然后，输出音量确定部分78确定要输出到在步骤s24中由反射面确定部分74确定的确定的反射面的音频数据的输出音量(s26)。输出音量确定部分78基于作为反射面信息获取部分76获取的反射特性的所确定的反射面的反射特性的到达距离、反射率和入射角中的每一个来确定输出音量。然后，输出控制部分70通过控制电动机驱动器33来调节定向扬声器32的取向，以便将音频数据输出到由所确定的反射面的位置信息所指示的位置，并使音频数据从定向扬声器32输出，音频数据具有在步骤s26中由输出音量确定部分78确定的输出音量(s27)。然后声音输出控制处理结束。
顺便提及，当由反射面信息获取部分76获取反射特性的确定反射面的反射特性差时，反射面确定部分74可以改变用于反射音频数据的反射面。也就是说，当确定的反射面是不容易反射的材料时，可以搜索附近的反射面，并且可以将具有更好的反射特性的反射面设置为确定的反射面。在这种情况下，当进行改变的反射面与首先确定的反射面相距太远时，早期的音频数据可能不会到达用户。因此，可以在首先确定的反射面的位置的允许范围(例如30厘米的半径)内进行搜索，并且可以在允许范围内选择具有良好反射特性的反射面。顺便提及，当在允许范围内没有具有良好反射特性的反射面时，对于首先确定的确定的反射面，输出音量确定部分78执行输出音量确定处理就足够了。在这种情况下，由第一实施例中描述的候选反射面选择部分66的候选反射面选择处理可以应用于从允许范围内选择具有良好反射特性的反射面的处理。
此外，根据第二实施例的娱乐系统10可以应用为操作输入系统，以供用户执行输入操作。具体而言，假设在房间内设置一个或多个声音产生位置，并且通过用户操作将物体(用户的身体的一部分等)设置在对应的声音产生位置。然后，从定向扬声器32输出到声音产生位置的定向声音被用户设置的对象反射，从而产生反射的声音。假设基于由此产生的反射声音接收与用户操作相对应的输入信息。在这种情况下，可以预先相互关联地存储声音产生位置、音频数据和输入信息，并且能够根据反射的声音产生位置和音频数据来识别输入信息。例如，构造了操作输入系统，其将用户面部右侧的声音产生位置设置为30厘米，并且可以根据用户将手提升到脸部的右侧或者不把手提升到脸部的右侧的操作来接收输入信息。在这种情况下，输入信息(例如表示“是”的信息)与要生成的反射声音的声音产生位置和音频数据相关联，并且输出指令以允许用户选择是否将提升到脸部的右侧(例如，在“是”的情况下输出用于指示用户提升手的指令，或者在“否”的情况下指示用户不提升手的指令)。因此，可以根据是否产生反射的声音来接收输入信息(“是”或“否”)。此外，可以通过使用多个定向扬声器32在多个声音产生位置处设置不同的音频数据，并且可以与各个不同的输入信息相关联。然后，当通过用户操作在多个声音生成位置中的一个设置诸如手等对象来产生反射声音时，可以接收与所生成的反射声相对应的输入信息。例如，用户面部左右30厘米的位置与相应的不同的音频数据相关联(例如“左：是”和“右：否”)，并且输入信息(例如指示“左：是”和指示“右：否”的信息)，并且输出用于使用户根据“是”或“否”的选择将手举到脸部的左侧和右侧的指令。在这种情况下，当用户将手提升到脸部分的右侧时，产生声音“否”，并且接收到输入信息“否”。当用户将手提升到脸部分的左侧时，产生声音“是”，并且接收到用户输入信息“是”。因此，当多个声音生成位置与各个不同的音频数据段和各个不同的输入信息相关联时，可以接收与声音产生位置和产生的反射声音相对应的输入信息。因此，根据第二实施例的娱乐系统10可以在任意位置产生反射的声音，因此也可以用作使用方向扬声器32的操作输入系统。
应当注意，本发明不限于上述实施例。
例如，根据游戏的种类，存在诸如用户角色的身体、桌子上的杯子、房间中的灯，天花板等特定对象或特定位置希望被设置为声音产生位置的情况。在这种情况下，可以将指示对象的信息与音频信息的输出条件相关联。然后，当音频信息获取部分72获取音频信息时，可以基于获取的房间图像来识别房间内的物品，其中物品对应于由输出条件指示的对象。然后，可以获取所识别的物品的反射特性，并且可以根据反射特性将音频数据从定向扬声器32输出到所识别的物品。
此外，在上述实施例中，房间图像分析部分60分析由照相机单元46拍摄的房间的图像。然而，本发明不限于该示例。例如，可以收集从用户的位置产生的声音以识别用户的位置或估计房间的结构。具体地，娱乐系统10可以指示用户拍手或发出声音，从而使从用户的位置产生声音。然后，可以通过使用提供给娱乐系统10的麦克风等来收集生成的声音，以测量用户的位置、房间的大小等。
此外，可以允许用户选择反射面作为反射声音的对象。例如，由房间图像获取部分62获取的房间图像或通过收集从用户的位置产生的声音来估计结构的房间的结构可以显示在监视器26或其他显示装置上，并且允许用户可以在观看所显示的房间图像等的同时选择反射面。在这种情况下，可以进行用户在从室内图像任意指定的位置实际产生声音的实验，并且用户实际上可以听到所产生的声音，并且确定是否将位置设置为反射面。因此，可以创建用户优选的声学环境。此外，由候选反射面选择部分66提取的提取的反射面的信息也可以显示在监视器26或其他显示装置上，并且可以从提取的反射面中指定进行测试的位置。此外，可以允许用户选择要设置为反射面的对象。例如，可以从房间图像获取部分62获取的房间图像中提取诸如天花板、地板、墙壁、桌子等的房间内的物体，并显示在监视器26或其他显示装置上，并且可以从对象中指定进行测试的位置。顺便提及，在用户从所显示的对象中选择用户期望设置为反射面的对象(例如仅仅是天花板或地板)之后，反射面确定部分74可以确定反射面以使得仅由用户选择的对象反射声音。
此外，在上述实施例中，示出了监视器26、定向扬声器32、控制器42、相机单元46和信息处理设备50是分离的设备的示例。然而，本发明也可应用于便携式游戏机作为其中监视器26、定向扬声器32、控制器42、相机单元46和信息处理设备50彼此成为一体的装置，以及应用于虚拟现实游戏机。
- 还没有人留言评论。精彩留言会获得点赞！