信息处理装置、信息处理方法和程序与流程

本公开内容涉及信息处理装置、信息处理方法和程序。

背景技术：

过去，例如在下面指定的专利文献1中，提出了用于向用户呈现触觉刺激等的各种技术。

[引用列表]

[专利文献]

[专利文献1]

jp2018-60313a

技术实现要素：

[技术问题]

在此，有时将从声学呈现部(扬声器等)输出的声音与诸如触觉刺激的各种感觉一起呈现给用户。例如，在去剧院、看电影等时，将从声学呈现部输出的声音以及从用户穿戴的感觉呈现部(包括致动器等的穿戴式装置)输出的触觉刺激二者都呈现给用户的情况和类似情况都适用。此时，根据专利文献1等的技术，没有将用户感知到从声学呈现部输出的声音之前所产生的延迟适当考虑在内来执行对感觉(诸如触觉刺激)的呈现。因此，在用户感知到声音的定时与用户感知到诸如触觉刺激的感觉的另一定时之间出现移位。

因此，本公开内容提出了可以将用户感知到声音之前所生成的延迟适当考虑在内来向用户呈现感觉的新的和改进的信息处理装置、信息处理方法和程序。

[问题的解决方案]

根据本公开内容，提供了一种信息处理装置，该信息处理装置包括生成部，该生成部基于要从声学呈现部输出声音的第一定时与声音要被第一用户感知的第二定时之间的差来生成第一数据，该第一数据用于通过第一用户穿戴的感觉呈现部向第一用户呈现感觉。

此外，根据本公开内容，提供了一种由计算机执行的信息处理方法，该方法包括：基于要从声学呈现部输出声音的第一定时与声音要被第一用户感知的第二定时之间的差来生成第一数据，该第一数据用于通过第一用户穿戴的感觉呈现部向第一用户呈现感觉。

此外，根据本公开内容，提供了一种程序，该程序用于使计算机基于要从声学呈现部输出声音的第一定时与声音要被第一用户感知的第二定时之间的差来生成第一数据，该第一数据用于通过第一用户穿戴的感觉呈现部向第一用户呈现感觉。

[本发明的有益效果]

如上所述，利用本公开内容，可以将用户感知到声音之前所发生的延迟适当考虑在内来向用户呈现感觉。

要注意的是，上述效果不一定是限制性的，与上述效果一起或者代替于上述效果，可以展现出本说明书中描述的一些效果或者根据本说明书能够明白的其他效果。

附图说明

[图1]是描绘感觉呈现装置100的特定示例的图。

[图2]是描绘感觉呈现装置100的另一特定示例的图。

[图3]是描绘根据本公开内容的信息处理系统的配置的示例的图。

[图4]是示出发生声音延迟的图。

[图5]是示出另一个发生声音延迟的图。

[图6]是示出了输出视频、声音和感觉的定时以及感知到视频、声音和感觉的另一定时的模式的图。

[图7]是示出将感觉的呈现延迟了声学延迟量的模式的图。

[图8]是描绘信息处理装置200的功能配置的示例的框图。

[图9]是描绘感觉呈现装置100的功能配置的示例的框图。

[图10]是示出基于声学延迟量的感觉的呈现定时的调节处理的流程的示例的流程图。

[图11]是示出进度通知功能的模式的图。

[图12]是示出进度通知功能的另一模式的图。

[图13]是示出进度通知功能的另一模式的图。

[图14]是示出进度通知功能的又一模式的图。

[图15]是示出进度通知功能的又一模式的图。

[图16]是示出进度通知处理的流程的示例的流程图。

[图17]是示出通过光进行的感觉呈现通知功能的图。

[图18]是示出通过光进行的感觉呈现通知处理的流程的示例的流程图。

[图19]是示出外马甲的图。

[图20]是示出内马甲的图。

[图21]是示出触觉数据呈现部121的固定模式的图。

[图22]是示出附加触觉数据呈现部121的穿戴方式的图。

[图23]是描绘用户在穿戴感觉呈现装置100的状态下坐在座位上的方式的图。

[图24]是示出操作面板180的图。

[图25]是描绘信息处理装置200的硬件配置的示例的框图。

具体实施方式

在下文中，参照附图描述本公开内容的优选实施方式。要注意的是，在本说明书和附图中，具有基本上相同的功能配置的配置由相同的附图标记来表示，并且省略了对其的重复描述。

此外，按以下顺序给出描述。

1.信息处理系统的概述

2.装置的功能配置的示例

3.装置的处理流程的示例

4.进度通知功能

5.通过光的感觉呈现通知功能

6.硬件配置的示例

7.备注

<1.信息处理系统的概述>

首先，描述根据本公开内容的信息处理系统的概述。

根据本公开内容的信息处理系统向用户呈现各种感觉。更具体地描述，如图1所示，信息处理系统包括由用户穿戴的感觉呈现装置100，并且通过感觉呈现装置100向用户呈现各种感觉。

如图1所示，感觉呈现装置100包括在其内部设置的多个触觉数据呈现部121(在图1中是触觉数据呈现部121a至触觉数据呈现部121h)。例如，在感觉呈现装置100的内部，在用户的正面，可以部署多个触觉数据呈现部121(例如，如图1所示，六个触觉数据呈现部121(触觉数据呈现部121a至触觉数据呈现部121f))；在肩部区域，可以部署多个触觉数据呈现部121(例如，如图1所示，在每个肩膀上部署一个触觉数据呈现部121(触觉数据呈现部121g和触觉数据呈现部121h))；以及在背面，可以部署多个触觉数据呈现部121(未示出，例如，与正面相似的六个触觉数据呈现部121)。作为示例，可以以使得部署在正面的各个触觉数据呈现部121与部署在背面的各个触觉数据呈现部121彼此相对的位置关系来部署各个触觉数据呈现部121。

感觉呈现装置100包括一个或更多个触觉数据呈现部121，并且可以通过控制所述一个或更多个触觉数据呈现部121的输出的大小和定时或者用于输出的触觉数据呈现部121的组合来向用户呈现各种触觉刺激。例如，感觉呈现装置100可以呈现用户被切割的感觉、用户击中某些物体的感觉、用户被压住的感觉，等等。要注意的是，尽管图1描绘了感觉呈现装置100是无袖服装(马甲)的示例，但是感觉呈现装置100不限于这样的示例，并且能够将感觉呈现给有袖子、裤子等的身体的各个区域。另外，设置在感觉呈现装置100上的触觉数据呈现部121的数目没有特别限定。

此外，如图1所示，另外设置了声音收集部170，例如设置在用户的耳朵附近的麦克风(在图1中是声音收集部170a和声音收集部170b)。声音收集部170是在计算以下延迟时使用的装置：该延迟在用户感知到从预定扬声器发出的声音时发生(这种延迟在下文中有时称为“声音延迟”)。在下文中描述细节。

此外，如图2所示，感觉呈现装置100可以包括呈现声音的声学数据呈现部131(在图2中是声学数据呈现部131a和另一声学数据呈现部131b)。例如，在感觉呈现装置100中，可以在用户的肩部区域中部署多个声学数据呈现部131(例如，如图2所示，在每个肩膀上一个)。

感觉呈现装置100包括一个或更多个声学数据呈现部131，并且可以通过控制所述一个或更多个声学数据呈现部131的输出的大小和定时来向用户呈现各种声学效果。例如，感觉呈现装置100可以在空间中定位声像，并且可以在从另一个扬声器呈现bgm(背景音乐)的情况下仅向用户呈现音效(例如，当用户被切割时的音效、当用户击中某些物体等时的音效等)。要注意的是，设置在感觉呈现装置100中的声学数据呈现部131的数目不受具体限制。

这里，虽然图1和图2的示例描绘了以下示例：由感觉呈现装置100向用户呈现的感觉包括触觉(由触觉数据呈现部121呈现的触觉刺激)和听觉(由声学数据呈现部131呈现的声音)，但是呈现给用户的感觉不限于此。更具体地，感觉呈现装置100可以包括能够呈现视觉、嗅觉或味觉的机构。例如，感觉呈现装置100可以能够像透射型头戴式显示器等那样呈现视觉(视频)，或者可以像香气呈现装置等那样呈现嗅觉(气味)，或者还可以像电子味觉呈现装置那样呈现味觉(味道)。

现在，参照图3描述包括感觉呈现装置100的整个系统的配置的示例。根据本公开内容的信息处理系统是例如无论在室内(例如，剧场、电影院、音乐厅、生活馆、展演空间(livehouse)、主题公园内的室内游乐设施等)还是室外(例如，舞台被设置在户外的剧场、演唱会场地或者现场演唱会、银幕被设置在户外的电影放映场所、主题公园中的户外游乐设施等)都可以使用的系统。此外，如图3所示，根据本公开内容的信息处理系统包括感觉呈现装置100、信息处理装置200、控制器260、音频if270、放大器280、前置扬声器290、投影仪300、屏幕310、灯320、烟雾生成器330和风生成器340(要注意的是，图3所示的信息处理系统假设在室内使用的情况)。

用户穿戴该感觉呈现装置100，并且以用户可以观看屏幕310或舞台的方式坐在座位上。信息处理装置200是总体控制整个信息处理系统的装置。更具体地，信息处理装置200总体控制要通过感觉呈现装置100向用户呈现的感觉、要投影到屏幕310的视频、要从前置扬声器290发出的声音、要从灯320照射的光、要从烟雾生成器330生成的烟雾、要从风生成器340生成的风等。在下文中详细描述信息处理装置200的功能。控制器260是操作者执行向信息处理装置200的输入时使用的装置。

音频if270是充当声学数据的接口的装置，该音频数据用于通过感觉呈现装置100呈现声音。放大器280是对输入到音频if270的声学数据执行放大或调节、切换输入等的装置。前置扬声器290是向整个场所(在存在多个用户(第一用户：在以下描述中，第一用户有时仅被称为“用户”)的情况下向所有用户)呈现声音的装置。

投影仪300是将视频投影到屏幕310的装置，并且屏幕310是视频被投影到的面(例如，平面或者曲面)。灯320、烟雾生成器330和风生成器340是分别呈现光、烟雾和风的装置。

已经描述了根据本公开内容的信息处理系统的配置的示例。要注意的是，以上参照图3描述的配置终归是示例，并且根据本公开内容的信息处理系统的配置不限于如上所述的示例。根据本公开内容的信息处理系统的配置可以根据规范或者实际用途来灵活地修改。

这里，随着前置扬声器290与用户之间的间隔距离的增大，在从前置扬声器290输出的声音被用户感知到之前产生的声音延迟增大。因此，如果在基本上相同的定时处执行由前置扬声器290进行的对声音的呈现和来自感觉呈现装置100的对感觉的呈现，则用户感知到声音的定时比感知到感觉的定时晚。

例如，在如图4的a中所示用户位于与前置扬声器290相距17[m]的情况下(在该图中，用户由“用户1”表示)，如果声音的速度约为340[m/s]，则发生大约50[ms]的声音延迟。此外，在存在多个用户的情况下，对于如图4的a所示位于与前置扬声器290相距24[m]的位置处的用户(在该图中，该用户由“用户2”表示)，发生大约71[ms]的声音延迟。以这种方式，对于每个用户，声音延迟的大小(在下文中有时称为“声学延迟量”)根据人与前置扬声器290的位置关系而不同。

另一方面，与声音不同，由于例如触觉数据呈现部121所呈现的触觉刺激不在诸如空气的介质中传播(图4的b描绘了触觉数据呈现部121与用户的身体紧密接触的方式)，因此在用户感知到触觉刺激之前几乎没有延迟发生。同样在感觉呈现装置100可以呈现除触觉之外的感觉的情况下，可以认为除了像声学数据呈现部131或者香气呈现装置这种使用空气作为介质来呈现声音或气味的装置之外，几乎没有延迟发生。另外，在声学数据呈现部131或香气呈现装置位于非常靠近用户的耳朵、鼻子等的位置的情况下，没有延迟的处理是可允许的。这导致用户感知到从前置扬声器290呈现的声音的定时变得比用户感知到该感觉的定时晚。要注意的是，尽管图5的b描绘了在用户感知到从声学数据呈现部131呈现的声音之前发生了大约0.6[ms]的声音延迟，但是即使考虑了声音延迟，从前置扬声器290呈现的声音的声学延迟量明显大于从声学数据呈现部131呈现的声音的声学延迟量。

考虑到上述情况，本案的公开者开始创建与本公开内容有关的技术。根据本公开内容的信息处理装置200基于从声学呈现部(前置扬声器290)输出声音的第一定时与第一用户(观众)感知到该声音的第二定时之间的差(声学延迟量)，来生成用于由第一用户穿戴的感觉呈现部(感觉呈现装置100)向第一用户呈现感觉的第一数据。

然后，信息处理装置200在基于第一定时与第二定时之间的差(声学延迟量)确定的第三定时处向第一用户呈现感觉。例如，信息处理装置200在与第一用户感知到声音的第二定时基本上相同的定时处向第一用户呈现感觉(换言之，在这种情况下，第三定时与第二定时基本上相同)。这样，第一用户可以在基本上相同的定时处感知到从前置扬声器290呈现的声音以及感觉，因此，第一用户不太可能感到不适。要注意的是，第三定时可以与第一用户感知到声音的第二定时基本上不同。换言之，信息处理装置200可以有意地使第一用户感知到声音的第二定时与用户感知到感觉的第三定时彼此移位。以这种方式，信息处理装置200可以相对于第一用户感知到声音的第二定时灵活地控制第一用户感知到感觉的第三定时。

更具体地描述功能的实现方法，信息处理装置200获取从前置扬声器290输出声音的定时作为第一定时。例如，第一定时可以被预先包含(编排)在内容中，可以根据操作者通过控制器260的输入来确定，或者可以由感测到的表演者的动作等来确定。

然后，信息处理装置200获取穿戴在用户(第一用户)的耳朵附近的声音收集部(声音检测部)170检测到从前置扬声器290输出的声音的定时作为第二定时。要注意的是，尽管在声音收集部170非常靠近用户的耳孔的情况下可以以这种方式将声音收集部170的检测时机视为第二定时，但是在声音收集部170与耳孔相隔相当大的距离(数十[cm]等)的情况下，信息处理装置200也可以将分隔距离考虑在内来计算第二定时。

此后，信息处理装置200计算第一定时与第二定时之间的差(声学延迟量)。然后，信息处理装置200在从第一定时起基本上延迟了声学延迟量的定时处(换言之，在与第二定时基本上相同的定时处)呈现以下感觉：该感觉已经被安排在与从前置扬声器290输出声音的第一定时相同的时间处呈现。要注意的是，“已经被安排在与第一定时相同的时间处呈现的感觉”的描述终归是示例，并且可以不必预先安排感觉的呈现定时。

要注意的是，尽管在本说明书中，虽然主要以每个用户坐在座位上并且关于每个用户的声学延迟量不变的情况为例进行描述，但是针对每个用户的声学延迟量可能会改变。例如，关于每个用户的声学延迟量可以通过用户或者前置扬声器290中的至少一个的移动而改变。要注意的是，在关于每个用户的声学延迟量不变的情况下，信息处理装置200可以预先(例如，在表演等之前)测量一次关于每个座位的声学延迟量来实现上述功能。另一方面，在关于每个用户的声学延迟量改变的情况下，信息处理装置200可以通过根据需要或者每当用户或者前置扬声器290移动时测量声学延迟量来实现上述功能。

这里，以图6的a至c为例，描述了分别输出来自投影仪300、前置扬声器290和感觉呈现装置100的视频、声音和感觉(在图6中为触觉刺激)的定时以及感知到上述视频、声音和感觉的定时的模式。要注意的是，图6中的“时间码”是用于管理要提供给用户的内容的时间间隔，并且指示将一秒划分成24个部分时的一部分(要注意的是，这不是限制性的)。图6的a描绘了对视频、声音和触觉刺激进行编排以便全部都在基本上相同的定时处被感知的情况的示例。例如，信息处理装置200预先测量一次关于每个座位的声学延迟量并且将声学延迟量反映在内容上的情况或者类似情况对应于图6的a的示例。由于视频、声音和触觉刺激的所有感知定时基本上相同，因此用户可以欣赏(享受)视频、声音和触觉刺激而几乎不会感到不适。

图6的b描绘了下述情况的示例：对视频、声音和触觉刺激进行编排，使得首先感知到视频，然后在基本上相同的定时处感知到声音和触觉刺激。尽管图6描绘了呈现“视频”的情况，但是例如，即使在不执行视频而是表演者进行表演、表演者的动作不是在与声音和触觉刺激完全相同的定时处执行的情况下，如果声音和触觉刺激在大致相同的定时处被感知，则用户不会感到明显的不适。

图6的c描绘了信息处理装置200基于声学延迟量来控制要呈现触觉刺激的定时的情况的示例。例如，在通过用户或前置扬声器290等的移动而改变了声学延迟量的情况下，在声学延迟量不能被预先反映在内容上的另一种情况下或者类似情况下，信息处理装置200在每次呈现时都控制触觉刺激的呈现定时等的情况对应于图6的c的示例。

本公开内容的要点之一是，如图6的a至c所示，控制用户感知到声音和感觉的定时(特别是调节为基本上相同的定时)。要注意的是，还可以一起控制用户感知到视频的定时(例如，还可以将视频控制成使得视频在与声音和感觉基本上相同的定时处被感知，如图6的a所示)。例如，在不设置投影仪300和屏幕310、而是设置每个用户专用的显示器(例如，遮蔽型头戴式显示器等)的情况下，信息处理装置200可以控制针对每个用户的视频、声音和感觉的呈现定时。

如上所述，信息处理装置200基本上在从第一定时起延迟了声学延迟量的定时(换言之，在与第二定时基本上相同的定时)处呈现以下感觉：该感觉已经被安排为与从前置扬声器290输出声音的第一定时同时地呈现。

这里，参照图7描述将对感觉的呈现延迟了声学延迟量的模式的变型。图7描绘了将声学数据呈现部131对声音的呈现延迟了声学延迟量的模式的变型。

更具体地描述，图7的a描绘了下述方法，通过该方法，信息处理装置200向不同的用户分配不同的音频通道并且生成声学数据(第一数据)，在该声学数据的开头插入与声学延迟量对应的静默时间段。因此，通过音频if270和放大器280将声学数据提供给感觉呈现装置100，从而针对每个用户控制由声学数据呈现部131进行的声音的呈现定时(换言之，针对每个第一用户执行对感觉的呈现)。要注意的是，当存在被认为具有基本上彼此相同的声学延迟量的多个用户的情况下，信息处理装置200可以针对每组用户生成上述声学数据(换言之，可以针对每组第一用户执行对感觉的呈现)。在信息处理装置200通常以这种方式生成要提供给每个用户的声学数据的情况下，可以简化其他装置(例如，放大器280、感觉呈现装置100等)的功能，因此，可以降低整个信息处理系统的实现成本。

图7的b描绘了下述方法：通过该方法，信息处理装置200向所有用户分配相同的音频通道，并且在放大器280中设置与每个用户对应的延迟电路，使得信息处理装置200将延迟电路的延迟量设定成彼此不同的值。例如，信息处理装置200改变延迟电路的参数以控制延迟电路的延迟量。同样在该示例中，信息处理装置200可以针对每组用户来控制控制电路的延迟量。

图7的c描绘了下述方法：通过该方法，信息处理装置200向所有用户分配相同的音频通道，并且在由每个用户穿戴的感觉呈现装置100中设置延迟电路，使得信息处理装置200将延迟电路的延迟量设定成彼此不同的值。例如，类似于图7的b，信息处理装置200改变延迟电路的参数以控制延迟电路的延迟量。同样在该示例中，信息处理装置200可以针对每组用户控制延迟电路的延迟量。

认为图7的b比a更灵活地应对声学延迟，而c比b和a更灵活地应对声学延迟。例如，在图7的c的情况下，即使在声学延迟量每时每刻都在改变的情况下，也可以基于紧接在呈现感觉之前的声学延迟量来控制感觉的呈现定时。换言之，从用户体验来看，最优选的模式是图7的c。

尽管图7中描绘的示例针对的是由声学数据呈现部131呈现声音的情况，但是与图7类似的思维方式也适用于呈现除了触觉之外的其他感觉(声音)的情况。例如，同样在呈现触觉刺激的情况下，可以由信息处理装置200、中继装置(例如，与放大器280对应的装置)，感觉呈现装置100等来延迟呈现定时。

要注意的是，尽管本说明书主要描述了指示最基本模式的图7的a被实现的情况的示例，但是设计的问题在于，应用图7的a至c模式中的哪一个来实现本公开内容。换言之，本公开内容可以通过图7的a至c模式中的任何一个来实现，或者可以通过除了图7之外的模式来实现。此外，要注意，尽管信息处理装置200如上所述地基于声学延迟量来生成用于向用户呈现感觉的第一数据，但可以认为，在图7的b和c模式(或者除了图7的模式以外的模式)下也可以实现“信息处理装置200基于声学延迟量来生成用于向用户呈现感觉的第一数据”。

更具体地描述，信息处理装置200通过改变设置在放大器280或感觉呈现装置100中的延迟电路的参数来控制延迟量以控制针对第一数据(例如，声学数据等)的延迟量，这等同于“信息处理装置200基于声学延迟量来生成用于向用户呈现感觉的第一数据。”此外，下文中描述的信息处理装置200的功能配置不一定需要在信息处理装置200中提供，并且可以在另一装置(例如，放大器280、感觉呈现装置100等)中提供。因此，即使信息处理装置200不能改变延迟电路的延迟量，但是如果可以通过某种方法来控制放大器280或感觉呈现装置100的延迟电路的延迟量，则认为这等同于“信息处理装置200基于声学延迟量来生成用于将感觉呈现给用户的第一数据”。

<2.装置的功能配置的示例>

前面的描述针对根据本公开内容的信息处理系统的概述。现在，参照图8和图9描述根据本公开内容的信息处理系统中的信息处理装置200和感觉呈现装置100的功能配置的示例。

(2.1.信息处理装置200的功能配置的示例)

首先，参照图8描述信息处理装置200的功能配置的示例。如图8所示，信息处理装置200包括控制部210、生成部220、通信部230、显示部240和存储部250，并且通过通信部230连接至外部控制器260。

(控制部210)

控制部210是总体控制信息处理装置200的功能配置的功能配置。例如，控制部210可以基于使用控制器260的输入和预先确定的进度内容来控制功能配置的开始和停止，并且指定要由感觉呈现装置100向用户呈现的感觉的内容(例如，要由触觉数据呈现部121呈现的触觉刺激的内容、定时、强度等；要由声学数据呈现部131呈现的声音的内容、定时和音量等)。此外，控制部210可以通过生成各种控制信号来控制信息处理系统中的除了信息处理装置200以外的装置。例如，由于控制部210可以执行用于这种装置的参数的改变，例如，在例如通过图7的b或c模式执行对感觉的呈现的情况下，控制部210可以执行设置在放大器280或感觉呈现装置100等中的延迟电路的延迟量的改变。要注意的是，控制部210的控制内容不限于此。例如，控制部210可以实现通常由通用计算机、pc(个人计算机)、平板pc、智能电话等执行的处理(例如，os(操作系统)的处理等))。此外，如图8所示，控制部210包括延迟测量部211。

(延迟测量部211)

延迟测量部211是用于测量关于每个用户的声学延迟量的功能配置。更具体地描述，延迟测量部211获取从前置扬声器290输出声音的定时作为第一定时。如上所述，第一定时可以被预先包含在内容中(可以被编排)，或者可以由操作者通过控制器260的输入来确定，或者还可以通过感测表演者的动作等来确定，延迟测量部211通过根据每个模式的方法来获取第一定时。例如，在第一定时被预先包含在内容中的情况下，延迟测量部211通过从控制部210、存储部250等获取内容的参数来获取第一定时。

然后，延迟测量部211获取设置在用户耳朵附近的声音收集部170检测到从前置扬声器290输出的声音的定时作为第二定时。例如，延迟测量部211通过通信部230从每个感觉呈现装置100获取第二定时。

此后，延迟测量部211通过计算第一定时与第二定时之间的差来计算声学延迟量。延迟测量部211通过在随后的阶段向生成部220提供声学延迟量来实现在考虑生成部220的声学延迟量的情况下的数据的生成。

要注意的是，延迟测量部211可以通过除上述方法之外的方法来计算声学延迟量。例如，延迟测量部211可以基于前置扬声器290与用户(第一用户)之间的位置关系来估计声学延迟量。更具体地描述，延迟测量部211获取与本信息处理装置被使用的场所中的位置(任意数目个点)相关联的数据，以及在该位置处的声学延迟量。然后，延迟测量部211可以将该数据与使用传感器(例如，设置在感觉呈现装置100中的传感器)的传感器数据而指定的用户的位置进行比较，以估计用户位置处的声学延迟量，其中该传感器可用于用户的位置指定。

(生成部220)

生成部220是用于生成信息处理系统要使用的各种数据的功能配置。更具体地，生成部220是生成用于表示触觉刺激、声音、光、视频、烟雾和风的数据的功能配置。要注意的是，在下文中描述了用于呈现触觉刺激、声音和光的数据的生成。生成部220在控制部210的控制下随时生成用于呈现视频、烟雾和风的数据，并且通过连接投影仪300、烟雾生成器330和风生成器340的网络将生成的数据提供给各个装置。如图8所示，生成部220包括触觉数据生成部221、声学数据生成部222和照明数据生成部223。

(触觉数据生成部221)

触觉数据生成部221是用于基于由延迟测量部211测量的声学延迟量来生成用于感觉呈现装置100进行的触觉刺激呈现的触觉数据的功能配置。数据生成单元221首先判断声学延迟量是否大于或高于预定阈值。要注意的是，预定阈值的设定方法没有特别限制，并且例如，预定阈值可以通过操作者的输入来设定。然后，在声学延迟量等于或高于预定阈值的情况下，触觉数据生成部221可以生成在其开头插入与声学延迟量对应的空白间隔(不呈现触觉刺激的间隔)的触觉数据，以延迟触觉刺激的呈现时间，或者可以将生成触觉数据的定时本身延迟声学延迟量，以延迟触觉刺激的呈现时间。要注意的是，如果可以将触觉刺激的呈现定时延迟声学延迟量，则可以使用除上述方法之外的任何其他方法。

(声学数据生成部222)

声学数据生成部222是生成用于前置扬声器290和感觉呈现装置100的声学数据呈现部131进行的声音呈现的声学数据的功能配置。例如，声学数据生成部222获取在第一定时，生成声学数据，使得声音在第一定时处从前置扬声器290输出，并且通过预定网络将声学数据提供给前置扬声器290。

描述了向感觉呈现装置100提供声学数据的处理。例如，声学数据生成部222判断声学延迟量是否等于或大于预定阈值。要注意的是，预定阈值的设定方法没有特别限制，并且例如，预定阈值可以通过操作者的输入来设定(此外，该阈值可以不同于以上描述的由触觉数据生成部221使用的阈值)。然后，在声学延迟量等于或大于预定阈值的情况下，声学数据生成部222可以生成在其开头插入了与来自前置扬声器290的声学延迟量对应的静默间隔的声学数据，以延迟声学数据呈现部131对声音的呈现定时，或者可以使将生成声学数据的定时本身延迟声学延迟量，以延迟声音的呈现定时。要注意的是，如果可以将声音的呈现定时延迟声学延迟量，则可以使用除上述方法之外的任何其他方法。

(照明数据生成部223)

照明数据生成部223是用于在控制部210的控制下生成用于灯320进行的光呈现(照明)的照明数据的功能配置。照明数据生成部223通过预定网络将所生成的数据提供给灯320。要注意的是，在根据本公开内容的信息处理系统中，照明数据生成部223可以实现在向用户执行感觉呈现的定时处向每个用户照射数据的功能。在下文中描述该功能的细节。

(通信部230)

通信部230是用于与外部装置进行通信的功能配置。例如，在信息处理装置200的操作者使用控制器260执行输入的情况下，通信部230从控制器260接收输入数据，并且将输入数据提供给控制部210以实现对操作者的输入的反映。此外，通信部230将由生成部220生成的数据(包括例如触觉数据、声学数据等)发送到预定外部装置，以实现对触觉刺激、声音、视频、照明、烟雾、风等的呈现。要注意的是，由通信部230进行通信的数据不限于此。例如，通信部230可以从感觉呈现装置100接收与声音收集部170检测到从前置扬声器290输出的声音的第二定时有关的数据，或者可以将与用于改变设置在放大器280或感觉呈现装置100中的延迟电路的延迟量的参数有关的数据发送到这样的装置。此外，用于通信部230与各个外部装置之间进行通信的通信方法和通信线路的类型不受具体限制。例如，通信部230可以通过有线通信或者通过无线通信与各个外部装置进行通信。

(显示部240)

显示部240是用于显示要由操作者进行输入的设定屏幕图像等的功能配置。例如，显示部240可以是诸如液晶显示器(lcd：liquidcrystaldiaplay)或者有机el(electroluminescece，电致发光)显示器的显示装置。要注意的是，显示部240的类型和显示内容不限于此。

(存储部250)

存储部250是用于存储各种数据的功能配置。例如，存储部250存储由信息处理装置200的功能配置使用的程序和参数、由功能配置生成的数据(例如，触觉数据、声学数据、照明数据等)等。要注意的是，要存储到存储部250中的数据的内容不限于此。

(控制器260)

控制器260是用于接收操作者的输入并且将输入数据提供给信息处理装置200的装置。控制器260包括各种输入机构，例如键盘、鼠标、按钮、开关、操纵杆、触摸传感器、压力传感器或者接近传感器。要注意的是，设置在控制器260中的输入机构的类型不限于此。此外，控制器260可以不被设置为信息处理装置200的外部装置，而可以被设置在信息处理装置200中。

已经描述了信息处理装置200和控制器260的功能配置的示例。要注意的是，以上参照图8描述的功能配置终归是示例，并且信息处理装置200的功能配置不限于该示例。例如，信息处理装置200可以不必包括图8中描绘的所有功能配置。此外，可以根据规范或实际用途来灵活地修改信息处理装置200的功能配置。

(2.2.感觉呈现装置100的功能配置的示例)

前面的描述是针对信息处理装置200的功能配置的示例。现在，参照图9描述感觉呈现装置100的功能配置的示例。如图9所示，感觉呈现装置100包括控制部110、触觉呈现部120、声音呈现部130、通信部140、传感器部150和存储部160，并且通过通信部140连接至外部声音收集部170(在图9中，连接至声音收集部170a和声音收集部170b)。

(控制部110)

控制部110是总体控制感觉呈现装置100的功能配置的功能配置。例如，控制部110基于从控制信息处理装置200提供的各种数据(包括例如触觉数据、声学处理、其他控制信号等)来控制功能配置的开始和停止。此外，控制部110通过通信部140将与声音收集部170检测到从前置扬声器290输出的声音的第二定时有关的数据提供给信息处理装置200。例如，控制部110可以实现通常在通用计算机、pc、平板pc、智能电话等中执行的处理(例如，os等的处理)。此外，如图9所示，控制部110包括触觉数据处理部111和声学数据处理部112。

(触觉数据处理部111)

触觉数据处理部111使用从信息处理装置200提供的触觉数据，进行与触觉数据呈现部121进行的触觉刺激呈现有关的处理。例如，触觉数据处理部111可以通过以下方法来实现触觉刺激的呈现：基于个体感觉呈现装置100的设定(例如，由用户唯一执行的对感觉呈现装置100的设定(例如，音量的设定、功能的开/关的设定等))，对从信息处理装置200提供的触觉数据进行编辑，并且将编辑之后的触觉数据提供给触觉数据呈现部121。

此外，触觉数据处理部111可以将上述延迟电路设置在其中。因此，触觉数据处理部111可以通过将从信息处理装置200提供的参数应用于延迟电路来改变延迟量。

(声学数据处理单元112)

声学数据处理部112使用从信息处理装置200提供的声学数据来执行与声学数据呈现部131进行的声学呈现有关的处理。例如，声学数据处理部112可以通过以下方法来实现声音的呈现：基于个体感觉呈现装置100的设定(例如，由用户唯一执行的对感觉呈现装置100的设定(例如，音量的设定、功能的开/关的设定等))，对从信息处理装置200提供的声学数据进行编辑，并且将编辑之后的声学数据提供给声学数据呈现部131。

此外，声学数据处理部112可以包括上述延迟电路。因此，声学数据处理部112可以通过将从信息处理装置200提供的参数应用于延迟电路来改变延迟量。

(触觉呈现部120)

触觉呈现部120是包括一个或更多个触觉数据呈现部121、并且使用触觉数据呈现部121向用户呈现触觉刺激的功能配置。

(触觉数据呈现部121)

触觉数据呈现部121是使用从触觉数据处理部111提供的触觉数据向用户呈现触觉刺激的功能配置。例如，触觉数据呈现部121可以是呈现振动的致动器(例如，erm(偏心电机)、lra(线性谐振致动器)、vcm(音圈电机)等)，或者可以是呈现力的感觉的电子元件，还可以是呈现温度感觉的温度变化元件(例如，珀耳帖(peltier)元件等)。换言之，“触觉刺激”可以包括振动、力的感觉、温度感觉等。要注意的是，要由触觉数据呈现部121呈现的触觉刺激不限于此。此外，可以将通道分配给每个触觉数据呈现部121(在图9中，至少是触觉数据呈现部121a至触觉数据呈现部121c)，使得执行针对每个通道而言不同的触觉刺激呈现。

(声音呈现部130)

声音呈现部130包括至少一个或更多个声学数据呈现部131，并且具有使用声学数据呈现部131向用户呈现声音的功能配置。

(声学数据呈现部131)

声学数据呈现部131是使用从声学数据处理部112提供的声学数据向用户呈现声音的功能配置。例如，声学数据呈现部131可以包括用于再现声学数据的扬声器、用于扬声器的放大电路，等等。此外，可以设置多个声学数据呈现部131(在图9中，至少是声学数据呈现部131a至声学数据呈现部131c)，使得可以通过调节声学数据呈现部131的输出来实现声像的定位。此时，可以通过声学数据呈现部131和设置在声学数据呈现部131周围的扬声器(例如，座位上的扬声器)的协作来定位声像。要注意的是，可以将不同的声道分配给各个声学数据呈现部131，使得执行在不同声道之间不同的声音呈现。

(通信部140)

通信部140是执行与外部装置的通信的功能配置。例如，在声音收集部170(在图9中是声音收集部170a和声音收集部170b)检测到从前置扬声器290输出的声音的情况下，通信部140与声音收集部170进行通信，以接收与检测到声音的第二定时有关的数据，并且将该数据发送到信息处理装置200。此外，通信部140接收由信息处理装置200生成的各种数据(包括例如触觉数据、声学数据、其他控制信号等)。要注意的是，由通信部140通信的数据不限于此。例如，通信部140可以从信息处理装置200接收与用于改变设置在感觉呈现装置100中的延迟电路的延迟量的参数有关的数据。此外，用于通信部140与外部装置之间的通信的通信方法和通信线路的类型没有具体限制。例如，通信部140可以执行与外部装置的有线通信或者可以执行无线通信。

(传感器部150)

传感器部150包括各种传感器，并且具有用于获取传感器生成的传感器数据的功能配置。例如，传感器部150可以包括位置传感器(可以用于指定用户的位置的传感器，包括例如gnss(全球导航卫星系统)接收器、接近传感器等)，使得传感器部150获取用于指定用户位置的传感器数据。要注意的是，设置在传感器部150中的传感器的类型没有特别限制。例如，传感器部150可以包括各种传感器，例如姿势传感器(陀螺仪传感器、加速度传感器等)、温度传感器或者压力传感器。

(存储部160)

存储部160具有用于存储各种数据的功能配置。例如，存储部160存储由感觉呈现装置100的功能配置使用的程序和参数，或者从信息处理装置200提供的各种数据(包括例如触觉数据、声学数据、其他控制信号等)，等等。要注意的是，存储在存储部160中的数据的内容不限于此。

(声音收集部170)

声音收集部170是设置在用户的耳朵附近的麦克风等，并且具有用于检测要被用户感知的声音(例如，从前置扬声器290输出的声音等)的功能配置。要注意的是，声音收集部170不限于麦克风，而可以是任何装置，只要该装置是可以检测声音的装置即可。此外，声音收集部170可以不被设置为感觉呈现装置100的外部装置，而是可以被设置在感觉呈现装置100中。

上面已经描述了感觉呈现装置100和声音收集部170的功能配置的示例。要注意的是，以上参照图9描述的功能配置终归是示例，并且感觉呈现装置100的功能配置不限于如上所述的示例。例如，感觉呈现装置100可以不必包括图9中描绘的所有功能配置。此外，可以根据规范或实际用途灵活地修改感觉呈现装置100的功能配置。

<3.装置的处理流程的示例>

前面的描述是针对根据本公开内容的信息处理系统中的信息处理装置200和感觉呈现装置100的功能配置的示例。现在，参照图10描述基于声学延迟量对感觉的呈现定时的调节处理的流程的示例。图10描绘了在内容的提供期间声学延迟量基本上不变的情况下(换言之，在用户和前置扬声器290都不移动的情况下或者在类似情况下)，基于声学延迟量预先调节触觉刺激的呈现定时的处理的流程。

首先，在步骤s1000中，设置在用户的耳朵附近的声音收集部170检测来自前置扬声器290的声音。在步骤s1004处，信息处理装置200的延迟测量部211测量声学延迟量。更具体地，延迟测量部211从声学呈现装置100获取声音收集部170的声音检测定时作为第二定时，并且计算第一定时与第二定时之间的差以测量声学延迟量。

在步骤s1008处，触觉数据生成部221判断声学延迟量是否等于或大于预定阈值。在声学延迟量等于或大于预定阈值的情况下(步骤s1008/是)，在步骤s1012处，触觉数据生成部221使用触觉数据来调节要呈现触觉刺激的定时。更具体地，触觉数据生成部221生成在其开头插入与声学延迟量对应的空白间隔(不呈现触觉刺激的间隔)的触觉数据，或者将生成触觉数据的定时本身延迟声学延迟量，以调节(编排)触觉刺激的呈现定时，从而结束一系列处理。在声学延迟量小于预定阈值的情况下(步骤s1008/否)，结束处理而不执行对呈现触觉刺激的定时的调节。之后，将通过上述处理调节(编排)的内容呈现给用户。

由于感觉呈现装置100可以通过上述处理在与感知到来自前置扬声器290的声音的定时基本上相同的定时处向用户呈现感觉(在图10的示例中为触觉刺激)，因此可以防止用户感到不适。

要注意的是，假设针对每个用户执行上述处理(或者在被认为具有基本上彼此相等的声学延迟量的多个用户的情况下，针对每组用户)(换言之，假设针对每个第一用户或者针对每组第一用户执行感觉的呈现)。此外，在内容的提供期间声学延迟量改变的情况下(换言之，在用户或前置扬声器290移动的情况下或者类似情况下)，根据需要重复图10的处理流程(例如，在预定间隔处重复)，通过这些处理来继续调节触觉刺激的呈现定时(要注意的是，在这种情况下，触觉数据在每个预定间隔处生成，并且继续被提供，直到内容结束)。此外，在步骤s1004处，如上所述，可以基于前置扬声器290与用户之间的位置关系来估计声学延迟量。

<4.进度通知功能>

前面的描述是针对基于声学延迟量对感觉的呈现定时的调节功能。在此，根据本公开内容的信息处理系统还可以实现除该功能之外的功能。例如，根据本公开内容的信息处理系统可以实现将要向用户(第一用户)呈现感觉的定时(第三定时)通知给要在舞台等上进行表演的表演者(第二用户)的功能(在下文中有时将该功能称为“进度通知功能”)。因此，下面描述进度通知功能。

在剧院中使用本信息处理系统并且将感觉呈现给用户的情况下，有时要求表演者识别将感觉呈现给用户的时间。例如，在表演者进行切割用户的动作的定时处向每个用户呈现用户被切割的感觉的情况是适用的。在要向每个用户呈现用户被切割的感觉的定时被预先编排的情况下或者在类似情况下，要求表演者在该定时处进行切割用户的动作。

因此，根据本公开内容的信息处理系统可以将要向用户呈现感觉的定时通知给表演者等。更具体地，信息处理装置200基于用于向用户(第一用户)呈现感觉的第一数据，生成用于通知的第二数据(在下文中称为“进度通知数据”)。然后，信息处理装置200可以通过将进度通知数据提供给各种装置以呈现感觉，来向表演者通知第三定时。

这里，尽管假设在与向用户呈现感觉的定时(第三定时)基本上相同的定时处执行通知，但这不是限制性的。例如，可以将表演者感知到触觉刺激之后到表演者实际执行动作(表演)之前所需要的时间段考虑在内，比第三定时更早地执行通知。此外，通知所针对的“第二用户”不限于表演者，并且可以包括提供内容的所有用户(例如，导演、舞台工作人员等)。

尽管表演者通常根据从前置扬声器290输出的bgm或音效来进行表演，但是通过将本公开内容应用于播放bgm或音效的情况下，表演者也可以识别出感觉将被呈现给用户的定时，因此，认为应用本公开内容是有用的。此外，即使在播放bgm或音效的情况下，表演者感知到bgm等的定时和每个用户感知到bgm等的定时也由于声音延迟而不同，因此，类似地认为应用本公开内容是有用的。

这里，各种模式可以用作进度通知数据的生成处理。在下文中，参照图11至图15描述在要呈现给用户的感觉是触觉刺激的情况下的转换处理的特定示例(进度通知数据的生成处理)。

在设置有可以向表演者呈现感觉的装置(例如，具有与感觉呈现装置100的功能相似的功能的装置)的情况下，根据本公开内容的信息处理系统可以通过向使用该装置的表演者呈现感觉来实现进度通知。在下面的描述中，以表演者穿戴感觉呈现装置100的情况为例进行描述(在下面的描述中，将表演者穿戴的装置称为“感觉呈现装置100a”，将用户(观众)穿戴的装置称为“感觉呈现装置100b”)。要注意的是，在这种情况下，假设表演者穿戴的感觉呈现装置100a具有不妨碍表演的形式(例如，舞台服装的形式、具有可以被容纳口袋等中的尺寸的形式)。

因此，例如，信息处理装置200的触觉数据生成部221将用于用户穿戴的感觉呈现装置100b的每个触觉数据呈现部121进行的触觉刺激呈现的触觉数据整合为一个触觉数据，以生成由感觉呈现装置100a呈现给表演者的进度通知数据。更具体地，在如图11所示的通过多个通道生成用于向用户(观众)呈现触觉刺激的触觉数据的情况下，信息处理装置200的触觉数据生成部221可以将各通道整合成一个通道，同时保持在各个通道中呈现触觉刺激的定时关系，以生成进度通知数据。基本上只有当表演者能够识别出向用户呈现感觉的定时(例如，呈现触觉刺激的开始定时和结束定时)的情况下，表演者才能适当地进行表演(例如，可以适当地切换动作的内容)。因此，认为如果触觉数据呈现部121使用整合成一个通道的进度通知数据向表演者呈现触觉刺激就足够了。要注意的是，以上终归是示例，并且进度通知数据的通道的数目没有特别限制。

此外，如图12所示，在仅需要表演者能够识别出触觉刺激的开始定时的情况下，触觉数据生成部221可以提取触觉数据的开头的波形(在下文中有时称为“脉冲”)，在一定时间段内连续呈现触觉刺激的情况下使用该波形，并且触觉数据生成部221可以将该波形反映在进度通知数据上。要注意的是，触觉数据生成部221可以通过提取触觉数据的尾部的波形并且将该波形反映在进度通知数据上，来使表演者识别出触觉刺激的呈现的结束定时。要注意的是，脉冲的提取方法没有特别限制。更具体地，触觉数据生成部221可以使用任意的波形数据分析方法(例如，在预定间隔内在波形数据超过预定阈值的部分处提取波形数据的方法)来提取脉冲。

要注意的是，尽管以上描述是针对呈现给用户的感觉是触觉刺激的情况的示例，但是对于呈现给用户的感觉是除了触觉刺激之外的感觉的情况，也可以执行与上述类似的处理。此外，此时，呈现给用户的感觉的类型或呈现位置(部分)与呈现给表演者的感觉的类型或呈现位置(部分)可以彼此不同。例如，在呈现给用户的感觉是声音的情况下，呈现给表演者的感觉可以是触觉刺激。

此外，信息处理装置200可以使用除了感觉呈现装置100a以外的装置向表演者执行进度通知。例如，在安装了仅可以向表演者呈现声音的定向扬声器的情况下，信息处理装置200可以通过从定向扬声器向表演者输出声音来执行进度通知。

例如，如图13所示，信息处理装置200的声学数据生成部222可以通过将用户穿戴的感觉呈现装置100b的每个触觉数据呈现部121呈现触觉刺激的频率(例如，大约50[hz]至200[hz])改变为可听区域的频率(例如，大约200[hz]至20,000[hz])来生成进度通知数据。此后，信息处理装置200通过将进度通知数据提供给定向扬声器来使定向扬声器输出声音。

此外，例如，如图14所示，声学数据生成部222可以通过对用于呈现触觉刺激的触觉数据执行am调制处理等来生成映射到可听区域(例如，1,000[hz]等)的进度通知数据。更具体地，声学数据生成部222可以通过以下方式来生成进度通知数据：通过分析触觉数据并且将用于发送波的载波映射到包络，来提取指示触觉数据的幅度的包络。此后，将进度通知数据提供给定向扬声器，并且定向扬声器对进度通知数据进行解调以将声音呈现给表演者。

要注意的是，在从前置扬声器290呈现bgm或音效的情况下，表演者有时难以听到从定向扬声器呈现的声音。因此，在从前置扬声器290呈现bgm或音效的情况下，可以改变从前置扬声器290呈现的声音的频带。例如，如图15中所示，声学数据生成部222可以生成频率特性与从前置扬声器290呈现的bgm的频率特性不同的声学数据。这使得表演者可以将来自定向扬声器的声音与bgm进行区分。

此外，例如，在安装了只能由表演者看到的灯的情况下，信息处理装置200可以通过点亮灯来执行进度通知。更具体地，信息处理装置200的照明数据生成部223通过分析触觉数据来识别要呈现触觉刺激的定时或时间段，并且生成用于在该定时处或时间段内点亮灯的照明数据。要注意的是，照明数据生成部223可以从如上所述的刺激数据中提取脉冲，并且生成用于在与该脉冲对应的定时处点亮灯的照明数据。此外，照明数据生成部223可以将触觉刺激的强度反映在由灯呈现的光的强度上。例如，照明数据生成部223可以通过对触觉数据执行pwm(脉冲宽度调制)转换来生成进度通知数据。由于通过提供给灯的进度通知数据来适当地控制光的光源(例如，led光源)的照明时间，所以触觉刺激的强度被反映在光的强度上。此外，可以显示除了光之外的视频等的显示器可以被用于进度通知。在这种情况下，可以在显示器上显示要呈现给用户的感觉的内容、呈现的定时等(例如，在呈现之前的秒数等)。

要注意的是，即使在由除了感觉呈现装置100a之外的装置(诸如定向扬声器或灯)执行进度通知的情况下，要呈现给用户的感觉也不限于触觉刺激以外的任何一种。例如，即使在要呈现声音、视频、气味、味道等的情况下，信息处理装置200也可以使用感觉呈现装置100a以外的诸如定向扬声器或灯之类的各种装置来实现进度通知。

此外，信息处理装置200可以响应于诸如戏剧的内容、执行进度通知时的情况等来改变对表演者进行进度通知的方法。例如，在表演者正在进行剧烈动作的情况下，信息处理装置200还可以增大触觉刺激的强度或者进一步增大呈现触觉刺激的时间段，以便表演者可以容易地感知到触觉刺激。类似地，信息处理装置200还可以增大要由定向扬声器呈现的声音的大小，或者还可以增大呈现的时间。此外，在主要用脚进行动作的场景中，例如当玩家迈步时，信息处理装置200可以向除脚以外的部位呈现触觉刺激。在难以进行进度通知的情况下(例如，在以大音量呈现bgm的情况下、在表演者正在剧烈动作的情况下等)，信息处理装置200可以不执行进度通知。

现在，参照图16描述进度通知处理的流程的示例。图16描绘了在向用户呈现触觉刺激的情况下通过也向表演者呈现触觉刺激来实现进度通知的情况下的处理的流程的示例。

在步骤s1100处，信息处理装置200的触觉数据生成部221确认是否将触觉刺激呈现给用户(观众)。例如，触觉数据生成部221分析要提供给用户所穿戴的感觉呈现装置100b的触觉数据，以确认是否要呈现触觉刺激。在要向用户呈现触觉刺激的情况下(步骤s1100/是)，触觉数据生成部221在步骤s1104处判断是否需要向表演者进行进度通知。例如，触觉数据生成部221基于与进度通知的要求有关的预先设定来判断是否需要进度通知。

在需要向表演者进行进度通知的情况下(步骤s1104/是)，在步骤s1108处，触觉数据生成部221基于要提供给用户所穿戴的感觉呈现装置100b的触觉数据来生成进度通知数据。进度通知数据的生成方法如上所述。在步骤s1112处，通信部230将进度通知数据提供给表演者所穿戴的感觉呈现装置100a。

在步骤s1116处，被提供了进度通知数据的感觉呈现装置100a的触觉数据呈现部121向表演者呈现触觉刺激，从而执行进度通知。要注意的是，在步骤s1100处，在不向用户呈现触觉刺激的情况下(步骤s1100/否)，以及在步骤s1104处不需要向表演者进行进度通知的情况下(步骤s1100/否)，不执行步骤s1108至s1116的处理。继续上述处理，直到内容结束(步骤s1120/否)。

<5.通过光的感觉呈现通知功能>

上面已经描述了进度通知功能。根据本公开内容的信息处理系统可以实现以下功能：使用光向每个用户通知对每个用户执行了感觉的呈现(该功能在下文中有时被称为“通过光的感觉呈现通知功能”)。因此，在下文中，描述通过光的感觉呈现通知功能。

例如，如图17所示，在现场或戏剧舞台中，从舞台附近的用户向远离舞台的用户按顺序呈现并传播触觉刺激这种表现形式很可能也直观地与触觉刺激的图像相关联，并且是有效的。此外，认为不仅在触觉刺激的呈现方面，而且在除触觉之外的感觉(诸如声音、视频、气味和味觉)的呈现方面都获得类似的效果。另一方面，每个用户不能识别以何种方式向其他用户呈现包括触觉刺激的各种感觉。

因此，根据本公开内容的信息处理系统使得向每个用户的感觉呈现与通过光的演出彼此紧密联系，以在光的照射范围根据向每个用户的感觉呈现而变化的情况下向每个用户通知执行感觉呈现的方式。更具体地，诸如灯320或投影仪300的光呈现部具有向每个用户(或者每组用户)照射光的功能。然后，信息处理装置200的照明数据生成部223生成照明数据(第三数据)，使得在触觉数据呈现部121向用户呈现触觉刺激的定时(第三定时)处或者在声学数据呈现部131向用户呈现声音的定时处，对要向其执行呈现的用户(第一用户)执行来自诸如灯320或投影仪300的光呈现部的光的照射。然后，通过预定网络将照明数据提供给灯320，从而灯320可以向每个用户(或每组用户)照射光。

这里，照明数据生成部223可以通过将要照射到向其呈现感觉的用户的光的颜色与要照射到不向其呈现感觉的用户的光的颜色区分开，来实现感觉呈现通知。此外，在感觉呈现装置100具有发光功能的情况下，信息处理装置200可以不使用灯320(或投影仪300)来执行感觉呈现通知，而是可以使感觉呈现装置100发光以实现感觉呈现通知。此外，在用户持有具有发光功能的另一装置的情况下，信息处理装置200可以使该装置发光。

现在，参照图18描述通过光的感觉呈现通知处理的流程的示例。图18描绘了在从灯320向要向其呈现触觉刺激的用户照射光以执行感觉呈现通知的情况下的处理的流程的示例。

在步骤s1200处，信息处理装置200的照明数据生成部223识别每个感觉呈现装置100的触觉刺激的呈现定时。例如，照明数据生成部223通过分析由触觉数据生成部221生成的触觉数据来识别触觉刺激的呈现定时。

在步骤s1204处，照明数据生成部223基于触觉刺激的呈现定时来生成照明数据。更具体地，照明数据生成部223生成照明数据，该照明数据使得在每个感觉呈现装置100要呈现触觉刺激的定时处，从灯320向要向其呈现触觉刺激的用户的位置(位置坐标或者座位的位置)照射光。在步骤s1208处，通信部230将照明数据提供给灯320。

在步骤s1212处，与触觉刺激的呈现同时地，被提供了照明数据的灯320向要向其呈现触觉刺激的用户照射光，从而执行感觉呈现通知。继续上述处理，直到内容结束为止(步骤s1216/否)。

<6.硬件配置的示例>

前面的描述是针对通过光的感觉呈现通知功能。现在，描述根据本公开内容的信息处理系统的硬件配置的示例。

(6.1.装置100的感觉呈现)

首先，描述感觉呈现装置100的硬件配置。感觉呈现装置100具有将两件马甲叠放在一起的结构(外马甲从上方覆盖内马甲的结构)，该两件马甲包括不具有尺寸调节功能的外马甲和具有尺寸调节功能的内马甲。此外，考虑到用户穿上和脱下的容易性，外马甲和内马甲可以例如在相对的肩部处彼此物理连接。在此，图19描绘了外马甲的示例，图20描绘了内马甲的示例。

图19描绘了(在图2中描绘过的)感觉呈现装置100的外马甲的示例，在外马甲中，声学数据呈现部131被布置在相对的肩部区域处。另外，外马甲(以及图20的a描绘的内马甲)在其前身的中间包括开闭机构10(例如，紧固件、钩环紧固件、纽扣等。要注意的是，开闭机构10不限于此)。因此，用户可以容易且高效地穿上和脱下双层结构的感觉呈现装置100，而无需进行高负荷的移动，诸如将头穿过感觉呈现装置100。此外，在用户感到不舒服的情况下或者类似情况下，用户可以容易且迅速地脱下感觉呈现装置100a。此外，外马甲在其前身处包括预定数目的口袋11(在图19的示例中是口袋11a至口袋11d)。因此，由于外马甲可以容纳将要在下文中描述的穿戴在手腕或脚上的部件，因此在不使用这些部件的情况下，利于对这些部件的管理。要注意的是，虽然主要是由于用户可以容易地移动手臂而采用马甲型的感觉呈现装置100的情况，但是感觉呈现装置100在透气性方面的优点等也被考虑在内，感觉呈现装置100的形状(特别是外马甲的形状)可以根据其应用(内容的内容)而改变成各种设计。

图20的a描绘了内马甲的前身的示例，图20的b描绘了内马甲的后身的示例。如图20的a和b所示，在内马甲的侧面部分上设置有能够无级地(steplessly)调节内马甲的尺寸的调节机构12(在图20的示例中是钩环紧固件)。为了使感觉呈现装置100将触觉刺激传递给用户的身体，期望通过适当的压力将感觉呈现装置100和触觉数据呈现部121按压在身体上。然而，取决于年龄、性别等，用户的身体具有明显的个体差异。因此，内马甲包括调节机构12，使得可以调节触觉数据呈现部121与身体之间的接触压力，并且可以为每个用户呈现最佳的触觉刺激。此外，由于在使用时内马甲被外马甲覆盖，所以调节机构12不暴露于表面。因此，改善了穿着的可设计性，并且通过操作用于安装和拆卸的钩环紧固件以使用户自身使用钩环紧固件对内马甲进行尺寸调节，可以防止产生较大的声音而使用户周围的观众不舒服。注意，假设在内容开始之前用户已经完成了对感觉呈现装置100的穿戴，并且除了休息时间等之外，没有进行尺寸调节或者穿脱。更具体地，假设在与用户要坐的座位不同的位置处设置用于穿戴(穿上和脱下)感觉呈现装置100的空间，并且工作人员负责辅助用户穿上或脱下感觉呈现装置100(自然，这不是限制性的)。

此外，内马甲包括可以固定触觉数据呈现部121的固定机构13(在图20的示例中是钩环紧固件)。当感觉呈现装置100向用户呈现触觉刺激时，期望不受每个用户的个体差异(身体的大小等)的影响而将触觉刺激呈现到相似的位置。特别地，期望响应于每个用户的个体差异来调节触觉数据呈现部121的布置。此外，要呈现触觉刺激的位置(区域)响应于内容(诸如戏剧或电影)的内容或者演出而改变。例如，要呈现触觉刺激的位置根据内容而改变，使得在戏剧a的情况下，要呈现触觉刺激的位置是身体正面的四个位置；在另一戏剧b的情况下，要呈现触觉刺激的位置是身体正面的六个位置；以及在电影a的情况下，除了身体正面的六个位置外，要呈现触觉刺激的位置还是正面的两个位置。因此，内马甲具有在其基本上整个面上设置的固定机构13，以允许将触觉数据呈现部121固定在期望的位置处。

这里，参照图21描述触觉数据呈现部121的固定模式的特定示例。基本上不假设下述情况：在内容开始之前由用户进行穿戴时，触觉数据呈现部121的固定位置由用户自己改变(这不是限制性的)。因此，如图21的a所示，内马甲具有两片式结构，并且固定机构13被设置在两片式结构的内侧，使得用户无法触摸该固定机构。触觉数据呈现部121可以通过被固定机构13(钩环紧固件的母件等)和另一固定机构14(钩环紧固件的公件等)夹在中间而固定到内马甲，该另一固定机构14是分离的部件。假设如图21的a所示，固定机构13被设置在两片式结构中的“内马甲的外侧15”(外马甲侧)的内侧面上。换言之，假设固定机构13未被设置在两片式结构的“内马甲的内侧16”(用户身体侧)上。因此，在尺寸调节时，通过调节机构12的紧固压力产生的“内马甲的外侧15”的张力将触觉数据呈现部121精确地按压在用户的身体上。

此外，由于“内马甲的内侧16”作为面而存在，因此当用户穿上或脱下感觉呈现装置100时，防止了突出的触觉数据呈现部121干扰这种穿脱。虽然感觉呈现装置100理想地具有如上所述的内马甲和外马甲的双层结构，但是考虑到穿脱的容易性，其可以仅使用内马甲。同样在这种情况下，由于内马甲具有如上所述的结构，因此可以防止触觉数据呈现部121暴露于表面，从而确保了设计性。

此外，如上所述，用户的身体根据年龄或性别具有很大的个体差异。因此，可以想到下述操作：例如，在提供内容之前，准备包括男性服装(外马甲和内马甲)和女性服装(外马甲和内马甲)的两种服装，关于针对女性的内马甲，预先假定根据身体而使调节机构12变窄，与男性相比，触觉数据呈现部121的固定位置被设定到相对的内侧。类似地，也可以想到下述操作：考虑到男女之间的身高差异，使得触觉数据呈现部121之间的上下方向上的相对距离与男性相比而言相对较短。另外，关于女性的服装，也可以想到下述操作：将触觉数据呈现部121布置成远离胸部。同样可以想到下述操作：不考虑男女之间的差异，响应于身体的尺寸而准备s/m/l三种尺寸(针对相同的服装)，并且使触觉数据呈现部121的固定位置在如上所述的三种尺寸之间不同。替选地，也可以想到下述操作：在内容开始之前，响应于内容的内容而改变触觉数据呈现部121的位置和数目，基于触觉数据呈现部121的位置和数目的设定来执行要输入到触觉数据呈现部121的触觉数据的设计和生成。

此外，感觉呈现装置100能够在取决于马甲部分而未呈现触觉刺激的位置处通过使用一些其他部件来呈现触觉刺激。例如，如图22的a所示，感觉呈现装置100包括连接器，使得感觉呈现装置100可以通过连接到连接器的线路190(在图22的a中是线路190a至线路190f)而电连接至附加的触觉数据呈现部121(在图22的a中是触觉数据呈现部121k至触觉数据呈现部121p)。要注意的是，类似于图22的a中的触觉数据呈现部121l和触觉数据呈现部121m，附加触觉数据呈现部121中的每一个均包括连接器，使得附加触觉数据呈现部121可以通过连接至连接器的线路190而电连接至另外的附加触觉数据呈现部121。要注意的是，在使用能够调节长度的电缆(例如，卷曲的电缆或者卷取型电缆)作为线路190时，可以防止不必要地长的线路190干扰用户的运动。此外，在不通过线路190来添加触觉数据呈现部121的情况下，能够用于添加的触觉数据呈现部121的通道可被使用，以用于向另一部分(例如，马甲部分)呈现触觉刺激。这使得可以对该部分呈现各种触觉刺激。要注意的是，附加触觉数据呈现部121可以通过无线连接来连接。

此外，通过预定固定机构(例如，钩环紧固件等)，附加触觉数据呈现部121被恒定的压力固定在身体的各个部位上。通过这种结构，例如，如图22的a所示，感觉呈现装置100可以向除了马甲部分之外的手腕、膝盖和脚背呈现触觉刺激。要注意的是，固定附加触觉数据呈现部121的位置没有具体限制，并且可以响应于内容的内容而灵活地改变。

这里，如图22的b所示，假设对于附加触觉数据呈现部121中的每一个，附上了指示固定位置的标签17(在图22的b中是标签17a至标签17f：表示固定位置的图示、字符等被指示)。这可以防止用户将每个附加触觉数据呈现部121固定到错误的位置。

现在，描述与感觉呈现装置100一起使用的装置。首先，参照图23来描述在用户就座并且接收内容提供的情况下所使用的座位的外围装置。图23描绘了用户在穿戴感觉呈现装置100(以及附加触觉数据呈现部121k至触觉数据呈现部121p)的状态下坐在座位上的方式。因此，假设对于每个座位安装了用于用户的预定操作的操作面板180。

这里，参照图24描述操作面板180的特定示例。图24的a中描绘的操作面板180a包括开关181，并且用户可以操作开关181来切换包括触觉刺激的各种感觉的呈现的开/关。此外，为操作面板180a提供了连接器182(母)，并且用户可以通过将为感觉呈现装置100设置的连接器(公)插入连接器182来将感觉呈现装置100置于可操作状态。此外，图24的b所示的操作面板180b还包括音量调节机构183，并且用户可以将由感觉呈现装置100呈现的触觉刺激或者声音的音量调节至期望的大小。

要注意的是，对于感觉呈现装置100，提供多种类型(s/m/l尺寸、用于成人/儿童、用于男性/女性、颜色、标记编号)，并且通过将感觉呈现装置100连接至连接器182，可以由信息呈现系统100(特别是信息处理装置200)根据以下项目来识别感觉呈现装置100的类型：包含在感觉呈现装置100中的用于类型检测的电阻值，或者诸如dip开关的用于开/关检测的设计。信息处理系统(特别是信息处理装置200)可以响应于所识别的类型来改变要提供给服装的信号(音量等)。

(6.2.信息处理装置200)

随后，参照图25描述信息处理装置200的硬件配置。

如图25所示，信息处理装置200包括cpu(中央处理单元)901、rom(只读存储器)902、ram(随机存取存储器)903、主机总线904、桥接器905、外部总线906、接口907、输入装置908、输出装置909、存储装置(hdd)910、驱动器911和通信装置912。

cpu901充当算术运算处理装置和控制装置，并且根据各种程序控制信息处理装置200中的总体操作。此外，cpu901可以是微处理器。rom902存储由cpu901使用的程序、算术运算参数等。ram903临时存储在cpu901的执行中使用的程序、在这种执行中适当改变的参数等。cpu901、rom902、ram903通过由cpu总线等配置而成的主机总线904彼此连接。通过cpu901、rom902和ram903的协作来实现控制部210和生成部220的功能。

主机总线904通过桥接器905连接至外部总线906，诸如pci(外围部件互连/接口)总线。要注意的是，主机总线904、桥接器905和外部总线906不需要一定被彼此分开地配置，并且主机总线904、桥接器905和外部总线906的功能可以被结合在一条总线中。

输入装置908由允许用户输入信息的输入装置(诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和操纵杆)以及基于用户的输入来生成输入信号并且将输入信号输出到cpu901的输入控制装置来配置。使用信息处理装置200的用户可以通过操作输入装置908来输入各种数据，并且向各种装置指示处理操作。控制器260的功能由输入装置908实现。

例如，输出装置909包括诸如crt(阴极射线管)显示装置、液晶显示(lcd)装置、oled(有机发光二极管)装置和灯的显示装置。显示部240的功能由输出装置909实现。

存储装置910是用于数据存储的装置。存储装置910可以包括存储介质、用于将数据记录到存储介质中的记录装置、用于从存储介质中读出数据的读出装置、用于删除记录在存储介质中的数据的删除装置，等等。例如，存储装置910由hdd(硬盘驱动器)来配置。存储装置910驱动硬盘以存储由cpu901执行的程序和各种数据。存储部250的功能由存储装置910实现。

驱动器911是用于存储介质的读取器/写入器，并且被内置在信息处理装置200中，或者从外部连接至信息处理装置200。驱动器911读出记录在可移动存储介质913(例如加载在其中的磁盘、光盘、磁光盘、或半导体存储器)上的信息，并且将信息输出到ram903。此外，驱动器911还可以将信息写入可移动存储介质913。

通信装置912是由以下通信装置配置而成的通信接口：该通信装置用于例如连接至通信网络914等。通信部230的功能由通信装置912实现。

<7.备注>

前面的描述是针对根据本公开内容的信息处理系统中的硬件配置的示例。现在，作为备注，描述根据本公开内容的信息处理系统中的操作方面。

(7.1感觉呈现装置100的操作的确认)

在使用根据本公开内容的信息处理系统的情况下，在内容开始之前，可以在感觉呈现装置100连接至操作面板180的连接器182的状态下执行操作确认工作。

在操作确认工作中，作为第一步骤，为了确认导电状态等目的，从感觉呈现装置100的触觉数据呈现部121(致动器)顺序地生成可听声音，使得确认者用耳朵执行操作确认。此时，可以针对每个触觉数据呈现部121改变可听声音(例如，诸如“1”、“2”、“3”等的识别信息被分配给各个触觉数据生成部221，使得各个识别信息作为可听声音输出到触觉数据呈现部121)。作为第二步骤，为了确认触觉数据呈现部121的故障状态，将低可听性的简单波形(诸如100[hz]的sin波)顺序地输入至触觉数据呈现部121。例如，在第二步骤处在确认者听到某些异常声音的情况下，估计触觉数据呈现部121受到损坏等。

通过使感觉呈现装置100一个接一个地工作来执行第一步骤和第二步骤的工作，以使得从感觉呈现装置100发出的声音不会彼此混合。例如，确认者在操作操作面板180的开关181以顺序地打开/关闭感觉呈现装置100的同时，接连地执行第一步骤和第二步骤的工作。

要注意的是，可以在针对每个感觉呈现装置100一点一点地移位的同时执行从感觉呈现装置100等产生可听声音，使得确认者可以执行操作确认工作而无需从一个座位移位动到另一个座位。此外，可以想到这样的处理方式：将诸如“1”、“2”或“3”的识别信息分配给每个感觉呈现装置100，同时将诸如“1”、“2”或“3”的识别信息分配给每个感觉呈现装置100的每个触觉数据生成部221，并且将感觉呈现装置100与触觉数据呈现部121的识别信息的组合(诸如“1-1”、“1-2”或“1-3”)作为可听声音输出到触觉数据呈现部121。这使得确认者可以在不从以下位置移动的情况下执行操作确认工作：操作者在该位置处可以听到从所有感觉呈现装置100发出的可听声音。此外，可听声音的收听工作可以由专用装置执行。此外，可以在每个触觉数据呈现部121中设置加速度传感器，使得当每个触觉数据呈现部121振动时，通过对加速度数据的分析等来进行操作确认。

(7.2.操作者的处理方式)

操作上述控制器260的操作者将位于观众席后面(或中间)的控制室中，使得操作者可以远望舞台和观众席，并且响应于预先确定的进度根据表演者在舞台上的移动的定时来操作设置在控制器260上的界面，例如触摸面板和物理开关。

通过对控制器260执行的预定操作，可以实时地共同控制与舞台效果(诸如声学、照明、视频或触觉刺激)有关的装置。例如，操作者可以通过操作设置在控制器260上的滑动条(slidebar)，实时地共同控制从与舞台效果(诸如声学、照明、视频或触觉刺激)有关的装置输出的舞台效果的强度。例如，如果操作者降低滑动条，则音量降低，并且由触觉数据呈现部121呈现的触觉刺激的强度减小，或者照明变暗。此外，例如，每当操作者按下预定按钮时，内容中的事件切换，并且可以根据与切换之后的事件相关联的程序来实时地共同控制与舞台效果(诸如声学、照明、视频或触觉刺激)有关的装置。要注意的是，此时，可以将彼此不同的事件分配给不同的按钮。

此外，不仅用户，而且操作者也可以通过穿戴用于声学呈现的耳机和用于触觉呈现的感觉呈现装置100来接收用户正在经历的舞台效果的反馈。要注意的是，尽管在考虑到声学延迟量的情况下(在延迟了声学延迟量的定时处)执行向用户呈现感觉，但是作为对操作者的反馈，可以在不考虑声学延迟量的情况下向用户呈现感觉(可以同时执行耳机的声学呈现和感觉呈现装置100的感觉呈现)。此外，可以将执行进度管理的计时员与操作者分开部署在控制室中，以使操作者和计时员共同执行工作。

尽管已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这种实施方式。显然，具有本公开内容所属技术领域中的公知常识的人可以在权利要求书中所公开的技术思想的范围内构思出各种改变或修改，并且认识到这些改变或修改本质上属于本公开内容的技术范围。

此外，本说明书中描述的有益效果终归是说明性或示例性的，而非限制性的。特别地，与上述效果一起或者代替于上述效果，根据本公开内容的技术可以展示对于本领域技术人员来说根据本说明书的描述而很明显的其他有益效果。

要注意的是，以下配置也落入本公开内容的技术范围内：

(1)

一种信息处理装置，包括：

生成部，其基于要从声学呈现部输出声音的第一定时与所述声音要被第一用户感知的第二定时之间的差来生成第一数据，所述第一数据用于通过所述第一用户穿戴的感觉呈现部向所述第一用户呈现感觉。

(2)

根据上述(1)所述的信息处理装置，其中，

在基于所述差而确定的第三定时处执行对所述感觉的呈现。

(3)

根据上述(2)所述的信息处理装置，其中，

所述第三定时与所述第二定时基本上相同。

(4)

根据上述(2)或(3)所述的信息处理装置，其中，

所述生成部基于所述第一数据来生成第二数据，所述第二数据用于向第二用户通知所述第三定时。

(5)

根据以上(4)所述的信息处理装置，其中，

所述第二数据用于向所述第二用户呈现感觉。

(6)

根据以上(4)或(5)所述的信息处理装置，其中，

在与所述第三定时基本上相同的定时处执行所述通知。

(7)

根据以上(4)至(6)中任一项所述的信息处理装置，其中，

所述第二用户包括提供内容的用户，与所述内容相关地执行对所述第一用户的感觉呈现。

(8)

根据以上(2)至(7)中任一项所述的信息处理装置，其中，

存在多个所述第一用户，并且

针对每个第一用户或者针对每组第一用户执行对所述感觉的呈现。

(9)

根据以上(8)所述的信息处理装置，其中，

在所述第三定时处，由来自光呈现部的光照射所述感觉要被呈现给的第一用户，并且

所述生成部生成用于所述光的照射的第三数据。

(10)

根据以上(1)至(9)中任一项所述的信息处理装置，其中，

所述第二定时包括由所述第一用户穿戴的声音检测部检测到所述声音的定时。

(11)

根据以上(10)所述的信息处理装置，其中，

所述声音检测部被穿戴在所述第一用户的耳朵附近。

(12)

根据以上(1)至(11)中任一项所述的信息处理装置，其中，

基于所述声学呈现部与所述第一用户之间的位置关系来估计所述差。

(13)

根据以上(1)至(12)中任一项所述的信息处理装置，其中，

所述感觉包括触觉或听觉中的至少一种。

(14)

一种由计算机执行的信息处理方法，所述方法包括：

基于要从声学呈现部输出声音的第一定时与所述声音要被第一用户感知的第二定时之间的差来生成第一数据，所述第一数据用于通过所述第一用户穿戴的感觉呈现部向所述第一用户呈现感觉。

(15)

一种程序，所述程序用于使计算机实现：

基于要从声学呈现部输出声音的第一定时与所述声音要被第一用户感知的第二定时之间的差来生成第一数据，所述第一数据用于通过所述第一用户穿戴的感觉呈现部向所述第一用户呈现感觉。

[附图标记列表]

100感觉呈现装置

110控制部

111触觉数据处理部

112声学数据处理部

120触觉呈现部

121触觉数据呈现部

130声音呈现部

131声学数据呈现部

140通信部

150传感器部

160存储部

170声音收集部

200信息处理装置

210控制部

211延迟测量部

220生成部

221触觉数据生成部

222声学数据生成部

223照明数据生成部

230通信部

240显示部

250存储部

260控制器

270音频if

280放大器

290前置扬声器

300投影仪

310屏幕

320灯

330烟雾生成器

340风生成器