服务器、客户端、控制方法和存储介质与流程

本公开内容涉及服务器、客户端、控制方法和存储介质。

背景技术：

近年来，已经提出了通过使用文本或声音来呈现与用户的视场中的目标对象相关的信息的技术。例如，下面列出的专利文献1提出了在用户佩戴的头戴式显示器(hmd)中叠加和显示对目标对象的说明的技术。

另外，下面列出的专利文献2提出了用于发送和接收消息的聊天系统以及反映用户的面部表情的头像图像。

引用列表

专利文献

专利文献1：jp2014-167716a

专利文献2：jp2013-9073a

技术实现要素：

技术问题

然而，专利文献1和专利文献2没有呈现与用户未注意到的目标对象相关的信息。

因此，本公开内容提出了能够呈现用户未注意到的信息的服务器、客户端、控制方法和存储介质。

问题的解决方案

根据本公开内容，提出了一种服务器，包括：通信单元，其被配置成接收与由客户端的成像单元获取的图像相关的信息；以及控制单元，其被配置成能够基于与图像相关的信息来提取与对象对应的信息，并且将与对象相关的信息发送至客户端，该对象位于用户的注视区域之外并且与用户信息相关。

根据本公开内容，提出了一种客户端，包括：输出单元，其被配置成向用户输出信息；以及控制单元，其被配置成控制输出单元，使得根据与对象对应的信息输出与对象相关的信息，该对象基于与由成像单元获取的图像相关的信息来指定，该对象位于用户的注视区域之外并且与用户信息相关。

根据本公开内容，提出了一种控制方法，该控制方法使得处理器：由通信单元接收与由客户端的成像单元获取的图像相关的信息；并且能够基于与图像相关的信息来提取与对象对应的信息，并且将与对象相关的信息发送至客户端，对象位于用户的注视区域之外并且与用户信息相关。

根据本公开内容，提出了一种存储介质，该存储介质存储有程序，该程序使计算机充当：输出单元，其被配置成向用户输出信息；以及控制单元，其被配置成控制输出单元，使得根据与对象对应的信息输出与对象相关的信息，该对象基于与由成像单元获取的图像相关的信息来指定，该对象位于用户的注视区域之外并且与用户信息相关。

本发明的有益效果

如上所述，根据本公开内容，可以呈现用户未注意到的信息。

注意，上述效果不一定是限制性的。使用或替代上述效果，可以实现本说明书中描述的效果中的任何一种效果或者可以从本说明书中掌握的其他效果。

附图说明

[图1]图1是示出根据本公开内容的第一实施方式的信息处理系统的概览的图。

[图2]图2是示出根据第一实施方式的信息处理系统的整体配置的图。

[图3]图3是示出根据第一实施方式的眼镜型终端的配置的示例的框图。

[图4]图4是示出根据第一实施方式的服务器的配置的示例的框图。

[图5]图5是示出根据第一实施方式的在用户信息db中累积的用户信息的示例的图。

[图6]图6是示出根据第一实施方式的在对象信息db中累积的对象信息的示例的图。

[图7]图7是示出根据第一实施方式的信息处理系统的操作处理的序列图。

[图8]图8是示出根据第一实施方式的标签图像检测处理的流程图。

[图9]图9是示出标准人的视场的图。

[图10]图10是示出根据第一实施方式的呈现信息获取处理的流程图。

[图11]图11是示出根据第一实施方式的对象信息获取处理的流程图。

[图12]图12是示出根据第一实施方式的关注度设置处理的流程图。

[图13]图13是示出根据第一实施方式的呈现信息提供处理的流程图。

[图14]图14是示出根据第一实施方式的呈现方法设置处理的流程图。

[图15]图15是示出根据第一实施方式的信息呈现处理的流程图。

[图16]图16是示出根据第一实施方式的用户行为检测处理的流程图。

[图17]图17是示出根据第一实施方式的由眼镜型终端执行的呈现信息更新处理的流程图。

[图18]图18是示出根据第一实施方式的由服务器执行的呈现信息更新处理的流程图。

[图19]图19是示出根据第一实施方式的角色显示的具体示例的图。

[图20]图20是示出根据第一实施方式的用于改变建筑物的注视方向的具体示例的图。

[图21]图21是示出根据第一实施方式的标签图像映射数据的示例的图。

[图22]图22是示出根据第二实施方式的信息处理系统的概览的图。

[图23]图23是示出根据第二实施方式的信息处理系统的各个结构元件的图。

[图24]图24是示出根据第二实施方式的成像单元的安装示例的图。

[图25]图25是示出根据第二实施方式的成像单元的另一安装示例的图。

[图26]图26是示出根据第二实施方式的信息处理系统中的操作处理的序列图。

[图27]图27是示出根据第二实施方式的信息处理系统中的操作处理的序列图。

[图28]图28是示出根据第二实施方式的第一应用示例的信息处理系统的整体配置的图。

[图29]图29是示出根据第二实施方式的第一应用示例的信息处理系统的操作处理的流程图。

[图30]图30是示出根据第二实施方式的第二应用示例的信息处理系统的整体配置的图。

[图31]图31是示出根据第二实施方式的第二应用示例的信息处理系统的操作处理的流程图。

[图32]图32是示出根据第二实施方式的第二应用示例的信息处理系统的操作处理的流程图。

[图33]图33是图示根据第二实施方式的第三应用示例的信息处理系统的整体配置的图。

[图34]图34是示出根据第二实施方式的第三应用示例的信息处理系统的操作处理的流程图。

具体实施方式

在下文中，将参照附图详细描述本发明的一个或更多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

注意，描述按以下顺序给出。

1.第一实施方式

1-1.概述

1-2.配置

1-3.操作处理

1-4.显示示例

1-5.补充

2.第二实施方式

2-1.概述

2-2.配置

2-3.操作处理

2-4.应用示例

2-5.补充

3.结论

<<1.第一实施方式>>

<1-1.概述>

图1是示出根据本公开内容的第一实施方式的信息处理系统的概览的图。如图1所示，当佩戴透视眼镜型终端1(客户端的示例)的用户沿着街道行走并且即使在招牌30处于用户视场中的情况下用户也没有注视或注意到招牌30时，通过使用增强现实(ar)在招牌30上显示角色图像34，并且例如输出诸如“新裙子已到货！”的语音。角色图像34表示移动以引起用户注意的“眼睛”。

更具体地，眼镜型终端1执行控制，使得当眼镜型终端1的成像单元提取标签图像32时，呈现与招牌30的标签图像32对应的信息。成像单元被配置成捕获用户视场的图像。此时，在眼镜型终端1检测到用户的注视的情况下，眼镜型终端1执行控制，使得与标签图像32对应的信息被呈现为用户未注意到的信息，识别用户的注视区域，并且从注视区域外的至少一个区域——更具体地，在用户的视场中但是未被用户识别的区域——提取标签图像32。注意，可以将呈现信息限制为用户关注的事件。

因此，用户可以注意到招牌30，并且可以防止用户错过该用户关注的服装店。

接下来，将详细描述根据第一实施方式的信息处理系统的配置和操作处理。

<1-2.配置>

(1-2-1.整体配置)

图2是示出根据第一实施方式的信息处理系统的整体配置的图。如图2所示，根据实施方式的信息处理系统包括眼镜型终端1和服务器2。眼镜型终端1和服务器2经由网络3连接，并且发送/接收数据。

眼镜型终端1是透视眼镜型头戴式显示器(hmd)。当hmd被佩戴时，用于左眼和右眼的一对透视显示单元13(图3)被设置在用户的眼睛前方，换言之，透视显示单元13被设置在使用普通眼镜的情况下设置镜片的位置处。诸如文本、图表等的图像被显示在显示单元13上并且被叠加在真实空间上。hmd设置有成像镜头，该成像镜头捕获拍摄对象方向的图像，该拍摄对象方向是当用户佩戴hmd时用户在视觉上识别的方向。可以捕获用户的视场的图像。

注意，图2中所示的眼镜型终端1的外观仅为示例。考虑了用户佩戴眼镜式终端1的各种结构。仅需要通过通常称为眼镜型单元或头戴式单元的安装单元来形成眼镜型终端1。至少在本实施方式中，仅需要在用户眼睛前方附近设置显示单元13。另外，可以设置与双眼对应的一对显示单元13，或者可以仅设置与一只眼睛对应的一个显示单元13。

服务器2具有累积用户信息和对象信息并且向眼镜式终端1发送与由眼镜型终端1提取的标签图像对应的呈现信息的功能。

(1-2-2.眼镜式终端1的配置)

接下来，参照图3，将描述根据实施方式的眼镜型终端1的配置。图3是示出根据实施方式的眼镜型终端1的配置的示例的框图。

如图3所示，眼镜型终端1包括控制单元10、通信单元11、成像单元12、显示单元13、声音输出单元14、存储单元15和注视检测单元16。

(控制单元10)

控制单元10充当算术处理装置和控制单元，并且根据各种程序控制眼镜型终端1中的整体操作。例如，控制单元10由中央处理单元(cpu)和诸如微处理器的电子电路实现。另外，控制单元10可以包括用于存储要使用的程序、算术参数等的只读存储器(rom)以及用于临时存储适当改变的参数等的随机存取存储器(ram)。

另外，根据实施方式的控制单元10充当标签图像检测单元101、呈现信息获取单元102、呈现方法设置单元103、信息呈现控制单元104、用户行为检测单元105和呈现信息更新单元106。

标签图像检测单元101分析由成像单元12捕获的图像并且检测标签图像。例如，通过使用与预先存储在存储单元15中的图像的图案匹配来检测标签图像。例如，通过将标签图像32即图1中所示的眼睛的图示预先登记在存储单元15上，标签图像检测单元101可以从由成像单元12捕获的图像中检测到招牌30上的眼睛的图示作为标签图像32。

呈现信息获取单元102基于来自服务器2的检测到的标签图像来获取呈现信息。具体地，呈现信息获取单元102将检测到的标签图像或者作为数字水印嵌入在标签图像中的标签信息(具体地，标签id等)发送至服务器2，并且获取与标签信息对应的对象信息(例如与产品相关的信息)作为呈现信息。

呈现方法设置单元103设置用于向用户呈现对象信息的方法。具体地，呈现方法设置单元103根据已经设置的关注度来决定用于呈现对象信息的显示设置或音量设置。

信息呈现控制单元104执行控制，使得通过使用由呈现方法设置单元103设置的方法将由呈现信息获取单元102获取的对象信息呈现给用户。具体地，信息呈现控制单元104执行控制，使得显示单元13或声音输出单元14输出作为呈现信息的对象信息。

用户行为检测单元105具有检测用户的行为并且将用户的关注度设置为标签图像的功能。例如，在用户的注视指向标签图像的情况下，用户行为检测单元105根据由注视检测单元16检测到的用户的注视将对目标标签图像的关注度设置为“高”。

当关注度改变时，呈现信息更新单元106从服务器获取新的呈现信息，并且更新要呈现给用户的呈现信息。

(通信单元11)

通信单元11具有与外部装置连接以及发送/接收数据的功能。例如，通信单元11经由bluetooth(注册商标)、wi-fi(无线保真，注册商标)、无线局域网(lan)等与网络3连接，并且通过网络向服务器2发送数据/从服务器2接收数据。

(成像单元12)

成像单元12包括镜头系统、驱动系统和固态图像传感器阵列等。镜头系统包括成像镜头、光圈、变焦镜头、聚焦镜头等。驱动系统使镜头系统执行聚焦操作和变焦操作。固态图像传感器阵列对由镜头系统获取的成像光执行光电转换并且生成成像信号。例如，固态图像传感器阵列可以通过电荷耦合器件(ccd)传感器阵列或互补金属氧化物半导体(cmos)传感器阵列来实现。

另外，根据实施方式的成像单元12被安装成使得当用户佩戴眼镜型终端1时，成像单元12面向捕获用户的注视方向(视场)的图像的方向。

(注视检测单元16)

注视检测单元16具有检测佩戴眼镜型终端1的用户的注视方向的功能。更具体地，注视检测单元16基于用户的眼睛和头部的运动、姿势等来检测用户的注视方向(另外，注视点)。例如，可以基于用户的面部或眼睛的捕获图像、检测到的用户的眼睛电势、检测到的肌肉电位等来分析用户的眼睛的运动。另外，可以通过安装在眼镜型终端1中的陀螺仪传感器、加速度传感器、地磁传感器(未示出)等来检测头部的移动或姿势。

(显示单元13)

显示单元13例如由液晶面板实现。控制单元10能够通过控制液晶面板的透射率将显示单元13的状态改变成透视状态，换言之，透明或半透明状态。替选地，显示单元13可以由透镜实现，该透镜通过使用全息光导板技术显示诸如文本、符号和图像之类的信息，使得所述信息与用户的视场(真实空间)交叠。

(声音输出单元14)

声音输出单元14包括用于再现声音信号的扬声器以及用于该扬声器的放大器电路。例如，声音输出单元14可以由一对耳机扬声器和用于所述耳机扬声器的放大器电路实现。当用户佩戴眼镜式终端1时，该对耳机扬声器可以被安装在耳机扬声器插入用户的右耳开口和左耳开口的位置处。此外，声音输出单元14可以被配置成所谓的骨传导扬声器。

(存储单元15)

存储单元15由只读存储器(rom)和随机存取存储器(ram)实现。rom存储在由控制单元10执行的处理中使用的程序、算术参数等，并且ram临时存储适当改变的参数等。

上面描述了根据实施方式的眼镜型终端1的详细配置。注意，眼镜型终端1的配置不限于图3所示的示例。例如，眼镜型终端1可以包括用于收集声音的麦克风、位置信息获取单元等。如果眼镜型终端1包括麦克风，则用户可以输入声音。

另外，在本说明书中，图2所示的眼镜型终端1用作用于呈现信息的客户端的示例。然而，根据本公开内容的客户端不限于眼镜型终端1。例如，客户端可以是智能电话、移动电话终端、个人数字助理(pda)、个人计算机(pc)、平板终端等。另外，眼镜型终端还可以捕获用户的视场图像，检测注视并且呈现信息，并且智能电话等执行各种类型的控制(标签图像检测、呈现信息获取、呈现方法设置、信息呈现控制、用户行为检测和呈现信息更新)。智能电话等能够与眼镜型终端通信。

(1-2-3.服务器2的配置)

接下来，将参照图4描述根据实施方式的服务器2的配置。如图4所示，根据实施方式的服务器2包括控制单元20、通信单元21、用户信息数据库(db)23和对象信息db23。

(控制单元20)

控制单元20充当算术处理装置和控制装置，并根据各种类型的程序控制服务器2中的整体操作。例如，控制单元20由中央处理单元(cpu)和诸如微处理器等的电子电路实现。另外，控制单元20可以包括用于存储要使用的程序、算术参数等的只读存储器(rom)以及用于临时存储适当改变的参数等的随机存取存储器(ram)。

另外，根据实施方式的控制单元20充当对象信息获取单元201、关注度设置单元202、呈现信息提供单元203和呈现信息更新单元204。

对象信息获取单元201基于从眼镜型终端1发送的标签信息从对象信息db23获取对象信息。

关注度设置单元202将用户注意力的程度设置为所获取的对象信息。具体地，关注度设置单元202将对象信息与用户信息进行比较，并且根据用户的性别、年龄或偏好信息(兴趣信息)是否与对象信息的属性信息(对象特征或目标)匹配(相关)来设置关注度。

呈现信息提供单元203根据所设置的关注度从对象信息获取要呈现给用户的信息，并且经由通信单元21将呈现信息发送至眼镜型终端1。此外，呈现信息提供单元203还将角色图像发送至眼镜型终端1。

呈现信息更新单元204根据改变了的关注度来更新要呈现给用户的信息，该改变了的关注度取决于用户行为的改变(具体地，用户的注视方向)。具体地，呈现信息更新单元204根据从眼镜型终端1发送的更新请求从对象信息获取详细呈现信息，并且回复到眼镜型终端1。

(通信单元21)

通信单元21具有与外部装置连接以及发送/接收数据的功能。例如，通信单元21经由无线或有线局域网(lan)等与网络3连接，并且经由网络3向眼镜型终端1发送数据/从眼镜型终端1接收数据。

(用户信息db22)

用户信息db22累积与用户相关的信息。此处，图5示出了在用户信息db22中累积的用户信息的示例。如图5所示，用户信息包括用户id、性别、年龄、偏好信息等。

(对象信息db23)

对象信息db23累积与对象相关的信息。此处，图6示出了在对象信息db23中累积的对象信息的示例。如图6所示，对象信息包括对象id、标签id(标签信息)、属性信息、呈现信息(简单信息和详细信息)、角色形象和特征信息。角色图像可以是静止图像或运动图像(动画)。

上面描述了根据实施方式的服务器2的详细配置。

<1-3.操作处理>

接下来，将参照图7至图18描述根据实施方式的信息处理系统的操作处理。

图7是示出根据实施方式的信息处理系统的操作处理的序列图。如图7所示，首先，眼镜型终端1的标签图像检测单元101从由成像单元12捕获的用户的视场的图像中检测标签图像(步骤s103)。此处，参照图8，将描述根据实施方式的标签图像检测处理的细节。

如图8所示，当成像单元12捕获用户的视场的图像时(步骤s143)，标签图像检测单元101将标签图像搜索范围设置为用户的注视区域之外的区域(步骤s146)。用户的注视区域是由注视检测单元16检测到的用户的注视点周围的区域，该区域对应于例如人类的视场中的符号识别界限。通常，关于人类的视场，如图9所示，在水平方向(左右方向)上以注视点(0°)为中心大致5°至10°的范围是意识到诸如数字和文本之类的措辞(词汇)的界限范围。在该范围内，人类阅读文本或者注意到特定物体或事件(当然识别物体的形状、颜色等)。另外，在水平方向(左右方向)上以注视点(0°)为中心大致5°至30°的范围是符号识别界限范围。在该范围内，人类几乎能够清楚地识别物体和事件。另外，大致30°至60°的范围是在颜色和亮度改变的情况下区分颜色的界限范围。在该范围内，不可能清楚地识别物体的形状、颜色等，但是容易识别物体的颜色或运动的变化。另外，以注视点(0°)为中心大致94°的范围是视场极限范围。在本实施方式中，将符号识别界限范围设置为注视区域，并且将以用户的注视点为中心至少大致30°的范围之外的区域设置为标签图像搜索范围。这是因为，在符号识别界限范围之外的区域中，尽管符号识别界限范围之外的区域在视场内，但是用户不可能识别物体或事件，并且存在更高的使用户错过信息的可能性。

另外，标签图像检测单元101检测捕获图像中的注视区域之外的范围内的标签图像(步骤s149)。具体地，例如，可以使用图案匹配来预先检测与存储在存储单元15中的图像匹配的图像作为标签图像。

上面描述了标签图像检测处理。

接下来，眼镜型终端1的呈现信息获取单元102从服务器2获取呈现信息(步骤s106)。此处，将参照图10描述根据实施方式的呈现信息获取处理的细节。

如图10所示，在标签图像检测单元101检测到标签图像的情况下(在步骤s153中为“是”)，呈现信息获取单元102分析检测到的标签图像并且提取标签信息(具体为标签id)。在根据实施方式的标签图像中，假设标签信息被嵌入作为例如数字水印。注意，还可以从标签图像上的qr码(注册商标)中提取标签信息。

接下来，呈现信息获取单元102经由通信单元11将标签信息发送至服务器2(步骤s159)，并且从服务器2接收与该标签信息对应的角色图像(步骤s162)。

另外，呈现信息获取单元102基于标签信息以及用户对呈现信息的关注度，从服务器2接收呈现信息(步骤s165和步骤s168)。

上面描述了呈现信息获取处理。

另一方面，服务器2基于从眼镜式终端1发送的标签信息来获取对象信息(步骤s109)。此处，图11示出了对象信息获取处理的细节。

如图11所示，当服务器2从眼镜式终端1接收到标签信息时(步骤s173)，对象信息获取单元201从对象信息db23获取与标签信息对应的对象信息(步骤s176)。例如，标签信息是唯一标签id。如图6所示，可以基于标签id来搜索对象信息。注意，在眼镜型终端1发送标签信息的情况下，服务器2的对象信息获取单元201可以分析标签图像并且提取作为数字水印嵌入的标签信息。

上面描述了对象信息获取处理。

接下来，服务器2的关注度设置单元202将用户的关注度设置为所获取的对象信息(步骤s112)。此处，图12示出了关注度设置处理的细节。

如图12所示，服务器2的关注度设置单元202将对象信息与用户信息进行比较(步骤s179)，并且确定对象信息与用户信息是否匹配(步骤s182)。更具体地，例如，关注度设置单元202将对象信息的属性信息(包括与对象的特征和目标相关的信息)与用户信息(包括年龄、性别和偏好信息)进行比较，并且确定是否有相互匹配的项目。因此，关注度设置单元202能够识别对象和用户之间的关系等级。

接下来，在确定对象信息与用户信息彼此匹配的情况下(在步骤s182中为“是”)，关注度设置单元202将关注度设置为“中”(步骤s185)。

另一方面，在确定对象信息与用户信息彼此不匹配的情况下(在步骤s182中为“否”)，关注度设置单元202将关注度设置为“低”(步骤s188)。

上面描述了关注度设置处理。

接下来，服务器2的呈现信息提供单元203将呈现信息提供(发送)至眼镜式终端1(步骤s115)。此处，图13示出了呈现信息提供处理的细节。

如图13所示，在设置的关注度为“中”的情况下(在步骤s193中为“是”)，呈现信息提供单元203将包括在对象信息中的角色图像发送至眼镜式终端1(步骤s196)，并且将设置的关注度发送至眼镜式终端1(步骤s199)。

接下来，在对象信息中包括的信息中，呈现信息提供单元203将“简单信息”设置为呈现信息(步骤s202)，并且将该呈现信息发送至眼镜型终端1(步骤s205)。

另一方面，在设置的关注度为“低”的情况下(在步骤s193中为“否”)，对象信息与用户的关系较低。因此，不将呈现信息等发送至眼镜式终端1。

上面描述了呈现信息提供处理。

接下来，已经从服务器2接收到呈现信息的眼镜型终端1使用呈现方法设置单元103来设置呈现方法(步骤s118)。此处，图14示出了呈现方法设置处理的细节。

如图14所示，眼镜型终端1确定服务器2设置的关注度是否为“高”(步骤s213)。

接下来，在关注度不为“高”的情况下(在步骤s213中为“否”)，呈现方法设置单元103配置显示设置，使得要提供的角色的视线离开用户(步骤s225)。例如，在关注度为“中”的情况下，用户关注对象信息(的简单呈现信息)的概率没有那么高。因此，呈现方法设置单元103配置显示设置，使得角色的视线离开用户。

接下来，呈现方法设置单元103将要呈现的角色的大小设置为“小”(步骤s228)，并且将音量设置为“低”(步骤s231)。

另一方面，在关注度为“高”的情况下(在步骤s213中为“是”)，呈现方法设置单元103配置显示设置，使得要呈现的角色看向用户(步骤s216)。例如，在关注度为“高”的情况下，用户关注对象信息(的简单呈现信息)的概率高。因此，呈现方法设置单元103配置显示设置，使得角色看向用户，这使用户容易注意到角色的注视。

接下来，呈现方法设置单元103将要呈现的角色的大小设置为“大”(步骤s219)，并且将音量设置为“高”(步骤s222)。这使用户能够容易地注意到角色。

上面描述了呈现方法设置处理。

接下来，眼镜型终端1执行控制，使得信息呈现控制单元104通过使用所设置的呈现方法将从服务器2发送的呈现信息呈现给用户(步骤s121)。此处，图15示出了信息呈现处理的细节。

如图15所示，眼镜型终端1执行控制，使得信息呈现控制单元104在标签图像获取位置处叠加和显示该角色(步骤s234)。换言之，例如，在如图1所示从招牌30检测到标签图像32的情况下，信息呈现控制单元104在招牌30的位置处叠加和显示角色图像34。角色图像34可以是具有移动的眼睛和眉毛的动画图像。即使角色图像34被显示在用户的注视区域之外(例如在图9中所示的“符号识别界限范围”之外)，用户也很可能在角色图像34移动时识别出角色图像34。

接下来，信息呈现控制单元104执行控制，使得将从服务器2接收的呈现信息呈现给用户(步骤s237)。具体地，例如，信息呈现控制单元104在角色图像34附近显示诸如“新裙子已到货！”的呈现信息，并且使声音输出单元14输出声音。要输出的声音的音量根据上述呈现方法的设置来控制。

上面描述了信息呈现处理。

接下来，眼镜型终端1的用户行为检测单元105检测用户行为(步骤s124)。此处，图16示出了用户行为检测处理的细节。

如图16所示，当注视检测单元16检测到用户的注视时(步骤s240)，用户行为检测单元105确定用户是否正在看向该角色(具体地，例如，该角色在注视区域内)(步骤s243)。

接下来，在确定用户正在看向角色的情况下(在步骤s243中为“是”)，因为用户正在注意该角色，因此用户行为检测单元105将关注度设置(改变)为“高”(步骤s246)。

另一方面，在确定用户不是正在看向角色的情况下(在步骤s243中为“否”)，由于用户没有注意角色，因此关注度不会改变。

上面描述了用户行为检测处理。

接下来，眼镜型终端1执行呈现信息更新处理(步骤s127)。另外，服务器2还根据来自眼镜式终端1的请求执行呈现信息更新处理(步骤s130)。此处，图17示出了由眼镜型终端1执行的呈现信息更新处理的细节，图18示出了由服务器2执行的呈现信息更新处理的细节。

如图17所示，在基于用户对叠加和显示的角色图像的注视来改变关注度的情况下(在步骤s253中为“是”)，眼镜型的呈现信息更新单元106终端1将呈现信息更新请求(与用户对所叠加和显示的角色的注视相关的信息)发送至服务器2(步骤s256)。如参照图16所述，假设根据实施方式将关注度改变成“高”。

另外，眼镜型终端1从服务器2接收与已经改变的关注度对应的呈现信息(步骤s259)。

另一方面，如图18所示，在服务器2从眼镜式终端1接收到信息更新请求的情况下(在步骤s263中为“是”)，呈现信息更新单元204设置包括在对象信息中的信息之中的“详细信息”(例如，诸如“新款夏季喇叭裙已到货！”的信息)作为呈现信息(步骤s266)，并且将该呈现信息发送至眼镜型终端1(步骤s269)。

如上所述，当用户看向角色时，眼镜型终端1将关注度改变成“高”，并且从服务器2接收详细信息。

另外，眼镜型终端1再次设置呈现方法(步骤s118)。当设置呈现方法时，可以基于关注度被改变成“高”来配置用于使角色看向用户的显示设置、用于将角色的显示尺寸改变成“大”的设置以及用于将音量改变成“高”的设置。接下来，根据所设置的呈现方法呈现详细信息(步骤s121)。

重复上述步骤s118至步骤s133，直到满足诸如关闭电源等的预定结束条件为止(步骤s133和步骤s136)。

上面描述了根据实施方式的操作处理。注意，根据实施方式的信息处理系统还可以将要呈现给用户的详细信息个性化。例如，在基于由安装在用户周围的相机捕获的图像识别出用户持有的包的情况下，服务器2将个性化详细信息设置为呈现信息，并且将该个性化详细信息发送至眼镜型终端1，个性化详细信息指示“新款夏季喇叭裙已到货！你为什么不用这喇叭裙来搭配你的肩包呢！“另外，服务器2还可以参考包括在对象信息中的特征信息来将详细信息个性化。例如，如果对象信息的特征信息指示“这和纯色包很好搭配”并且用户持有纯色包，则将指示“这和您的包很好搭配”的信息添加到详细信息中。

另外，根据实施方式的信息处理系统能够执行与用户输入的操作或声音对应的操作处理。例如，如图1所示，当通过使用ar在招牌30上显示角色图像34并且输出指示“新款夏季喇叭裙已到货！”的声音时，如果用户关注该裙子，则用户可以通过语音输入“裙子有什么类型的设计？”、“向我展示图片”等以清楚地要求更详细的信息。当麦克风(未示出)收集用户的语音并且使用语音识别处理来执行语义分析时，眼镜型终端1能够从服务器2或者网络上的商店的网页收集信息，显示裙子的图片，通过语音或文字描述有疑问的设计细节。如上所述，根据实施方式的眼镜型终端1能够通过对来自对关注该裙子的用户的问题进行响应来更多地增强呈现被错过的信息的广告效果。

<1-4.显示示例>

在上述实施方式中，如图1所示使用了“眼睛”的角色图像。然而，实施方式不限于此。例如，可以通过下述方法使用拟像来执行ar显示：检测与眼睛类似的部分作为关于在用户的视场的捕获图像中示出的建筑物的标签图像，并且使用ar在与眼睛类似的部分下方显示“嘴”的角色图像。接下来，将参照图19描述其详细示例。

图19是示出根据实施方式的角色显示的具体示例的图。如图19的上部所示，在车辆的前灯部分36被检测为标签图像的情况下，眼镜型终端1通过使用ar在前灯下方显示“嘴”的角色图像42。因此，车辆看起来像是一张脸并且可以容易地吸引用户的注意力。

另外，如图19的中部所示，在建筑物的双窗口部分38被检测为标签图像的情况下，眼镜型终端1通过使用ar在窗口下方显示“嘴”的角色图像43。因此，房屋看起来像是一张脸，并且可以容易地吸引用户的注意力。

另外，如图19的下部所示，在盥洗室中的两个水龙头把手40被检测为标签图像的情况下，眼镜式终端1通过使用ar在水龙头把手下方显示“嘴”的角色图像44。因此，盥洗室看起来像是一张脸，并且可以容易地吸引用户的注意力。

“嘴”的角色图像42至44可以是静止图像或运动图像(动画)。

另外，在上述实施方式中，可以控制“眼睛”的角色图像并且使角色看向用户或视线离开用户。另一方面，关于使用如图19所示的拟像的ar显示，还可以通过使用“嘴”的角色图像或者“鼻子”的角色图象的方向来改变看起来像是一张脸的建筑物的注视方向。接下来，将参照图20描述其细节。

图20是示出根据实施方式的用于改变建筑物的注视方向的具体示例的图。在图20左侧的示例中，使用ar显示“鼻子”的角色图像45a和“嘴”的角色图像46a，使得角色图像45a和46a面向右方。因此，可以将房屋显示为好像面向右方一样(就好像房屋的视线离开用户一样)。另一方面，在图20右侧的示例中，使用ar显示“鼻子”的角色图像45b和“嘴”的角色图像46b，使得角色图像45a和46a面向前方。因此，可以将房屋显示为好像面向前方一样(好像房屋看向用户一样)。

<1-5.补充>

在上述第一实施方式中，在如参照图7所述的从由眼镜型终端1的成像单元12连续捕获的视场的图像中检测到标签图像的情况下，执行呈现信息获取处理。因此，成像单元12的电源必须始终处于开启位置。然而，实施方式不限于此。例如，在成像单元12的电源处于关闭位置时，在基于由眼镜型终端1的位置信息获取单元(未示出)和陀螺仪传感器(未示出)获取的当前位置信息和方向信息来估计用户的视场范围并且视场范围包括标签图像的情况下，可以接通成像单元12的电源。接下来，将参照图21给出以下描述。

图21是示出标签图像映射数据的示例的图。例如，图21中所示的标签图像映射数据150被存储在眼镜型终端1的存储单元15中。眼镜型终端1的控制单元10能够在使用标签图像映射数据150的同时基于当前位置信息和方向信息来估计用户的视场范围151，并且能够确定视场范围151包括标签图像152。

在确定视场范围151包括标签图像152的情况下，控制单元10接通成像单元12的电源，捕获用户的视场范围的图像，检测标签图像，将从标签图像中提取的标签信息发送至服务器2，并且获取呈现信息。另外，可以通过使用ar在标签图像的位置处显示角色图像，并且将呈现信息呈现给用户。

注意，标签图像映射数据可以被存储在服务器2中。在这种情况下，眼镜型终端1将当前位置信息和方向信息发送至服务器2，并且询问是否存在标签图像。随后，服务器确定是否存在标签图像，并且将确定结果返回给眼镜型终端1。

<<2.第二实施方式>>

<2-1.概述>

接下来，将描述本公开内容的第二实施方式。在上述第一实施方式中，当在真实空间中检测到图像时，使用ar显示“眼睛”和“嘴”的角色图像，以防止用户不知道真实空间中的点。然而，本公开内容不限于此。例如，当至少在注视区域之外的区域(在下文中，也称为视场之外)中检测到像用户的朋友等所登记的面部(与对象(例如朋友)对应的信息的示例)时，可以通知用户并且防止用户不知道他/她的朋友在用户附近但是未被用户识别。

图22是示出根据第二实施方式的信息处理系统的概览的图。如图22所示，根据实施方式，例如，当用户a正在行走时，耳机装置5(客户端的示例)的声音代理可以用声音向用户a通知用户的朋友(用户b)的存在。耳机装置5由用户a佩戴，并且尽管用户b在用户a附近，但是用户b在用户a的视场之外。耳机装置5包括通过人工语音与用户a进行对话的语音代理功能。耳机装置5向用户提供各种类型的信息，例如路线引导或音乐再现。用户与代理之间的语音对话使用麦克风52和安装在耳机装置5中的扬声器54来执行(参见图23)。

另外，耳机装置5包括成像单元51(参见图23和图24)，成像单元51捕获用户a的视场之外(具体地，注视区域之外的)的至少一个区域的图像。耳机装置5通过使用成像单元51连续捕获周围区域的图像，并且当在捕获图像中检测到预先登记的面部(这里是用户b的面部)时通知用户a。可以通过网络由服务器6(参见图23)检测所登记的面部。服务器6能够与耳机装置5通信。

因此，当在用户周围发现预定人时，根据实施方式的耳机装置5可以通知用户并且防止用户不知道该预定人。

<2-2.配置>

接下来，将参照图23描述根据实施方式的信息处理系统的各个结构元件。如图23所示，根据实施方式的信息处理系统包括耳机装置5和服务器6。耳机装置5和服务器6可以经由网络7连接，并且发送/接收数据。接下来，将描述各个装置的详细配置。

(2-2-1.耳机装置5的配置)

如图23所示，根据实施方式的耳机装置5包括控制单元50、成像单元51、麦克风52、通信单元53和扬声器54。

控制单元50充当算术处理装置和控制装置，并且根据各种类型的程序控制耳机装置5中的整体操作。例如，控制单元50由诸如cpu或微处理器的电子电路实现。另外，控制单元50可以包括用于存储要使用的程序、算术参数等的rom以及用于临时存储适当改变的参数等的ram。

另外，根据实施方式的控制单元50执行控制，使得由麦克风52收集的用户语音被发送至服务器6，并且扬声器54输出从服务器6接收的响应消息(换言之，代理语音)。因此，可以提供与代理的语音对话服务。另外，控制单元50执行控制，使得由成像单元51捕获的图像经由通信单元53被连续发送至服务器6。

成像单元51包括镜头系统、驱动系统、固态图像传感器阵列等。镜头系统包括成像镜头、光圈、变焦镜头、聚焦镜头等。驱动系统使镜头系统执行聚焦操作和变焦操作。固态图像传感器阵列对由镜头系统获取的成像光执行光电转换以生成成像信号。例如，固态图像传感器阵列可以由ccd传感器阵列或cmos传感器阵列实现。

另外，根据本实施方式的成像单元51被安装成使得当用户佩戴耳机装置5时，成像单元51面向捕获用户周围区域(至少是用户视场之外的区域)的图像的方向。另外，可以安装多个成像单元51。接下来，将参照图24至图25描述成像单元51的安装示例。

图24是示出根据实施方式的成像单元51的安装示例的图。例如，如图24所示，成像单元51a至51d中的每一个可以具有90°的视角，并且成像单元51a至51d中的两个可以被安装在耳机装置5的右壳体单元56r上，并且另外两个成像单元51a至51d可以被安装在耳机装置5的左外壳单元56l上，使得成像单元51a至51d捕获至少在用户的视场的界限范围之外的区域的图像。

图25是示出根据实施方式的成像单元51的另一安装示例的图。例如，如图25所示，成像单元51e和51f中的每一个可以具有180°的视角，并且成像单元51e可以被安装在耳机装置5的左壳体单元56l上，并且成像单元51f可以被安装在耳机装置5的右壳体单元56r上，使得成像单元51e和51f捕获至少在用户的视场范围之外的区域的图像。

注意，在图24和图25所示的示例中，使用其视角覆盖用户视场之外的区域的相机作为示例。然而，实施方式不限于此。还可以使用捕获用户的视场区域和用户视场之外的区域的成像单元。例如，可以将鱼眼镜头、双曲面镜相机等安装在头戴式耳机上，使得鱼眼镜头、双曲面镜相机等拍摄360°的视频。当佩戴耳机装置5时，耳机被定位在头部上。

麦克风52收集用户的语音并且将声音信号输出至控制单元50。

通信单元53具有以有线或无线方式与外部装置连接并且发送/接收数据的功能。例如，通信单元53经由wi-fi(注册商标)、bluetooth(注册商标)、无线局域网(lan)等与网络7连接，并且经由网络7向服务器6发送数据/从服务器6接收数据。

扬声器54具有再现声音信号的功能。例如，根据实施方式的扬声器54包括一对耳机单元。耳机单元被安装在壳体单元56r和56l中，使得当用户佩戴耳机装置5时，各个耳机单元覆盖用户的右耳和左耳。此外，扬声器54可以被配置成所谓的骨传导扬声器。

上面描述了耳机装置5的配置示例的细节。

(2-2-2.服务器6的配置)

接下来，将描述服务器6的配置。如图23所示，根据实施方式的服务器6包括控制单元60、通信单元61、用户简档存储单元62、音素db63和面部图像db64。

控制单元60充当算术处理装置和控制装置，以根据各种程序控制服务器6中的整体操作。例如，控制单元60由诸如cpu或微处理器的电子电路实现。控制单元60可以包括用于存储要使用的程序、算术参数等的rom以及用于临时存储适当改变的参数等的ram。

另外，根据实施方式的控制单元60还充当声音/文本转换单元601、含义理解单元602、面部图像识别单元603和响应消息生成单元604。

声音/文本转换单元601分析从耳机装置5发送的声音信号并且将声音信号转换成文本。另外，声音/文本转换单元601还将响应消息转换成声音信号。响应消息由响应消息生成单元604(稍后描述)生成。在转换成声音信号的情况下，通过使用在音素db63中累积的音素数据将响应消息转换成预定代理的语音。

含义理解单元602通过分析由声音/文本转换单元601执行的转换而获得的文本来理解文本的含义。例如，含义理解单元602通过执行词法分析和语法分析来理解文本的含义。

面部图像识别单元603分析从耳机装置5发送的捕获图像并且识别面部图像。另外，面部图像识别单元603参考已经登记在面部图像db64中的已登记面部图像，并且确定面部图像db64是否包括具有与从耳机装置5发送的捕获图像类似的面部特征量的面部图像。

响应消息生成单元604响应于用户语音，基于由含义理解单元602执行的分析而获得的含义分析结果来生成响应消息。此外，在面部图像识别单元603已经在捕获图像中识别出登记的预定人的面部图像的情况下，响应消息生成单元604生成通知用户该人的存在的响应消息。

通信单元61具有与外部装置连接以及发送/接收数据的功能。例如，通信单元61经由无线或有线局域网(lan)等与网络3连接，并且向耳机装置5发送数据/从耳机装置5接收数据。

用户简档存储单元62累积与用户相关的信息。例如，与用户相关的信息包括代理设置信息、朋友信息等。

音素db63是存储音素数据的存储单元。音素db63包括用于每个代理的音素数据。

面部图像db64是累积诸如每个用户的朋友的预定人的面部图像信息(图像数据和特征量数据)的存储单元。

<2-3.操作处理>

接下来，将参照图26至图27描述根据实施方式的操作处理。图26和图27是示出根据实施方式的信息处理系统中的操作处理的序列图。

如图26所示，耳机装置5首先检测到用户佩戴了耳机(步骤s303)。例如，可以在耳机装置5的电源被接通的情况下检测到佩戴了耳机。

接下来，耳机装置5通知服务器6耳机被佩戴(步骤s306)。此时，除了通知之外，还将诸如用户id的用户标识信息发送至服务器6。

接下来，当接收到指示特定用户正佩戴耳机的信息时(步骤s309)，服务器6参考用户简档并且激活针对特定用户设置的预定角色(代理角色)的声音代理(步骤s312)。因此，开始与代理角色的声音对话。

接下来，耳机装置5向服务器6连续发送由麦克风52收集的用户声音消息(换言之，说话的语音数据)或者由成像单元51捕获的图像(具体地，至少视场之外的区域的捕获图像)(步骤s315)。

接下来，在服务器6从耳机装置5接收到声音消息的情况下(在步骤s318中为“是”)，声音/文本转换单元601将声音消息转换成文本(步骤s321)，并且含义理解单元602执行词法分析和语法分析以理解已被转换成文本的声音消息的含义。

接下来，服务器6的响应消息生成单元604根据含义理解的结果生成响应声音消息(步骤s327)，并且服务器6将已经由声音/文本转换单元601转换成声音信号的响应声音消息发送至耳机装置5(步骤s345)。

另一方面，在服务器6从耳机装置5接收到捕获图像(在步骤s330中为“是”)而不是声音消息的情况下(在步骤s318中为“否”)，耳机装置5通过使用面部图像识别单元603来识别面部图像(步骤s333)。

接下来，面部图像识别单元603将识别出的面部图像与诸如用户的朋友的预定人的面部图像进行比较，并且对诸如朋友的预定人的面部执行识别处理(步骤s336)。面部图像被预先登记在面部图像db64中。

接下来，在识别出诸如朋友的预定人的面部的情况下(在步骤s336中为“是”)，响应消息生成单元604生成用于向用户通知发现预定人的响应声音消息(步骤s327)。

另一方面，在未识别出诸如朋友的预定人(在步骤s336中为“否”)并且未接收到声音消息达预定时间段(例如30秒)(在步骤s339中为“否”)的情况下，服务器6的响应消息生成单元604重置计时器并且选择响应声音消息(步骤s342)。例如，响应消息生成单元604选择并且生成对用户的招呼消息，例如“你在做什么？”或“猜猜看！”。

接下来，当耳机装置5从服务器6接收到响应声音消息时(在步骤s348中为“是”)，扬声器54再现该响应声音消息(步骤s351)。

如上所述，根据本实施方式，在面部图像db64中预先登记诸如朋友的预定人的面部图像，并且在用户正在与声音代理交谈的背景下，将在面部图像db64中登记的面部与由成像单元51捕获的图像中的面部进行比较。接下来，在发现所登记的朋友的面部的情况下，声音代理通知用户。

因此，当用户佩戴根据实施方式的耳机装置5时，用户总是可以与某人/某物连接，使得声音代理用作与之交谈的人，或者在声音代理在用户视场之外的区域中发现用户的朋友的情况下，声音代理通知用户。

<2-4.应用示例>

接下来，将参照附图描述实施方式的应用示例的细节。

(2-4-1.第一应用示例)

在上述实施方式中，在发现朋友的情况下通知用户。然而，实施方式不限于此。还可以仅向用户通知允许被发现的朋友。具体地，在后台处理中发现所登记的朋友的情况下，经由通信应用程序编程接口(api)将用于获得对用户发现的许可的通知发送至朋友的通信终端。只有在朋友允许被发现的情况下，声音代理才通知用户。因此，可以避免向用户通知不想被发现的朋友。接下来，将参照图28至图29描述其细节。

(配置)

图28是示出根据第一应用示例的信息处理系统的整体配置的图。如图28所示，根据第一应用示例的信息处理系统包括耳机装置5、服务器6和信使服务器8。

耳机装置5和服务器6的配置类似于参照图23描述的配置。因此，这里省略了对附图的重复描述和参照。

信使服务器8是实现通信api的服务器。信使服务器8包括控制单元80、通信单元81、消息历史存储单元82和用户地址db83。

控制单元80经由通信单元81与各个用户的通信终端连接，并且发送/接收数据。具体地，控制单元80可以在用户之间发送/接收消息。另外，响应于来自服务器6的请求，控制单元80执行控制，使得查询消息被发送至预定用户的通信终端，并且来自用户的响应被返回至服务器6。

消息历史存储单元82存储在各个用户之间交换的消息。

用户地址db83存储各个用户的地址。

(操作处理)

图29是示出根据第一应用示例的信息处理系统的操作处理的流程图。此处，将参照附图主要描述与参照图26和图27描述的操作处理不同的步骤。

在该应用示例中，执行图26和图27中所示的步骤s303至步骤s351中的处理以提供与代理的语音对话。

另外，在应用示例中，在服务器6的面部图像识别单元603识别出朋友的面部(此处，假设朋友是“用户b”)的情况下(在步骤s336中为“是”)，将请求发送至信使服务器8，该请求询问用户b是否允许被用户的耳机装置5发现(此处，假设用户是“用户a”)(步骤s363)。

接下来，信使服务器8将查询消息发送至用户b的通信终端(诸如智能电话、移动电话终端、平板终端或可穿戴式装置)(步骤s366)。具体地，信使服务器8询问是否允许被用户a的耳机装置5发现。当用户b的通信终端通过语音或显示输出查询时，用户b回答是或否。

接下来，当接收到来自用户b的响应时，信使服务器8向服务器6通知该响应(步骤s369)。

接下来，在获得了来自用户b的许可的情况下(在步骤s342中为“是”)，服务器6的响应消息生成单元604生成用于通知用户a发现用户b的响应声音消息(步骤s327)。

另一方面，在未获得来自用户b的许可的情况下(在步骤s342中为“否”)，服务器6不生成用于通知用户a发现用户b的响应声音消息。

如上所述，在第一应用示例中，可以防止在用户a的耳机装置5发现用户但是未获得来自所发现的用户的许可时通知用户。

(2-4-2.第二应用示例)

接下来，根据实施方式的信息处理系统能够在通知发现朋友时通知朋友所在的方向。具体地，在后台处理中发现所登记朋友的情况下，可以基于朋友的位置与用户的位置之间的相对关系来向用户通知朋友所在的方向。接下来，将参照图30至图32描述其细节。

(配置)

图30是示出根据第二应用示例的信息处理系统的整体配置的图。如图30所示，根据第二应用示例的信息处理系统包括耳机装置5a、服务器6a和信使服务器8。此处，作为示例，将描述以下情况：信息处理系统包括第一应用示例中描述的信使服务器8，并且因此具有在获得了来自所发现的朋友的许可时通知用户的功能。

另外，除了参照图23描述的结构元件之外，耳机装置5a还具有位置/方向检测单元55。位置/方向检测单元55具有检测耳机装置5的位置信息的功能以及检测耳机装置5的方向信息的功能。例如，检测位置信息的功能是由全球定位系统(gps)单元实现的，该gps单元接收来自gps卫星的无线电波，检测耳机装置5的位置，并且将检测到的位置信息输出至控制单元50。除了gps之外，例如，检测位置信息的功能可以由通过wi-fi(注册商标)、bluetooth(注册商标)与移动电话、phs、智能电话等进行发送/接收以及通过近场通信等来检测位置的装置的来实现。检测方向的功能可以由陀螺仪传感器或地磁传感器实现，并且可以检测佩戴耳机装置5a的用户面对的方向。

除了参照图23描述的结构元件之外，服务器6a还包括作为控制单元60的功能的方向计算单元605。

方向计算单元605基于用户的当前位置以及由面部图像识别单元603识别的朋友的位置来计算用户b位于的方向。用户b位于的方向可以基于用户a面向的方向来表达，例如“您的朋友在右后侧”或者“您的朋友在左后侧”。替选地，用户b所在的方向可以通过使用用作用户周围的地标的点来表达，例如“您的朋友在xx建筑物方向”或“您的朋友在xx车站方向”。

(操作处理)

图31和图32是示出根据第二应用示例的信息处理系统的操作处理的流程图。注意，与参照图26和图27描述的操作处理类似的处理用相同的步骤编号表示。

如图31所示，耳机装置5a首先检测到耳机被佩戴(步骤s303)，然后通知服务器6a(步骤s306)。

接下来，当接收到指示特定用户正佩戴耳机的信息时(步骤s309)，服务器6a激活设置的预定角色(代理角色)的声音代理(步骤s312)。

接下来，耳机装置5a向服务器6a连续发送声音消息或附上了由位置/方向检测单元55检测到的位置信息和方向信息的捕获图像(步骤s316)。

接下来，在从耳机装置5a接收到声音消息的情况下(在步骤s318中为“是”)，服务器6a的声音/文本转换单元601将声音消息转换成文本(步骤s321)，并且含义理解单元602执行词法分析和语法分析以理解已被转换成文本的声音消息的含义。

接下来，服务器6a的响应消息生成单元604根据含义理解的结果生成响应声音消息(步骤s328)，并且服务器6a向耳机装置5a发送已经由声音/文本转换单元601转换成声音信号的响应声音消息。(步骤s345)。

另一方面，在服务器6a从耳机装置5a接收到捕获图像(在步骤s330中为“是”)而不是声音消息(在步骤s318中为“否”)的情况下，耳机装置5a通过使用面部图像识别单元603来识别面部图像：(步骤s333)。

接下来，在面部图像识别单元603将识别出的面部图像与预先登记在面部图像db64上的诸如用户的朋友的预定人的面部图像进行比较并且识别出朋友的面部(此处。假设朋友是“用户b”)的情况下(在步骤s336中为“是”)，向信使服务器8发送请求，该请求询问用户b是否允许被用户的耳机装置5a发现(此处，假设用户是“用户a”)(步骤s363)。

接下来，信使服务器8将查询消息发送到用户b的通信终端(步骤s367)。此时，信使服务器8还请求用户b的当前位置信息。

接下来，当接收到来自用户b的响应时，信使服务器8向服务器6a通知该响应(步骤s369)。此时，可以将从用户b的通信终端获得的当前位置信息附到响应中。

接下来，在从用户b获得位置信息和许可的情况下(在步骤s343中为“是”)，服务器6a的方向计算单元605根据用户的位置以及耳机装置5a的位置/方向指定用户a与用户b之间的相对位置关系(步骤s344)。注意，如上所述，指示用户b的方向的信息可以是使用可以用作用户a周围的地标的建筑物等的信息。

接下来，服务器6a的响应消息生成单元604生成响应声音消息，该响应声音消息用于向用户a通知发现用户b，并且向用户a通知用户b所在的方向(步骤s328)。

如上所述，在第二应用示例中，可以在发现朋友的情况下另外向用户a通知该朋友所在的方向。

(2-4-3.第三应用示例)

在上述实施方式和应用示例中，服务器6执行用于从捕获图像中识别所登记的面部图像的处理。然而，实施方式不限于此。耳机装置5还可以执行用于发现朋友的处理。接下来，将参照图33至图34给出以下描述。

(配置)

图33是示出根据第三应用示例的信息处理系统的整体配置的图。如图33所示，根据第三应用示例的信息处理系统包括耳机装置5b和服务器6b。

除了参照图23描述的结构元件之外，耳机装置5b包括用户简档存储单元56、音素db57和面部图像db58。另外，耳机装置5b的控制单元50b充当面部图像识别单元501和响应消息生成单元502。

以类似于参照图23描述的服务器6的用户简档存储单元62、音素db63和面部图像db64的方式，用户简档存储单元56、音素db57和面部图像db58分别累积与用户、音素数据以及诸如用户的朋友的预定人的面部图像信息相关的信息。

面部图像识别单元501通过分析视场之外的至少一个区域的图像来识别面部图像，该图像已经由成像单元51捕获。此外，面部图像识别单元501参考已经登记在面部图像db58中的所登记的面部图像(朋友的面部图像)并且确定捕获图像是否包括具有与所登记的面部图像类似的面部特征量的面部图像。

在面部图像识别单元501在捕获图像中识别出所登记的预定人的面部图像的情况下，响应消息生成单元502生成向用户通知该人的存在的响应消息。

(操作处理)

图34是示出根据第三应用示例的信息处理系统的操作处理的流程图。注意，类似于参照图26和图27所述的操作处理的处理用相同的步骤编号表示。

如图34所示，耳机装置5b首先检测到耳机被佩戴(步骤s303)，然后通知服务器6b(步骤s306)。

接下来，当接收到指示特定用户正佩戴耳机的信息时(步骤s309)，服务器6b激活设置的预定角色(代理角色)的声音代理(步骤s312)。

接下来，耳机装置5b向服务器6a连续发送声音消息(步骤s317)，服务器6b理解声音消息的含义(步骤s318至步骤s324)，并且生成响应声音消息(步骤s327)。

另外，在未接收到声音消息达预定时间段(例如30秒)或更长时间的情况下(在步骤s339中为“是”)，自动选择响应声音消息(步骤s342)。

接下来，当从服务器6b接收到响应声音消息时(在步骤s348中为“是”)，耳机装置5b的扬声器54再现代理的响应声音消息(步骤s351)。

另外，根据实施方式的耳机装置5b的面部图像识别单元501从捕获图像中识别面部图像(步骤s403)。此时，面部图像识别单元501还将识别出的面部与预先登记在面部图像db58中的朋友的面部进行匹配。

接下来，在从捕获图像中识别出朋友的面部的情况下(在步骤s406中为“是”)，耳机装置5b的响应消息生成单元502生成指示发现朋友的响应声音消息(步骤s409)。另外，响应消息生成单元502通过使用存储在音素db57中的预定代理的音素数据将所生成的响应消息转换成声音信号。

接下来，耳机装置5b的扬声器54再现所生成的代理的响应声音消息(步骤s351)。

如上所述，在第三应用示例中，耳机装置5可以单独发现朋友并且通知用户。

<2-5.补充>

将描述对上述第二实施方式的补充。

在该实施方式中，可以设置多个声音代理。用户也可以通过调用代理的名称来选择代理并且进行对话。具体地，如jp2002-358092a中所述，通过在多个语音代理的音素db中累积多组音素来实现这种功能。由于名称和音素db彼此相关联，因此服务器6能够在检测到用户通过语音识别处理来指定的代理的名称时自动切换音素。另外，用户还能够基于声音代理的语音质量来选择声音代理。

另外，根据上述第二应用示例，在朋友的音素数据被登记在音素db中的情况下，还可以将第二应用示例与声像定位技术进行组合并且再现响应声音消息，使得代理通过使用朋友的声音从朋友所在的方向呼叫用户。

另外，在发现朋友的情况下，还可以通过信使服务器8等向朋友通知用户自己的位置信息，并且使用朋友的通信终端开始导航。

另外，例如，在用户忙或赶时间的情况下，可以根据实施方式关闭发现朋友的功能。

另外，在上述第一应用示例中，被发现的用户需要执行许可处理。然而，为了减轻许可的负担，还可以通过使用智能电话或耳机装置的声音代理预先设置该朋友是否允许被发现。

另外，耳机装置5还可以包括捕获用户的视场(前方)方向的图像的成像单元。

另外，在上述第三应用示例中，描述了耳机装置5执行寻找朋友的处理的情况。然而，耳机装置5还可以执行语音代理对话生成处理。

另外，在上述第二实施方式和各个应用示例中，描述了耳机设备5经由通信单元53通过网络与服务器6直接通信的系统配置。然而，实施方式不限于此。耳机设备5还可以经由诸如用户持有的智能电话之类的外部通信终端与服务器6通信。

<<3.结论>>

如上所述，根据本公开内容的实施方式，信息处理系统可以呈现用户未注意到的信息。

以上参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求书的范围内找到各种改变和修改，并且应该理解，这些改变和修改将本质上落入本公开内容的技术范围内。

例如，还可以创建下述计算机程序，该计算机程序用于使嵌入上述眼镜型终端1、服务器2、耳机设备5或服务器6中的诸如cpu、rom和ram之类的硬件执行眼镜式终端1、服务器2、耳机设备5或服务器6的功能。此外，可以提供存储有该计算机程序的计算机可读记录介质。

此外，本说明书中描述的效果仅仅是说明性的或示例性的而不是限制性的效果。也就是说，利用或代替上述效果，根据本公开内容的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。

另外，本技术还可以被配置如下。

(1)

一种服务器，包括：

通信单元，其被配置成接收与由客户端的成像单元获取的图像相关的信息；以及

控制单元，其被配置成能够基于与所述图像相关的信息来提取与对象对应的信息，并且将与所述对象相关的信息发送至所述客户端，所述对象位于用户的注视区域之外并且与用户信息相关。

(2)

根据(1)所述的服务器，

其中，所述控制单元执行控制，使得从由所述客户端的成像单元获取的所述用户的视场图像中提取与取决于所述用户的兴趣信息的对象对应的信息，并且经由所述通信单元将要呈现给所述用户的呈现信息和角色信息发送至所述客户端，所述角色信息指示在与所述对象对应的信息上叠加和显示的角色。

(3)

根据(2)所述的服务器，

其中，所述控制单元基于与所述对象相关的信息同所述用户的兴趣信息之间的比较来决定要呈现给所述用户的呈现信息。

(4)

根据(1)至(3)中任一项所述的服务器，

其中，当经由所述通信单元接收到与所述用户对叠加和显示在与所述对象对应的信息上的角色的注视相关的信息时，所述控制单元根据与所述用户的所述注视相关的信息改变要呈现给所述用户的呈现信息的内容。

(5)

根据(4)所述的服务器，

其中，与所述用户的所述注视相关的信息是呈现信息更新请求。

(6)

根据(5)所述的服务器，

其中，所述控制单元根据所述呈现信息更新请求将所述呈现信息的内容改变成更详细的信息。

(7)

根据(4)所述的服务器，

其中，与所述用户对叠加和显示的所述角色的注视相关的信息是关于所述用户注意到所述角色这一事实的信息。

(8)

根据(1)所述的服务器，其中，

所述控制单元具有理解由所述客户端的用户输入的声音的含义并且将对应的声音消息发送至所述客户端的功能，并且

所述控制单元控制所述通信单元，使得当从所述客户端的所述成像单元捕获的图像中检测到预先登记的人时，将用于向所述用户通知所述检测的声音消息发送至所述客户端。

(9)

根据(8)所述的服务器，

其中，所述控制单元控制所述通信单元，使得当从至少所述用户的视场之外的区域的图像中检测到预先登记的人时，将用于向所述用户通知所述检测的声音消息发送至所述客户端，所述图像由所述客户端的所述成像单元捕获。

(10)

根据(8)或(9)所述的服务器，

其中，所述控制单元控制所述通信单元，使得

将要求用于向所述用户通知的许可的请求发送至所述预先登记的人的账户，并且

根据接收到的对所述请求的响应，将用于向所述用户通知的声音消息发送至所述客户端。

(11)

根据(8)至(10)中任一项所述的服务器，

其中，所述控制单元控制所述通信单元，使得

连同由所述客户端的成像单元捕获的图像一起获取关于所述客户端的位置和方向的信息，

将要求用于向所述用户通知的许可以及对当前位置信息的请求发送至所述预先登记的人的账户，并且

根据针对所述请求接收到的响应于对用于向所述用户通知的许可的要求而发出的许可和所述位置信息，将用于向所述用户通知的指示所述预先登记的人所在的方向的信息的声音消息发送至所述客户端。

(12)

一种客户端，包括：

输出单元，其被配置成向用户输出信息；以及

控制单元，其被配置成控制所述输出单元，使得根据与对象对应的信息输出与所述对象相关的信息，所述对象基于与由成像单元获取的图像相关的信息来指定，所述对象位于所述用户的注视区域之外并且与用户信息相关。

(13)

根据(12)所述的客户端，

其中，所述控制单元控制所述输出单元，使得将角色信息叠加和显示在所述图像中的与所述用户的兴趣信息相关的对象上，并且输出要呈现给所述用户的呈现信息。

(14)

根据(12)所述的客户端，

其中，所述控制单元控制所述输出单元，使得当从由所述成像单元捕获的图像中检测到预先登记的人时，所述输出单元输出用于向所述用户通知检测到所述人的声音消息。

(15)

一种控制方法，所述控制方法使得处理器：

通过通信单元接收与由客户端的成像单元获取的图像相关的信息；并且

能够基于与所述图像相关的信息来提取与对象对应的信息，并且将与所述对象相关的信息发送至所述客户端，所述对象位于用户的注视区域之外并且与用户信息相关。

(16)

一种存储介质，所述存储介质存储有程序，所述程序使计算机充当：

输出单元，其被配置成向用户输出信息；以及

控制单元，其被配置成控制所述输出单元，使得根据与对象对应的信息输出与所述对象相关的信息，所述对象基于与由成像单元获取的图像相关的信息来指定，所述对象位于所述用户的注视区域之外并且与用户信息相关。

附图标记列表

1眼镜式终端

2服务器

3网络

5耳机装置

6服务器

7网络

8信使服务器

10控制单元

101标签图像检测单元

102呈现信息获取单元

103呈现方法设置单元

104信息呈现控制单元

105用户行为检测单元

106呈现信息更新单元

11通信单元

12成像单元

13显示单元

14声音输出单元

15存储单元

16注视检测单元

20控制单元

201对象信息获取单元

202关注度设置单元

203呈现信息提供单元

204呈现信息更新单元

21通信单元

22用户信息db

23用户信息db

30招牌

32标签图片

34角色形象

50控制单元

51成像单元

52麦克风

53通信单元

54扬声器

55位置/方向检测单元

56用户简档存储单元

60控制单元

601文本转换单元

602含义理解单元

603面部图像识别单元

604响应消息生成单元

605方向计算单元

61通信单元

62用户简档存储单元

63音素db

64面部图像db

80控制单元

81通信单元

82消息历史存储单元