信息处理设备、信息处理方法及程序与流程

本公开内容涉及信息处理设备、信息处理方法及程序。

背景技术：

以全球定位系统(gps)为代表的全球导航卫星系统(gnss)已广泛用于检测用户位置的方法中。然而，在gnss中，在室内或在难以从卫星接收无线电波的建成区域中并不总是能够获得足够的位置检测精度。在这种情况下，可以采用例如基于wi-fi等的可通信接入点和来自接入点的无线电波的强度来估计用户的位置的方法。然而，由于位置已被指定的接入点受限制或者无线电波的强度受到各种情绪化的状况的影响，因此该方法难以提高精度。专利文献1中描述了用作对这些情况的解决方案的自主定位技术。

引用列表

专利文献

专利文献1：jp2013-210300a

技术实现要素：

技术问题

尽管专利文献1中描述的自主定位技术能够应用于各种各样的情况，但是该技术例如在通过消除由于用户的个体移动差异或者携带或佩戴终端装置的方式而引起的误差的影响来提高精度方面受到限制。此外，由于执行相对定位，因此存在误差的影响累积增加的可能性。因此，例如，如上所述，在难以使用gnss或接入点进行定位的情况下，需要基于绝对标准来精确地估计用户的位置的技术。

因此，本公开内容提出了一种改进的并且新颖的信息处理设备、信息处理方法及程序，其可以通过预先准备绝对标准基于传感器数据来精确地估计用户的位置。

问题的解决方案

根据本公开内容，提供了一种信息处理设备，包括：特征提取器，被配置成提取由用户携带或佩戴的传感器提供的第一传感器数据的特征；匹配单元，被配置成将第一传感器数据的特征和与第一传感器数据对应的第二传感器数据的特征进行匹配，第二传感器数据的特征与给定的位置信息相关联；以及位置估计单元，被配置成基于匹配的结果来估计用户的位置。

根据本公开内容，提供了一种信息处理方法，包括：提取由用户携带或佩戴的传感器提供的第一传感器数据的特征；将第一传感器数据的特征和与第一传感器数据对应的第二传感器数据的特征进行匹配，第二传感器数据的特征与给定的位置信息相关联；以及基于匹配的结果来估计用户的位置。

根据本公开内容，提供了一种程序，该程序使处理电路能够实现以下功能：提取由用户携带或佩戴的传感器提供的第一传感器数据的特征的功能；将第一传感器数据的特征和与第一传感器数据对应的第二传感器数据的特征进行匹配的功能，第二传感器数据的特征与给定的位置信息相关联；以及基于匹配的结果来估计用户的位置的功能。

发明的有益效果

根据上述本公开内容，预先准备绝对标准，使得可以基于传感器数据来精确地估计用户的位置。

注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的效果或可以从本说明书中领会的其他效果中的任意一种效果。

附图说明

[图1]图1是示出了本公开内容的实施方式的示例性整体配置的框图。

[图2a]图2a是示出了本公开内容的实施方式的另一示例性整体配置的框图。

[图2b]图2b是示出了本公开内容的实施方式的又一示例性整体配置的框图。

[图3]图3是示出了根据本公开内容的实施方式的输入单元、处理单元和输出单元的功能配置的第一示例的示意性框图。

[图4]图4是示出了根据本公开内容的实施方式的输入单元、处理单元和输出单元的功能配置的第二示例的示意性框图。

[图5]图5是用于说明根据本公开内容的实施方式的地图学习和位置估计的概况的图。

[图6]图6是用于说明在本公开内容的实施方式中使用的示例性概率模型的图。

[图7]图7是示出了在本公开内容的实施方式中生成的示例性传感器图的视图。

[图8]图8是示出了根据本公开内容的实施方式的系统配置的第一示例的框图。

[图9]图9是示出了根据本公开内容的实施方式的系统配置的第二示例的框图。

[图10]图10是示出了根据本公开内容的实施方式的系统配置的第三示例的框图。

[图11]图11是示出了根据本公开内容的实施方式的系统配置的第四示例的框图。

[图12]图12是示出了根据本公开内容的实施方式的信息处理设备的示例性硬件配置的框图。

具体实施方式

在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记表示功能和结构基本上相同的结构元件，并且省略对这些结构元件的重复说明。

将按照以下顺序进行描述。

1.整体配置

1-1.输入单元

1-2.处理单元

1-3.输出单元

2.示例性功能配置

2-1.在执行位置估计时

2-2.在执行地图学习时

3.地图学习和位置估计的原理

4.实施例

5.系统配置

6.硬件配置

7.补充

(1.整体配置)

图1是示出了本公开内容的实施方式的示例性整体配置的框图。参照图1，系统10包括输入单元100、处理单元200和输出单元300。输入单元100、处理单元200和输出单元300由如在随后描述的系统10的示例性配置中所示的一个或多个信息处理设备来实现。

(1-1.输入单元)

例如，输入单元100包括操纵输入装置、传感器、从外部服务获取信息的软件等，并且从用户、周围环境或其他服务接收各种信息的输入。

例如，操纵输入装置包括硬件按钮、键盘、鼠标、触摸面板、触摸传感器、接近传感器、加速度传感器、陀螺仪传感器、温度传感器等，并且接收由用户进行的操纵输入。操纵输入装置还可以包括接收由用户的手势或语音表达的操纵输入的相机(即，图像传感器)、麦克风等。

此外，输入单元100可以包括将由操纵输入装置获取的信号或数据转换成操纵命令的处理器或处理电路。可替选地，输入单元100可以将由操纵输入装置获取的信号或数据输出至接口150而不转换成操纵命令。在这种情况下，由操纵输入装置获取的信号或数据例如由处理单元200转换成操纵命令。

传感器包括加速度传感器、陀螺仪传感器、地磁传感器、照度传感器、温度传感器、气压传感器等，并且检测施加给装置或与装置相关联的加速度、角速度、地理方向、照度、温度或大气压力。当用户携带或佩戴包括传感器的装置时，这些不同传感器可以检测各种信息作为关于用户的信息(例如，作为表示用户的移动或定向的信息)。传感器还可以包括检测诸如例如，脉搏、出汗情况、脑波、触觉、嗅觉、味觉等的用户的生物信息的传感器。输入单元100可以包括以下处理电路：所述处理电路通过分析由随后描述的相机或麦克风检测到的图像或声音的数据和/或由这些传感器检测到的信息来获取表示用户情绪的信息。可替选地，信息和/或数据可以在不进行分析的情况下被输出至接口150，然后可以例如由处理单元200来进行分析。

传感器可以通过相机、麦克风、上述各种传感器等获取用户或装置附近的图像或声音作为数据。传感器还可以包括检测室内或室外位置的位置检测部件。具体地，位置检测部件可以包括全球导航卫星系统(gnss)接收器、通信装置等。例如，gnss可以包括全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(bds)、准天顶卫星系统(qzss)、伽利略系统等。虽然将参照以gps用作示例的情况给出以下描述，但也可以以相同的方式使用不同的gnss。通信装置使用诸如例如wi-fi、多输入多输出(mimo)、蜂窝通信(例如，使用移动基站或飞蜂窝进行位置检测)或本地无线通信(例如，蓝牙低能耗(ble)或蓝牙(注册商标))的技术来执行位置检测。

在上述传感器检测用户的位置或状况(包括生物信息)的情况下，例如由用户携带或佩戴包括传感器的装置。可替选地，当包括传感器的装置安装在用户的生活环境中时，也可以检测用户的位置或状况(包括生物信息)。例如，可以通过分析由固定安装在室内空间等的相机获取的包括用户面部的图像来检测用户的脉搏。

输入单元100还可以包括将由传感器获取的信号或数据转换成预定形式的处理器或处理电路(例如，将模拟信号转换成数字信号或者对图像或声音的数据进行编码的处理器或处理电路)。可替选地，输入单元100可以将所获取的信号或数据转输出至接口150而不换成预定形式。在这种情况下，由传感器获取的信号或数据由处理单元200转换成操纵命令。

从外部服务获取信息的软件利用外部服务的应用程序接口(api)来获取例如由外部服务提供的各种信息。例如，软件可以从外部服务的服务器获取信息，并且还可以从客户端装置上正执行的服务的应用软件获取信息。例如，可以由软件获取用户或其他用户已经发布到社交媒体等的外部服务上的诸如文本或图像的信息。所获取的信息不一定是用户或其他用户有意发布的。例如，所获取的信息可以是由用户或其他用户执行的操纵的日志。所获取的信息不限于用户或其他用户的个人信息，并且可以包括例如向公共用户广播的诸如新闻、天气预报、交通信息、兴趣点(poi)或广告的信息。

此外，从外部服务获取的信息可以包括通过向外部服务发布由上述各种传感器获取的信息而生成的信息，例如，在由与外部服务协作的其他系统中包括的传感器检测之后的加速度、角速度、地理方向、照度、温度、大气压力、脉搏、出汗情况、脑波、触觉、嗅觉、味觉、其他生物信息、情绪或位置信息。

接口150是输入单元100与处理单元200之间的接口。例如，在输入单元100和处理单元200由分立的装置来实现的情况下，接口150可以包括有线或无线通信接口。输入单元100与处理单元200之间还可以存在因特网。更具体地，有线或无线通信接口可以包括诸如3g/lte的蜂窝通信接口、wi-fi、蓝牙(注册商标)、近场通信(nfc)、以太网(注册商标)、高清晰度多媒体接口(hdmi)(注册商标)或通用串行总线(usb)。此外，在处理单元200和输入单元100的至少一部分由同一装置来实现的情况下，接口150可以包括装置中的总线、程序模块中的数据引用等(在下文中也被称为“装置内接口”)。此外，在输入单元100以分布在多个装置上的方式来实现的情况下，接口150可以包括分别用于装置的不同类型的接口。例如，接口150可以包括通信接口和装置内接口两种。

(1-2.处理单元)

处理单元200基于由输入单元100获取的信息来执行各种处理。更具体地，处理单元200例如包括诸如中央处理单元(cpu)、数字信号处理器(dsp)、专用集成电路(asic)或现场可编程门阵列(fpga)的处理器或处理电路。处理单元200可以包括暂时地或永久地存储在由处理器或处理电路执行程序或处理期间读取或写入的数据的存储器或存储装置。

处理单元200可以由单个装置中的单个处理器或处理电路来实现，或者可以以分布在多个装置上或同一装置中的多个处理器或处理电路上的方式来实现。在处理单元200以分布式方式来实现的情况下，如图2a和图2b所示的示例中那样，在处理单元200的分割部分之间设置接口250。与上述接口150类似，接口250可以包括通信接口或装置内接口。虽然在处理单元200的随后详细描述中处理单元200由构成处理单元200的各个功能块例示，但是接口250可以设置在任何功能块之间。也就是说，在处理单元200以分布在多个装置上或者多个处理器或处理电路上的方式来实现的情况下，除非另有说明，否则功能块被如何分配给每个装置、每个处理器或每个处理电路是任意的。

(1-3.输出单元)

输出单元300将从处理单元200提供的信息输出给用户(其可以与输入单元100的用户相同或不同)、外部装置或其他服务。例如，输出单元300包括向输出装置、控制装置或外部服务提供信息的软件。

输出装置以由用户(其可以与输入单元100的用户相同或不同)的诸如视觉、听觉、触觉、嗅觉或味觉等感觉感知的形式输出从处理单元200提供的信息。例如，输出装置是通过图像输出信息的显示器。显示器不限于诸如电致发光(el)显示器或液晶显示器(lcd)的反射式或自发光式显示器，并且包括类似于可穿戴装置中所使用的光源和将图像显示的光引导到用户的眼睛的波导的组合。输出装置可以包括通过声音输出信息的扬声器。输出装置还可以包括投影仪、振动器等。

控制装置基于从处理单元200提供的信息来控制装置。所控制的装置可以包括在实现输出单元300的装置中，或者可以是外部装置。更具体地，控制装置包括例如生成控制命令的处理器或处理电路。在控制装置控制外部装置的情况下，输出单元300还可以包括向外部装置发送控制命令的通信装置。例如，控制装置控制作为打印材料的输出从处理单元200提供的信息的打印机。控制装置可以包括控制从处理单元200提供的信息向存储装置或可移除记录介质的写入的驱动器。可替选地，控制装置可以控制除了输出或记录从处理单元200提供的信息的装置以外的装置。例如，控制装置可以控制照明装置来激活灯、控制电视来关闭显示器、控制音频装置来调节音量或控制机器人来控制其移动等。

向外部服务提供信息的软件利用外部服务的api向外部服务提供例如从处理单元200提供的信息。软件可以向外部服务的服务器提供信息，或者可以向客户端装置上正执行的服务的应用软件提供信息。所提供的信息不一定立即反映在外部服务中。例如，该信息可以被提供为用户向外部服务发布或发送的候选者。更具体地，软件可以提供例如用作统一资源定位符(url)的候选者的文本或用户在客户端装置上正执行的浏览器软件上输入的搜索关键字。例如，软件可以代表用户将文本、图像、动态图像、音频等发布到社交媒体等的外部服务。

接口350是处理单元200与输出单元300之间的接口。例如，在处理单元200和输出单元300由分立的装置来实现的情况下，接口350可以包括有线或无线通信接口。此外，在处理单元200和输出单元300的至少一部分由同一装置来实现的情况下，接口350可以包括上述装置内接口。此外，在输出单元300以分布在多个装置上的方式来实现的情况下，接口350可以包括分别用于装置的不同类型的接口。例如，接口350可以包括通信接口和装置内接口两种。

(2.示例性功能配置)

(2-1.在执行位置估计时)

图3是示出了根据本公开内容的实施方式的在执行位置估计时的输入单元、处理单元和输出单元的示例性功能配置的示意性框图。现在将参照图3来描述在执行位置估计时根据本实施方式的系统10中包括的输入单元100、处理单元200和输出单元300的示例性功能配置。

输入单元100包括作为传感器的加速度传感器101、陀螺仪传感器103、地磁传感器105、气压传感器107和/或wi-fi通信装置109。虽然wi-fi通信装置109固有地是通信装置，但它在本实施方式中用作用于检测无线电波的接收状态的传感器。当然，wi-fi通信装置109可以在用作用于检测无线电波的接收状态的传感器的同时也用作固有的通信功能。例如，由用户携带或佩戴传感器。更具体地，用户携带或佩戴例如安装有传感器的终端装置。

传感器提供的加速度、角速度、地磁和/或大气压力的测量值作为传感器数据被提供给处理单元200。在本实施方式中，传感器数据用于执行与随后描述的位置信息的匹配，并且因此不必限于能够直接指示用户的行为或位置的传感器数据。因此，输入单元100还可以包括作为传感器的其他类型的传感器。上文例示的一些传感器可以不包括在输入单元100中。

另一方面，用作位置传感器的wi-fi通信装置109与安装在用户能够移动的空间中的一个或多个wi-fi基站(接入点)进行通信。可以不必指定接入点的相应安装位置。wi-fi通信装置109将指示已经能够与wi-fi通信装置109通信的接入点的信息和包括来自已经能够通信的接入点的无线电波的强度的信息作为传感器数据提供给处理单元200。

操纵输入装置111获取例如指示用户的关于随后描述的位置相关信息的生成的指令的操纵输入。如上所述，输入单元100还可以包括用于对由传感器和操纵输入装置获取的数据进行转换或分析的处理器或处理电路。

处理单元200可以包括wi-fi特征量提取器201、传感器数据特征提取器203、匹配/位置估计单元205、位置相关信息生成器207和传感器图209。这些功能元件例如由处理器或处理电路以及与终端装置通信的服务器的存储器或存储装置来实现。功能元件的一部分可以由与输入单元100中包括的传感器或操纵输入装置相同的终端装置中的处理器或处理电路来实现。随后将描述该配置的具体示例。下面进一步描述每个功能元件。

wi-fi特征量提取器201从由输入单元100的wi-fi通信装置109提供的传感器数据中提取与wi-fi通信相关的特征量。例如，wi-fi特征量提取器201通过对可通信接入点和来自接入点的无线电波的强度进行哈希计算来提取wi-fi特征量。更具体地，wi-fi特征量提取器201可以通过在根据来自接入点的无线电波的相应强度对随机向量进行加权之后对布置在用户移动空间中的接入点唯一分配的随机向量进行求和来提取wi-fi特征量。

在本实施方式中，wi-fi特征量不旨在直接指示位置信息，而是模拟已经能够通信的接入点和来自该接入点的无线电波的强度。因此，例如，在各个时间处从传感器数据中提取的wi-fi特征量(向量)彼此相邻的情况下，存在用户在这些时间的位置彼此接近的可能性，但是这次没有必要知道对应的位置。因此，在本实施方式中提取了各个接入点的id或不包括接入点的位置信息的wi-fi特征量。例如，即使当接入点被添加/移除或移动时，也不需要改变设置值或wi-fi特征量提取的过程，并且可以使用更改的接入点的布置来执行随后描述的地图生成。

传感器数据特征提取器203从由输入单元100的加速度传感器101、陀螺仪传感器103、地磁传感器105和/或气压传感器107提供的传感器数据中提取各种特征。所提取的特征可以包括被表示成特征量的特征，并且可以包括不一定被量化的特征，如随后描述的行为标签。更具体地，传感器数据特征提取器203可以从由加速度传感器101提供的加速度的检测值中提取例如用户的重力分量、重力以外的加速度分量和/或移动速度。例如，传感器数据特征提取器203可以从由陀螺仪传感器103提供的角速度的检测值中提取关于纵轴的角速度。例如，传感器数据特征提取器203还可以从由地磁传感器105提供的地磁的检测值中提取地理方向。

此外，传感器数据特征提取器203可以基于传感器数据来执行行为识别，并且提取由行为识别指定的用户的行为标签作为传感器数据的特征。也就是说，传感器数据特征提取器203可以包括行为识别单元。通过行为识别，可以识别例如以下行为标签：例如，停留、步行、跑步、跳跃、楼梯、电梯、扶梯、自行车、公共汽车、铁路列车、汽车、船或飞机。在此省略了对行为识别技术的详细描述，因为包括例如jp2012-8771a的许多文献中对其进行了描述。在本实施方式中，行为识别单元可以采用已知行为识别技术的任何配置。

匹配/位置估计单元205执行由wi-fi特征量提取器201和传感器数据特征提取器203(在下文中有时被统称为“特征提取器”)提取的传感器数据的特征和与传感器图209中的给定的位置信息相关联的传感器数据的特征之间的匹配。在此，由特征提取器提取的传感器数据的特征同与传感器图209中的位置信息相关联的传感器数据的特征相互对应。更具体地，两种传感器数据的特征可以包括上述传感器数据的特征中的共同类型的特征。

此外，匹配/位置估计单元205基于匹配的结果来估计用户的位置。也就是说，当由特征提取器提取的第一传感器数据的特征与传感器图209中限定的第二传感器数据的特征已经相互匹配时，匹配/位置估计单元205将用户的位置估计为与第二传感器数据所关联的位置信息对应的位置。

匹配/位置估计单元205可以基于由传感器在单个时间提供的传感器数据的快照来执行这样的位置估计。匹配/位置估计单元205还可以基于时间序列传感器数据，即由传感器在一系列连续时间提供的传感器数据来执行位置估计。在这种情况下，匹配/位置估计单元205执行由特征提取器提取并构成时间序列的第一传感器数据的特征和分别与一系列例如彼此相邻以构成路径的位置信息项相关联的第二传感器数据的特征之间的匹配。例如，即使已经在多个不同位置处获取了传感器数据的相似特征，也可以通过执行时间序列传感器数据的匹配来执行更正确的位置估计。

位置相关信息生成器207基于从匹配/位置估计单元205提供的信息生成待由输出单元300输出给用户的信息。更具体地，位置相关信息生成器207例如可以生成例如通过下述方式获取的信息：在基于由匹配/位置估计单元205估计的用户位置生成的地图上布置基于传感器数据特征提取器203中包括的行为识别单元所指定的行为标签的信息。可替选地，位置相关信息生成器207可以简单地生成指示用户在地图上的下落的信息。在这些情况下，用于生成信息的地图可以是由传感器图209中限定的正确位置信息构成的地图。由位置相关信息生成器207生成的信息可以经由接口350输出至输出单元300。

输出单元300可以包括显示器301、扬声器303和振动器305。显示器301、扬声器303和振动器305例如被安装到由用户携带或佩戴的终端装置。显示器301将信息作为图像输出，扬声器将信息作为声音输出，并且振动器将信息作为振动输出。输出信息可以包括由位置相关信息生成器207生成的信息。显示器301、扬声器303或振动器305可以安装到与输入单元100的传感器相同的终端装置。显示器301、扬声器303或振动器305还可以安装到与输入单元100的操纵输入装置111相同的终端装置。可替选地，显示器301、扬声器303或振动器305可以安装到与输入单元100的元件不同的终端装置。随后将描述实现输入单元100、处理单元200和输出单元300的终端装置和服务器的配置的更具体的示例。

(2-2.在执行地图学习时)

图4是示出了根据本公开内容的实施方式的在执行地图学习时的输入单元、处理单元和输出单元的示例性功能配置的示意性框图。现在将参照图4来描述在执行地图学习时的根据本实施方式的系统10中包括的输入单元100和处理单元200的示例性功能配置。虽然输出单元300例如可以向执行地图学习的用户输出指示地图学习的进度的信息、所生成的图等，但是在执行地图学习的示例中省略了输出单元300的说明和描述，因为本实施方式不针对输出单元300本身。

输入单元100包括作为传感器的加速度传感器101、陀螺仪传感器103、地磁传感器105、气压传感器107和/或wi-fi通信装置109。在执行地图学习的示例中，输入单元100中包括的传感器可以与在执行位置估计时的传感器相同。输入单元100还包括定位装置/输入装置113。现在将给出定位装置/输入装置113的描述，定位装置/输入装置113是与上述执行位置估计的示例不同的输入单元100的元件。

定位装置/输入装置113用于与传感器数据的获取并行地获取位置信息。在地图学习的过程中，由定位装置/输入装置113获取的位置信息作为正确的位置信息被处理。例如，可以在用户在其可移动的空间内来回移动的过程中使用由用户携带或佩戴的相机获取的图像通过视觉即时定位与地图构建(slam)来获取正确的位置信息。在这种情况下，定位装置/输入装置113包括获取图像的相机等。视觉slam的计算可以由输入单元100执行，并且也可以由处理单元200执行。slam是一种用于并行地执行自身位置估计和环境的结构地图构建的技术，并且例如jp2007-156016a等中对其进行了描述。“视觉slam”是指执行的slam，特别是使用图像执行的slam。在视觉slam中，可以例如通过立体相机(两个或更多个相机单元)来获取图像，并且也可以通过移动单个相机来获取图像。

可替选地，正确的位置信息可以是由用户(或他们的助手)输入的空间内的绝对坐标。在这种情况下，定位装置/输入装置113例如由接收绝对坐标的输入的输入装置来实现。例如，当用户在空间内移动时，可以实时地输入绝对坐标，并且也可以在以后的时间参考用户的图像等来输入绝对坐标。

处理单元200可以包括wi-fi特征量提取器201、传感器数据特征提取器203、位置信息获取器213和传感器图学习单元215。通过wi-fi特征量提取器201和传感器数据特征提取器203(即，通过特征提取器)提取由输入单元100的传感器提供的传感器数据的特征的处理与上述在执行位置估计时的示例类似。然而，在执行地图学习时，所提取的传感器数据的特征量被输入至传感器图学习单元215。传感器图学习单元215通过将所提取的传感器数据的特征量与由位置信息获取器213获取的正确位置信息相关联来生成传感器图209。

更具体地，例如，传感器图学习单元215例如根据概率模型将由特征提取器提取的传感器数据的特征与由位置信息获取器213获取的正确位置信息相关联。这使得可以在传感器图209中表示传感器数据的特征处于由正确位置信息限定的状态下的观测概率。在这种情况下，例如，可以将用户的位置估计为对应于观测概率与在执行位置估计时从在单个时间获取的传感器数据中提取的特征最接近匹配的状态的位置。

此外，例如，传感器图学习单元215可以计算由正确位置信息限定的状态之间的转变概率。这使得可以在传感器图209中表示传感器数据的特征处于由正确位置信息限定的状态下的观测概率和状态之间的转变概率。在这种情况下，例如，可以基于从构成时间序列的传感器数据中提取的观测概率和转变概率来执行位置估计。例如，可以估计对应于观测概率和转变概率(即，一系列状态之间的转变概率)与在执行位置估计时从构成时间序列的传感器数据中提取的一系列特征更接近匹配的各个状态的一系列位置，作为用户的最近移动历史。

(3.地图学习和位置估计的原理)

图5是用于说明根据本公开内容的实施方式的地图学习和位置估计的概况的图。图5概念性地示出了上面参照图3和图4已经描述的在系统10中执行地图学习和位置估计时的信息与处理之间的关系。

在执行作为预先准备的地图学习时，特征提取器201和203从由传感器(例如，加速度传感器101、陀螺仪传感器103、地磁传感器105、气压传感器107和/或wi-fi通信装置109)提供的传感器数据中提取特征。执行该特征提取以去除传感器数据中包括的冗余部分或噪声分量，并且在执行定位时便于进行匹配。在本实施方式中，由于用户的处于比行走等移动更小的水平的行为(例如，小的身体摆动)引起的传感器数据的变化也可以被视为噪声，因为本实施方式旨在通过特征的匹配来进行用户的位置估计。

此外，在执行地图学习时，传感器图学习单元215将已经由如上所述的特征提取器201和203提取的传感器数据的特征与已经分立获取的正确位置信息(例如，绝对坐标)相关联并且通过学习生成传感器图209。例如，可以使用诸如递增的隐马尔可夫模型(ihmm)的概率模型来进行学习。也就是说，在传感器图中，传感器数据的特征可以根据概率模型与位置信息相关联。随后将进一步描述ihmm。

另一方面，在执行位置估计时，与在执行地图学习时类似，特征提取器201和203从由传感器提供的传感器数据中提取特征。所提取的特征被输入至匹配/位置估计单元205，并且通过将所提取的特征和传感器图209中限定的特征进行匹配来估计位置信息。

图6是用于说明在本公开内容的实施方式中使用的示例性概率模型的图。在图6中，ihmm被描述为在本实施方式中用于生成传感器图209的模型的示例。

在图6中，任意时间序列数据被示出为模型的输入。任意时间序列数据可以是连续取值信号，并且也可以是离散信号。连续取值信号包括被提供为数字信号的伪连续取值信号。例如，在本实施方式的示例中，从加速度的检测值中提取的用户的重力分量、重力以外的加速度分量和/或移动速度，从角速度的检测值中提取的关于纵轴的角速度，或从地磁的检测值中提取的地理方向均可以构成连续取值信号。wi-fi特征量可以构成离散信号。

ihmm是一种用于从串行地(递增地)输入的时间序列数据中学习到背后的规则作为状态转换模型(hmm)的技术。例如，jp2012-8659a和jp2012-108748a中对ihmm进行了描述。在图6中示出为输出的状态转换模型由多个状态、状态的相应观察模型和状态之间的转变概率来表示。

在本实施方式中，传感器图209中限定了包括从传感器数据中提取的特征和与传感器数据并行获取的正确位置信息(绝对坐标)的状态。在此，在限定ihmm中的状态时或者在计算状态之间的转变概率时，可以仅使用时间序列数据中的位置信息。这是因为在执行本实施方式的地图学习时的过程中，位置信息是最精确的，并且因此即使在从传感器数据中提取的特征不同而位置信息是共同的情况下，将状态限定为相同的也是合适的。该处理例如可以通过将“1”设置为用于学习位置信息(绝对坐标)的权重并且将“0”设置为ihmm的库中的其他观测状态的权重来实现。

图7是示出了在本公开内容的实施方式中生成的示例性传感器图的视图。在图7中，传感器图209中限定的状态st被示出为圆或椭圆。针对每个状态st限定状态的观测概率op。在所示出的示例中，每个状态的观测概率op由状态的传感器数据的每个特征的平均值和方差来表示。被示为状态st的圆或椭圆的中心表示观测概率op中的x坐标和y坐标的平均值。另外，圆的直径或椭圆的长径和短径表示观测概率op中的x坐标和y坐标的方差。连接被示为状态st的圆或椭圆的每条线表示状态st之间的转变概率大于0。

(4.实施例)

现在将描述本公开内容的实施例。本实施例仅是为了理解本公开内容的实施方式而提供的更具体的示例，并且不意在将本公开内容的实施方式限制为本实施例的范围。

在本实施例中，使用3轴加速度传感器、3轴陀螺仪传感器和3轴地磁传感器作为根据上述本公开内容的实施方式的系统10的输入单元100中包括的加速度传感器101、陀螺仪传感器103和地磁传感器105。采样频率均为50hz。wi-fi通信装置109输出已经能够通信的接入点的id和来自该接入点的无线电波的强度。

在处理单元200中，wi-fi特征量提取器201将相应的64维高斯随机向量分配给接入点，并且根据来自接入点的无线电波的强度对随机向量进行加权，然后对加权的随机向量进行求和以将wi-fi特征量提取为64维实值向量。另一方面，传感器数据特征提取器203基于加速度、角速度和地磁的检测值来执行行为识别，并且指定休息、行走、左转、右转、上楼梯、下楼梯、上扶梯和下扶梯这8种行为标签。

传感器数据特征提取器203还从加速度、角速度和地磁的检测值中提取下述特征量。通过将三个轴(x轴、y轴和z轴)的加速度的相应检测值输入至低通滤波器并提取正向、横向和纵向的信号来获取重力。通过从轴的加速度的检测值中减去所获取的重力值并且然后提取正向、横向和纵向的信号来获得轴的加速度(重力除外)。通过从地磁的检测值中提取正向、横向和纵向的信号来获取地磁。通过在如根据加速度所估计的用户休息时估计和消除偏移来提取角速度。

-速度(m/s)

-重力(正向、横向、纵向)(m/s²)

-加速度(重力除外；正向、横向、纵向)(m/s²)

-角速度(正向、横向、纵向)(μt)

-地理方向(北为0，顺时针为正)(deg)

wi-fi特征量提取器201和传感器数据特征提取器203每隔传感器数据的一个时间戳就提取上述传感器数据的特征。

上述实施例的位置估计使用多个传感器数据提高了位置估计的精度(例如，与仅使用wi-fi特征量的情况相比)。此外，在使用多个传感器数据的情况下，相比于与在单个时间处的传感器数据的特征进行匹配的情况，通过与构成时间序列的多个传感器数据的特征进行匹配提高了位置估计的精度。在使用构成时间序列的多个传感器数据的特征的情况下，时间序列越长，位置估计的精度越高。

根据本公开内容的实施方式，可以通过将由用户携带或佩戴的一个或多个传感器提供的传感器数据的特征同已经与给定的位置信息相关联的传感器数据的特征进行匹配来高精度地估计用户的位置。例如，与使用加速度、角速度、地磁等进行的自主定位相比，根据本实施方式的位置估计几乎不受误差累积的影响。

此外，在本实施方式中，由于使用传感器数据的特征来进行匹配，因此，对传感器数据的内容的限制是小的。例如，在自主定位的情况下，诸如加速度、角速度和地磁的传感器数据项通常是必不可少的，但在本实施方式中，这些传感器数据项中的一些可以暂时不需要或从一开始就不需要(并且在其他可用传感器数据足够的情况下，可以完全不需要)。此外，如上所述，对于关于wi-fi通信的信息，仅需要识别接入点即可，因为该信息不是用来基于接入点的位置估计用户的位置的。

因此，除了上面例示的那些以外或代替上面例示的那些，可以使用各种数据作为根据本实施方式的传感器数据。例如，类似于wi-fi接收状态，可以使用来自安装在用户可移动的空间中的信标的无线电波的接收状态作为表示无线电波的接收状态的传感器数据或者可以使用由于在室内、建筑物等导致的低精度gnss定位数据等(并且在高精度gnss定位数据可用的情况下，位置估计本身是不必要的)。类似于wi-fi特征量，这些数据项也可以用作传感器数据，因为考虑到数据项随着用户的位置以特定关系改变。

在上述示例中，将通过基于传感器数据的行为识别指定的用户的行为标签用作传感器数据的特征，但这不是必需的。例如，在不将用户的行为标签作为传感器数据的特征的情况下，在执行地图学习时，用户不必在空间内来回移动以收集传感器数据。在这种情况下，例如，可以使安装有终端装置的机器人来回移动，以收集用于地图学习的传感器数据。

根据本实施方式的位置估计的结果不仅可以用于通过上述位置相关信息生成器207生成要输出给用户的信息，而且还可以用于例如预测用户的目的地以提前激活房间或走廊内的灯，用于适当地执行wi-fi等的接入点之间的切换，或者用于向目的地的其他用户提供到达的预先通知。不限于用户的移动估计，例如，也可以使用位置估计结果作为安装有传感器的终端装置的位置信息的历史。例如，在用户丢失智能电话的情况下，当用户携带智能电话时获取的最近位置估计的结果可用时，可以估计智能电话的下落。

(5.系统配置)

上面已经描述了本公开内容的实施方式。如上所述，根据本实施方式的系统10包括输入单元100、处理单元200和输出单元300。这些元件由一个或多个信息处理设备来实现。下面将结合更具体的示例来描述实现系统10的信息处理设备的组合的示例。

(第一示例)

图8是示出了根据本公开内容的实施方式的系统的配置的第一示例的框图。参照图8，系统10包括信息处理设备11和13。输入单元100和输出单元300在信息处理设备11中实现。另一方面，处理单元200在信息处理设备13中实现。信息处理设备11和13经由网络相互通信以实现根据本公开内容的实施方式的功能。输入单元100与处理单元200之间的接口150b和处理单元200与输出单元300之间的接口350b可以分别为装置间通信接口。

在第一示例中，信息处理设备11可以是例如终端装置。在这种情况下，输入单元100可以包括输入装置、传感器、从外部服务获取信息的软件等。从外部服务获取信息的软件例如从终端装置上正执行的服务的应用软件获取数据。输出单元300可以包括输出装置、控制装置、向外部服务提供信息的软件等。向外部服务提供信息的软件可以向例如终端装置上正执行的服务的应用软件提供信息。

在第一示例中，信息处理设备13可以是服务器。处理单元200通过信息处理设备13中包括的处理器或处理电路根据存储在存储器或存储装置中的程序的操作来实现。信息处理设备13可以是例如作为服务器专用的装置。在这种情况下，信息处理设备13可以安装在数据中心等中，并且也可以安装在家庭中。可替选地，信息处理设备13可以是不实现与根据本公开内容的实施方式的功能相关联的输入单元100和输出单元300但可以用作针对其他功能的终端装置的装置。

(第二示例)

图9是示出了根据本公开内容的实施方式的系统的配置的第二示例的框图。参照图9，系统10包括信息处理设备11a、11b和13。输入单元100以分割成输入单元100a和100b的方式来实现。输入单元100a在信息处理设备11a中实现。输入单元100a包括例如上述加速度传感器101、陀螺仪传感器103、地磁传感器105、气压传感器107和/或wi-fi通信装置109。

输入单元100b和输出单元300在信息处理设备11b中实现。例如，输入单元100b可以包括上述操纵输入装置111。处理单元200在信息处理设备13中实现。信息处理设备11a和11b以及信息处理设备13经由网络相互通信以实现根据本公开内容的实施方式的功能。输入单元100与处理单元200之间的接口150b1和150b2以及处理单元200与输出单元300之间的接口350b均可以是装置间通信接口。然而，在第三示例中，由于信息处理设备11a和信息处理设备11b是分立的装置，因此，接口150b1以及接口150b2和350b可以包括不同类型的接口。

在第二示例中，信息处理设备11a和11b中的每一个例如可以是终端装置。例如，信息处理设备11a由用户携带或佩戴以对该用户进行感测。另一方面，信息处理设备11b向用户输出由信息处理设备13基于感测的结果生成的信息。在此，信息处理设备11b接收与输出信息相关的用户的操纵输入。因此，信息处理设备11b可以不必由用户携带或佩戴。类似于上述第一示例，信息处理设备13可以是服务器或终端装置。处理单元200通过信息处理设备13中包括的处理器或处理电路根据存储在存储器或存储装置中的程序的操作来实现。

(第三示例)

图10是示出了根据本公开内容的实施方式的系统的配置的第三示例的框图。参照图10，系统10包括信息处理设备11和13。在第三示例中，输入单元100和输出单元300在信息处理设备11中实现。另一方面，处理单元200以分布在信息处理设备11和信息处理设备13上的方式来实现。信息处理设备11和13经由网络相互通信以实现根据本公开内容的实施方式的功能。

在第三示例中，如上所述，处理单元200以分布在信息处理设备11和13上的方式来实现。更具体地，处理单元200包括在信息处理设备11中实现的处理单元200a和200c以及在信息处理设备13中实现的处理单元200b。处理单元200a基于经由接口150a从输入单元100提供的信息来执行处理，并且将处理的结果提供给处理单元200b。处理单元200a例如包括上述wi-fi特征量提取器201和传感器数据特征提取器203。另一方面，处理单元200c基于从处理单元200b提供的信息来执行处理，并且经由接口350a将处理的结果提供给输出单元300。处理单元200c例如包括上述位置相关信息生成器207。

尽管在所示示例中示出了两个处理单元200a和200c，但实际上可以仅提供处理单元200a和200c中之一。也就是说，信息处理设备11可以在实现处理单元200a而不实现处理单元200c，并且从处理单元200b提供的信息可以被直接提供给输出单元300。类似地，信息处理设备11可以实现处理单元200c而不实现处理单元200a。

在处理单元200a与200b之间以及处理单元200b与200c之间设置有接口250b。接口250b是装置间通信接口。另一方面，在信息处理设备11实现处理单元200a的情况下，接口150a是装置内接口。类似地，在信息处理设备11实现处理单元200c的情况下，接口350a是装置内接口。在处理单元200c包括如上所述的位置相关信息生成器207的情况下，来自输入单元100的信息，例如来自操纵输入装置111的信息的一部分可以经由接口150a被直接提供给处理单元200c。

除了处理单元200a和处理单元200c中之一或两者由信息处理设备11中包括的处理器或处理电路来实现以外，上述第三示例类似于上述第一示例。也就是说，信息处理设备11可以是终端装置。信息处理设备13可以是服务器。

(第四示例)

图11是示出了根据本公开内容的实施方式的系统的配置的第四示例的框图。参照图11，系统10包括信息处理设备11a、11b和13。输入单元100以分割成输入单元100a和100b的方式来实现。输入单元100a在信息处理设备11a中实现。输入单元100a例如可以包括上述加速度传感器101、陀螺仪传感器103、地磁传感器105、气压传感器107和/或wi-fi通信装置109。

输入单元100b和输出单元300在信息处理设备11b中实现。例如，输入单元100b可以包括上述操纵输入装置111。处理单元200以分布在信息处理设备11a和11b以及信息处理设备13上的方式来实现。信息处理设备11a和11b以及信息处理设备13经由网络相互通信以实现根据本公开内容的实施方式的功能。

在第四示例中，如图所示，处理单元200以分布在信息处理设备11a和11b以及信息处理设备13上的方式来实现。更具体地，处理单元200包括在信息处理设备11a中实现的处理单元200a、在信息处理设备13中实现的处理单元200b以及在信息处理设备11b中实现的处理单元200c。处理单元200的分布与第三示例类似。然而，在第四示例中，由于信息处理设备11a和11b是分立的装置，因此，接口250b1和250b2可以包括不同类型的接口。在处理单元200c包括如上所述的位置相关信息生成器207的情况下，来自输入单元100b的信息，例如来自操纵输入装置111的信息可以经由接口150a2被直接提供给处理单元200c。

除了处理单元200a和处理单元200c中之一或两者由信息处理设备11a或11b中包括的处理器或处理电路来实现以外，上述第四示例类似于上述第二示例。也就是说，信息处理设备11a或11b可以是终端装置。信息处理设备13可以是服务器。

(6.硬件配置)

接下来，参照图12来说明根据本公开内容的实施方式的信息处理设备的硬件配置。图12是示出了根据本公开内容的实施方式的信息处理设备的硬件配置示例的框图。

信息处理设备900包括中央处理单元(cpu)901、只读存储器(rom)903和随机存取存储器(ram)905。另外，信息处理设备900可以包括主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917，存储设备919、驱动器921，连接端口923和通信设备925。此外，根据需要，信息处理设备900可以包括成像设备933和传感器935。可替选地或除了cpu901以外，信息处理设备900可以包括诸如数字信号处理器(dsp)、专用集成电路(asic)或现场可编程门阵列(fpga)的处理电路。

cpu901用作算术处理设备和控制设备，并且根据记录在rom903、ram905、存储设备919或可移除记录介质927中的各种程序来控制信息处理设备900的整体操作或部分操作。rom903存储由cpu901使用的程序、操作参数等。ram905暂时存储在cpu901执行时所用的程序和在执行这些程序时适当改变的各种参数。cpu901、rom903和ram905经由从诸如cpu总线等的内部总线配置的主机总线907相互连接。主机总线907经由桥接器909连接至诸如外围部件互连/接口(pci)总线的外部总线911。

输入设备915是由用户操作的装置，例如，鼠标、键盘、触摸屏、按钮、开关和操纵杆。输入设备915可以是使用例如红外辐射或其他类型的无线电波的远程控制装置。可替选地，输入设备915可以是与信息处理设备900的操作相对应的诸如移动电话的外部连接设备929。输入设备915包括输入控制电路，其基于由用户输入的信息来生成输入信号以将所生成的输入信号输出至cpu901。用户向信息处理设备900输入各种类型的数据，并且通过对输入设备915进行操作来指示信息处理设备900执行处理操作。

输出设备917包括可以以视觉、听觉或触觉方式向用户报告所获取的信息的设备。例如，输出设备917可以是诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示装置、诸如扬声器和头戴式耳机的音频输出设备或者振动器。输出设备917以诸如文本和图像的视频、诸如语音的声音和音频声音或者振动的形式来输出通过由信息处理设备900执行的处理获得的结果。

存储设备919是作为信息处理设备900的存储单元的示例的用于数据存储的设备。例如，存储设备919包括诸如硬盘驱动器(hdd)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储设备919在其中存储由cpu901执行的程序和各种数据、从外部获取的各种数据等。

驱动器921是用于诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质927的读取器/写入器，并且被内置或外部附接至信息处理设备900。驱动器921读取记录在所安装的可移除记录介质927上的信息，并且将该信息输出至ram905。驱动器921将记录写入所安装的可移除记录介质927中。

连接端口923是用于将装置连接至信息处理设备900的端口。连接端口923可以包括通用串行总线(usb)端口、ieee1394端口和小型计算机系统接口(scsi)端口。连接端口923还可以包括rs-232c端口、光学音频终端、高清多媒体接口(hdmi)(注册商标)端口等。外部连接设备929与连接端口923的连接使得可以在信息处理设备900与外部连接设备929之间交换各种数据。

通信设备925是包括例如用于与通信网络931连接的通信装置的通信接口。通信设备925可以是例如用于局域网(lan)、蓝牙(注册商标)、wi-fi或无线usb(wusb)的通信卡。通信设备925还可以是例如用于光通信的路由器、用于非对称数字用户线路(adsl)的路由器或用于各种类型的通信的调制解调器。例如，通信设备925通过使用诸如tcp/ip的预定协议在因特网中发送和接收信号或者向其他通信装置发送信号以及从其他通信装置接收信号。连接至通信设备925的通信网络931是通过有线或无线连接建立的网络。通信网络931可以包括例如因特网、家庭lan、红外通信、无线电通信或卫星通信。

成像设备933是通过使用诸如电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)的图像传感器以及诸如透镜的用于控制图像传感器上的物体图像的图像形成的各种构件来拍摄真实空间的图像并且生成所拍摄的图像的设备。成像设备933可以拍摄静态图像或动态图像。

传感器935是诸如加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器和声音传感器(麦克风)的各种传感器。传感器935获取诸如信息处理设备900的壳体的姿态的关于信息处理设备900的状态的信息以及诸如信息处理设备900周围的照度和噪音的关于信息处理设备900周围的环境的信息。传感器935可以包括接收gps信号以测量设备的纬度、经度和海拔高度的全球定位系统(gps)接收器。

已经描述了信息处理设备900的硬件配置的示例。上述结构元件中的每一个可以通过使用通用部件来配置或者可以由专用于每个结构元件的功能的硬件来配置。必要时，该配置可以根据实现本公开内容时的技术的状态而改变。

(7.补充)

本公开内容的实施方式例如可以包括上述信息处理设备、上述系统、由该信息处理设备或该系统执行的信息处理方法、用于使该信息处理设备呈现其功能的程序以及其中存储有程序的非暂态物理介质。

上面已经参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变型和修改，并且应当理解，它们将自然地落入本公开内容的技术范围内。

此外，本说明书中所描述的效果仅是说明性或示例性的效果，而并非限制性的。即，结合上述效果或者代替上述效果，根据本公开内容的技术可以根据本说明书的描述实现对于本领域技术人员而言明显的其他效果。

另外，本技术还可以如下配置。

(1)一种信息处理设备，包括：

特征提取器，被配置成提取由用户携带或佩戴的传感器提供的第一传感器数据的特征；

匹配单元，被配置成将所述第一传感器数据的特征和与所述第一传感器数据对应的第二传感器数据的特征进行匹配，所述第二传感器数据的特征与给定的位置信息相关联；以及

位置估计单元，被配置成基于所述匹配的结果来估计所述用户的位置。

(2)根据(1)所述的信息处理设备，其中，所述特征提取器被配置成以时间序列来提取所述第一传感器数据的特征，并且

所述匹配单元被配置成将构成所述时间序列的所述第一传感器数据的特征和与构成路径的一系列所述位置信息相关联的所述第二传感器数据的特征进行匹配。

(3)根据(1)所述的信息处理设备，其中，所述第二传感器数据的特征根据概率模型与所述位置信息相关联。

(4)根据(3)所述的信息处理设备，其中，所述位置信息限定所述概率模型中的状态，

所述概率模型包括所述第二传感器数据的特征处于所述状态的观测概率，以及

所述匹配单元被配置成基于所述观测概率将所述第一传感器数据的特征和所述第二传感器数据的特征进行匹配。

(5)根据(4)所述的信息处理设备，其中，所述概率模型包括由所述位置信息的时间序列限定的所述状态之间的转变概率，

所述特征提取器被配置成以时间序列的方式来提取所述第一传感器数据的特征，以及

所述匹配单元被配置成基于所述观测概率和所述转变概率来将构成所述时间序列的所述第一传感器数据的特征和与构成路径的一系列所述位置信息相关联的所述第二传感器数据的特征进行匹配。

(6)根据(3)至(5)中任一项所述的信息处理设备，其中，所述概率模型包括hmm。

(7)根据(1)至(5)中任一项所述的信息处理设备，其中，所述第一传感器数据包括表示无线电波的接收状态的数据。

(8)根据(1)至(6)中任一项所述的信息处理设备，其中，所述第一传感器数据包括加速度、角速度或地磁。

(9)根据(8)所述的信息处理设备，其中，所述第一传感器数据的特征包括基于所述第一传感器数据的行为识别的结果。

(10)一种信息处理方法，包括：

提取由用户携带或佩戴的传感器提供的第一传感器数据的特征；

将所述第一传感器数据的特征和与所述第一传感器数据对应的第二传感器数据的特征进行匹配，所述第二传感器数据的特征与给定的位置信息相关联；以及

基于所述匹配的结果来估计所述用户的位置。

(11)一种程序，所述程序使处理电路能够实现以下功能：

提取由用户携带或佩戴的传感器提供的第一传感器数据的特征的功能；

将所述第一传感器数据的特征和与所述第一传感器数据对应的第二传感器数据的特征进行匹配的功能，所述第二传感器数据的特征与给定的位置信息相关联；以及

基于所述匹配的结果来估计所述用户的位置的功能。

附图标记列表

10系统

11,13信息处理设备

100输入单元

101加速度传感器

103陀螺仪传感器

105地磁传感器

107气压传感器

109wi-fi通信单元

111操纵输入装置

113定位装置/输入装置

150,250,350接口

200处理单元

201wi-fi特征量提取器

203传感器数据特征提取器

205匹配/位置估计单元

207位置相关信息生成器

209传感器图

213传感器图学习单元

215位置信息获取器

300输出单元

301显示器

303扬声器

305振动器