通过用户信息定位建筑物设施的装置、方法以及程序与流程

文档序号:11141936阅读:551来源:国知局
通过用户信息定位建筑物设施的装置、方法以及程序与制造工艺

本申请要求于2014年6月20日提交的日本在先专利申请JP2014-127387的权益,该申请的全部内容以引用方式并入本文。

技术领域

本公开涉及信息处理装置、信息处理方法和程序。



背景技术:

已经开发出动作识别技术,该技术使用由安装在移动设备或者由用户穿戴或携带的可穿戴装置上的加速度传感器获得的检测值来识别用户的动作。例如,PTL 1示出动作识别技术,以及使用由动作识别技术获得的信息而提供至用户的信息的示例。

引用列表

专利文献

PTL 1:JP 2013-003643A



技术实现要素:

技术问题

在PTL 1所述的技术中,使用通过使用全球定位系统(GPS)获取的用户的位置信息以及由加速度传感器等获得的检测值进行动作识别。位置信息用于指定例如用户动作已经发生的位置和用户的移动速度。在PTL 1等中尚未描述对动作识别技术中获取的位置信息的更有效使用。

因此,本公开提出信息处理装置、信息处理方法和程序,它们是新颖且经改进的,并且它们能够更有效地使用包括在动作日志中的位置信息和动作识别信息。

问题的解决方案

根据本公开的实施方式,提供一种信息处理装置包括:处理电路,其被配置成接收基于与用户的位置信息相关联的用户的感测信息而确定的动作识别信息,其中动作识别信息指示已经发生的与建筑物的结构或设备相关的用户的动作;以及基于动作识别信息将建筑物的结构或设备与位置信息相关联。

根据本公开的另一实施方式,提供一种信息处理方法,包括:接收基于与用户的位置信息相关联的用户的感测信息而确定的动作识别信息,其中动作识别信息指示已经发生的与建筑物的结构或设备相关的用户的动作;以及基于动作识别信息将建筑物的结构或设备与位置信息相关联。

根据本公开的另一实施方式,提供具有在其上体现的程序的非暂态计算机可读介质,当由计算机执行所述程序时使得计算机执行信息处理方法,该方法包括:接收基于与用户的位置信息相关联的用户的感测信息而确定的动作识别信息,其中动作识别信息指示已经发生的与建筑物的结构或设备相关的用户的动作;基于动作识别信息将建筑物的结构或设备与位置信息相关联。

本发明的有益效果

根据本公开的一个或多个实施例,可以更有效地使用包括在动作日志中的位置信息和动作识别信息。

需注意,上述效果不必受限制,并且与效果一起或代替效果,可以呈现期望引入本说明书中的任何效果或可以从本说明书预期的其他效果。

附图说明

[图1]图1为示出本公开的实施例的整体配置的示例的框图。

[图2A]图2A为示出本公开的实施例的整体配置的另一个示例的框图。

[图2B]图2B为示出本公开的实施例的整体配置的另一个示例的框图。

[图3]图3为示出根据本公开的实施例的输入部件、处理部件和输出部件的功能性配置的第一示例的示意性框图。

[图4]图4为示出根据本公开的实施例的输入部件、处理部件和输出部件的功能性配置的第二示例的示意性框图。

[图5]图5为示出根据本公开的实施例的位置信息校正的第一阶段的视图。

[图6]图6为示出根据本公开的实施例的位置信息校正的第二阶段的视图。

[图7]图7为示出根据本公开的实施例的位置信息校正的第三阶段和第四阶段的视图。

[图8]图8为示出根据本公开的实施例的位置信息校正的效果的视图。

[图9]图9为示出根据本公开的实施例的模型学习功能的视图。

[图10]图10为示出根据本公开的实施例的模型学习功能的视图。

[图11]图11为示出根据本公开的实施例的基于状态模型估计位置属性的视图。

[图12]图12为示出根据本公开的实施例的基于状态模型估计位置属性的视图。

[图13]图13为示出根据本公开的实施例的使用位置属性的示例的视图。

[图14]图14为示出根据本公开的实施例的使用动作的分数校正动作识别结果的视图。

[图15]图15为示出根据本公开的实施例的使用动作的分数呈现信息的视图。

[图16]图16为示出根据本公开的实施例的使用动作的分数呈现信息的视图。

[图17]图17为示出根据本公开的实施例的使用动作的分数呈现信息的视图。

[图18]图18为示出根据本公开的实施例的地图分割的第一阶段的视图。

[图19]图19为示出根据本公开的实施例的地图分割的第二阶段的视图。

[图20]图20为示出根据本公开的实施例的地图分割的第三阶段的视图。

[图21]图21为示出根据本公开的实施例的地图分割的结果的视图。

[图22]图22为示出根据本公开的实施例的动作地图分割的效果的视图。

[图23]图23为示出根据本公开的实施例的与升降机相关的动作检测的视图。

[图24]图24为示出根据本公开的实施例的检测与升降机相关的动作的处理的示例的流程图。

[图25]图25为示出根据本公开的实施例的与楼梯相关的动作的检测的视图。

[图26]图26为示出根据本公开的实施例的检测与楼梯相关的动作的处理的示例的流程图。

[图27]图27为示出根据本公开的实施例的系统配置的第一示例的框图。

[图28]图28为示出根据本公开的实施例的系统配置的第二示例的框图。

[图29]图29为示出根据本公开的实施例的系统配置的第三示例的框图。

[图30]图30为示出根据本公开的实施例的系统配置的第四示例的框图。

[图31]图31为示出根据本公开的实施例的信息处理装置的硬件配置示例的框图。

具体实施方式

在下文中,将参考附图详细描述本公开的实施例。需注意,在本说明书和附图中,具有基本上相同功能和结构的结构元件用相同的参考标号表示,并且省略对这些结构元件的重复解释。

需注意,本说明书将按以下顺序给出。

1.整体配置

1-1.输入部件

1-2.处理部件

1-3.输出部件

2.功能性配置的示例

2-1.第一示例

2-2.第二示例

3.位置信息校正功能

4.模型学习功能

5.地图生成功能

6.将位置信息与建筑物设备相关联的处理功能

7.系统配置

8.硬件配置

9.补充

1.整体配置

图1为示出根据本公开的实施例的整体配置的示例的框图。参考图1,系统10包括输入部件100、处理部件200和输出部件300。通过在稍后描述的系统10的配置示例中示出的一个或多个信息处理装置来实现输入部件100、处理部件200和输出部件300。

1-1.输入部件

输入部件100包括例如用于从外部服务获取信息的操作输入装置、传感器或软件,并从用户、外界环境或其他服务接收各种信息的输入。

操作输入装置包括例如硬件按钮、键盘、鼠标、触摸板、触摸传感器、接近传感器、加速度传感器、陀螺仪传感器和温度传感器,并接收由用户执行的操作输入。另外,操作输入装置可包括接收由用户的姿势或语音表达的操作输入的照相机(图像传感器)、麦克风等。

需注意,输入部件100可包括将由操作输入装置获取的信号或数据转换成操作命令的处理器或处理电路。可选地,输入部件100可以在不将信号或数据转换成操作命令的情况下将操作输入装置获取的信号或数据输出到接口150。在这情况下,由操作输入装置获取的信号或数据例如在处理部件200中转换成操作命令。

传感器包括加速度传感器、陀螺仪传感器、地磁传感器、光强度传感器、温度传感器、压力传感器等,并且检测装置的加速度和角速度、方位角、照度、温度、压力等。关于每个传感器,在包括传感器的装置由用户携带或穿戴的情况下,传感器可以检测作为与用户相关的信息的每一条信息,例如作为指示用户移动或方位的信息。另外,传感器可以另外包括检测用户的生物信息(诸如脉搏、汗水、脑电波、触觉、嗅觉和味觉)的传感器。输入部件100可以包括处理电路,其通过分析由那些传感器检测的信息和/或由稍后描述的照相机或麦克风检测的图像数据或音频,来获取指示用户情绪的信息。可选地,该信息和/或数据可以在不经分析的情况下输出至接口150,且分析可以例如在处理部件200中执行。

此外,传感器可以借助照相机、麦克风、上述传感器等获取用户或装置附近的图像或音频作为数据。此外,传感器可以包括检测在室内地点或室外地点中的位置的位置检测装置。具体地,位置检测装置可以包括全球导航卫星系统(GNSS)接收器和/或通信装置。GNSS可以包括例如全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(BDS)、准天顶卫星系统(QZSS)、伽利略等。在下面的描述中,使用GPS作为示例,但是也可以使用其他GNSS。通信装置使用Wi-Fi技术、多输入多输出(MIMO)、蜂窝通信(例如,使用移动基站、毫微微蜂窝的位置检测)、近场通信(例如,蓝牙低功耗(BLE)、蓝牙(注册商标))等。

例如,在上述传感器中的一个传感器检测用户的位置或状况(包括生物信息)的情况下,包括传感器的装置由用户携带或穿戴。可选地,同样在包括传感器的装置安装在用户的生活环境中的情况下,装置还可以能够检测用户的位置或状况(包括生物信息)。例如,用户的脉搏可以通过分析由固定并安装在房间中的照相机获取的包括用户面部的图像来检测。

需注意,输入部件100可包括将由传感器获取的信号或数据转换为给定格式(例如,将模拟信号转换为数字信号,或者编码图像数据或音频数据)的处理器或处理电路。可选地,输入部件100可在不将信号或数据转换为给定格式的情况下将所获取的信号或数据输出到接口150。在这种情况下,例如,由传感器获取的信号或数据在处理部200中被转换成操作命令。

例如,用于从外部服务获取信息的软件使用外部服务的应用程序接口(API),获取由外部服务提供的各种信息。软件可以从外部服务的服务器获取信息,或可以从在客户端装置上执行的服务的应用软件获取信息。借助该软件,可以获取诸如文本、图像等信息,用户或其他用户已经将这些信息发布在外部服务(诸如社交媒体)上。例如,可以获取的信息可不必为已经由用户或其他用户有意地发布的信息,并且可为由用户或其他用户执行的操作的日志。此外,待获取的信息不限于用户或其他用户的个人信息,而是分配至未指明数量的用户的信息,诸如新闻、天气预报、交通信息、兴趣点(POI)或广告。

此外,从外部服务获取的信息可以包括通过以下过程生成的信息:由包括在与外部服务协作的另一系统中的传感器检测通过上述传感器获取的信息,诸如加速度、角速度、方位角、照度、温度、压力、脉搏、脑波、触觉、嗅觉、味觉、其他生物信息、情绪和位置信息;并且由上述传感器获取的信息被发布在外部服务上。

接口150为输入部件100和处理部件200之间的接口。例如,在由独立装置实现输入部件100和处理部件200的情况下,接口150可包括有线或无线通信接口。另外,互联网可以介于输入部件100和处理部件200之间。更具体地,有线或无线通信接口可以包括蜂窝通信,诸如3G/LTE、Wi-Fi、蓝牙(注册商标)、近场通信(NFC)、以太网(注册商标)、高清晰度多媒体接口(HDMI)(注册商标)和通用串行总线(USB)。另外,在输入部件100和处理部件200的至少一部分通过单个装置实现的情况下,接口150可以包括装置内部的总线和程序模块内的数据引用(在本文,这些被称为在装置内部的接口)。另外,在输入部件100通过多个装置分散地实现的情况下,接口150可以包括用于各个装置的各种接口。例如,接口150既可以包括通信接口,也可以包括装置内部的接口。

1-2.处理部件

处理部件200基于由输入部件100获取的信息执行各种处理。更具体地,处理部件200包括例如处理器或处理电路,诸如中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或者现场可编程门阵列(FPGA)。此外,处理部件200可以包括存储器或存储装置,其用于暂时地或永久性地存储在处理器或在处理电路中执行的程序和在处理中读取及写入的数据。

需注意,处理部件200可以由单个设备内部的单个处理器或单个处理电路实现,或者可以由多个设备或单个设备内部的多个处理器或多个处理电路分散地实现。在处理部件200分散地实现的情况下,如在图2A和图2B所示的示例中示出的,接口250插置在处理部件200的分离的部件之间。与接口150相同的方式,接口250可以包括通信接口或装置内部的接口。需注意,在处理部件200的下面具体实施方式中,构成处理部件200的各个功能块示出为示例,并且接口250可以插置在任何功能块之间。即,在处理部件200通过多个装置实现或者通过多个处理器或多个处理电路而分散地实现的情况下,除非另行提及,否则功能块可分配给任何装置、处理器或处理电路。

1-3.输出部件

输出部件300将由处理部件200提供的信息输出至用户(其可以为与输入部件100的用户相同的用户或不同的用户)、外部装置或其他服务。例如,输出部件300可以包括用于将信息提供至外部服务的输出装置、控制装置或软件。

输出装置以由用户(其可以为与输入部件100的用户相同的用户或不同的用户)的感觉(诸如视觉、听觉、触觉、嗅觉和味觉)感知的格式输出由处理部件200提供的信息。例如,输出装置为显示器且以图像输出信息。需注意,显示器不限于反射型或自发光显示器,诸如液晶显示器(LCD)或有机电致发光(EL)显示器,并且包括引导图像显示光到用户眼睛的导光构件以及光源的组合,其用于可穿戴装置。另外,输出装置可以包括扬声器且可以通过音频输出信息。此外,输出装置还可以包括投影仪、振动器等。

控制装置基于由处理部件200提供的信息控制装置。待控制的装置可以包括在用于实现输出部件300的装置中,或可以为外部装置。更具体地,例如,控制装置包括生成控制命令的处理器或处理电路。在控制外部装置的情况下,输出部件300还可包括将控制命令发送至外部装置的通信装置。例如,控制装置控制打印机,其将由处理部件200提供的信息作为打印内容输出。控制装置还可以包括驱动器,其用于控制由处理部件200提供的信息在存储装置或可移除记录介质中的写入。可选地,控制装置还可以控制其他装置,该装置并不是输出或记录由处理部件200提供的信息的装置。例如,控制装置可以控制照明装置来打开灯,可以控制TV来关闭图像,可以控制音频装置来调节音量,且可以控制机器人来控制运动等。

例如,用于将信息提供至外部服务的软件使用外部服务的API,将由处理部件200提供的信息提供至外部服务。软件可以将信息提供给外部服务的服务器,或可将信息提供给在客户端装置执行的服务的应用软件。待提供的信息可不必立即反映在外部服务上,且可作为用户待发布在外部服务上或发送至外部服务所使用的候选。更具体地,例如,软件可提供用作用于搜索关键字或统一资源定位符(URL)的候选的文本,搜索关键字或统一资源定位符(URL)将由用户输入在于客户端装置上执行的浏览器软件中。此外,例如,代替用户,软件还可以在外部服务(诸如社交媒体)上发布文本、图像、视频、音频等。

接口350为在处理部件200和输出部件300之间的接口。例如,在通过独立装置实现处理部件200和输出部件300的情况下,接口350可包括有线或无线通信接口。另外,在处理部件200的至少一部分和输出部件300由单个装置实现的情况下,接口350可包括装置内部的接口。另外,在输出部件300通过多个装置分散地实现的情况下,接口350可以包括用于各个装置的各种接口。例如,接口350可以包括通信接口以及装置内部的接口。

2.功能性配置的示例

2-1.第一示例

图3为示出根据本公开的实施例的输入部件、处理部件和输出部件的功能性配置的第一示例的示意性框图。在下文,参考图3,将描述包括在根据实施例的系统10中的输入部件100、处理部件200和输出部件300的第一功能性配置示例。

输入部件100可以包括加速度传感器101、陀螺仪传感器103、地磁传感器105、压力传感器107和操作输入装置109。加速度传感器101、陀螺仪传感器103、地磁传感器105以及压力传感器107安装在例如由用户携带或穿戴的终端装置上。那些传感器可以检测用户的加速度或角速度、用户方位的改变以及用户周围的压力。输入部件100可包括另一个传感器,其提供可用于自主定位或稍后描述的动作识别的传感器数据。操作输入装置109可安装在与安装有上述传感器的装置相同的终端装置上,或可安装在不同终端装置上。例如,操作输入装置109获取指示用户的指令的操作输入,该指令与基于稍后描述的位置信息和动作识别信息进行的信息生成有关。如上所述,输入部件100还可包括处理器或处理电路,其转换或分析由那些传感器和操作输入装置获取的数据。

处理部件200可包括自主定位部件201、动作识别部件203、集成分析部件205和信息生成部件207。例如,通过与终端装置通信的服务器的处理器或处理电路实现功能性配置。此外,功能性配置的一部分可以通过与包括在输入部件100中的传感器或操作输入装置相同的终端装置的处理器或处理电路来实现。需注意,稍后将描述此类配置的具体示例。在下文,将进一步描述功能性配置的每个组件。

自主定位部件201基于由加速度传感器101、陀螺仪传感器103及地磁传感器105(在下文,将这些传感器统称为运动传感器)和压力传感器107获得的检测值来执行自主定位,而获取相对位置信息。位置信息可为携带或穿戴安装有传感器的终端的用户的位置信息。在传感器的检测值按时间连续提供的情况下,自主定位部件201获取一组位置信息。需注意,因为自主定位技术为熟知的,所以将省略详细描述。在实施例中,自主定位部件201能够采用已知自主定位技术的任何配置。例如,由自主定位部件201获取的位置信息可包括与由传感器获得的检测值的误差范围对应的可靠性信息。

动作识别部件203通过基于由加速度传感器101、陀螺仪传感器103及地磁传感器105(运动传感器)和压力传感器107获得的检测值执行动作识别来获取动作识别信息。借助动作识别,识别用户的动作的种类,所述种类为停留、行走、跑、跳、楼梯、升降机、自动扶梯、自行车、公共汽车、火车、汽车、轮船或飞机。需注意,因为动作识别技术在许多文件诸如JP 2012-8771A等中描述,所以省略详细描述。在实施例中,动作识别部件203能够采用已知动作识别技术的任何配置。例如,动作识别信息可包括可靠性信息,其与由传感器获得的检测值的误差范围或者针对该种动作计算的分数的误差范围对应。

在实施例中,自主定位部件201和动作识别部件203各自分析由包括运动传感器的传感器获得的检测值,从而获取位置信息和动作识别信息。例如,基于初始传感器的检测值的时间戳,位置信息和动作识别信息彼此相关联。在下文中,包括彼此相关联的用户位置信息和用户动作识别信息的信息被称为用户的动作日志。在图3所示的第一示例中,通过自主定位部件201和动作识别部件203实现动作日志获取功能。在另一个示例中,在自主定位部件201和动作识别部件203中的至少一个通过与实现集成分析部件205的装置不同的装置实现的情况下,实现集成分析部件205的装置可以使用通信装置实现动作日志获取功能,该通信装置接收位置信息和动作识别信息中的至少一个。

集成方式的集成分析部件205分析包括在动作日志中的位置信息和动作识别信息。更具体地,例如,集成分析部件205实现以下中的至少一个:位置信息校正功能,其涉及基于动作识别信息指定包括在一组位置信息中的参考位置,且使用参考位置作为参考来校正包括在多个动作日志中的一组位置信息;和模型学习功能,其涉及基于位置信息和动作识别信息学习位于由位置信息指示的位置处的用户的动作的模型。此外,集成分析部件205还可以实现地图生成功能,其涉及基于位置信息和动作识别信息生成用于基于动作识别信息放置信息的地图。需注意,稍后将描述那些功能的细节。

信息生成部件207基于由集成分析部件205提供的信息生成从输出部件300输出至用户的信息。更具体地,例如,信息生成部件207基于由集成分析部件205实现的模型学习功能学习的模型生成信息。另外,信息生成部件207还可以生成通过将基于动作识别信息的信息放置在基于位置信息生成的地图上而获得的信息。由信息生成部件207生成的信息可通过接口350输出到输出部件300。需注意,稍后将描述由信息生成部件207生成的信息的更具体示例。

输出部件300可包括显示器301、扬声器303和振动器305。显示器301、扬声器303和振动器305安装在例如由用户携带或穿戴的终端装置上。显示器301以图像输出信息,扬声器303以音频输出信息,而振动器305以振动输出信息。待输出的信息可包括由信息生成部件207生成的信息。显示器301、扬声器303和振动器305可安装在与安装有输入部件100的传感器的装置相同的终端装置上。另外,显示器301、扬声器303或振动器305可安装在与输入部件100的操作输入装置109相同的终端装置上。可选地,显示器301、扬声器303或振动器305可安装在与输入部件100的结构元件不同的终端装置上。需注意,稍后将描述用于实现输入部件100、处理部件200和输出部件300的终端装置以及服务器的更具体的配置示例。

2-2.第二示例

图4为示出根据本公开的实施例的输入部件、处理部件和输出部件的功能性配置的第二示例的示意性框图。在下文,参考图4,将描述包括在根据实施例的系统10中的输入部件100、处理部件200和输出部件300的第二功能性配置示例。需注意,由于输出部件300的配置与第一示例相同,因此将省略重复的描述。

输入部件100可以包括GPS接收器111、加速度传感器101、陀螺仪传感器103、地磁传感器105、压力传感器107和操作输入装置109。第二示例与第一示例的不同之处在于,除了传感器和操作输入装置之外,输入部件100可以包括GPS接收器111。因此,输入部件100能够使用GPS执行定位并获取绝对位置信息。其他部件与第一示例相同,且因此,将省略重复的描述。

处理部件200可包括位置信息获取部件211、动作识别部件203、集成分析部件205和信息生成部件207。第二示例与第一示例的不同之处在于,处理部件200包括位置信息获取部件211,而不是自主定位部件201。位置信息获取部件211通过接口150接收从包括在输入部件100中的GPS接收器111发送的位置信息。即,在图4所示的第二示例中,通过位置信息获取部件211和动作识别部件203实现动作日志获取功能。在由位置信息获取部件211接收的、由GPS接收器获取的位置信息的可靠性足够高的情况下,集成分析部件205不必实现位置信息校正功能。

需注意,可以用叠加方式采用第一示例和第二示例。即,除了传感器和操作输入装置之外,输入部件100可包括GPS接收器111,而处理部件200可以包括自主定位部件201和位置信息获取部件211这两者。在这种情况下,在可以由GPS接收器111执行定位的情况下,可以采用第二示例。即,位置信息获取部件211接收由GPS接收器111发送的位置信息,而集成分析部件205不实现位置信息校正功能。在另一方面,在这种情况下,在难于由GPS接收器111执行定位的情况下,可以采用第一示例。即,自主定位部件201基于由传感器获得的检测值进行自主定位,而集成分析部件205实现位置信息校正功能。

3.位置信息校正功能

接下来,将进一步描述可以在实施例中实现的位置信息校正功能。如上所述,位置信息校正功能可以通过包括在处理部件200中的集成分析部件205来实现。

图5为示出根据本公开的实施例的位置信息校正的第一阶段的视图。图5示出由自主定位部件201获取的一组相对位置信息组成的用户的移动轨迹T。首先,集成分析部件205基于与位置信息相关联的用户的动作识别信息来指定包括在一组位置信息中的参考位置。在图示的示例中,集成分析部件205在移动轨迹T上指定参考位置P1至P4。参考位置P1和P4分别是由移动轨迹T所示的位置信息组的起点和终点。此外,参考位置P2和P3分别为位置信息组的分割点,如稍后将描述的。

参考位置P1和P4各自为示出与建筑物设备相关的动作已经发生的动作识别信息所在的位置。建筑物设备可以包括例如上升和下降设备(诸如楼梯、升降机或自动扶梯)或者出入设备,诸如门。在图中所示的示例中,动作识别信息指示在参考位置P1已经发生“进入或离开升降机”。另外,动作识别信息指示在参考位置P4已经发生的“上楼梯和下楼梯”。此类动作识别信息可以通过由动作识别部件203分析由包括在输入部件100中的加速度传感器101和压力传感器107获得的检测值来获取。

参考位置P2为安装有传感器的终端装置使用通信装置成功地与信标B进行通信的位置,该通信装置独立安装在终端装置上。终端装置与信标B执行近场通信,诸如蓝牙(注册商标)。终端装置以时间戳将指示成功通信的信息发送至实现处理部件200的装置(例如服务器)。在这种情况下,集成分析部件205使用时间戳,并且可以将终端装置和信标B之间的通信结果与位置信息相关联。这里,因为信标B是建筑物楼层等上的固定设备,所以成功与信标B通信的终端装置可能处于与信标B的位置相同或接近的位置,即使信标B的位置信息是未知的。由于相同的原因,集成分析部件205可以将安装有传感器的终端装置使用GPS等已经成功地获取绝对位置信息所在的位置指定作为参考位置。同样在这种情况下,获取共用绝对位置信息的终端装置可能处于相同位置或靠近的位置。

参考位置P3为位置信息指示用户停留给定时间段或更长时间段所在的位置。以这种方式,集成分析部件205可以指定出现在位置信息组中的奇异点作为参考位置。作为奇异点,可以另外提供用户的行进方向或移动速度显著切换的点。需注意,可以不基于位置信息组而是基于动作识别信息指定相似奇异点。另外,集成分析部件205还可以通过将位置信息组与动作识别信息组合执行分析来指定奇异点。

图6为示出根据本公开的实施例的位置信息校正的第二阶段的视图。图6示出使用参考位置P1到P4作为参考将用户的移动轨迹T分割的区间S1到S3。在实施例中,集成分析部件205使用多个位置作为参考将位置信息组分割为多个区间作为参考位置,对位置信息组在多个动作日志之间的分割的部分进行平均,从而校正位置信息组。

图7为示出根据本公开的实施例的位置信息校正的第三阶段和第四阶段的视图。在由自主定位部件201和动作识别部件203获取的动作日志的数量为两个或更多的情况下,其中动作日志由不同用户提供或在不同时间提供(且可以由相同用户提供),集成分析部件205进行用于多个动作日志中的每个的第一阶段和第二阶段的处理。以这种方式,通过使用参考位置作为参考而分割位置信息组所获得的多个区间(在下文,也称为区段)得到大量生成。

这里,作为第三阶段,集成分析部件205实施区段(位置信息组的经分割的部分)的集中。借助该集中,特征彼此相似的区段分类成相同簇。区段的特征包括例如对应于区间之前和之后的参考位置的动作的种类(由动作识别信息指示),区间之前和之后的参考位置的位置信息,或者由包括在区段中的位置信息组指示的移动距离或者移动时间段。例如,在图5和图6所示的移动轨迹T的示例中,在包括在另一用户的动作日志中的位置信息组也分割成从参考位置P1至参考位置P2的区间的情况下,对应于该区间的区段也可分类成与对应于移动轨迹T被分割的区间S1的区段相同的簇。然而,在由位置信息组指示的移动距离或移动时间段彼此相差很大的情况下,这些区段可以不被分类到相同簇中。特征彼此相似的区段分类成相同簇,且分类成相同簇的区段经过稍后描述的平均,从而阻止错误地对区段执行平均,这些区段实际上指示在不同位置处的移动。包括用户的不规则运动的区段可用于平均从而阻止噪音混合在平均的结果中。

稍后,如图7所示,集成分析部件205执行在分类成相同簇的区段之间的位置信息组的平均。在该图所示的示例中,对应于包括在相应三个不同动作日志中的区段的移动轨迹T1、T2和T3的部分并排移动、旋转移动,以及放大或缩小,以便更接近中心坐标组T_AVE。根据此类操作,可以校正以下,例如:在对应于每个区段的位置信息组的起点处的初始速度值或方向的误差;和由传感器的灵敏度差异导致的误差的累积。中心坐标组T_AVE可以例如通过确定由包括在每个位置的多个动作日志中的每一个中的位置信息组所示的坐标的算术平均值来计算。此时,可以根据位置信息的可靠性向每个组所示的坐标分配权重,然后可以确定算术平均值。在这种情况下,由具有较高可靠性的位置信息所示的坐标对中心坐标组T_AVE具有较大影响。

图8为示出根据本公开的实施例的位置信息校正的效果的视图。在该图所示的示例中,将由自主定位获得的用户的位置信息组示出的移动轨迹T'校正为移动轨迹T。因为构成移动轨迹T'的位置信息组被相对地通过自主定位确定,在起点处的速度或方向的设定值可能不适当,或者包括由传感器获得的检测值中的误差可能累积,因此,移动轨迹T'可偏离实际位置。在该图所示的示例中,在起点处的用户的方向的设定值不合适,且因此,移动轨迹T'以起点作为其中心进行旋转的方式偏离初始移动轨迹。

为了校正在自主定位结果中的误差,给出例如使用GPS等在两个或多个点进行绝对定位和使用这些点作为参考校正位置信息组的方法。然而,在难以使用借助GPS等的绝对定位的环境中,诸如室内地点,不容易采用这种方法。因此,在实施例中,基于与位置信息相关联地获取的动作识别信息来指定用于校正位置信息组的参考位置。只要用户携带或佩戴安装有传感器的终端装置,就可以在室内地点和室外地点获取动作识别信息,因此,可以在位置信息组中包括的位置的范围之外指定任何数量的参考位置。

这里,在仅指定两个参考位置点的情况下,例如,也可以针对两个点之间的位置信息组,使用多个动作日志之间的平均来进行校正。然而,例如,在位置信息组包括相对大区域的位置信息的情况下,由位置信息组构成的轨迹的形状变得复杂,因而通过并排移动、旋转移动,放大或缩小等难于校正位置信息组。因此,在实施例中,参考位置表示位置信息组的起点、终点和分割点,并且使用参考位置作为参考,针对位置信息组被分割成的多个区间中的每个进行平均。以这种方式,如图7所示的实例所示出的,例如,待校正的移动轨迹的形状变得简单,因而变得容易计算平均移动轨迹和通过并排移动、旋转移动、放大或缩小等实施校正。

另外,包括在多个动作日志的每个中的位置信息组并不总是仅包括由相同路线中的规则移动生成的组。例如,部分地具有彼此相同部分的路线可具有与中途不同的部分(例如,进入办公室且然后到各自桌子的用户),或者可以包括用户的不规则运动(例如,用户在途中突然停止或倒下)。如果在那些情况中生成的位置信息组用于平均,则这将变成关于由规则移动生成的组的噪音,且位置信息可能被不适当地校正。因此,在实施例中,使用参考位置作为参考将位置信息组分割成多个区间,并且在位置信息组的分割部分的特征彼此相似的情况下,在位置信息组中进行平均。

4.模型学习功能

接下来,将进一步描述可以在实施例中实现的模型学习功能。如上所述,模型学习功能可以通过包括在处理部件200中的集成分析部件205来实现。

图9和图10各自为示出根据本公开的实施例的模型学习功能的视图。在图9,示出用户的状态ST,其由位置信息和动作识别信息限定。由集成分析部件205学习的用户的动作的模型可为例如(如在图中所示的示例中)由状态ST限定的概率模型,在状态ST中的位置的观察概率和动作的观察概率以及状态之间的转变概率。为了示出用户的状态ST和位置信息之间的关系,图9还示出用户的移动轨迹T。

需注意,在实施例中,模型学习功能可独立于位置信息校正功能而实现。即,由图9中的移动轨迹T所示的用户的位置信息可以例如通过由上述功能性配置的第一示例的自主定位部件201获取的位置信息提供,该位置信息由集成分析部件205实现的位置信息校正功能校正。另外,用户的位置信息可以通过由自主定位部件201所获取的位置信息来提供,使用与上述位置信息校正功能不同的方法校正该位置信息,或者用户的位置信息可以是由自主定位部件201获取的位置信息。可选地,用户的位置信息可为由GPS获得的位置信息,其由上述功能性配置的第二示例的位置信息获取部件211来获取。

在实施例中,对于动作的模型学习,使用概率模型,诸如隐马尔可夫模型(HMM)。HMM是由状态、观察概率和转变概率形成的模型。观察概率(作为概率)表达每个状态发生和发生什么动作的坐标(位置)。转变概率指示某一状态改变成另一个状态的概率或者本身转变的概率。集成分析部件205基于与位置信息相关联的一组位置信息和动作识别信息来定义状态,该位置信息包括在由不同用户提供或在不同时间提供(并且可以由相同用户提供)的多个动作日志中。因为状态不仅由位置信息限定,所以可以存在以重叠方式在相同位置处限定的不同状态的情况。

图10示出提取由图9中的虚线包围的部件处存在的三个状态ST1至ST3的视图。在图10,关于状态ST3,观察概率POB包括坐标(纬度和经度)中的每个的平均值和标准方差(由图中的小字母Σ表示)和动作识别结果的观察概率。需注意,除了图中所示的示例中的项目之外,观察概率POB还可以包括诸如时间、一周中的天、季节、设施的外在属性的观察概率或用户属性。即,在实施例中,概率模型还可由外在属性在每个状态中的观察概率限定。在另一方面,图10示出关于状态ST2,转变概率PT如下:对于状态ST1为22%;对于状态ST3为27%;对于向下状态(未示出)为24%,而自转变概率PST为27%。

图11和图12是各自示出根据本公开的实施例的基于状态模型估计位置属性的视图。在实施例中,基于由集成分析部件205学习的模型,包括在处理部件200中的信息生成部件207可以生成信息。例如,信息生成部件207生成信息,该信息指示通过包括在动作日志中的位置信息示出的位置的位置属性。

图11示出其中图9中示出的状态ST分类成状态ST_P和状态ST_E的状态,该状态ST_P对应于路径的位置属性,该状态ST_E对应于升降机的位置属性。例如,对于参考图9和图10描述的动作的模型学习的处理,限定状态ST、在状态ST中的位置和动作的观察概率和状态之间的转变概率。这里,使用从状态ST的观察概率和转变概率提取的特征作为输入,使用识别函数来计算每个位置属性的分数。因此,在图中示出的示例的状态ST分类成状态ST_P和状态ST_E,该状态ST_P对应于路径的位置属性,该状态ST_E对应于升降机的位置属性。需注意,状态ST的特征可以包括例如动作的观察概率、在目的地的状态中的动作的观察概率、转变概率的熵以及对应于状态ST的用户的数量(用户的数量/天,特定用户的数量,用户的总数量等)。

图12示出使用识别函数计算每个位置属性的分数的示例。例如,关于由某一区域限定的状态ST,在给定对应于相应状态的位置属性标签PL1至PL3的情况下,基于那些状态和位置属性标签进行使用技术(诸如支持向量机(SVM)和AdaBoos)的机器学习,因此,可以限定用于每个位置属性的识别函数C(x)。更具体地,识别函数C(x)由学习生成,使得当某一状态ST的特征量x被输入时,赋予状态ST的位置属性标签PL具有最高分。在图中示出的示例中,示出用于识别位置属性标签“升降机”的识别函数C升降机(x),用于识别位置属性标签“路径”的识别函数C路径(x)等。

图13为示出根据本公开的实施例的位置属性的使用示例的视图。在图13所示的示例中,估计建筑物楼层中会议室、桌子和路径的位置属性。在这种情况下,在伴随从桌子移动到会议室的移动轨迹T中检测到用户动作的情况下,例如,可以估测用户的动作是用户已经处于在办公桌处工作的状态,且然后移动至会议室以参与会议。以这种方式,信息生成部件207可以生成指示基于动作日志识别的动作的信息,该动作日志包括位置信息和与位置信息相关联的动作识别信息,以及基于动作日志估测为用户动作模型学习结果的位置属性。在上述的示例中,虽然动作识别部件203使用由传感器获得的检测值进行动作识别,但在该情况下,难于诸如在工作、购物和吃饭期间高精度地识别用户的高级动作。因此,通过组合由用户的动作的模型学习和位置属性的估测获得的结果,并通过进行进一步动作识别,可以高精度地识别用户的高级动作。

另外,在另一个示例中,信息生成部件207还可以基于针对每个位置的动作的分数来生成信息,该分数基于模型中位置的观察概率和动作的观察概率而被计算。例如通过根据位置的平均值和方差对每个状态中的动作的观察概率相加来计算分数。例如,信息生成部件207可以生成指示动作的信息,该动作表示基于分数指定的位置。表示位置的动作可为具有最高分数的动作。另外,例如,信息生成部件207可以基于分数生成示出在位置处的动作的频率分布的信息。频率分布可根据每个动作的分数而生成。

图14为示出根据本公开的实施例的使用动作的分数校正动作识别结果的视图。在图14所示的示例中,包括在动作日志中的动作识别信息包括指示用户的运输工具(火车、公共汽车或汽车)的信息。另外,包括在动作日志中的位置信息指示移动轨迹T。另外,基于之前已经获取的动作日志,学习了模型,其包括每个运输工具(火车、公共汽车或汽车)的观察概率。在这种情况下,针对每个位置的运输工具(火车、公共汽车或汽车)的分数可以基于模型中的位置和动作的观察概率来计算。基于每个状态中的位置的观察概率在地图上表达分数,因而可以生成指示在每个位置处识别的运输工具(火车、公共汽车或汽车)的趋势的地图。

在图示的示例中,具有相应运输工具的高分数的区域分别示出为R_火车、R_公共汽车和R_汽车。需注意,虽然相应区域为了打印的方便以均匀的阴影表达,但可以实际上表达用于区域内的每个位置的分数水平。即,具有每个运输工具的高分数的区域和具有每个运输工具的不高分数的区域可以包括在区域R_火车、R_公共汽车和R_汽车内。另外,多个运输工具的分数可针对每个位置进行表达。

这里,例如,在与移动轨迹T相关联的动作识别信息指示交通工具是火车的情况下,即使用户的移动轨迹T主要经过区域R_汽车,信息生成部件207也会将动作识别结果从火车校正为汽车。例如,在地图上已经给出铁路和道路的区域的情况下也可以实施这种处理,但是不容易针对整个地图获取这样的信息并且根据需要来进一步更新信息。在实施例中,可以借助如上所述状态的模型学习,而将地图生成为示出针对每个位置识别的动作的趋势,并且因此可以基于位置信息容易地进行动作识别结果的校正。

作为校正动作识别结果的更具体方法,例如,信息生成部件207可以生成指示动作的信息,基于通过将权重分配至由动作识别信息(其由动作识别部件203获取)指示的动作分数和由集成分析部件205学习的概率模型所指示的动作分数,并将这些得分相加所计算的分数来识别该动作。例如,在图14所示的示例中,在由动作识别信息指示的动作分数为“火车=0.5和汽车=0.25”,由概率模型指示的动作分数(对应于在地图上的移动轨迹T上的位置的分数)为火车=0.25和汽车=0.75,且权重0.5分配至分数中的每个并且分数相加在一起的情况下,火车的分数为0.5x0.5+0.25x0.5=0.375且汽车的分数为0.25x0.5+0.75x0.5=0.5。因此,动作识别的结果被从火车校正为汽车。

图15至图17各自示出根据本公开的实施例的使用动作的分数呈现信息的视图。参考图15至图17所述的屏幕1100显示为例如包括在输出部件300中的显示器301上的图像。

图15示出屏幕1100中的地图1101、动作种类方框1103、日期方框1105和时间段方框1107。如上所述,在实施例中,由集成分析部件205学习的用户的动作的模型可以是由用户的状态限定的概率模型,在状态中的位置的观察概率和动作的观察概率以及状态之间的转变概率。另外,概率模型还可由在每个状态中的外在属性的观察概率限定。在这种情况下,信息生成部件207可以通过根据外在属性过滤动作的观察概率来生成信息。

在图16中,在图16所示的屏幕1100中,在动作种类方框1103中选择“汽车”、“公共汽车”和“火车”,在日期方框1105中选择星期一至星期五,且6:00至10:00选作时间段。在这种情况下,在地图1101中,在所选择的日期和时间段中的所选择的动作种类(火车、公共汽车和汽车)中具有高分数的区域R_火车、R_公共汽车和R_汽车以叠置方式显示。如上所述,例如通过根据位置平均值和方差对每个状态中的动作的观察概率进行相加来分别计算分数。在这种情况下,根据所选择日期和时间段的观察概率将权重分配至动作的观察概率,然后相加。

需注意,虽然区域R_火车、R_公共汽车和R_汽车为了方便印刷而以均匀阴影表达,但实际上可表达区域内的每个位置的分数水平。例如,可用通过热红外分布地图或等高线地图表达分数水平。另外,在针对每个位置计算多个交通工具的分数的情况下,关于区域R_火车、R_公共汽车和R_汽车的显示,可以选择具有最高得分的动作。

图17示出方框的示例,该方框不是图15和图16所示的动作种类方框1103、日期方框1105和时间段方框1107。例如,如图所示的示例,屏幕1100可以显示年龄框1109,性别框1111或者职业框1113以及图15所示的框或代替图15所示的框。例如,在概率模型由包括每个状态的年龄、性别和职业的外在属性的观察概率限定的情况下,信息生成部件207可以通过根据那些属性过滤动作的观察概率来生成信息。

需注意,在集成分析部件205不学习用户的动作模型的情况下,参考图15至图17描述的信息呈现与屏幕1100类似也是可以的。例如,在动作日志的数量为两个或更多的情况下,其中动作日志由不同用户提供或者在不同时间提供(并且可以由相同用户提供),集成分析部件205可以计算对应于由动作识别信息指示的动作的频率的分数,该动作识别信息与在多个动作日志中指示相同位置或靠近彼此的位置的位置信息相关联。同样在这种情况下,通过以与以上示例中动作分数相同的方式处理计算的分数,信息生成部件207可以实现参考图15至图17描述的类似屏幕1100的信息呈现。

如以上所述的示例,通过基于位置信息和动作识别信息来学习在由位置信息指示的位置处的用户的动作的模型,包括在由不同用户提供或在不同时间(且可以有相同用户提供)提供的多个动作日志中的多条动作识别信息可以通过与每条动作识别信息相关联的位置信息来组合。通过提供这样的模型,例如,可以估测由包括在动作日志中的位置信息指示的位置的位置属性,并且可以通过使用估测的位置属性来提高动作识别信息的精度。另外,还可以生成基于每个位置的动作的分数的信息,该分数基于在模型中的位置的观察概率和动作的观察概率计算出。

5.地图生成功能

接下来,将进一步描述可以在实施例中实现的地图生成功能。如上所述,地图生成功能可以通过包括在处理部件200中的集成分析部件205来实现。

实现地图生成功能的集成分析部件205基于包括在动作日志中的至少位置信息生成用于基于动作识别信息放置信息的地图。需注意,在位置信息与基于使用GPS的绝对位置的结果的现有地图相关联时,地图生成功能不可实现。在这种情况下,信息生成部件207可以生成其中基于动作识别信息的信息放置在现有地图上的信息。同样根据这种处理,例如可以生成诸如参考图15至图17描述的屏幕1100的信息。

也就是说,可以独立于模型学习功能和信息生成功能来实现地图生成功能。例如,在位置信息不与现有地图相关联的情况下(包括不存在现有地图的情况),实现地图生成功能的集成分析部件205基于包括在动作日志中的位置信息重新生成地图。

作为简单的示例,实现地图生成功能的集成分析部件205可以基于由如图5所示的一组位置信息形成的用户的移动轨迹来生成地图。需注意,地图生成功能还可独立于位置信息校正功能而实现。即,集成分析部件205可以通过位置信息校正功能来校正由功能性配置的第一示例中的自主定位部件201获取的位置信息,并且可以将校正的位置信息用于下面将描述的地图生成功能,或者可以通过不同于位置信息校正功能的方法来校正位置信息,并且可以使用校正后的位置信息以用于地图生成功能。可选地,集成分析部件205可以使用由自主定位部件201获取的位置信息以用于地图生成功能。另外,集成分析部件205可以将由GPS获取的位置信息(由功能性配置的第二示例中的位置信息获取部件211获取)用于地图生成功能(例如,在生成比现有地图更详细的地图的情况下)。

这里,例如,在位置信息包括具有不同高度的多组位置信息的情况下,实现地图生成功能的集成分析部件205可以生成针对每组位置信息分割的地图。例如,位置信息可以包括纬度、经度和高度的信息(这些值可以是全球的或本地的),然而,在具有不同高度(超过一定误差)的多组位置信息包括在位置信息中的情况下,该位置信息包括在由不同用户提供或者在不同时间提供(并且可以由相同用户提供)的多个动作日志中,集成分析部件205可以将地图分割为对应于那些位置信息。具体而言,在建筑物的不同楼层获取的位置信息组包括在动作日志中的情况下,可以分割地图。

此外,实现地图生成功能的集成分析部件205还可以基于包括在动作日志中的动作识别信息来生成地图。下面将描述用于该情况的示例(地图分割)。

图18为示出根据本公开的实施例的地图分割的第一阶段的视图。图18示出状态ST和链接L,该状态ST由参考图9和图10描述的动作的模型学习来限定,该链接L将处于转变关系的状态ST彼此连接。在图中所示的示例中,图形结构(其由经由链接L彼此连接的状态ST形成)由地理围栏GF分割。更具体地,跨越地理围栏GF的链接L设定为分割点。例如,地理围栏GF可为指示在地图内的地理边界(诸如建筑物的区域)的给定信息。例如,以与地理围栏GF相同方式指示在地图内的地理边界的信息以及建筑物中的每个楼层的高度信息可以被使用。在高度包括在状态ST的特征量中的情况下,跨越对应于楼层间边界的高度的链接L设定成分割点,且因此,分割图形结构。以这种方式,在第一阶段,基于给定信息(诸如可用的外部地图信息、由用户手动指定的信息等)分割动作地图。

图19为示出根据本公开的实施例的地图分割的第二阶段的视图。在图19,在第一阶段中被分割的区域地理围栏GF外面的区域示出为区域R1。在图中所示的示例中,在剩余区域中的状态ST的图形结构在指示与建筑物设备相关的动作已经发生的位置处被进一步分割。建筑物设备可以包括例如上升和下降设备(诸如楼梯、升降机或自动扶梯或者出入设备诸如门)。在图中所示的示例中,与状态ST_门连接的链接L设定成分割点。状态ST_门为其中“打开/关闭门”的动作由动作识别信息识别的状态。在试图针对建筑物内每个房间分割动作地图的情况下,例如,在对应于门的位置处分割地图是适合的。需注意,同样以与区域R1中相同的方式,状态ST的图形结构可以在指示具体动作识别结果的状态的位置处被进一步分割。

图20为示出根据本公开的实施例的地图分割的第三阶段的视图。在图20中,由第一阶段和第二阶段中的分割获得的区域分别示出为区域R1和区域R2。在图中所示的示例中,在剩余区域中的状态ST的图形结构基于状态之间的相似度被进一步分割。在图中所示的示例中,在剩余区域中的状态ST的图形结构中,在确定其间相似度低于给定阈值(即,状态不相似)的状态之间的链接L设定为分割点,且地图分割成两个区域。即,在位置(指示在每个位置的用户动作的状态不相似)之间分割地图。在下文中,将进一步描述生成相似度函数的方法,用于通过学习位置信息和动作识别信息来确定状态是否相似。

在图中所示的示例中,第一,为了创建相似度函数,将标签赋予由某一地区限定的状态ST。这里所赋予的标签可以包括“私人房间”、“会议室”、“走廊”等。需注意,虽然这与参考图12描述的赋予位置属性标签的过程相似之处在于,标签被赋予状态ST,但标签的内容可以不同于在图12所示的示例中的那些。已经在图12的示例中提供的标签已经用于动作识别,但在另一方面,这里要赋予的标签用于分割动作地图。因此,例如,在图12所示的示例中,赋予了标签“桌子”的状态可以被提供有“私人房间”的标签(以便就包括桌子的整个私人房间而言分割地图,而非就单个桌子而言)。相似度函数被创建为距离函数D,使得例如当输入具有相同标签的两个状态时,相似度分数高,并且当输入具有不同标签的两个状态时相似度分数低。更具体地,例如,使用技术(诸如距离度量学习)来创建距离函数D,使得在输入两个状态ST1和ST2的特征量x1和x2的情况下,通过距离函数D(x1,x2)计算出的分数变成上述相似度得分。

图21为示出根据第一至第三阶段的地图分割的结果的视图。区域R1为在第一阶段中由地理围栏GF分割的动作地图限定的区域。例如,该区域对应于建筑物的外面。区域R2是在第二阶段中由在状态ST_门的位置处分割的动作地图限定的区域,状态ST_门指示特征动作识别结果(门的打开/关闭)。例如,该区域对应于建筑物内部的路径的区域。区域R3和R4各自是在第三阶段中由基于状态之间的相似度分割的动作图限定的区域。该区域对应于例如在建筑物内部的、用途彼此不同的房间(私人房间和会议室)。根据包括第一至第三阶段的处理,可以适当地分割包括属于各种属性的区域(诸如区域R1至R4)的动作地图。

需注意,区域的示例仅是示例。例如,包括在动作地图中的所有区域可以放置在建筑物内部,或所有区域可以放置在建筑物外面。另外,如上所述,在第一阶段中已经被分割的所有区域可以在第二阶段中被进一步分割。以相同的方式,在第一阶段中或第二阶段中已经被分割的所有区域还可以在第三阶段中被分割。

图22为示出根据本公开的实施例的动作地图分割的效果的视图。图22示出在分割之前的动作地图的示例(地图_A)和在分割之后的动作地图的示例(地图_B)。需注意,在那些动作地图中,省略状态的示意表示,仅示出基于转变的链接(移动轨迹)。

在图中所示的示例中的动作地图包括两个建筑物(建筑物A和建筑物B)和两个建筑物外面的户外地点,并且,借助第一至第三阶段的处理,分割为室外地点的区域和每个建筑物的楼层的区域。例如,以这种方式分割动作地图,且因此,与显示从建筑物的楼层向下看的二维动作地图的情况一样,查看动作地图的期望限制的地区变得容易。另外,动作地图在建筑物的内部和建筑物的外部之间分割,且因此,可以使用建筑物内部和建筑物外部的唯一的动作和位置属性来进行分析。

6.将位置信息与建筑物设备相关联的处理功能

在实施例中,包括在处理部件200中的集成分析部件205可以实现基于动作识别信息将建筑物设备关联到位置信息的关联处理功能。在这种情况下,自主定位部件201或位置信息获取部件211实现获取用户的位置信息的位置信息获取功能。另外,例如,动作识别部件203实现获取动作识别信息的动作识别信息获取功能,动作识别信息示出与建筑设备相关的用户动作已经发生。

例如,在上面已经描述的位置信息校正功能和地图生成功能中,已经描述使用动作识别信息示出与建筑物设备相关的动作的示例。在那些示例中,指示与建筑物设备相关的动作已经发生的位置被用作校正位置信息组的参考点和用作地图的分割点。在那些功能中,可以说已经实现了关联处理功能。

另一方面,在实施例中,通过集成分析部件205可以独立于位置信息校正功能和地图生成功能来实现关联处理功能。在下文中,将描述关联处理功能,并且还将描述与建筑物设备相关的用户动作的识别技术的示例。这种技术不仅可以在独立地实现关联处理功能的情况下使用,而且在与位置信息校正功能和地图生成功能一起实现关联处理功能的情况下也可以使用。

在实施例中,自主定位部件201可以实现获取用户的位置信息的位置信息获取功能。如上所述,自主定位部件201通过基于用户的感测信息来执行自主定位以获取位置信息,用户的感测信息包括由包含在输入部件100中的加速度传感器101、陀螺仪传感器103和地磁传感器105(运动传感器)获得的检测值。可选地,位置信息获取部件211可以实现位置信息获取功能。位置信息获取部件211获取由包括在输入部件100中的GPS接收器111提供的位置信息。

另外,在实施例中,动作识别部件203可以实现获取动作识别信息的动作识别信息获取功能,该动作识别信息基于与位置信息相关联的用户感测信息而生成并且示出已经发生与建筑物设备相关的用户动作。例如,在通过自主部件201实现位置信息获取功能的情况下,因为待输入至动作识别部件203的感测信息可以与待输入至自主定位部件201的感测信息相同,所以可以说感测信息与位置信息相关联。另外,还是在位置信息获取部件211实现位置信息获取功能的情况下,可以使用时间戳等将感测信息与位置信息相关联。

如上所述,动作识别部件203通过基于由加速度传感器101、陀螺仪传感器103及地磁传感器105(运动传感器)和压力传感器107获得的检测值执行动作识别来获取动作识别信息。作为动作识别的技术,可以采用任何已知配置,且例如,动作识别部件203可以通过参考对应于与建筑物设备相关的用户动作的运动模型和执行由传感器获得的检测值的模式识别等,来获取动作识别信息。需注意,在另一个示例中,在动作识别部件203和集成分析部件205通过独立装置实现的情况下,通过接收实现集成分析部件205的装置中的动作识别信息的通信装置来实现动作识别信息获取功能。

图23为示出根据本公开的实施例的与升降机相关的动作的检测的视图。图23示出由加速度传感器101提供的三个轴的加速度ax、ay和az,以及三个轴的加速度的重力方向分量ag。在该图所示的例子中,通过在重力方向上投射三个轴的加速度ax、ay和az并去除重力加速度分量来获得加速度的重力方向分量ag。这里,在用户在升降机上的情况下,三个轴的加速度ax、ay和az中的加速度值的方差变小,并且特定模式出现在加速度的重力方向分量ag上。特定模式可以响应于升降机的加速和减速而发生。匹配这种条件的区间示为图中的区间Ev。

在观察到区间Ev的情况下,由动作识别部件203获取的动作识别信息可以示出已经发生与升降机相关的用户的动作。例如,动作识别信息可以示出在整个区间Ev上发生“在升降机上移动”的动作,或者也可以示出在区间Ev的开始点处发生“进入升降机”的动作和在区间Ev的结束点处发生“离开升降机”的动作。

图24为示出根据本公开的实施例的检测与升降机相关的动作的处理的示例的流程图。参考图24,动作识别部件203计算由加速度传感器获得的检测值的平均值avg和方差var(S101)。这里,在方差var小于给定阈值V并且平均avg在给定范围(A1至A2)(S103中为“是”)的情况下,动作识别部件203还提取在重力方向上的加速度的变化(S105)。如上所述,基于由加速度传感器101获得的检测值来计算在重力方向上的加速度的变化。在重力方向上的加速度的变化出现特定模式的情况下(S107中为“是”),动作识别部件203检测与升降机相关的动作(S109),并生成表示该动作的动作识别信息。

图25为示出根据本公开的实施例的与楼梯相关的动作的检测的视图。在图25中,示出了由压力传感器107提供的压力的检测值Pa,基于检测值Pa识别的分类C(上/下),基于由加速度传感器101获得的检测值识别的分类C(行走/静止),以及基于分类C(上/下)和分类C(行走/静止)确定的上楼梯/下楼梯的分类C(楼梯)。在图中所示的示例中,在示出了用户处于分类C(行走/静止)中的行走状态并且用户处于在重力方向上移动(上或下)的状态的情况下,检测到与楼梯相关的用户动作。与这种情况相匹配的区间在图中示出为区间St。

在观察区间St的情况下,由动作识别部件203获取的动作识别信息可以示出已经发生与楼梯相关的用户的动作。例如,动作识别信息可以示出在整个区间St上发生了“上/下楼梯”的动作,或者也可以示出在区间St的起点处发生“开始上/下楼梯”的动作,在区间St的终点发生“完成上/下楼梯”的动作。

图26为示出根据本公开的实施例的检测与楼梯相关的动作的处理的示例的流程图。参考图26,第一,动作识别部件203基于由加速度传感器101获得的检测值执行检测用户行走的处理(S201)。需注意,可以将各种已知技术用于检测用户方向的处理。这里,在检测到用户的行走的情况下(S203中为“是”),动作识别部件203基于由压力传感器107获得的检测值进一步执行检测用户在重力方向上的移动的处理(S205)。如在图25所示,可以通过由压力传感器107获得的检测值(压力)的增大或减小的量或增大或减小的速率来确定用户在重力方向上的移动。在检测到用户在重力方向上的移动的情况下(S207中为“是”),动作识别部件203检测与楼梯相关的动作(S209),并且生成指示动作的动作识别信息。

如已在上面描述的,可以独立于其他功能(诸如位置信息校正功能和地图生成功能)来实现将建筑物设备与位置信息相关联的关联处理功能。例如,通过与位置信息校正功能不同的方法校正的自主位置部件201获取的位置信息可以通过关联处理功能与建筑物设备相关联。此外,在由自主位置部件201或位置信息获取部件211获取的位置信息已经具有足够的精度的情况下,关联处理功能可以将由位置信息获取功能获取的位置信息与实际的建筑物设备相关联。例如,即使不生成地图,通过将建筑物设备与指示用户的另一动作的信息一起与位置信息相关联,用户容易以对应于实际环境的方式掌握一系列动作。

7.系统配置

至此,已经描述了本公开的实施例。如上所述,根据实施例的系统10包括输入部件100、处理部件200和输出部件300,并且那些结构元件由一个或多个信息处理装置实现。在下文中,将参考更具体的示例来描述用于实现系统10的信息处理设备的组合的示例。

第一示例

图27为示出根据本公开的实施例的系统配置的第一示例的框图。参考图27,系统10包括信息处理装置11和13。通过信息处理装置11实现输入部件100和输出部件300。另一方面,处理部件200由信息处理装置13实现。信息处理装置11和信息处理装置13通过用于实现根据本公开的实施例的功能的网络彼此通信。在输入部件100和处理部件200之间的接口150b以及处理部件200和输出部件300之间的接口350b可以各自是设备之间的通信接口。

在第一示例中,信息处理装置11可以是例如终端装置。在这种情况下,输入部件100可以包括输入装置、传感器、用于从外部服务获取信息的软件等。用于从外部服务获取信息的软件从例如由终端装置执行的服务的应用软件获取数据。输出部件300可以包括输出装置、控制装置、用于向外部服务提供信息的软件。例如,用于向外部服务提供信息的软件可以将信息提供至由终端装置执行的服务的应用软件。

另外,在第一示例中,信息处理装置13可为服务器。通过包括在信息处理装置13中的处理器或处理电路实现处理部件200,该信息处理装置13根据在存储器或存储装置中存储的程序来操作。信息处理装置13可以是例如用作服务器的装置。在这种情况下,信息处理装置13可以安装在数据中心中以及可以安装在家中。可选地,信息处理装置13可以是这样的装置,该装置不实现关于根据本公开的实施例的功能的输入部件100和输出部件300,但可以用作关于其他功能的终端装置。

第二示例

图28为示出根据本公开的实施例的系统配置的第二示例的框图。参考图28,系统10包括信息处理装置11a、11b和13。输入部件100由输入部件100a和100b独立地实现。输入部件100a由信息处理装置11a实现。输入部件100a可以包括例如上述的加速度传感器101、陀螺仪传感器103、地磁传感器105、压力传感器107和/或GPS接收器111。

通过信息处理装置11b实现输入部件100b和输出部件300。输入部件100b可以包括例如上述的操作输入装置109。此外,处理部件200由信息处理装置13实现。信息处理装置11a和11b和信息处理装置13通过用于实现根据本公开的实施例的功能的网络彼此通信。在输入部件100和处理部件200之间的接口150b1和150b2,以及处理部件200和输出部件300之间的接口350b可以各自是设备之间的通信接口。然而,在第二示例中,因为信息处理装置11a和信息处理装置11b是分离的装置,所以包括的接口的种类在接口150b1以及接口150b2和接口350b之间是不同的。

在第二示例中,信息处理装置11a和11b可以例如各自为终端装置。信息处理装置11a例如由用户携带或佩戴并且对用户执行感测。另一方面,信息处理装置11b基于感测的结果向用户输出由信息处理装置13生成的信息。在这种情况下,信息处理装置11b接受与待输出的信息相关的用户的操作输入。因此,信息处理装置11b不一定由用户携带或佩戴。此外,以与第一示例相同的方式,信息处理装置13可以是服务器或终端装置。通过包括在信息处理装置13中的处理器或处理电路实现处理部件200,该信息处理装置13根据在存储器或存储装置中存储的程序来操作。

第三示例

图29为示出根据本公开的实施例的系统配置的第三示例的框图。参考图29,系统10包括信息处理装置11和13。在第三示例中,通过信息处理装置11实现输入部件100和输出部件300。另一方面,通过信息处理装置11和信息处理装置13分散地实现处理部件200。信息处理装置11和信息处理装置13通过用于实现根据本公开的实施例的功能的网络彼此通信。

如上所述,在第三示例中,处理部件200分散地实现在信息处理装置11和信息处理装置13之间。更具体地,处理部件200包括由信息处理装置11实现的处理部件200a和200c;以及由信息处理装置13实现的处理部件200b。处理部件200a基于由输入部件100通过接口150a提供的信息执行处理,并且向处理部件200b提供通过处理获得的结果。处理部件200a可以包括例如上述的自主部件201和动作识别部件203。另一方面,处理部件200c基于由处理部件200b提供的信息执行处理,并且通过接口350a向输出部件300提供通过处理获得的结果。处理部件200c可以包括例如上述的信息生成部件207。

需注意,虽然在图中所示的示例中示出处理部件200a和处理部件200c这两者,但是在实践中仅存在那些中的任何一个。即,信息处理装置11可以实现处理部件200a,但不可以实现处理部件200c,并且可以将由处理部件200b提供的信息照原样提供给输出部件300。以相同的方式,信息处理设备11可以实现处理部件200c,但是可以不实现处理部件200a。

接口250b分别插入在处理部件200a和处理部件200b之间,以及处理部件200b和处理部件200c之间。接口250b各自是装置之间的通信接口。另一方面,在信息处理装置11实现处理部件200a的情况下,接口150a是装置内部的接口。以相同的方式,在信息处理装置11实现处理部件200c的情况下,接口350a是装置内部的接口。在处理部件200c包括如上所述的信息生成部件207的情况下,来自输入部件100的信息的一部分(例如来自操作输入装置109的信息)通过接口150a直接提供至处理部件200c。

需注意,上述第三示例与第一示例相同,除了处理部件200a和处理部件200c中的一个或这两者通过包括在信息处理装置11中的处理器或处理电路实现。即,信息处理装置11可为终端装置。另外,信息处理装置13可为处理器。

第四示例

图30为示出根据本公开的实施例的系统配置的第四示例的框图。参考图30,系统10包括信息处理装置11a、11b和13。输入部件100由输入部件100a和100b独立地实现。输入部件100a由信息处理装置11a实现。输入部件100a可以包括例如加速度传感器101、陀螺仪传感器103、地磁传感器105、压力传感器107和/或GPS接收器111。

通过信息处理装置11b实现输入部件100b和输出部件300。输入部件100b可以包括例如上述的操作输入装置109。此外,处理部件200分散地实现在信息处理装置11a和11b与信息处理装置13之间。信息处理装置11a和11b和信息处理装置13通过用于实现根据本公开的实施例的功能的网络彼此通信。

如在图中所示,在第四示例中,处理部件200分散地实现在信息处理装置11a和11b与信息处理装置13之间。更具体地,处理部件200包括由信息处理装置11a实现的处理部件200a、由信息处理装置13实现的处理部件200b以及由信息处理装置11b实现的处理部件200c。处理部件200的分散与第三示例相同。然而,在第四示例中,因为信息处理装置11a和信息处理装置11b是分离的装置,所以包括的接口的种类在接口250b1和250b2之间是不同的。在处理部件200c包括如上所述的信息生成部件207的情况下,来自输入部件100b的信息(例如来自操作输入装置109的信息)通过接口150a2直接提供给处理部件200c。

需注意,第四示例与第二示例相同,除了处理部件200a和处理部件200c中的一个或这两者是由包括在信息处理装置11a或信息处理装置11b中的处理器或处理电路实现。也就是说,信息处理装置11a和11b可以各自是终端装置。另外,信息处理装置13可为处理器。

8.硬件配置

接下来,参考图31,将描述根据本公开的实施例的信息处理装置的硬件配置。图31为示出根据本公开的实施例的信息处理装置的硬件配置示例的框图。

信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。另外,信息处理装置900还可以包括主机总线907、网桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外,信息处理装置900根据需要还可以包括成像装置933和传感器935。信息处理装置900还可以包括(取代CPU 901或与CPU 901一起)处理电路(诸如数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程门阵列(FPGA))。

CPU 901用作算术处理单元和控制单元,并且根据记录在ROM 903、RAM 905、存储装置919或可移除记录介质927中的各种程序来控制信息处理装置900的整体操作或部分操作。ROM 903存储由CPU 901使用的程序和算术参数。RAM 905主要存储在CPU 901的执行中使用的程序和在执行期间适当地变化的参数等。CPU 901、ROM 903和RAM 905经由通过内部总线(诸如CPU总线等)配置的主机总线907彼此连接。此外,主机总线907经由网桥909连接到外部总线911,诸如外围部件互连/接口(PCI)总线。

输入装置915是由用户操作的装置,诸如鼠标、键盘、触摸板、按钮、开关和杆。此外,输入装置915可以是使用例如红外光或其它无线电波的遥控装置,或者可以是与信息处理装置900的操作兼容的外部连接装置929,诸如移动电话。输入装置915包括输入控制电路,该输入控制电路基于用户输入的信息生成输入信号并将输入信号输出到CPU 901。用户向信息处理装置900输入各种数据,并且通过操作输入装置915指示信息处理装置900以执行处理操作。

输出装置917包括使用视觉、听觉、触觉等能够向用户通知获取的信息的装置。例如,输出装置917可为:显示装置,诸如液晶显示器(LCD)或有机电致发光(EL)显示器;音频输出装置。诸如扬声器或耳机;或振动器。输出装置917将由通过信息处理装置900执行的处理获得的结果输出为文本或图像形式的视频,输出为音频或声音形式的音频,或输出为振动。

存储装置919为用于存储数据的装置,该装置配置为信息处理装置900的存储器的示例。存储装置919例如由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置配置成。存储装置919存储例如待由CPU 901执行的程序、各种数据和从外部获得的各种数据。

驱动器921是用于可移除记录介质927的读取器/写入器,可移除记录介质诸如磁盘、光盘、磁光盘或半导体存储器,并且驱动器921内置或外部附接到信息处理装置900。驱动器921读出记录在附接的可移除记录介质927上的信息,并将该信息输出到RAM 905。此外,驱动器921将记录写入附接的可移除记录介质927上。

连接端口923是用于允许设备连接到信息处理装置900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923的其他示例可以包括RS-232C端口、光学音频端和高清晰度多媒体接口(HDMI)(注册商标)端口。外部连接装置929与连接端口923的连接可以允许信息处理装置900和外部连接装置929之间的各种数据交换。

通信装置925为通过例如用于建立与通信网络931的连接的通信装置构造的通信接口。通信装置925例如是局域网(LAN)、蓝牙(注册商标)、Wi-Fi、用于无线USB的通信卡(WUSB)等。可选地,通信装置925可以是用于光通信的路由器、用于非对称数字订户线(ADSL)的路由器、用于各种通信的调制解调器等。例如,通信装置925可以使用因特网上的预定协议(诸如TCP/IP)以及与其他通信装置来发送和接收信号等。连接到通信装置925的通信网络931由经由有线或无线连接的网络等配置,并且可以包括例如因特网、家用LAN、红外通信、无线电波通信和卫星通信。

成像装置933是这样的装置,即,其使用包括图像传感器(诸如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD))、用于控制对象在图像传感器上的图像形成的透镜等的各种构件来对真实空间成像并生成捕获的图像。成像装置933可以对静止图像进行成像或者可以对视频进行成像。

传感器935是例如加速度传感器、角速度传感器、地磁传感器、光强度传感器、温度传感器、压力传感器或音频传感器(麦克风)。传感器935获取例如与信息处理装置900本身的状态相关的信息,诸如信息处理装置900的壳体的姿势,以及与信息处理装置900的外界环境相关的信息,诸如信息处理装置900的周围的亮度和噪声。另外,传感器935可以包括接收全球定位系统(GPS)信号并测量装置的纬度、经度和高度的GPS接收器。

到此为止,已经示出信息处理装置900的硬件配置的示例。上述结构元件中的每一个可以使用通用材料配置,或者可以由专用于每个结构元件的功能的硬件配置。可以根据进行实施例时的技术水平根据需要改变配置。

9.补充

本公开的实施例可以包括信息处理装置、系统、在信息处理装置或系统中执行的信息处理方法、用于使信息处理装置起作用的程序以及具有记录在其上的程序的非暂态有形介质,这些例如已在上面描述。

本领域技术人员应当理解,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替换,只要它们在所附权利要求或其等同物的范围内。

此外,本说明书描述的效果仅仅是例示性和说明性的,而非限制性的。换句话说,根据本公开的技术可以呈现对于本领域技术人员显而易见的其他效果,或者代替基于本说明书的效果。

此外,本技术也可以按照如下配置。

(1)一种信息处理装置,包括:

处理电路,其被配置成

接收基于与用户的位置信息相关联的用户的感测信息而确定的动作识别信息,其中动作识别信息指示已经发生的与建筑物的结构或设备相关的用户的动作;以及

基于动作识别信息将建筑物的结构或设备与位置信息相关联。

(2)根据(1)所述的信息处理装置,

其中,通过分析所述感测信息确定所述位置信息。

(3)根据(1)或(2)所述的信息处理装置,

其中,所述感测信息包括由运动传感器获得的检测值。

(4)根据(1)至(3)中任一项所述的信息处理装置,

其中,所述运动传感器包括加速度传感器,并且

其中,在由所述加速度传感器获得的检测值示出小的加速度方差和在重力方向上加速度改变的特定模式的情况中,所述动作识别信息指示已经发生与升降机相关的所述用户的动作。

(5)根据(1)至(4)中任一项所述的信息处理装置,

其中,所述感测信息还包括由压力传感器获得的检测值。

其中,所述运动传感器包括加速度传感器,并且

其中,在基于由所述加速度传感器获得的所述检测值指示所述用户在行走并且基于由所述压力传感器获得的所述检测值指示所述用户在重力方向上移动的情况下,所述动作识别信息指示已经发生与楼梯相关的所述用户的动作。

(6)根据(1)至(5)中任一项所述的信息处理装置,

其中,所述处理电路还被配置成基于所述位置信息和与所述位置信息相关联的所述建筑物的所述结构或所述设备的信息生成地图。

(7)根据(1)至(6)中任一项所述的信息处理装置,

其中,使用与所述建筑物的所述结构或所述设备相关联的位置作为参考,将所述生成的地图分割。

(8)根据(1)至(7)中任一项所述的信息处理装置,

其中,所述处理电路还被配置成使用与所述建筑物的所述结构或所述设备相关联的位置作为参考校正所述位置信息。

(9)根据(1)至(8)中任一项所述的信息处理装置,

其中,所述建筑物的所述结构或所述设备与所述用户的位置上升或下降的功能相关联。

(10)根据(1)至(9)中任一项所述的信息处理装置,

其中,所述建筑物的所述结构或所述设备与出入设备相关联。

(11)根据(1)至(10)中任一项所述的信息处理装置,

其中,所述出入设备为门。

(12)根据(1)至(11)中任一项所述的信息处理装置,

其中,所述动作识别信息指示开始或者结束上升或下降的状态。

(13)根据(1)至(12)中任一项所述的信息处理装置,

其中,所述上升或所述下降通过升降机、自动扶梯或楼梯。

(14)根据(1)至(13)中任一项所述的信息处理装置,

其中,所述动作识别信息指示门的打开或关闭的状态。

(15)根据(1)至(14)中任一项所述的信息处理装置,

其中,所述处理电路还被配置成获取所述用户的所述位置信息。

(16)一种信息处理方法,包括:

接收基于与用户的位置信息相关联的用户的感测信息确定的动作识别信息,所述动作识别信息指示已经发生与建筑物的结构或设备相关的用户的动作;以及

基于所述动作识别信息将所述建筑物的所述结构或所述设备与所述位置信息关联。

(17)一种具有在其上体现的程序的非暂态计算机可读介质,当由计算机执行所述程序时使得所述计算机执行信息处理方法,所述方法包括

确定动作识别信息,其基于与用户的位置信息相关联的用户的感测信息而生成,所述动作识别信息指示已经发生与建筑物的结构或设备相关的所述用户的动作;以及

基于所述动作识别信息将所述建筑物的所述结构或所述设备与所述位置信息关联。

(18)一种信息处理装置,包括:

处理电路,其被配置成实现

获取用户位置信息的位置信息获取功能,

获取动作识别信息的动作识别信息获取功能,该动作识别信息基于与所述位置信息相关联的所述用户的感测信息而生成并且指示已经发生与建筑物设备相关的所述用户的动作。

关联处理功能,基于所述动作识别信息将所述建筑物设备与所述位置信息关联。

(19)一种信息处理方法,包括:

获取用户的位置信息;

获取动作识别信息,其基于与所述位置信息相关联的所述用户的感测信息而生成并指示已经发生与建筑物设备相关的所述用户的动作;以及

通过处理电路基于所述动作识别信息将所述建筑物设备与所述位置信息关联。

(20)一种程序,其用于使得处理电路可以实现以下:

位置信息获取功能,其获取用户的位置信息;

动作识别信息获取功能,获取动作识别信息,所述动作识别信息基于与所述位置信息相关联的所述用户的感测信息而生成并且指示已经发生与建筑物设备相关的用户的动作。

基于所述动作识别信息将所述建筑物设备与所述位置信息关联。

参考符号列表

10 系统

11、13 信息处理装置

100 输入部件

101 加速度传感器

103 陀螺仪传感器

105 地磁传感器

107 压力传感器

109 操作输入装置

111 GPS接收器

150、250、350 接口

200 处理部件

201 自主定位部件

203 动作识别部件

205 集成分析部件

207 信息生成部件

211 位置信息获取部件

300 输出部件

301 显示器

303 扬声器

305 振动器

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1