信息处理装置、信息处理方法及计算机程序与流程

文档序号:11133382阅读:187来源:国知局
信息处理装置、信息处理方法及计算机程序与制造工艺

技术领域

本公开内容涉及一种对用户的行为记录进行处理的信息处理装置、一种信息处理方法和一种计算机程序。



背景技术:

提出了一种根据通过使用各种感测技术而获取的传感器信息来识别用户的动作行为的技术。所识别的用户的动作行为被自动地记录为行为日志并且可以通过用于表示的各种技术来表示,例如,通过如化身等动画来重现动作行为,在地图上示出用户的移动轨迹,或使用对各种动作行为进行抽象的指标。

引用内容

专利文献

专利文献1:JP 2008-3655A



技术实现要素:

技术问题

但是,当使用例如运动捕获装置等行为记录装置通过如化身等动画来重现行为日志时,会需要非常大型的设备。另一方面,通过使用如智能手机等包含小型传感器的记录装置生成的行为日志限制了可以记录/识别的行为类型,因此很难向用户呈现有价值的行为记录。因此,行为日志一般被示为用户在地图上的移动轨迹或被显示为被转换为如健康指标等活动量的行为记录。

因此,提出了一种表示技术,其以容易理解的方式将包含小型传感器的记录装置所记录的行为日志呈现给用户。

技术方案

根据本公开内容,提供了一种信息处理装置,包括:行为识别单元,其基于传感器信息对用户的动作行为进行识别;和行为表示生成单元,其对表明由行为识别单元识别的用户的动作行为的动作行为数据进行分析,以根据动作行为数据来生成由动作行为的含义和内容表示的行为段。

根据本公开内容,提供了一种信息处理装置,包括:行为识别单元,其基于传感器信息对用户的动作行为进行识别;行为表示生成单元,其基于决定动作行为的动作行为估计信息、根据表明由行为识别单元识别的用户的动作行为的动作行为数据来生成组成行为日志的行为段;和反馈调节单元,其基于所述用户对由行为表示生成单元生成的行为段的校正反馈来对动作行为估计信息进行校正。

根据本公开内容,提供了一种信息处理方法,包括:基于传感器信息对用户的动作行为进行识别的步骤;和对表明所识别的用户的动作行为的动作行为数据进行分析,以根据动作行为数据来生成由动作行为的含义和内容表示的行为段的步骤。

根据本公开内容,提供了一种信息处理方法,包括:基于传感器信息对用户的动作行为进行识别的步骤;基于决定动作行为的动作行为估计信息、根据表明所识别的用户的动作行为的动作行为数据来生成组成行为日志的行为段的步骤;和基于用户对行为段的校正反馈来对动作行为估计信息进行校正的步骤。

根据本公开内容,提供了一种计算机程序,其使得计算机用作信息处理装置,所述信息处理装置包括:行为识别单元,其基于传感器信息对用户的动作行为进行识别;和行为表示生成单元,其对表明由行为识别单元识别的用户的动作行为的动作行为数据进行分析,以根据动作行为数据来生成由动作行为的含义和内容表示的行为段。

根据本公开内容,提供了一种计算机程序,其使得计算机用作信息处理装置,所述信息处理装置包括:行为识别单元,其基于传感器信息对用户的动作行为进行识别;行为表示生成单元,其基于决定动作行为的动作行为估计信息、根据表明由行为识别单元识别的用户的动作行为的动作行为数据来生成组成行为日志的行为段;和反馈调节单元,其基于用户对由行为表示生成单元生成的行为段的校正反馈来对动作行为估计信息进行校正。

根据本公开内容,表明由行为识别单元基于传感器信息识别的用户的动作行为的动作行为数据由行为表示生成单元来分析,以根据动作行为数据来生成由动作行为的含义和内容表示的行为段。通过使用由动作行为的含义和内容表示的行为段来显示行为日志,信息可以以容易理解的方式呈现给用户。

发明的有利效果

根据本公开内容,如上所述,所记录的行为日志可以以容易理解的方式呈现给用户。

附图说明

图1是示出了根据本公开内容的实施方式的行为日志显示系统的配置的说明图;

图2是示出了根据该实施方式的行为日志显示系统的功能配置的功能框图;

图3是示出了语境层级词典的示例的说明图;

图4是示出了通过语境分析根据动作行为数据生成行为段并且通过改变行为段的分段粒度大小来改变行为日志的显示的情况的说明图;

图5是示出了通过语境分析根据动作行为数据生成行为段并且通过改变行为段的分段粒度大小来改变行为日志的显示的情况的另一个示例的说明图;

图6是示出了以下情况的说明图:通过组合语境分析和时间宽度、根据动作行为数据来生成行为段,并且通过改变行为段的分段粒度大小来改变行为日志的显示;

图7是示出了以下情况的说明图:通过组合语境分析、时间宽度和位置变化、根据动作行为数据来生成行为段,并且通过改变行为段的分段粒度大小来改变行为日志的显示;

图8是示出了行为识别的总体处理流程的流程图;

图9是示出了生活行为识别单元的处理的流程图;

图10是示出了层次结构判断单元的处理的流程图;

图11是示出了行为段生成处理的流程图;

图12是示出了行为段生成处理的流程图;

图13是示出了将层次信息附加至行为段的方法的说明图;

图14是示出了分析服务器的功能配置的功能框图;

图15是示出了行为日志的表示的示例的说明图;

图16是示出了当行为日志显示应用程序被激活时的行为日志的显示示例的说明图;

图17是示出了日历的显示示例的说明图;

图18是示出了当通过操作地图按钮使地图显示与行为日志对应的位置信息时的显示示例的说明图;

图19是示出了其中用于对要被校正的行为段进行校正的校正屏幕被显示的状态的说明图;

图20是示出了校正动作行为的校正屏幕的示例的说明图;

图21是示出了组合行为段的方法的示例的说明图;

图22是示出了决定组合之后的行为段的动作内容的另一种方法的示例的说明图;

图23是示出了通过行为段的时间设置的划分方法的示例的说明图;

图24是示出了基于行为段的层次信息的划分方法的示例的说明图;

图25是示出了显示粗糙度通过使用滑块而改变的情况的说明图;

图26是示出了显示粗糙度通过使用缩放按钮而改变的情况的说明图;

图27是示出了当在行为类型选择列表中选择“工作细节”按钮时行为段的显示变化的说明图;

图28是示出了当在行为类型选择列表中选择“购物细节”按钮时行为段的显示变化的说明图;

图29是示出了当在行为类型选择列表中选择“移动细节”按钮时行为段的显示变化的说明图;

图30是示出了当在行为类型选择列表中选择“统一细节”按钮时行为段的显示变化的说明图;

图31是示出了设置有针对每种类型的行为设置行为段的显示粗糙度的滑块的显示粒度大小设置单元的位置配置示例的说明图;

图32是示出了从行为日志删除行为段的方法的说明图;

图33是示出了将行为日志中的行为段的内容投寄至投寄站点的方法的说明图;

图34是示出了做出关于行为日志显示应用程序的各种设置的设置屏幕的位置配置示例的说明图;

图35是示出了生活行为识别单元的行为识别处理的示例的流程图;

图36是示出了表明取决于地点的加权因子与每个行为的概率分布之间的关系的动作行为估计信息的说明图;

图37是提供了校正反馈的反映处理的概要的说明图;

图38是示出了行为的校正反馈的反映处理的流程图;

图39是基于图38的处理对动作行为估计信息的校正进行说明的说明图。

图40是示出了行为的校正反馈的反映处理的流程图;

图41是示出了行为和位置信息的校正反馈的反映处理的流程图;

图42是示出了典型行为模式生成单元的行为模式的个人建模的说明图;

图43是示出了通过确定交通媒介/工具的位置显示技术的说明图;

图44是示出了线路估计处理的说明图;

图45是示出了站名选择处理的说明图;

图46是示出了根据所述实施方式的行为记录装置的硬件配置示例的框图。

具体实施方式

下文中,将参考附图详细地描述本公开内容的优选实施方式。注意,在说明书和附图中,具有基本上相同功能和结构的元件用相同的附图标记来表示,并且不再重复说明。

按照以下所示次序来提供描述:

<1.行为日志显示系统的概要>

<2.行为日志显示系统的功能配置>

[2-1.行为记录装置]

[2-2.行为日志服务器]

[2-3.分析服务器]

<3.行为段生成处理>

[3-1.动作行为与其含义/内容之间的关系]

<3-2.行为段生成处理>

(示例1:通过语境分析来生成行为段)

(示例2:通过组合语境分析和时间宽度来生成行为段)

(示例3:通过组合语境分析、时间宽度和位置变化来生成行为段)

<3-3.行为识别处理>

[3-4.行为表示生成单元的处理内容]

<4.行为记录和显示应用程序>

[4-1.基于行为段的行为日志表示]

[4-2.浏览行为]

[4-3.校正行为]

[4-4.组合行为]

[4-5.划分行为]

[4-6.基于分段粒度大小的行为段表示]

[4-7.删除行为]

[4-8.投寄行为]

[4-9.行为日志获取停止处理]

[4-10.更新显示内容]

<5.校正反馈的反映处理>

[5-1.校正反馈的属性]

<5-2.行为识别处理>

[5-3.校正反馈的反映处理]

(5-3-1.校正反馈的反映处理的概要)

(5-3-2.行为的校正反馈的反映处理)

(5-3-3.行为和位置信息的校正反馈的反映处理)

<6.其他>

[6-1.行为模式的个人建模]

[6-2.通过移动媒介/工具确定的位置显示技术]

(6-2-1.线路估计处理)

(6-2-2.站名选择过程)

<7.示例性硬件配置>

<1.行为日志显示系统的概要>

首先,将参考图1提供根据本公开内容的实施方式的行为日志显示系统的概要。图1是示出了根据本实施方式的行为日志显示系统的概要配置的说明图;

根据本实施方式的行为日志显示系统实现了一种表示技术,该技术以容易理解的方式将包含小型传感器的记录装置100(在下文中被称为“行为记录装置”)所记录的行为日志呈现给用户。例如,可以使用如移动电话、PDA(个人数字助理)和智能手机等移动终端作为行为记录装置100。行为记录装置100设置有对持有该装置的用户的状况或行为进行感测的至少一个传感器。行为记录装置100基于传感器所获取的传感器信息来估计用户的动作行为,并且将动作行为作为行为日志发送至行为日志服务器200。以此方式,用户的行为日志被积累在行为日志服务器200中。

由行为记录装置100分析的并且存储在行为日志服务器200中的行为日志将例如“进餐”、“移动”和“睡眠”等动作与行为时间、位置信息等记录在一起。根据本实施方式的行为日志显示系统通过分析服务器300来对表示动作内容的行为日志进一步进行分析以识别行为的含义,并且生成添加有行为含义的信息(行为段)。行为段是作为行为日志的用户容易理解的表示的单位信息。替代简单地将行为日志呈现给用户,行为段可以以传达行为含义的方式呈现行为日志。

由分析服务器300分析并呈现给用户的行为日志可以由用户来校正。此外,所呈现的行为日志的数据可以通过生成行为段而被组合、划分或删除。所呈现的行为日志还可以投寄给投寄站点。因此,通过使用根据本实施方式的行为日志显示系统,获取为动作的行为日志可以被分析并且以容易理解的方式呈现给用户。下面将详细描述根据本实施方式的行为日志显示系统的配置和功能。

<2.行为日志显示系统的功能配置>

图2示出了根据本实施方式的行为日志显示系统的功能配置。如上所述,行为日志显示系统包括:行为记录装置100,其记录用户的动作行为;行为日志服务器200,其管理行为记录装置100所记录的行为日志;和分析服务器300,其对行为日志进行分析以生成行为段。

[2-1.行为记录装置]

行为记录装置100包括传感器110、行为识别单元120、客户端接口单元130、行为表示处理单元140、显示单元150和输入单元160。

传感器110是对用户的行为或状况进行感测并且被安装在行为记录装置100中的装置。例如,可以使用加速度传感器、陀螺仪传感器、磁场传感器、大气压传感器、照度传感器、温度传感器和扩音器等作为传感器110。还可以安装获取纬度/经度的纬度/经度获取传感器作为传感器110。例如,不仅可以使用GPS(全球定位系统)或WiFi而且还可以使用其他通信网络的基站信息或如RFID和图像等信息作为纬度/经度获取传感器。传感器110将所检测的信息作为传感器信息输出给行为识别单元120。

行为识别单元120基于传感器信息对用户的行为进行估计。行为识别单元120包括传感器控制器122和动作行为识别单元124。传感器控制器122控制传感器110、CPU或总体系统以使得有效地进行由传感器110进行的感测。传感器控制器122基于传感器110或动作行为识别单元124的识别结果来控制上述装置。

动作行为识别单元124通过执行传感器信息的信号处理或统计处理来识别用户的行为或状况。行为记录装置100预先对作为因处理传感器信息而获得的关于用户的行为的信息的行为模型与动作行为之间的对应关系进行保存。当通过处理传感器信息获得了行为参数时,动作行为识别单元124对与上述参数对应的动作行为进行识别。然后,动作行为识别单元124将所识别的动作行为与行为时间段、行为时刻、位置信息等相关联,并且将所关联的信息作为动作行为数据输出给客户端接口单元130。动作行为数据从客户端接口单元130被上传至行为日志服务器200中。

客户端接口单元130发送/接收行为记录装置100、行为日志服务器200和分析服务器300之间的信息。例如,客户端接口单元130将从行为识别单元120输入的动作行为数据发送至行为日志服务器200,或将从分析服务器30接收的分析结果输出给行为表示处理单元140。此外,客户端接口单元130将来自用户的通过输入单元160输入的反馈信息发送给分析服务器300。

行为表示处理单元140是显示行为日志或处理来自用户的反馈信息的功能单元,并且包括显示处理单元142和输入信息处理单元144。显示处理单元142执行处理以对从显示单元150中的客户端接口单元130输入的分析服务器30的分析结果进行显示。输入信息处理单元144执行处理以将从输入单元160输入的用户针对行为日志的反馈信息通过客户端接口单元130发送至分析服务器300。

显示单元150是显示信息的输出装置并且可以通过例如液晶显示器、有机EL显示器等来配置。例如,由显示处理单元142处理以用于显示的行为日志在显示单元150中被显示。

输入单元160是用于输入信息的输入装置,并且例如可以使用触摸面板、键盘、硬件按钮等。在本实施方式中,假设显示单元150的显示表面设置有作为输入单元160的触摸面板。在该情况下,用户例如可以通过使如手指或触摸笔的动作主体与显示单元150的显示表面接触或通过将移动动作主体使得动作主体与显示表面接触来输入信息。从输入单元160输入的信息被输出至输入信息处理单元144。

[2-2.行为日志服务器]

行为日志服务器200包括日志服务器接口单元210和行为日志数据库(DB)220。

日志服务器接口单元210发送/接收行为日志服务器200、行为记录装置100和分析服务器300之间的信息。例如,日志服务器接口单元210将从行为记录装置100接收的动作行为数据记录在行为日志数据库220中,或者根据来自分析服务器300的发送请求从行为日志数据库220获取动作行为数据并且将动作行为数据发送给分析服务器300。

行为日志数据库220是对由行为记录装置100获取的用户的动作行为数据进行存储的存储单元。如上所述,在存储在行为日志数据库220中的动作行为数据中,由动作行为识别单元124标识的动作行为与行为时间段、行为时刻、位置信息等被关联并且例如按照时间顺序存储在行为日志数据库220中。

[2-3.分析服务器]

分析服务器300包括分析服务器接口单元310、行为表示生成单元320和数据管理单元330。

日志服务器接口单元310发送/接收分析服务器300、行为记录装置100和行为日志服务器200之间的信息。例如,分析服务器接口单元310从行为记录装置100接收行为日志的分析指令(分析请求),或根据分析请求发送所必需的动作行为数据的发送请求。分析服务器接口单元310还从行为记录装置100接收用户对行为日志的反馈信息。

行为表示生成单元320分析动作行为数据以理解其含义并且生成添加有含义和内容的行为段。行为表示生成单元320包括生活行为识别单元321和层次结构判断单元322。生活行为识别单元321根据包括动作行为数据的行为日志来生成行为段。生活行为识别单元321基于数据与数据的时间段、时刻等之间的关系来分析按照时间顺序排列的动作行为数据的含义和内容。生活行为识别单元321选择所分析的含义和内容中被归类为最详细的含义和内容数据作为行为段。所生成的行为段被输出至数据管理单元330并且被保存在其中。

层次结构判断单元322对关于由生活行为识别单元321生成的行为段的含义和内容的层次结构进行判断,并且将表示含义和内容的层次关系的层次信息附加至行为段。层次信息是通过随后所述处理而被附加至行为段的层次含义信息。层次信息例如可以是使用归一化值作为键的信息或是使用标识含义信息的层级的ID作为直接键的信息。附加有层次信息的行为段被称作层次信息附加行为段。行为的含义与内容的层次关系被存储在数据管理单元330中。层次结构判断单元322通过生活行为识别单元321将层次信息附加行为段输出给数据管理单元330。随后将会详细描述行为表示生成单元320的功能和其处理内容的细节。

数据管理单元330对由行为表示生成单元320生成的行为段进行管理.数据管理单元330包括数据获取单元331、反馈调节单元332、分析参数数据库333、单位数据存储数据334和层次信息附加数据存储数据库335。

数据获取单元331将数据发送至行为表示生成单元320中或从行为表示生成单元320接收数据。数据获取单元331将从行为表示生成单元320发送的行为段记录在单位数据存储数据库334中,或将层次信息附加行为段记录在层次信息附加数据存储数据库335中。数据获取单元331根据来自行为表示生成单元320的请求从单位数据存储数据库334或层次信息附加数据存储数据库335中获取指定的行为段,并且将行为段输出至行为表示生成单元320中。

反馈调节单元332将从行为记录装置100接收的反馈信息反映在用于分析动作行为数据的含义和内容的分析参数中。反馈信息表示用户对显示在行为记录装置100中的显示单元150中的行为日志做出的如校正等处理的内容。反馈调节单元332使用反馈信息来校正分析参数以使得可以更加准确地识别用户行为的含义和内容。

分析参数数据库333是保存用于分析动作行为数据的含义和内容的分析参数的存储单元。在分析参数数据库333中,例如,动作行为与含义和内容之间的对应关系被存储为分析参数。存储在分析参数数据库333中的信息可以被生活行为识别单元321和层次结构判断单元322两者引用。当需要时,基于来自用户的反馈信息更新分析参数。

单位数据存储数据库334对由行为表示生成单元320生成的行为段进行存储。存储在单位数据存储数据库334中的行为段是识别所必需的最小单位的段(单位段)。

层次信息附加数据存储数据库335存储其中层次附加信息被附加至由行为表示生成单元320生成的行为段的行为段。存储在层次信息附加数据存储数据库335中的行为段是通过层次结构判断单元332附加有表示行为的含义和内容的层次结构的层次信息的层次信息附加行为段。附加有层次信息的行为段的记录时刻例如可以是:当由应用程序请求时或多个分段粒度大小的分析结果可以由行为表示生成单元320预先记录时。

即,行为表示生成单元320和数据管理单元330用作对行为记录装置100生成的动作行为数据的含义和内容进行分析的信息处理装置,以呈现用户容易理解的信息。

<3.行为段生成处理>

在根据本实施方式的行为日志显示系统中,由行为记录装置100生成的动作行为的含义和内容由分析服务器300分析,以基于行为的含义和内容来生成行为段。关于行为的含义和内容的层次信息还可以附加至行为段,并且行为日志的显示形式还可以基于层次信息而容易地变化。首先,将参考图3至图13来描述行为段的生成处理。

[3-1.动作行为与其含义/内容之间的关系]

行为记录装置100对例如“进餐”、“移动”或“睡眠”等动作行为进行分析。分析服务器300使用包含动作行为的动作行为数据对每个动作行为的内容进行更加深入的分析。动作行为的含义和内容的分析是通过使用例如在图3中示出的语境层级字典来执行的。

如图3所示,如果在动作行为“进餐”、“移动”和“睡眠”中选取动作行为“移动”,则其含义和内容取决于移动的类型而变化。例如,当“步行”时,用户可以采取继续“行走”的行为或改变至“立定”行为。例如,当在移动中“等待交通工具”时,可能采取继续“等待交通工具”的行为。此外,例如,当“乘坐火车移动时”,该移动可能由“乘坐火车在单一线路上的移动”的行为做出。此外,可以假设其中“乘坐火车移动”的状态继续的状态,或者用户移动所乘火车停止的“火车停止”状态。替选地,可以采取在“乘坐火车移动”之后的“转火车”行为,或者也可能发生到“等待交通工具”的状态转变。

然后,进一步行为“步行”可以与“步行”行为或“转火车”行为相关联,并且进一步行为“停止”可以与“立定”行为、“等待交通工具”状态或“火车停止”状态相关联。作为交通工具的“火车”可以进一步与“乘坐火车移动”的状态相关联。

因此,处于动作行为层级的行为元信息可以如图3所示取决于语境而变为较高层级的行为元信息。本实施方式中的行为日志显示系统可以基于动作行为与其含义和内容之间的关系来分析行为的含义和内容,从而可以呈现用户容易理解的行为日志。此外,通过将作为层次信息的层次关系附加至关于动作行为的含义和内容的行为段,随后所描述的行为日志的分段粒度大小可以容易地改变。

在本实施方式中,本体论(ontology)/语义技术被应用于对动作行为的含义和内容的识别,以对判断“行为”和动作行为数据中的“语境”的行为识别进行分段。本体论系统地表示了字词之间的关系的概念,并且在本实施方式中,例如,如图3所示,行为之间的关系的概念被系统化。因此,使用行为之间的关系的系统化概念,通过应用语义技术来理解行为的关系或行为的含义,并且基于该理解来进行对动作行为的含义和内容的识别处理。例如,通过使用从某个行为(例如,进餐)到某个行为(例如,工作)的转变很有可能伴随有例如“步行移动”的动作行为的属性来判断语境,能够生成符合用户感觉的行为段。

<3-2.行为段生成处理>

(示例1:通过语境分析来生成行为段)

作为使用动作行为与含义和内容之间的关系的行为段生成处理的具体示例,将基于图4和图5来描述通过语境分析的行为段生成处理。图4是示出了通过语境分析根据动作行为数据生成行为段并且通过改变行为段的分段粒度大小来改变行为日志的显示的情况的说明图。图5是示出了通过语境分析根据动作行为数据生成行为段并且通过改变行为段的分段粒度大小来改变行为日志的显示的情况的另一个示例的说明图。

如图4所示,假设通过动作行为识别单元124来获取包括动作行为数据的行为日志。动作行为数据按照时间顺序从左到右来设置。动作行为数据是基于传感器110的传感器信息而识别的动作行为,并且行为日志通过像“行走”、“停止”以及“搭乘火车”等简单的动作行为来表示。生活行为识别单元321使用如图3所示的字典根据这样的行为日志对每个动作行为数据的含义或动作行为数据之间的关系进行识别。

例如,“搭乘火车”的动作行为数据之间的预定时间或小于预定时间的短暂的“停止”状态被估计为“火车停止(到站)”状态。“搭乘火车”的动作行为数据之间的预定时间或小于预定时间的短暂的“行走”状态被估计为“转火车”行为。此外,紧接在“搭乘火车”动作行为数据之前的动作行为数据“停止”被估计为“等待火车”状态。

可以通过使用动作行为数据的行为时刻来更加恰当地估计该行为。关于“乘火车移动”的行为,例如,如果行为时刻是早上时间(例如,从上午6点至上午10点),则可以估计“去办公室”或“去学校”的行为含义;如果行为时刻是晚上时间(例如,从下午5点至下午8点),则可以估计“回家”的行为含义。类似地,关于“进餐”行为,如果行为时刻是早上时间,则可以估计“进早餐”的行为含义;如果行为时刻是大约中午的时间,则可以估计“进午餐”;如果行为时刻是晚上时间,则可以估计“进晚餐”。

因此,通过包括由生活行为识别单元321来分析的动作行为数据的行为日志来生成包括图4所示的行为段的行为日志。行为段是表示添加了动作内容的动作行为的数据,并且是具有相同含义和内容的一块连续动作行为。所生成的匹配动作行为数据的行为段包括添加了详细动作内容的单位段。因此,如果如图4所示由行为段来表示行为日志,则还能够知晓乘火车时的移动状态。

然后,通过从图3所示的语境层级字典获取处于动作行为层级的层次行为元信息以层次性地改变作为参数的分段粒度大小从而确定行为段的分段粗糙度,可以改变行为段的显示。随着分段粒度大小的增大,可以被认为是一个行为的多个行为段被组合以产生表示粗糙动作内容的行为段。另一方面,随着分段粒度大小的减小,行为段接近单位分段。

例如,图4所示,由单位分段表示的行为日志的分段粒度大小被增大。在通过将分段粒度大小从单位分段的分段粒度大小增大至粒度大小1-1的状态下,一系列动作“搭乘火车”、“火车停止”和“搭车火车”通过一个行为段“搭乘某一线路的火车”来表示。在通过将分段粒度大小进一步增大至粒度大小1-2的状态下,一系列动作“搭乘某一线路的火车”、“转火车”和“搭乘某一线路的火车”通过一个行为段“乘火车移动”来表示。在通过将分段粒度大小进一步增大至粒度大小1-3的状态下,一系列动作“步行”、“等火车”、“乘火车移动”和“步行”由一个行为段“移动”来表示。

通过以此方式基于处于动作行为层级的层次行为元信息来改变分段粒度大小,可以在用户容易理解的动作行为层级上显示行为日志。

参考图4来描述涉及移动的动作段,但是也可以针对其他行为类似地显示行为日志。假设,例如如图5所示,表示出现在购物行为等中的显著不稳定的运动的“行为模型X”和“吃饭”动作行为被动作行为识别单元124识别为动作行为数据。“行为模型X”通常意味着购物类,但是其含义根据先前或后续确定结果来变化。

在图5所示的示例中,“行为模型X”在“吃饭”之前和之后出现。在该情况下,生活行为识别单元321根据行为模型X之前和之后的动作行为数据将行为模型X识别为如在“吃饭”动作之前和之后进行的动作的“接受”以及“付账”。因此,用户容易理解的行为日志可以由根据先前或后续动作被添加至用户的不稳定运动的含义和内容来表示。还是在该情况下,通过增大分段粒度大小可以将“接受”、“吃饭”和“付账”一系列行为表示为一个行为段“吃饭”。

(示例2:通过组合语境分析和时间宽度来生成行为段)

接着,将基于图6来描述当行为段是通过除了考虑语境分析以外还考虑时间宽度来生成时的具体示例。图6是示出了以下情况的说明图:通过组合语境分析和时间宽度、根据动作行为数据来生成行为段,并且通过改变行为段的分段粒度大小来改变行为日志的显示。

如图6所示,假设通过动作行为识别单元124来获取包括动作行为数据的行为日志。在本示例中,通过像作为动作行为数据的“案头工作”、“行走”、“预先安排”和“进餐”等简单的动作行为来表示行为日志。生活行为识别单元321使用如图3所示的字典来识别每个动作行为数据的含义或动作行为数据之间的关系,并且还通过考虑动作行为数据的时间宽度来对其内容和含义进行识别。

图6示出了公司中的行为日志的示例。“行走”的动作行为数据是关于何种行走可以根据先前或后续动作行为数据来识别,而且还可以基于行走时间来估计。公司中的短暂“行走”的动作行为通常不具有任何特殊意义。但是,如果行走持续了预定时间或比预定时间长的时间,则行走被估计为不是在楼层上的简单移动,而在房屋之间的移动。因此,通过组合使用字典的语境分析和动作行为数据的时间宽度而生成的行为段如图6所示。“行走”的动作行为数据取决于其时间宽度而被划分成“短暂行走”和“房屋之间的移动”。

当行为段被生成时,像在上述情况下,可以容易地通过改变分段粒度大小来改变包括行为段的行为日志的显示。例如,在通过将分段粒度大小从单位分段的分段粒度大小增大至粒度大小2-1的状态下,一系列动作“案头工作”、“短暂行走”、“预先安排”、“短暂行走”和“案头工作”通过一个行为段“工作”来表示。在该情况下,“短暂行走”被组合到一个行为段“工作”中,因此,“房屋之间的移动”的行为段可以被简单地显示为“移动”。

在通过将分段粒度大小进一步增大至粒度大小2-2的状态下,一系列动作“工作”、“进餐”、“工作”、“移动”和“工作”被表示为一个行为段“在公司”。通过以此方式基于处于动作行为层级的层次行为元信息来改变分段粒度大小,可以在用户容易理解的动作行为层级上显示行为日志。

(示例3:通过组合语境分析、时间宽度和位置变化来生成行为段)

接着,将基于图7来描述当行为段是通过除了考虑语境分析和时间宽度以外还考虑位置变化来生成时的具体示例。图7是示出了以下情况的说明图:通过组合语境分析、时间宽度和位置变化、根据动作行为数据来生成行为段,并且通过改变行为段的分段粒度大小来改变行为日志的显示。

如图7所示,假设通过动作行为识别单元124来获取包括动作行为数据的行为日志。在本示例中,通过像作为动作行为数据的“购物”和“行走”等简单动作来表示行为日志。生活行为识别单元321使用如图3所示的字典对每个动作行为数据的含义或动作行为数据之间的关系进行识别,并且还通过考虑动作行为数据的时间宽度和行为记录装置100(即,用户)的位置变化来对其内容和含义进行识别。

图7示出了购物中的行为日志的示例。“行走”的动作行为数据是关于何种行走可以根据先前或后续动作行为数据来识别,而且还可以基于行走时间和位置变化来详细估计。

例如,如果“行走”的动作行为数据之前和之后的动作行为是“购物”,移动时间t是t1(例如,35s)或大于t1,并且用户所携带的行为记录装置100的位置变化被测量,则用户被估计为“在商店之间移动”。此外,例如,如果“行走”的动作行为数据之前和之后的动作行为是“购物”,移动时间t是t2(例如,20s)或大于t2而小于t1,并且行为记录装置100的位置变化没有被测量到,则用户被估计为购物期间“在楼层之间移动”。此外,例如,如果“行走”的动作行为数据之前和之后的动作行为是“购物”,移动时间t是t3(例如,5s)或大于t3而小于t2,并且行为记录装置100的位置变化没有被测量到,则用户被估计为购物期间“在商店中移动”。

因此,如果动作行为数据的含义和内容是如图7所示通过组合语境分析/时间宽度和位置变化来识别,则根据“行走”的动作行为数据生成包括三个行为段“在商店中移动(SG1)”、“在楼层上移动(SG2)”和“在商店之间移动(SG3)”的行为段。

当行为段被生成时,像在上述情况下,可以容易地通过改变分段粒度大小来改变包括行为段的行为日志的显示。例如,在通过将分段粒度大小从单位段的分段粒度大小增大至粒度大小3-1的状态下,在涉及行走的行为段当中,具有最短行走时间的行为段SG1与在行为段SG1之前和之后的行为段“购物”相组合。这些行为段通过作为一系列“购物”动作的行为段来表示。在该情况下,“在商店中行走”被组合到一个行为段“行走”中,涉及行走的其他行为段可以简单地显示为“移动”。

在通过将分段粒度大小进一步增大至粒度大小3-2的状态下,在涉及行走的行为段当中,具有仅次于行为段SG1的最短行走时间的行为段SG2与行为段SG2之前和之后的“购物”行为段相组合。然后,在通过将分段粒度大小进一步增大至粒度大小3-3的状态下,在涉及行走的行为段当中,具有最长行走时间的行为段SG3与行为段SG3之前和之后的“购物”行为段相组合。从而,一系列“购物”和“行走”动作被表示为一个行为段。通过以此方式基于处于动作行为层级的层次行为元信息来改变分段粒度大小,可以在用户容易理解的动作行为层级上显示行为日志。

<3-3.行为识别处理>

将基于图8至图10来详细描述根据动作行为数据生成行为段的处理。图8是示出了行为识别的总体处理流程的流程图。图9是示出了生活行为识别单元321所进行的处理的流程图。图10是示出了层次结构判断单元322所进行的处理的流程图。

如图8所示,行为识别处理包括:行为记录装置100的行为识别单元120所执行的动作行为数据创建处理(S100,S110);以及分析服务器300的行为表示生成单元320和数据管理单元330所执行的行为段生成处理(S120至S140)。

从传感器110获取了传感器信息的行为识别单元120的动作行为识别单元124开始动作行为数据的创建处理(S100)。动作行为数据创建处理可以通过使用现有技术来执行。在创建动作行为数据之后,动作行为识别单元124将动作行为数据输出给行为日志服务器200(S100)。以此方式,组成用户的行为日志的动作行为数据被积累在行为日志服务器200中。顺便提及,行为识别单元120不仅可以生成处于动作层级的行为信息,而且还可以生成包括例如时间信息、地点信息、装置的动作历史等的信息,作为动作行为数据。

当动作行为数据被创建时,分析服务器300的行为表示生成单元320通过生活行为识别单元321对动作行为数据的含义和内容进行分析(S120)。生活行为识别单元321将动作行为数据分段成预设长度的数据并且将生活行为元信息附加至每个分段数据。动作行为数据的单位长度由预定时间T来限定(例如,T=1分钟)。动作行为数据的分段次序被设置为i(i=1至N)。

在将动作行为数据按照时间顺序分段到单位时间T中之后,生活行为识别单元321首先确定单位长度(T)和参数i的积分值是否小于动作行为数据的长度(时间)(S121)。如果在步骤S121中确定单位长度(T)和参数i的积分值小于动作行为数据的长度(时间),则生活行为识别单元321将生活行为元信息附加至位于时间T*i和时间T*(i+1)之间的分段数据(步骤S122)。符号“*”表示积分处理。在步骤S122中,可以通过例如使用基于规则的分支处理来附加适用于在该时刻的分段数据的含义和内容(生活行为元信息)。或者,还可以使用如隐马尔科夫模型(HMM)或神经网络等机器学习来将生活行为元信息附加至分段数据。附加至分段数据的生活行为元信息的数量不限于一个,并且可以附加多个生活行为元信息。

当生活行为元信息在步骤S122中附加至动作行为数据的分段数据时,生活行为识别单元321将参数i加1(S123)以从步骤S121重复处理。如果在步骤S121中确定单位长度(T)和参数i的积分值等于或大于动作行为数据的长度(时间),则生活行为识别单元321对通过在步骤S122中的处理附加了生活行为元信息的每个分段数据进行输出,作为生活行为数据(S124)。生活行为识别单元321的输出结果可以被记录在预定的存储单元(未示出)中或可以直接输出至执行下一个处理的功能单元(在这种情况下,为层次结构判断单元322)。

回到图8的描述,当生成了作为其中通过生活行为识别单元321将生活行为元信息附加至组成动作行为数据的分段数据的信息的生活行为数据时,层次结构判断单元322将表示关于含义和内容的层次关系的层次信息附加至生活行为数据。基于图10来描述该处理。层次结构判断单元322首选确定所输入的生活行为数据是否满足以下条件至少之一:没有附加层次信息;和可以从附加的层次信息转移至较高的层级(S131)。

如果在步骤S131中这些条件中没有一个被满足,即,最高层次信息已经被附加,则层次结构判断单元322终止图10所示的处理。另一方面,如果在步骤S131中上述条件之一被满足,则层次结构判断单元322对按照时间顺序排列的各个分段数据中的相同行为的相邻分段数据进行组合(S132)。在步骤S132中,执行当相同的行为持续时将在步骤S120中离散化的数据当作一个动作行为的处理。通过组合分段数据而生成的块(段)可以被记录在预定的存储单元(未示出)中(S133)。

接着,如果在步骤S132中生成的段的时间设置次序被设置为j(j=1至M),则层次结构判断单元322确定j是否小于在步骤S131中生成的段的数量,以及是否可以获取关于第j个段的行为的字典信息(S134)。如果在步骤S134中这两个条件都被满足,则层次结构判断单元322选择并且附加最适宜于所获取的字典信息的相关段的字典信息(S135)。然后,层次结构判断单元322基于所选择的字典信息和时间语境来确定是否有更高的层次信息可以附加至段(j)(S136)。如果在步骤S136中确定可以附加更高的层次信息,则层次结构判断单元322将更高层次信息附加至段(j)并且将参数j加1(S137)。然后,重复步骤S134及其之后的处理。

另一方面,如果在步骤S134中确定j等于或大于在步骤S132中生成的段的数量或者不能获取关于第j个段的行为的字典信息,则层次结构判断单元322重复步骤S131及其之后的处理。此外,当在步骤S136中确定较高层次信息不能被附加至段(j)时,层次结构判断单元322重复步骤S131及其之后的处理。

如图10所示,层次结构判断单元322通过将分段数据拼凑在一起而将在步骤S120中生成的分段数据进行分段作为时间上连续的相同行为。然后,相关字典信息被获取并且被附加至每个段,并且可以判断是否可以添加更高的层次信息。因此,通过执行步骤S131至步骤S137的处理,生成附加了层次信息的最小单位的行为段(单位段)。

图11和图12是示出了行为段生成处理的示例的流程图。如图11所示,层次结构判断单元322确定是否有夹在分段数据的相同行为之间的“另一个行为”出现(S200)。如果有夹在相同行为之间的“另一个行为”出现,则“另一个行为”被合并到“另一个行为”之前和之后的行为中(S202)。但是,不执行夹在其精度充分地高并且很有可能是变化点的“行走”动作行为之间的“另一个行为”的合并处理。在“另一个行为”在步骤S202中被合并或在步骤S200中没有夹在相同行为之间的“另一个行为”之后,层次结构判断单元322合并连续的相同行为(S204)。

然后,层次结构判断单元322将表示由合并处理生成的段的时间次序的参数(k=1至k)设置为初始值1(S206),并且确定段(k)的行为时间是否小于预定时间T1(例如,T1=3分钟)(S208)。如果在步骤S208中段(k)的行为时间小于预定时间T1,则层次结构判断单元322将该段积累在缓冲器中(S210)。另一方面,如果在步骤S208中段(k)的行为时间被确定为等于或大于预定时间T1,则层次结构判断单元322确定段(k)的行为时间是否小于预定时间T2(T2>T1;例如,T2=10分钟)(S212)。

如果在步骤S212中段(k)的行为时间被确定为小于预定时间T2,则层次结构判断单元322将段(k)合并到紧接在前的行为中(S214)。另一方面,如果在步骤S212中段(k)的行为时间被确定为等于或大于预定时间T2,则层次结构判断单元322将段的动作行为决定为“另一个行为”(S216)。然后,层次结构判断单元322确定是否已经针对所有段执行了步骤S208至S216的处理(S218),并且如果有任何未处理的段,则层次结构判断单元322将k加1(S220),然后重复步骤S208及其之后的处理。

另一方面,如图12所示,如果已经针对所有段执行了步骤S208至S216的处理,则执行合并相同行为的连续段的处理(S222)。然后,如果仅数据单位时间(例如,仅1分钟)的车辆行为出现,则段的行为被设置为“另一个行为”(S224)。

接着,层次结构判断单元322确定段的行为内容是否为“行走”(S226),并且如果该行为内容不是“行走”,则将该段积累在缓冲器中(S228)。另一方面,如果段的行为内容是“行走”,则层次结构判断单元322确定是否有任何车辆行为被积累在缓冲器中(S230)。如果有车辆行为被积累在缓冲器中,则层次结构判断单元322将该段的动作行为设置为“行走”占最大份额的车辆的行为(S323)。另一方面,如果没有车辆行为被积累在缓冲器中,则层次结构判断单元322将段的动作行为设置为“另一个行为”(S324)。

此处,将基于图13来描述被添加至行为段的层次信息。如图13所示,假设6个单位段(SG01至SG06)的动作内容分别为“火车”、“火车”、“行走”、“行走”、“火车”和“火车”。通过图10所示的处理,单位段SG01和单位段SG02被合并为行为段SG07,单位段SG03和单位段SG04被合并为行为段SG08,并且单位段SG05和单位段SG06被合并为行为段SG09。该状态被设置成粒度大小1-0。按照粒度大小1-0的行为段SG07至SG09分别变为行为段SG17“搭乘某一线路的火车(行为B)”、行为段SG18“转火车(行为C)”和行为段SG19“搭乘某一线路的火车(行为C)”。此处将粒度大小设置为1-1。如果行为段SG17至SG19从粒度大小1-1进一步合并,则获得一个行为段SG10“搭车火车(行为A)”。此处将粒度大小设置为1-2。

行为段通过将层次信息附加至组合单位段的行为段或通过将层次信息附加至单位段来保存层次信息。当层次信息被附加至组合单位段的行为段时,假设例如关注图13中的行为B的行为段SG17。行为段SG17被认为是通过组合单位段SG01和SG02而新生成的行为段。在该情况下,行为段具有粒度大小1-1并且行为内容是“搭乘某一线路的火车”的事实以及行为的开始时间和结束时间作为层次信息被附加至行为段SG17。或者,行为段17包括单位段SG01和SG02的事实可以作为层次信息被附加至行为段SG17。

另一方面,当层次信息被附加至作为最小单位的行为段的单位段时,假设例如关注图13中的行为段SG01。在该情况下行为段是单位段并且按照粒度大小1-0被包含在行为段SG07中,按照粒度大小1-1被包含在行为段SG17中以及按照粒度大小1-2被包含在行为段SG10中的事实作为层次信息被附加至行为段SG01。更具体地,动作内容按照像例如[火车、行为B、行为A]的层次顺序相关联的信息可以被表示为层次信息。

层次信息可以以任何形式被附加并且可以其他形式被附加。从数据量方面来讲,将层次信息附加至组合单位段的行为段的情况较好,从数据库搜索方面来讲,将层次信息附加至单位段的情况较好。

回到图8的描述,当在步骤S130中生成了根据生活行为数据被附加了层次信息的行为段时,生活行为识别单元321将每个行为段输出给数据管理单元330(S140)。数据管理单元330将所获取的行为段记录在存储单元(单位数据存储数据库334或层次信息附加数据存储数据库335)中。

[3-4.行为表示生成单元的处理内容]

分析服务器300可以通过行为段实时地积累行为日志,同时基于动作行为的含义和内容来生成行为表示。分析服务器300还可以根据过去的行为历史生成行为表示。在图14中示出了分析服务器300的行为表示生成单元320和数据管理单元330的详细配置。图14是示出了分析服务器300的功能配置的功能框图。

如图14所示,行为表示生成单元320除了可以包括上述生活行为识别单元321和层次结构判断单元322以外还可以包括层次处理单元323、注册处理单元324、注释创建单元325和获取单元326。

层次处理单元323执行对层次结构判断单元322的判断结果的后续处理。当要被附加至行为段的数据的仅一部分被记录在存储单元中以减少或加速数据或者指定的行为段的层次信息被传递至应用程序时,层次处理单元323基于层次结构来工作。

如上所述,层次信息可以被附加至组合单位段的行为段或附加至单位段。当层次信息被附加至组合的行为段时,层次处理单元323对由用户通过输入单元160选择的层次信息的行为段进行处理。另一方面,当层次信息被附加至单位段时,层次处理单元323通过基于由用户通过输入单元160选择的层次信息来组合单位段以生成行为段。层次处理单元323将信息处理结果发送至注册处理单元324和注释创建单元325。

注册处理单元324将层次处理单元323生成的行为段记录在数据管理单元330中。注册处理单元324将行为段输出给数据获取单元331以将行为段记录在层次信息附加数据存储数据库335中。

注释创建单元325创建如行为的含义和内容等注释并且将注释附加至所生成的行为段。由注释创建单元325创建的注释被输出给数据获取单元331。数据获取单元331将注释与对应的行为段相关联,并且将注释例如记录在层次信息附加数据存储数据库335中。

获取单元326从单位数据存储数据库334或层次信息附加数据存储数据库335获取预定的行为段。例如当需要使用过去的行为日志的处理被行为表示生成单元320执行时,获取单元326将过去的数据记录在单位数据存储数据库334或层次信息附加数据存储数据库335中。基于来自用户的指令来决定要被获取的数据。

<4.行为记录和显示应用程序>

如上所述,通过利用分析服务器300来分析行为记录装置100所获取的动作行为数据,生成附加了动作行为的含义和内容的行为段。下面将描述使用行为段来表示用户的行为日志的应用功能。

[4-1.基于行为段的行为日志表示]

首先,将描述使用行为段对行为日志进行的表示。在图15中示出了行为日志的示例。图15的行为日志可以例如在行为记录装置100的显示单元150中显示。

行为日志包括按照时间顺序排列的行为段。针对每个行为段,例如,显示动作行为的开始时间和结束时间以及动作内容。当动作内容是像“乘火车移动”的移动时,例如像从开始地点到目的地(例如,“从五反田到大崎”)的位置表示被添加至动作内容。当动作内容是除了像“工作”和“进餐”以外的动作内容时,执行动作的地点(例如,“在大崎”)被添加至动作内容。

此外,为了以容易理解的方式向动作的用户通知这样的行为段,可以显示动作内容的对象,或者可以显示表明当执行该动作时用户的感觉的对象。此外,可以显示用户执行动作的步骤的数量(步骤值)或指示动作的能耗的值(锻炼值)。在组成行为日志的每个行为段中显示的内容不限于图15的示例,并且根据由传感器获取的传感器信息而获得的信息可以进一步显示在每个行为段中。

在图15所示的行为日志中,存在相邻行为段的时间不连续的地点。例如,在开始于12:30的行为“在大崎进餐”与开始于14:30的行为“在涉谷”之间存在间隙。以此方式,可以防止行为日志显示所有行为段。行为段的非显示可以由例如用户对行为段的编辑/删除引起,或者由通过设置非显示过滤器以防止一部分行为段被显示而引起。

关于非显示过滤器,例如,可以考虑当行为时间短时防止显示的过滤器或防止显示对用户而言不重要的行为段的过滤器。此外,可以设置当识别精度低时防止显示的过滤器或允许显示用户指定的行为或地点的过滤器。

[4-2.浏览行为]

例如,当行为日志显示应用程序在浏览终端(例如,行为记录装置100)中被激活时,用户可以以预定单位例如以天为单位来浏览用户的行为日志。图16示出了当行为日志显示应用程序被激活时的行为日志的显示示例。图16示出了以下状态:在行为记录装置100的显示单元150中显示以天为单位的行为日志410。

行为日志410包括按照时间次序(例如,从屏幕的上端朝着下端)设置的行为段412。如图15所示,在每个行为段412中,执行动作的地点、地点的描述、行为的类型、用户针对动作的步骤数量、锻炼值等被显示。如果一天的行为日志不能显示在显示屏幕中,则可以通过执行屏幕滚动操作来使得显示单元150显示未被显示的行为段。

通过触摸“前一天(Prev)”按钮422来显示当前所显示的行为日志的前一天的行为日志,或触摸“下一天(Next)”按钮424来显示当前所显示的行为日志的下一天的行为日志,可以使显示单元150显示另一天的行为日志。如果当按下“前一天”按钮422时前一天的行为日志没有出现,则可以使显示单元150显示当通过进一步返回过去而接下来获取到行为日志的那天的行为日志。类似地,如果当按下“下一天”按钮424时下一天的行为日志没有出现,则可以使显示单元150显示当通过进一步移动至现在而接下来获取到行为日志的那天的行为日志。在显示单元150中显示用于行为日志410的浏览、编辑和其他操作的操作按钮430,并且用户可以触摸与所期望的处理对应的按钮来执行该处理。

例如,如果日历按钮434被触摸,如图17所示,则在显示单元150中显示日历440。在屏幕转变后首先在显示单元150中显示的日历440可以是当前月份或是与在屏幕转变之前显示的行为日志410对应的月份。在日历440中,可以显示行为日志410的一天,即,可以通过例如触摸操作来选择行为日志410可以被作为数据积累的那一天。当从日历440中选择某一天时,这一天的行为日志410被显示在显示单元150中。

通过前一个(<)按钮442或下一个按钮(>)按钮444来改变日历440的显示。如果操作前一个(<)按钮442,则显示前一个月的日历;如果操作下一个按钮(>)按钮444,则显示下一个月的日历。如果当按前一个(<)按钮442时没有前一个月的行为日志出现,则可以通过进一步返回至过去来显示接下来获取到任何行为日志的月份的日历440。类似地,如果当按下一个按钮(>)按钮444时没有下一个月的行为日志出现,则可以通过进一步移动至现在来显示接下来获取到行为日志的月份的日历440。

图17示出了其中对单位为月的日历440进行显示的示例,但是本技术不限于这样的示例并且例如可以以周、两周或年为单位来显示日历。此外,可以针对日历440中可以显示行为日志的所有天来显示表示天的代表性动作行为的图标。从而,用户可以一眼就识别出该天的行为。通过使用这样的日历功能,所期望浏览的行为日志410可以很容易地被搜索到,并且可以使显示单元150显示行为日志。为了促成从日历440的显示屏幕到前一屏幕的转变,可以操作返回按钮446。

例如,如果操作按钮430的地图按钮431被触摸,则行为日志显示应用程序激活地图450以在地图450中显示与行为日志410对应的位置信息。图18示出了当通过操作地图按钮431而使地图450显示与行为日志410对应的位置信息时的显示示例。

如果当行为日志410被显示时,地图按钮431被触摸同时没有选择组成行为日志410的行为段412,则在地图450上显示例如该天的行为日志410的所有位置信息的历史。如果用户在移动,则其移动轨迹被显示在屏幕上。

另一方面,如果当行为日志410被显示时,地图按钮431被触摸同时从行为日志410中选择了一个行为段412a,则在地图450上显示行为段412a的位置信息的历史。例如,如图18的左侧所示,如果“乘火车从鹭之宫到大崎的移动”的行为段412a被选择并且地图按钮431被触摸,则如图18的右侧所示,乘火车从开始地点(鹭之宫)到目的地(大崎)的移动轨迹被显示在地图450上。从而,可以以容易理解的方式来呈现用户在哪条线路上移动。当在地图450上显示位置信息时,可以在显示单元150中显示位置信息的时间信息452。

如果用户没有移动,可以在进行动作的地点显示图标等。在图18中,描述了选择一个行为段412的情况,但是本技术不限于这样的示例,并且可以选择多个行为段412,以及可以在地图450上显示全部所选择的行为段412的位置信息。在该情况下,地图450上的位置信息可以通过针对每个行为段进行色彩编码等来被区分并且被显示。为了促成从地图450的显示屏幕到前一屏幕的转变,可以操作返回按钮454。

[4-3.校正行为]

在前述内容中,描述了使用由分析服务器300所分析和生成的行为段412来在显示单元150中显示行为日志410的方法。但是,所生成行为日志410的显示内容可能是错误的。在这样的情况下,用户可以对行为日志410的内容进行校正。校正反馈被反映在行为识别确定处理中。首先,将基于图19和图20来描述校正行为日志410的方法。图19是示出了对要被校正的行为段进行校正的校正屏幕被显示的状态的说明图。图20是示出了校正动作行为的校正屏幕的示例的说明图。

为了校正行为段412的内容,用户从显示在显示单元150中的行为日志410中选择要被校正的行为段412a并且触摸编辑按钮435。然后,如图19的右侧所示,对要被校正的行为段412a进行校正的校正屏幕460被显示。例如,如果选择了“乘火车从鹭之宫到大崎的移动”的行为段412a的校正,则发生从行为日志410的显示屏幕到校正屏幕460的屏幕转变,在校正屏幕460中动作的动作内容、开始地点和结束地点以及该动作期间的感觉可以被编辑。

可以在校正屏幕460的动作内容校正区域461中校正动作内容。例如,如果选择内容校正区域461,则如图20所示,显示其中用于校正的动作内容候选被列出的动作内容候选列表461a。用户可以通过从动作内容候选列表461a中选择正确的动作内容来对动作内容进行校正。当从动作内容候选列表461a中选择“自由输入”时,显示用户可以自由地输入动作内容的输入字段并且可以输入正确的动作内容。

在从动作内容候选列表461a中选择动作内容后,用户继续对动作的开始地点和结束地点进行校正。此处,如果所选择的动作内容是移动行为例如像“乘公共汽车移动”等,则可以进行开始地点校正区域462、开始地点描述校正区域463、结束地点校正区域464或结束地点描述校正区域465的校正。

可以针对开始地点校正区域462和结束地点校正区域464显示地点名称列表,以使得用户可以选择并且输入地点名称或者可以使得用户能够直接输入地点名称。在地点名称列表中,例如可以显示会是如建筑名称、站名或商店名称等地界标。如果没有地点会是地界标,则地名(地址)可以被显示在地点名称列表中。

此外,可以使显示单元150显示开始地点地图462a和结束地点地图464a,上述地图通过链接至开始地点校正区域462和结束地点校正区域464的输入内容来显示地图。可以使开始地点地图462a和结束地点地图464a通过在地图上的滚动操作来显示任何地点的地图。当对显示在开始地点地图462a或结束地点地图464a上的地图进行触摸操作时,与进行触摸的地点对应的地点名称可以自动地被输入到开始地点校正区域462或结束地点校正区域464中。

开始地点描述校正区域463和结束地点描述校正区域465分别是输入针对用户而言被输入到开始地点校正区域462和结束地点校正区域464中的地点是何种类型的地点的区域。当开始地点描述校正区域463或结束地点描述校正区域465被触摸时,例如,如图20所示,描述候选列表463a或465a被显示。用户可以通过从描述候选列表463a或465a中选择正确的描述来输入地点描述。

关于地点的描述内容,可以列举例如像家的“返回地点”、像公司的“工作地点”和像学校“学习地点”等。通过输入这样的地点的描述,地点对于用户具有何种含义可以被掌握,并且有助于提高针对用户的行为识别的精度。如果在描述候选列表463a或465a中没有发现校正描述,则描述可以被直接输入到开始地点描述校正区域463或结束地点描述校正区域465中。

当从图20中的动作内容候选列表461a中选择的动作内容是除了例如像“购物”或“工作”等移动行为以外的行为时,结束地点校正区域464和结束地点描述校正区域465可以被校正。校正方法如上所述。

表示当进行动作时用户的感觉的对象可以通过例如图19所示的感觉校正区域466来校正。感觉校正区域466包括“无感觉设置”按钮和逐步选择感觉的好或坏的感觉选择按钮。感觉选择按钮可以被配置成例如使得有五个层级的感觉“非常坏(被激怒或沮丧)”、“坏(有些被激怒)”、“不坏(没有问题)”、“好(有点美好)”和“非常好(令人身心爽快、令人鼓舞、完美)”可选择。用户可以从感觉校正区域466中选择当执行动作时的感觉。

当完成了所有校正,可以通过按压位于校正屏幕460底部的保存按钮468a或顶部的保存按钮468b来在行为段412a中反映校正内容。当按压保存按钮468a或468b时,转变至在转变至校正屏幕460之前的屏幕。当没有在校正屏幕460中反映输入内容的情况下转变至在向校正屏幕460转变之前的屏幕时,可以按压位于校正屏幕460底部处的取消按钮467a或顶部的取消按钮467b。

[4-4.组合行为]

根据本技术,行为日志410的显示不仅可以通过校正每个行为段412的内容而且还可以通过校正行为段412之间的关系来容易地改变。例如,多个行为段412可以被组合成将结果段显示为一个行为段412。行为段412的组合是将时间上连续的多个行为段412组合成一个行为段412的功能。所组合的行为段412的时间范围从最旧的行为段412的开始时间延伸至最新的行为段412的结束时间。

图21示出了组合行为段412的方法的示例。首先,如果在显示行为日志410时按压合并按钮432,则进入可以组合行为段412的状态(行为组合模式)。可以通过选择要在行为组合模式中被组合的行为段412来组合所选择的行为段412。

从要被组合的行为段412中首先选择的行为段412b的行为可以被设置为组合之后的动作内容。在图21中,“在大崎工作”的动作内容变为组合之后的动作内容。然后,选择要被组合的其他行为段412。行为段412的选择可以通过触摸操作或拖动操作来做出。在图21中,选择参考符号412c所环绕的行为以进行组合。然后,如果在选择了要被组合的行为段412之后按压保存按钮468a,则要被组合的行为段412可以通过被组合而被显示。所组合的行为段412表示在9:55与22:42之间完成“在大崎工作”的行为。为了取消组合模式,可以按压取消按钮467a。

在图21的示例中,根据首先选择的行为段412来决定组合之后的行为段412的动作内容,但是本技术不限于这样的示例。在图22中示出了决定组合之后的行为段412的动作内容的另一种方法的示例。在图22中,通过拖动操作来选择要被组合的行为段。即,要被组合的第一行为段(开始段)通过用手指的接触而首先被选择,并且移动手指同时保持接触直至要被组合的最后一个行为段(结束段)被选择。以此方式决定要被组合的行为段(参考符号412c所环绕的行为段)。然后,当按压了保存按钮468a(参见图21)时,显示组合之后的行为段。

例如,要被组合的任何行为段的动作内容可以被设置为组合之后的行为段的动作内容。例如,如果“在大崎行走”的动作内容被选择,则组合之后的行为段421d的动作内容变为“在大崎行走”。

组合之后的行为段的动作内容例如可以通过要被组合的大多数行为段来决定。在图22的示例中,例如,在要被组合的4个行为段412中,两个行为段412的动作内容是“在大崎工作”,一个行为段的动作内容是“在大崎进餐”并且另一个行为段的动作内容是“在大崎行走”。因此,大多数行为段的动作内容“在大崎工作”被确定为组合之后的行为段412的动作内容。

替选地,例如可以通过重新分析要被组合的行为段来决定组合之后的行为段的动作内容。在图22的示例中,例如,要被组合的4个行为段412的动作内容包括“在大崎工作”、“在大崎进餐”和“在大崎步行”。从而,用户的行为的含义和内容被重新分析并且例如动作内容“在大崎”可以被决定为组合之后的行为段412d3的动作内容。

因此,可以容易地通过选择要被组合的行为段的来组合行为段412。

[4-5.划分行为]

还根据本技术,例如,可以根据行为段412之间的关系的校正来将多个行为段412划分并且显示成多个行为段412。行为段412的划分是将一个行为段412分段成多个行为段412的功能。作为行为段412的划分方法,例如,已知有设置时刻以划分行为段412的方法和使用层次信息的划分方法。

例如,图23示出了通过行为段412的时刻设置的划分方法的示例。首先,如果在显示行为日志410时按压划分按钮433,则进入行为段412可以被划分的状态(行为组合模式)。可以通过选择要在行为划分模式中被划分的行为段412来划分所选择的行为段412。

例如,假设在图23中选择行为段412e进行划分。然后,输入要被划分的行为段412的划分时刻的划分时刻设置屏幕被显示。在划分时刻设置屏幕中,可以设置要被划分的行为段的开始时间和结束时间之间的任何时刻。然后,按压保存按钮468a来划分要被划分的行为段412,并且显示所划分的行为段412。例如,如果划分时刻被设置成11:50,则行为段412被划分成9:58与11:50之间的第一行为段“在大崎工作”和11:50与12:29之间的第二行为段“在大崎工作”。为了取消划分模式,可以按压取消按钮467a。

此外,例如,图24示出了基于行为段412的层次信息的划分方法的示例。假设已经在图24中设置了行为划分模式。如果用户在行为日志410被显示时选择要被划分的行为段412,则如图24所示,显示通过更加详细的行为段表示要被划分的行为段412e的层次列表414。当层次列表414被显示时,用户选择将会是划分点的行为段。

例如,如果在图24中选择了行为段414a,则例如行为段414a的结束时间被决定为划分时刻,并且如在图24的右侧所示,行为段被划分成9:30与11:59之间的第一行为段412e1“在大崎工作”和11:59与12:30之间的第二行为段412e2“在大崎工作”。

[4-6.基于分段粒度大小的行为段表示]

在本技术中,组成行为段410的行为段412基于其含义和内容将层次关系保存为层次信息。所显示的行为日志410的显示粗糙度可以通过使用层次信息改变分段粒度大小来改变。可以使用例如滑块或缩放按钮来改变显示粗糙度。

图25示出了当通过使用滑块471改变显示粗糙度时的情况。在滑块471中显示用于设置显示粗糙度(粒度大小)的旋钮472并且可以通过改变旋钮472的位置来改变显示粗糙度。例如,当如图25的左侧所示,旋钮472被置于滑块471的小粒度大小侧,通过详细的行为段412来显示行为日志410。随着旋钮472从上述状态朝着滑块471的大粒度大小侧移动,基于预先附加至行为段412的分段粒度大小,通过组合来显示多个行为段412。

图26示出了当通过使用缩放按钮473改变显示粗糙度时的情况。用于设置显示粗糙度(粒度大小)的多个按钮474按行被显示在缩放按钮473中。通过选择多个按钮474之一,可以使行为日志410以按照与按钮474对应的显示粗糙度被显示。例如,当如图26的左侧所示,缩放按钮473中的小粒度大小侧上的按钮474被选择,通过详细的行为段412来显示行为日志410。随着位于大粒度大小侧的按钮474从上述状态被选择,基于预先附加至行为段412的分段粒度大小,通过组合来显示多个行为段412。

因此,可以基于附加至行为段412的分段粒度大小容易地改变行为段410的显示粗糙度,以使得用户可以按照所期望的显示粗糙度来查看行为日志410。

行为日志410的显示粗糙度在图25和图26中被改变,但是在本技术中,行为段412的显示粗糙度还可以根据目的来改变。即,行为段412的显示粗糙度独立于行为类型来改变。工作、购物、移动等可以被认为是行为的类型,并且例如通过检测如图27所示的行为类型选择列表475的对应行为的按钮476,可以改变仅该行为的显示粗糙度。

例如,当如图27所示在行为类型选择列表475中选择了“工作细节”按钮476b时,与工作有关的行为段412f1、412g1被详细地显示。例如,通过5个行为段412f2“在大崎的案头工作”、“步行移动”、“在大崎开会”、“步行移动”和“在大崎的案头工作”来显示针对行为段412f1的动作内容“在大崎工作”。顺便提及,行为段421的动作内容是最详细的,因此,在改变显示粗糙度之后相同的内容被显示(行为段412g2)。

例如,当如图28所示在行为类型选择列表475中选择了“购物细节”按钮476c时,与购物有关的行为段412h1被详细地显示。例如,通过7个行为段412h2“在涉谷购物”、“步行移动”、“在涉谷购物”、“在涉谷的商店之间移动”、“在涉谷购物”、“在涉谷的商店之间移动”和“在涉谷购物”来显示行为段412h1的动作内容“在涉谷购物”。

此外,例如,当如图29所示在行为类型选择列表475中选择了“移动细节”按钮476d时,与移动有关的行为段412i1、412j1、412k1被详细地显示。例如,通过5个行为段412i2“在鹭之宫等火车”、“乘火车从鹭之宫到高田的移动”、“在高田转火车”、“乘火车从高田到大崎的移动”和“在大崎步行移动”来显示行为段412i1的动作内容“乘火车从鹭之宫到大崎”。类似地,通过4个行为段412j2“移动到大崎站”、“在大崎站等火车”、“乘火车从大崎移动到涉谷”和“移动到涉谷”来显示行为段412j1的动作内容“乘火车从大崎移动到涉谷”。对于行为段412k1,类似地详细的内容被显示。

当应该以相同的显示粒度大小来显示行为段412而无论是什么行为时,例如,如图30所示,可以在行为类型选择列表475中选择“统一细节”按钮476a。从而,可以按照相同的粒度大小来显示行为日志410的所有行为段412。

因此,由于行为段412的显示粗糙度可以根据行为类型独立地改变,所以仅用户想要详细地查看的行为可以被详细地显示。

顺便提及,图25和图26所示的改变显示粗糙度的方法以及图27至图30所示的根据行为类型类改变显示粗糙度的方法可以被组合。例如,如图31所示,可以针对每种类型的动作来设置滑块以使得可以调节每种类型的行为的显示粗糙度。图31示出了显示粒度大小设置单元477,其设置有用于设置与“工作”有关的行为段的显示粗糙度的滑块478a、用于设置与“购物”有关的行为段的显示粗糙度的滑块478b、和用于设置与“移动”有关的行为段的显示粗糙度的滑块478c。通过移动显示粒度大小设置单元477的滑块478a、478b、478c各自的旋钮479a、479b和479c,可以针对每种类型的行为来调节显示粗糙度。

[4-7.删除行为]

根据本技术,可以从行为日志410中删除行为段412。例如,如果如图32所示在显示行为日志410时选择要被删除的行为段412l并且按压删除按钮436,则如图32的右侧所示,显示删除确认屏幕480。在删除确认屏幕480中,可以使得用户输入删除要被删除的行为段412l的理由。当用户按压写有删除理由的按钮时,从行为日志410中删除要被删除的行为段412l。取决于用户所选的理由,行为段的删除可以被反馈作为行为校正。

[4-8.投寄行为]

根据本技术,行为日志410的行为段412的内容可以被投寄。例如,如果如图33所示在显示行为日志410时选择要被投寄的行为段412m并且按压投寄按钮437,则如图33的右侧所示,显示投寄屏幕482。在投寄屏幕482中,要被投寄的行为段412m的动作内容可以自动地被粘贴至投寄内容输入区域482a。当用户按压投寄按钮482b时,投寄内容输入区域482a中的描述内容被投寄至投寄站点。

[4-9.行为日志获取停止处理]

根据本技术,当行为日志的获取出于某个理由应该被停止时,例如如图34所示,通过按压设置按钮438来显示设置屏幕490。在设置屏幕490中,可以进行关于行为日志显示应用程序的各种设置。例如,当行为日志410的获取应该被停止时,选择对行为日志获取功能的操作进行设置的获取功能设置单元491的“停止”。从而,行为日志显示应用程序停止行为日志获取功能。为了重启被停止的行为日志获取功能,可以选择获取功能设置单元491的“重启”。

[4-10.更新显示内容]

本技术中的行为日志显示应用程序将行为记录装置100所获取的动作行为数据在预定的时刻(例如,一天两次)自动地上载至行为日志服务器200。此外,分析服务器300在预定时刻(例如,一天两次)自动生成行为段。当基于所生成的行为段来显示行为日志时,根据系统功能或环境显示的行为日志可能与最新结果不对应。因此,通过按压更新按钮493可以将行为日志更新至最新结果,更新按钮493将显示在图34的设置屏幕490中的行为日志更新至最新结果。当在更新按钮493被按压之后出现至行为日志显示屏幕的转变时,可以使得显示单元150显示最新结果。

<5.校正反馈的反映处理>

在本技术的行为日志显示系统中,行为的含义和内容由分析服务器300来分析,行为日志通过行为段来显示。但是,如上所述,所显示的行为日志的内容可能不全都正确。因此,根据本技术,用户可以做出校正以通过使用行为日志显示应用程序来校正内容。在本技术中,用户的校正反馈在分析服务器300的下一次分析处理中被反映并且用于提高下一次和后续分析结果的精度。将基于图35至图42来描述校正反馈的反映处理。

[5-1.校正反馈的属性]

在本技术中,分析结果的精度是通过在分析处理中反映用户的校正反馈来提高,但是用户可能不校正分析服务器300的分析结果的所有错误。即,行为日志的不正确的内容可能没有必要校正。因此,在本技术中,有必要假设系统仅能够收集基本上偏置的信息。此外,用户校正前的分析结果不一定最新的分析结果匹配。因此,通过在针对每个用户的分析处理中反映行为段是以何种方式来被校正的信息,每个用户所特定的行为可以被学习,这被认为是有效地工作以提高分析结果的精度。

<5-2.行为识别处理>

在上述点的考虑中,根据本实施方式,基于动作行为的识别处理中的特征量分析结果来决定行为模式,并且获取与行为模式、时间和位置信息(地点)对应的多个概率分布。在该情况下,赋予直方图的权重并且基于取决于地点而赋予权重的结果来识别动作行为。如果位置信息不能被获取或无需获取位置信息,则可以赋予统一权重或可以赋予像“获取不到地点”或“无需地点”等具体权重。

图35是示出了生活行为识别单元321的行为识别处理的示例。图36示出了决定动作行为的动作行为估计信息。动作行为估计信息是例如表明取决于地点的加权因子与每个行为的概率分布之间的关系的信息,并且如图36所示,获取例如“购物”、“工作”、“进餐”和“其他”等行为的多个(在图36中为4个)概率分布。然后,取决于地点的加权因子被设置给每个概率分布。动作行为估计信息被预设并且例如被记录在分析参数数据库333中。

在单位时间的行为日志被获取之后,生活行为识别单元321开始识别行为日志的行为的处理。首先,如图35所示,基于行为模式、时间信息和位置信息获取至少一对概率分布和取决于地点的加权因子(S300)。

接着,在步骤S302至S306中,生活行为识别单元321执行决定单位时间的行为日志的动作内容的处理。首先,假设在步骤S300中获取的概率分布和加权因子对的数量是n,并且表示处理数量的参数是i(i=0至n)(S302)。然后,生活行为识别单元321针对第一对(i=0)概率分布和加权因子将每个行为的概率分布乘以加权因子(S304)。例如,如果在图36中,第一对是第一行中的概率分布和加权因子对,则针对“购物”将概率50乘以加权因子1,并且针对“工作”将概率10乘以加权因子1。然后,针对“进餐”将概率10乘以加权因子1,并且针对“其他”将概率30乘以加权因子1。从而,获取到行为的积分值(“购物”:50、“工作”:10、“进餐”:10、“其他”:30)。

当步骤S304中的处理完成时,生活行为识别单元321将参数i加1(S306)并且重复步骤S302及其之后的处理。在图36的示例中,生活行为识别单元321针对下一对(i=1)概率分布和加权因子(即,第二行的概率分布与加权因子对)将每个行为的概率分布乘以加权因子(S304)。针对第二行的对,首先针对“购物”将概率10乘以加权因子6,并且针对“工作”将概率50乘以加权因子6。然后,针对“进餐”将概率10乘以加权因子6,并且针对“其他”将概率30乘以加权因子6。从而,获取到行为的积分值(“购物”:60、“工作”:300、“进餐”:60、“其他”:180)。

然后,生活行为识别单元321针对每个行为将第二行的积分值添加至第一行的积分值。这产生了积分值“购物”:110、“工作”:310、“进餐”:70、“其他”:210。类似地,针对第三行和第四行中的概率分布和加权因子对来计算积分值,并将这些积分值添加至每个行为的上述积分值以最终获得相加值:“购物”:260、“工作”:460、“进餐”:420、“其他”:460。

生活行为识别单元321将最大的最终相加值决定为行为日志的动作内容。在图36的示例中,“工作”和“其他”两者具有最大的相加值460,但是在该情况下,动作内容通过对除了“其他”以外的行为给予优先权来决定。因此,在图36的示例中,“工作”被识别为动作内容。

[5-3.校正反馈的反映处理]

(5-3-1.校正反馈的反映处理的概要)

如图35和图36所描述的,动作内容的识别处理结果取决于动作行为估计信息而显著地变化,动作行为估计信息表明了取决于地点的加权因子与概率分布之间的关系。因此,行为日志由用户校正,校正内容通过分析服务器300的反馈调节单元332来反映在被记录在分析参数数据库333中的动作行为估计信息中。从而,动作内容的识别处理的精度可以被增强。

将基于图37来提供校正反馈的反映处理的概要。假设在图36所示的取决于地点的加权因子与每个行为的概率分布之间的关系在校正之前被保存为动作行为估计信息。作为基于这样的动作行为估计信息来根据动作行为数据生成行为段的结果,可以假设用户从输入单元160输入了行为段的校正信息(校正反馈)。校正反馈被转换成某种格式的数据,其可以在通过客户端接口单元130发送至分析服务器300之前通过输入信息处理单元144发送至分析服务器300。

通过分析服务器接口单元310从行为记录装置100接收了校正反馈的分析服务器300通过反馈调节单元332将校正反馈的内容反映在动作行为估计信息中。此处,反馈调节单元332在校正反馈的内容与行为有关时校正动作行为估计信息的概率分布,并且在校正反馈的内容与位置信息(地点)有关时校正取决于地点的加权因子。

如图37所示,假设动作内容“工作”被获取为分析结果,但是接收到用户将动作内容改变为“购物”的校正反馈。在该情况下,反馈调节单元332校正多个概率分布当中的具有“工作”的最大概率的概率分布。例如,针对具有“工作”的最大概率的第二行中的概率分布,反馈调节单元332做出校正以将作为分析结果的“工作”的概率以及作为校正结果的“购物”概率设置成这两个概率的平均值。

另一方面,假设获取到“工作地点”的分析结果,但是接收到用户的将地点描述改变为“频繁购物的地点”的校正反馈。在该情况下,反馈调节单元332校正多个概率分布当中的具有“购物”的最大概率的概率分布的加权因子。例如,反馈调节单元332做出将具有“购物”的最大概率的第一行中的加权因子增加预定数目(例如,10)的校正。

通过以此方式来校正动作行为估计信息,在行为段的分析结果中反映校正反馈以使得可以预期动作内容的分析结果的精度。以下将基于图38至图42来更加详细地描述校正反馈的反映处理。

(5-3-2.行为的校正反馈的反映处理)

首先,将基于图38至图40来描述行为的校正反馈的反映处理。图38是示出了行为的校正反馈的反映处理的流程图。图39是示出基于图38的处理的对动作行为估计信息的校正的说明图。图40是示出了行为的校正反馈的其他反映处理的流程图。在图39中的每个列的顶行示出的“001”、“002”和“003”是表示各个相应行为的ID。在以下描述中假设生活行为识别单元321的分析结果是“行为002”,并且用户的校正反馈的校正行为是“行为003”。

当从行为记录装置100接收到校正反馈时,反馈调节单元332首先识别校正内容。此处假设,行为段的动作内容被校正。反馈调节单元332从单位数据存储数据库334或层次信息附加数据存储数据库335获取要被校正的行为段,并且开始图38所示的处理。

反馈调节单元322首先根据存储在分析参数数据库333中的动作行为估计信息获取用于对要被校正的行为段的动作内容进行识别的概率分布(局部概率分布)(S310)。接着,反馈调节单元332针对局部概率分布计算通过将每个概率分布的最大概率乘以行的加权因子而获得的值M(i),并且对这些概率分布进行排序(S311)。

表示经排序的概率分布的次序的参数被设置为i(i=0至n)并且组成局部概率分布的概率分布的数量被设置为n。然后,反馈调节单元332确定该参数是否小于n并且乘积值M(i)是否大于预定阈值th(S312)。如果步骤S312中的条件不被满足,则图38所示的处理被终止。例如,如果提供了图39左边的动作行为估计信息,则仅校正第四行到第六行的概率分布。另一方面,如果步骤S312中的条件被满足,则反馈调节单元332使用来自动作行为估计信息的具有目标行中的每个行为的概率分布的最大值的行为和从校正反馈获得的正确行为来根据损失率计算函数获取校正率C(i)(S313)。

损失率计算函数被假设为表示当做出一些可用决定时所引起的损失的单一综合性测量。在本实施方式中,损失率计算函数用于设置例如表示如图39的下部所示的分析结果的行为与正确行为之间的校正率C的校正率表。校正率表可以被预设并且可以被存储在分析参数数据库333中。反馈调节单元332从校正率表获取具有概率分布的最大值的行为与正确行为“行为003”之间的校正率C(i)。例如,如果步骤S313中的处理是针对图39的左边的动作行为估计信息的第四行中的概率分布而执行,则获得具概率分布的最大值的“行为003”与正确行为“行为003”之间的校正率C(0)=0。

然后,反馈调节单元332将在步骤S313中获取的校正率C(i)从概率分布最大值的行为的概率分布值中减去,并且将校正率C(i)加至正确行为的概率分布值上,并且在动作行为估计信息中反映这些校正(S314)。例如,如果针对图39的左边的动作行为估计信息的第四行中的概率分布执行步骤S314的处理,则该行的概率分布由于校正率C(0)=0而不改变。然后,反馈调节单元332将参数i加1(S315)并且重复步骤S312及其以后的处理。

例如,如果步骤S313中的处理是针对图39的左边的动作行为估计信息的第五行中的概率分布而执行,则获得具有概率分布的最大值的“行为002”与正确行为“行为003”之间的校正率C(1)=5。然后,如果执行步骤S314中的处理,则基于校正率C(1)=5,“行为002”的概率分布值从50被校正至45,并且“行为003”的概率分布的值被从10校正至15。

类似地,如果步骤S313中的处理是针对图39的左边的动作行为估计信息的第六行中的概率分布而执行,则获得具有概率分布的最大值的“行为001”与正确行为“行为003”之间的校正率C(1)=10。然后,如果执行步骤S314中的处理,则基于校正率C(1)=10,“行为001”的概率分布值从40被校正至30,并且“行为003”的概率分布的值被从10校正至20。通过执行上述处理,可以获得如图39的右边所示的在校正反馈被反映之后的动作行为估计信息。

以此方式,校正反馈的动作内容被反映在动作行为估计信息中。图38所示的反映处理在能够有效地控制反映速度或收敛。即,更加不允许的错误可以较早地被反映,并且如果值可以根据与最大值的比率被处理,则可以使该值收敛。在图38所示的反映处理中,校正率C(i)被加至概率分布中或从概率分布中减去,但是本技术不限于这样的示例,并且例如,校正反馈可以通过将概率分布的值乘以校正率而被反映在动作行为估计信息中。

在图38所示的校正反馈的反映处理中,校正反馈的内容通过使用校正率表而被反映在动作行为估计信息中,但是本技术不限于这样的示例。例如,如图40所示,可以配置使用神经网络技术的反馈系统。假设,行为段的动作内容也在图40中被校正。

反馈调节单元322首先根据存储在分析参数数据库333中的动作行为估计信息获取用于对要被校正的行为段的动作内容进行识别的概率分布(局部概率分布)(S320)。接着,反馈调节单元332针对局部概率分布计算通过将每个概率分布的最大概率乘以行的加权因子而获得的值M(i),并且对这些概率分布进行排序(S321)。步骤S320、S321中的处理可以与图38中的步骤S310、S311中的处理同样地进行。

如果表明经排序的概率分布的次序的参数被设置为i(i=0至n),则反馈调节单元332确定该参数是否小于n(S322)。如果步骤S322中的条件不被满足,则图40所示的处理被终止。另一方面,如果步骤S322中的条件被满足,则反馈调节单元332使用神经网络技术来基于加权因子将校正反馈的校正内容反映在动作行为估计信息的每个概率分布中(S323)。然后,反馈调节单元332将参数i加1(S324)并且重复步骤S322及其以后的处理。

因此,通过替代校正率表而使用如神经网络技术等学习处理,校正反馈的内容可以被反映在动作行为估计信息的每个值中而无需预先设置校正率表。

(5-3-3.行为和位置信息的校正反馈的反映处理)

接着,将基于图41来描述行为和位置信息的校正反馈的反映处理。图41是示出了行为和位置信息的校正反馈的反映处理的流程图。

反馈调节单元332从单位数据存储数据库334或层次信息附加数据存储数据库335获取要被校正的行为段,并且开始图41所示的处理。反馈调节单元332首先确定校正反馈是否包含位置信息(S330)。如果在步骤S330中校正反馈包含位置信息,则执行步骤S331及其之后的处理以在动作行为估计信息中反映所校正的位置信息。

在步骤S331中,确定是否对伴随移动的行为段做出了与位置信息有关的任何校正。如果对伴随移动的行为段做出了与位置信息有关的校正,则计算结束点的代表性坐标(两个代表性坐标像位置X至位置Y)(S332)。另一方面,如果没有对伴随移动的行为段做出与位置信息相关的校正,则计算移动的代表性坐标(S333)。顺便提及,可以通过使用中心、重心、最频繁点等来计算代表性坐标。

接着,反馈调节单元332将在步骤S332和步骤S333中计算的代表性坐标、精度和所附加属性记录在反馈数据库(未示出)中(S334)。反馈数据库是设置在分析服务器300中的存储单元。然后,反馈调节单元332在步骤334中使用记录在反馈数据库中的新位置信息来分析动作内容,并且确定分析结果是否匹配校正反馈所输入的正确行为(S335)。如果在步骤S335中确定通过使用新位置信息而分析的动作内容匹配正确的行为,则可以做出以下判断:关于位置信息的校正反馈被正确地反映并且在行为内容中没有错误。因此,反馈调节单元332判断校正反馈的反映处理完成并且终止图41的处理。

另一方面,如果在步骤S335中确定使用新位置信息分析的动作内容不匹配正确的行为,则可以做出以下判断:单独使用位置信息的校正,校正反馈没有被正确地确定。在该情况下,执行步骤S336至S341中的处理以将校正反馈的动作内容反映在动作行为估计信息中。步骤S336至S341中的处理可以与图38中的处理同样地进行。

即,反馈调节单元322首先从存储在分析参数数据库333中的动作行为估计信息获取用于对要被校正的行为段的动作内容进行识别的概率分布(局部概率分布)(S336)。接着,反馈调节单元332针对局部概率分布计算通过将每个概率分布的最大概率乘以行的加权因子而获得的值M(i),并且对这些概率分布进行排序(S337)。

表示经排序的概率分布的次序的参数被设置为i(i=0至n)并且构成局部概率分布的概率分布的数量被设置为n。然后,反馈调节单元332确定该参数i是否小于n以及乘积值M(i)是否大于预定阈值th(S338)。如果步骤S338中的条件不被满足,则图41所示的处理被终止。另一方面,步骤S338中的条件如果被满足,则反馈调节单元332使用具有来自动作行为估计信息的目标行的每个行为的概率分布的最大值的行为和从校正反馈获得的正确行为来根据损失率计算函数获取校正率C(i)(S339)。

然后,反馈调节单元332将在步骤S339中获取的校正率C(i)从概率分布最大值的行为的概率分布的值中减去,并且将校正率C(i)加至正确行为的概率分布的值中,并且在动作行为估计信息反映这些校正(S340)。然后,反馈调节单元332将参数i加1(S341)并且重复步骤S338及其以后的处理。通过执行上述处理,可以获得校正反馈被反映之后的动作行为估计信息。

顺便提及,替代步骤S336至S341中的处理,可以执行如图40所示的处理。同样在该情况下也可以获得校正反馈被反映之后的动作行为估计信息。

位置信息的校正反馈可以如在图37的左下方示出的通过改变动作行为估计信息的概率分布的加权因子来反映。替选地,所校正的属性依赖段、所指定的属性依赖段、和ID依赖段可以被设置成在每个加权因子中反映位置信息的校正反馈。例如,所指定的属性依赖段是针对位置信息“房屋”来加强,周围属性依赖段是针对位置信息“购物地点”来加强。对于例如“公司”等位置信息,可以呈现像不同办公室等多个位置信息。在该情况下,可以通过将像业务内容和规模等不同之处作为相应特征赋予每段位置信息来正确地选择相同含义的位置信息。

位置信息的加权因子的增加量例如可以基于原始位置信息来确定,或针对位置信息的每种属性类型来改变。此外,位置信息所特定的概率分布可以随机生成并且被添加至动作行为估计信息。从而,可以防止过度学习。

<6.其他>

[6-1.行为模式的个人建模]

在根据本实施方式的行为日志显示系统中,通过使用附加了含义和内容的行为段来显示行为日志。通过使用这些行为段执行例如自动相关处理或过滤处理,可以消减时间或行为错误。然后,可以从小量数据中提取用户的典型行为模式。

如图42所示,作为提取用户的典型行为模式的功能单元,典型行为模式生成单元336被设置在分析服务器300中。为了提取典型行为模式,由生活行为识别单元321从行为日志服务器200中所获取的预定时段(例如,一天)的行为日志首先被平滑,然后输出至典型行为模式生成单元336。典型行为模式生成单元336对所平滑的行为日志的行为段使用统计技术例如互相关处理来生成典型的行为模式。

在图42的示例中,典型行为模式生成单元336基于7天的行为日志和这些行为日志的行为段的相关性来获取用户的典型行为模式作为分析结果。因此,通过分析附加了由含义和内容表示的并且表明行为段之间的关系的层次信息的行为段,甚至可以根据少量数据来生成用户的可能典型行为模式。

[6-2.通过移动媒体/工具确定的位置显示技术]

如果当生成行为段时行为被识别为移动行为,则生活行为识别单元321基于用户使用哪种交通媒介来移动或用户使用哪种交通工具来移动来对用户的位置信息进行标识(图43)。更具体地,当移动行为根据动作行为数据被识别时,生活行为识别单元321分析如何显示其位置信息。在该情况下,生活行为识别单元321首先根据易于使用的地界标、最近位置信息和与其相关的信息来获取最近站候选。最近站候选可以通过使用线路名称、站名、到站点的距离等来标识。交通媒介或交通工具、时间差、与最近纬度/经度的距离等被获取作为位置信息以及与其有关的信息。

生活行为识别单元321使用上述信息将权重赋予线路和站以表示最近的站。例如通过增加具有减小的距离的最近站候选的权重或将权重优选地赋予在行为日志中连续获取的线路和站,可以将权重赋予线路和站。替选地,考虑可以从直至最近时间的信息获取的距离差或时间差来分配权重。从而,如果根据直至最近时间的信息识别到相距预定距离或过去预定时间的事实,则可以考虑转火车至另一条线路的可能性。

(6-2-1.线路估计处理)

例如可以根据从行为日志识别的经过站的数量来确定线路的估计。此外,可以通过考虑在在根据位置信息识别的站转火车的概率或考虑多个线路之间的直达服务是否可用来估计用户的移动轨迹。在如果多个线路在相同站之间运行,可以通过根据用户的过去移动轨迹来估计更有可能的线路或通过从位置信息获取传感器获取更详细的位置信息来识别使用哪一个线路。

作为执行上述线路估计处理的结果,例如如图44所示,用户的移动例如可以显示在地图上。顺便提及,仅当预定值或大于预定值的线路估计处理精度被确保时才在地图显示该线路。

(6-2-2.站名选择过程)

站名是如上所述通过识别最近站来选择的。在该情况下,即使用户实际上没有移动,也可能由于传感器的无线电场强的错误而错误地识别到纬度/经度的变化。因此,例如如图45所示,表达可以根据最近站的站名的位置精度来变化。例如,如果大崎站被识别为最近站,则像“在大崎站工作”、“在大崎站附近工作”或“在大崎工作”等表达基于最近站的位置与位置信息之间的距离差而改变。从而,完成工作的地点可以被更加恰当地表达。

如果交通媒介/工具不是例如乘火车移动,则可以优先采用作为地界标的所识别的最近站来通过站名表示动作的地点(不包括“站”)。例如,假设乘汽车移动被识别为分析行为日志的结果,并且“东小金井站”和“新小金井站”被标识为地界标。在该情况下,通过汽车在上述站之间的移动是不自然的,因此,行为内容可以自然地通过将开始地点和目的地表示为“东小金井站”和“新小金井站”来表达。

<7.示例性硬件配置>

根据该实施方式的行为记录装置100的处理可以通过硬件或软件中任意一种来执行。在该情况下,行为记录装置100可以按照图46所示来配置。下文中,将参考图46来描述本实施方式的行为记录装置100的示例性硬件配置。

根据本实施方式的行为记录装置100可以如上所述通过计算机等处理设备来实施。如图46所示,行为记录装置100包括CPU(中央处理器)101、ROM(只读存储器)102、RAM(随机存取存储器)103和主机总线104a。此外,行为记录装置100还包括桥104、外部总线104b、接口105、输入装置106、输出装置107、存储装置(HDD)108、驱动器109、连接端口111和通信装置113。

CPU 101用作算法处理单元和控制单元,并且使用行为记录装置100根据各种程序来控制整个操作。CPU 101还可以包括微处理器。ROM 102存储CPU 101所使用的程序、操作参数等。RAM 103临时存储用于CPU101的执行的程序、在执行期间恰当地变化的参数等。这些单元通过包括CPU总线等的主机总线104a来互相连接。

主机总线104a通过桥104连接至如PCI(周边组件互连/接口)等外部总线104b。注意,主机总线104a、桥104和外部总线104b没有必要单独地设置,并且这样的组件的功能可以被结合至单一总线。

输入装置106包括用于用户输入信息的输入装置,如鼠标、键盘、触摸面板、按钮、扩音器、开关或杆;基于用户输入生成输入信号并且将信号输出至CPU 101的输入控制电路等。输出装置107包括显示装置例如液晶显示器(LCD)、OLED(有机发光二极管)器件或灯;和音频输出装置如扬声器。

存储装置108是用于存储数据的装置,其被构造成行为记录装置100的存储单元的示例。存储装置108可以包括存储介质、将数据记录在存储介质上的记录装置、从存储介质中读取数据的读取装置、删除记录在存储介质上的数据的删除装置等。存储装置108例如包括HDD(硬盘驱动器)。存储装置108存储用于驱动硬盘并且由CPU 101执行的程序和各种数据。

驱动器109是存储介质的读取器/写入器,并且被结合在行为记录装置100内或外接至行为记录装置100。驱动器109读取记录在所安装的移动存储介质如磁盘、光盘、磁光盘或半导体存储器上的信息,并且输出信息至RAM 103。

连接端口111是用于与外装置连接的接口,并且例如是用于与可以通过USB(统一串行总线)传输数据的的外部装置的连接端口。通信装置113例如是包括用于与通信网络10连接的通信装置等的通信接口。通信装置113可以是支持无线LAN(局域网)的通信装置、支持无线USB的通信装置或执行无线通信的无线通信装置中的任意一种。

在前述内容中,参考附图详细描述了本公开内容的优选实施方式,但是本公开内容的技术范围不限于上述示例。本领域技术人员可以在所权利要求范围内找到各种替代和修改,并且应该理解,在本公开内容的技术范围下它们会自然地出现。

在上述实施方式中,例如,行为表示生成单元320和数据管理单元330被设置在分析服务器300中,并且行为表示生成单元140被设置在行为记录装置100中,但是本公开内容不限于这样的示例。例如,这些功能单元可以全部设置在分析服务器300中或行为记录装置100中。

此外,本技术还可以被配置如下。

(1)一种信息处理装置,包括:

行为识别单元,其基于传感器信息对用户的动作行为进行识别;以及

行为表示生成单元,其对表明由所述行为识别单元识别的用户的动作行为的动作行为数据进行分析,以根据所述动作行为数据来生成由动作行为的含义和内容表示的行为段。

(2)根据(1)所述的信息处理装置,

其中,限定了动作行为的较高层级的含义和内容的关系的字典数据被保存,并且

其中,所述行为表示生成单元基于所述字典数据、根据按照时间顺序排列的所述动作行为数据之前和之后的关系来估计所述动作行为的含义和内容,以生成所述行为段。

(3)根据(1)或(2)所述的信息处理装置,

其中,所述行为表示生成单元根据要被分析的所述动作行为数据的时间段和时刻来估计所述动作行为的含义和内容以生成所述行为段。

(4)根据(1)或(3)中任一项所述的信息处理装置,

其中,所述行为表示生成单元根据要被分析的所述动作行为数据之前和之后的动作行为数据的位置来估计所述动作行为的含义和内容以生成所述行为段。

(5)根据(1)或(4)中任一项所述的信息处理装置,

其中,表明关于所述含义和内容的层次关系的层次信息被附加至所述行为段。

(6)根据(5)所述的信息处理装置,

其中,所述行为表示生成单元基于决定所述行为段的分段粗糙度的分段粒度和所述层次信息来显示所述行为段。

(7)根据(6)所述的信息处理装置,

其中,所述行为表示生成单元基于所述分段粒度的大小来组合或划分所述行为段,并且显示所组合或划分的行为段。

(8)根据(1)至(7)中任一项所述的信息处理装置,进一步包括:

典型行为模式生成单元,其基于所述行为段之间的相关性从包括预定单位的行为段的多个行为段分组中提取一个行为模式。

(9)根据(1)或(8)中任一项所述的信息处理装置,

其中,所述行为表示生成单元通过按照时间顺序排列所述行为段来在显示单元中显示至少用所述动作行为的开始时间、结束时间、位置信息和动作内容表示的所述行为段。

(10)根据(1)至(9)中任一项所述的信息处理装置,进一步包括:

反馈调节单元,其基于所述用户对由所述行为表示生成单元生成的所述行为段的校正反馈来对决定动作行为的动作行为估计信息进行校正,

其中,所述行为表示生成单元基于所述动作行为估计信息、根据所述动作行为数据生成组成行为日志的行为段,以及

其中,所述反馈调节单元基于所述校正反馈来对所述动作行为估计信息进行校正。

(11)一种信息处理装置,包括:

行为识别单元,其基于传感器信息对用户的动作行为进行识别;

行为表示生成单元,其基于决定动作行为的动作行为估计信息、根据表明由所述行为识别单元识别的用户的动作行为的动作行为数据来生成组成行为日志的行为段;以及

反馈调节单元,其基于所述用户对由所述行为表示生成单元生成的所述行为段的校正反馈来对所述动作行为估计信息进行校正。

(12)根据(11)所述的信息处理装置,

其中,所述动作行为估计信息包括针对多个动作行为的概率分布与取决于地点的加权因子的多种组合,并且

其中,所述反馈调节单元基于所述校正反馈针对每个动作行为来校正所述概率分布或所述加权因子。

(13)根据(12)所述的信息处理装置,

其中,当所述校正反馈与行为内容有关时,所述反馈调节单元根据所述校正反馈的内容来校正所述动作行为估计信息的概率分布。

(14)根据(11)或(12)所述的信息处理装置,

其中,当所述校正反馈与地点有关时,所述反馈调节单元根据所述校正反馈的内容来校正所述动作行为估计信息的加权因子。

(15)一种信息处理方法,包括:

基于传感器信息对用户的动作行为进行识别的步骤;以及

对表明所识别的用户的动作行为的动作行为数据进行分析,以根据所述动作行为数据来生成由动作行为的含义和内容表示的行为段的步骤。

(16)一种信息处理方法,包括:

基于传感器信息对用户的动作行为进行识别的步骤;

基于决定动作行为的动作行为估计信息、根据表明所识别的用户的动作行为的动作行为数据来生成组成行为日志的行为段的步骤;以及

基于所述用户对所述行为段的校正反馈来对所述动作行为估计信息进行校正的步骤。

参考符号列表

100 行为记录装置

110 传感器

120 行为识别单元

122 传感器控制器

124 动作行为识别单元

130 客户端接口单元

140 行为表示处理单元

142 显示处理单元

144 输入信息处理单元

150 显示单元

160 输入单元

200 行为日志服务器

210 日志服务器接口单元

220 行为日志数据库

300 分析服务器

310 分析服务器接口单元

320 行为表示生成单元

321 生活行为识别单元

322 层次结构判断单元

330 数据管理单元

331 数据获取单元

332 反馈调节单元

333 分析参数数据库

334 单位数据存储数据库

335 层次信息附加数据存储数据库

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1