生活规律测定系统和生活规律测定方法与流程

本发明涉及以人作为对象来测定生活规律的生活规律测定系统和生活规律测定方法。

背景技术：

近年来，从远距离处照看例如独居的高龄者等的生活状态的需求在不断增加。作为照看高龄者的方法，存在一种在照看对象家中安装摄像机，将拍摄图像通过因特网传送到远距离处来直接监视对象者的状态的方式(例如，参照日本特开2002-291057公报)。另外，还存在一种在照看对象者的家中安装人体感应传感器或者门开关传感器，测定对象者的屋内位置，根据位置信息间接地监视对象者的状态的方式(例如，参照日本特开2005-115412公报)。而且，设置于远距离处的管理装置为当对象者的状态发生异常时会发出警报的系统。

技术实现要素：

在如日本特开2002-291057公报那样的利用摄像机进行直接监视的方式中，将摄像机图像按原样传送，暴露了对象者的一举一动，在隐私这一方面，容易被照看对象所拒绝。

另一方面，如日本特开2005-115412公报那样的利用人体感应传感器进行间接监视的方式中，会错误地测定到对象以外的宠物等小动物，对特定的人进行监视的精度降低。另外，在根据开闭门或者电热水壶的使用状况等来判断人的行动的情况下，也只能得到在该时刻有某个人存在这样的信息，不能充分满足探究对象的生活规律的要求。

本发明的目的在于提供一种能够在保护测定对象的隐私的同时，对测定对象的生活规律进行测定的生活规律测定系统和生活规律测定方法。

本发明为一种对测定对象的生活规律进行测定的生活规律测定系统，其特征在于，包括：距离测定装置，其测定存在于特定的居住空间中的所述测定对象的三维信息；和管理装置，其每隔单位时间汇总所述距离测定装置测定出的三维信息，根据该三维信息的时间变化来推测所述测定对象的生活规律，将其存储于存储装置中，所述管理装置向测定委托者提供存储于所述存储装置中的所述测定对象的生活规律的信息。

另外，本发明为一种对测定对象的生活规律进行测定的生活规律测定方法，其特征在于，包括：测定存在于特定的居住空间中的所述测定对象的三维信息的步骤：每隔单位时间汇总测定出的三维信息，根据该三维信息的时间变化来推测所述测定对象的生活规律，按时间顺序将其存储的步骤；和向测定委托者提供存储了的所述测定对象的生活规律的信息的步骤。

根据本发明，能够提供在保护测定对象的隐私的同时，对测定对象的生活规律进行测定的生活规律测定系统和生活规律测定方法。

附图说明

图1是表示生活规律测定系统的整体结构的框图。

图2是表示tof传感器的结构的图。

图3a是表示tof装置的前处理的流程图。

图3b是表示状态的判断处理的流程图。

图3c是表示人的识别处理的流程图。

图3d是表示生活规律测定处理的流程图。

图4a是表示对以小时为单位的数据进行的编辑处理的流程图。

图4b是表示对以天为单位的数据进行的编辑处理的流程图。

图4c是表示就寝/起床时刻的计算处理的流程图。

图4d是表示回家时刻的计算处理的流程图。

图5a是表示对测定对象在当前房间的状态进行显示的画面的一个例子的图。

图5b是表示对测定对象的每一小时的生活规律进行显示的画面的一个例子的图。

图5c是表示对测定对象的每一天的生活规律进行显示的画面的一个例子的图。

图5d是表示对测定对象的每一周的生活规律进行显示的画面的一个例子的图。

图5e是表示对测定对象的每一个月的生活规律进行显示的画面的一个例子的图。

图6a是表示未起床短信的书写例子的图。

图6b是表示未回家短信的书写例子的图。

具体实施方式

根据以下结合附图的说明，能够明确出本发明的特征、目的和效果。

以下，使用附图来说明本发明的实施方式。图1是表示生活规律测定系统的整体结构的框图。生活规律测定系统包括：对例如独居的高龄者等的测定对象3(照看对象)的生活状态进行测定的距离测定装置1；和分析测定数据，推测测定对象3的生活规律的管理装置2。管理装置2向测定委托者4(照看者)提供测定对象3的生活规律的信息，当在测定对象3的生活状态中检测出异常时，发出警报。由此，测定委托者4能够确认测定对象3的生活规律，根据需要采取适当的帮助措施。此外，测定委托者4不限于委托进行照看的人，也可以为装置(系统)，下面，将装置包含在内一同称为“测定委托者”。

距离测定装置1(以下，也称为tof装置)包括根据光的飞行时间来测定至作为测定对象的人的距离的tof(timeofflight：飞行时间)传感器10。tof传感器10射出激光，计算遇到物体而反射后的光的到达时间，求取至物体的距离。测定区域被划分为格子状，通过对各格子点求取距离，能够得到位于该区域中的物体的位置或者高度、宽度、纵深等的三维距离数据(三维点群图像)。通过对人进行上述操作，能够获得人在居室内的位置信息。测定控制部11控制tof传感器10的测定时刻和测定范围。生活规律数据转换部12分析三维距离数据(三维点群图像)，识别人物是否为测定对象3(下面称为对象)，获取对象在居室内的位置、姿势(站姿、坐姿、卧姿)、移动量、在/不在等信息。由于这些信息是之后用于测定对象的生活规律的基本数据，因此称之为“生活规律测定数据”。数据发送部13定期地(例如每一分钟)向管理装置2发送生活规律测定数据15。

管理装置2通过数据接收部21接收从距离测定装置1发送出的生活规律测定数据15，测定数据记录部22将这些数据记录在存储装置23中，生活规律测定数据15是按时间顺序来存储的。生活规律分析部24按单位时间(分、小时、日、周、月、年等)汇总生活规律测定数据15，并推测对象的就寝时间和外出时间等，记录在存储装置23中。生活规律提供部25根据测定委托者4的要求，通过web浏览等来提供对象的生活规律的信息。起床/回家判断部26在对于对象的起床时刻或回家时刻检测出异常时，或者跌倒判断部27判断为对象跌倒时，通过短信发送部28向测定委托者4发送短信以通知异常。

此外，在生活规律测定系统中，管理装置2有如下方式：对从多个距离测定装置1分别接收生活规律测定数据15并统一进行管理的方式(接收中心(hub)方式)；和与一个距离测定装置1连接来专用地进行管理的方式。在后者的情况下，管理装置2可以设置在距离测定装置1的附近，或者形成为一体型的装置。另外，管理装置2内的存储装置23可以作为管理装置2的外部装置而构成。

关于距离测定装置1和管理装置2中的上述各种处理动作，将它们各自的执行程序在未图示的存储器中打开，通过cpu执行来实现。首先，从距离测定装置(tof装置)1的动作开始进行详细的说明。

图2是表示tof装置1内的tof传感器10的结构的图。tof传感器10为了测定距离，设置有：照射红外线脉冲光的激光二极管(ld)或发光二极管(led)等的发光部101；和接收从拍摄对象反射后的脉冲光的ccd传感器或cmos传感器等感光部102。距离计算部103驱动发光部101，并根据感光部102的测定信号来计算至拍摄对象的距离。通过在感光部102对拍摄对象的二维图像进行拍摄，距离计算部103输出拍摄对象的二维图像的距离数据，即三维的距离数据。

当对人物进行距离测定时，用背景图像获取部104来获取拍摄对象之中不存在测定对象3的背景图像，保存在背景图像存储部105中。通过差分器106，从包含人物的拍摄对象图像中去除背景图像，生成提取了人物的三维距离数据(三维点群图像)107。

测定控制部11控制tof传感器10，使其按例如每秒来获取居室内的测定对象3的三维距离数据。生活规律数据转换部12将该数据转换为例如每一分钟内的站姿时间、坐姿时间、卧姿时间、不在时间、移动距离(在1秒内移动的水平方向的距离的总和)，与最新的对象的位置、高度、姿势的信息一同生成生活规律测定数据。另外，当测定到对象以外的人物(例如到访者)时，可以将一分钟内所在的到访者的人数和位置包含于生活规律测定数据中。

在本例中，测定空间设为作为测定对象3的主要活动场所的起居室。因此，当处于卧室或者卫生间时，判断为不在。此外，在起居室以外的卧室、厨房、浴室、卫生间等设置tof装置1(或者tof传感器10)，并将它们的测定数据组合，则能够更详细且精度更高地推测对象的生活规律。

将由tof装置1测定到的每一分钟的生活规律测定数据15从数据发送部13向管理装置2发送。之后，tof装置1将测定数据重置以进行下一分钟的测定。

图3a～图3d是说明tof装置1中的各种动作流程的图。图3a是表示tof装置1的前处理(s300)的流程图。该处理由测定控制部11执行。首先，利用tof传感器10获取不存在人的房间的三维距离数据(三维点群图像)，将该三维距离数据作为背景图像存储在背景图像存储部105中(s301)。获取的数据为以房间的横宽(x轴)和纵深(y轴)为指引(index)的二维数组，数组的各元素为该位置(x、y)上的物体的高度(z轴)。接着，输入测定对象3的身高(h)(s302)。例如，将进入tof传感器10的测定范围内的物体的最初期间(10帧)中的最高点设为身高(h)的值。

图3b是表示tof装置1的状态的判断处理(s310)的流程图。该处理根据三维距离数据(三维点群图像)对测定对象3的当前的状态(站姿、坐姿、卧姿、在/不在)进行判断，由生活规律数据转换部12执行。首先，判断在图像中是否存在能够识别为人的轮廓(s311)，若没有轮廓则将状态设为“不在”(s312)。此外，后面对人的识别处理进行说明(图3c)。如果人存在，并且其高度(z)为对象的身高(h)的90％(一个例子)以上，则将状态设为“站姿”(站立的状态)(s314)。如果人的高度(z)为40cm(一个例子)以下，则将状态设为“卧姿”(横躺的状态)(s316)。如果人的高度(z)在上述范围的中间，则将状态设为“坐姿”(坐着的状态)(s317)。由此，能够判断对象的当前的状态(姿势、在/不在)。

图3c是表示人的识别处理(s320)的流程图，表示图3b中的人的识别处理(s311)的详细内容。tof传感器10对当前的三维点群图像进行读取(s321)。差分器106计算当前的三维点群图像与存储于差分图像存储部105中的背景图像的高度方向(z轴)的差，生成人物识别用图像(s322)。在人物识别用图像中，将高度超过测定误差α(x、y)的点群视为人的轮廓(s323)。但是，不具有一定面积的轮廓不被视为人。于是，将轮廓中最高的值设为人的高度(z)，将其水平位置设为人的水平位置(x、y)(s324)。此人的高度(z)和水平位置(x、y)用于生成生活规律测定数据。

图3d是表示tof装置1的生活规律测定处理(s330)的流程图。在该处理中，利用生活规律数据转换部12，基于在图3b中得到的对象的状态判断(姿势、在/不在)和位置信息的结果，转换为每一分钟的站姿时间、坐姿时间、卧姿时间、不在时间、移动距离，生成生活规律测定数据15。于是，利用数据发送部13将生活规律测定数据15发送到管理装置2。

tof传感器10按每一秒获取对象的三维信息(状态和位置信息)，并将其转换为一分钟的数据，使用计数器进行累计。因此，对状态计数器和移动量计数器进行初期化(s331)，每隔一秒读取三维点群图像，进行图3b(s310)中所述的对象的状态判断(s332)。然后在与判断出的状态对应的计数器中加“1”(s333)。例如，使用站姿(standing)、坐姿(sitting)、卧姿(lying)、不在(noexist)、移动量(activity)的各计数器，当判断为坐姿时，进行“sitting++”。接着，根据前次的坐标(x0、y0)和本次的坐标(x1、y1)计算移动距离，并加在移动量计数器中(s334)。即，设为“activity+”＝squareroot((x1-x0)**2+(y1-y0)**2))。

直到经过60秒，反复进行上述s332～s334(s335)。如果经过了60秒，则根据对象的当前状态和计数值，生成生活规律测定数据(s336)，并将其从数据发送部13发送到管理装置2(s337)。返回s331，生成下一分钟的生活规律测定数据。以下，示出了发送数据的例子(json形式)。

{"deviceid":"tokkyo1","time":"2017-07-05t12:45:00+09:00","state":"standing","x":2610,"y":1325,"z":1237,"noexistcount":5,"standingcount":32,"sittingcount":15,"lyingcount":8,"actibity":2969}。

在本实施例中，由tof装置1取得的信息仅限于测定对象的三维位置的信息，因此不会侵犯到隐私。而且，利用取得的三维位置的信息能够判断物体的高度或者尺寸，因此不会将小动物错误地识别为人。另一方面，根据由tof装置1取得的信息，可知对象的姿势，即站立与否、坐着与否、横躺与否或者在与不在，通过将这些信息按时间顺序进行分析，能够推测测定对象的活动状态、休息状态或者不在状态等的生活规律。

下面，对管理装置2这一方的动作进行详细说明。数据接收部21接收从tof装置1每隔一分钟发送的生活规律测定数据15，测定数据记录部22将json形式的接收数据按项目不同进行解串(deserialize)，将解串后的以分钟为单位数据按项目记录在存储装置23中。

下面，使用图4a～图4d，说明生活规律分析部24的各种分析动作流程。生活规律分析部24汇总存储于存储装置23中的数据，对其进行分析以推测测定对象3的生活规律。

图4a是表示将以分钟为单位的数据编辑为以小时为单位的数据的编辑处理(s400)的流程图。在该处理中，将存储于存储装置23中的、以分钟为单位的数据编辑为与一个小时对应的、以小时为单位的数据，再次记录在存储装置中。

从存储装置23中读取前一个小时中从0分至59分的、以分钟为单位数据的站姿时间、坐姿时间、卧姿时间和移动距离，计算各自的总和，计算每一小时中的站姿时间、坐姿时间、卧姿时间和移动距离(s401)。此时，对站姿、坐姿、卧姿的时间进行单纯的加法计算。另外对移动距离也进行单纯的加法计算。

关于不在时间，按照不在时间的持续时间的长度，例如分类为不足10分钟、10分钟～20分钟、20分钟～30分钟、30分钟～1小时、1小时～2小时和2小时以上的不在时间。然后，对各持续时间，计算每一小时的总和(s402)。因此，使用计数器，用于将不在时间的长度按各持续时间进行分类合计。将上述的编辑结果作为以小时为单位的数据再次记录在存储装置中(s403)。

图4b是表示将以小时为单位的数据编辑为以天为单位的数据的编辑处理(s410)的流程图。在该处理中，将存储于存储装置23中的、以小时为单位的数据编辑为一天的以天为单位的数据，再次记录在存储装置中。而且，还进行根据以分钟为单位的不在时间的数据来求取一天的就寝时刻、起床时刻、回家时刻的处理。

从存储装置读出前一天的从0点至23点的、以小时为单位的数据中的站姿时间、坐姿时间、卧姿时间、不在时间(持续时间不足1小时)和移动距离，计算各自的总和，并设为每一天的站姿时间、坐姿时间、卧姿时间、不在时间(持续时间不足1小时)和移动距离(s411)。对站姿、坐姿、卧姿的时间和移动距离进行单纯的加法计算。

接着，根据以分钟为单位的数据(不在时间的数据)，进行对象的就寝时刻、起床时刻、回家时刻(s412)的推测。对该处理，使用图4c、4d进行说明。将就寝时刻至起床时刻之间的不在时间(持续时间为1小时以上)的总和设为一天的就寝时间(s413)。将起床时刻以后的不在时间(持续时间为1小时以上)合计，设为一日的不在时间(持续时间为1小时以上)(s414)。将上述的编辑结果(包括就寝时刻、起床时刻、回家时刻)作为以天为单位的数据记录在存储装置23中(s415)。

从存储装置23中读取过去(例如2周)的起床时刻和回家时刻(s416)。将2周的起床时刻的平均值与标准差σ的倍数(2σ)相加，作为起床检查时刻，对定时器(timer)进行设定(s417)。同样地，将2周的回家时刻的平均值与其标准差σ的倍数(2σ)相加，作为回家确认时刻，对定时器进行设定(s418)。此外，在起床检查时刻为8:00以前的情况下，将起床检查时刻设为8:00。另外，在回家检查时刻为18:00以前的情况下，将回家检查时刻设为18:00。当在定时器中设定的起床检查时刻和回家检查时刻到来时，通过起床/回家判断部26执行起床/回家检查。

图4c是表示就寝/起床时刻的计算处理(s420)的流程图，表示图4b的处理(s412)的详细内容。首先，在从前一天傍晚(18：00)至当天正午(12：00)的、以分钟为单位的数据中，按时间顺序提取不在时间为1分钟的数据(s421)。然后，计算不在时间为连续2小时以上的时间段，作为就寝时间记录在就寝表中(s422)。此时，在时间段中即使存在1小时中5分钟以内(一个例子)在屋内的情况(半夜去卫生间等)，也忽略这样的情况，视为连续的不在时间。若就寝时间(2小时以上的不在时间)存在多个，则按照长度顺序将就寝时间排列在就寝表中(s423)。根据就寝时间最长的时间段，确定本日的就寝时刻和起床时刻(s424)。此外，在s422中，对于不存在连续2小时以上的不在时间的情况，视为未就寝，将就寝时刻和起床时刻设为未定。

图4d是表示回家时刻的计算处理(s430)的流程图，表示图4b的处理(s412)的详细内容。首先，从起床时刻(在s424中确定的)至日终(23:59)的、以分钟为单位的数据中，按时间顺序提取不在时间为1分钟的数据(s431)。然后，求取不在时间为连续1小时以上的时间段，作为外出时间记录在外出表中(s432)。根据外出表求取外出开始时刻在傍晚(18：00)之前且外出开始时刻最晚的外出时间段(s433)。将求取的外出时间段的结束时刻规定为回家时刻(s434)。此外，在s432中，对于不存在连续1小时以上的不在时间的情况，视为未外出，将回家时刻设为未定。另外，检索至24:00为止，对于不在屋内的情况，也将回家时刻设为未定。

接着，说明生活规律提供部25提供测定对象3的生活规律信息的情况。管理装置2通过因特网接收来自测定委托者4的呼叫(登录)，参照存储装置23，向测定委托者4提供对象3的生活规律信息。在图5a～图5e表示此时提供的web画面的例子，不过测定委托者4也可以通过浏览web画面来了解测定对象3的生活规律。

图5a是对测定对象3的当前的房间的状态进行显示的画面的一个例子。生活规律提供部25从存储装置23中读取最新的以分钟为单位的数据，在web画面中显示对象存在的房间的位置和对象的姿势(此例子中为“坐姿”)。将不在的情况表示为“不在”。另外，若除对象之外的到访者存在，一同进行显示。由此，能够确认对象的当前的状态。

图5b是对测定对象3的每一小时的生活规律进行显示的画面的一个例子。读取测定委托者4指定的1小时内的以分钟为单位的数据，在web画面上将站姿/坐姿/卧姿/不在的累计时间按5分钟的分度以100％堆积柱形图进行表示。另外，用柱形图表示对象的移动距离。由此，能够确认对象的每一小时的活动。

图5c是对测定对象3的每一天的生活规律进行显示的画面的一个例子。读取指定的一天内的以小时为单位的数据，在web画面上将站姿/坐姿/卧姿/不在的累计时间按2小时的分度以100％堆积柱形图进行表示。根据连续的长度，将不在时间分类表示为不足10分钟、不足20分钟、不足30分钟、不足1小时、不足2小时、2小时以上。另外，用柱形图表示对象的移动距离。由此，能够确认对象的每一天的活动。即，能够推测对象何时起床、何时外出、何时回家、何时就寝和当日的活动量(移动量)。

图5d是对测定对象3的每一周的生活规律进行显示的画面的一个例子。读取指定周中的以天为单位的数据，在web画面上将站姿/坐姿/卧姿/不在的累计时间按1天的分度以100％堆积柱形图进行表示。根据连续的长度，将不在时间分类表示为不足10分钟、不足20分钟、不足30分钟、不足1小时、不足2小时、2小时以上和就寝时间。另外，用柱形图表示对象的移动距离。由此，对于对象每一周的活动，能够确认哪天活动、哪天休息。

图5e是对测定对象3的每一个月的生活规律进行显示的画面的一个例子。读取指定月的以天为单位的数据，以半旬(5日)为单位获得平均值，在web画面上将站姿/坐姿/卧姿/不在的累计时间以100％堆积柱形图进行表示。根据连续的长度，将不在时间分类表示为不足10分钟、不足20分钟、不足30分钟、不足1小时、不足2小时、2小时以上和就寝时间。另外，用柱形图表示对象的移动距离。由此，能够确认对象的每一个月的活动。于是，将任意过去的1个月的平均值与当前的数据进行比较，能够明了睡眠时间和活动量的变化。除此以外，对于每一年的生活规律等期望的期间，能够提供相同的显示画面。

接着，在起床/回家判断部26判断对象3的最新的生活规律与过去的生活规律不同时，或者在跌倒判断部27判断对象跌倒时，短信发送部28向测定委托者4发送警报。

首先，说明由起床/回家判断部26进行的测定对象3的起床检查和回家检查处理。根据图4b的处理(s417和s418)，在定时器中设定起床检查时刻和回家检查时刻。若到了设定的时刻，则起床/回家判断部26进行下一处理。

在起床检查中，读取最新5分钟的以分钟为单位的数据，若对象在屋内存在1秒以上，则判断为起床完毕。或者，读取最新1小时的以分钟为单位的数据，若对象在屋内存在5分钟以上，则判断为起床结束。当不能确认任何在屋内的情况时，通过短信发送部28向测定委托者4发送“未起床短信”。图6a是表示未起床短信的书写例子的图。

在回家检查中，读取最新1小时的以分钟为单位的数据，若对象在屋内存在1秒以上，则判断为回家完毕。当不能够确认对象在屋内时，通过短信发送部28向测定委托者4发送“未回家短信”。图6b是表示未回家短信的书写例子的图。

另外，跌倒判断部27进行测定对象3的跌倒检查处理。关于跌倒检查，根据tof装置1每隔1分钟发送的生活规律测定数据15，进行对象的姿势和位置的监视，根据对象在通常不会横躺的位置横躺的情况来测定异常。即，当接收的生活规律测定数据表示姿势＝卧姿，对象的位置(x、y)为过去未存在卧姿的位置时，判断为有对象跌倒的危险性，启动跌倒时间计数器。然后，利用跌倒时间计数器测定表示以相同姿势在相同位置的测定数据所持续的时间，在持续时间为经过例如5分钟的时刻，判断为“跌倒”。然后，通过短信发送部28向测定委托者4发送通知跌倒的短信文本。对此情况的短信内容进行了省略，不过其与图6a、6b为相同的格式。

在本实施例中，测定到异常时以发送短信的方式对测定委托者4进行通知，不过也可以利用电话线路等其他通信方式进行通知。

上面，对本实施例的生活规律测定系统的结构和动作进行了说明，其与现有的照看系统相比较，有如下的优点。(1)能够根据不在信息推测不在的理由。若将tof传感器安装在起居室等，则能够测定不在起居室的时间。由于将该不在的时间的长度分类为多组(不足10分钟、不足20分钟、不足30分钟、不足1小时、不足2小时、2小时以上)，因此测定委托者4或者其相关人士能够推测对象在卫生间或者厨房与否、在附近与否，外出与否。另外，由于通过24小时对不在时间进行着测定，因此能够推测就寝时刻和起床时刻。

(2)能够对测定对象的活动量进行测定。通过跟踪对象的三维距离信息(位置信息)，能够测定对象在居室内的移动量。通过计算单位时间的移动量，能够推测活动的时间段和休息的时间段。

(3)能够快速进行异常检测。对于对象所关心事情为早上什么时间起床，傍晚什么时候回家，是否由于生病或者受伤而晕倒。关于现有的门传感器或者电热水壶传感器，根据通常的使用方法，在明显的反常状态持续时，才判断为异常。因此，直到检测到异常时，距发生异常起需要数小时。对此，在本实施例中，由于能够根据tof传感器的数据来了解对象的当前的生活状态，因此能够在比过去通常的行动模式(起床时刻，回家时刻)延迟规定量时，判断为异常。因此，能够在与同居者感到异常所需的时间相同程度的时间内，检测到异常。另外，关于跌倒检测，能够根据对象在与通常不同的位置横躺的情况，来检测异常。

(4)测定对象无需安装测定器。作为用于对对象的正确的身体信息进行测定的器具，例如为可穿戴式活动量计。然而此器具必须经常佩戴在对象身上，因此不适合高龄者。与之相反，tof传感器无需佩戴在身，因此高龄者会不抗拒地接。

本发明不限于上述的实施例，可以包含各种变形例。上述的实施例是为了便于理解本发明而详细地进行说明的内容，不必限于包括说明的所有结构。另外，实施例中公开的时间宽度等的数值为一个例子，能够设定为根据使用环境的不同而进行适当变更，这是不言自明的。