看护辅助系统及其控制方法、以及程序与流程

本发明涉及用于辅助床上的对象的看护的技术。

背景技术：

为了预先防止从床上跌落的事故等，已知有医院及看护机构等中的辅助患者的看护的系统。专利文献1中提出有一种系统，从由设置于床的斜上方的摄像机拍摄的图像中检测患者的头部，基于头部超过设定于床上的分界线而判定为起床动作。专利文献2中提出有一种系统，从摄像机影像中检测患者的移动方向，并基于患者的移动方向和过去的状态(着床状态/起床状态/离床状态/不在状态)的组合，判别患者当前的状态。

现有技术文献

专利文献

专利文献1：日本特开2012-071003号公报

专利文献2：日本特开2012-170483号公报

技术实现要素：

发明所要解决的课题

如上所述，目前进行着利用摄像机影像检测人的活动及状态并有益于看护辅助的尝试。但是，专利文献1那样通过头部位置是否超过分界线来进行起床判定的方法中，在患者保持头部正好处于分界线上那样的姿势时，可能存在头部位置频繁地穿越分界线，从而多次发出起床通知的情况。这种现象例如会在通过床的斜靠功能而将上半身设为稍微起身的姿势时等产生。若持续起床通知的误报，则使护士等遭受不必要地麻烦，并且使系统的可靠性显著降低，故不优选。

本发明是鉴于上述情况而完成的，其目的在于，提供一种技术，用于提高床上的对象的起床判定的可靠性，并抑制起床通知的误报。

用于解决课题的方案

为了达成上述目的，在本发明中采用如下方法，隔开间隔地配置就寝区域和起床区域，且在满足在就寝区域内检测到对象后，在起床区域内检测到对象的条件的情况下进行起床通知。

具体而言，本发明的第一方式提供一种看护辅助系统，辅助床上的对象的看护，其特征在于，具有：图像取得部，其取得由拍摄装置拍摄的图像；检测部，其从由所述图像取得部取得的所述图像中检测所述对象的规定部位的位置；判定部，其基于检测到的所述对象的规定部位的位置而判定所述对象是否起床；以及输出部，其在由所述判定部判定为所述对象起床的情况下进行通知，以图像内的床的区域为基准，在就寝时的规定部位的存在范围中设定就寝区域，并且在起床时的规定部位的存在范围中设定起床区域，所述就寝区域和所述起床区域隔开间隔地配置，在满足在所述就寝区域内检测到所述对象的规定部位之后，在所述起床区域内检测到所述对象的规定部位的条件的情况下，所述判定部判定为所述对象起床了。

根据该结构，由于在就寝区域与起床区域之间设置有裕量，因此，能够抑制现有系统中成为问题的、头部位置在就寝区域和起床区域频繁地来回所引起的起床通知的误报及频发。因此，能够提高起床判定的可靠性。

本发明的看护辅助系统也可以还具有：斜靠检测部，其检测所述床的斜靠角度被变更；区域设定部，其在通过所述斜靠检测部检测到斜靠角度的变更的情况下，根据变更后的床的区域相应变更所述就寝区域与所述起床区域的设定。

由此，自动检测床的斜靠角度变化，并适应性地变更就寝区域及起床区域的设定。因此，能够与床的斜靠的状态无关地进行可靠性高的起床判定，并且可抑制由于斜靠产生的起床通知的误报。

在此，所述斜靠检测部也可以在所述对象的规定部位的移动满足规定的条件的情况下，判断为变更了斜靠角度。或者，所述斜靠检测部也可以在所述床的轮廓形状变化的情况下，判断为变更了斜靠角度。

此外，本发明能够作为具有上述结构或功能的至少一部分的看护辅助系统进行掌握。另外，本发明也能够作为包含上述处理的至少一部分的看护辅助方法或看护辅助系统的控制方法、及用于使计算机执行这些方法的程序、或非临时性地记录这种程序的计算机可读取的记录介质进行掌握。所述结构及处理各自只要不产生技术上的矛盾，就能够相互组合并构成本发明。

发明效果

根据本发明，能够提高床上的对象的起床判定的可靠性，并抑制起床通知的误报。

附图说明

图1是示意性地表示第一实施方式的看护辅助系统的硬件结构及功能结构的框图；

图2是表示拍摄装置的设置例的图；

图3是判定区域的设定处理的流程图；

图4a～图4c是对图像设定的判定区域的例子；

图5是第一实施方式的起床判定处理的流程图；

图6是示意性地表示第二实施方式的看护辅助系统的硬件结构及功能结构的框图；

图7是第二实施方式的起床判定处理的流程图；

图8是第二实施方式的斜靠校正处理的流程图；

图9是第三实施方式的斜靠校正处理的流程图；

图10a是床为平坦的状态的图像的例子，图10b是升起床的靠背的状态的图像的例子。

具体实施方式

本发明涉及用于辅助床上的对象的看护的技术。该技术能够适用于医院及看护机构等中自动检测患者或被护理者等的离床/起床行动，且在产生危险的状态的情况下等进行必要的通知的系统。该系统能够优选用于例如老年人、痴呆症患者、孩子等的看护辅助。

以下，参照附图说明用于实施本发明的优选的形式的一例。但是，以下的实施方式所记载的装置的结构及动作是一例，并不意味着将本发明的范围仅限定于此。

＜第一实施方式＞

(系统结构)

参照图1和图2，说明本发明的第一实施方式的看护辅助系统的结构。图1是示意性地表示看护辅助系统1的硬件结构及功能结构的框图，图2是表示拍摄装置的设置例的图。

看护辅助系统1具有拍摄装置10和信息处理装置11作为主要的硬件结构。拍摄装置10与信息处理装置11之间通过有线或无线连接。图1中，仅表示有一个拍摄装置10，但也可以将多台拍摄装置10与信息处理装置11连接。

拍摄装置10是用于拍摄床上的对象并输入图像数据的器件。作为拍摄装置10，能够使用黑白或彩色的可见光摄像机、红外线摄像机等。本实施方式中，为了即使在夜间(即使在房间内较暗的情况下)也能够看护对象，采用由红外线led照明100和近红外线摄像机101构成的拍摄装置10。如图2所示，拍摄装置10以从床20的头侧上方朝向腿侧而俯视床20的整体的方式设置。拍摄装置10以规定的时间间隔(例如，10fps)进行拍摄，其图像数据依次输入于信息处理装置11。

信息处理装置11是具备实时分析从拍摄装置10输入的图像数据，自动检测床20上的对象21的起床动作及离床动作，并在必要的情况下进行通知的功能的装置。作为具体的功能，信息处理装置11具有：图像取得部110、检测部111、判定部112、输出部113、区域设定部114、存储部115。本实施方式的信息处理装置11由具备cpu(处理器)、内存、存储器(hdd、ssd等)、输入设备(键盘、鼠标、触摸面板等)、输出器件(显示器、扬声器等)、通信接口等的通用的计算机构成，上述的信息处理装置11的各功能通过cpu执行储存于存储器或内存的程序而实现。但是，信息处理装置11的结构不限于该例。例如，也可以利用多台计算机进行分布式计算，也可以通过云服务器执行上述功能的一部分，也可以利用asic或fpga那样的电路执行上述功能的一部分。

图像取得部110是取得由拍摄装置10拍摄的图像的功能。由图像取得部110输入的图像数据临时存储于内存或存储器，并被提供给检测部111及判定部112的处理。

检测部111是分析由图像取得部110取得的图像，并从该图像中检测看护对象21的规定部位(例如，头部、脸、上半身等)的功能。可以使用任何方法作为从图像中检测规定部位的方法。例如，能够优选采用使用了传统的haar-like特征量或hog特征量的识别器的方法及使用了近年来的fasterr-cnn的方法的物体检测算法。本实施方式的检测部111通过使用了haar-like特征量的识别器来检测对象21的头部(脖子之上的部分)22，并输出头部22的位置(x，y)及尺寸(纵横的像素数)作为检测结果。头部22的位置(x，y)例如以包围头部22的矩形框的中心点的图像坐标表示。此外，本实施方式的检测部111以图像坐标系的位置/尺寸来输出检测结果，但检测部111也可以将图像坐标系换算成空间坐标系，并输出对象21的空间坐标系中的三维位置及三维的尺寸。

判定部112是使用检测部111的检测结果来进行对象21的起床判定、离床判定等的功能。具体而言，判定部112基于头部22的检测位置而判定对象21是否起床或是否离床等。稍后详细地说明判定部112的判定算法。

输出部113是在利用判定部112检测到对象21的起床动作或离床动作的情况下，进行必要的通知的功能。输出部113能够根据对象21的动作的危险程度，切换通知的要否(例如，仅在危险的状态的情况下进行通知)、通知的内容(例如消息的内容)、通知方式(例如声音、邮件、警报、警示灯)、通知对象(例如护士、医生)、通知的频率等。

区域设定部114是用于对由拍摄装置10拍摄的图像设定判定区域的功能。看护辅助系统1以床20上的对象21的状态监视为目的，因此，基于图像内的床20的区域设定判定区域。床区域的设定也可以手动进行，也可以自动进行。在手动设定的情况下，区域设定部114也可以提供用于使用户输入图像内的床区域或判定区域本身的用户接口。在自动设定的情况下，区域设定部114也可以通过物体识别处理而从图像中检测床区域。

存储部115是存储看护辅助系统1用于进行处理的各种数据的功能。存储部115中至少设置用于存储起床判定或离床判定中使用的各种参数(阈值等)、判定区域的设定信息、过去多帧的图像数据或检测结果(用于计算移动速度或移动方向)的存储区域。

(判定区域的设定)

参照图3和图4a～图4c说明判定区域的设定处理的一例。图3是由信息处理装置11执行的判定区域的设定处理的流程图，图4a～图4c是对图像设定的判定区域的例子。判定区域的设定处理在判定区域未设定的情况(例如，看护辅助系统1的设置时等)或者随着床及拍摄装置10的移动需要更新判定区域的情况下执行。

在步骤s30中，图像取得部110从拍摄装置10取得图像(图4a)。在步骤s31中，区域设定部114使用户输入床的四角的点40～43或自动进行检测，并将由该4个点40～43包围的四边形设定成床区域44(图4b)。在步骤s32中，区域设定部114以床区域44为基准设定判定区域a1～a4(图4c)。

判定区域a1是设定于床20的头侧的区域，在就寝时(对象21在床20上睡觉时)与对象21的头部22会处于的范围对应(以下，称为就寝区域a1)。判定区域a2是设定于比就寝区域a1靠腿侧的区域，与在起床时(对象21处于上半身起身的姿势时)对象21的头部22会处于的范围对应(以下，称为起床区域a2)。在此，就寝区域a1和起床区域a2隔开规定的间隔a3地被配置。该间隔a3是为了抑制对象21的头部22位于就寝区域a1与起床区域a2之间时的误报而设置的裕量(以后，称为裕量区域a3)。在本实施方式中，预先决定各区域a1～a3相对于床区域44的相对位置/尺寸，如果确定了床区域44，则各区域a1～a3的范围通过计算来确定。区域a4是区域a1～a3以外的区域。离床时(对象21离开床的状态时)，对象21的头部22处于区域a4内(以下，称为离床区域a4)。

然后，在步骤s33中，区域设定部114将床区域44的信息(床区域44的四角的坐标等)和各区域a1～a4的信息(各区域的顶点的坐标等)储存于存储部115，并结束设定处理。

(起床判定处理)

参照图5说明第一实施方式的起床判定处理的一例。图5是利用信息处理装置11执行的第一实施方式的起床判定处理的流程图。每当从拍摄装置10输入1帧的图像的时候执行图5的处理流程。

步骤s50中，图像取得部110从拍摄装置10输入1帧的图像。所取得的图像临时存储于存储部115。接着，检测部111根据在步骤s50中取得的图像检测对象的头部(步骤s51)。检测到的头部的位置(xy坐标)的信息与该图像的时刻信息或者帧编号相对应地存储于存储部115。

判定部112判定头部的检测位置属于区域a1～a4中的哪一个，并将对象的状态进行分类(步骤s52)。在此，将在就寝区域a1内检测到头部的情况称为“就寝状态”，将在起床区域a2内检测到头部的情况称为“起床状态”，将在裕量区域a3内检测到头部的情况称为“过渡状态”，将在离床区域a4内检测到头部的情况称为“离床状态”。

接着判定部112调查起床标志是“开(on)”还是“闭(off)”(步骤s53)，在“闭”的情况下将处理进入步骤s54，在“开”的情况下将处理进入步骤s56。起床标志是用于切换起床判定功能的开/闭的标志，初始值(系统起动时)为“闭”。

在起床标志为“闭”的情况下(步骤s53；“否”)，判定部112调查在步骤s52中判定的对象的状态是否为“就寝状态”(步骤s54)，在“就寝状态”的情况下将起床标志设为“开”(步骤s55)。即，是以在就寝区域a1内检测到对象的头部为触发，而使起床判定功能成为“开”的机制。然后，进入步骤s59。

另一方面，在步骤s53的判断中起床标志为“开”的情况下，判定部112调查在步骤s52中判定的对象的状态是否为“起床状态”(步骤s56)。在不是“起床状态”的情况下(步骤s56；“否”)，即在对象的头部处于就寝区域a1内，或处于就寝区域a1与起床区域a2之间的情况下，结束起床判定，并进入步骤s59。在为“起床状态”的情况下(步骤s56；“是”)，即在对象的头部处于起床区域a2内的情况下，判断为对象进行了起床动作，并由输出部113进行起床通知(步骤s57)。如果进行了起床通知，则判定部112在将起床标志设为“关”并使起床判定功能成为“关”之后(步骤s58)，进入步骤s59。步骤s59中，判断继续还是结束看护处理，在看护继续的情况下(步骤s59；“否”)，返回步骤s50并进行下一帧的处理，在看护结束的情况下(步骤s59；“是”)，结束处理。

根据以上叙述的本实施方式，由于在就寝区域a1与起床区域a2之间设置裕量区域a3，且仅在满足在就寝区域a1内检测到对象的头部之后，在起床区域a2内检测到头部的条件的情况下进行起床通知，因此能够抑制不必要的起床通知的产生。例如，即使头部正好处于就寝区域a1的分界线上，且产生头部位置在就寝区域a1与裕量区域a3之间频繁地来回的现象，由于仅凭这样不判定为起床动作，因此，不会产生起床通知。而且，若头部位置进入起床区域a2内并进行起床通知，起床标志成为“关”，因此只要对象未再次成为就寝状态(只要头部位置不返回就寝区域a1)，起床判定功能就不会工作。因此，与现有系统相比，能够抑制起床通知的误报，并能够提高起床判定的可靠性。

＜第二实施方式＞

图6中表示本发明的第二实施方式的看护辅助系统1的结构。基本的结构与第一实施方式的结构(参照图1)相同，但在追加了斜靠检测部116这一点上不同。斜靠检测部116是检测床的斜靠角度被变更的功能。本实施方式的系统1的特征点在于，具有根据床的斜靠而变更判定区域a1～a4的设定的功能(以下称为“斜靠校正”)。

参照图7及图8说明第二实施方式的起床判定处理的一例。图7是第二实施方式的起床判定处理的流程图。与第一实施方式的起床判定处理(参照图5)的不同点在于，追加了斜靠校正处理(步骤s70)。图8中表示第二实施方式的斜靠校正处理的详细流程。

首先，斜靠检测部116从存储部115读取规定时间前(例如数帧前)的图像中的头部的位置的信息(步骤s80)。接着，斜靠检测部116基于规定时间前的头部的位置和在步骤s51中检测到的当前的头部的位置，计算头部向上方向(起来的方向)的移动速度(步骤s81)。

作为头部向上方向移动的情况，设想对象的起床动作(起来的动作)和床的斜靠角度的变更。在起床动作的情况下，头部的移动速度较快，另外，移动速度及移动方向不是固定的。另一方面，在斜靠角度的变更的情况下，头部的移动速度较慢，另外，移动速度及移动方向基本上是固定的。着眼于这一点，本实施方式的斜靠检测部116在头部的移动速度比规定的阈值小的情况下，判断为变更了斜靠角度(步骤s82；“是”)，并进入步骤s83。

在步骤s83中，区域设定部114根据角度变更后的床的区域，进行各区域a1～a4的重设。重设可以通过任意方法进行。例如，区域设定部114也以从当前的图像中检测床区域(在升起床的靠背的情况下，床的纵宽变小)，并以当前的床区域为基准设定就寝区域a1、起床区域a2、裕量区域a3的位置及尺寸。或者，区域设定部114也可以根据头部的移动量，使各区域a1～a4移动或变形。例如，也可以使就寝区域a1的上侧的分界线和起床区域a3的下侧的分界线在保持彼此的间隔的状态下，以与头部的移动量相同的量向图像的上方向平行移动。像这样进行各区域a1～a4的重设之后，进入步骤s52的处理。

根据以上叙述的本实施方式的方法，自动检测床的斜靠角度被改变，并且就寝区域a1、起床区域a2、裕量区域a3等被重设成适当的位置/尺寸。因此，能够与床的斜靠的状态无关地进行可靠性高的起床判定，并且能够抑制由于斜靠引起的起床通知的误报。

此外，在本实施方式中，在满足头部的移动速度比阈值小的条件下判断为斜靠角度的变更，但也可以通过其它的条件判定来检测斜靠。例如，也可以在头部的移动速度和/或移动方向基本上固定的情况下判断为斜靠角度的变更。

＜第三实施方式＞

在上述第二实施方式中，基于头部的移动速度或移动方向进行斜靠检测，与之相对，第三实施方式中，基于从图像检测到的床的轮廓形状而进行斜靠检测。系统的基本结构与第二实施方式的结构(参照图6)相同，但斜靠检测部116的操作不同。

参照图9、图10a、图10b说明本实施方式的斜靠校正处理。图9是第三实施方式的斜靠校正处理的详细流程，与图7的起床判定处理的步骤s70的处理相符。图10a是床处于平坦的状态的图像的例子，图10b是升起床的靠背的状态的图像的例子。

在图9的流程中，首先，斜靠检测部116从当前的图像中检测床的四角的点p1～点p4(步骤s90)。作为四角的检测方法，例如可以使用模板匹配或使用了根据床的角部分的图像而进行了学习的识别器的图像识别等各种方法。接着，斜靠检测部116从图像中检测床的侧端的轮廓(步骤s91)。例如，斜靠检测部116检测从床的腿侧的点p1、p2分别向图像的下方向延伸的线段l1、l2，并且检测从床的头侧的点p3、p4分别向图像的上方向延伸的线段l3、l4。作为线段的检测方法，例如能够使用霍夫变换等。

接着，斜靠检测部116计算线段l1与l3构成的角度以及线段l2与l4构成的角度(步骤s92)。如图10a所示，在床为平坦的状态的情况下，角度大致成为180度，如图10b所示，在升起床的靠背的情况下，角度变得比180度小。因此，在步骤s92中计算出的角度中至少一方比规定的阈值(例如170度)小的情况下，斜靠检测部116判断为变更了斜靠角度(步骤s93；“是”)，并进入步骤s94。

步骤s94中，区域设定部114根据角度变更后的床的区域进行各区域a1～a4的重设。重设的具体的方法与第二实施方式的步骤s84相同。进行各区域a1～a4的重设之后，进入步骤s52的处理。

根据以上叙述的本实施方式的方法，自动检测床的斜靠角度被改变，并且就寝区域a1、起床区域a2、裕量区域a3等被重设成适当的位置/尺寸。因此，能够与床的斜靠的状态无关地进行可靠性高的起床判定，并且能够抑制由于斜靠引起的起床通知的误报。

此外，本实施方式中，在满足斜靠角度比阈值小的条件的情况下，判断为存在斜靠角度的变更(即，斜靠角度与默认的平坦状态不同)，但也可以通过其它的条件判定来检测斜靠。例如，也可以在设定判定区域时的角度与从最新的图像中检测到的角度的差比规定的阈值大的情况下，判断为存在斜靠角度的变更。

＜其它＞

上述的各实施方式的说明只不过示例性地说明本发明。本发明不限定于上述的具体的形式，可在其技术思想的范围内进行各种变形。例如，就寝区域a1或起床区域a2的形状也可以不是矩形。另外，上述实施方式中，以头部为检测对象，但也可以将头部以外的部位(例如，脸、脸的一部分(面部器官)、上半身等)设为检测对象。

符号说明

1：看护辅助系统，10：拍摄装置，11：信息处理装置，110：图像取得部，111：检测部，112：判定部，113：输出部，114：区域设定部，115：存储部，116：斜靠检测部

100：照明，101：近红外线摄像机，20：床，21：对象，22：头部

40～43：床的四角的点，44：床区域，a1：就寝区域，a2：起床区域，a3：裕量区域，a4：离床区域。