床区域提取方法和床区域提取装置的制造方法

床区域提取方法和床区域提取装置的制造方法
【技术领域】
[0001]本文所讨论的实施方式涉及床区域提取方法、床区域提取装置以及记录介质。
【背景技术】
[0002]以往，已知以下系统，该系统在医院、护理机构等中使用成像装置来监测躺在床上的病人或护理接收者(以下，统称为“监护目标人”)的身体运动。此外，已知以下装置，该装置在使用这样的系统监测监护目标人时基于捕获的图像来提取床区域。
[0003]然而，在医院或护理机构中，床的安装位置并非总是固定的。也就是说，床可以移动。由此，不能够唯一地确定床和成像装置之间的位置关系。因此，期望基于所捕获的图像来提取床区域，而不管床和成像装置之间的位置关系如何。
[0004]为了实现提取，例如，存在有:(a)通过基于床的形状使用模式匹配来提取床区域的已知方法，以及(b)基于通过将图像区域的线段分类成上端线段、下端线段、左侧线段和右侧线段，并且对相应线段取平均来提取床区域的另一已知方法。
[0005]参照日本特开专利公开第2011-103037号和第2005-327244号。
[0006]参照Panachit Kittipanya_Ngam、Ong Soh Guat、Eng How Lung，“Bed Detect1nFor Monitoring System In Hospital Wards，，，34th Annual Internat1nal Conference ofthe IEEE EMBS，美国加利福尼亚州圣迭戈，2012年8月28日至2012年9月I日，第5887至第5890页。

【发明内容】

[0007]解决问题的手段
[0008]根据本申请的一方面，一种通过计算机执行的用于提取床的床区域的方法包括:检测在多个图像中保持静止的线型边缘；以及基于作为所检测的线型边缘的组合形成的U形中线型边缘的长度和彼此交叉的线型边缘之间的角度，选择床区域候选。
【附图说明】
[0009]图1示出了成像装置的示例布局；
[0010]图2示出了包括在成像装置的成像区域中的床等的示例布局；
[0011]图3示出了床区域提取系统的示例系统配置；
[0012]图4示出了床区域提取装置的示例硬件配置；
[0013]图5是示出了床区域提取处理的基本原理的第一图示；
[0014]图6示出了过滤条件信息的示例；
[0015]图7示出了床区域候选信息的示例；
[0016]图8是示出了床区域提取器的示例功能配置的第一图示；
[0017]图9是床区域提取处理的示例的第一流程图；
[0018]图10是示例动态/静态区域确定处理的流程图；
[0019]图11是不例第一层级处理的流程图；
[0020]图12是用于生成两边候选的生成处理的示例的流程图；
[0021]图13是不例第二层级处理的流程图；
[0022]图14示出了水平部分和垂直部分；
[0023]图15是用于生成三边候选的生成处理的示例的第一流程图；
[0024]图16A和图16B示出了用于生成三边候选的两边候选的示例组合；
[0025]图16C示出了两边候选的示例组合；
[0026]图17是不例第二层级处理的流程图；
[0027]图18A至图18C示出了在三边候选附近的亮度分布的示例；
[0028]图19A和图19B示出了在三边候选附近的亮度分布的其他示例；
[0029]图20是用于生成四边候选的生成处理的示例的流程图；
[0030]图2IA和图21B示出了用于生成四边候选的三边候选的示例组合；
[0031]图21C示出了三边候选的示例组合；
[0032]图22是不例第四层级处理的流程图；
[0033]图23示出了具有不同面积和纵横比的四边候选的示例；
[0034]图24A示出了面部方向的示例；
[0035]图24B示出了要定位的监护目标人的面部的区域；
[0036]图24C和图24D示出了监护目标人的面部的示例位置；
[0037]图24E示出了面部方向和四边候选的方向之间的示例关系；
[0038]图25是示出了床区域提取处理的另一基本原理的第二图示；
[0039]图26是床区域提取处理的另一示例的第二流程图；
[0040]图27是用于生成三边候选的生成处理的另一示例的第二流程图；
[0041]图28是示出了床区域提取处理的又一基本原理的第三图示；
[0042]图29是示出了床区域提取器的另一示例功能配置的第二图示；
[0043]图30示出了床形状信息的示例；
[0044]图31是床区域提取处理的又一示例的第三流程图；
[0045]图32是用于估计四边候选的估计处理的流程图；以及
[0046]图33是床区域提取处理的又一示例的第四流程图。
【具体实施方式】
[0047]当通过使用基于床的形状使用模式匹配提取床区域的通常方法来提取床区域时，对线段进行分割并且提取与床区域不相关的大量线段，这使得计算量变得庞大。另一方面，当使用通过将图像区域的线段分类成上端线段、下端线段、左侧线段和右侧线段并且对相应线段取平均的另一通常方法时，由于使用线段的平均值而不能够精确地提取床区域。
[0048]根据本发明的实施方式，变得可以精确和高效地识别床区域。
[0049]下面，将参照附图来描述本发明的实施方式。在本文中，应注意，在说明书和附图中使用相同的附图标记来描述相同或基本相同的功能和元件，并且可能省略其重复的描述。
[0050]第一实施方式
[0051]首先，描述用于提取床区域的成像装置的布局和要提取的床区域。
[0052]在图1中，床110是指在医院、护理机构等中监护目标人躺在其上的睡眠平台。此处，床110的腿配备有相应的脚轮130。由于具有脚轮130，因此，可以容易地改变床110的安装位置。此外，脚轮130配备有相应的床状态获取传感器131，床状态获取传感器131用于检测脚轮130的锁定状态。来自床状态获取传感器131的输出用于确定床是处于可移动状态还是处于固定状态。
[0053]成像装置120是用于捕获躺在床110上的监护目标人的图像装置，成像装置120安装(安置)在床110的上方。床区域140是指基于由成像装置120捕获的图像来提取的区域。
[0054]接下来，描述包括在成像装置120的图像区域中的床110等的示例布局。图2示出了包括在成像装置120的图像区域中的床110等的示例布局。如图2所示，在成像装置120的图像区域中，还存在不同于床110的多个对象。
[0055]例如，在床110上，除监护目标人200之外，还存在例如由监护目标人200使用的枕头211、高架台212和被褥(或毯子)213。此外，在床110附近，存在例如窗帘221和椅子222。此外，在床110附近，可能存在护理者223，例如护士、护工等。
[0056]如所描述的，在存在有不同于床110的多个对象的情况下，下面描述的床区域提取系统基于捕获的图像来提取床区域140。
[0057]图3示出了床区域提取系统300的示例系统配置。如图3所示，床区域提取系统300包括:成像装置120、床状态获取传感器131以及床区域提取装置310。
[0058]上面参照图1描述了成像装置120和床状态获取传感器131，其被布置在安装有监护目标人200所躺的床110的位置处，例如病人的卧室中。另一方面，通常，床区域提取装置310安装在护理者223驻留的位置例如监测室等中。
[0059]此外，成像装置120、床状态获取传感器131和床区域提取装置310彼此经由网络连接。
[0060]床区域提取装置310包括安装在其中的床区域提取程序320。此外，床区域提取装置310包括存储在其中的过滤条件信息数据库(下文中简称为“DB”)330和床区域候选信息 DB 340。
[0061]接下来，描述床区域提取装置310的示例硬件配置。图4示出了床区域提取装置310的示例硬件配置。如图4所示，床区域提取装置310包括:中央处理单元(CPU)(处理器)401、只读存储器(ROM) 402、随机存取存储器(RAM) 403以及存储部(存储设备)404。床区域提取装置310还包括用户接口部405和通信部406。此外，床区域提取装置310的这些元件彼此经由总线407连接。
[0062]CPU 401是执行存储在存储部404中的各种程序(例如，床区域提取程序320等)的计算机。
[0063]ROM 402是非易失性存储器，并且存储用于使CPU 401执行存储在存储部404中的各种程序所需的各种程序、数据等。具体地，ROM 402存储引导程序如基本输入/输出系统(B1S)，可扩展固件接口(EFI)等。
[0064]RAM 403是主存储器(由主存储器制成)，如动态随机存取存储器(DRAM)、静态随机存取存储器(DSAM)等。RAM 403用作当由CPU401执行存储在存储部404中的各种程序时提供的工作区。
[0065]存储部404存储安装在床区域提取装置310中的各种程序和DB，在DB中记录例如当执行各种程序时要使用的数据以及当执行各种程序时生成的数据。存储部404中的DB例如包括:过滤条件信息DB 330和床区域候选信息DB 340。
[0066]用户接口部405接收与床区域提取装置310有关的各种操作。通信部406用于使得床区域提取装置310能够与成像装置120和床状态获取传感器131进行通信。
[0067]接下来，描述由床区域提取装置310执行的床区域提取处理的基本原理。图5示出了床区域提取处理的基本原理。如图5所示，床区域提取装置310通过将基于在捕获图像中检测的边缘来提取床区域的处理划分成四个层级来执行该处理。
[0068]在第一层级中，基于在捕获图像中检测的边缘来提取可以形成(限定)床区域的边(线段)。在下文中，将可以形成(限定)床区域的边(线段)称作“一边候选”。从捕获图像中提取的边缘包括各种线段。因此，在该第一层级中，通过移除不能够形成床区域的边(线段)来提取“一边候选”。
[0069]具体地，(在该第一层级中，)移除(排除)以下边缘:例如角度不在预定角度范围内的边缘，位于动态区域中的边缘，以及线性不足的边缘。此处，术语“动态区域”是指存在有以下对象的区域，该对象是成像在捕获图像中的各种对象中的一个对象并且在与预定数量的帧对应的时段期间移动。据认为，床区域提取处理在床110处于固定状态的情况下执行。因此，认为处于动态区域中的边缘不形成床区域。在这方面，“静态区域”是指捕获图像中的不同于“动态区域”的区域和在与预定数量的帧对应的时段期间未移动的对象的区域。
[0070]在预定条件下对在第一层级中提取的一边候选进行组合。通过组合，形成由两个一边候选形成的L形。下面将通过对两个一边候选进行组合形成的L形称为“两边候选”。在第二层级中输入所生成的两边候选。
[0071]在第二层级中，根据输入的两边候选来提取可以形成床区域140的两边候选。通过对一边候选进行组合来生成各种两边候选。因此，在该第二层级中，移除(排除)不可能形成床区域140的两边候选。
[0072]具体地，在输入的两边候选中，例如移除其两个边之间的角度(交叉边缘的角度)不包括在预定角度范围中的两边候选，以及包括不形成水平表面的边的两边候选。此处，“水平表面”是指与床110安装(放置)在其上地板表面平行的表面。床区域140由与地板表面平行的边形成。因此，认为包括例如形成与地板表面正交(垂直)的表面的边的两边候选是不能够形成床区域140的两边候选。
[0073]在预定条件下对在第二层级中提取的两边候选进行组合，以形成U形。下面，将通过对两个两边候选进行组合而形成的U形称作“三边候选”。在第三层级中输入所生成的三边候选。
[0074]在第三层级中，基于输入的三边候选来提取可以形成床区域140的三边候选。通过对两边候选进行组合来生成各种三边候选。因此，在该第三层级中，移除(排除)不可能构成床区域140的三边候选。
[0075]具体地，在输入的三边候选中，例如移除两个端边(形成U形的三个边中排除位于其他两个边之间的中心边之外的两个边)之间的角度(由两个端边形成的边缘的角度)不包括在预定角度范围中的三边候选，以及两个端边之间的宽度小于预定长度的三边候选。此外，当在三边候选的两个端边附近的捕获图像的亮度分布小于预定亮度分布时，也排除该三边候选。
[0076]在预定条件下对在第三层级中提取的三边候选进行组合，以形成矩形形状。下面，将通过对两个三边候选进行组合而形成的矩形形状称作“四边候选”。在第四层级中输入所生成的四边候选。
[0077]在第四层级中，基于输入的四边候选来提取可以形成床区域140的四边候选。通过对三边候选进行组合来生成各种四边候选。因此，在该第四层级中，移除(排除)不可能形成床区域140的四边候选。
[0078]具体地，在输入的四边候选中，排除例如面积不包括在预定面积范围中的四边候选，以及基于其区域基于捕获图像的监护目标人200的面部的位置与四边候选的位置之间的关系、基于面部方向的水平和垂直关系以及四边候选的水平和垂直方向不可能形成床区域140的四边候选。通过这样做，从第四层级中输出被确定为床区域140的四边候选。
[0079]如上所述，通过将基于从捕获图像检测的边缘来提取床区域140的处理划分成四个层级，