用于人的取向和/或位置的自动检测的设备、系统和方法与流程

本发明涉及用于人的取向和/或位置的自动检测的设备、系统和方法。

背景技术：

在患者监测的领域中，运动监测可以给定关于患者的临床状况的信息。危险情况可以被传递给医务人员，诸如起床/掉床、拉医学装备(例如，气管内导管或鼻饲管)或疾病特异性运动，诸如在空中抓、谵妄、癫痫症发作等的情况下的腿的重复运动。

肌肉运动的改变是谵妄的核心特征之一。除总体活动水平中的改变之外(例如，活动减退子类型的减少的活动水平)，谵妄患者还示出异常的运动，诸如在空中抓、挖皮肤或床单和腿的不安的运动。运动分析和移动分类对于谵妄检测而言可以具有很大的重要性。

在先前的研究中，腕戴式加速度计技术被用于分析归因于谵妄的活动水平的改变。在体腕力传感器对于患者可以是干扰或甚至混淆的。更重要地，其不采集由其他身体部分所执行的运动，其也不提供诸如“挤压皮肤”、“在空中抓”的运动的高级解释的可能性。连续和自动视频监测被相信提供超过这些限制的机会。

为了识别/分类患者运动，自然和异常移动的特征从图像/视频被提取并且被馈送到分类器。通常在整个身体上全局地执行用于患者监测的特征提取。然而，移动分类受益于身体部分信息，因为特定运动常常由特定身体部分执行(例如，从左到右连续地移动头部是异常的，然而在吃饭时重复的手运动不是异常的)。因此，分类结果在特征可以根据身体部分提取时极大地改进。

在利用摄像机的患者监测利用监测生命体征的目的被执行时，胸部区域(用于监测呼吸)或脸部区域(用于监测心率)是重要的信息。

因此，对于运动分析和生命体征监测二者而言，关于感兴趣区域(roi)和关于图像中的主要身体部分的位置的信息是决定性的。这不仅适用于患者(例如，在医院中)而且适用于所有人，类似应当监测的养老院或其自己家的老人或保育箱中的孩子或新生儿。

在许多情况下，在医院中，患者的肌肉运动行为几乎仅在医务人员拜访患者时或有时通过使用检查表被观察到。过去拜访和现在拜访之间的肌肉运动行为的改变的检测常常难以由医务人员注意。该类型的检查引入关键问题的检测中的不可忽视的滞后，诸如由肌肉运动行为中的改变揭示的疾病的发作或由患者的运动诱发的危急情况。

除摄像机外的其他传感器在文献中被建议监测患者肌肉运动行为，然而其常常专用于检测特定事件(例如，患者从床掉下来)。视频数据在信息方面(例如，检测患者的脸、手、分析运动、分析与对象的交互或识别一般行为的可能性)是丰富的。因此，视频传感器提供自动地分析和识别由患者所执行的不同的类型的运动的机会。

患者的自动的基于视频的监测是相对新的论题并且所研发的工具处于其初期。视频分析方法必须处理医院的动态方面。这些可以是场景变化，诸如床角和床靠背倾斜的改变，类似咬合患者的部分的tv屏幕的人或对象、躺在床中的各位置的不同的患者和覆盖患者的身体部分的毯子和医务人员和拜访者的进入或消失。这些挑战使包括典型的身体分割方法和用于患者监测的身体部分的识别困难。毯子的存在使人体模型适配在躺着的患者上困难；场景变化限制用于身体部分分割的当前视频分析方法(诸如边缘/梯度分析、亮度值分析和对象检测)。

shyamsunderr等人：11compressionofpatientmonitoringvideousingmotionsegmentationtechnique,journalofmedicalsystems.kluweracademicpublishers-plenumpublishers.ne.(第31卷、第2号、2007年3月21日)公开了使用二元掩码的视频中的固定部分和移动部分的分离的运动分割技术。

nz534482a公开了用于客观地确定患者的躁动的水平的方法和系统。方法包含自动监测患者的身体的定义的感兴趣区域的物理运动和/或监测描绘来自躁动的其他临床事件的专家系统(例如，来自归因于躁动的心率的大突起的心房纤颤)。对与监测相关联的生理信号执行信号处理，并且经处理的信号的改变允许患者躁动的水平被量化。

wo2012/164453a1公开了用于监测占用常见寝具的两个或更多个受检者的运动和呼吸的方法和装置。方法包括以下步骤：通过光学传感器对寝具进行成像；通过产生指示连续的图像之间的对应的图像块的局部位移的运动向量或从所述光学传感器所接收的隔开的若干帧的图像执行运动估计；通过测量运动向量的空间和时间相关性计算运动簇；并且将每个运动簇分配给对应的受检者对所计算的运动簇进行分割，其中，将运动簇分配给对应的受检者基于彼此之间的运动簇的空间和/或时间相似性并且基于先前的分割结果。

技术实现要素：

本发明的目标是提供一种启用人的取向和/或位置的鲁棒的自动检测的设备、系统和方法。

在本发明的第一方面中，呈现了一种用于人的取向和/或位置的自动检测的设备，包括：

-图像数据接口，其用于获得人的图像数据，所述图像数据包括随时间的图像帧的序列，

-运动检测器，其用于检测所述图像数据内运动，

-运动强度检测器，其用于识别表示示出频繁发生的运动的图像区域的运动热点，

-人检测器，其用于基于所识别的运动热点检测所述人的至少部分的所述取向和/或位置。

在本发明的另一方面中，呈现了一种用于人的取向和/或位置的自动检测的对应的方法。

在本发明的又一方面中，呈现了一种用于人的取向和/或位置的自动检测的系统，包括：

-成像单元，其用于采集人的图像数据，所述图像数据包括随时间的图像帧的序列，

-如本文所公开的设备，其用于基于所采集的所述图像数据的所述人的至少部分的取向和/或位置的自动检测，以及

-输出接口，其用于发布与所述人的至少部分的所检测的所述取向和/或位置有关的信息。

在本发明的又一方面中，提供了一种计算机程序，其包括用于当在计算机上执行所述计算机程序时使得计算机执行本文所公开的所述方法的步骤的程序代码单元，以及一种非暂态计算机可读记录介质，其在其中存储在由处理器运行时使得本文所公开的所述方法被实现的计算机程序产品。

在从属权利要求中限定本发明的优选的实施例。应当理解，所主张的方法、装置、计算机程序和介质具有与所主张的并且如所述从属权利要求中所限定的设备类似和/或同样的优选的实施例。

本发明基于所述想法识别所述图像数据内(即，一系列图像帧内)的运动热点并且将这样的运动热点用于确定所述人的至少部分的所述取向和/或位置。此处，运动热点应当被理解为示出频繁发生的运动的图像区域(即，在其中已经检测到许多运动的图像区域)。例如，如果人正躺在床上并且连续地摇动他的头部，则所述头部区域将被检测为这样的运动热点。这样的运动热点一般地起因于考虑多个图像帧(多达成千的图像帧)。

通过使用这样的运动热点，所述人的所述感兴趣区域(roi)(诸如粗略的身体轮廓)或所述人的至少一个或多个特性身体部分(诸如头部、臂、腿)可以相当准确地确定，这取决于场景、应用的种类和监测的特定情况(例如，其他人是否在所述视场中并且因此示出在所述图像数据中、所述人移动多少等)。

如果所述人在休息位置中(诸如躺在床上或沙发上、坐在椅子上、站着不动等)，则本发明优选地是适用的。然而，本发明还可以适用于其他情况，只要所述人随时间存在于相同图像区域中。所述人可以移动、站立、就座或躺下，只要他在相同区域中或多或少停留。然后，该区域中的运动热点对应于所述患者运动并且可以计算所述roi。

所提出的基于视频的患者监测系统是相对廉价并且不引人注目的。其可以连续地并且自动地监测不仅所述患者的全身活动，而且来自特定身体部分的所述运动。利用先进的计算机视觉技术，可以识别特定运动。

在优选的实施例中，如下面所解释的，可以确定所述人的左、右、上、下边界中的一个或多个。而且，识别具有频繁发生的运动的区域的运动图像的累积可以被用于运动热点的所述检测。该累积可以基于运动检测或运动估计。更进一步地，所述头部位置的计算可以基于人的roi外的区域与人的roi自身之间的频繁交互的所述位置获得。所提出的设备、系统和方法是鲁棒的，甚至在由如所提出的处理之前的所述图像数据的潜在压缩所引起的潜在的压缩伪影的视图中，并且可以甚至能够在护士运动与患者运动之间进行区分。

在另一优选的实施例中，所述运动检测器被配置为从一个图像帧到另一图像帧确定表示所述图像数据内所检测的运动的运动图像，并且其中，所述运动强度检测器被配置为通过累积所述运动图像识别运动热点。运动图像可以在此例如是运动向量场图像或具有所检测的运动像素的图像，其可以例如由常规运动估计算法或用于检测场景的图像帧的时间序列中的运动的其他已知方法获得。这样的运动图像的所获得的所述(一幅或多幅)累积图像可以然后直接地示出具有高运动量和/或强运动(其被认为是运动热点)的图像区域以及具有减少或没有运动的其他图像区域。这提供用于确定运动热点的实际并且可靠的方式。

优选地，所述运动强度检测器被配置为累积运动图像(特别地覆盖预定时间段的运动图像)以通过合计两个或更多个运动图像内的运动像素或运动向量信息(例如，向量长度)的二元发生获得一幅或多幅累积图像。预定时间段可以一般地是在其内可以期望所述人的运动的时间段。当所述人是更久坐的时，如在所述icu中，其可以是比当所述人相对活动更长的时间帧。因此，所述预定时间段可以仅是几分钟，而且也可以使用一个或若干小时。

在优选的实施例中，所述运动强度检测器被配置为将图像区域识别为运动热点，其具有大于尺寸阈值的尺寸或一幅或多幅累积图像内的所述最大尺寸并且其示出大于运动阈值的运动或最强烈的运动。例如基于具有不同的场景和类型的运动的较早的实验，可以提前设置这样的阈值。这样的阈值被用于检测最频繁发生的运动区域。其可以以固定的方式或根据针对一个人所测量的最大运动发生的百分比设置(来自若干不同的时间段以便排除几乎任何运动不发生的时间段的偏置)。所述阈值还可以根据使用情况经验地确定。

在另一实施例中，所述人检测器被配置为将示出预定时间段期间的所述最强烈的运动的所述运动热点识别为图像中的人的第一边界(特别地上边界)。所述上边界可以但不必是所述人的所述头部区域。在优选的应用中，从所述侧从所述人获得图像(例如，当所述人在躺下位置中诸如在医院中的病床中)。在本应用中，所述图像中的所述上边界对应于所述人的左边或右边，因为这是所述图像中的所述人的所述上边界。在其中存在较少运动的所述热点上面，所述人未被假定为存在。运动将然后例如由偶尔在所述区域中移动的护士引起。在其他应用中，所述人可以处于垂直位置或所述图像可以从不同的位置来采集。因此，如果所述人具有另一取向，则所述图像可以首先在所提出的所述步骤之前被旋转。

有利地，所述人检测器被配置为将向与所述第一边界相反的所述图像的边缘最远离所述第一边界定位的所述运动热点识别为图像中的所述人的第二边界(特别地所述下边界)。这还帮助识别在其中布置所述人的所述区域。

更进一步地，在实施例中，所述人检测器被配置为特别地通过基本上平行于所述人的所述纵轴的方向上的一幅或多幅累积图像中的边缘强度分析检测图像中的所述人的第三边界和/或第四边界(特别地左边界和/或右边界)。这可以通过在其中所述人检测器被配置为在若干累积图像中所检测的簇(优选地单独的每图像行)的(强)边缘并且相应地将左边和右边的最大簇的边缘识别为所述相应的边界。在优选的实施例中，对具有所述运动热点的所述运动图像执行一种边缘强度分析。因此，在例如从左到右穿过所述图像时，出现何时强运动热点开始的所述时间属于所述人。这指示第一(例如，左)边界，因为所述边缘是强的(其应当由“其超过所述先前值的所述平均k倍”的所述解释理解)。

由于护士可能已经在靠近床的图像中移动，因而还将存在一些边缘，但是其不是那样强的。当该边缘分析不仅针对一个图像行而且针对上边界与下边界之间的所有行完成时，返回具有强边缘位置的像素坐标。得到的左边界然后被设置到其中找到具有强边缘位置的大多数像素坐标的所述像素坐标。

在另一优选的实施例中，所述人检测器被配置为基于所识别的运动热点检测一个或多个额外的人或其至少部分的所述存在、取向和/或位置并且将该检测的结果使用在所述人的至少部分的所述取向和/或位置的所述检测中。因此，例如在一方面所述患者与另一方面护士、医生或拜访者之间进行区分是可能的(例如，基于所检测的运动的所述数量、区域、强度、模式等)。因此，所述人检测器可以被配置为将所述一个或多个额外的人的运动的所述强度、位置、模式和/或持续时间使用在检测一个或多个额外的人或其至少部分的所述存在、取向和/或位置中和/或所述人的至少部分的所述取向和/或位置中。

而且，在实施例中，所述人检测器可以被配置为基于所检测的所述第一边界和/或第二边界和所述人的已知或平均身体比例，识别所述人的身体部分的所述位置。所监测的所述人可以甚至被分类为特定种类，其中，每个种类可以被分配典型的(平均)身体比例，其然后被使用在所述人的位置和/或取向的估计中。这还将改进所述估计的所述准确度。

所提出的方法还可以包括：分析单元，其用于基于如规律地、连续地或不时地检测的所述人的至少部分的所检测的所述取向和/或位置，分析所述人或所述人的一个或多个身体部分随时间的移动；和评价单元，其用于将所检测的移动分类为自然移动和异常移动，确定疾病严重性评分估计和/或在所分析的运动超过用于发布信息信号的预定准则的情况下发布信息信号。如上文所解释的，遭受某种疾病的患者示出疾病典型性的运动(诸如遭受谵妄、帕金森、癫痫症、不宁腿等的患者)。该实施例可以因此被用于潜在地甚至在早期阶段中检测这样的疾病或当所述患者示出可能需要特定护理或监测的疾病典型性的活动时检测。特别地，与疾病和/或紊乱有关的异常移动(诸如在谵妄或癫痫症发作的情况下，在空中抓)可以在评估所述患者的健康状况时被识别并且考虑。该运动识别还可以提供额外的益处。例如，如果检测到一些特殊或危险的运动(诸如拉倒医学设备或在没有辅助的情况下下床)，则所述系统可以向医务人员发送警报信号。

在实施例中，疾病严重性评分是基于患者的运动的各种视频分析来估计的，其将支持医务人员确定所述患者的所述临床状况。其以自动并且连续的方式工作，这导致更有效的基于视频的监测方法。

对于所述人的所述图像数据的图像采集而言，成像单元(诸如摄像机(例如，网络摄像头或监控相机))连续地、规律地或不时地随时间获得图像帧。为了输出所监测的人的至少部分的所检测的取向和/或位置，使用输出接口(诸如将数据传输到服务器、计算机、显示器、智能电话或某个其他实体的接口)，其中，可以以有线或无线的方式做出所述传输(例如，经由lan、wi-fi、umts、直接线缆或以任何有用的方式)。

附图说明

本发明的这些和其他方面将从下文所描述的(一个或多个)实施例而显而易见并且参考下文所描述的(一个或多个)实施例得以阐述。在以下附图中，

图1示出了根据本发明的系统和设备的总体布局的示意图；

图2示出了根据本发明的设备的第一实施例的示意图；

图3示出了根据本发明的方法的第一实施例的流程图；

图4示出了由运动检测所获得的示范性运动图像；

图5示出了示意性地图示运动图像的累积的示图；

图6示出了根据本发明的实施例所获得的示范性累积图像；

图7示出了根据本发明的设备的第二实施例的示意图；

图8示出了根据本发明的方法的第二实施例的流程图；

图9示出了所采集的图像帧和对应的累积图像；

图10示出了所采集的图像帧和将来自身体安装式活动传感器的测量结果与从图像数据所获得的测量结果相比较的各种图形；并且

图11示出了像素值关于运动热点强度的图形。

具体实施方式

图1示出了根据用于人110的取向和/或位置的自动检测的本发明的系统100和设备2的总体布局的示意图。系统100包括用于采集人110(在该范例中，床120上的患者(即，处于静止位置的人110))的图像数据的成像单元1。所述图像数据包括随时间的图像帧的序列。根据本发明的设备2被提供用于基于所采集的图像数据的人110的至少部分的取向和/或位置的自动检测。输出接口3被提供用于发布与人110的至少部分的所检测的取向和/或位置有关的信息。

成像单元1可以例如包括一个或多个(针对更鲁棒的检测和跟踪)相机。例如，可以使用被安装到房间的天花板或墙的一个或多个摄像机。成像单元1例如采集医院中的患者房间(特别地，病床120的区域)中的视场。

设备2可以基本上包括处理单元(例如，处理器或计算机)或由处理单元(例如，处理器或计算机)实现，其从一个或多个相机接收图像信息并且将其分析以检测人110的至少部分的取向和/或位置。

输出接口3通常被配置为发布与人110的至少部分的所检测的取向和/或位置有关的信息，其可以提前配置或其可以由用户修改。例如，输出接口可以被配置为发布基于音频、视觉和/或文本的信息。其可以包括显示器30和/通信单元31，其例如向医务人员提供一种或多种警报。输出接口3可以因此例如是便携式用户设备(诸如智能电话、寻呼机或身体佩戴式设备(诸如手表))的部分或可以是固定设备(诸如护士站处的计算机、工作站或监视器)的部分。显示器30还可以被用于显示由成像单元1所采集的一幅或多幅图像，使得用户(例如，临床人员)可以判断情况的关键性。随后时间(例如，最后几小时)中的视频腕动计统计结果(关于人的运动的统计结果)的概要可以被分析并且显示以支持用户判断警报和所检测的事件的紧急性或重要性。

在图2中示出了设备2的实施例的示意图。设备2尤其地包括用于获得人110的图像数据(尤其地从成像单元1)的图像数据接口20。运动检测器21被提供用于检测所述图像数据内的运动(例如，通过常规运动估计或运动检测算法)。运动强度检测器22被提供用于识别在若干帧的时间段内表示示出频繁发生的运动的图像区域的运动热点。基于所识别的运动热点，人检测器23检测人110的至少部分的取向和/或位置。

图3示出了根据本发明的方法200的第一实施例的流程图。作为示范性实施例，医院中的患者应当被认为是例如示出在图1中。

在第一步骤s10中，基于所获得的图像数据(特别地从成像单元1的视场随时间所获得的图像帧的序列)来初始地执行运动估计(或运动检测)。运动向量可用于获得关于患者11执行的运动的信息。运动区域的方向、速度、加速度和尺寸仅是可以从运动向量推断的几个参数。该信息极大地帮助识别患者运动并且将其分类为自然移动和异常移动(在该情况下，可以通知或警告人员)。

在图4中描绘了表示图像数据中所检测的运动的示范性运动图像300。其中患者110(在患者的腿的该范例中)的许多运动已经被识别的区域310与其中没有运动或较少运动已经被识别的其他区域不同地被编码(例如，利用不同的颜色、灰度值等)在运动图像300中。

在下面的步骤s12、s14中，计算累积运动图像(在本文中还被称为累积图像)。这可以通过合计(步骤s14)跨图像栈的运动像素或运动向量信息(例如，向量长度)的二元发生(即，覆盖某个时间段(如在步骤s12中所堆叠的)的运动图像301-306的数目)。这示意性地被图示在图5中。

累积运动图像的示范性输出图像(即，累积图像)400、401、402、403被示出在图6中，其中，具有高运动的区域h以第一类型(例如，第一颜色或灰度值)编码并且具有低运动的区域l以与第一类型不同的第二类型(例如，第二颜色或灰度值)编码。

在步骤s16中计算运动热点，特别地通过考虑仅大运动团块并且利用自适应阈值将累积运动图像阈值化(例如，基于图像中的运动强度)。如果患者未服镇静剂，则大多数运动将来自患者，因为护士/拜访者仅在图像中存在小时间量。这可以例如在图6d中看到，其中，运动热点h1指示大多数运动来自患者的头部运动并且热点h2指示患者上面的护士的运动。

为了图像中的患者边界的示范性计算的以下解释，应当假定图像帧在某种程度上从一侧描绘患者(即，患者被描绘在基本上水平方向上)。然而，这不是强制性的。患者可以例如还被描绘在垂直或倾斜方向上并且图像因此在进一步处理之前被旋转。

临时第一(在该范例中上)患者边界在步骤s18中从累积运动图像被计算为所检测的运动热点的上边界。例如，当这次从上到下穿过图像时，根据列对图像进行分析。在实施例中，像素值每列一次强、一次弱地被低通滤波。然后，计算结果的强低通滤波信号的全局最大值(同样地对应于患者、最强的热点)。然后，在结果的弱低通滤波信号中检测最小值(高峰值对应于强热点，类似图6d中的护士和患者的部分)。然后，搜素仅在步骤s12中所计算的最大值之前的最小值(在步骤s14中所计算的)。最后，在步骤s16中所计算的最小值的位置的平均(跨所有列)对应于临时上患者边界。

在后续步骤s20中，运动热点被添加到较小的运动团块(仍然大的，但是不与初始运动团块要求一样大)与上患者边界下面的质心。存在具有不同的强度的热点。最强的一个属于其中患者移动最多的图像区域。在那一个周围，存在还属于患者的较弱的热点。这些较弱的热点中的一些热点可以属于在计算的上边界外延伸的患者的身体部分。只要热点的质心在临时上边界下面，就假定其属于患者。

基于所检测的运动热点的新形成的上边界，在步骤s22中计算最后的上患者边界。延伸超过临时上患者边界的较弱的热点的上边界被选择为最后的上边界。例如，在图6d中示出该最后的上患者边界410。

第二(在该范例中下)患者边界420是基于最下面的热点h3在步骤s24中来计算的。若干较小的运动热点(如上文所解释类似地)在步骤s26中被添加在上患者边界410与下患者边界420之间。

为了在步骤s28中计算患者roi的左边界430和右边界440，在实施例中执行以下步骤。对于某个或甚至每个所分析的累积运动图像而言，从左(或右)的第一样本(即，起始点)的x坐标在其超过先前值(从左(或右)端直到当前样本的所有样本)的平均值的k倍时被存储。计算跨累积运动图像的类似起始点的簇。最大的簇指示左(或右)起始点。然而，还可以不同地计算如上文所计算的用于指示左或右边界的边缘强度。

图11示出了示出对应于针对图像中的整个行(x轴)的运动热点强度的像素值(y轴)的图形。左边的第一小的最大值对应于护士运动热点并且第二较高的最大值对应于患者热点。换句话说，第一箭头(从左)指示其中护士不时存在的区域。第二箭头指示在何处患者以强边缘开始。在图6d中示出了由边界410、420、430、440围绕的(在该范例中矩形)患者roi450。

更进一步地，在步骤s30中，上患者边界410上面和下患者边界420下面的护士位置的加权平均值被用于确定头部的位置(图像中的左或右)。例如，患者roi450上面的运动热点h2指示已经存在由护士/拜访者造成的许多运动。该增加的运动被当作对于加权平均值计算中的对应的位置的权重。由于靠近患者的头部侧的运动的高存在(在图6d中在右边)，头部位置被估计在roi450的右侧。

而且，当头部位置是已知的时，整个roi450可以根据平均身体比例被划分为如头部、躯干和腿的粗略的身体部分(例如，最右边的15％被分配给头部，中间的35％被分配给躯干并且下面的50％被分配给腿)。

图6a至图6c示出了在其中已经估计患者roi的累积图像400、401、402的其他范例。图6a示出了运动像素关于30分钟的累积的结果。拜访者(和/或护士)存在于如由拜访者/护士区域v所指示的30分钟视频序列中；由患者区域p所指示的患者主要移动他的中间和下半身。图6b示出了运动像素关于30分钟的累积的结果，其中，患者主要移动他的上身。图6c示出了运动像素关于30分钟的累积的结果，其中，患者主要移动他的头部。护士已经靠近患者的上半身移动/工作/交互。

图7示出了根据本发明的设备2'的第二实施例的示意图。除图2中所示的设备2的第一实施例的元件之外，其包括：分析单元24，其用于基于如规律地、连续地或不时地检测的人110的至少部分的检测到的取向和/或位置，分析人110或人110的一个或多个身体部分随时间的移动；和评价单元25，其用于将所检测的移动分类为自然移动和异常移动，从而确定疾病严重性评分估计和/或在所分析的移动超过用于发布信息信号的预定准则的情况下发布信息信号。

分析单元24特别地执行患者全身或身体部分活动分析：根据运动估计结果计算肌肉运动信息(例如，夜间患者的腿的平均活动值)。数据在24小时上是连续地可用的。评价单元25特别地执行移动分类。将识别可以导致患者的危险情况的疾病特异性移动或异常移动(模式)。而且，可以执行疾病严重性评分估计，其将通过考虑来自活动分析和移动分类的输出将关于患者的状况的评分提供给临床人员。

在医院环境中，存在可能使视频分析复杂化的若干因素。例如，房间中的拜访者或临床人员的存在可以模糊或交叠视频图像中的患者的部分。在这种情况下，来自仅患者的运动的分割是必要的。因此，更复杂的元件需要被包括在系统中以解决所有种类的这些实际问题。在图8中所描绘的流程图中示出了所提出的方法300的对应的实施例的一个范例。在该实施例中，处理可以被认为是两个并行轨道。一个是执行运动估计，另一个是基于运动检测。然而，不存在对使用运动估计或检测的限制，可以利用能够检测患者的运动的任何方法。

在步骤s100中，基于所接收的图像数据来执行运动检测。由于医院环境和/或视频系统中的实际问题(例如，视频压缩伪影或非最佳的照明条件)，因而视频可能不是非常好的。由于这一点，运动估计可能在检测小的运动(例如，患者的呼吸运动)方面具有困难。在该情况中，提出将运动检测用作替换。

存在可用的若干运动检测方法。例如，帧差值方法通过例如计算两个连续的帧之间的绝对差(sad)的和检测运动。另一广泛使用的方法是相关系数方法。在所提出的设备和方法中，不存在对于特定方法的特殊要求，但是选择可以取决于视频质量(例如，压缩格式)。

在图8中可以看出，在身体部分分割的步骤s102中，利用来自检测患者的胸部区域所使用的运动检测(步骤s100)的输出，其将在以下中更详细地描述。

在步骤s104中，执行运动估计。运动估计(me)是采集来自患者的运动的一个选项。所获得的运动向量场提供运动位置、强度和方向的指示。在所提出的设备和方法中，基于a.heinrich、c.bartels、r.j.vandervleuten、c.n.cordes、g.dehaan的公开optimizationofhierarchical3drsmotionestimatorsforpicturerateconversion,ieeejournalofselectedtopicsinsignalprocessing(第5卷、第2号、第262-274页、2011年3月)的me算法作为可以提供准确的运动向量同时维持低计算复杂性的解决方案。

在步骤s106中，执行患者身体检测，并且在步骤s108中，执行护士/拜访者分割。医院环境中的一个动态方面是患者房间并且因此视频图像中的临床人员和拜访者的频繁存在。由于仅来自患者的活动是感兴趣的并且需要被分析，因而应当排除其他人的运动。为了区分他们的移动，提出执行患者身体检测和护士/拜访者分割。

患者身体检测s106的步骤被用于搜索感兴趣区域(roi)(即，患者身体区域)。这可以如上文关于根据本发明的设备和方法的第一实施例所解释地完成。主要想法是累积在一段时间上从运动估计模块所获得的运动向量。由于除患者外的人还可以存在于视频中，因而所选择的累积时间应当是足够长的，使得主导运动来自患者。累积向量的范例被示出在图6d中，其从30分钟的视频获得，其中患者主要移动他的中间和下身部分并且护士也存在于序列(由热点h2所表示的)中。通过增加累积时间并且执行一些后处理，可以甚至消除来自护士的运动向量。

当患者身体区域已经被确定时，然后将护士/拜访者分割出是可能的。所提出的方法是保持运动历史信息并且通过跟踪其原点对来自不同的人的运动进行区分。通过这样做，运动历史图像可以被分离为患者历史图像和护士/其他人历史图像。此处，也可以应用其他方法来检测护士/拜访者的图像区域。

在步骤s102中，执行身体部分分割，其可以如上文关于第一实施例所解释地完成。身体部分分割步骤被用于识别患者的不同的身体部分。患者的身体部分(诸如头部、躯干和腿)可以彼此区分。因此，可以根据身体部分执行运动分析，其提供患者的肌肉运动行为的更详细的运动信息。而且，基于不同的身体部分的识别，可以确定相应的身体部分的位置和取向以及全部患者的位置和取向。

例如，如果来自患者的腿的运动是感兴趣的，则临床人员可以看一看过去24小时期间该身体部分的平均活动水平。除该活动分析之外，移动分类还将从该分割信息获益许多。如果身体部分位置已经是已知的，则识别由特定身体部分所执行的某些运动模式容易得多。

可以应用分割身体部分的不同的方法。简单方法可以是通过比率数字将全身区域分裂为若干部分。例如，头部、躯干和腿的比例相应地被设置为15％、30％、55％。而且，可以使用基于胸部检测的更复杂的方法。想法是首先通过检测呼吸运动确定胸部区域，然后此后对剩余的头部和腿部分进行分裂。这被描绘在图9中，其中，图9a示出其中突出显示若干身体部分的所采集的图像并且图9b示出了其中突出显示相同身体部分的运动的对应的累积图像。

在步骤s110中，执行活动分析。除移动分类之外，身体部分/全身活动水平是分析患者的运动的两个元素之一。其提供患者活动的概述并且可以被用作确定患者的临床状况的一个准则。图10a示出了其中指示如由身体部分分割所导出的三个区域(腿510、躯干520和头部530)的患者的图像500的范例。图10b示出了不同的活动水平信号，其中，与由全身(信号610)、躯干(620)、腿(630)和头部(640)的视频腕动计所获得的活动水平信号相比较，活动水平信号600从活动监测设备(诸如腕戴式设备(例如，被称为“actiwatch”的申请人的设备))获得。

在由图10b中的t1所指示的时间段中清楚地观察到优点：来自例如腿和头部的运动(其中没有来自活动监测设备的信号(参见信号600)是可用的，例如，因为传感器未由患者佩戴)，可以仍然通过视频检测信号。通过视频和(一个或多个)视频腕动计信号的视觉检查，示出了还正确地检测到在躯干活动信号620中反映的未佩戴活动监测设备的另一臂的运动。时间段t2示出了视频系统非常好地能够检测还利用活动监测设备所测量的移动。

此处可以计算不同的活动统计结果，例如，所选择的时间段中的一个特定身体部分的活动值的平均值或变化、活动频率等。该信息可以被用于区分是否发生可以指示某些临床状况(诸如谵妄、癫痫症或帕金森、不宁腿)的肌肉运动变更中的改变。另外，该肌肉运动分析还将对移动分类有贡献，因为这些活动水平可以被用作分类特征。

在步骤s112中，执行移动分类。与身体活动分析相比较，移动分类提供患者的移动的更高水平的解释。其可以在自然移动与异常移动之间进行区分并且还可以识别特定移动(模式)。例如，在谵妄的情况下，移动(诸如在空中抓或挖皮肤)是典型的移动。这些特定运动的检测将直接地对患者谵妄评估有贡献。在其他应用中，可以检测指示帕金森或癫痫症发作的震颤。还存在从该运动识别所获得的其他益处。其还可以被用于检测可以导致危险的情况的一些移动。例如，如果正试图上床或下床、拉出例如气管内导管或鼻饲管等。所提出的方法和设备的该实施例可以向医务人员自动地发送警报消息。

关于分类方法，可以使用适于该问题的任何类型的分类器。可以从运动向量直接推断运动特征，诸如移动区域的运动方向、速度、加速度和尺寸。其他特征范例包括运动持续时间和频率/重复性。考虑特定运动通常由特定身体部分执行，分类器将受益于身体部分信息。因此，在实施例中提出了根据身体部分提取运动特征。

而且，可以执行疾病严重性评分估计。该步骤提供关于疾病的严重性的评分。其通过组合视频分析的数据估计患者的健康状况。在图7中所示的设备的所提出的实施例中，输出基于视频腕动计和移动分类器(即，与临床状态(如果感兴趣的话)有关的特定运动的检测)。然而，其不限于视频，其他补充信息(如果可用的话)可以全部被馈送到该步骤并且可以针对最后决策进行考虑。这可以是利用其他传感器模态、临床人员的临床测试/筛选或观察所测量的数据。

当检测到指示感兴趣的临床状况的临床状况中的改变时或当检测到针对患者可能具有危险的运动(诸如试图下床)时，可以给定警报。当评分超过预设阈值时，医务人员可以自动地接收警报消息。临床人员可以设置其感兴趣的警报并且哪些疾病/紊乱应当检测或具有最高的优先级。

上文所解释的元件和步骤是非限制性的，如上文所描述的。可以添加更复杂的元件和步骤，并且可以做出其他组合以得到更好的性能。

由于除患者外的人常常存在于视频中，因而患者的运动有时由于阻碍不能由相机采集。如果安装相机使得仅患者在视图中是不可能的(例如，在患者上面)，则第二相机可以被安装在房间中以从不同的视图方向对患者进行成像。在该情况下，额外视频处理(诸如同步和相机选择)可以被要求以得到更好的视图条件。

在另一实施例中，当测量开始时或当情况已经大部分改变时，可以通过采集来自医院人员的输入使用关于图像中的患者位置和患者取向的先验知识。

床位置或床角度可以根据患者位置被改变的结果以及身体部分分割而改变。然后，应当更新患者身体检测模块。作为额外的实施例，自动床检测可以被实现为信号通知床位置或床角度的改变。

总之，本发明适用于各种领域中，特别地适于其中执行自动和连续的视频运动分析的医院中的不同的病房(例如，icu、急症护理设置、普通病房、老人病房)或护理中心、养老院、nicu、在家的医院中的患者监测。应用的主要领域是谵妄或具有异常移动/行为的其他疾病(例如，与谵妄有关的)的早期检测，其中，应用icu中的自动视频监测和(健康或不健康的)老年人监测以向在家、养老院或在老年人护理中心的护理者触发警报。

尽管在附图和前述描述中已经详细说明和描述了本发明，但是这样的说明和描述将被认为是说明性或示范性而非限制性的；本发明不限于所公开的实施例。通过研究附图、说明书和随附的权利要求书，本领域的技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括“不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中记载的若干项目的功能。互不相同的从属权利要求中记载了特定措施的事实并不指示不能有利地使用这些措施的组合。

计算机程序可以存储/分布在诸如连同其他硬件或作为其部分提供的光学存储介质或固态介质的适合的介质上，而且可以以诸如经由因特网或其他有线或无线电信系统的其他形式分布。

权利要求中的附图标记不得被解释为对范围的限制。