处理视觉、听觉、嗅觉和/或触觉信息的系统和方法

专利名称：处理视觉、听觉、嗅觉和/或触觉信息的系统和方法
技术领域：
本发明涉及一种处理视觉、听觉、嗅觉和/或触觉信息以供认知地确定至少一个房间和/或至少一个人和/或至少一个对象的至少一个状态，以及做出并实施作为至少一个识别出的状态的函数的决定的系统和方法。
背景技术：
复杂的建筑技术使得有可能借助服务器监视和控制主要是在住宅中的广泛种类的功能。用于输入指令的能力从传统的开关和按钮扩展到触摸显示器，可选地经由遥控器。 除了较高水平的便利性、可靠性和灵活性之外，也必须始终考虑成本效率。例如现今实现了住宅技术的中央控制、时间依赖型的温度调节、自动照明控制以及更多。
在用于建筑技术的系统中，如果该系统是为了独立和智能地检测某个特定的动作是否是期望的或者是或多或少地强制必要的，则将会相当大程度地加强便利性。尽管后一个问题可以用相应数量的适当传感器来在很大程度上解决，但是目前没有用于认知系统的解决方法。
人口统计趋向进一步指出有越来越多的老年人希望在其熟悉的环境中以高度自足的方式尽可能长时间地生活。不总能有来自朋友或亲戚的持续帮助，并且来自护理人员的专业支持成本高昂且经常难以负担。身体虚弱和认知衰退两者使很多简单的日常活动， 甚至是开远处的灯的开关都变得困难或不可能。
因此本发明的目的在于使之前描述的那种系统和方法可用，其协助人们处理其日常生活，并确保最大可能的便利性。将会识别出异常情况或危险情况并尽可能自动地进行 艮告。
该目标由根据权利要求1所述的系统以及根据权利要求7所述的方法来实现。有利的实施例是各自引用的从属权利要求的主题。
根据本发明，在用于处理视觉、听觉、嗅觉和/或触觉信息以供认知地确定至少一个房间和/或至少一个人和/或至少一个对象的至少一个状态，以及用于做出并实施作为至少一个识别出的状态的函数的决定的系统中，提供有第一识别模块，被设计为至少用于确认人和/或对象的存在，以及可选地用于标识(ident ify )人和/或对象，且输出对应的电信号；一组传感器，该组传感器被设计为定量地或定性地获取视觉、听觉、嗅觉和/或触觉信息以及输出对应的电信号；以及评估逻辑系统，用于处理至少从第一识别模块和从该组传感器输出的信号，该系统的特征在于对于所述至少一个房间，使得包括一个或更多个静态区的二维或三维地图是可用的，每个静态区表现该房间的区域，将从其获得有关该房间、 某个人和/或对象的状态的视觉、听觉、嗅觉和/或触觉信息；提供了一种装置，一旦第一识别模块发出在该房间中存在一个或更多个人的信号，该装置为所述人中的至少一个人定义动态区，将从该动态区获得来自该人或有关该人的运动信息；以及该评估逻辑系统从处理的信号识别出该房间、人和/或对象的状态，只使用来自所述的区之一的视觉信息来识别该状态，并且基于识别出的状态做出是否要发起某个动作的决定。
“视觉信息”在这个上下文环境下涵盖通常由黑白相机、彩色相机或红外相机捕获 的信息。视觉感知代表人类感觉中最重要的方面。人类在一秒的若干分之一内，例如不但 能够定量地了解房间中的人数，而且能够定性地区分儿童、动物和成年人，以及区分坐、站 立或躺的位置。人类还能够评估某人是睡着的还是活动的，并且能够直接地将例如躺在房 间中间的不动的人与“反常的”和危险的情况相关联。
“听觉信息”涵盖得自声波的信息；适合的传感器是例如麦克风。后者可以检查使 得其自身可被声学地感知的存在是否位于该房间中。可能性存在于例如接收期望的声音并 将其用作额外的滤波器。例如，狗在奔跑的时候发出与儿童不同的声音。该用户随后可以 记录任何背景噪音(例如狗奔跑的声音)并且选择系统是否以及如何对该噪音作出反应。原 则上，麦克风可以同样地被用于语音输入。然而，如果麦克风在住处的定位以及到达该麦克 风的波动的声音级别不能保证足够一致的“语音质量”，则只有非常有限形式的语音控制才 是可用的；此外，从麦克风到扬声器的长距离是不利的。
“嗅觉信息”涵盖有关气味的信息，借助于此，可以确认例如天然气或烟的存在。有 可用的对应传感器。例如基于传导的聚合物的传感器能够识别很多种气味。
“触觉信息”主要涵盖关于温度和相对湿度的信息。尽管人类没有用于感知相对湿 度的感觉器官，然而其个体地感知具有某个相对湿度的值的空气温度的组合是舒服或不舒 服的。应该布置温度传感器从而使得该房间的温度曲线可以被足够好地再现。可以想到例 如在门和窗的区域中布置额外的温度传感器，这些传感器补充“中央”传感器的信息并且和 系统通信。
进一步的可能性是通过红外相机的方式生成热分析图像，例如以确认某人的过低 温或过高温的状态。其它触觉信息，特别是可触摸的信息不在本发明的情境下强调。
可以定性地或定量地获取信息。例如，如果确认为嗅觉信息的是煤气(gas)的存 在，则就足够了，而浓度就不重要了，也不会测量。另一方面，定量地感知温度信息是非常有 用的。
评估逻辑系统评估信息并借助于能够以通常的方式存取存储器的处理器处理输 出的信号。这些存储器，具体化为非易失性存储器以及还有易失性存储器，包含操作系统所 需的软件，以及借助其评估获取的信息从而识别状态的数据库和/或表格，以及作出决定 所用的一组规则。
总而言之，使得藉之可以主要地模仿人类感觉器官的系统可用，从而使得模拟人 类的感知和感觉形态。这使得可能识别房间、人或对象的状态，并且基于此做出基本的认知 决定，该决定将会很大程度地相应于在同样情境下人类的决定。
这里尽可能有效地收集做出决定所必需的信息是基本的。这是将房间的地域分成 静态区的概念的基础。在生活空间或工作空间中的静态区可以是例如围绕书桌椅子的区 域、围绕沙发的区域、围绕窗户的区域或围绕门的区域。就视觉信息而言只评估这些静态区 从而识别变化。然后有可能确认例如某人是否坐在书桌椅子上，沙发是否被占用，或上面是 否可能有书或笔记本电脑。因此特别地有可能确定窗户，例如走廊的门是否是开的、半开或 关着的。这不但可以从门框和窗户或门之间生成的间隙这一事实确定而且还可以简单地基 于窗户把手或门把手的位置来确定。如果例如门把手周围的区域定义为区(zone)，则有可 能从该区中发生的变化推导出窗户是否在开的位置、倾斜的位置(tilted position)或关闭的位置。当然总是可以以补充的方式使用进一步的信息。这些静态区是在当系统投入使 用时定义的由用户定义的区。其可以在空间情境改变或需求简介(requirements profile) 改变时可以修改或调整这些静态区。然而“静态的”意味着该区固定地定义在该房间中，且 保持不受房间、对象或人的状态的变化的影响。
根据本发明提供的动态区，通常针对人定义并且特定地针对要识别其状态的人定 义，该动态区具有特定的特性(quality)。该状态可以是例如，作为意外事件或丧失意识的 结果人处于的紧急情况的情形，或者另外地，是在其中某人通过他或她自己的行为影响情 形的状态。这里手势控制特别地是一种可能性。在这个上下文情况下，评估逻辑系统将从 动态区中的图像变化推断该人的运动，并且识别“学习的”手势，并发起对应的动作。该动 态区可以仅仅从轮廓数据推论出，或者从与运动数据的组合推论出。例如，该轮廓可以被扩 展以包括区域，并且可以和该区域形成该动态区。在这种类型的扩展的动态区中，某人位置 的改变可以由感测到轮廓的改变这一事实而检测到；例如在倒下的情况下，该人的轮廓区 域或“体积(mass)”突然相对于站立或坐的位置增加。
这里本发明极大地不同于在WO 03/056882 Al中描述的现有技术。后者公开了如 何通过观察或考虑用户的活动控制房间中的照明。这里用户的预定义的行为固定地链接到 将要进行的行为，并且当发生特定情形时使用这组定义的规则。例如，一旦用户坐到定义的 座位上就打开阅读灯。本发明也这样，但是相当大程度地超越了它，并且将在以下进一步解释。
对区的定义使得可能将系统事实上必须拥有的智能的较大部分转移到准备阶段， 从而使得系统自身只要处理很少的信息。这使得可能在评估逻辑系统中使用相对小的处理 器。
已经证明特定的边界对于区的细分是有用的。区的最小尺寸应该等于整个图像区 域的3%;个体的区交叉是可能的，但是最多只交叉10%。已经发现以可接受的支出实现最多 只能实现15个区。这里由于动态区原则上可以临时地与任何其它的区重叠，因此动态区占 用特别的位置。
对于特定的情形，作为条件的函数产生临时的静态区可以是有用的。例如，如果来 自静态区的视觉信息指示窗户把手是在打开的位置，则系统可以激活在窗户框周围的临时 的静态区(先前定义的但是通常没有被询问)，并且可以检查在窗户和框之间的间隙。如果 不存在间隙，则该窗户已经(不经意地)大力关上了，并且系统输出对应的消息。在系统中事 先存储用于生成关联的临时静态区的一组条件。可以通过以下概括出该概念
-指定一组条件；
-对于来自该组条件的每个条件定义一个或更多个临时静态区；
-检查是否已经发生至少一个条件；以及
-激活为该至少一个条件定义的临时静态区；以及
-从临时静态区获得视觉信息。
在上述的情境下，根据本发明的系统只被有用地分配给一个房间，当然取决于情 况分配给多个房间不是被排除在外的。但是如果在具有多个房间的建筑物中使用根据本发 明的多个系统，各个系统应该能够彼此通信从而由此例如同步人或对象的位置。
根据本系统优选的实施例，第一识别模块确认人或对象的轮廓，并且基于该轮廓确定他的/她的/它的身份。这种类型的过程是已知的，并且在EP I 574 986 BI中描述。 在用于检测和跟踪人装置的情境下，在这里规定，在要调查的区域上方安装相机，以及识别 和评估人的结构形状特征，例如头或肩部几何结构和对称性。基于典型的轮廓线检查几何 学的特征的存在。特别地，通过其头部椭圆和肩部椭圆的方式检测人。这些是对人特定的， 因此使得还可以相应地检测不同的人。不同的人因此可以具有分配给他们的各自的特定动 态区。
虽然原则上该方法适用于根据本发明的系统，然而根据优选的实施例选择了不同 的方法。在主要旨在的应用部分，任务会是只观察单个的人或少数的人，并且特别地总是同 样的人，例如在其环境中的家庭。因此在“成人”、“儿童”和“动物”之间的区分在这里通常 足以用于辨别。可以基于由轮廓线传达的面积或“体积”做出该区分。该简化的方法使得 可能使用用于识别和区分移动的对象(object)的快速和可靠的算法实时处理原始数据材 料。除了运动识别和对象跟踪之外，有可能使用本身知道的分析图像不改变的区域的技术。 调查相机区域的背景图像，并借助于学习算法随时间格式化或调整背景图像。因此根据本 发明的系统随时间学习从而将背景中的变化评估为与状态有关的或与状态无关的。例如， 将结合具有日出及日落时间的数据库识别照射到房间中的阳光，并且将该阳光评估为不影 响人的状态的许可的图像变化。
如果对象的轮廓是明确的，则也可以借助于上述的技术识别和标识对象。
与例如在DE 20 2007 008 363 Ul中描述的相比，该过程得以极大地简化。在DE 20 2007 008 363 Ul中用于充当照明控制的装置通过对感应区域的数字电子图像获取来 检测感应区域中人的运动和/或存在，并且当第一感测的数字图像的第一电图像信号在至 少一个图像子区域中不同于在相对于第一图像子区域的不同时间时感测的第二数字图像 的第二电图像信号时产生用于激活照明单元的检测信号；换言之，总是执行完整的评估。
用可容纳在10厘米XlO厘米或更小尺寸的电路板上的电气和电子部件实现根据 本发明的系统。该电路板可容纳在外壳中，并以适合的位置安装在要被监视的房间中。
用于提供视觉信息的主要(central)部件是对整个房间且因此所有区成像的单个 相机。优选使用具有鱼眼镜头的相机。在安装硬件之前由一次校准过程纠正在鱼眼镜头中 的典型失真。该校准过程自身是已知的并且这里不会做进一步解释。有用地，相机居中地 布置在电路板上。鱼眼镜头还减少了相机要被布置为可移动的需要。可以通常的方式事先 实现对比度增强。
一个或更多个人可以在相机的观看区域移动。对于每个人确定在房间中的各自的 坐标。当同样身高和同样体重和/或同样衣服颜色的两个或三个人在相机前彼此前后站着 时，识别限于一个单个的总体(overall)对象，即没有区分出这些人。
相机不仅仅起到识别和标识人或对象的作用。而是目的还在于感知运动，在其情 境下评估逻辑系统旨在从有关运动的信息推断出要执行的动作。
例如，能够想象到通过手势的方式即通过指向而不是触摸按钮、触摸屏等来驱动 房间中的可开关的对象。用户仅仅需要执行足够表现地手势，以便该手势由系统识别。例 如指向一个方向的展开的(或大致展开的)手臂可以限定例如指的是光开关的手势，于是连 接的光源随后进行开关操作。该手势也可以直接朝向该光源、朝向电视机、电脑等。
评估逻辑系统还可以从运动不存在的事实推断特定的操作。例如，该系统可以作为倒下检测器，当识别或标识的人在预定的时间跨度之内没有改变位置，特别是如果他或 她不动地躺在地上时，该倒下检测器输出警报。
这可以与睡觉情形区分开，在该情形下人在“床”静态区休息。在这种情况下也可 以补充借助于红外传感器检测运动，然而没有运动发生的时间跨度一定会更长。
本发明还使得可能在镜头监视的情境下使对象或区域“神圣”(consecrate)。例 如，只要笔记本电脑在许可的区域，这就被识别为正常的状态。然而如果“神圣的”笔记本 电脑从区域移走，则发出或报告警报。该系统还可以区分该笔记本电脑是否已经例如由授 权的人，即已经被识别和标识的人移走。在这种情况下，将不会发出或报告警报。
当人已经丧失确保对于他或她自己舒服的生活气候的能力时，使用认知温度控制 是有用的。通常观察到，具有痴呆的人简单地忘记他们已经打开了窗户，或者具有痴呆的人 们简单地忘记了当房间中的温度已经变得过冷时必须关上窗户。在这种情况下，安装在窗 户附近的温度传感器与特定区识别(窗户把手指示窗户处于打开位置)组合可以再次提供 警报。在该情境下该系统具有例如使房间中的铃(例如电话振铃)响的能力，其将痴呆的人 从其不注意的状态唤醒。
下面将参照附图详细地描述本发明，其中


图1是电路的高度示意框图，由该电路可以实现根据本发明的实施例的系统；
图2示出要将根据本发明的系统将容纳在其中的外壳；
图3a是解释静态区的定义的视觉描述；
图3b是解释动态区的概念的视觉描述；
图4是说明根据本发明的系统配置的描述；
图5是旨在使用对象监视的例子说明根据本发明的系统的操作模式的描述。
在以下的描述中和图中阐述了许多的特定细节。然而应理解，可以无需这些特定 的细节而实现本发明的实施例。在其它情况下，省略公知的电路、结构和技术从而不使对本 发明的理解复杂化。此外图中描述的部件不一定以精确的尺寸描述。还应理解在不偏离本 发明的范围的情况下可以对描述的实施例进行许多修改和改变。因此所描述的示例性实施 例被认为是描述性而非限制性的。
图1是电路的高度示意的框图，可以由该电路实现本发明。该电路构造在电路板 100上，电路板100的尺寸约为10厘米XlO厘米。只描述了最重要的组件；为简化描述的目 的，省略了和电阻、电容的必要互连。位于电路板中央的是具有鱼眼镜头的相机110。相机 110具有可以等于高达220度角的在图像对角线上的像角。相机110具有到达深红外(IR) 的检测范围。在相机110的外围区域布置一个或更多个红外LED112、114用于照明。这些 还起到发出IR电报用于操作IR装置的作用。相机110接收视觉信息并向由微处理器120 实现的评估逻辑系统(后面将更详细地描述)传送对应的电信号。出于空间的原因，微处理 器120可以布置为至少部分在相机110下面。由亮度传感器116支持视觉信息的评估，亮 度传感器起到例如用于白天和晚上识别的作用，并且可以对以下的事实作出贡献当某个 对象一方面由日光照亮，另一方面在阴影中时该物体不被认为是不同的。通过模拟两个极 端的光照条件来校准亮度传感器116。首先安装该系统的房间基本上完全变黑；然后借助 于反射物模拟日照，或让阳光洒满该房间。在完全的黑暗中指示最低的值(零)。MAX值存在 于最大的売度。在该范围内，确定并指不该房间的相对売度(图4 ;项目编号428)。通常预校准亮度传感器116是可能的，从而在房间中只需要发生再校准。麦克风118起到接收听 觉信息的作用，并且可被用于语音识别或用于识别背景噪音。在这个示例性实施例中，只经 由煤气传感器122获得嗅觉信息。然而，如果期望，使用更多的嗅觉传感器是可能的。经由 温度传感器124和湿度传感器126获得触觉信息。相机110、麦克风118和传感器116、124 和126的布置在极大程度上是任意的，并且不由描述的实施例所预先限定。提供闪速存储 器130作为非易失性存储器。这个存储器包含要由微处理器120执行的程序，特别地包括用 于系统的学习软件，以及具有环境参数的数据库、用于决策规则的查找表。两个双数据率随 机存取存储器(DDR RAM) 132、134被用作易失性存储器，并且支持实时处理数据。提供USB 接口 140和JTAG适配器150用于和外围设备通信。提供以太网端口 160和关联的以太网 控制器162，从而使得可以和基于缆线的数据网络一起使用该系统。没有描述用于与位于电 路板外部的传感器(例如额外的温度传感器)通信的无线接收机。处于伦理道德的原因并且 考虑到数据保护，所有获得的数据都保持在系统中，并且只发出消息和/或警报。
图2是外壳的透视图，在该外壳中可以容纳用于根据本发明的系统的电路板，例 如根据图1的密布的电路板。外壳200由可由例如塑料(诸如丙烯)制成的板状下部210 和上部220构成；在电路板100 (图1)的安装之后以及在外壳200被安装到房间的墙壁或 天花板上之后，下部210和上部220再也不能由未经授权的人将彼此非破坏性地分开。换 言之，只要外壳200原封不动，则可以排除对该系统的未经授权的访问。以使相机110 (图O的镜头穿过下部210中的对应地居中布置的开口 212看过去的方式在外壳中布置电路 板100。开口 212由对于红外线透明(transparent)的材料制成的环状物214包围，从而 使得LED112U14 (图1)能够通过所述环状物214发送红外辐射。优选地开口 212和环状 物214的尺寸为使得当安装了电路板100时，在环状物214和装配好状态的相机110的物 镜之间保持圆周式缝隙。声音、煤气、烟雾等可以穿过该缝隙进入外壳200的内部，从而使 得相应的传感器，例如煤气传感器122 (图1)可以被激活。替代地，可以配置外壳200的下 部210和环状物214使得在环状物214的外部圆周上形成缝隙。也可以想象这两种可能性 的组合。外壳200具有较低的总高度，例如I厘米到2厘米，从而使得其可以轻易地集成到 房间中。例如，可以将外壳作为令人喜爱的样子的设计特征安装到生活空间或工作空间的 天花板上。
图3a示出根据本发明可以发生将房间分成区的方式。通过从位于房间的天花板 上(例如造在图2的外壳内)的相机的视角，以举例的方式描绘生活/工作空间。该相机成 像该房间，从而使得可以创建如图3a所示的图；在该图上，如下面将要解释的，首先定义多 个静态区。所描述的房间具有走廊的门310以及位于门旁边的窗户320。在右下方的图区 域的是沙发330，在沙发上在所示的场景中坐着人300。在沙发330对面、在书架340和窗 户320之间是书桌350，书桌350前面布置有椅子360。书桌350上有显示屏和键盘370、以 及笔记本电脑380。现在在图中定义区，区的位置、数目和尺寸基于期望的应用的目的。第 一区A定义在走廊门310处，特别是环绕门把手处。取决于门把手的位置，可能推断出该走 廊门是关、开或设置为倾斜的。此外，可以事先对该系统给出关于下述的视觉信息，即门框 和周围例如是否相对于彼此处于倾斜的位置或关的位置。该系统可以因此仅使用来自区A (并且不是例如来自全部的门或甚至全部的房间)的信息得出关于门的状态的结论。第二区 B涵盖显示屏和键盘370前面的书桌350的工作台的区域，以及书桌椅子360的定位区域部分。可预期用户在该区B中活动。如果人300要坐在书桌椅子360上，则例如系统将会检 测到区B中的改变。例如，一旦系统认识到人300正坐在书桌350前，其会点亮书桌灯或还 将打开连接到显示屏和键盘的电脑。第三区C覆盖沙发330的座位表面的部分。在描述的 场景中，人300坐在沙发330中并且因此当他或她移动时触发区C中的改变。根据本发明 的系统可以例如从其中得出人300不在睡觉的结论，并且可以例如根据之前建立的需要调 节房间的照明以及房间温度。区A、B和C是通常不经常修改的静态区，而最多需要在用户 的需要或物理情形改变的情况下重新配置。根据本发明的系统自身从人300的轮廓数据和 运动数据定义了动态区X。在图3b中更详细地示出。这里以将人300的轮廓线包含在内的 方式已经由系统建立了矩形的动态区X。在动态区X的情境下，如果在或短或长的时间跨 度中没有检测到变化，即如果其状态保持不变，则情况可能是严重的。这可以是例如如果人 300跌倒的情况。如果他或她保持不动超过大概4至10秒，则系统检测到反常的状态并且 做出输出警报作为动作的决定。因此该动态区X是不断监视的区，并对该区预先限定的状 态和状态的改变进行检查。
根据本发明的系统通过由图3中点线描述的轮廓标识人或对象。由于通常房间中 通常只有有限数目的人，因此轮廓不但可以被用来检测还可以被用来标识人。这同样适用 于对象。如果打开的笔记本电脑380，例如没有放置在书桌350上而是在沙发330上，并且 处于其上的区C中，则该系统会识别出这个并且会避免某些如果人300已经坐在沙发330 上会采取的动作。
根据本发明的系统可以基于人(系统对人已经定义了动态区X)的手势识别期望哪 个功能。对此，该系统必需已经向其解释了何时运动要被评估为手势，而何时不是。完全凭 直觉地，人指向对象会向那个方向伸展他或她的手臂，从而使得确定手势的一种可能的方 法是确定前臂和上臂之间的角度，从而使得该姿势(position)—定被保持事先规定的时间 跨度，例如几秒。然后，如果运动被识别为手势，则根据本发明的系统不但可以指示进行该 手势的人的位置坐标，而且还可以指示他或她所指的方向。参考空间固定的坐标系统来有 用地确定该方向指示。对人定义动态区X避免未经授权的人进行手势而导致不期望的动 作。还排除了可能由拉上窗帘等造成的失误。
在一方面对于定义动态区而在另一方面对于手势识别是必要的运动识别通过两 个基本技术的组合实现，即对图像的差别分析和背景补偿(已在不同的情境下讨论过)。图 像的微分分析涉及基于每个像素的连续帧的比较。在限定的限制或范围内检测各个像素的 亮度和颜色上的改变，从而确定移动对象的构成成分。如果参数上的改变超过限定的、可配 置的限制，则像素被标记为移动对象的构成成分。背景补偿基于在长时间跨度上的背景图 像的保持，由在多个连续帧上大体上没有改变的像素组成。各个像素的参数值的时间序列 被调查，并且在存在也可配置的特定稳定性标准的情况下被分类为背景的部分。然后，每个 新的帧置于当前的背景图像上并和该背景图像进行比较。因此有可能相对于可能连续稳定 的背景识别出移动的对象。针对例如一天时间造成的外部影响背景图像自动调整自身。与 专一地差别运动识别(其以短得多的时间范围工作)相反，这种用可配置的权重和序列长度 对多个在前帧取的加权平均产生了对象识别和模式识别(尾(tail))上的提高。这两种技 术的组合使得关于具有不同速度或位置的移动对象的更高可靠性成为可能。
一旦已经识别出(可能)属于被调查的对象的改变，标识聚类(cluster)。聚类是属于移动对象的隔离且相邻的像素组，且其参数已经根据上述方法发生改变。实现这个的一种方法是使用Hoshen-Kopelman算法,或在线性时域中其它基于渗透理论的算法,而不需要易于产生误差的回归函数。
然后使用k_均值聚类技术分析标识出的聚类，其最终向单个移动对象分配限定的中心点和闭合相连的结构。
把对象的横向运动暂放一边，还利用对象的深度识别。分析对象的运动而无需对象的可感知的侧向运动的发生。与前述的运动识别技术相互作用，当对象不但在二维X-Y 坐标系统上并且还在第三维方向Z上移动时识别也是可能的。对象的深度运动产生表示例如对象收缩(shrinking)的改变，对象收缩是由于到相机的距离增加。对这个变化过程的短期和长期分析使能对房间中多个物体就其尺寸而言更精确的区分。使得更精确的手势识别也成为可能，从而使得相对于相机的直接的朝向不必要。只要之前已经对对象的运动进行了足够长的分析，则即使有相对于相机的就直接朝向而言的较小偏差也可以识别手势。
必须事先向根据本发明的系统提供必要的信息。由以下将结合图4描述的配置操作来服务于这个目的。这利用了如下事实根据本发明的系统被配置为学习系统。图4示出具有状态区域410和文档区域420的配置屏。在文档区域420打开屏幕窗口 430，可以在该屏幕窗口上进行各种设置。
在状态区域410，借助于改变颜色的域显示状态。当然可以不同的方式使得状态可见；这在本领域的技术人员的自由裁量之内。
状态区域410首先包括窗口 412，其指示人是否在房间中(存在在场(presence attendant))。如果没有在房间中检测到人，则域412保持黑色。一旦人出现，域412变绿。
用尺寸或体积区分在相机的视野中存在的人和/或对象，并且相应地发出不同警报的信号。对于在其中成人具有和儿童同样的尺寸或体积的情况，不在对成人的警报和对儿童的警报之间进行区分。这里需要适合于每天使用的、关于尺寸/体积的对象的可感测划分。
域414指示是否已经出现可能的紧急情况(身体在地上)。只要不是这种情形，则域414保持中性灰色；如果确定某人正躺在地上，且系统必须假定他或她已经跌倒且不借助帮助就不能起来，则该域变红。
如果当房间中某人不动时而需要发出紧急呼叫，首先必须做出关于存在正常状态还是警报状态的决定。对此，必须通过区来尽可能准确地对这个姿势(position)标记床或另一个休息装置。对于学习过程，现在人进入房间并且任意长时间地、以任意的频率在房间中移动。正常的状态会涉及该人上床、躺下并且在特定时间t内不动。这些对于使这个姿势被系统自动地记录都是必要的。
对于警报状态，该人在相机的视野中任意地移动，并且然后该人的运动突然停止， 例如由于意外事件或丧失意识，且该人在标记的休息区外保持不动。在这种情况下在时间 h后触发警报。
域416指示在定义的区(例如图3a和图3b中的Α、Β、0·Χ)的一个区中改变是否可标识(区中的动作)。如果不是这种情况，则域416保持中性灰色；否则其亮起为绿色。
由目前的配置屏，存在定义被顺序编号为1，2，3，-9的九个区(区)的可能性。用于区的指示符域聚集在一起成为类似矩阵的布置418。
域422提供有关门或窗的状态的信息。只要门或窗是关闭的，则域422保持中性 灰色；如果其中一者或两者是打开的，则该域信号变为红色。
感兴趣的窗和门必须位于相机的视野内。系统有必要经历学习的过程，这样其知 道关闭的窗和关闭的门，以及开的窗和开的门之间的区别。为此，一次向系统示出关闭的状 态的窗和门，一次向系统示出开状态的窗和门。此外，在相应的校准后，如果期望，还可以在 半开的状态之间进行区分。
要识别其手势的人必须在相机的视野中并面对相机。取决于该人与相机的距离， 该人如果站得远要比站得近时做更大的手势。稍后参照屏幕窗口 430详细地描述校准。
域424指示该人是否已经执行了手势。如果这还没有发生，则域424保持中性灰 色；否则其点亮为绿色。域422和域424两者都可以包含计数域(具有黑色的背景)，其中记 录相应的事件数目。提供两个域426用于传感器(传感器#1，传感器#2)，例如用于煤气传 感器和温度传感器，并且如果煤气传感器检测到煤气或温度传感器确认温度已经超过或落 到低于特定的值时分别发生颜色改变。最后，提供两个域428，其提供有关由亮度传感器(图1中116)提供的亮度(亮度)的信息。
如果系统经由例如麦克风(图1中118)记录了噪音，则首先记录电平(level)。麦 克风有用地与可视地操作存在报告器(reporter)组合。如果在相机的成像区域中没有对 象移动，但是系统正在接收足够大声的噪音，则指示存在至少一个人。在这种情况下不辨别 人数。此外如果人拍掌，则还可能建立要触发哪个警告、消息或功能。
稍后将结合图5描述文档区域420。
屏幕窗口 430示出编程根据本发明的能够学习的系统用于手势识别的例子，其中 设置可修改的参数(高级的设置(Advanced Settings))，该参数优化图像处理。例如，首先 限定阈值(阈值(Threshold))，其规定到底是否会检测动作，以及限定被识别为聚类的最小 的体积(最小体积(Min Mass))。就数目(尾(Tail))和权重(尾重(Tail Weight))对巾贞的 历史的评估(已在之前讨论过)合并过去的图像。图像被压缩(Log Size (kb)),图像质量 (IMG Quality),图像比率(MG ratio))用于存储在闪速存储器(图1中的130)中。手 势由标识为首标的聚类的最小和最大要求的长度(手势最小(Gest Min),手势最大(Gest Max))限定，由角度(手势角度(Gest Angle))、持续时间(手势时间(Gest Time))、允许的偏 离(手势偏离(Gest Dev))限定，以及参照过去的多个手势(手势跟踪(Gest Trail))限定。 使用“提交”将参数存储在系统中。
图5示出使用期间在配置之后的屏幕。已经结合图4解释了状态区域410。该系 统已经确认人在房间中(域412)，地上没有人(域414)，以及在区中正在发生改变(域416)， 特别是在区2和3中(域418)。门和窗是关着的(域422)，没有识别出手势(域424)，传感器 没有感测到任何反常的情形(域426 )，且已经相应地调节了亮度(域428 )。
文档区域420包括颜色显示500，其基本上只用在系统的配置上并且通常随后被 无效(deactivate)。对于根据本发明的系统，出于数据保护的原因，计划只有特定的状态触 发警报或消息，但是通常不会输出图像材料，因此没有任何类型的监视相机功能，且隐私保 持无条件地被保护。然而会有特定的情形，在该情形下不但只是期望的，而且事实上需要激 活屏幕功能。例如如果需要使用根据本发明的系统帮助虚弱和特别是痴呆的人时，是这种 情况。例如，如果检测到人不动地躺在地上时，摄取快照可能是非常有用的。
系统现在已经确认有人在房间中；这通过对于人的当前位置坐标和计数域中的数目的方式记录在域510中。根据520，该人被识别为成人。自从人进入房间的时间从域530 中的记录是明显的。记录了人和房间中定义的区的坐标。
图5的又一个目的是解释如何借助于根据本发明的系统进行对象保护。从颜色显示500的图像区域明显看出静态区D被定义在要保护的对象周围，在这种情况下是位于沙发上的笔记本电脑。根据本发明的系统识别笔记本电脑和其位于区D的事实两者。然后为这个区D设置警报，所述警报在于例如以下事实相应的SMS被发送到授权人的移动电话。 只要授权的人还没有接收到在这个情境下的SMS，他或她知道笔记本电脑还在原处。如果在闯入的情况下笔记本被从沙发拿走，则系统检测到区D中的变化，触发警报且发出SMS，因此被授权的人可以立即开始合适的动作并且例如通知警方。
还可以对这样的情况激活屏幕功能。一旦触发警报，系统摄取场景的快照以供后来使用。
区原则极大程度地降低了系统的计算工作，并且特别地正是区原则使手势控制在事实上合理地可能。为了将变化辨别为手势，系统只需要观察为人定义的动态区X。事先限定要用该手势控制的装置或开关并传达给系统。由于不再需要直接接触开关、按钮或触摸屏，因此对老年人和虚弱的人来说操作装置以及因此独立且舒适地行动就不再是问题。
如果用户设置静态区(例如电视机前的沙发)并选择IR装置的操作作为选项，则还有可能控制IR装置。当人随后进入该区时，在时间^后开启IR装置。当人离开该区时， 在时间t2后关闭该装置。在这种上下文可以直接从系统中存在的IR LED输出IR消息。在以上描述、附图和权利要求中公开的发明特征对单独地或组合地实现本发明都可以是重要的。
权利要求
1.一种系统，用于处理视觉、听觉、嗅觉和/或触觉信息用于认知地确定至少一个房间和/或至少一个人和/或至少一个对象的至少一个状态，以及用于做出并实施作为至少一个识别出的状态的函数的决定，所述系统包括 第一识别模块，其被至少设计为确认人和/或对象的存在且可选地标识人和/或对象，且其输出对应的电信号； 一组传感器，该组传感器被设计为定量地或定性地获取视觉、听觉、嗅觉和/或触觉信息以及输出对应的电信号；以及 评估逻辑系统，用于处理至少从该第一识别模块和从该组传感器输出的信号， 其中 对于所述至少一个房间，使得包括一个或更多个静态区的二维或三维地图是可用的，每个统计区表现该房间的将从其获得有关该房间、人和/或对象的状态的视觉、听觉、嗅觉和/或触觉信息的区域； 提供了一种装置，一旦所述第一识别模块发出在该房间中存在一个或更多个人的信号，该装置为所述人中的至少一个人定义动态区，将从该动态区获得来自该人或有关该人的运动信息；以及 该评估逻辑系统从处理的信号识别该房间和/或人和/或对象的状态，只使用源自所述区之一的视觉信息来识别该状态，并且基于识别出的状态做出是否要发起动作的决定。
2.根据权利要求1所述的系统，其中所述第一识别模块确认人或对象的轮廓，并且基于该轮廓确定他的/她的/它的身份。
3.根据权利要求1所述的系统，其中提供所述第二识别模块，其设计为检测人的运动，所述第二识别模块只从动态区获取信息。
4.根据权利要求1至3之一的系统，其中所述第一和/或第二识别模块是所述评估逻辑系统的部分。
5.根据权利要求1所述的系统，其中所述动作是给外部接收机的消息。
6.根据权利要求1所述的系统，其中提供单个的相机用于从所有区获取视觉信息。
7.一种方法，用于处理视觉、听觉、嗅觉和/或触觉信息以供认知地确定至少一个房间和/或至少一个人和/或至少一个对象的至少一个状态，以及用于做出并实施作为至少一个识别出的状态的函数的决定，包括下述步骤 至少确认人和/或对象的存在且可选地标识人和/或对象，且输出对应的信号； 定量地或定性地获取视觉、听觉、嗅觉和/或触觉信息以及输出对应的电信号；以及 处理输出的信号， 其特征在于 为房间定义一个或更多个静态区，每个静态区表现该房间的、将从其获得有关该房间、人和/或对象的状态的视觉、听觉、嗅觉和/或触觉信息的区域； 一旦确认在该房间中存在一个或更多个人，为所述人中的至少一个人定义动态区，将从该动态区获得运动信息； 从该处理的信号识别该房间和/或人和/或对象的状态，只使用来自所述区之一的视觉信息来识别该状态；以及 基于识别出的状态做出是否要发起动作的决定。
8.根据权利要求7所述的方法，其特征在于 指定一组条件； 为来自该组条件的每个条件定义一个或更多个临时静态区； 检查是否已经发生至少一个条件；以及 激活为该至少一个条件定义的临时静态区；以及 从临时静态区获得视觉信息。
9.根据权利要求7所述的方法，其中确定人或对象的轮廓，并且基于该轮廓确定他的/她的/它的身份。
10.根据权利要求7所述的方法，其中检测到人的运动，只使用来自动态区的信息。
11.根据权利要求7所述的方法，其中所述动作是给外部接收机的消息。
全文摘要
本发明涉及用于处理视觉、听觉、嗅觉和/或触觉信息的系统和方法，从而认知地确定至少一个房间和/或至少一个人和/或至少一个对象的至少一个状态以及从而做出并实施决定，其中为该至少一个房间提供二维或三维地图，所述地图具有一个或更多个静态区，其中每个静态区代表该房间的区域，将从该静态区获得有关该房间、某个人和/或对象的状态的视觉、听觉、嗅觉和/或触觉信息，而且，一旦发出在该房间中存在一个或更多个人的信号，就为所述人的至少一个人定义动态区，将从该动态区获得该人或有关该人的动态区运动信息，其中只使用源自所述区之一的区的视觉信息来识别状态。
文档编号G05B19/042GK103003761SQ201080068230
公开日2013年3月27日 申请日期2010年7月22日 优先权日2010年7月22日
发明者H.凯曼, M.纳罗克基 申请人:吉拉吉尔斯芬两合公司