专利名称：跟踪家庭居民正常行为的系统和方法
技术领域：
本发明涉及家庭控制系统。更加具体地说，本发明涉及能够跟踪通过家庭居民特定行为实现的一系列动作的家庭控制系统，以便预先采取行动或者在异常行为发生时触发报警信号。
背景技术：
在一般情况下，家庭控制系统都是基于有限事件的检测，或者是纯粹反应性的(即在检测到移动时开灯)，或者是经过编程的(即，在早上7点定时进行加热)。这些系统例如都没有掌握用户“通常”规律地进行操作的动作顺序，例如在某个时间回家、接通楼梯上的灯、上楼更衣、或者开冰箱拿饮料。结果，常规的家庭控制系统不可能预先采取行动，帮助用户实现日常活动，也不能在没有进行他们的例行动作时向用户或任何其它人发出警告。因此，在本领域内需要一种家庭控制系统，它能够自动检测异常行为或事件以预期下一步动作并触发报警信号。
发明内容
本发明涉及跟踪由家庭人员进行的一系列行动以确定家庭人员的行为的方法和系统，从而可以实现预期的动作，帮助家庭人员实现人员的日常活动。一旦家庭人员偏离正常的行为，这个系统还能够向人员提供报警信号。
按照本发明的一个方面，用于自动检测人的异常行为的方法包括如下步骤跟踪人完成的一系列动作以确定在预定区域内人的行为是否在监视之下；比较跟踪的行为与多个预定的正常行为中的至少一个行为以建立行为匹配；如果建立了匹配，则确定来自匹配的预定的正常行为中的至少一个动作是否被人忽略；当来自匹配的预定的正常行为中的至少一个动作是被人忽略时，发送报警信号，其中报警信号包括对话内容、信息内容、和提醒内容之一。该方法还包括如下步骤当来自匹配的预定的正常行为中的至少一个动作是被忽略时，通知预先指定的人，并且当建立匹配时预报和完成要由人来完成的来自匹配的预定的正常行为中的至少一个动作，其中预期的动作包括激励在监视区中提供的至少一个电子设备。在这个实施例中，人的行为是由照相机和声响传感器进行跟踪的。
按照本发明的另一个方面，用于自动检测人的异常行为的方法包括如下步骤观察人完成的一系列动作以确定在在监视的预定区域内人的行为；通过比较观察的行为与多个存储在正常行为模块中的预先确定的行为模式，识别观察的行为是否与多个预先确定的正常行为中的至少一个正常行为有关；当在正常行为模块中预先确定的正常行为模式中的至少一个没有完成时，向这个人发送报警信号，其中发送报警信号的步骤还包括，当来自匹配的预定的正常行为中的至少一个动作是被人忽略时，通知预先指定的人。该方法还包括如下步骤当观察的行为与多个预先确定的正常行为中的至少一个正常行为相关时，预期并实现要由人完成的预先确定的正常行为中的至少一个动作。
按照本发明的下一方面，用于自动检测人的异常行为的系统包括观察人完成的一系列动作以确定在监视的预定区域内人的行为的观察装置；分析观察装置的输出数据以确定观察的行为是否与多个预定的正常行为中的至少一个行为有关的分析装置，所说的行为由多个动作组成；存储预先确定的正常行为的存储装置；和，当多个预定的正常行为中的至少一个行为是被人忽略时向这个人发送报警信号的发送装置。系统进一步还包括当观察的行为与多个预先确定的正常行为中的至少一个正常行为有关时从要由人完成的预先确定的正常行为中预期出至少一个动作的装置；激励在监视区提供的至少一个电子设备的装置；当多个预先确定的正常行为中的至少一个正常行为被忽略时通知预先指定的人的装置。
结合附图参照以下的详细描述，将能更加完整地理解本发明的方法和设备，在这些附图中图1表示按照本发明的系统的总体实施例；图2是按照本发明的方法的总体流程图。
具体实施例方式
在以下的描述中，为了进行说明而不是为了进行限制，提出了一些特殊的细节，例如特殊的体系结构、接口、技术等，其目的在于彻底理解本发明。然而，本领域的普通技术人员显然清楚，本发明还可以在偏离这些特定细节的其它实施例中实施。为简洁和清楚起见，省去了对于公知的设备、电路、和方法的详细描述，因而不会因不必要的细节影响对于本发明的描述。
图1是按照本发明的家庭控制系统10的实施例的总体结构。本发明的系统10可以实施成任何的计算设备，如个人计算机或工作站，其中包含处理器(如中央处理单元(CPU))、存储器(如RAM、ROM)。如图1所示，本发明的系统10的主要部件包括观察单元12、时钟14、设备接口16、扬声器单元18、处理单元20、正常行为模块22、显示器24、存储器26、和用户接口28。在如图1所示的部件之间的传送可以通过以下所述的任何一个进行光纤、射频、铜线、局域网、宽域网、双绞线、等，或者根据不同的需要的任何一种类型的通信系统。
观察单元22可包括定位在家中各处的多个视频照相机，可保持预先选定的区域在实时的监视之下。观察单元22的功能是识别家庭人员正常行为的模式。在本发明中，正常行为包括一个动作表。提供时钟14是为了在观察家中不同位置家庭人员的行为的同时能够跟踪时间。照这样，系统10就能够记录在不同时间和不同地方发生的所有类型的动作序列，并且能够识别完成这些动作的人员。观察单元22可以是视频照相机、光学传感器、或检测人体热量的红外传感器，这些只是观察单元可能包括的许多可能的实施方案中的几种。观察单元22还可以有检测声音的能力。设备接口14耦合到位于家内各处的一系列电子设备上，如电视、冰箱、灯、立体声系统、等。因此，当正在由观察单元12监视的特定的人员激励这些设备之一时，系统10就能够检测到这个时间和位置。
在操作中，本发明的系统10在正常行为模块22中学习并登记特定人员随时间变化的“正常行为”。在正常行为模块22中存储的行为模式可以包括与动作图形一致声响。例如，在下午3点30分和下午4点之间，一个小孩有规律地打开前门并且喊道“妈妈，我回来了”，这个声音要发送到处理单元20并且作为一个“正常行为”进行存储。“正常行为”可以是基于时间的重复发生的行为模式，并且包括用户通常有规律地进行的一系列动作。例如，一个特定的人在一周期间总是下午7点前回家，并且完成下述的一系列动作开灯、开电视、开冰箱、等。正常行为还可以包括识别电标记的设备(即，如果给拉圾箱一个标记，系统10会注意到拉圾箱什么时候经过家的前门)。进而，当屋内各处的一系列电子设备作为特定人员的例行程序的一部分被激励的时候，正常行为还可以包括识别屋内各处的一系列电子设备。
在正常行为模块22中存储家中不同成员的正常行为以后，本发明的系统10比较由观察单元12检测到的特定人员的当前行为与存储在正常行为模块22中的预先确定的正常行为，以寻找行为匹配。为此，观察单元12与处理单元20通信，处理单元20分析来自观察单元12的数据，以确定由观察单元12观察的任何行为模式是否与存储在正常行为模块22中的预先确定的正常行为相关联。例如，观察单元12一旦注意到特定人员开始他或她的正常行为模式(即，此人在下午6点左右回家)，系统10就比较正常行为的这种图形与预先确定的正常行为的图形。然后，系统10确认在这个特定的正常行为之后的来自“预先确定的正常行为”的动作顺序，因此可以采取预期的动作帮助用户(即开楼梯上的灯、随后开适当的灯读报)。按另一种方式，可以对系统10进行配置，以便当检测到异常行为时或者当没有完成确认的动作图形之一时能够通知这个人(即，如果星期四早上离开家的人的正常行为包括拿出拉圾箱，系统10发出一个报警信号，这个报警信号可以是对话的内容(即，“你为什么没扔拉圾？”)或者是提醒的内容(即，“不要忘记扔拉圾”))。进而，对于系统10进行配置，使其在发生异常行为的情况下能够向任何其它指定的人发送一个信息信号(即，如果某个特定人在某个特定时间之前没有回家，则要通知其远方的亲属)。
因此，在观察的行为和预先确定的正常行为之间的匹配符合将导致一个预期的动作，即系统10激励随后的通常由这个人按照预先确定的正常行为要激励的下一个家用设备(即，这个人在某个时间回家、上楼、开冰箱、开阅读灯)。这样，系统10预先开启灯并在人开灯之前自动地开启这个灯。当只有部分匹配的时候，系统10发送一个报警信号，经过扬声器通知这个人这里存在异常。
可能存在与检测到的正常行为有关的严重程度的水平(severity level)，可以为检测到的行为指定一个严重程度水平，严重程度水平可能与特定的监视区结合使用。例如，将下落并且在半个小时内不升高设定为高水平，将没有拿出拉圾设定为低水平。对于前一种情况，还可将系统10设置成与用户选择的一个指定的人或者事故操作装置接触。这样，行为的确认可以是直接推断出来的，并且可以根据需要利用新的模型对于行为的确认进行更新。可以通过系统的安装程序手动设置严重程度的额定值为“公共感觉”值，但用户可以修改它们。接另一种方式，严重程度的额定值可由系统10根据用户的反馈进行修改。如果用户每天必须从冰箱拿出某种药来，则可以对系统10进行设置，使其总是能够提醒回家的用户，但如果用户跳过这个步骤进入了厨房，则要宣布“你忘了从冰箱中拿出什么东西吗？”。为了设置不同的严重程度的额定值，在用户和本发明的系统10之间存在适当的接口，以收集他或她希望将要被提醒的这种类型的事件或动作的用户额定值。为此，可以使用显示器24和用户接口(即，键盘和鼠标)与系统10进行互动。
在一个房间内跟踪一个人的技术依据由典型的视频照相机产生的一系列帧数据。在一个特定区别中跟踪一个人的移动在本领域中是众所周知的，可由各种方式实现。例如参见由Courtney提交的美国专利No.5969755等，这里参照引用了它的内容。Courtney的专利公开了一个系统，它能够提供来自目标移动的自动的基于内容的视频标引(video indexing)，其中的移动目标是使用移动分段方法检测的。通过在一个目标跟踪器中的分段数据来跟踪目标，从而可以按描述目标及其移动的注释曲线形式产生表示的视频符号。然后，使用基于规则的分类方案来标引(indexing)所说的曲线以识别感兴趣的事件，如目标的出现/消失、进入/退出、和移动等。
图2是说明由本发明完成的、用于检测由人完成的一系列动作以确定人的行为从而对于这个人可以进行一系列预期动作或者触发报警信号的操作步骤的流程图。在步骤200，可以扫描或比较人的移动或图像以识别是否有至少一个人在家中。然后，观察这个人的行为。在步骤220，通过比较观察的行为与在正常行为模块22中存储的多个行为模式，识别在步骤200观察的行为模式是否与多个预先确定的正常行为中的至少一个正常行为相关联。在正常行为模块22中的多个行为可以是图像以及声音。如果在预先确定的准确性范围内发现是匹配符合的，则处理单元20继续从观察单元22接收信号，以确定是否观察到异常行为、或者与预先确定的正常行为有关的动作序列之一是否在步骤240中被忽略。如果是这样，处理单元20产生一个控制信号，以便在步骤260经过扬声器18向用户发送报警信号。例如，如果预先确定的正常行为确认约翰每周五早上拿出拉圾容器后再去上班，当这个人离开去上班没有拿出拉圾容器时，系统10要用各种不同的格式通知约翰(即，“你为什么没有拿出拉圾？”、“不要忘记拿拉圾”、“尼科(他的妻子)，约翰忘记拿拉圾了”)。与此同时，如果在步骤240没有观察到非异常行为，则进行中的正常行为导致预期的动作(即，接通家中至少一个电子设备)。然后，处理单元20产生一个控制信号，在步骤280在人开灯之前激励预期激励的灯，由此允许这个人容易地完成他或她的例行任务。例如，如果这个人在他或她回家后总是有规律地立即开电视，系统10在检测到这个人进了家时将要自动地为这个人打开电视，因为这是确认的正常行为之一。
应当说明的是，图2是说明由本发明实现的过程的流程图，其中方框表示计算机软件指令，菱形框代表影响由方框表示的计算机软件指令执行的计算机软件指令。流程图表示本领域的普通技术人员需要制作电路或产生计算机软件以实现要求特定的设备进行处理的功能信息。
虽然表示并描述了本发明的优选实施例，但本领域的普通技术人员应该理解，在不偏离本发明的真正范围的情况下，可以进行各种变化和改进和可由等同物替换该单元。此外，可以进行许多改进以适应特定的情况和本发明的教导而又不偏离本发明的中心范围。因此，我们的期望是，本发明不限于作为实现本发明的最佳方式在这里公开的特定实施例，本发明包括落在所附的权利要求书范围内的所有的实施例。
权利要求
1.一种用于自动检测人的异常行为的方法，该方法包括如下步骤跟踪所说人完成的一系列动作以确定在监视的预定区域内所说的人的行为；比较所说确定的行为与多个预先确定的正常行为中的至少一个行为以建立行为匹配；如果建立了匹配，则确定来自匹配的预先确定的正常行为中的至少一个动作是否被所说的人忽略；当来自匹配的预先确定的正常行为中的至少一个动作是被人忽略时，发送报警信号。
2.权利要求1的方法，其中所说的报警信号包括对话内容、信息内容、和提醒内容之一。
3.权利要求1的方法，进一步还包括如下步骤当来自匹配的预先确定的正常行为中的至少一个动作被人忽略时，通知预先指定的人。
4.权利要求1的方法，进一步还包括如下步骤在存储介质中存储多个所说预先确定的正常行为。
5.权利要求1的方法，其中跟踪由所说人完成的一系列动作的步骤进一步还包括如下步骤获得所说人的面部的至少一部分图像。
6.权利要求1的方法，进一步还包括如下步骤如果建立匹配，从本来要由所说的人完成的所说匹配的预先确定的正常行为中预期出至少一个动作；自动地完成所说预期的动作。
7.权利要求6的方法，其中所说预期的动作包括激励在所说的监视区提供的至少一个电子设备。
8.权利要求1的方法，其中所说人的行为由照相机跟踪。
9.权利要求1的方法，其中所说人的行为由声响传感器跟踪。
10.权利要求1的方法，其中至少一个预先确定的正常行为之一包括确认多个个人进入监视区的时间。
11.一种用于自动检测异常行为的方法，包括如下步骤观察由一个人完成的一系列动作以确定在监视的预定区域内人的行为；通过比较所说观察的行为与多个存储在正常行为模块中的预先确定的行为的图形，识别所说确定的行为是否与多个预先确定的正常行为中的至少一个正常行为有关；当在所说正常行为模块中所说预先确定的行为模式中的至少一个没有完成时，向所说的人发送报警信号。
12.权利要求11的方法，其中所说的报警信号包括对话内容、信息内容、和提醒内容之一。
13.权利要求11的方法，进一步还包括如下步骤当来自所说的匹配的预先确定的正常行为中的至少一个动作是被人忽略时，通知预先指定的人。
14.权利要求11的方法，其中观察所说人的行为的步骤进一步还包括如下步骤获得所说人的面部的至少一部分图像。
15.权利要求11的方法，进一步还包括如下步骤当所说确定的行为与多个预先确定的正常行为中的至少一个正常行为相关时，从要由所说的人完成的所说预先确定的正常行为中预期并实现至少一个动作。
16.权利要求15的方法，其中所说预期的动作包括激励在所说的监视区提供的至少一个电子设备。
17.权利要求11的方法，其中所说人的行为由照相机跟踪。
18.权利要求11的方法，其中所说人的行为由声响传感器跟踪。
19.一种用于自动检测异常行为的系统，包括观察人完成的一系列动作以确定在监视的预定区域内所说的人的行为的观察装置(12)；分析所说的观察装置(12)的输出数据以确定所说观察的行为是否与多个预先确定的正常行为中的至少一个行为有关的分析装置(20)，所说的行为由多个动作组成；存储预先确定的正常行为的存储装置(22)；和，当多个预先确定的正常行为中的至少一个动作正常行为是被忽略时向所说的人发送报警信号的发送装置(18)。
20.权利要求19的系统，进一步还包括当所说观察的行为与多个预先确定的正常行为中的至少一个正常行为有关时从要由所说的人完成的预先确定的正常行为中预期出至少一个动作的装置。
全文摘要
一种用于自动检测和报警异常行为的家庭控制系统，包括在预定的监视区中观察人的行为的单元；处理来自观察单元的观察的行为输出数据的单元；和，图形识别模块，用于识别观察的行为是否与预先确定的正常行为有关。对于正在进行的预先确定的正常行为的检测导致提供预期的动作。在确认观察的行为异常时，触发一个报警信号以提醒用户。
文档编号G08B25/04GK1639752SQ03805329
公开日2005年7月13日 申请日期2003年2月19日 优先权日2002年3月7日
发明者H·J·斯特鲁贝, E·M·A·迪德里克斯, B·M·范德斯鲁伊斯, M·H·维伯克特, M·-S·李 申请人:皇家飞利浦电子股份有限公司