基于出门状态识别的电子设备监测提醒系统的制作方法

本发明涉及电子技术，尤其涉及一种基于出门状态识别的电子设备监测提醒系统。

背景技术：

人们日常生活中，有一些需要随身携带的东西，比如钥匙、手机、钱包等，在上班过程中，通常家人一起出门，由于紧张匆忙，有人难免发生出门时忘带随身物品或错拿他人物品的情况，一时的疏忽，却带来很大的麻烦。现需要一种出门时进行电子设备监测系统，当一起出门的家人中有人忘记携带随身东西或错带他人物品时发出提醒。

技术实现要素：

本发明的目的是提供一种基于出门状态识别的电子设备监测提醒系统，当家人出门有人忘记携带随身物品或错拿他人物品时发出提醒。

本发明提出的一种基于出门状态识别的电子设备监测提醒系统，包括监测装置、门测装置、人体检测装置、移动电子设备、摄像装置以及提醒装置，监测装置与移动电子设备进行无线通信，摄像装置拍摄屋内门口区域，通过图像信息处理分析，识别门口用户，并发送监测装置，门测装置检测门的开关信号并发送监测装置，在门内侧设置人体检测装置，检测门内人体信号，并发送监测装置，其特征是建立用户图像信息与该用户关联电子设备的对应关系；如果人体检测装置检测到门内人体信号，监测装置判断用户欲从内出门，监测电子设备状态信息，并触发摄像装置对门口区域进行拍摄；摄像装置通过图像信息识别用户出门状态信息；当门打开，如果通过图像信息识别的用户出门状态信息与监测的该用户关联电子设备状态信息不一致，监测装置触发提醒装置发出提醒信息。

本发明预置用户图像信息与该用户关联电子设备的对应关系，一方面，通过门口区域图像信息分析，识别用户出门图像状态信息，另一方面，同时监测电子设备状态信息；在用户出门过程中，如果通过图像信息识别的用户出门状态信息与监测的该用户关联电子设备状态信息不一致，判断出门用户中有人未带或少带或错带电子设备出门，在用户离家前，发出相应提醒信息。

下面结合实施例，详细描述本发明的技术方案。

附图说明

图1是本发明一实施例的系统结构框图。

图2是本发明另一实施例的系统结构框图。

图3是本发明一实施例的结构布置图。

图4是本发明另一实施例的结构布置图。

图5是本发明一种出门电子设备监测提醒方法流程图。

具体实施方式

在图1所示的一实施例结构框图中，包括监测装置、门测装置、人体检测装置、移动电子设备、摄像装置以及提醒装置，监测装置包括第一微处理器、第一无线通信单元，电子设备包括第二微处理器、第二无线通信单元，监测装置和电子设备通过无线通信单元进行通信连接，并通过有线或无线方式控制提醒装置。

移动电子设备包括智能钥匙、有源门禁卡、智能手机，或与机械钥匙、钱包等关联的电子终端。电子设备和监测装置之间是一种近距离无线通信，包括wi-fi、蓝牙、红外线、超宽带、rfid、zigbee、nfc等，当监测装置与电子设备之间的间距处于通信范围，自动进行无线通信。

电子设备还可以是智能手机，通过手机中应用程序，控制处于监测范围的手机通过蓝牙与监测装置进行信息传递。

摄像装置通过有线或无线方式与监测装置进行通信连接。根据摄像装置设置方式的不同，摄像装置可以有不同的结构组成，比如摄像装置可与监测装置整合在一起，设置在屋内门框或门口附近墙壁上，在摄像装置中设有摄像头，拍摄门口区域图像，把拍摄的图像信息发送监测装置进行处理分析，识别出门用户状态信息。此外，摄像装置还可以与监测装置分开，设置在屋内某处，并朝向门口方向，拍摄屋内的门口区域图像，在摄像装置中设有摄像头和图像处理识别模块，对摄像头拍摄的图像进行分析处理，识别出门用户状态信息，通过无线通信方式把识别结果发送监测装置。

门测装置检测门的开关信号，通过有线或无线方式把检测信号发送监测装置；门测装置包括智能门锁、门磁，或接触传感器等其它装置，比如rfid射频装置，在门或门框上设置rfid标签，在门框或门上设置rfid阅读器，当门关闭，两者贴近，rfid阅读器接收到rfid标签反馈信号，当门打开，两者远离，rfid阅读器接收不到rfid标签信号，通过rfid阅读器是否接收到rfid标签信号，判断门的开关状态。门测装置还可以是一个触点开关，当门关闭，触点接通（或断开），当门打开，触点断开（或接通），根据触点的接通断开，判断门的开关状态。

在门内侧设置人体检测装置，检测门内人体信号，通过有线或无线方式发送监测装置；所述人体检测装置可以是设置在门口的红外感应器、光电感应器、超声波发射接收器、激光发射接收器、震动感应器中任一种，检测进入门口区域的人体信号。

当人体检测装置检测到门内人体信号，监测装置判断用户欲从内出门，监测电子设备状态信息，唤醒摄像装置对门口区域进行拍摄。

所述提醒装置包括门口设置的语音输出装置，监测装置控制语音输出装置播放语音信息。提醒装置还可以是电子设备中设置的提醒单元，如图2所示，监测装置通过无线方式唤醒电子设备中的提醒单元发出提醒信息。

在图3所示的一种实施例结构布置图中，门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，人体检测装置4设置在内侧门框3上，摄像装置5设置在屋内，并朝向门口方向设置，拍摄门口区域图像，通过图像处理识别出门用户状态信息，通过无线方式把识别结果发送监测装置6，监测装置6设置门框3上，接收门测装置1检测的开关门信号和人体检测装置4检测的人体信号，以及摄像装置5反馈的识别信息，并与电子设备7进行无线通信，以监测电子设备7状态信息。

在图4所示的另一种实施例结构布置图中，门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，人体检测装置4与摄像装置5、监测装置6整合在一起，设置在屋内门框3上，监测装置6监测电子设备7状态信息。

监测装置可以布置在门口区域，如门框或墙壁上，也可以布置在屋内某处，比如图4中与摄像装置整合在一起，并距离门口适当距离，通过无线方式接收门测装置和人体检测装置发送的检测信号。

在图5所示的一种出门电子设备监测提醒方法流程图中，在系统中建立用户图像信息与该用户关联电子设备对应关系，监测装置根据门内人体检测信号监测电子设备状态信息，并控制摄像装置进行拍摄，如果通过图像信息识别的用户出门状态信息与监测的该用户关联电子设备状态信息不一致，监测装置触发提醒装置发出提醒信息，具体过程如下：

（1）在系统中建立用户图像信息与该用户关联电子设备对应关系；

（2）人体检测装置检测门内人体信号，发送监测装置；

（3）是否检测到门内人体信号，如果是，监测装置判断用户欲从内出门，进入下一步，如果否，转入步骤（2）；

（4）监测装置监测电子设备状态信息；

（5）摄像装置拍摄门口区域图像，通过对图像信息的处理分析，识别出门用户状态信息；

（6）是否检测到开门信号，如果是，进入下一步，如果否，转入步骤（4）；

（7）通过图像信息识别的用户出门状态信息与监测的该用户关联电子设备状态信息是否一致，如果是，转入步骤（9），如果否，进入下一步；

（8）发出提醒信息；

（9）是否检测到关门信号，如果是，转入步骤（2），如果否，转入步骤（4）。

在监测装置中设置存储单元，预置用户图像信息与该用户关联电子设备的对应关系。根据电子设备的id信息，把系统中同一用户下的每个电子设备关联在一起，并建立与该用户图像信息的对应关系，通过用户图像信息可以锁定该用户所有关联电子设备，通过其中任一个电子设备id信息，可以对应该用户图像信息，如下表所示：

用户a图像信息，电子设备a1、电子设备a2、电子设备a3……

用户b图像信息，电子设备b1、电子设备b2、电子设备b3……

……。

系统可以采集用户单独出门过程中的图像信息和同时监测的关联电子设备信息，通过分析处理，提取用户图像特征信息，自动建立用户图像信息与该用户关联电子设备对应关系，以便在用户出门过程中，通过图像对比分析，识别该用户，进而锁定其关联电子设备。也可以在监测装置中首先建立用户与电子设备的对应关系，然后在用户携带其关联电子设备出门过程中，建立拍摄的图像信息与监测的电子设备信息之间的关联。

用户图像信息在用户携带其电子设备出门过程中不断拍摄更新，通过自我学习，提高通过图像信息识别出门用户的准确性。

监测装置通过门内人体检测信号触发监测电子设备的状态信息。所述电子设备状态包括电子设备的室内位置，或电子设备距监测装置的距离，或监测装置监测的电子设备信号强度，或电子设备运动信息中的至少一种，可以单项采用，也可多项综合采用。

监测装置可以通过电子设备的状态信息变化判断该电子设备的运动状态，也可以在电子设备中设置运动传感器，比如加速度计、陀螺仪等，检测运动信息，并发送监测装置。

所述室内位置是采用无线通讯方法，对电子设备在室内空间中的位置进行定位，室内无线定位技术方法不同，其定位精度各有差异，优选rfid定位技术，利用射频方式进行非接触式双向通信交换数据，实现电子设备识别和定位，它可以在几毫秒内得到厘米级定位精度的信息，且传输范围大、成本较低。

所述距离可以根据信号强度与距离关系推断，比如采用蓝牙技术，可以根据监测装置接收的蓝牙信号强度rssi值与距离的关系，判断电子设备距离监测装置的距离。蓝牙信号强度在0~3米范围对距离变化十分灵敏。

通过电子设备设备的室内位置、距离监测装置的距离以及监测装置接收的信号强度，可以判断电子设备之间的相对位置关系。

当检测到门内人体信号时，监测装置判断用户欲出门，控制摄像装置拍摄门口区域图像，通过图像信息处理分析，识别用户出门状态信息。所述用户出门状态信息包括用户出门过程的移动状态信息，或用户出门过程中的站立状态信息，或用户出门过程中的相对位置关系，或多个用户出门时距离屋门的相对远近中的至少一种。

所述摄像装置通过对比前后两次拍摄的同一用户图像人体几何尺寸大小变化识别用户移动、站立、靠近或远离屋门的出门状态。根据摄像装置拍摄方向的不同，识别方法也不同。比如图3所示的摄像装置设置在屋内，朝向门外，可以拍摄到出门用户的背部图像信息，如果前后两次拍摄的同一用户图像人体几何尺寸大小发生变化，说明该用户在移动，如果前后两次拍摄的同一用户图像人体几何尺寸大小未发生变化，说明该用户站立不动，如果前后两次拍摄的同一用户图像人体几何尺寸变小，说明该用户在靠近屋门，如果前后两次拍摄的同一用户图像人体几何尺寸变大，说明该用户在远离屋门。

在图4所示的系统布置图中，摄像装置设置在门框上，朝向门内，可以拍摄到出门用户的正面图像信息，如果前后两次拍摄的同一用户人体图像几何尺寸大小发生变化，说明该用户在移动，如果前后两次拍摄的同一用户图像人体几何尺寸大小未发生变化，说明该用户站立不动，如果前后两次拍摄的同一用户图像人体几何尺寸变小，说明该用户在远离屋门，如果前后两次拍摄的同一用户图像人体几何尺寸变大，说明该用户在靠近屋门。

所述摄像装置通过分析同一帧图像中多个用户图像之间的遮挡关系判断用户距离屋门的相对远近。比如两个用户a、b同时出门，其中用户a走在用户b前面，用户a距离门口比用户b要近，通过图像信息中两者之间的遮挡信息可以反映相互位置关系，比如在图3所示的系统布置图中，摄像装置拍摄到用户a的部分图像信息被用户b图像遮挡，在图4所示的系统布置图中，则是用户b的部分图像信息被用户a图像遮挡。摄像装置通过用户图像之间的遮挡关系还可以判断用户之间前后相对位置关系。

此外，摄像装置通过分析同一帧图像中多个用户图像之间左右关系可以判断用户之间左右相对位置关系。

系统工作中，每间隔一定时段如0.1、0.5、1秒，同时进行一次电子设备状态信息的监测和用户图像信息的拍摄，并通过图像信息识别用户出门状态信息。当检测到开门信号，监测装置对比用户出门状态信息与该用户关联电子设备状态信息是否一致，当两者状态信息不一致，监测装置触发提醒装置发出提醒信息。

所述用户出门状态信息与该用户关联电子设备状态信息不一致包括两者状态信息反映的移动与静止状态不一致，当用户图像状态信息发生移动变化的同时，该用户关联电子设备静止，其监测状态信息不发生变化，说明用户出门未携带该电子设备；或当用户站立，其图像状态信息不发生变化的同时，该用户关联电子设备监测状态信息发生移动变化，说明该电子设备被他人错带。

所述用户出门状态信息与该用户关联电子设备状态信息不一致包括两者状态信息反映的移动方向不一致，当用户出门图像状态信息发生靠近屋门的变化同时，该用户关联电子设备监测状态信息发生远离屋门的变化；或当用户出门图像状态信息发生远离屋门的变化同时，该用户关联电子设备监测状态信息发生靠近屋门的变化，判断所述电子设备被他人错带。

所述用户出门状态信息与该用户关联电子设备状态信息不一致包括两者状态信息反映的移动速度不一致，用户发生靠近或远离屋门状态的图像信息变化速度与该用户关联电子设备同时发生靠近或远离屋门状态的监测信息变化速度不一致，判断所述电子设备被他人错带。

同一单位时段内的图像状态信息和监测状态信息变化值可以对应其移动速度的快慢，比如每秒内两次拍摄的同一用户人体图像几何尺寸变大或变小值反映了该用户移动速度快慢，同时，每秒两次监测的电子设备信号强度差值反映了该电子设备的移动速度快慢，当然两者都不等于移动速度。

所述系统采集用户出门过程的图像信息变化和同时监测其关联电子设备的状态信息变化，通过统计建立图像信息变化速度与电子设备状态信息变化速度的对应关系，并根据新的采集监测信息不断进行调整、适应，所述对应关系可以是统计公式，也可以是两个关联的统计区间。以所述对应关系为标准，如果用户出门过程的图像信息变化值和同时监测的其关联电子设备状态信息变化值符合所述对应关系，也就是满足统计公式、或都落入各自统计区间，判断两者移动速度一致，否则判断两者移动速度不一致。

所述用户出门状态信息与该用户关联电子设备状态信息不一致包括两者状态信息反映的相对位置不一致，用户出门过程中图像状态信息中左右位置关系与监测的电子设备状态信息中的左右位置关系不一致，比如通过图像信息识别的用户a、b之间的相对位置关系是用户a在左用户b在右，而同时通过两用户关系电子设备的室内位置判断的相对位置关系是用户a在右用户b在左，或用户出门过程中图像状态信息中前后位置关系与监测的电子设备状态信息中的前后位置关系不一致，比如通过图像信息识别的用户a、b之间的相对位置关系是用户a在前用户b在后，而同时通过两用户关系电子设备的室内位置或距离监测装置距离或监测装置接收的信号强度判断的相对位置关系是用户a在后用户b在前，判断所述用户错带该电子设备。

所述用户出门状态信息与该用户关联电子设备状态信息不一致还包括通过图像识别的多个出门用户距离屋门的相对远近与通过电子设备监测信息判断的出门用户距离屋门相对远近不一致，判断所述用户错带该电子设备。

所述系统通过屋门上监测装置接收的电子设备信号强度变化判断该电子设备处于移动状态，通过信号强度不变判断该电子设备处于移动停止状态，通过信号强度由弱增强的变化判断该电子设备靠近屋门，通过电子设备信号强度由强减弱的变化判断该电子设备远离屋门，通过多个电子设备信号强度之间相对强弱判断电子设备距离屋门的相对远近。

用户出门多是鱼贯而出，系统可以首先对走在前面的出门用户进行分析判断，对比该用户出门状态信息与该用户关联电子设备状态信息的变化是否一致，也就是对比用户出门过程中的移动状态与电子设备的移动状态是否一致，然后再对其后的出门用户进行分析识别，根据出门顺序依次通过用户图像状态信息和电子设备监测状态信息的同步变化对出门用户和携带的电子设备进行识别判断。

在用户出门过程中，如果发生用户临时站立停止的状况，可以通过移动与停止的对比，从移动的用户中识别出停止的用户。

当有多个用户同时站立停止时，可以通过他们停止的时间先后进行区分识别，也可以通过他们的相对位置关系加以区分识别。

总之，以运动变化识别为主线，再通过动中找静、静中比较时间先后或相对位置关系的方法，逐个对出门用户与其关联电子设备进行状态信息比对，如果发现信息变化步调不一致的用户和电子设备，监测装置控制提醒装置发出提醒信息。

所述提醒装置包括设置在门口的语音输出装置，比如扬声器，监测装置控制语音输出装置发出相应提醒语音。在所述语音输出装置中设置语音转换器，把文字信息转换成语音播放。

进一步，在系统中预置用户名称，监测装置通过语音输出装置播放用户出门状态信息与其关联电子设备状态信息不一致的用户名称。

进一步，在系统中预置电子设备名称，监测装置通过语音输出装置播放用户出门状态信息与其关联电子设备状态信息不一致的电子设备名称。

所述提醒装置还包括设置在电子设备中设置的提醒单元，监测装置通过无线方式唤醒所述未带或被错带的电子设备发出提醒信息，引起用户注意，以便找寻或纠错。

电子设备中的提醒单元包括震动器或轰鸣器或led灯，发出震动或轰鸣声音或闪烁等提醒信息。

上述方法在未检测到人体信号时，监测装置和摄像装置处于休眠或待机状态，通过门内人体检测信号的唤醒系统转入工作状态，以节约系统能耗。在不考虑系统能耗的情况下，系统可以使摄像装置始终处于工作状态，拍摄门口区域用户图像，并通过图像信息处理，识别用户出门状态信息，在识别到用户出门信息时，判断用户欲出门，唤醒监测装置监测电子设备出门信息，再进一步结合开门信号，进行图像信息和监测信息的对比判断和提醒。

进一步，系统可以通过内置无线通信模块的其它智能家居，如智能wifi、智能电视、智能温控器、智能开关、智能安防设施等等与电子设备进行短距离通信，以扩大监测装置的通讯覆盖范围。

进一步，系统还包括联网单元，如wifi模块，连接系统到网络服务器或智能手机等外围设备，通过外围设备可以对系统进行无线信息传递。

本发明是基于家门通常处于关闭状态，也就是说在用户进出时才开门，然后关闭。

对于相反情况，比如办公室，门通常处于打开状态，在用户离开时关闭，可以把人体检测装置设置门外侧，比如在门外侧把手上设置触摸感应器，当检测到门外人体触摸信号，判断用户要出门。或是反向安装门测装置，把门测装置一部分安在门上，另一部分安在与开门状态的门接触的地方，如墙上，通过两者离开，判断用户要关门，两者贴近，判断用户开门，监测装置设置在门框上，或是屋内某处，监测电子设备状态信息。