基于图像识别的出门电子设备监测提醒系统的制作方法

本发明涉及电子技术，尤其涉及一种基于图像识别的出门电子设备监测提醒系统。

背景技术：

人们日常生活中，有一些需要随身携带的东西，比如钥匙、手机、钱包等，在上班过程中，通常家人一起出门，由于紧张匆忙，有人难免发生出门时忘带随身物品或错拿他人物品的情况，一时的疏忽，却带来很大的麻烦。现需要一种出门时进行电子设备监测系统，当一起出门的家人中有人忘记携带随身东西或错带他人物品时发出提醒。

技术实现要素：

本发明的目的是提供一种基于图像识别的出门电子设备监测提醒系统，当家人出门有人忘记携带随身物品或错拿他人物品时发出提醒。

本发明提出的一种基于图像识别的出门电子设备监测提醒系统，包括监测装置、门测装置、电子设备、摄像装置以及提醒装置，监测装置与电子设备进行无线通信，摄像装置与监测装置通过有线或无线方式连接，门测装置检测门的开关信号并发送监测装置，其特征是建立同一用户下电子设备列表；监测装置控制摄像装置拍摄屋内门口区域，并通过图像处理分析，识别门口用户信息，发送监测装置；当检测到开门信号，监测装置根据电子设备监测信息，识别出门电子设备，并确定其所属用户电子设备列表；如果通过图像识别的门口用户信息与通过出门电子设备确定的出门用户电子设备列表信息不一致，监测装置触发提醒装置发出提醒信息。

本发明预置同一用户下的电子设备列表，通过监测的出门电子设备确定用户电子设备列表，通过电子设备列表判断出门用户，通过摄像装置拍摄的门口区域图像信息分析，识别门口用户信息；如果通过出门电子设备列表判断的出门用户个数少于通过图像识别的门口用户数，判断有人出门未带电子设备，如果通过出门电子设备列表判断的出门用户个数多于通过图像识别的门口用户数，判断有人出门多带了他人电子设备，如果通过出门电子设备列表判别的出门用户与通过图像识别的门口用户不一致，判断出门用户错带他人的电子设备而未带自己的电子设备，在用户离家前，发出相应提醒信息。

下面结合实施例，详细描述本发明的技术方案。

附图说明

图1是本发明一实施例的系统结构框图。

图2是本发明另一实施例的系统结构框图。

图3是本发明一实施例的结构布置图。

图4是本发明另一实施例的结构布置图。

图5是本发明一种出门电子设备监测提醒方法流程图。

图6是本发明另一种出门电子设备监测提醒方法流程图。

具体实施方式

在图1所示的一实施例结构框图中，包括监测装置、门测装置、移动电子设备、摄像装置以及提醒装置，监测装置包括第一微处理器、第一无线通信单元，电子设备包括第二微处理器、第二无线通信单元，监测装置和电子设备通过无线通信单元进行通信连接，并通过有线或无线方式控制提醒装置。

移动电子设备包括智能钥匙、有源门禁卡、智能手机，或与机械钥匙、钱包等关联的电子终端。电子设备和监测装置之间是一种近距离无线通信，包括wi-fi、蓝牙、红外线、超宽带、rfid、zigbee、nfc等，当监测装置与电子设备之间的间距处于通信范围，自动进行无线通信。

电子设备还可以是智能手机，通过手机中应用程序，控制处于监测范围的手机通过蓝牙与监测装置进行信息传递。

摄像装置通过有线或无线方式与监测装置进行通信连接。根据摄像装置设置方式的不同，摄像装置可以有不同的结构组成，比如摄像装置可与监测装置整合在一起，设置在屋内门框或门口附近墙壁上，在摄像装置中设有摄像头，拍摄门口区域图像，把拍摄的图像信息发送监测装置进行处理分析，识别门口用户。此外，摄像装置还可以与监测装置分开，设置在屋内某处，并朝向门口方向，拍摄屋内的门口区域图像，在摄像装置中设有摄像头和图像处理识别模块，对摄像头拍摄的图像进行分析处理，识别门口用户，通过无线通信方式把识别结果发送监测装置。

门测装置检测门的开关信号，通过有线或无线方式把检测信号发送监测装置；门测装置包括智能门锁、门磁，或接触传感器等其它装置，比如rfid射频装置，在门或门框上设置rfid标签，在门框或门上设置rfid阅读器，当门关闭，两者贴近，rfid阅读器接收到rfid标签反馈信号，当门打开，两者远离，rfid阅读器接收不到rfid标签信号，通过rfid阅读器是否接收到rfid标签信号，判断门的开关状态。门测装置还可以是一个触点开关，当门关闭，触点接通（或断开），当门打开，触点断开（或接通），根据触点的接通断开，判断门的开关状态。

监测装置通过开门信号并结合摄像装置识别的门口用户信息判断用户进出门，当检测到开门信号时，如果识别到门内有人，监测装置判断用户从内出门，如果未识别到门内有人，监测装置判断用户从外进门。

进一步，在门内侧设置人体检测装置，检测门内人体信号，通过有线或无线方式发送监测装置；所述人体检测装置是触摸感应器，设置在门内侧的门把手上，当触摸感应器感应到用户触摸信号，判断用户欲出门。

所述人体检测装置还可以是设置在门口的红外感应器、光电感应器、超声波发射接收器、激光发射接收器中任一种，检测处于门口区域的人体信号。

当人体检测装置检测到门内人体信号，监测装置判断用户欲从内出门，唤醒摄像装置对门口区域进行拍摄。

进一步，人体检测装置与门测装置结合，当门打开，如果门内人体检测装置检测到人体信号，监测装置判断用户从内出门，当门打开，如果门内人体检测装置未检测到人体信号，监测装置判断用户从外进门，结构框图如图2所示。

所述提醒装置包括门口设置的语音输出装置，监测装置控制语音输出装置播放语音信息。提醒装置还可以是电子设备中设置的提醒单元，如图2所示，监测装置通过无线方式唤醒电子设备中的提醒单元发出提醒信息。

在图3所示的一种实施例结构布置图中，门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，摄像装置4与监测装置5整合在一起，设置在屋内门框3上，监测装置5接收门测装置1检测的开关门信号和摄像装置4拍摄的图像信息，与电子设备6进行无线通信。监测装置5通过对摄像装置4拍摄的图像信息进行处理分析，识别门口用户信息，并监测电子设备6状态信息。

在图4所示的另一种实施例结构布置图中，门测装置1的一部分布置在门2上，另一部分布置在门框3上，以监测门2和门框3的开关状态，人体检测装置4设置在内侧门框3上，摄像装置5设置在屋内，并朝向门口方向设置，拍摄门口区域图像，通过图像处理识别门口用户信息，通过无线方式与监测装置6连接，监测装置6设置门框3上，接收门测装置1检测的开关门信号和人体检测装置4检测的人体信号，以及摄像装置5反馈的识别信息，并与电子设备7进行无线通信，以监测电子设备7状态信息。

监测装置可以布置在门口区域，如门框或墙壁上，也可以布置在屋内某处，比如图4中与摄像装置整合在一起，并距离门口适当距离，通过无线方式接收门测装置或人体检测装置发送的检测信号。

在图5所示的一种出门电子设备监测提醒方法流程图中，通过门测装置检测门的开关信号，监测装置根据开门信号唤醒摄像装置拍摄屋内门口区域图像，通过图像处理识别门口用户信息，根据用户开门过程电子设备监测信息，确定出门电子设备列表，根据图像识别的门口用户信息与出门用户电子设备列表信息之间的不一致性，发出相应提醒信息，具体过程如下：

（1）预置同一用户下的电子设备列表；

（2）监测装置监测电子设备状态；

（3）门测装置检测门的开关信号，发送监测装置；

（4）是否检测到开门信号，如果是，进入下一步，如果否，转入步骤（2）；

（5）监测装置唤醒摄像装置拍摄门口区域，通过门口区域图像信息处理分析，识别门口用户信息；

（6）监测装置根据开门过程中的电子设备监测信息判别出门电子设备，通过出门电子设备确定出门电子设备列表；

（7）通过图像识别的门口用户信息与通过出门电子设备确定的出门用户电子设备列表信息是否一致，如果是，转入步骤（2），如果否，进入下一步；

（8）发出相应提醒信息，转入步骤（2）。

在监测装置设置存储单元，预置用户电子设备列表信息。所述电子设备列表是根据电子设备的id信息，把系统中同一用户下的每个电子设备关联在一起，通过其中任一个电子设备id信息，可以锁定该用户电子设备列表，进而确定该列表中的电子设备，如下表所示：

用户a，电子设备a1、电子设备a2、电子设备a3……

用户b，电子设备b1、电子设备b2、电子设备b3……

……。

所述电子设备状态包括电子设备的室内位置，或电子设备距监测装置的距离，或监测装置监测的电子设备信号强度，或电子设备运动信息中的至少一种，可以单项采用，也可多项综合采用。

所述室内位置是采用无线通讯方法，对电子设备在室内空间中的位置进行定位，室内无线定位技术方法不同，其定位精度各有差异，优选rfid定位技术，利用射频方式进行非接触式双向通信交换数据，实现电子设备识别和定位，它可以在几毫秒内得到厘米级定位精度的信息，且传输范围大、成本较低。

所述距离可以根据信号强度与距离关系推断，比如采用蓝牙技术，可以根据监测装置接收的蓝牙信号强度rssi值与距离的关系，判断电子设备距离监测装置的距离。蓝牙信号强度在0~3米范围对距离变化十分灵敏。

在系统工作过程中，监测装置监测电子设备状态信息，门测装置监测门的开关信号，并发送监测装置，监测装置根据开门检测信号，唤醒摄像装置拍摄门口区域的图像信息，通过对图像信息的分析处理，识别门口用户信息。监测装置以检测到开门信号为时间节点，根据开门过程中的电子设备监测信息识别出门电子设备。

开门过程包括从检测到开门信号前设定时段（比如检测到开门信号前5、10秒钟），到检测到开门信号时的开门前一时段过程，或从检测到开门信号时到其后设定时段（比如检测到开门信号后3、5秒钟）的开门后一时段过程，或从检测到开门信号前设定时段到检测到开门信号后设定时段的开门全时段过程。开门过程以检测到开门信号为中心，其前后时段长短因电子设备的状态变化情况而不同，如果电子设备移动慢，其状态变化缓慢，监测的出门过程就长，如果电子设备移动快，其状态变化快，监测装置可以很快识别到出门电子设备，监测的出门过程就短。

用户出门通常是携带电子设备到门口，可以通过设置开门区域识别出门电子设备。开门区域是在门口设置的一个用户开门时站立的位置范围，如距门口小于0.5~3米的范围区域，包括电子设备室内位置处于门口设定区域的位置范围，或距门口的距离小于设定阈值的距离范围，开门区域也可以是信号强度范围，包括在门口监测的电子设备信号强度大于设定阈值或统计值的信号强度范围。

所述统计值是通过统计一个时期的检测到开门信号时监测的电子设备信号强度建立，包括在门口监测的电子设备信号强度最小值，或信号强度中心值的修正值，比如平均值减去一个设定值，处于开门区域的电子设备，在门口监测的其电子设备信号强度大于统计值。统计值相对于设定值，可以更好适应不同用户的携带习惯和不同应用场景，比如，蓝牙信号强度易受环境影响，包括用户家庭环境、用户携带习惯，根据统计方法建立的处于开门区域的判断条件，反映了场景综合特点，适用性更强。

此外，还可以通过开门过程中电子设备的状态变化识别出门电子设备，比如放置在门口附近的电子设备。电子设备状态变化是电子设备被携带的信息特征，如果电子设备的状态变化发生在开门过程，可以判断该电子设备是被用户携带的出门电子设备。所述电子设备状态发生变化包括电子设备室内位置发生变化，或电子设备距监测装置距离发生变化，或监测装置监测的电子设备信号强度发生变化，或电子设备发生运动中的任一种。所述运动包括电子设备由运动到静止或由静止到运动，运动变化可以根据电子设备状态变化判别，或是在电子设备中设置运动传感器，包括加速度计、或陀螺仪，监测电子设备运动信息，传递监测装置。

所述电子设备状态发生变化也可以是开门过程中的电子设备惯性状态发生变化。电子设备的惯性状态是在检测到开门信号前保持或具有的一种状态，可以是一种静置不变的状态，比如放置在屋内的电子设备，也可以是一种持续变化的状态，比如被携带的处于运动的电子设备。惯性状态是区分检测到开门信号前后状态的一种划分，是相对于检测到开门信号时的历史状态。

对于屋内被携带的电子设备，其开门前的惯性状态是处于运动的变化状态，当用户站立在门口开门时，该电子设备的变化状态转为检测到开门信号时的变化暂停状态，监测装置识别出门过程中状态由变化到变化暂停的电子设备是出门电子设备。

对于屋内放置的电子设备，其在检测到开门信号前的惯性状态是处于静置不变状态，在出门过程中被用户拿取，该电子设备的状态有静置不变转为被携带的变化状态，监测装置识别出门过程中状态由静置到变化的电子设备是出门电子设备。进一步，检测到开门信号时，电子设备状态变化暂停。

电子设备状态变化暂停是处于开门时的电子设备特征，暂停在开门时。状态变化与变化暂停是出门电子设备的两种相对状态，状态变化是监测数据差的绝对值大于设定阈值，变化暂停是监测数据差的绝对值小于设定阈值，变化暂停可以是一种变化幅度较小的状态，也可以是静置状态。

所述静置状态电子设备包括电子设备室内位置不变化，或电子设备距监测装置距离不变化，或监测装置监测的电子设备信号强度不变化，或电子设备不运动中的任一种。

对于屋内放置的电子设备，监测装置可以监测记录开门前，该电子设备的一个最新静置状态数据，与开门时或开门后的电子设备监测数据对比分析，通过开门过程中的监测数据变化，识别出门电子设备。

对用户携带的处于运动状态的屋内电子设备，监测装置可以监测记录该电子设备最新一次状态变化时间，如果该时间与开门时间差小于设定阈值，或者状态变化持续到开门时暂停，可以判断该电子设备是出门电子设备。

通过电子设备的状态变化和开门区域结合，可以更加准确识别出门电子设备。

监测装置根据出门电子设备信息，确定用户电子设备列表，通过用户电子设备列表信息，可以判别该电子设备所属的用户，进而确定出门的用户人数。

当检测到开门信号时，监测装置触发摄像装置拍摄门口区域图像，通过图像信息处理分析，识别门口用户信息。所述门口用户信息包括通过图像识别判断的门口用户人数或识别的门口用户。

所述图像处理分析包括通过人体几何特征识别门口用户人数，或是通过人的头部特征识别门口用户人数，或是通过人体移动特征识别出门人个数，即在门口区域发生移动的人体个数是门口用户人数。

如果根据图像分析识别的门口用户人数不等于根据监测的出门电子设备列表判断的出门用户人数，发出提醒信息。

如果根据图像识别的门口用户人数大于根据出门电子设备列表监测的出门用户人数，判断有人未带电子设备出门，发出未带电子设备的提醒信息。比如通过图像识别的门口用户是3个，通过出门电子设备列表判别的出门用户是2个，说明有1个人出门未携带电子设备，发出有人未带电子设备的提醒信息。

如果根据图像识别的门口用户人数小于根据出门电子设备列表监测的出门用户人数，判断有人多带他人电子设备出门，发出多带提醒信息。比如通过图像识别的门口用户是2个，通过出门电子设备列表判别的出门用户是3个，说明有1个人出门多带了他人的电子设备，发出有人多带电子设备的提醒信息。

在门口设置语音输出装置，比如扬声器，监测装置控制语音输出装置发出相应提醒语音。在所述语音输出装置中设置语音转换器，把文字信息转换成语音播放。

进一步，建立用户信息与其电子设备列表的关联，通过电子设备列表可以确定该列表的用户。如果根据出门电子设备列表确定的出门用户与通过图像识别的门口用户不一致，判断出门用户错带了他人的电子设备而未带自己的电子设备，发出提醒信息。比如通过图像识别的门口用户是2个，通过出门电子设备列表判别的出门用户也是2个，但是其中通过图像识别的1个门口用户与通过出门电子设备列表判别的用户不是同一人，判断该门口用户未带自己的电子设备，而错带了该列表中用户的电子设备。

根据用户图像信息的处理分析识别，辨别门口用户，所述图像识别是在少量家人范围内进行的人物区分，可以根据简单突出信息，比如通过脸部特征、及综合身体特征进行个体识别。用户出门过程一般面向门，根据摄像装置的设置不同，可以拍摄到门口区域用户不同角度的图像信息。

在图3所示的布置图中，摄像装置设置在门框或门口附近墙壁上，正对出门用户，可以拍摄到出门人的正面图像信息，通过人脸识别技术不仅可以识别门口人数，还可以可以辨别不同家庭成员。

在图4所示的布置图中，如果摄像装置设置在屋内某处正对门的位置，拍摄方向与门垂直，呈90度角，拍摄的是出门人的背部图像，通过人体背部几何信息，可以判别门口人体个数，同时，综合家人的身高、男女头发等等不同特征，也可以满足在少量家庭成员之间的识别。如果把摄像装置错开正对门的位置，改为与门斜对，比如拍摄方向与门小于90角范围，以便拍摄到门口用户的侧面图像，通过人体几何信息，结合脸部的侧面信息，可以判别门口人数，同时识别不同用户。

建立用户信息与其电子设备列表关联的方法，可以根据预置的用户电子设备id信息列表，通过用户单独出门过程中采集的用户图像信息和监测的出门电子设备信息，自动建立该用户信息与对应电子设备列表的关联。在系统使用过程中，不断存储采集的门口用户图像信息和监测的出门电子设备信息以及之间的对应关系，通过智能学习方法，根据对大量的采集监测数据的统计分析，建立两者的关联。

进一步，在所述用户电子设备列表中预置用户名称，监测装置控制语音装置播放相应的用户名称。

在用户出门过程中，如果监测装置未监测到根据图像识别的门口用户的电子设备列表信息，说明该用户出门未携带电子设备，监测装置通过语音输出装置发出未带电子设备的用户名称提醒信息。

在用户出门过程中，如果通过图像分析未识别到根据出门电子设备列表监测的出门用户，说明该用户的电子设备被他人出门错带，监测装置通过语音输出装置发出被错带的用户或电子设备名称提醒信息。

进一步，在电子设备中设置提醒单元，监测装置通过无线方式唤醒所述列表中未带或被错带的电子设备发出提醒信息，引起用户注意。

电子设备中的提醒单元包括震动器或轰鸣器或led灯，发出震动或声音或闪烁等提醒信息。

在图6所示的另一种出门电子设备监测提醒方法流程图中，在门内侧设置人体检测装置，根据门内人体信号判断用户欲出门，进而唤醒摄像装置进行拍摄，并对拍摄信息进行处理分析，识别门口用户信息，具体过程如下：

（1）预置同一用户下的电子设备列表；

（2）监测装置监测电子设备状态；

（3）门测装置检测门的开关信号，发送监测装置；

（4）人体检测装置检测门内人体信号，发送监测装置；

（5）判断是否检测到门内人体信号，如果是，监测装置判断用户欲从内出门，进入下一步，如果否，转入步骤（2）；

（6）监测装置唤醒摄像装置拍摄门口区域图像，通过对图像信息的处理分析，识别门口用户信息；

（7）是否检测到开门信号，如果是，判断用户出门，进入下一步，如果否，转步骤（2）；

（8）监测装置根据用户出门过程中的电子设备监测信息判别出门电子设备，通过出门电子设备确定出门用户电子设备列表；

（9）根据图像识别的门口用户信息与根据出门电子设备确定的出门用户电子设备列表信息是否一致，如果是，转入步骤（2），如果否，进入下一步；

（10）发出相应提醒信息，转入步骤（2）。

图5所示的一种出门电子设备监测提醒方法是监测装置通过开门信号触发摄像装置对门口区域的拍摄，在图6中，系统在门内设置人体检测装置检测门内人体信号，监测装置通过门内人体信号触发摄像装置进行拍摄。相对于开门检测信号，由于检测到人体的时间要提前一些，通过人体检测信号唤醒摄像装，可以给摄像装置开始工作的时间带来提前量，这种提前量与人体检测装置的设置位置以及采用的检测方法有关。同样，把人体检测信号作为出门过程的时间节点，可以使开门过程的设定向前延伸，即监测装置监测出门电子设备的时间更前一些。

此外，通过开门检测信号与门内人体检测信号的结合，可以把开门过程区分为用户出门时的开门或进门时的开门，即可以辨别出门和进门过程，通过用户出门过程中电子设备的监测信息，识别出门电子设备。

上述方法在未检测到开门信号或人体信号时，摄像装置处于休眠或待机状态，通过监测装置的唤醒转入工作状态，以节约摄像装置的能耗。在不考虑摄像装置能耗的情况下，系统可以使摄像装置始终处于工作状态，拍摄门口区域用户图像，并通过图像信息处理，识别门口用户，在识别到门口用户信息时，监测装置判断用户欲出门，进一步结合开门信号，确定出门事件。

进一步，系统还包括联网单元，如wifi模块，连接系统到网络服务器或智能手机等外围设备，通过外围设备可以对系统进行无线信息传递。

本发明是基于家门通常处于关闭状态，也就是说在用户进出时才开门，然后关闭。

对于相反情况，比如办公室，门通常处于打开状态，在用户离开时关闭，可以把人体检测装置设置门外侧，比如在门外侧把手上设置触摸感应器，当检测到门外人体触摸信号，判断用户要出门。或是反向安装门测装置，把门测装置一部分安在门上，另一部分安在与开门状态的门接触的地方，如墙上，通过两者离开，判断用户要关门，两者贴近，判断用户开门，监测装置设置在门框上，或是屋内某处，监测电子设备状态信息。