本发明属于图像处理和模式识别技术领域，涉及一种基于人脸表情动作识别的车辆防盗系统。
背景技术：
随着汽车业的日新月异的发展,目前的汽车防盗以及驾驶人员行使途中的人身安全防范越来越受到人们的重视。目前的汽车防盗技术正朝着自动化和智能化发展。汽车防盗装置主要有电子防盗装置和网络防盗装置。电子防盗装置能发出声光来震慑入侵者,发现入侵可锁定点火来达到防盗的目的。网络防盗装置采用gps卫星定位系统和移动通讯系统相结合,除了锁定点火达到防盗的目的,同时将报警信息和车辆所在位置传送到报警中心或车主手机。
上述汽车防盗装置能起到一定防盗的作用,但对于盗取汽车钥匙后进行偷盗车辆的行为,上述防盗装置都无法有效防范。因此，迫切需要新的防盗技术，随着人工智能技术，特别是人脸识别技术的发展，为车辆防盗系统提供了智能化和自动化的技术保障。
近年来,随着人脸识别技术的突破性发展,将人脸识别与汽车防盗相结合正在成为一个重要的研究方向,因为利用人脸进行身份验证是最自然最直接的手段,具有直接、友好和方便的特点,易为用户所接受。如，在名为《一种智能化人脸识别汽车防盗器》(专利公布号：cn103538563a)和《一种基于人脸识别的车辆防盗系统及方法》(专利公布号：cnio5882605a)的专利中就对该技术进行了介绍。但是，目前基于人脸识别的车辆防盗方法还不够完善，主要存在如下问题：
1)所采用的方法不够先进，难以克服实际场景下人脸光照、发型、年龄等变化问题。关于光照变化问题，有专利cnio6218584a提出《一种基于红外及人脸识别技术的车辆防盗系统》，但其无法解决发型和年龄变化等问题。因此，本发明专利提出采用深度学习的方法克服以上人脸变化问题，提高人脸识别精度。
2)不能解决借车他人(亲戚朋友等)或代驾等误报问题。目前大多数方法的关注点都在怎么提高防盗级别，防止漏报问题上。如，专利201751248u公开了一种带总线功能的指纹及语音识别的汽车启动系统；专利cnio40976lla公开了一种基于人脸识别技术多重身份验证的汽车防盗方法。这些采用双重认证的方法虽然在一定程度上提高了车辆的安全级别，但容易产生误报情况降低了用户体验感。在现实当中，汽车盗窃是少数情况，而借车他人和代驾却是常见情况。因此，所设计的系统不但要有防盗功能，还要有防误报策略。本发明将采用与手机结合确认的方式解决借车和代驾等误报问题。
3)防欺骗问题。基于人脸识别的汽车防盗方法，在识别技术上,单纯的静态脸部识别无法避免盗贼用打印照片进行欺骗式认证的行为。目前有专利cnio4494564a《一种基于人脸识别的车辆防盗系统》采用活体检测的方法，即让用户眨眼的方法来判断是否是活人还是照片，以此来防止盗贼用打印照片欺骗认证系统。但该方法需要用户配合，用户体验感不好。本发明提出利用车内背景分析的方法进行防欺骗认证。
4)防挟持问题。目前所有的汽车防盗方法都不具有防挟持的功能。本发明将采用人脸表情动作识别的方法进行挟持判断。系统事先约定好几个表情动作作为被挟持的标记，一旦发生挟持情况，用户可以做出事先约定的表情动作进行报警。
技术实现要素：
本发明的目的是针对现有的技术存在的上述问题，提供一种基于人脸表情动作识别的车辆防盗系统，本发明所要解决的技术问题是如何通过对人脸表情动作的识别，判断车辆操作者的合法性，从而有效的车辆防盗。
本发明的目的可通过下列技术方案来实现：一种基于人脸表情动作识别的车辆防盗系统，其特征在于，本防盗系统包括：
存储模块，用于预存常用驾驶员人脸图像，约定的防挟持表情动作图像和车内背景图像；
人脸识别模块，用于进行驾驶员身份判别。为了提高人脸识别的精度，本发明采用目前先进的基于深度学习的人脸识别方法。
表情动作识别模块，用于进行驾驶员表情动作识别，判断挟持情况。为了提高人脸表情动作识别的精度，本发明采用目前先进的基于深度学习的表情动作识别方法。
通信模块，用于与车主通信确认驾驶员合法性；当人脸识别模块判断驾驶员非指定驾驶员时，通信模块向车主手机发送现场驾驶员照片，请求确认驾驶员合法性；当人脸识别模块判断驾驶员是上次借车或代驾人员时，通信模块向车主手机发送现场驾驶员照片，请求是否制止其行为请求(默认为充许)。
控制模块，用于车辆控制；如果人脸识别模块身份确认失败且没有收到车主确认反馈；则控制模块锁定方向盘和停止发动机工作。如果人脸识别模块身份确认为上次借车或代驾人员，且收到车主明确制止反馈；则控制模块锁定方向盘和停止发动机工作，否则正常行驶。如果表情动作模块检测到有约定的表情动作；则控制模块立即向公安部门报警。
进一步的，所述的存储模块还具有自动更新功能，即每次检测到合法驾驶员时，系统自动采集标准(正面，中性表情，光照均匀)的合法驾驶员人脸图像更新人脸库。另外，当发生借车或代驾时，存储模块自动采集标准的借车或代驾人脸图像，构建合法借代人脸库，以备下次识别使用。
进一步的，所述人脸识别模块还具有防欺骗功能。首先，对车内摄像头拍摄的图像进行人脸检测分析，看是否有人脸存在，如果连续多张都没有人脸存在，说明存在故意遮挡拍摄头情况，则向车主报警请求反馈。然后，分析拍摄的图像有没有用手拿照片的情景出现，如果有则说明有盗贼用打印车主照片进行欺骗，应立即向车主或公安系统报警。最后，提取拍摄图像的背景(去除人脸后的背景图像)，并与预存的车内背景图像进行对比分析，如果发现差异，则说明有盗贼用打印车主照片欺骗行为，应立即向车主或公安系统报警。
进一步的，所述的表情动作识别模块还具有紧张表情识别功能。当车主被挟持时，表现出的人脸表情一定是紧张和不安的。因此，可以利用紧张和不安表情识别技术判断车主是否被挟持。如果表情动作识别模块识别出车主有紧张和不安表情时，立即向公安系统报警并传送现场拍摄的图像。
本发明相对于现有技术具有如下的优点及效果：
1)防误报功能：目前基于生物特征(指纹、人脸和语音等)的汽车防盗方法之所以没有普遍采用，是因为此类方法不能克服借车或代驾等误报问题，用户体验感不好。本发明利用与手机结合确认的方式成功地解决了误报问题。即当人脸识别模块识别出非合法驾驶员时，通过发送现场图片给车主确认的方式解决借车或代驾问题。
2)防欺骗功能：利用人脸识别技术进行汽车防盗的难点之一在于怎样防盗贼拿车主照片进行欺骗的行为，本发明利用两种图像分析技术进行防欺骗：一是分析摄像头所拍摄图像里有没有用手拿照片的情况存在，如果存在则证明是欺骗行为；二是利用背景对比分析技术，看摄像头所拍的图像背景是否与车内存储的固有背景相一致，如果不一致，则证明是欺骗行为。
3)防挟持功能：本发明利用人脸表情动作识别技术判断驾驶员是否被挟持，并自动进行报警。
附图说明
图1是本防盗系统的防盗流程图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
本发明公开的一种基于人脸和表情识别的车辆防盗方法和系统的流程步骤如图1所示，主要包括四大步骤：
步骤1：启动
驾驶员点火发动汽车，系统自动启动车内摄像头进行车内驾驶员拍摄。
优选的，如果点火后无法启动摄像头，则停止启动汽车。如果摄像头被故意遮挡，则停止启动汽车。
优选的，通过正常车内背景与遮挡物背景差异性分析判断摄像头是否故意遮挡。
步骤2：背景分析
首先，利用人脸检测技术判断拍摄的图像中有没有人脸，如果连续几张都没有人脸出现，判断为有人故意遮摄像头或故意避开摄像头；则停止发动机启动和锁定方向盘，通知车主并请求反馈是否报警。
然后，利用adaboost方法检测拍摄图像中有没有用手拿图片边角的情景出现。如果有，即判断为有人拿车主照片进行欺骗；则停止发动机和锁定方向盘，通知车主并报警。
最后，对拍摄的没有手拿照片的正常图像提取背景，并将提取的背景与预存的车内背景进行对比。如果对比结果不一致，即判断为有人用打印照片进行欺骗；则停止发动机和锁定方向盘，通知车主并报警。
优选的，为了提高人脸检测的准确率，采用效果较好的faster-rcnn人脸检测技术；为了提高背景对比分析的准确度，对提取的背景图像进行gabor和lbp特征提取，并采用支持向量机(svm)进行一致性分类。
步骤3：人脸识别
对正常拍摄的图像，利用人脸检测技术提取出标准的(正面、中性表情和光照良好)人脸图像，并利用人脸识别技术识别出驾驶员的身份。如果识别出的身份是车主或家人等合法驾驶员，则正常启动行驶。否则，将拍摄的人脸图像传送至车主手机请求合法性确认：如果车主反馈合法(亲戚、朋友借车情况)，则正常启动行驶；否则，停止发动机和锁定方向盘，并报警。
优选的，为了提高人脸识别的准确度，采用目前效果较好的深度学习方法进行人脸识别。具体的为采用facenet网络提取人脸特征，采用svm进行人脸分类识别。
步骤4：表情动作识别
利用表情动作识别技术对驾驶员表情动作进行识别。如果识别出约定的表情动作，则判断为发生挟持，立即将拍摄视频传送至公安部门进行报警。
进一步的，如果通过表情识别技术，识别出驾驶员有连续的惊恐与不安表情，则将拍摄视频传送至交管部门进行报警。
优选的，约定的可选的表情动作有：连续三次点头，连续三次眨眼，连续三次张闭嘴，连续三次撑眉和连续三次吐舌头等。表情只分正常表情和惊恐、不安表情两种，降低分类难度。另外，为了提高表情动作识别的准确度，采用目前效果较好的深度学习方法进行表情动作识别。
综上所述，本发明提出的一种基于人脸和表情识别的车辆防盗方法与系统，具有如下特点：
1)本发明提出的车辆防盗系统不但具有防盗功能，同时还具有挟持报警功能。
2)本发明提出的车辆防盗系统不但防盗级别高，同时又解决了误报情况。即解决了防盗与误报之间的矛盾。
3)本发明实现防盗和扶持功能，只需加装一个摄像头，无需对汽车结构进行调整。另外，加装的摄像头还可应用于车内安全检测，如超载，儿童老人坐前排和驾驶员瞌睡检测等。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。