专利名称：基于人脸识别的atm安全认证与预警方法
技术领域：
本发明涉及由计算机控制的持卡人自我服务型的金融专用设备。具体地说是一种 基于人脸识别技术的ATM自动取款机安全认证与预警方法。技术背景传统的ATM系统主要是基于银行卡账号和密码进行身份识别。与银行存折等应用 不同，银行卡在ATM上的操作属于用户自主服务，大多是情况下并无银行职员监督和 值守。然而，由于银行卡和信用卡可能会丢失或人为抢夺祖骗取，而且其密码可能被 不法分子破解，致使ATM金融安全问题已经成为近年来银行和用户最为关注的敏感问 题。自2007年起，中国成为世界第五大ATM机市场，但目前每100万人只拥有55台。 随着银行卡应用的普及，犯罪分子也随之将黑手伸向了这一领域，伪装吞卡、仿制假 卡、窥探密码、封堵出钞口等各种银行卡欺诈和盗领等手段层出不穷，己经严重影响 到银行的利益和信誉。因此，构建加强型ATM安全身份验证系统有着极其重要的社会 意义和商业价值。 发明内容本发明目的在于公开一种基于人脸识别的ATM安全认证与预警方法，针对ATM 的物理安全和交易安全等问题，从各种犯罪活动的预防、侦测和预警机制等方面建立 起全方位的ATM安全身份识别系统。通过将视频检测和人脸识别技术引入到ATM系 统中，大大提高ATM金融系统的安全性，有效减少各种ATM欺诈和犯罪活动。本发明整个系统运作分为离线和在线两个部分，是通过以下步骤实现的离线注册部分操作步骤如下(1) 由银行工作人员通过安装有人脸采集设备的银行服务窗口，或者由用户本 人在ATM机上通过自主操作，采集到银行卡户主的人脸图像，并进行信 息注册；(2) 系统对所采集到的人脸信息进行特征提取和特征降维、压縮，形成可存储 于银行卡中的户主的人脸特征模板；(3) 通过系统预先设置的加密算法对降维、压缩后的户主人脸特征模板进行数据加密，保证户主信息的安全性和隐私性； (4)将歩骤(3)所得到的信息存储至银行数据库和待办理业务的银行卡中，以 便在进行人脸识别和匹配等身份认证操作时调用。在线部分主要分为人脸识别和行为监测两大过程，具体步骤如下人脸识别部分(1) ATM机通过内置摄像头采集用户的人脸图像，以及背景中的和在当前 持卡操作者后面排队的人的人脸图像；(2) 通过人脸检测引擎预处理，区分并提取出当前持卡操作ATM的人的人 脸区域，将其传输至人脸识别引擎A;(3) 读取出存储在待操作的银行卡中的人脸特征模板数据，并利用系统预先 设置的解密算法对数据进行解密，将其传输至人脸识别引擎A;(4) 通过人脸识别引擎A，将所采集到的待识别人脸特征与存储在银行卡中 的特征模板信息进行比对和识别，验证当前持卡操作者的身份；(5) 判断当前的ATM持卡操作者是否为银行卡户主本人如果是本人，则 可以进行正常取款；否则，银行和ATM将根据具体情况触发相应的预 警机制a)如当前持卡操作者不是户主本人，则短信通知户主本人以 及户主事先注册的紧急联系人手机号码；b)启动户主预先设置的非本 人取款限额机制；C)根据用户反馈信息判断是否进行预警和干预措施。行为监测部分(1) 与人脸识别部分相同，ATM机通过内置摄像头采集到人脸图像，该图像既 包括当前ATM操作者，也包括背景中和当前ATM操作者身后的人的人脸。(2) 由行为监测引擎从所采集到的整幅图像中检测到所有人脸，并进行跟踪定 位；同时，系统可将操作者身后的情况以图像的形式实时地通过ATM屏 幕显示给当前ATM操作者；(3) 通过分类器判断所跟踪各个目标的行为是否属于系统预先定义的危险和可 疑行为a)企图破坏ATM、安装窃听器等威胁ATM安全的行为；b)窥 探密码、与操作者距离过近等威胁ATM操作者的行为等等；(4) 如属于正常行为，则跳回步骤(1)，系统继续监测；否则，若发现系统预 先定义的危险和可疑行为，则银行和ATM将根据具体情况触发对应的预 警机制(如暂停ATM服务、提示操作者身后威胁、报警等)。本发明方法的特征还在于本发明采用红外成像技术考虑到实际ATM应用环境的复杂性，针对非理想光照 条件对人脸识别的不利影响，进行人脸信息提取是利用红外摄像机及滤镜，去除人脸 图像采集时环境光照变化和波动(昼夜和天气变化等)所带来不利影响，获取高质量 的近红外人脸图像。本发明通过对目标的形状和纹理进行特征提取与分析，利用背景更新分析、差分算 子设计、差分图像建模和检测目标分析等技术实现视频的实时检测与分析。从而判断 当前场景下人体的活动状态和是否存在不安全的目标对象，并根据检测分析结果判断 是否存在威胁到ATM或操作者安全的异常活动，并实时决定是否启动预警机制。本发明具有快速人脸检测功能首先利用视频检测结果和肤色检测模型去除掉主要 的非人脸区域，然后通过设计快速金字塔检测结构和AdaBoost分类器实现人脸的实时 检测，并同时检测眼睛等面部器官位置以实现人脸图像的对齐。本发明可提取更稳定的人脸特征针对在ATM应用中，人脸识别系统容易受到光 照、姿态、表情和局部遮挡、复杂背景等复杂因素影响而造成的性能下降问题，利用 人脸模式流形/线性/非线性子空间学习算法及其相应的全局特征提取方法、基于Gabor 变换和LBP直方图等的局部特征提取技术同时提取人脸图像的全局特征和局部特征。本发明可在具有较低计算处理能力的系统上运行由于客户的人脸模板需要保存 在银行卡上，并且需要系统实时准确地识别用户身份，因此面向ATM应用安全的人脸 识别技术是一个典型的资源限制问题。因此，我们采用流形学习/特征选择等数据降维 方法对所提取的特征进行降维处理，然后再利用分类器融合技术，在提高系统识别性 能的同时，减少识别所需的计算和存储开销，并保证与现有系统的有效兼容。本发明可实现多目标识别功能在ATM应用中，通常会遇到多人排队的情况，亦 即在监控范围内有多个待识别目标。采用并发处理技术，在上述提取稳定人脸特征和 高性能识别引擎基础上，确定操作用户人脸对象进行验证；同时，实时分析监控范围 内的其他目标(例如，背景中和排队的人等)，并及时锁定可疑目标和行为。
图1为本发明运作流程图。
具体实施方式
本发明具体运作流程如图1所示。整个系统运作分为离线和在线两个部分，具体过 程概述如下离线部分是针对银行卡的操作，在办理新卡或者为现有银行卡追加注册人脸安全 认证时，银行对银行卡申请者或者服务注册者进行人脸信息注册，并将其特征模板存 入数据库和写入银行卡中。具体过程为离线部分主要处理银行卡用于在办理新卡和对现有银行卡追加注册人脸安全认证 时，进行人脸信息注册和特征模板入库等工作。首先，银行将通过安装有人脸采集设 备的服务窗口或者由用户本人在ATM机上通过自主操作，对银行卡户主的人脸信息进 行采集和注册；系统对所采集到的人脸图像进行特征提取，将提取到的人脸特征模板 数据加密和压縮后，分别存储至用户的银行卡以及银行人脸和身份信息数据库中，待 进行身份识别时调用。在线部分主要处理用户在通过ATM对银行卡操作时的安全认证工作，具体过程分 为人脸识别和行为监测两部分。(1) 人脸识别部分持卡人在ATM机操作时，ATM机通过内置的摄像头采集到用户的人脸图像；通 过人脸检测引擎的预处理，系统提取出当前正在操作ATM的人的人脸区域；接着通过 人脸识别引擎A，将所采集到的人脸特征与存储在银行卡中的特征模板(解密之后) 进行比对和识别，验证和识别用户身份；判断出待识别的ATM持卡操作者是否为银行 卡户主本人如果是本人，则可以进行正常取款；否则，将触发系统预先设置的预警 机制a)向户主本人以及户主本人事先注册的紧急联系人的手机号码发送短消息通知 其在此时此地ATM上发生了来自非户主本人的ATM和银行卡操作；b)启动户主预先设置的非本人取款限额等账户功能。b)银行则可根据用户反馈信息判断是否进行其它 预警和干预措施(例如冻结、挂失、甚至报警等)。(2) 行为监测部分仍然由ATM机通过内置的摄像头采集到ATM前方的图像，并将当前操作者身后 的情况通过ATM显示屏实时显示给操作者；由行为监测引擎自动检测到所采集到的图 像中的所有人脸，包括当前操作者、背景中以及后面排队的人脸区域，并进行并发跟 踪和定位；通过分类器判断所跟踪的个目标对象行为是否属于系统预先设置的危险和 可疑行为，(例如，企图破坏ATM、安装窃听器等威胁ATM安全的行为，以及窥探操 作者的银行卡密码、与操作者距离过近等威胁ATM操作者的行为等)，如经判断属于 正常行为，则继续监测；否则，触发银行默认预警机制，如暂停ATM服务、提示操作者本人身后威胁、以及报警等预警响应。本发明的方法还可以扩展到辅助公安辅助监控和追捕逃犯等应用。图1中的虚线部分为公安扩展应用。亦即本发明所研发的核心技术可以扩展到公安辅助监控和追捕逃犯等应用中。例如，将人脸识别引擎A和人脸识别引犯罪嫌疑人群擎B人脸信息进入到公安犯罪嫌疑人的人脸及身份信息数据库。本发明优点是本发明将有效解决银行、ATM机和储户所面临的交易安全问题，可以较大程度上 杜绝常见的ATM和银行卡欺诈现象，在保障银行和储户合法利益的同时，大幅提高银 行安全形象。独特的ATM安全运作方式首次将人脸识别引入到ATM和银行卡安全认证应用 中，提出了通过ATM机获取操作者人脸图像，然后通过ATM内置的人脸识别引擎实 时判断当前操作者是否为银行卡户主本人，并以短消息的形式及时告知卡主本人和该 卡的紧急联系人当前银行卡操作是否来自卡主本人，同时根据识别结果实时启动ATM 和银行预警功能，从而有效提高ATM和银行卡的安全性。硬件开发优势与基于其它生物特征识别技术如指纹等识别的ATM金融安全系统 相比，人脸识别最终形成产品后将具有设备成本低、非接触式信号采集。硬件兼容优势由于现有大部分ATM机上一般已经装有或者预留出安装视频监测 设备(如摄像头等)和空间，可为本发明提供了良好的硬件和机械安装支持，可降低 成本，减少银行对ATM改造的投入。用户接受程度高由于人脸在日常银行存取款过程中的私密性要较指纹等生物特征小，且在整个识别过程中对用户的干扰极小，无需改变用户的操作习惯(例如，用 户除按照习惯输入密码外，无需进行额外的操作)，因此很容易被用户接受。此外，人 脸识别和视频检测技术还具有可交互性强和强大的事后追踪能力等优点，因而具有较 强的竞争优势。隐私保护性由于我们的方案只将经过数字加密后得到的人脸特征模板(经过数 字加密的)存入银行卡或者银行系统中，且使用单向、且不可逆特征提取方法，亦即 无法通过银行卡内的信息复原人脸图像。例如，即使当银行卡落入犯罪分子手中也无法通过卡内存入的特征模板来复原用户的容貌，在提高安全性的同时，更好地保护了 用户的隐私。在系统运作过程中，用户不用担心自己的容貌等隐私信息被泄露和盗取。异常行为实时监测本发明还将引入视频检测模块，实时跟踪检测场景中人体和 监控目标的形状和活动趋势，因而能够根据检测分析结果判断是否存在人为破坏ATM 机、是否有人窥探操作者密码等异常行为和活动，并及时预警，有助于进一步提高银行ATM系统的安全性，并对犯罪分子有着极大的威慑作用。高性能本发明可以实现复杂条件(复杂光照，复杂姿态、表情和局部遮挡情况， 以及复杂背景条件下的高稳定性人脸识别技术。此外，针对银行卡用户数量庞大，本 发明对所提取到的全局和局部人脸特征进行降维处理，将降维后的人脸特征模板信息 分别存储至银行数据库和银行卡中，从而可以综合使用人脸验证和人脸辨识技术来验 证持卡人是否为银行卡用户，识别是否为不良记录的嫌疑人等，从而保证了系统的高 性能和稳健性。高度可扩展性本发明研发的相关技术还可以方便地扩展应用到银行存折等相关 邻域。此外，该系统还可以较好地扩展到公安应用领域(如辅助监控和追捕逃犯等)， 甚至可以应用于交通违章监控中的人脸身份识别，因此具有极强的可扩展能力。
权利要求
1. 一种基于人脸识别的ATM安全认证与预警方法，整个系统运作分为离线和在线两个部分，是通过以下步骤实现的离线注册部分操作步骤如下(1)由银行工作人员通过安装有人脸采集设备的银行服务窗口，或者由用户本人在ATM机上通过自主操作，采集到银行卡户主的人脸图像，并进行信息注册；(2)系统对所采集到的人脸信息进行特征提取和特征降维、压缩，形成可存储于银行卡中的户主的人脸特征模板；(3)通过系统预先设置的加密算法对降维、压缩后的户主人脸特征模板进行数据加密，保证户主信息的安全性和隐私性；(4)将步骤(3)所得到的信息存储至银行数据库和待办理业务的银行卡中，以便在进行人脸识别和匹配等身份认证操作时调用。在线部分主要分为人脸识别和行为监测两大过程，具体步骤如下人脸识别部分(1)ATM机通过内置摄像头采集用户的人脸图像，以及背景中的和在当前持卡操作者后面排队的人的人脸图像；(2)通过人脸检测引擎的预处理，区分并提取出当前持卡操作ATM的人的人脸区域，将其传输至人脸识别引擎A；(3)读取出存储在待操作的银行卡中的人脸特征模板数据，并利用系统预先设置的解密算法对数据进行解密，将其传输至人脸识别引擎A；(4)通过人脸识别引擎A，将所采集到的待识别的人脸特征与存储在银行卡中的特征模板信息进行比对和识别，验证当前持卡操作者的身份；(5)判断当前的ATM持卡操作者是否为银行卡户主本人如果是本人，则可以进行正常取款；否则，银行和ATM将根据具体情况触发相应的预警机制a)如当前持卡操作者不是户主本人，则发送手机短消息至户主本人以及户主事先登记的紧急联系人的手机号码，提示其在此时此地ATM上发生了来自非户主本人的ATM和银行卡操作；b)启动户主预先设置的非本人取款限额等帐户功能；c)银行根据用户反馈信息判断是否进行预警和干预措施，例如，冻结、挂失、甚至报警等。行为监测部分 (1)与人脸识别部分相同，ATM机通过内置摄像头采集到人脸图像，该图像既包括当前ATM操作者，也包括背景中和当前ATM操作者身后的人的人脸。(2)由行为监测引擎从所采集到的整幅图像中检测到所有人脸，并进行并发跟踪定位；同时，系统可将操作者身后的情况以图像的形式实时地通过ATM屏幕显示给当前ATM操作者；(3)通过分类器判断所跟踪各个目标的行为是否属于系统预先定义的危险和可疑行为a)企图破坏ATM、安装窃听器等威胁ATM安全的行为；b)窥探密码、与操作者距离过近等威胁ATM操作者的行为等等；(4)如属于正常行为，则跳回步骤(1)，系统继续进行监测；否则，若发现系统预先定义的危险和可疑行为，则银行和ATM将根据具体情况触发对应的预警机制(如暂停ATM服务、提示操作者身后威胁、报警等)。
2. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于首次将人脸识别应用于ATM和银行卡操作中的安全认证和预警应用中，通过 人脸信号获取装置采用近红外摄像机及滤镜，可在获取高质量的近红外人脸图像的同 时，减轻ATM周围环境光照条件中的各种不稳定因素对系统识别性能的影响。
3. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于通过人脸信号获取装置可以拍摄当前持卡操作者身后的情况，并可通过ATM 操作屏幕实时地向当前操作者显示其身后的情况，对窥探密码、与操作者距离过近等 威胁ATM操作者等行为进行预警，提高ATM使用者自身的安全。
4. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于异常行为实时监测与分析。通过对视频中各个人脸目标的静态图像属性，如形 状和纹理等，以及动态属性，如动作等进行特征提取与分析，判断当前场景下人体的 活动状态和是否存在不安全的目标对象，并根据检测分析结果判断是否存在可能威胁 到ATM或者操作者安全的等异常活动，并实时决策是否启动预警机制。
5. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于首先利用视频检测结果和肤色检测模型去除主要的非人脸区域，然后通过设计 快速金字塔检测结构和AdaBoost分类器实现人脸的实时检测，并同时检测眼睛等面 部器官位置以实现人脸图像的对齐。
6. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于针对在ATM应用中，人脸识别系统容易受到光照、姿态、表情和局部遮挡、 复杂背景等复杂因素影响而造成的性能下降问题，利用人脸模式流形/线性/非线性子 空间学习算法及其相应的全局特征提取方法、基于Gabor变换和LBP直方图等的局 部特征提取技术同时提取人脸图像的全局特征和局部特征。
7. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于采用流形学习/特征选择等数据降维方法对所提取人脸的特征进行降维处理， 并进行数据压縮，使所得到的人脸特征模板数据足以存储于银行卡内；然后再利用分 类器融合技术，在提高系统识别性能的同时，减少识别所需的计算和存储开销；因此， 保证了本发明可以有效兼容现有ATM和银行卡系统。
8. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于将经过数字加密后得到的人脸特征模板L经过数字加密^存入银行卡或者银行 系统中，且使用单向、且不可逆特征提取方法，亦即无法通过银行卡内的信息复原人 脸图像。因此，即使当银行卡落入犯罪分子手中也无法通过卡内存入的特征模板来复 原用户的容貌，在提高安全性的同时，更好地保护了用户的隐私。在系统运作过程中， 用户不用担心自己的容貌等隐私信息被泄露和盗取。
9. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征还 在于可通过ATM内置摄像头采集视频，并由行为监测引擎实时并发地监控摄像头 视野范围内的多个待识别目标对象，采用并发处理技术，在上述提取稳定人脸特征和 高性能识别引擎基础上，确定操作用户人脸对象进行身份验证；同时，实时分析监控 图像范围内的其他目标对象的身份和行为，并及时对可疑目标^例如已有不良记录的 嫌疑人、可能威胁持卡操作者和ATM安全的行为等进行识别和预警。
10. 如权利要求1所述的一种基于人脸识别的ATM安全认证与预警方法，特征 还在于可以扩展到辅助公安监控和追捕逃犯等应用中，将人脸识别引擎A和人脸识 别引犯罪嫌疑人群擎B人脸信息引入到公安犯罪嫌疑人的人脸及身份信息数据库， 从而可在ATM上实现公安领域的监控和追捕逃犯等功能。
全文摘要
本发明公开一种基于人脸识别的ATM安全认证与预警方法。该方法首次将人脸识别技术和视频检测引入ATM和银行卡业务应用中，可显著提高ATM金融系统安全性，有效减少和威慑各种ATM欺诈和犯罪活动。本发明的方法整个系统运作过程为首先，在银行中安装有红外人脸采集设备的服务窗口或者由用户在ATM上自行操作注册户主的人脸信息，并将其加密后存储至银行数据库和银行卡中。然后，通过人脸识别引擎验证用户身份，判断待识别ATM操作者是否为银行卡户主本人；通过行为监测引擎判断和识别是否有威胁ATM和用户的行为存在；进而根据上述识别结果判断是否启动对应的预警机制。本发明可扩展到银行存折业务以及公安监控和追逃等应用中。
文档编号G08B31/00GK101266704SQ20081006437
公开日2008年9月17日 申请日期2008年4月24日 优先权日2008年4月24日
发明者左旺孟, 张垒磊, 张宏志, 坚 石 申请人:张宏志;左旺孟;张垒磊;石 坚