专利名称：金融自助设备及其防偷窥系统和方法
技术领域：
本发明涉及一种金融自助设备，尤其是金融自助设备的防偷窥系统和偷窥检测及报警的方法。
背景技术：
随着我国经济的迅速发展，纸币的流通日益增多，自助终端设备已成为现代商业银行为用户提供服务的主要途径。随着自助终端设备的广泛应用，自助终端安全问题日益凸现，特别是在金融自助设备周边安全问题，如偷窥密码、偷换卡等。针对金融自助设备周边安全问题，现有的防范措施主要有防窥镜，基于物理隔离的安全岛等。专利20090214311. 7提出了一种金融自助服务终端及其安全区域的控制方法图像摄取模块依据基准线标定该安全区域控制系统，图像处理模块根据欲交易者与标定基准
线的成像位置关系判断控制安全区域内的交易者个数，当交易者个数有多个时进行提醒报警。然而，基于人脸检测的安全防范技术是利用金融自助设备上安装摄像头，进行人脸的判断，若出现多个人脸，根据人脸之间的位置关系，进而进行判定是否有偷窥事件发生，这样很容易发生误报现象，给交易客户带来了不必要的紧张。如当有人从交易者身后通过，人脸信息被摄像头捕捉，会发生误报现象；在多台ATM机并排放置时，由于交易人数较多，会发生排队现象，ATM机的摄像头，可能会把正常排队人员(并没有偷窥屏幕)误认为是偷窥者，产生误报。因此，在基于人脸检测的安全防范技术上，还有待提高检测的准确率，减少报警的误报率。
发明内容
本发明的目的之一在于提供一种金融自助设备，其具有防偷窥的功能，提高设备安全性。本发明的目的之二是提供该金融自助设备的防偷窥系统。本发明还提供该金融自助设备的防偷窥方法。该金融自助设备的防偷窥系统包括图像摄取及处理模块、存储模块、异常检测模块及报警模块，该图像摄取及处理模块包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该至少一对图像传感器位于同一水平面且设置在该金融自助设备的一机壳上，用以摄取监控场景的原始图像数据；将离显示屏幕中心半径为一预定距离且能同时被所述的一对水平设置的图像传感器捕捉的区域，设置为一安全区域；该图像摄取控制器用以初始化图像传感器以及控制该至少一对图像传感器提供采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得图像中人脸相对于金融自助设备的距离信息；该存储模块用于存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；该异常检测模块包括人脸检测单元和人眼视角计算单元，人脸检测单元检测该安全区
4域内是否有多个人脸；人眼视角计算单元计算人眼注视的视角方向，用以判断距离金融自助设备较远的在后人脸是否注视操作面板或显示屏幕；该报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。优选的，该异常检测模块还包括一遮挡判别单元，在该视角计算单元判断该在后人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后人脸的视线是否被距离金融自助设备较近的在先人遮挡。可选择的，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和 /或语音提示客户。本发明提供的防偷窥方法，运行于一金融自助设备，其依次包括步骤(1)，通过一图像摄取模块采集原始图像；步骤(2)，利用原始图像进行三维立体重建，计算图像中人脸相对于该金融自助设备的距离信息；步骤(3)，判断安全区域内是否有多个人脸图像，如果有多个人脸，则进行步骤(4)，否则回到步骤(I);步骤(4)，通过一异常检测模块进一步计算在后人脸的人眼注视角度，判断在后人脸是否注视操作面板或显示屏幕，如果是，则进行步骤(5)，否则回到步骤(I);以及步骤(5)，报警，通过显示文字、图像和/或语音提示客户有被偷窥事件。优选的，该步骤(4)与步骤(5)之间还包括视线遮挡判断的步骤，通过异常检测模块进一步判断在后人脸其视线是否被在距离金融自助设备较近先人遮挡，如果是，则回到步骤(I)，如果否，则进行步骤(5)。具体的，该步骤(2)进一步包括步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像；步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息。优选的，该步骤(3)中该安全区域为离显示屏幕中心半径为O. 8 I. 5m且能同时被所述的一对水平设置的图像传感器捕捉的区域，当然根据金融自助设备安全性的实际需要，该区域可以按需设定。本发明提供的一种金融自助设备，其包括机壳、内部机芯以及一防偷窥系统，该防偷窥系统包括一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该对图像传感器位于同一水平面且设置在该机壳上，用以摄取监控场景的原始图像数据；该图像摄取控制器用以初始化图像传感器以及控制至少一对图像传感器采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得每一图像中人脸相对于金融自助设备的距离信息；一存储模块，存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；一异常检测模块，包括人脸检测单元和视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；视角计算单元计算人眼注视的视角方向， 用以判断在后人脸是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。优选的，该异常检测模块还包括一遮挡判别单元，在该视角计算单元判断在后的人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后的人脸其视线是否被在先的人遮挡。
优选的，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和/ 或语音提示客户本发明在基于人脸检测进行安全防范的现有技术上，进一步对多个人脸与金融自助设备间距离进行判断，且对在后的人脸进行注视角度计算，以其是否注视操作面板或显示屏幕为依据，判断其是否偷窥在先的当前用户，从而报警提示。这样可以大大提高判断偷窥者的准确率，减少报警的误报率。进一步的，在确定在后的人脸其注视操作面板或显示屏幕时，还可再进行视线遮挡判断，即判断在后的人其视线是否被在先的当前用户遮挡，如果被遮挡，则可判断在后的人为排队者，不是偷窥者，从而不需要报警。这样，更进一步提高了判断的准确率，降低报警的误报率。
图
图
图
图
图
图
图
图
图
图
I是本发明优选实施例提供的一种防偷窥系统的框架2是本发明优选实施例提供的防偷窥方法流程3是图像摄取及处理模块中图像传感器的安装位置示意图； 4是双目摄像头立体重构方法示意5是三维立体重构方法流程6是安全区域设置方法示意7是人眼注视角度计算方法示意8是尾随偷窥者判断方法示意9是视线遮挡判断方法示意图；以及 10是报警情形示意图。
具体实施例方式为进一步阐述本发明，以下结合图示介绍本发明的具体实施例，该实施例以自动柜员机为例，说明金融自助设备及其防偷窥系统及方法。图I是该较佳实施例提供的的防偷窥系统100的框架图，该防偷窥系统100包括图像摄取及处理模块40、存储模块、异常检测模块60及报警模块80，该图像摄取及处理模块40包括一图像摄取控制器41、一对图像传感器42以及一图像处理单元43。该对图像传感器42设置在该金融自助设备的机壳上，且设置在同一水平面上，如同人体的一对眼睛， 用以摄取监控场景的原始图像数据；该图像摄取控制器41用以初始化图像传感器42且控制该至少一对图像传感器42采集同步的信号；该图像处理单元43用以将原始图像数据进行三维立体重建并获得图像中人脸相对于金融自助设备的距离信息。该存储模块用于存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；该预定距离用于划定金融自助设备操作的安全区域，该安全区域为离显示屏幕中心半径为O. 8 I. 5m(优选Im)且能同时被所述的一对水平设置的图像传感器捕捉的区域，该异常检测模块60包括人脸检测单元61、视角计算单元62以及遮挡判别单元63。该人脸检测单元61检测该安全区域内是否有多个人脸；该视角计算单元62计算人眼注视的视角方向，用以判断距离金融自助设备较远在后人脸是否注视操作面板或显示屏幕；该遮挡判别单元63用以进一步判断在后的人脸其视线是否被距离金融自助设备较近在先的人遮挡。该报警模块80包括显示单元
681和声音单元82，分别通过显示文字、图像和/或语音提示客户。需要说明的是，该异常检测模块60中视角计算单元62的设置，是对在后的人脸进行注视角度计算，以其是否注视操作面板或显示屏幕为依据，判断其是否偷窥在先的当前用户，从而报警提示该当前用户，这样已经大大提高了报警的准确率，相对于现有的人脸检测安全防范技术已经有了长足的进步。而遮挡判别单元63的设置，则是进一步对在后的人其视线是否被在先的当前用户遮挡进行判断，把视线被当前用户遮挡的正常排队等候的人员排除在偷窥者之外，从而进一步提高了报警的准确率，是本发明的优选方案。以下说明该防偷窥系统执行防偷窥方法的流程，如图2所示，该防偷窥方法包括步骤1，通过一图像摄取模块采集原始图像；如图3所示，在自动柜员机的显示屏幕上方左右两端分别安装图像传感器，也就是摄像头Cl和C2，其中该两个摄像头Cl和C2 处于同一水平面上，用于采集原始图像数据。当然，在这一步骤应当进行人脸检测，也就是说，判断该原始图像数据中是否包括人脸，如果包括有人脸，再进行步骤2，否则当然无进展后续步骤的必要。步骤2，对原始图像进行三维立体重建，获取图像中人物相对于该金融自助设备的距离信息；如图4所示，利用两个摄像头Cl和C2获取到的图像寻找对应点来完成立体成像。通过这样的对应点、及两摄像机之间距离T，可以计算人脸的三维位置。两个摄像头的立体成像过程包括如图5所示的四个步骤步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像；步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息，从而可确定哪个人脸离金融自助设备较近，哪个人脸离金融自助设备较远，距离金融自助设备较近的人脸我们称为在先的人脸，距离金融自助设备较远的人脸我们称为在后的人脸。当存在多个人脸时，一般来说，距离金融自助设备较近的人确定为交易者，也就是当前用户，而距离金融自助设备较远的人为尾随者，为当前用户以外的人员，当然其是否为偷窥者则需要后续进一步的判断，即进行步骤3。步骤3，将在后人脸相对于该金融自助设备的距离与存储模块中存储的预定距离比较，若人脸相对于该金融自助设备的距离小于预定距离，则该人脸位于安全区域内，否则位于安全区域外。如图6所示，摄像头Cl和C2都有各自的拍摄视角，离显示屏幕中心半径为X米内，并且能同时被摄像头Cl和C2捕捉的区域，设置为安全区域，本实例中X= I。X 可以为O. 8至I. 5米之间的任意一距离，根据金融自助设备安全性的实际需要设定。如果该异常检测模块的人脸检测单元检测到有多个人脸在该安全区域，则进行步骤4，否则回到步骤I ;本实例中采用Haar分类器对人脸进行检测。步骤4，该异常检测模块进一步计算在后的人脸的人眼注视角度，判断在后的人脸是否注视操作面板或显示屏幕，如果是，则进行步骤S，否则回到步骤I ;检测到人脸后，确定出双眼及鼻子的位置，利用人眼中心、眼球中心及鼻子中心的关系，可确定人眼视角。具体可参考2003年6月11日公开的申请号为02131191. 9的专利申请。如图7所示，以判断人眼是否注视显示屏幕为例，以屏幕的中心为原点坐标，建立右手坐标系。可以得到人眼坐标在三维中的坐标系。人眼注视线与X坐标轴，y坐标轴，z坐标轴的夹角分别为α，β， Y，可以由以下方程得到人眼的注视点。如图7所示，显示屏幕所在的平面为ζ = O ;显示屏幕的区域为(-m < = X < = m,-n < = y <=n,z=0,屏幕的长为2m，高为2n)，假设人
眼坐标为(xl，yl，zl)，人眼注视点为(X0，y0，z0)，因为我们关注的是尾随者是否偷窥显示屏幕上的信息，而显示屏幕位于z = O平面，因此，我们假设注视点都在z = O平面内。d为人眼(xl，yl，zl)到注视点(x0, yO, z0)的距离。
权利要求
1.一种防偷窥系统，其应用于一金融自助设备，该防偷窥系统包括一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该至少一对图像传感器位于同一水平面且设置在该金融自助设备的一机壳上， 用以摄取监控场景的原始图像数据，将离显示屏幕中心半径为一预定距离且能同时被所述的一对水平设置的图像传感器捕捉的区域，设置为一安全区域；该图像摄取控制器用以初始化图像传感器以及控制该至少一对图像传感器采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得每一图像中人脸相对于金融自助设备的距离信息； 一存储模块，存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；一异常检测模块，包括人脸检测单元和人眼视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；视角计算单元计算人眼注视的视角方向，用以判断距离金融自助设备较远的在后人脸是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。
2.如权利要求I所述的防偷窥系统，其特征在于，该异常检测模块还包括一遮挡判别单元，当在后人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后人脸的视线是否被距离金融自助设备较近的在先人遮挡。
3.如权利要求I或2所述的防偷窥系统，其特征在于，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和/或语音提示客户。
4.如权利要求I所述的防偷窥系统，其特征在于，该预定距离为O.8 I. 5m之间的任意一距离，根据金融自助设备安全性的实际需要设定。
5.一种防偷窥方法，运行于一金融自助设备，其依次包括步骤(I)，通过一图像摄取模块采集原始图像；步骤(2)，利用原始图像进行三维立体重建，计算图像中人脸相对于该金融自助设备的距离信息；步骤(3)，判断安全区域内是否有多个人脸图像，如果有多个人脸，则进行步骤(4)，否则回到步骤⑴；步骤(4)，通过一异常检测模块进一步计算距离金融自助设备较远的在后人脸的人眼注视角度，判断该在后人脸是否注视操作面板或显示屏幕，如果是，则进行步骤(5)，否则回到步骤(I);以及步骤(5)，报警，通过显示文字、图像和/或语音提示客户有被偷窥事件。
6.如权利要求5所述的防偷窥方法，其特征在于，该步骤(4)与步骤(5)之间还包括视线遮挡判断的步骤，通过异常检测模块进一步判断注视操作面板或显示屏幕的人脸的视线是否被距离金融自助设备较近在先的人遮挡，如果是，则回到步骤(I)，如果否，则进行步骤(5)。
7.如权利要求5或6所述的防偷窥方法，其特征在于，该步骤(2)进一步包括步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像； 步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息。
8.一种金融自助设备，其特征在于其包括机壳、内部机芯、工控机、显示屏、人机交互模块、读卡模块、以及如权利要求I所述的一防偷窥系统。
9.如权利要求8所述的金融自助设备，其特征在于进一步包括打印模块。
全文摘要
本发明提供一种防偷窥系统，其应用于一金融自助设备，该防偷窥系统包括一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，用于摄取原始图像数据并进行三维立体重建以获得每一图像相对于金融自助设备的距离信息；一异常检测模块，包括人脸检测单元和视角计算单元，用于检测是否存在多个人脸并计算人眼注视的视角范围以判断其是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。该方案可以大大提高判断偷窥者的准确率，减少报警的误报率。
文档编号G07F9/00GK102610035SQ20121010165
公开日2012年7月25日 申请日期2012年4月5日 优先权日2012年4月5日
发明者向托闻, 徐朝阳, 陶品德 申请人:广州广电运通金融电子股份有限公司