一种atm智能监控系统及方法
【专利摘要】一种ATM智能监控系统及方法，在ATM监控场景下对ATM机、用户进行视频监控，由图像采集和处理模块、传感器及传感数据处理模块、智能分析模块、报警模块构成；包含人脸检测识别、偷窥行为检测、虚假广告及遗留物检测、人员徘徊分析、过激行为报警、越过黄线报警、视频信号异常监控、ATM卡口及键盘改装、图像质量分析等多种异常事件检测方法；该装置首先通过摄像机拍摄ATM机操作者人脸、ATM机键盘和屏幕、ATM机所在室内场景；由传感数据采集及处理模块采集ATM震动及人体所在位置的信号；由智能分析模块分析人的行为，对可疑行为报警；解决传统监控分析系统工作量大、效率低、易忽略漏报可疑行为、报警非实时性等问题。
【专利说明】一种ATM智能监控系统及方法
(-)【技术领域】:
[0001]本发明涉及一种ATM监控场景下对ATM机器、用户进行视频监控的方法，尤其指一种模式识别与智能控制、视觉计算及智能视频分析技术、图像处理与数据融合方法，通过对可见光和传感器信息的融合，实现了对ATM监控场景下对ATM机器、操作者进行视频分析提供安全预警，防范破坏ATM机、抢劫胁迫ATM机客户、盗取ATM机客户信息等行为，属于信息处理【技术领域】。
(二)【背景技术】:
[0002]近年来针对银行ATM犯罪频发，ATM机被破坏、ATM机客户被抢劫胁迫、客户信息被窃取等行为时有发生。传统的人工视频监控由监控人员逐一轮巡监控系统大量的实时画面，无法全面预警和防范这些行为的发生，只能事后调取录像以供查证。
[0003]国内市场开发ATM智能监控软件的主要厂家有海康、英飞拓、索贝和大卫通等，其他厂家包括远拓科技、万华科技、贝尔信科技等。通过调研发现，国内厂家在ATM智能监控方面所提供的解决方案大致相同，主要集中体现在硬件系统设计上，在软件功能集成性和完备性方面不足，针对复杂的行为分析、人脸识别、遗留物实时分析提示等高层视觉计算未提供良好的技术方案。国外提供ATM智能监控解决方案的公司主要有R0T0TYPE、RADEN、GRG和BS/2等，由于市场需求不同，国外公司的解决方案优势重点在分布式ATM网络的硬件管理和数据库管理方面，暂未出现专门针对ATM设备环境及操作安全的智能监控方案。
(三)
【发明内容】
:
[0004]本发明的目的在于利用图像处理、视觉计算及智能视频分析技术，实现ATM环境、设备及操作安全的自动监控预警，全面保障银行及用户财产安全。该系统解决了传统人工监控分析系统工作量大、效率低、易忽略漏报可疑行为、报警非实时性等问题，具有高精度、高智能化等特点，在提高了报警精度和效率的同时，大大降低系统维护所需要的资源，是未来银行智能监控解决方案不可或缺的一部分。
[0005]本发明提供了人脸检测识别、偷窥行为检测、虚假广告及遗留物检测、人员徘徊分析、过激行为报警、越过黄线报警、视频信号异常监控、ATM卡口及键盘改装监控、图像质量分析等异常事件检测，结合硬件传感器模块，同时具备ATM震动检测、卡口遗留提醒等智能分析报警能力。针对不同报警类型，具备保存实时录像片段，语音双向对讲，警报、警灯及门禁自动控制等功能。
(四)【专利附图】
【附图说明】:
[0006]图1为本发明系统硬件在ATM监控场景下的部署图
[0007]图2为本发明系统整体的结构框图
[0008]图3为本发明视频采集处理模块的流程图
[0009]图4为本发明传感器及传感数据处理模块的流程图[0010]图5为本发明智能分析模块的流程图
[0011]图6为本发明报警及报警录像模块的流程图
[0012]图7为本发明智能分析模块遗留物检测方法的流程图
[0013]图8为本发明智能分析模块摄像头遮挡检测方法的流程图
[0014]图9为本发明智能分析模块过激行为检测方法的流程图
[0015]图10为本发明智能分析模块人脸检测识别方法的流程图
[0016]图11为本发明智能分析模块人员徘徊分析方法的流程图
[0017]图12为本发明智能分析模块越过黄线报警方法的流程图
[0018]图13为本发明智能分析模块ATM卡口及键盘改装检测方法的流程图
[0019]图14为本发明智能分析模块ATM机震动检测方法的流程图
[0020]图15为本发明智能分析模块视频质量分析方法的流程图
(五)具体实施方案:
[0021]ATM智能预警系统是多功能、多模块、智能化的软硬件一体化综合系统，图1图示的表示本发明涉及的硬件设备的部署情况，图2图示地表示本发明包含:图像采集和处理模块202、传感器及传感数据处理模块201、智能分析模块203、报警模块204。传感器及传感数据处理模块201、图像采集和处理模块202分别负责采集传感器信号、视频信号，发送给智能分析模块203进行智能分析，分析得到的结果中需要报警的由智能分析模块203将报警信号发送给报警模块204，报警模块204驱动硬件设备205报警，向监控中心206报警。
[0022]I)图像采集和处理模块:
[0023]该图像采集和处理模块中的图像采集部分包含嵌入ATM机内采集人脸信号的鱼眼相机105、放置于ATM机面向有人侧斜上方抓拍ATM机键盘屏幕及操作者的红外/可见光可切换相机110、放置于ATM机所在室内墙角的广角相机111、录像和进行前端摄像机控制的硬盘录像机104 (可配置为数字硬盘录像机DVR和网络硬盘摄像机NVR)；
[0024]图3图示的表示图像采集和处理模块中的图像处理部分的流程，首先前端设备获取视频流303，视频流解码304、单帧图像格式转换305、视频帧缓存306操作；视频流解码将前端设备发送来的视频流解码成一帧一帧的图像；视频帧格式转换负责将不同编码格式的图像统一转换为RGB格式的图像；视频帧缓存操作将统一格式的视频帧缓存下来，以供智能分析模块处理。
[0025]2)传感器及传感数据处理模块:
[0026]该传感器及传感数据处理模块是由震动传感器108、测距传感器109、传感数据处理模块102组成。其中震动传感器108置于ATM机外壳内壁，用于测量ATM机的震动情况；测距传感器109置于ATM机朝向有人侧，用于测量人体距离ATM机的距离；传感数据处理模块102 (单片微型计算机)放置于ATM机内部；以综合各传感器的数据并排除噪声，提供给智能分析模块进行处理；
[0027]图4图示地表示传感器及传感数据处理模块的流程图，首先震动传感器、测距传感器信号输入(403，404)，分别经过滤除信号噪声(405，406)，信号延时处理(407，408)，对于震动信号，当一定时间范围内震动信号值大于一定阈值时(409)，通过并口向计算机发送震动报警信号(411);反之，通过并口向计计算机发送无震动信号(411);对于距离信号，当一定时间范围内距离信号值小于一定阈值时(409)，通过并口向计计算机发送人体接近信号(411);反之，通过并口向计算机发送无人体接近信号(411);以上所有数据均存入计算机数据缓冲区(415)。
[0028]3)智能分析模块:
[0029]该智能分析模块由数字计算机系统103和智能分析软件组成，该智能分析分析软件部署于数字计算机系统103上；
[0030]图5图示地表示智能分析模块的流程:首先分别向视频帧缓冲区请求图像(503)，向传感数据缓冲区请求震动和人体接近信号(504)，然后由智能分析模块进行分析(505)，如果当前信息足够进行判断，则输出结果，否则继续请求图像和传感器信号直至可以作出判断；其次判断当前智能分析结果是否需要进行报警，若需要则向报警模块发送报警信号(508)，否则智能分析流程结束。
[0031]4)报警模块:
[0032]该报警模块，包含硬件驱动电路114及门禁系统113、对讲机106、报警灯、喇叭等;
[0033]图6图示地表示报警模块流程图，首先报警模块接收报警信号603，判断是否需要向控制中心发送报警信号604，若需要，则向控制中心发送报警信号(605)，反之，不发送报警信号；然后判断是否需要驱动硬件电路报警606，若需要则发送硬件控制指令607驱动硬件进行报警控制，包括驱动门禁控制113、对讲机106等；发送信号给视频采集模块对这一时间段的内容进行录像608。
[0034]5)智能分析方法:
[0035]该智能分析方法存在于智能分析模块中，包含:遗留物检测、摄像头遮挡检测、人体过激行为检测、嫌疑人脸检测识别、人员徘徊分析检测、非操作人员越过黄线报警、偷窥行为检测、ATM卡口及键盘改装检测、ATM机震动检测、视频质量异常检测方法；
[0036]图7图示地表示遗留物检测流程:首先对输入的N帧图像进行差分(703)，判断图像场景是否有变化(704)，若没有场景变化，将实时图像和预制位图像分别转为灰度图像(705)，两图像再进行差分(707)，依次进行滤波(709)、二值化(711)、形态学处理(713)，需找连通区域(704)，若连通区域面积小于阈值Tl (716)，则将当前图像作为新的预制位图像(718);反之，若图像中场景有变化，再取N帧图像进行差分(706)，若图像场景没有出现变化，重新取N帧图像进行差分(703);当708判断场景有变化后，依次将实时图像与预制位图像进行差分(710)、二值化(712)、将结果与上次记录的结果进行与操作(715)、寻找连通区域(717)，若连通区域面积大于阈值T2 (719)，则寻找到遗留物(720);
[0037]图8图示地表示摄像头遮挡检测流程:首先输入待测试图像(803)，依次对图像进行二值化(804)，截取感兴趣区域ROI (805)，对ROI图像计算X/Y方向的梯度绝对值，取两个方向中梯度绝对值更大的一个进行二值化，求此矩阵的熵值(810 )，与预设的熵值阈值Ml作比较(811)，若此矩阵熵值大于M1，则认为摄像头被遮挡(812)，否则认为摄像头不被遮挡(813)；
[0038]图9图示地表示过激行为检测流程:首先输入一定数量的视频帧(903)，进行运动区域检测(904)，运动速度估算(905)，进行运动有序性分析(906)，判断是否是过于激烈的行为(907)，若不是重新对输入图像进行运动区域检测(904)，否则认为发生过于激烈的行为(908)，进行报警；
[0039]图10图示地表示嫌疑人脸检测及疑似偷窥检测流程:首先请求输入视频帧(1003)，依次进行运动区域检测(1004)，肤色检测(1005)，全图遍历小窗口( 1005)，检测是否是人脸(1006)，若是人脸，则保存人脸图像(1007)，检测此人脸是否嫌疑人脸(1009)，若是进行嫌疑人报警(1011);保存人脸图像(1007)之后，图像检测到的人脸数目加一(1008)，当在ATM机操作区域中判断是否有多张人脸出现在同一幅图像中(1010)，若是，进行疑似偷窥报警(1012);
[0040]图11图示地表示行人徘徊检测流程:首先取NI帧实时图像(1102)，进行行人检测(1103)，并圈出行人(1104)，对行人进行跟踪(1105)，记录行人的运动轨迹(1106)，对行人运动轨迹进行分析(1107)，利用提前训练好的HMM模型对轨迹进行判断(1108)，若判断为徘徊，将徘徊的行人及其历史运动轨迹标记出来(1109)，否则重新请求图像进行检测；
[0041]图12图示地表示越过黄线检测流程:首先取NI帧连续图像(1202)，检测是否有行人(1203)，若有则圈出行人(1204)，通过摄影测量技术测量行人距离黄线的距离；然后输入测距传感器测量的距离信号结果，若结果一致，则判断此距离是否已经越过黄线(1208)，若已越过则输出越过黄线报警信号；否则重新获取图像进行检测；
[0042]图13图示地表示ATM卡口及键盘改装检测流程:预先在键盘、出卡口等处涂抹特殊波段的涂料，首先将监视相机切换至对应特殊波段的相应模式(1302)，在无人操作ATM机时获取一幅图像(1303)，根据配置的感兴趣区域ROI截取卡口及键盘区域的图像(1304)，提取截取图像的特征(1305)，与预先存储的区域图像或者其特征作差(1306)，若特征差异过大或者图像与预先存储的图像差异过大，认为卡口及键盘被改装过，输出报警信号(1307)；
[0043]图14图示地表示ATM震动检测流程:首先取NI帧实时图像(1403)，判断图像是否晃动(1404)，若图像不晃动，重新取NI帧图像进行检测(1403);否则输入传感器测得的ATM震动信号值Ml (1405)，判断Ml是否大于预设的震动阈值Tl (1406)，若是则判断ATM机晃动，输出相应报警信号(1407)；
[0044]图15图示地表示视频质量异常检测流程:首先输入一帧待检测图像(1503)，然后截图待检测图像上方和下方所标注的文字之间的部分图像(1504)，将截取出的图像按3*3均分成9块(1505)，分别对每块提取特征(1506)，最后利用svm分类器进行分类(1507)，分别区分为图像过亮(1508)、无信号(1509)、图像正常(1510)、蓝屏(1511)、雪花屏(1512)。
【权利要求】
1.一种基于机器视觉的非接触式自助银行与自助柜员机智能监控系统，其特征在于，所述智能监控装置包括: 传感器及传感数据处理模块，由震动传感器、红外测距仪、单片微型计算机组成；该震动传感器测量ATM机的震动，该红外测距仪测量人体距离ATM机的距离； 图像采集和处理模块，由数字摄像机、数字硬盘录像机组成；该数字摄像机包括嵌入ATM机内采集人脸图像的鱼眼相机、放置于ATM机面向人侧斜上方抓拍ATM机键盘屏幕及操作者的红外/可见光可切换相机、放置于ATM机所在室内墙角的广角相机；该数字硬盘录像机根据需要配置为DVR和NVR ； 报警模块，由门禁系统、录像记录设备和报警灯及报警喇叭组成；该门禁系统安装在ATM机所在房间的入口处；该报警灯及报警喇叭用于提示用户有异常行为发生； 智能分析模块部署于计算机系统上；该计算机系统的硬件包括图像采集卡、显示器、显卡和命令输入设备。
2.如权利要求1所述的智能监控系统，其特征在于: 1)通过图像采集和处理模块采集监控场景的三路实时视频流，将YUV格式的视频流实时转换为RGB格式，送入智能分析模块进行分析； 2)由传感数据采集及处理模块实时采集ATM震动及人体所在位置距离ATM机的距离信号，送入智能分析模块进行分析； 3)智能分析模块检测是否发生异常事件，若发现异常事件，截取报警图片、小段报警视频等相关信息，将异常事件报警信号及信息送至报警模块； 4)报警模块接收异常事件报警信号，先存储在本机上的数据库内，然后根据异常事件的性质，决定是否通过串口 驱动警灯、门禁、音响设备等进行异常事件处理，同时通过以太网将报警信息发送给监控中心。
3.—组基于机器视觉的ATM机智能监控方法，其特征在于，包括以下异常事件检测方法: 遗留物检测:每隔一段时间，判断场景固定不变时，将视频帧自动更新为背景帧；当前帧与背景帧作差分、二值化、寻找连通区域，若连通区域面积大于一定阈值，则判断为遗留物； 摄像头遮挡检测:首先输入待测试图像，依次对图像进行二值化，截取感兴趣区域ROI，对ROI图像计算X/Y方向的梯度绝对值，取两个方向中梯度绝对值更大的一个进行二值化，求此矩阵的熵值，与预设的熵值阈值Ml作比较，若此矩阵熵值大于M1，则认为摄像头被遮挡，否则认为摄像头不被遮挡； 过激行为检测:首先输入一定数量的视频帧，进行运动区域检测，运动速度估算，进行运动有序性分析，依据有序性分析的结果，判断是否是过于激烈的行为，若不是重新对输入图像进行运动区域检测，否则认为发生过于激烈的行为，进行报警； 嫌疑人脸检测及疑似偷窥检测:首先请求输入视频帧，依次进行运动区域检测，肤色检测，全图遍历小窗口，检测是否是人脸，若是人脸，则保存人脸图像，检测此人脸是否嫌疑人脸，若是进行嫌疑人报警；保存人脸图像之后，图像检测到的人脸数目加一，当在ATM机操作区域中判断是否有多张人脸出现在同一幅图像中，若是，进行疑似偷窥报警； 行人徘徊检测:首先取NI帧实时视频图像，进行行人检测，并圈出行人，对行人进行跟踪，记录行人的运动轨迹，对行人运动轨迹进行分析，利用提前训练好的HMM模型对轨迹进行判断，若判断为徘徊，将徘徊的行人及其历史运动轨迹标记出来，否则重新请求图像进行检测； 越过黄线检测:首先取NI帧连续图像，检测是否有行人，若有则圈出行人，通过摄影测量技术测量行人距离黄线的距离；然后输入测距传感器测量的距离信号结果，若结果一致，则判断此距离是否已经越过黄线，若已越过则输出越过黄线报警信号；否则重新获取图像进行检测； ATM卡口及键盘改装检测:预先在键盘、出卡口等处涂抹特殊波段的涂料，将监视相机切换至相应波段模式，获取一幅图像，根据配置的感兴趣区域ROI截取卡口及键盘区域的图像，提取截取图像的特征，与预先存储的两区域的图像的特征作对比，若特征差异过大或者图像与预先存储的图像差异过大，认为卡口及键盘被改装过，输出报警信号； ATM震动检测:首先取NI帧实时图像，判断图像是否晃动，若图像不晃动，重新取NI帧图像进行检测；否则输入传感器测得的ATM震动信号值M1，判断Ml是否大于预设的震动阈值Tl，若是则判断ATM机晃动，输出相应报警信号； 视频质量异常检测:首先输入一帧待检测图像，然后截图待检测图像上方和下方所标注的文字之间的部分图像，将截取出的图像按3*3均分成9块，分别对每块提取特征，最后利用svm分类器进行分类，分别`区分为图像过亮、无信号、图像正常、蓝屏、雪花屏。
【文档编号】G07F9/02GK103873825SQ201410072225
【公开日】2014年6月18日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】张弘, 贾瑞明, 程飞洋, 董家泉, 林胜楠, 辛淼, 胡骁东 申请人:北京航科威视光电信息技术有限公司