一种多联动的加油站套现行为识别系统的制作方法

本发明涉及信息化处理领域，具体涉及一种多联动的加油站套现行为识别系统。

背景技术：

1、关于治理员工套现问题面临着实际的问题，目前确认套现主要的方式是通过人工在加油站录像设备查找加油员收现金的行为，然后去订单系统查找对应的订单判断是否发生套现行为，收现金行为本身持续时间较短，从视频录像中查找耗时较多，当监控数量较多时，就需要投入更多的人力，投入较大，收效甚微。

2、因此，如何提供一种人工智能的套现行为检测系统是本领域技术人员亟需解决的问题

技术实现思路

1、为解决上述技术问题至少之一，本申请提出了一种多联动的加油站套现行为识别系统，所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：

2、所述配置模块在获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的id标识信息，所述摄像头至少为两个；

3、所述图像分析模块模块利用深度学习模型实时分析解码后视频数据并识别收现金行为：

4、所述匹配模块从加油站的订单系统获取订单信息，从图像分析模块获取确定发生收现金行为信息，通过图像分析模块上传的油枪号、收现金时间与订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金行为所对应的订单信息；

5、所述报警模块对匹配后的订单信息进行判断，当发现套现行为，将告警信息传到加油站的管理平台。

6、优选的，所述告警信息中至少包括订单信息，提枪者的id标识信息及提枪者的视频图像信息。

7、 优选的，所述配置模块在前端获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的id标识信息，包括：启动前端流媒体服务，配置摄像头ip地址，利用流媒体rtsp协议获取现场画面，基于canvas api实现加油岛区域标注，并标定加油岛对应的油枪号信息。

8、 优选的，图像分析模块中所述的利用深度学习模型实时分析解码后视频数据识别收现金行为包括：现场设备通过芯片实时解码摄像头视频数据，将数据传输给神经网络分析模型进行分析， 当监测到车辆进入加油区域后，车辆跟踪算法对车辆进行跟踪，识别到车辆进入加油岛停止后，开启收现行为监测。

9、优选的，其中，开启收现行为的监测包括：识别到顾客下车后行人跟踪算法开始对该顾客进行跟踪识别，识别地面是否有接递现金的行为。

10、优选的，地面收现金识别识别地面是否有接递现金的行为，具体是采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的图像。

11、 优选的，匹配模块中所述的获取收现金行为所对应的订单信息包括：通过rocketmq消息队列获取订单系统加油订单信息，包含油枪号、抬挂抢号信息、支付方式、支付金额信息；通过图像分析模块获取的收现金时间及油枪号信息与从订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金加油过程所对应的加油订单信息。

12、优选的，采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的面积图像，所述手部四边形图像信息的获取，是根据加油站中的标识图像变换后，再与标准图像图像进行比对，以获取是否为现金图像。

13、优选的，根据标识图像设置在加油站的位置信息与摄像头的角度信息，预设置形变矩阵，在对用户的手部四边形信息图像提取时，当存在预置形变矩阵时，则直接进行形变变换后，进行标准图像进行比对；当不存在预置形变矩阵时，根据标识图像和在摄像头中获取的标识图像，计算形变矩阵。

14、优选的，所述神经网络分析模块包括至少一个卷积层、至少一个全连接层以及一个softmax层；将所述最后一个卷积层的特征图输入所述至少一个全连接层中，得到所述至少一个全连接层中的最后一个全连接层输出的二维向量。

15、为此，本发明提供了一种多联动的加油站套现行为识别系统。本申请中将计算机视觉中深度学习技术用于收现金行为检测，在加油站中设置标准位置信息和用户的标识信息用于收现金行为检测，减少了企业人工查找的投入，同时视觉监测系统与订单系统打通，获取订单信息，通过收现金行为与订单信息精准匹配后判断，最终确定是否为套现行为，实现全自动精准判断。

16、

技术特征：

1.一种多联动的加油站套现行为识别系统，其特征在于：所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：

2.如权利要求1所述的多联动的加油站套现行为识别系统，其特征在于：所述告警信息中至少包括订单信息，提枪者的id标识信息及提枪者的视频图像信息。

3. 如权利要求2所述的多联动的加油站套现行为识别系统，其特征在于：所述配置模块在前端获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的id标识信息，包括：启动前端流媒体服务，配置摄像头ip地址，利用流媒体rtsp协议获取现场画面，基于canvas api实现加油岛区域标注，并标定加油岛对应的油枪号信息。

4. 如权利要求3所述的多联动的加油站套现行为识别系统，其特征在于：图像分析模块中所述的利用深度学习模型实时分析解码后视频数据识别收现金行为包括：现场设备通过芯片实时解码摄像头视频数据，将数据传输给神经网络分析模型进行分析， 当监测到车辆进入加油区域后，对车辆进行跟踪，识别到车辆进入加油岛停止后，开启收现行为监测。

5.如权利要求4所述的多联动的加油站套现行为识别系统，其特征在于：其中，开启收现行为的监测包括：识别到顾客下车后，开始对该顾客进行跟踪识别，识别地面和车内是否有接递现金的行为。

6.如权利要求5所述的多联动的加油站套现行为识别系统，其特征在于：地面收现金，识别地面是否有接递现金的行为，具体是采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的图像，并于预设的现金特征图像做比对。

7. 如权利要求6所述的联动的加油站套现行为识别系统，其特征在于：匹配模块中所述的获取收现金行为所对应的订单信息包括：通过rocket mq消息队列获取订单系统加油订单信息，包含油枪号、抬挂抢号信息、支付方式、支付金额信息；通过图像分析模块获取的收现金时间及油枪号信息与从订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金加油过程所对应的加油订单信息。

8.如权利要求7所述的多联动的加油站套现行为识别系统，其特征在：采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的面积图像，所述手部四边形图像信息的获取，是根据加油站中的标识图像变换后，再与现金特征图像进行比对，以获取是否为现金图像。

9.如权利要求8所述的多联动的加油站套现行为识别系统，其特征在于：根据标识图像设置在加油站的位置信息与摄像头的角度信息，预设置形变矩阵，在对用户的手部四边形信息图像提取时，当存在预置形变矩阵时，则直接进行形变变换后，进行标准图像进行比对；当不存在预置形变矩阵时，根据标识图像和在摄像头中获取的标识图像，计算形变矩阵。

10.如权利要求9所述的多联动的加油站套现行为识别的系统，其特征在于：所述神经网络分析模块包括至少一个卷积层、至少一个全连接层以及一个softmax层；将所述最后一个卷积层的特征图输入所述至少一个全连接层中，得到所述至少一个全连接层中的最后一个全连接层输出的二维向量。

技术总结
本发明涉及信息处理领域，本发明提供了一种多联动的加油站套现行为识别系统。所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：将计算机视觉中深度学习技术，在加油站中设置标准位置信息用于收现金行为检测，减少了企业人工查找的投入，同时视觉监测系统与订单系统打通，获取订单信息，通过收现金行为与订单信息精准匹配后判断，最终确定是否为套现行为，实现全自动精准判断。

技术研发人员：陆彬,邵国刚,李勇旺,王峰,高海莹,钱志军,程千才,郑玮,张振华,樊志强
受保护的技术使用者：行为科技（北京）有限公司
技术研发日：
技术公布日：2024/1/12