代客操作的识别方法及装置、电子设备、存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种代客操作的识别方法及装置、电子设备、存储介质。


背景技术：

2.代客操作一直是各大银行网点管理的痛点，其中代客操作涉及到了侵犯客户隐私，甚至还有可能诱发过度营销、营销欺诈等严重问题，从而损害客户的财产安全以及银行的声誉问题，所以能识别出代客操作显得尤为重要。
3.在现有的方式中，主要通过两种方式获知代客操作，一种是采用调查机制，即可以通过定期对客户进行调查，以发现代替客户操作手机的异常情况，倘若在调查的过程中，接收到客户投诉，也是可以获悉是否存在代客操作的情况。另一种则是采用人力监管的监控机制，即人力不定期的巡察网点周围的工作环境，以获知网点内是否存在代客操作客户手机的现象。
4.但是代客操作客户手机均是暗地里偷偷执行，不易被发现，而对于第一种方式，由于采用的是调查机制，往往都是事后调查、取证以及核实事实等一系列操作，从而导致效率低下，回响速度较慢。对于第二种方式，由于是人力不定期的巡察，当客户较多的情况下，巡察比较困难，从而导致难以识别代客操作客户手机的现象。


技术实现要素：

5.基于上述现有技术的不足，本技术提供了一种代客操作的识别方法及装置、电子设备、存储介质，以解决现有技术难以识别代客操作客户手机的现象的问题。
6.为了实现上述目的，本技术提供了以下技术方案：
7.本技术第一方面提供了一种代客操作的识别方法，包括：
8.实时获取摄像头拍摄的监控画面；
9.基于所述监控画面中的各个人员的人脸，识别出各个所述人员中的内部人员以及非内部人员，并对各个所述人员进行目标跟踪；
10.实时判断是否跟踪到任意一个所述内部人员与任意一个所述非内部人员之间的距离满足预设条件；
11.若跟踪到任意一个所述内部人员与任意一个所述非内部人员之间的距离满足预设条件，则检测所述内部人员与所述非内部人员所处的监控范围内是否出现手机；
12.若检测到所述内部人员与所述非内部人员的监控范围内出现手机，则判断所述手机所处的位置是否与所述内部人员的站位矩形框重合；
13.若判断出所述手机所处的位置与所述内部人员的站位矩形框重合，则判断所述内部人员是否满足代客操作手机的判定条件；
14.若判断出所述内部人员满足代客操作手机的判定条件，则向前端反馈所述内部人员存在代客操作手机的行为。
15.可选地，在上述的代客操作的识别方法中，所述实时判断是否跟踪到任意一个所述内部人员与任意一个所述非内部人员之间的距离满足预设条件，包括：
16.实时定位各个所述内部人员的站位矩形框与各个所述非内部人员的站位矩形框；
17.计算每个所述内部人员的站位矩形框与每个所述非内部人员的站位矩形框之间的目标距离；
18.判断是否存在小于预设距离的所述目标距离；
19.若判断出存在小于预设距离的所述目标距离，则确定小于预设距离的所述目标距离对应的所述内部人员与所述非内部人员之间的距离满足预设条件。
20.可选地，在上述的代客操作的识别方法中，所述基于所述监控画面中的各个人员的人脸，识别出各个所述人员中的内部人员以及非内部人员，包括：
21.提取所述监控画面中的每个人员的人脸；
22.分别针对每个所述人员的人脸，检测内部人脸库中是否包括所述人员的人脸；
23.若检测出所述内部人脸库中包括所述人员的人脸，则将所述人员确定为内部人员；
24.若检测出内部人脸库中不包括所述人员的人脸，则将所述人员确定为非内部人员。
25.可选地，在上述的代客操作的识别方法中，所述判断所述内部人员是否满足代客操作手机的判定条件，包括：
26.计算所述内部人员操作所述手机的时间；
27.判断所述内部人员操作所述手机的时间是否满足预设时间；
28.若判断出所述内部人员操作所述手机的时间满足所述预设时间，则检测在所述内部人员操作所述手机的时间段内，后台是否产生敏感交易数据；
29.若检测出在所述内部人员操作所述手机的时间段内，所述后台产生所述敏感交易数据，则确定所述内部人员满足代客操作所述手机的判定条件。
30.本技术第二方面提供了一种代客操作的识别装置，包括：
31.获取单元，用于实时获取摄像头拍摄的监控画面；
32.识别单元，用于基于所述监控画面中的各个人员的人脸，识别出各个所述人员中的内部人员以及非内部人员，并对各个所述人员进行目标跟踪；
33.第一判断单元，用于实时判断是否跟踪到任意一个所述内部人员与任意一个所述非内部人员之间的距离满足预设条件；
34.第一检测单元，用于若跟踪到任意一个所述内部人员与任意一个所述非内部人员之间的距离满足预设条件，则检测所述内部人员与所述非内部人员所处的监控范围内是否出现手机；
35.第二判断单元，用于若检测到所述内部人员与所述非内部人员的监控范围内出现手机，则判断所述手机所处的位置是否与所述内部人员的站位矩形框重合；
36.第三判断单元，用于若判断出所述手机所处的位置与所述内部人员的站位矩形框重合，则判断所述内部人员是否满足代客操作手机的判定条件；
37.反馈单元，用于若判断出所述内部人员满足代客操作手机的判定条件，则向前端反馈所述内部人员存在代客操作手机的行为。
38.可选地，在上述的代客操作的识别装置中，所述第一判断单元，包括：
39.定位单元，用于实时定位各个所述内部人员的站位矩形框与各个所述非内部人员的站位矩形框；
40.第一计算单元，用于计算每个所述内部人员的站位矩形框与每个所述非内部人员的站位矩形框之间的目标距离；
41.第四判断单元，用于判断是否存在小于预设距离的所述目标距离；
42.第一确定单元，用于若判断出存在小于预设距离的所述目标距离，则确定小于预设距离的所述目标距离对应的所述内部人员与所述非内部人员之间的距离满足预设条件。
43.可选地，在上述的代客操作的识别装置中，所述识别单元，包括：
44.提取单元，用于提取所述监控画面中的每个人员的人脸；
45.第二检测单元，用于分别针对每个所述人员的人脸，检测内部人脸库中是否包括所述人员的人脸；
46.第二确定单元，用于若检测出所述内部人脸库中包括所述人员的人脸，则将所述人员确定为内部人员；
47.第三确定单元，用于若检测出内部人脸库中不包括所述人员的人脸，则将所述人员确定为非内部人员。
48.可选地，在上述的代客操作的识别装置中，所述第三判断单元，包括：
49.第二计算单元，用于计算所述内部人员操作所述手机的时间；
50.第五判断单元，用于判断所述内部人员操作所述手机的时间是否满足预设时间；
51.第三检测单元，用于若判断出所述内部人员操作所述手机的时间满足所述预设时间，则检测在所述内部人员操作所述手机的时间段内，后台是否产生敏感交易数据；
52.第四确定单元，用于若检测出在所述内部人员操作所述手机的时间段内，所述后台产生所述敏感交易数据，则确定所述内部人员满足代客操作所述手机的判定条件。
53.本技术第三方面提供了一种电子设备，包括：
54.存储器和处理器；
55.其中，所述存储器用于存储程序；
56.所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的代客操作的识别方法。
57.本技术第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的代客操作的识别方法。
58.本技术提供的一种代客操作的识别方法，通过实时获取摄像头拍摄的监控画面，其次基于监控画面中的各个人员的人脸，识别出各个人员中的内部人员以及非内部人员，并对各个人员进行目标跟踪，然后实时判断是否跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，若跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，则检测内部人员与非内部人员所处的监控范围内是否出现手机，若检测到内部人员与非内部人员的监控范围内出现手机，则判断手机所处的位置是否与内部人员的站位矩形框重合，若判断出手机所处的位置与内部人员的站位矩形框重合，则判断内部人员是否满足代客操作手机的判定条件，若判断出内部人员满足代客操作手机的判定条件，则向前端反馈内部人员存在代客操作手机的行为。从而解决了人工巡察代客操作比
较困难的问题，同时也解决了难以识别代客操作客户手机的问题。
附图说明
59.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
60.图1为本技术实施例提供的一种代客操作的识别方法的流程图；
61.图2为本技术实施例提供的一种内部人员的识别方法的流程图；
62.图3为本技术实施例提供的一种满足预设条件的判断方法的流程图；
63.图4为本技术实施例提供的一种满足代客操作的判定方法的流程图；
64.图5为本技术另一实施例提供的一种代客操作的识别装置的结构示意图；
65.图6为本技术另一实施例提供的一种电子设备的结构示意图。
具体实施方式
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
68.本技术实施例提供了一种代客操作的识别方法，如图1所示，具体包括以下步骤：
69.s101、实时获取摄像头拍摄的监控画面。
70.需要说明的是，为了能让系统及时地捕捉到代客操作的现象，并进行相应的处理操作，所以在本技术实施中需要实时获取摄像头拍摄的监控画面，以为系统的分析操作所提供视频流数据。
71.s102、基于监控画面中的各个人员的人脸，识别出各个人员中的内部人员以及非内部人员，并对各个人员进行目标跟踪。
72.需要说明的是，在本技术实施例中，采用了人脸识别技术，并且还结合了计算机视觉下的目标追踪、目标检测等技术手段，用于实现本技术实施例提供的一种代客操作的识别方法。因此可以基于监控画面中的各个人员的人脸，识别出各个人员中的内部人员以及非内部人员，并对各个人员进行目标跟踪，从而可以有效地解决银行在管理工作中，难以识别违规代客操作客户手机的难点，进而也可以有效地保障客户的财产安全和银行的声誉。
73.可选地，在本技术另一实施例中，步骤s102的一种具体实施方式，如图2所示，包括
以下步骤：
74.s201、提取监控画面中的每个人员的人脸。
75.s202、分别针对每个人员的人脸，检测内部人脸库中是否包括该人员的人脸。
76.需要说明的是，监控画面中包含了许许多多的人员，为了能识别出银行内可能存在内部人员代客操作客户手机的行为，所以在本技术实施例中，需要预先从监控画面中识别出银行的内部人员，即分别针对监控画面中的每个人员的人脸，检测内部人脸库中是否包括该人员的人脸，若检测出内部人脸库中包括该人员的人脸，说明该人员为银行内部人员，则执行步骤s203。若检测出内部人脸库中不包括人员的人脸，说明该人员可能是外部人员，则执行步骤s204。
77.s203、将该人员确定为内部人员。
78.s204、将该人员确定为非内部人员。
79.s103、实时判断是否跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件。
80.具体的，代客操作指的是在银行网点内存在内部人员代替客户进行操作的行为，所以只有当内部人员接近客户时，才有可能发生代客操作，所以在本技术实施例中，需要实时判断是否跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，其中，非内部人员指代客户，若跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，说明该内部人员与该非内部人员之间有可能存在代客操作的现象，则需要进一步确定，即执行步骤s104。若跟踪到任意一个内部人员与任意一个非内部人员之间的距离不满足预设条件，则继续进行监控。
81.可选地，在本技术另一实施例中，步骤s103的一种具体实施方式，如图3所示，包括以下步骤：
82.s301、实时定位各个内部人员的站位矩形框与各个非内部人员的站位矩形框。
83.s302、计算每个内部人员的站位矩形框与每个非内部人员的站位矩形框之间的目标距离。
84.需要说明的是，在本技术实施例中，执行步骤s302是为了后续通过目标距离来判断每个内部人员与每个非内部人员的之间距离是否已经小于系统的预设距离，进而确定内部人员有没有满足代客操作手机的前提条件。
85.s303、判断是否存在小于预设距离的目标距离。
86.具体的，若判断出存在小于预设距离的目标距离，说明该目标距离对应的内部人员与非内部人员之间的距离满足代客操作手机的前提条件，即执行步骤s304。
87.s304、确定小于预设距离的目标距离对应的内部人员与非内部人员之间的距离满足预设条件。
88.s104、检测内部人员与非内部人员所处的监控范围内是否出现手机。
89.需要说明的是，考虑到内部人员与非内部人员之间的距离满足预设条件时，可能会存在某些特殊情况，比如，客户向内部人员询问业务，或者内部人员为客户疑难解答等特殊情况，所以为了防止冤枉内部人员，因此还需要进一步地对内部人员与非内部人员进行判定，所以在本技术实施例中，会检测内部人员与非内部人员所处的监控范围内是否出现手机，若检测到内部人员与非内部人员的监控范围内出现手机，说明该内部人员可能存在
代客操作手机的行为，所以此时执行步骤s105。若检测到内部人员与非内部人员的监控范围内未出现手机，则继续对每个内部人员和每个非内部人员进行监测。
90.s105、判断手机所处的位置是否与内部人员的站位矩形框重合。
91.具体的，步骤s104检测到内部人员与非内部人员所处的监控范围内出现手机，考虑到可能是该非内部人员短暂的拿出手机看一眼又放回去，或者是其他人员持有手机进入到内部人员与非内部人员所处的监控范围内等个别情况，所以还需进一步地对手机所处的位置进行判断，避免因个别情况导致发生错误的处理措施，因此还需要判断手机所处的位置是否与内部人员的站位矩形框重合，若判断出手机所处的位置与内部人员的站位矩形框重合，说明该内部人员存在代客操作手机的可能性较大，所以此时执步骤s106。若判断出手机所处的位置未与内部人员的站位矩形框重合，说明该内部人员不存在代客操作手机的行为，则继续对监控画面进行监控。
92.s106、判断内部人员是否满足代客操作手机的判定条件。
93.需要说明的是，考虑到可能是非内部人员在操作手机时，遇到困难让内部人员帮其解决一下，因此不能将该情况视为内部人员违规代客操作手机，所以为了能准确辨别内部人员存在违规代客操作的行为，所以在本技术实施例中，还需要进一步判断内部人员是否满足代客操作手机的判定条件，若判断出内部人员满足代客操作手机的判定条件，则执行步骤s107。
94.可选地，在本技术另一实施例中，步骤s106的一种具体实施方式，如图4所示，包括以下步骤：
95.s401、计算内部人员操作手机的时间。
96.s402、判断内部人员操作手机的时间是否满足预设时间。
97.具体的，考虑到内部人员有可能是帮客户解决手机上的问题，然后用时过长，或者是考虑到内部人员有可能只是短暂的帮客户操作一下手机，所以在本技术实施例中，还需要进一步的判断内部人员操作手机的时间是否满足预设时间，若判断出内部人员操作手机的时间满足预设时间，说明内部人员操作手机的时间满足预设时间也可能是常态现象，还不能轻易地定义该内部人员存在违规代客操作的行为，还需要进一步的对内部人员进行判定，则执行步骤s403。
98.s403、检测在内部人员操作手机的时间段内，后台是否产生敏感交易数据。
99.需要说明的是，考虑到内部人员操作手机的时间在满足系统的预设时间下，也可能会存在不是代客操作的情况，从而影响后续的判定依据，因此在本技术实施例中，还需要进一步的检测在内部人员操作手机的时间段内，后台是否产生敏感交易数据，若检测出在内部人员操作手机的时间段内，后台产生敏感交易数据，则执行步骤s404。
100.s404、确定内部人员满足代客操作手机的判定条件。
101.s107、向前端反馈内部人员存在代客操作手机的行为。
102.具体的，当判断出内部人员满足代客操作手机的判定条件，则需要向前端发送事件预警，提示内检人员目前银行内部存在内部人员违规代客操作手机的行为，请及时进行处理。
103.本技术提供的一种代客操作的识别方法，通过实时获取摄像头拍摄的监控画面，其次基于监控画面中的各个人员的人脸，识别出各个人员中的内部人员以及非内部人员，
并对各个人员进行目标跟踪，然后实时判断是否跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，若跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，则检测内部人员与非内部人员所处的监控范围内是否出现手机，若检测到内部人员与非内部人员的监控范围内出现手机，则判断手机所处的位置是否与内部人员的站位矩形框重合，若判断出手机所处的位置与内部人员的站位矩形框重合，则判断内部人员是否满足代客操作手机的判定条件，若判断出内部人员满足代客操作手机的判定条件，则向前端反馈内部人员存在代客操作手机的行为。从而解决了人工巡察代客操作比较困难的问题，同时也解决了难以识别代客操作客户手机的问题。
104.本技术另一实施例提供了一种代客操作的识别装置，如图5所示，包括以下单元：
105.获取单元501，用于实时获取摄像头拍摄的监控画面。
106.识别单元502，用于基于监控画面中的各个人员的人脸，识别出各个人员中的内部人员以及非内部人员，并对各个人员进行目标跟踪。
107.第一判断单元503，用于实时判断是否跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件。
108.第一检测单元504，用于若跟踪到任意一个内部人员与任意一个非内部人员之间的距离满足预设条件，则检测内部人员与非内部人员所处的监控范围内是否出现手机。
109.第二判断单元505，用于若检测到内部人员与非内部人员的监控范围内出现手机，则判断手机所处的位置是否与内部人员的站位矩形框重合。
110.第三判断单元506，用于若判断出手机所处的位置与内部人员的站位矩形框重合，则判断内部人员是否满足代客操作手机的判定条件。
111.反馈单元507，用于若判断出内部人员满足代客操作手机的判定条件，则向前端反馈内部人员存在代客操作手机的行为。
112.需要说明的是，本技术实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤s101～步骤s107，此处不再赘述。
113.可选地，本技术另一实施例提供的一种代客操作的识别装置中，第一判断单元，包括：
114.定位单元，用于实时定位各个内部人员的站位矩形框与各个非内部人员的站位矩形框。
115.第一计算单元，用于计算每个内部人员的站位矩形框与每个非内部人员的站位矩形框之间的目标距离。
116.第四判断单元，用于判断是否存在小于预设距离的目标距离。
117.第一确定单元，用于若判断出存在小于预设距离的目标距离，则确定小于预设距离的目标距离对应的内部人员与非内部人员之间的距离满足预设条件。
118.需要说明的是，本技术上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。
119.可选地，本技术另一实施例提供的一种代客操作的识别装置中，识别单元，包括：
120.提取单元，用于提取监控画面中的每个人员的人脸。
121.第二检测单元，用于分别针对每个人员的人脸，检测内部人脸库中是否包括人员的人脸。
122.第二确定单元，用于若检测出内部人脸库中包括人员的人脸，则将人员确定为内部人员。
123.第三确定单元，用于若检测出内部人脸库中不包括人员的人脸，则将人员确定为非内部人员。
124.需要说明的是，本技术上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。
125.可选地，本技术另一实施例提供的一种代客操作的识别装置中，第三判断单元，包括：
126.第二计算单元，用于计算内部人员操作手机的时间。
127.第五判断单元，用于判断内部人员操作手机的时间是否满足预设时间。
128.第三检测单元，用于若判断出内部人员操作手机的时间满足预设时间，则检测在内部人员操作手机的时间段内，后台是否产生敏感交易数据。
129.第四确定单元，用于若检测出在内部人员操作手机的时间段内，后台产生敏感交易数据，则确定内部人员满足代客操作手机的判定条件。
130.需要说明的是，本技术上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。
131.本技术另一实施例提供了一种电子设备，如图6所示，包括：
132.存储器601和处理器602。
133.其中，存储器601用于存储程序。
134.处理器602用于执行程序，程序被执行时，具体用于实现如上述任意一个实施例提供的代客操作的识别方法。
135.本技术另一实施例提供了一种计算机存储介质，用于存储计算机程序，计算机程序被执行时，用于实现如上述任意一个实施例提供的代客操作的识别方法。
136.计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
137.需要说明的是，本发明提供的一种代客操作的识别方法及装置、电子设备、存储介质可用于人工智能领域或金融领域。上述仅为示例，并不对本发明提供的一种代客操作的识别方法及装置、电子设备、存储介质的应用领域进行限定。
138.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本技术的范围。
139.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。