一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统与流程

1.本发明属于人工智能检测技术领域，具体涉及一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统。


背景技术：

2.电信、移动、电业局或邮局等营业厅代表了国有企业的形象，营业厅工作人员的服务礼仪不仅代表公民对服务机构的认可，某种程度上也体现了我们社会的进步和国家的发展；现在几乎所有的营业厅都安装有智能摄像机用于监督营业厅坐席员工的服务礼仪规范。而传统的监督方式为专门的监督人员看营业厅的监控视频回放，从而找出坐席员工工作中的失误和不规范的服务礼仪；传统的监督方式效率低且实时性差。


技术实现要素：

3.本发明提供了一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统，旨在解决现有技术中通过观看监控视频回放进行坐席员工服务礼仪规范监督的方式效率低且实时性差的问题。
4.为了解决上述技术问题，本发明所采用的技术方案为：
5.第一方面，本发明提供了一种基于智能摄像头的营业厅坐席员工起身检测的方法，包括以下步骤：
6.s001、对智能摄像头监控画面中的每个坐席位置画位置矩形框；所述位置矩形框包括客户位置矩形框和坐席员工位置矩形框；
7.s002、所述智能摄像头对采集的每帧图像进行人形识别、定位和跟踪，获得人形数据，并定时向平台上报聚合后的人形数据；
8.s003、所述平台收到聚合后的人形数据后，计算当前时间节点中每个所述客户位置矩形框中是否有人；
9.s004、所述平台根据当前时间节点中每个所述客户位置矩形框中是否有人，并结合上一个时间节点中每个所述客户位置矩形框中是否有人，计算出每个所述客户位置矩形框中人形是否有变化；
10.s005、所述平台根据计算出的每个所述客户位置矩形框中人形是否有变化判断是否需要进行起身检测；判断是否需要起身检测的标准为：当从无人到有人时，无人状态持续10秒且有人状态持续10秒，则需要进行起身检测；当从有人到无人时，有人状态持续10秒且无人状态持续10秒，则需要进行起身检测；反之，则不需要进行起身检测；
11.s006、若不需要进行起身检测，则不触发所述平台将检测数据发送到延迟消息队列；
12.s007、若需要进行起身检测，则触发所述平台将检测数据发送到延迟消息队列；
13.s008、所述平台消费所述延迟消息队列中的检测数据，根据所述检测数据查询监
控视频并进行抽帧；
14.s009、所述平台对所述监控视频抽出来的每张图片进行是否起身检测，输出并保存检测结果，生成报告。
15.进一步的方案：在所述步骤s001中，建立包括x轴和y轴的平面坐标系；所述位置矩形框在平面坐标系中的位置表示为[(x1，y1)，(x2，y2)]；所述(x1，y1)为所述位置矩形框左上角的位置坐标，所述(x2，y2)为所述位置矩形框右下角的位置坐标。
[0016]
将所述位置矩形框左上角的位置坐标(x1，y1)和所述位置矩形框右下角的位置坐标(x2，y2)进行0-10000之间的归一化处理，所述归一化处理的公式为：
[0017][0018][0019][0020][0021]
其中，所述(x
′1，y
′1)表示归一化后的位置矩形框左上角的位置坐标；所述(x
′2，y
′2)表示归一化后的位置矩形框右下角的位置坐标，所述w表示所述智能摄像头监控画面的宽度；所述h表示所述智能摄像头监控画面的高度。
[0022]
基于上述方案，由于所述智能摄像头监控画面的尺寸与所述平台显示检测视频画面的尺寸不一致，所以将所述位置矩形框左上角的位置坐标和所述位置矩形框右下角的位置坐标进行归一化处理，使得后续通过坐标的计算在相同的画面尺寸上。
[0023]
进一步的方案：在所述步骤s002中，所述人形数据包括每帧图像中所有人形的位置和人形id；所述对每帧图像中针对不同的客户或不同的坐席员工均设有唯一且不同的id；
[0024]
所述人形的位置用人形矩形框表示，所述人形矩形框在平面坐标系中的位置表示为[(x3，y3)，(x4，y4)]；所述(x3，y3)为所述人形矩形框左上角的位置坐标，所述(x4，y4)为所述人形矩形框右下角的位置坐标；所述人形矩形框包括客户矩形框和坐席员工矩形框；将所述人形矩形框左上角的位置坐标(x3，y3)和所述人形矩形框右下角的位置坐标(x4，y4)进行如上述方案所述的归一化处理；所述归一化处理后的人形矩形框左上角的位置坐标为(x
′3，y
′3)，所述归一化处理后的人形矩形框右下角的位置坐标为(x
′4，y
′4)。
[0025]
进一步的方案：在所述步骤s002中，所述智能摄像头向平台上报聚合后的人形数据的时间间隔为3秒；所述人形数据聚合的规则为：
[0026]
针对同一个人形id的人形位置坐标数据，靠后时间的人形位置坐标数据覆盖靠前时间的人形位置坐标数据；
[0027]
针对不同人形id的人形位置坐标数据，在3秒时间内聚合不同人形id最新的人形位置数据。
[0028]
基于上述方案，所述智能摄像头将每帧图像中的人形数据每隔3秒进行一次聚合，减少所述智能摄像头和所述平台的交互，减轻了所述平台的压力，降低了流量使用。
[0029]
进一步的方案：在所述步骤s003中，所述平台通过所述归一化后的客户矩形框坐标和所述归一化后的客户位置矩形框坐标计算每个所述客户位置矩形框中是否有人；计算
步骤为：
[0030]
第一步：计算所述归一化后的客户矩形框和所述客户位置矩形框相交部分的面积s
inter
，s
inter
计算公式为：
[0031]sinter
＝max((min(y
′4，y
′2)-max(y
′3，y
′1))，0)*max((min(x
′4，x
′2)-max(x
′3，x
′1))，0)；
[0032]
其中，所述客户矩形框归一化后在平面坐标系中表示为[(x
′3，y
′3)，(x
′4，y
′4)]；所述客户位置矩形框归一化后在平面坐标系中表示为[(x
′1，y
′1)，(x
′2，y
′2)]；所述min(，)表示在两个数值中取最小值；所述max(，)表示在两个数值中取最大值；
[0033]
第二步：计算所述归一化后的客户位置矩形框的面积sb，sb计算公式为：
[0034]
sb＝(x
′
2-x
′1)*(y
′
2-y
′1)；
[0035]
第三步：计算s
inter
占所述归一化后的客户位置矩形框的比例p，p的计算公式为：
[0036][0037]
若所述p大于预先设定的阈值，则认为所述客户位置矩形框中存在人；否则认为所述客户位置矩形框中不存在人。
[0038]
进一步的方案：在所述步骤s006中，所述检测数据包括检测的智能摄像头设备序列号、检测的智能摄像头监控视频开始时间、检测的智能摄像头监控视频结束时间和需要进行起身检测的坐席员工位置矩形框。
[0039]
进一步的方案：在所述步骤s008中，根据所述检测数据中检测的智能摄像头设备序列号、检测的智能摄像头监控视频开始时间和结束时间确定需要查询的监控视频；所述监控视频的抽帧标准为每隔一秒抽一帧，并按照图片时间先后顺序排序。
[0040]
基于上述方案，所述检测数据中的智能摄像头设备序列号、智能摄像头监控视频开始时间和结束时间使得所述平台快速并准确地确定需要查询的监控视频，提高了起身检测的效率，并可以调整需要查询的监控视频的时长；
[0041]
所述平台以每隔一秒抽一帧的频率对所述监控视频进行抽帧，不仅提高了起身检测的效率而且不会降低起身检测的准确率。
[0042]
进一步的方案：在所述步骤s009中，所述平台对所述监控视频抽出来的每张图片进行是否起身检测的标准为：
[0043]
所述平台提取每张图片中所述坐席员工位置矩形框中的人头，依次判断每张图片中所述坐席员工位置矩形框中的人头位置变化；若人头由低到高，且最高点和最低点的差值大于设置的阈值，则认为所述坐席员工进行了起身；否则，认为所述坐席员工没有进行起身。
[0044]
基于上述方案，由于营业厅的实际情况比较复杂有遮挡物，导致人形或人脸识别不到的情况，而人头几乎都能看到，因此检测人头位置变化的准确率高于检测人形或人脸。
[0045]
进一步的方案：所述检测结果包括坐席员工是否起身、起身的相关截图证明和是否起身的检测时间。
[0046]
基于上述方案，检测结果中的坐席员工是否起身、起身的相关截图证明和是否起身的检测时间，这三样数据使得监督人员清楚直接得了解坐席员工的服务礼仪是否规范，进而节约了时间成本，提高了监督工作的效率。
[0047]
第二方面，本发明提供了一种基于智能摄像头的营业厅坐席员工起身检测的系统，包括：智能摄像头和平台，并执行以下步骤：
[0048]
s001、对智能摄像头监控画面中的每个坐席位置画位置矩形框；所述位置矩形框包括客户位置矩形框和坐席员工位置矩形框；
[0049]
s002、所述智能摄像头对采集的每帧图像进行人形识别、定位和跟踪，获得人形数据，并定时向平台上报聚合后的人形数据；
[0050]
s003、所述平台收到聚合后的人形数据后，计算当前时间节点中每个所述客户位置矩形框中是否有人；
[0051]
s004、所述平台根据当前时间节点中每个所述客户位置矩形框中是否有人，并结合上一个时间节点中每个所述客户位置矩形框中是否有人，计算出每个所述客户位置矩形框中人形是否有变化；
[0052]
s005、所述平台根据计算出的每个所述客户位置矩形框中人形是否有变化判断是否需要进行起身检测；判断是否需要起身检测的标准为：当从无人到有人时，无人状态持续10秒且有人状态持续10秒，则需要进行起身检测；当从有人到无人时，有人状态持续10秒且无人状态持续10秒，则需要进行起身检测；反之，则不需要进行起身检测；
[0053]
s006、若不需要进行起身检测，则不触发所述平台将检测数据发送到延迟消息队列；
[0054]
s007、若需要进行起身检测，则触发所述平台将检测数据发送到延迟消息队列；
[0055]
s008、所述平台消费所述延迟消息队列中的检测数据，根据所述检测数据查询监控视频并进行抽帧；
[0056]
s009、所述平台对所述监控视频抽出来的每张图片进行是否起身检测，输出并保存检测结果，生成报告。
[0057]
本发明的有益效果为：
[0058]
在本发明中，由于所述智能摄像头的监控视频画面中人员较多，所以通过在监控视频画面中画客户位置矩形框和坐席员工位置矩形框，规定客户和坐席员工，从而基于客户身份或坐席员工身份判断他们的行为，从而精准判断所述坐席员工是否对前来办理业务的客户或业务办理完成后离开的客户进行起身迎接或送别。由于所述智能摄像进行实时监控，获得的人形数据较多，所以本发明中所述智能摄像头以一定的频率向所述平台发送聚合后的人形数据，降低了所述智能摄像头和所述平台的交互次数，在不降低准确率的前提下有效地缓解了所述平台的压力，保证了所述平台的正常运行。另外，本发明判断是否需要起身检测的标准中，以从无人到有人为例，无人状态持续10秒避免了其他人路过时造成有客户前来办理业务的误判；有人状态均需要持续10秒，一方面避免了其他人路过时造成误判；另一方面，10秒的时间足够客户走到所述客户位置矩形框内并坐到坐席上。使得所述平台能够准确地判断是否需要起身检测。
[0059]
本发明基于所述智能摄像头的人形识别、定位和跟踪技术获得的人形数据，所述平台通过人形数据计算每个所述客户位置矩形框中人形是否有变化，结合所述平台的起身检测技术对智能摄像头的监控视频进行实时且自动检测营业厅坐席员工在接待客户时是否进行了起身，并自动生成报告；监督人员通过报告实时且清楚直观得了解坐席员工是否进行了规范的服务礼仪，提高了监督人员工作的效率并且保证了实时性。
附图说明
[0060]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简要介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关附图。
[0061]
图1是本发明一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统中起身检测方法流程图；
[0062]
图2是本发明一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统中智能摄像头监控画面中画位置矩形框的示意图；
[0063]
图3是本发明一种基于智能摄像头的营业厅坐席员工起身检测的方法及系统中起身检测系统的结构示意图。
具体实施方式
[0064]
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚完整的描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。基于本发明的实施例，本领域技术人员在没有创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0065]
实施例一：
[0066]
如图1所示，本实施例提供了一种基于智能摄像头的营业厅坐席员工起身检测的方法，包括以下步骤：
[0067]
s001、对智能摄像头监控画面中的每个坐席位置画位置矩形框；所述位置矩形框包括客户位置矩形框和坐席员工位置矩形框；
[0068]
其中，如图2所示，1号坐席的客户位置矩形框表示为1-1，坐席员工位置矩形框表示为1-2；2号坐席的客户位置矩形框表示为2-1，坐席员工位置矩形框表示为2-2。
[0069]
s002、所述智能摄像头对采集的每帧图像进行人形识别、定位和跟踪，获得人形数据，并定时向平台上报聚合后的人形数据；
[0070]
s003、所述平台收到聚合后的人形数据后，计算当前时间节点中每个所述客户位置矩形框中是否有人；
[0071]
s004、所述平台根据当前时间节点中每个所述客户位置矩形框中是否有人，并结合上一个时间节点中每个所述客户位置矩形框中是否有人，计算出每个所述客户位置矩形框中人形是否有变化；
[0072]
s005、所述平台根据计算出的每个所述客户位置矩形框中人形是否有变化判断是否需要进行起身检测；判断是否需要起身检测的标准为：当从无人到有人时，无人状态持续10秒且有人状态持续10秒，则需要进行起身检测；当从有人到无人时，有人状态持续10秒且无人状态持续10秒，则需要进行起身检测；反之，则不需要进行起身检测；
[0073]
s006、若不需要进行起身检测，则不触发所述平台将检测数据发送到延迟消息队列；
[0074]
s007、若需要进行起身检测，则触发所述平台将检测数据发送到延迟消息队列；
[0075]
其中，延迟时间可以设为1分钟；因为在后面的步骤中，所述平台需要查询监控视
频当前时间节点之后的监控视频数据，所以需要延迟一段时间。
[0076]
s008、所述平台消费所述延迟消息队列中的检测数据，根据所述检测数据查询监控视频并进行抽帧；
[0077]
s009、所述平台对所述监控视频抽出来的每张图片进行是否起身检测，输出并保存检测结果，生成报告。
[0078]
其中，作为一种改进型方案具体为：
[0079]
在所述步骤s001中，建立包括x轴和y轴的平面坐标系；所述位置矩形框在平面坐标系中的位置表示为[(x1，y1)，(x2，y2)]；所述(x1，y1)为所述位置矩形框左上角的位置坐标，所述(x2，y2)为所述位置矩形框右下角的位置坐标。
[0080]
将所述位置矩形框左上角的位置坐标(x1，y1)和所述位置矩形框右下角的位置坐标(x2，y2)进行0-10000之间的归一化处理，进行所述归一化处理的公式为：
[0081][0082][0083][0084][0085]
其中，所述(x
′1，y
′1)表示归一化后的位置矩形框左上角的位置坐标；所述(x
′2，y
′2)表示归一化后的位置矩形框右下角的位置坐标，所述w表示所述智能摄像头监控画面的宽度；所述h表示所述智能摄像头监控画面的高度。
[0086]
具体的，建立包括x轴和y轴的平面坐标系，以所述智能摄像头监控视频画面的左上角为坐标原点(0，0)，向右为x轴的正向，向下为y轴的正向；
[0087]
在在所述步骤s002中，所述人形数据包括每帧图像中所有人形的位置和人形id(identity document，身份标识号)；所述对每帧图像中针对不同的客户或不同的坐席员工均设有唯一且不同的id；
[0088]
所述人形的位置用人形矩形框表示，所述人形矩形框在平面坐标系中的位置表示为[(x3，y3)，(x4，y4)]；所述(x3，y3)为所述人形矩形框左上角的位置坐标，所述(x4，y4)为所述人形矩形框右下角的位置坐标；所述人形矩形框包括客户矩形框和坐席员工矩形框；将所述人形矩形框左上角的位置坐标(x3，y3)和所述人形矩形框右下角的位置坐标(x4，y4)进行如上述的归一化处理；所述归一化处理后的人形矩形框左上角的位置坐标为(x
′3，y
′3)，所述归一化处理后的人形矩形框右下角的位置坐标为(x
′4，y
′4)。
[0089]
在所述步骤s002中，所述智能摄像头向平台上报聚合后的人形数据的时间间隔为3秒；所述人形数据聚合的规则为：
[0090]
针对同一个人形id的人形位置坐标数据，靠后时间的人形位置坐标数据覆盖靠前时间的人形位置坐标数据；
[0091]
针对不同人形id的人形位置坐标数据，在3秒时间内聚合不同人形id最新的人形位置数据。
[0092]
在所述步骤s003中，所述平台通过所述归一化后的客户矩形框坐标和所述归一化后的客户位置矩形框坐标计算每个所述客户位置矩形框中是否有人；计算步骤为：
[0093]
第一步：计算所述归一化后的客户矩形框和所述客户位置矩形框相交部分的面积s
inter
，s
inter
计算公式为：
[0094]sinter
＝max((min(y
′4，y
′2)-max(y
′3，y
′1))，0)*max((min(x
′4，x
′2)-max(x
′3，x
′1))，0)；
[0095]
其中，所述客户矩形框归一化后在平面坐标系中表示为[(x
′3，y
′3)，(x
′4，y
′4)]；所述客户位置矩形框归一化后在平面坐标系中表示为[(x
′1，y
′1)，(x
′2，y
′2)]；所述min(，)表示在两个数值中取最小值；所述max(，)表示在两个数值中取最大值；
[0096]
第二步：计算所述归一化后的客户位置矩形框的面积sb，sb计算公式为：
[0097]
sb＝(x
′
2-x
′1)*(y
′
2-y
′1)；
[0098]
第三步：计算s
inter
占所述归一化后的客户位置矩形框的比例p，p的计算公式为：
[0099][0100]
若所述p大于预先设定的阈值，则认为所述客户位置矩形框中存在人；否则认为所述客户位置矩形框中不存在人。
[0101]
在所述步骤s006中，所述检测数据包括检测的智能摄像头设备序列号、检测的智能摄像头监控视频开始时间、检测的智能摄像头监控视频结束时间和需要进行起身检测的坐席员工位置矩形框。
[0102]
具体的，所述检测的智能摄像头监控视频开始时间为从有人到无人或从无人到有人那一时间节点向前推20秒；所述检测的智能摄像头监控视频结束时间则为从有人到无人或从无人到有人那一时间节点向后推5秒。
[0103]
在所述步骤s008中，根据所述检测数据中检测的智能摄像头设备序列号、检测的智能摄像头监控视频开始时间和结束时间确定需要查询的监控视频；所述监控视频的抽帧标准为每隔一秒抽一帧，并按照图片时间先后顺序排序。
[0104]
具体的，根据所述检测的智能摄像头设备序列号确定要查询的智能摄像头；根据所述检测的智能摄像头监控视频开始时间和结束时间确定要查询的监控视频的视频段和时长；根据所述监控视频的抽帧标准共抽出约25张图片。
[0105]
在所述步骤s009中，所述平台对所述监控视频抽出来的每张图片进行是否起身检测的标准为：
[0106]
所述平台提取每张图片中所述坐席员工位置矩形框中的人头，依次判断每张图片中所述坐席员工位置矩形框中的人头位置变化；若人头由低到高，且最高点和最低点的差值大于设置的阈值，则认为所述坐席员工进行了起身；否则，认为所述坐席员工没有进行起身。
[0107]
具体的，所述平台通过使用训练后的人头检测模型对所述监控视频抽出来的每张图片进行是否起身检测。
[0108]
所述检测结果包括坐席员工是否起身、起身的相关截图证明和是否起身的检测时间。
[0109]
实施例二：
[0110]
如图3所示，本实施例提供了一种基于智能摄像头的营业厅坐席员工起身检测的系统，包括：智能摄像头和平台，并执行以下步骤：
[0111]
s001、对智能摄像头监控画面中的每个坐席位置画位置矩形框；所述位置矩形框包括客户位置矩形框和坐席员工位置矩形框；
[0112]
s002、所述智能摄像头对采集的每帧图像进行人形识别、定位和跟踪，获得人形数据，并定时向平台上报聚合后的人形数据；
[0113]
s003、所述平台收到聚合后的人形数据后，计算当前时间节点中每个所述客户位置矩形框中是否有人；
[0114]
s004、所述平台根据当前时间节点中每个所述客户位置矩形框中是否有人，并结合上一个时间节点中每个所述客户位置矩形框中是否有人，计算出每个所述客户位置矩形框中人形是否有变化；
[0115]
s005、所述平台根据计算出的每个所述客户位置矩形框中人形是否有变化判断是否需要进行起身检测；判断是否需要起身检测的标准为：当从无人到有人时，无人状态持续10秒且有人状态持续10秒，则需要进行起身检测；当从有人到无人时，有人状态持续10秒且无人状态持续10秒，则需要进行起身检测；反之，则不需要进行起身检测；
[0116]
s006、若不需要进行起身检测，则不触发所述平台将检测数据发送到延迟消息队列；
[0117]
s007、若需要进行起身检测，则触发所述平台将检测数据发送到延迟消息队列；
[0118]
s008、所述平台消费所述延迟消息队列中的检测数据，根据所述检测数据查询监控视频并进行抽帧；
[0119]
s009、所述平台对所述监控视频抽出来的每张图片进行是否起身检测，输出并保存检测结果，生成报告。
[0120]
本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。