一种人员行为的识别方法和系统与流程

本发明涉及机器识别领域，具体涉及一种人员行为的识别方法和系统。

背景技术：

对于员工在工作期间的合规检查目前来说都是采用人工监督，例如通过管理者对服务人员在工作场所违规行为的检查和评判，主要是管理者进行人工评判，管理者事先制定好评判标准，然后通过日常观察、暗访或突击检查的方式，主观判断每一个员工是否在工作场所内存在违规行为，例如行为举止不合规，和客户说话的方式、表达的语气等不符合规范，但是，这种通过管理者现场进行识别的做法存在在缺陷和不足，比如人工识别评判主观性较强、抽样性较强、及时性较弱的缺点，同时管理者为抽查投入的人力成本较高，但由于抽查的抽样性，无法持续识别，且可能还会存在串通、作假的情况，导致人工识别的效果有限。

技术实现要素：

为了解决现有技术的问题，本发明实施例提供了一种人员行为的识别方法和系统，能够自动识别出员工的行为是否违规，避免了管理者进行人工识别。

为解决上述技术问题，本发明采用的技术方案是：

第一方面，本发明实施例提供了一种人员行为的识别方法，包括以下步骤：

获得人员的原始行为信息，对所述原始行为信息进行分析处理得到以结构化数据表示的人员行为；所述原始行为信息包括采集得到的语音信息和/或视频信息；

根据预先设置的识别规则，对所述结构化数据进行识别以判断所述人员行为是否违规。

进一步地，当所述原始行为信息包括视频信息时，对所述原始行为信息进行分析处理得到的结构化数据包括：提取所述视频信息的视频画面；识别所述视频画面中人员的身份信息和动作信息。

进一步地，所述动作信息的识别包括：对所述视频画面抽取图片帧，对所述图片帧进行做差处理，检测所述图片帧变化的部分；通过所述图片帧的变化识别出所述图片帧中的轮廓是否为人体；若是人体，则再对人体的姿势进行识别。

进一步地，对人体的姿势进行识别包括：通过所述图片帧得到人体特征图，根据所述人体特征图检测人体的骨骼关节点，利用所述骨骼关节点合成人体的整体骨架，再通过所述整体骨架分析人体的姿态。

进一步地，当所述原始行为信息包括语音信息时，对所述原始行为信息进行分析处理得到的结构化数据包括：将所述语音信息进行语音识别得到文字；对所述文字进行语义识别，得到所述文字中的分词结果作为所述结构化数据。

另一方面，本发明实施例还提供了一种人员行为的识别系统，包括：

行为采集模块，用于获得人员的原始行为信息，对所述原始行为信息进行分析处理得到以结构化数据表示的人员行为；所述原始行为信息包括采集得到的语音信息和/或视频信息；

识别判断模块，用于根据预先设置的识别规则，对所述结构化数据进行识别以判断所述人员行为是否违规。

进一步地，所述行为采集模块包括画面分析单元，当所述原始行为信息包括视频信息时，所述画面分析单元用于提取所述视频信息的视频画面；识别所述视频画面中人员的身份信息和动作信息。

进一步地，所述画面分析单元包括有动作识别子单元，所述动作识别子单元用于对所述视频画面抽取图片帧，将所述图片帧进行做差处理，检测所述图片帧变化的部分；通过所述图片帧的变化识别出所述图片帧中的轮廓是否为人体；若是人体，则再对人体的姿势进行识别。

进一步地，所述动作识别子单元对人体的姿势进行识别包括：通过所述图片帧得到人体特征图，根据所述人体特征图检测人体的骨骼关节点，利用所述骨骼关节点合成人体的整体骨架，再通过所述整体骨架分析人体的姿态。

进一步地，所述行为采集模块还包括语音分析单元，当所述原始行为信息包括语音信息时，所述语音分析单元用于将所述语音信息进行语音识别得到文字；对所述文字进行语义识别，得到所述文字中的分词结果作为所述结构化数据。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例公开的一种人员行为的识别方法和系统，通过机器对一定范围内的人员的动作和语言进行识别，将这些动作和语言分析为结构化数据，通过计算机设定好的识别规则，自动分析出人员的动作和语言是否存在违规行为，从而避免了管理者进行人工监控，同时通过机器的自动识别，保证了识别评判的客观性，在避免抽样识别、串通和作假的同时，降低了人工识别的成本，实现了员工行为识别的可持续性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的人员行为的识别方法的一种流程示意图；

图2是本发明实施例提供的人员行为的识别方法中对于语言信息判断的一种逻辑示意图；

图3是本发明实施例提供的人员行为的识别方法中对于动作信息判断的一种逻辑示意图；

图4是本发明实施例提供的人员行为的识别方法中对于人体姿势识别的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本实施例提供了一种人员行为的识别方法，包括以下步骤：

s1：获得人员的原始行为信息，对所述原始行为信息进行分析处理得到以结构化数据表示的人员行为；所述原始行为信息包括采集得到的语音信息和/或视频信息；

s2：根据预先设置的识别规则，对所述结构化数据进行识别以判断所述人员行为是否违规。

具体地，首先通过摄像装置或者麦克风装置对待监管的人员的活动或者声音进行采集，对一定范围内的人员的动作和语言进行识别，将这些动作和语言分析为结构化数据，通过计算机设定好的识别规则，自动分析出人员的动作和语言是否存在违规行为，从而避免了管理者进行人工监控，同时通过机器的自动识别，保证了识别评判的客观性，在避免抽样识别、串通和作假的同时，降低了人工识别的成本，实现了员工行为识别的可持续性。在本实施例中，具体可以通过以下两个步骤来对人员违规行为进行判断：采集视频画面或者采集语音信息并通过计算机分析为结构化数据，利用视频监控设备(摄像机)采集服务场所内的视频画面。视频监控设备的安装和拍摄位置包括收银台(或服务台)、开放区域、仓库、后厨等，拍摄人员动作行为的视频画面。使用的关键技术包括：利用行人检测、行为检测技术，检测服务人员在服务场所内的动作行为。利用reid(行人重识别)技术检测服务人员身份(此时要求服务人员身着有明显特征的统一服装或者工牌)，利用人体检测和行为检测识别服务人员是否长时间聚集在一起、是否脱岗、是否有违规动作。利用服务场所内安装的拾音器或给每位服务人员随身佩戴的小型无线麦克风，采集语音，并通过语音识别和语义识别技术，检测是否存在未说出指定欢迎语、沟通话术。根据结构化的服务人员行为数据，评判服务人员是否存在违规行为，根据事先制定好的评价规则，对照每个场景中服务人员的动作、表情和话术，由计算机程序自动进行评判。

在对原始行为进行采集的过程中，可以根据不同的监管行业、不同的监管范围，可以同时对人员的活动视频和人员的语言进行采集，也可以只对人员活动的视频或者人员的语音进行单独采集，例如，在服务场所内指定位置安装信息采集硬件主要包括：在服务场所内安装的安防摄像机，用于检测服务人员在服务场所内的行为动作；在服务场所内安装的拾音器或给每位服务人员随身佩戴的小型无线麦克风，用于检测服务人员的语言话术；服务人员应穿着有明显特征的工作服，以便于从摄像机拍摄画面中识别出服务人员身份等，优选地，当所述原始行为信息包括视频信息时，对所述原始行为信息进行分析处理得到的结构化数据包括：提取所述视频信息的视频画面；识别所述视频画面中人员的身份信息和动作信息。优选地，当所述原始行为信息包括语音信息时，对所述原始行为信息进行分析处理得到的结构化数据包括：将所述语音信息进行语音识别得到文字；对所述文字进行语义识别，得到所述文字中的分词结果作为所述结构化数据。在工作时间内，持续无间断地采集视频流和音频流信息。采集到的原始行为信息可在服务场所本地部署服务器进行存储和分析，也可在云端部署服务器进行存储和分析。

优选地，如图2和图3所示，所述识别规则从服务人员的两个行为维度制定，分别是需分析的动作内容为：蹲下、向后背手(双手在背后相握)、向前背手(双手在身前相握)、抱肩、单手叉腰、双手叉腰、弯腰双手撑膝盖、单手或双手插进衣服或裤子口袋、身体倚靠站立、坐着、打电话、坐着手拿手机、吸烟动作；可分析的语言内容为：说出关键词，如“您好”、“欢迎光临”、“请这边走”等、说出关键语句或包含关键词的同义语句，如“您好，有什么可以帮您”、“您好，请问需要办理什么业务”等、说出的语句中未包含上述关键词或同义语句。

根据上述两个行为维度的所述识别规则，制定符合服务场所特点的评判标准。如以小型生活超市为例，可制定下列规则：

(1)店员在店内不允许作出以下动作：抱肩、单手或双手插进衣服或裤子口袋、身体倚靠站立；

(2)店员与顾客对话时，不允许作出以下动作：向后背手、抱肩、单手叉腰、双手叉腰、单手或双手插进衣服或裤子口袋、身体倚靠站立、坐着；

(3)顾客进店时，店员应当大声喊出迎宾语：“欢迎光临苏宁小店”；

(4)顾客结账时，店员应说出：“请问您是易付宝还是现金”、“总共xx元，请问还需要点什么吗”或“总共消费xx元，收您xx元，找您xx元，请收好”；

(5)当顾客付款结束，走出店门时，店员应当大声喊出送宾语：“谢谢光临，请慢走”或“欢迎下次光临”。

优选地，所述动作信息的识别包括：对所述视频画面抽取图片帧，对所述图片帧进行做差处理，检测所述图片帧变化的部分；通过所述图片帧的变化识别出所述图片帧中的轮廓是否为人体；若是人体，则再对人体的姿势进行识别。进一步地，对人体的姿势进行识别包括：通过所述图片帧得到人体特征图，根据所述人体特征图检测人体的骨骼关节点，利用所述骨骼关节点合成人体的整体骨架，再通过所述整体骨架分析人体的姿态。具体地，在对所述动作信息进行识别的过程中，利用行人识别、人体骨骼线识别、语音识别、语义识别等技术，将人的行为和语言转换为结构化数据。包括：分析人的身份、动作，如图2所示的人员行为的识别方法中对于人体姿势识别的示意图，可以使用python语言，利用开源跨平台计算机视觉库opencv的算法，从视频流中抽取图片帧。识别图片中的行人，使用opencv，先从视频每帧的图像中提取出物体的轮廓，也可以对前后两针图片做差，只对有变化的部分进行检测，其目的一样，都是减少运算的面积，再对每个轮廓进行检测，判断是否为行人。识别人的动作，将已检测到的人体关键点联系起来，估计人体姿态，通过连续几秒的视频图片，估计人的动作。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等。通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。还可以进一步增加时间序列，看一段时间范围内人体关键点的位置变化，可以更加准确的检测姿态，估计目标未来时刻姿态，以及做更抽象的人体行为分析，例如判断一个人是否在打电话等。

本实施例使用的开源openpose项目来进行人体姿态识别，openpose项目是美国卡耐基梅隆大学基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。实现原理是：输入一幅图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用cnn网络(卷积神经网络)提取partconfidencemaps(偶匹配)和partaffinityfields(部分亲和字段，简称pafs)；得到这两个信息后，我们使用图论中的bipartitematching(偶匹配)求出关节点联系，将同一个人的关节点连接起来，由于pafs自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；最后基于pafs转换成图片处理问题最后通过匈牙利算法完成检测，根据连续运动的骨骼线分析人的动作，判断是否存在蹲下、向后背手(双手在背后相握)、向前背手(双手在身前相握)、抱肩、单手叉腰、双手叉腰、弯腰双手撑膝盖、单手或双手插进衣服或裤子口袋、身体倚靠站立、坐着、打电话、坐着手拿手机、吸烟动作。

实施例二：

本发明实施例还提供了一种人员行为的识别系统，包括：

行为采集模块，用于获得人员的原始行为信息，对所述原始行为信息进行分析处理得到以结构化数据表示的人员行为；所述原始行为信息包括采集得到的语音信息和/或视频信息；

识别判断模块，用于根据预先设置的识别规则，对所述结构化数据进行识别以判断所述人员行为是否违规。

具体地，通过行为采集模块和识别判断模块自动完成对人员的监管，通过对待监管的人员的活动或者声音进行采集，对一定范围内的人员的动作和语言进行识别，将这些动作和语言分析为结构化数据，通过计算机设定好的识别规则，自动分析出人员的动作和语言是否存在违规行为，从而避免了管理者进行人工监控，同时通过机器的自动识别，保证了识别评判的客观性，在避免抽样识别、串通和作假的同时，降低了人工识别的成本，实现了员工行为识别的可持续性。

优选地，所述行为采集模块包括画面分析单元，当所述原始行为信息包括视频信息时，所述画面分析单元用于提取所述视频信息的视频画面；识别所述视频画面中人员的身份信息和动作信息。优选地，所述行为采集模块还包括语音分析单元，当所述原始行为信息包括语音信息时，所述语音分析单元用于将所述语音信息进行语音识别得到文字；对所述文字进行语义识别，得到所述文字中的分词结果作为所述结构化数据。通过画面分析单元和语音分析单元对采集视频画面或者采集语音信息并通过计算机分析为结构化数据，利用视频监控设备(摄像机)采集服务场所内的视频画面。视频监控设备的安装和拍摄位置包括收银台(或服务台)、开放区域、仓库、后厨等，拍摄人员动作行为的视频画面。使用的关键技术包括：利用行人检测、行为检测技术，检测服务人员在服务场所内的动作行为。利用reid(行人重识别)技术检测服务人员身份(此时要求服务人员身着有明显特征的统一服装或者工牌)，利用人体检测和行为检测识别服务人员是否长时间聚集在一起、是否脱岗、是否有违规动作。利用服务场所内安装的拾音器或给每位服务人员随身佩戴的小型无线麦克风，采集语音，并通过语音识别和语义识别技术，检测是否存在未说出指定欢迎语、沟通话术。

优选地，所述画面分析单元包括有动作识别子单元，所述动作识别子单元用于对所述视频画面抽取图片帧，对所述图片帧进行做差处理，检测所述图片帧变化的部分；通过所述图片帧的变化识别出所述图片帧中的轮廓是否为人体；若是人体，则再对人体的姿势进行识别。进一步地，所述动作识别子单元对人体的姿势进行识别包括：通过所述图片帧得到人体特征图，根据所述人体特征图检测人体的骨骼关节点，利用所述骨骼关节点合成人体的整体骨架，再通过所述整体骨架分析人体的姿态。对于所述动作识别子单元如何进行动作识别和进行姿势识别的，可以参考上述人员行为的识别方法中的进一步描述，在此不再详述。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的人员行为的识别系统在监督员工的过程中，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将人员行为的识别系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人员行为的识别系统与人员行为的识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。