一种理发店员工工作内容智能识别方法

1.本发明属于机器视觉技术领域，涉及一种理发店员工工作内容智能识别方法。


背景技术：

2.目前，随着理发服务项目需求的日益增加，大型理发连锁店逐渐成为趋势。当理发店员工数量多、服务项目变化多样的时候，将会为理发店日常管理带来困难，例如：员工服务的工作内容真实性、提供服务的时长、所用材料及其对应报价等等。目前没有一种智能的系统能够对上述工作内容进行自动识别、监控和管理。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种理发店员工工作内容智能识别方法，对实际场景下的理发店员工进行实时行为识别，以实现对理发店有效地智能化管理。
4.为达到上述目的，本发明提供如下技术方案：
5.一种理发店员工工作内容智能识别方法，包括以下步骤：
6.s1：指定采集设备的安装位置和硬件条件，对理发员工和顾客进行识别；
7.s2：建立理发员工人脸、顾客人脸标签库，并训练人脸识别模型；
8.s3：建立与物品、工具和人相关的动作标签库，并进行理发店动作行为识别模型训练，其中涉及服务工作中物品、工具和动作相关的人体动作、对象操作交互、人与人交互三大类的多种动作行为识别；
9.s4：利用训练好的人脸识别模型、理发店动作行为识别模型，对实际理发服务场景进行动作行为识别；构建顾客、员工、动作要素的“动作对”行为时序；
10.s5：建立不同类型理发服务工作内容的标准关键行为序列，作为工作内容识别标签；并根据所述“动作对”行为时序，构建工作内容识别的深度神经网络模型，用以确定理发店员工对顾客的服务工作内容。
11.进一步，所述步骤s1中具体包括：捕获理发店场景中理发员工和顾客的视频帧，以及进行员工身份id、顾客身份确认和物品、工具、行为动作的检测和识别。
12.进一步，所述步骤s3具体包括以下步骤：
13.s31：按照ava(aomic visual actions)数据集打标签规则，构建服务过程中与物品、工具和人相关的人体动作、对象操作交互、人与人交互三大类及其中涉及的动作行为标签库；
14.s32：构建动作行为标签库，训练理发店动作行为识别模型；
15.s33：建立理发店动作行为关键活动集合。
16.进一步，步骤s31具体包括以下步骤：
17.s311：首先对原始采集的行为动作视频按15分钟进行分析，并统一将15分钟视频分割成300个非重叠的3秒片段；视频采样时遵循保持动作序列的时间顺序这一策略；
18.s312：然后对每个3秒片段的中间帧的人物利用labelimg打标工具手动标注边界
框；
19.s313：对标注框的每个人，从预制的动作类别表中选择适当的标签来描述人物动作；人物动作分为以下三类标签：人体姿势/位移动作、人/物/人交互动作、人/人互动动作；
20.s314：最后对所有视频片段全部标注，来建立理发动作行为视频训练标签库。
21.进一步，所述步骤s32中，使用基于3d-resnet50网络的slowfast模型进行动作行为识别，所述slowfast模型由slow分支和fast分支组成；
22.首先以步长stride＝16帧为间隔，从输入的视频采样，输入到3d-resnet50主干网络中提取理发时环境特征信息；
23.其次以步骤stride＝2帧为间隔，从输入的视频帧采样，同时通道数channel设置为slow分支1/8倍，输入到网络中提取理发时时序动作特征信息；
24.然后在3d-resnet50主干的res_conv3_1和res_conv4_1层分别进行横向连接，将时序动作信息特征融入到环境特征中；
25.最后在全连接层利用slow分支和fast分支后的融合特征信息进行分类和预测理发动作。
26.进一步，所述步骤s33中，根据所构建的动作行为标签库，结合理发店实际应用场景，把所有动作行为分为两类集合：
27.关键动作行为活动集合：包括剪头发、卷头发、染头发、烫头发等；关键动作行为活动集合表示为keyact＝{keyact1,
…
,keyacti,
…
,keyactn}，其中，keyacti为第i个关键动作行为，i＝1,
…
,n，n为关键动作行为个数量；
28.普通动作行为活动集合：包括交流、站、坐、走等；普通动作行为活动集合表示为normalact＝{normalact1,
…
,normalact
i1
,
…
,normalact
n1
}，其中，normalact
i1
为第i1个普通动作行为，i1＝1,
…
,n1，n1为普通动作行为个数量。
29.进一步，所述s4中，包括如下步骤：
30.s41：按一定的规则进行图像和视频帧段采样，用于人脸识别和动作行为识别；
31.s42：根据视频时序识别过程中，人脸识别和动作行为识别关于人员身份的确认，以及各种行为的识别结果，建立顾客、员工身份对应关系，以及服务过程中具体“动作对”行为时序，记录视频时序中顾客和员工的“动作对”关系。
32.进一步，步骤s41具体包括以下步骤：
33.s411：理发服务过程中，根据服务项目的平均时间来采样，并把采样的图像和视频帧段输入模型进行检测；
34.s412：输入按采样规则所得到的图像到人脸识别模型，确定顾客会员身份以及员工身份信息；根据工位位置，以及工位对应的摄像头索引信息，建立工位上顾客、员工与服务动作行为所对应的工作内容之产的关联关系；
35.s413：把训练好的slowfast模型在某一帧中检测框框出的人体区域，与s412中同一帧、同一人体区域的人脸框人脸识别结果相关联，用于后续当未识别到人脸时的人员身份追踪；
36.s414：利用步骤s32中训练好的slowfast模型进行理发员工和顾客动作行为识别，包括：顾客和员工的人体姿势/位移动作、服务过程中员工使用的物品和工具与顾客服务交互行为、员工和顾客的交互行为识别。
37.进一步，步骤s42具体包括以下步骤：
38.s421：一个服务过程中，当顾客和员工进入某工位stationk的摄像头范围中，利用步骤s2中训练后的人脸识别模型，同时完成顾客和员工的人脸识别，以激活建立工位stationk上顾客和员工的服务对《cid
p
，eidq》，cid
p
表示顾客集合，p＝1,
…
,m；eidq表示员工集合，q＝1,
…
,m1，m和m1分别表示顾客和员工人数；
39.s422：在工位stationk的摄像头范围中，通过步骤s32训练后的理发店动作行为识别模型进行实时视频序列的动作行为识别，在t时刻，顾客cid
p
的识别动作集合为actp
t
＝{actp
t,1
,
…
,actp
t,k
}；员工eidq的识别动作集合为actq
t
＝{actq
t,1
,
…
,actq
t,k1
}，其中，k和k1为顾客和员工在t时刻所识别到的动作个数，而actp
t,k
和actq
t,k1
为所识别到的动作行为：
[0040][0041]
s423：在t时刻，顾客cid
p
与员工eidq形成一个“动作对”《actp
t
，actq
t
》，并构建“动作对”矩阵；
[0042]
分别把actp
t
和actq
t
集合中每个动作actp
t,k
和actq
t,k1
的概率值进行排序，取前f个动作，把每个动作构成一个向量：
[0043]
matrixp
t,f
＝[actp
t,f
,actp
t,f
的概率值]
[0044]
或
[0045]
matrixq
t,f
＝[actq
t,f
,actq
t,f
的概率值]
[0046]
如果actp
t
或actq
t
集合没有f个动作，向量中的动作和其概率值用0值填充；如果在服务过程中的等待时间，员工可能不在服务区域，actq
t,f
向量中的动作和其概率值用0值填充。
[0047]
由此将“动作对”《actp
t
，actq
t
》构建为一个2f*2的矩阵act
《p，q》,t
＝[matrixp
t,1
,
…
,matrixp
t,f
,matrixq
t,1
,
…
,matrixq
t,f
]；在整个服务过程中，针对顾客cid
p
，将根据视频帧序列，建立一个基于矩阵act
《p，q》,t
的“动作对”时间序列s
p
＝[act
《p，q》,1
,
…
,act
《p，q》,t
]。
[0048]
进一步，所述步骤s5包括以下步骤：
[0049]
s51：由步骤s33所得的关键动作行为活动集合keyact，建立不同类型理发服务工作内容的标准关键行为序列，作为工作内容识别标签，表示为sk＝[keyact
k,1
,
…
,keyact
k,i
]，其中keyact
k,i
表示第k个类别的工作内容中的第i个动作，keyact
k,i
∈keyact；以最长的标准关键行为序列中的关键行为个数为准，其他关键行为个数不足者，全部以0填充不足维度；
[0050]
s52：对由步骤s42所得针对顾客cid
p
的“动作对”时间序列s
p
＝[act
《p，q》,1
,
…
,act
《p，q》,t
]进行预处理，预处理方法为：
[0051]
s521：遍历s
p
上的“动作对”矩阵，利用矩阵余弦相似度计算s
p
上相邻两个“动作对”矩阵的近似度；
[0052]
s522：如果相邻两个“动作对”矩阵近似度大于阈值，则去掉其中的后一个“动作对”矩阵，表示相邻两个时刻上的动作行为是重复的；
[0053]
s523：继续遍历所有s
p
上的“动作对”矩阵，直至时间序列结束；
[0054]sp
经预处理后，去掉每个动作的值概率列，“动作对”矩阵变为act’《p，q》,t
＝[actp
t,1
,
…
,actp
t,f
,actq
t,1
,
…
,actq
t,f
]，由预处理后时序上的“动作对”矩阵act’《p，q》,t
，得到时序s
p’＝[act’《p，q》,1
,
…
,act’《p，q》,t
]，序列中剩余每个动作代表了有一定差异性的“动作对”；
[0055]
s53：步骤由s52获得的多个顾客服务过程的s
p’以及对应的工作内容识别标签，建立训练数据集，构建用于工作内容识别的深度神经网络模型，输入训练数据集，根据每位顾客的s
p’及其对应的工作内容标签，训练深度神经网络模型，使得由每位顾客的s
p’经深度神经网络模型得到的工作内容序列向量与其对应的工作内容标签损失最小，具体包括以下步骤：
[0056]
s531：构建训练数据集，采集视频并进行如前述过程的处理，或获取多个s
p’以及对应的工作内容识别标签，以s
p’的最大序列长度为准，对不足序列进行0填补；
[0057]
s532：所述用于工作内容识别的深度神经网络模型构建方法为：设最大序列长度为actnum，对s
p’中的每个行为，转换为向量，维度为(n+n1)；填补后的s
p’维度为(2f
×
(n+n1))
×
actnum，其中n为关键动作行为个数量，n1为普通动作行为个数量；
[0058]
所述用于工作内容识别的深度神经网络模型执行步骤如下：
[0059]
由填补和行为向量转换后的s
p’作为输入，首先通过第一个神经网络模块，把(2f
×
(n+n1))
×
actnum维输入数据转换为n
×
actnum维特征；
[0060]
然后通过第二个神经网络模块，把n
×
actnum维特征转换为n
×
maxkeyactnum维特征；maxkeyactnum为不同工作内容中最大的标准关键行为序列中的关键行为个数；
[0061]
最后把n
×
maxkeyactnum维特征输入到transformer网络中，其中n
×
maxkeyactnum维特征序列的positoin标记以每个行为划分，进入transformer网络做positoin embedding，最终输出的是maxkeyactnum个关键行为向量，映射为对应的工作内容标准关键行为序列。
[0062]
本发明的有益效果在于：本发明通过视频图像身份识别和行为动作识别，建立起员工、顾客的行为关联序列，在服务时长内，通过构建的工作内容识别深度神经网络模型，把员工、顾客的行为关联序列，映射为其对应的工作内容标准关键行为序列，以达到识别输出工作内容的目的，辅助实现理发店有效地智能化管理。
[0063]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0064]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0065]
图1为本发明对理发店员工对顾客服务工作内容智能识别方法流程图；
[0066]
图2为本发明中基于顾客和员工“动作对”矩阵的“动作对”时间序列；
[0067]
图3为本发明中的工作内容识别的深度神经网络模型结构图。
具体实施方式
[0068]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0069]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0070]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0071]
如图1-3所示，本发明提供一种公共服务理发行为的智能检测识别方法，包括如下步骤：
[0072]
s1：采集设备安装位置和安装条件的设置；
[0073]
s2：建立理发员工人脸、顾客人脸标签库，并训练人脸识别模型；
[0074]
s3：建立与物品、工具和人相关的动作标签库，并进行理发店动作行为识别模型训练，其中涉及服务工作中物品、工具和动作相关的人体动作、对象操作交互、人与人交互三大类的多种动作行为识别；
[0075]
s4：利用训练好的人脸识别模型、理发店动作行为识别模型，用于实际理发服务场景进行动作行为识别。构建顾客、员工、动作几个要素的“动作对”行为时序；
[0076]
s5：建立不同类型理发服务工作内容的标准关键行为序列，作为工作内容识别标签。并根据s4识别建立的“动作对”行为时序，构建工作内容识别的深度神经网络模型，用以确定理发店员工对顾客的服务工作内容。
[0077]
所述s1包括设备安装和安装条件的设置：
[0078]
s11：指定采集设备的安装位置。将摄像头安装在每个理发工位上，用于实时拍摄理发服务的视频，并采集工位上顾客和员工的人脸图像、以及捕获理发工位上理发师的理发动作，以建立人脸身份信息与理发服务过程中动作间的映射关系。
[0079]
s12：安装硬件设备条件的设置。要求现场布置的摄像头，具有不低于30fps的刷新率，以保证动作识别模型slowfast对高帧率的实时性的要求；同时要求摄像头的分辨率不低于1080p，能够达到人脸识别检测的要求。并能把实时视频信息传输处理以进行后续计算。
[0080]
所述s2包括如下步骤：
[0081]
s21：建立场景人脸标签库。采用员工和顾客的人脸图像，将图像大小统一裁剪为
224*224像素尺寸。利用打标工具labellmg，对人脸的位置进行打标，即手动画框标注人脸部分。保存每个标注框的位置坐标[x1,y1,x2,y2],其中(x1,y1)表示人脸标注框的左上点坐标，(x2,y2)表示人脸标注框的右下点坐标。标注该人脸图像id身份编号，建立员工和顾客人脸标签库。
[0082]
s22：利用s21建立好的员工和顾客人脸标签库，对人脸识别模型进行训练。对图像进行预处理，利用人脸检测算法对齐人脸部分，并统一裁剪成224*224像素。在人脸识别模型中训练过程中，输入批次大小batch_size为64。
[0083]
可选的，人脸识别模型采用基于深度卷积神经网络的facenet。
[0084]
所述s3包括如下步骤：
[0085]
s31：建立理发动作标签库。关于建立理发动作视频标签库的步骤，按照谷歌ava(aomic visual actions)数据集打标规则进行建立。具体包括：首先，对初始采集到的行为动作视频按15分钟进行分析，并统一将15分钟视频分割成300个非重叠的3秒片段。采样遵循保持动作序列的时间顺序这一策略。然后，对每个3秒片段的中间帧的人物利用labelimg手动标注人员边界框，对标注框的每个人，从预制的动作类别表中选择适当的标签来描述人物动作。这些动作分为三种：人体姿势/位移动作(坐姿、站姿、弯腰等)、人/物/人交互动作(拿染发刷染发、拿推子剃头、拿剪刀修剪等)、人/人互动动作(与顾客聊天等)。最后，对所有视频片段全部标注，来建立理发动作行为视频训练标签库。
[0086]
s32：利用s31建立好的理发动作标签库，对动作识别模型进行训练。在训练阶段，从建立的行为识别训练集中，循环输入一组视频数据并随机采样一个片段clip(64帧)。然后，输入到slow分支路径和fast分支路径分别是4帧和16帧，对原始视频帧进行预处理(按比例缩放，随机裁剪出224*224大小的视频帧，对其进行水平翻转)。训练轮回epoch设置为20次。
[0087]
可选的，以基于3d-resnet50卷积神经网络的slowfast动作识别模型进行动作行为识别。slowfast模型由slow分支和fast分支组成。根据slow分支低帧频的特点，以步长stride＝16帧为间隔，从输入的视频采样，输入到3d-resnet50主干网络中提取理发时环境特征信息；根据fast分支高帧频、低通道的特点，以步骤stride＝2帧为间隔，从输入的视频帧采样，同时通道数channel设置为slow分支1/8倍，输入到网络中提取理发时时序动作特征信息；并在3d-resnet50主干的res_conv3_1和res_conv4_1层分别进行横向连接，将时序动作信息特征融入到环境特征中，最后在全连接层利用slow分支和fast分支后的融合特征信息进行分类和预测理发动作。
[0088]
s33：建立理发店动作行为关键活动集合。根据所构建的动作行为标签库，结合理发店实际应用场景，把所有动作行为分为两类集合：关键动作行为活动集合，如：剪头发、卷头发、染头发、烫头发等；普通动作行为活动集合，如：交流、站、坐、走等。关键动作行为活动集合表示为keyact＝{keyact1,
…
,keyacti,
…
,keyactn}，其中，keyacti为第i个关键动作行为，i＝1,
…
,n，n为关键动作行为个数量；普通动作行为活动集合表示为normalact＝{normalact1,
…
,normalact
i1
,
…
,normalact
n1
}，其中，normalact
i1
为第i1个普通动作行为，i1＝1,
…
,n1，n1为普通动作行为个数量。
[0089]
所述s4包括如下步骤：
[0090]
s41：按一定的规则进行图像和视频帧段采样，用于人脸识别和动作行为识别。采
样的目的是为了减少人脸识别和动作行为识别的频率，降低重复身份、动作的识别，减少模型算力开销，同时保证可以识别获取服务关键动作行为。通过减少识别计算频次和时间开销，从而提高智能装置的实时性。
[0091]
s411：理发服务过程中，根据剪发、染发、烫发等服务项目的平均时间来采样。以剪发为例，当识别到某员工拿剪刀开始为某位顾客进行剪头发动作时，会以剪头发的一般平均时长的约十分之一时间为参考间隔进行采样，并把采样的图像和视频帧段输入模型进行检测。
[0092]
s412：首先进行人脸识别，利用s22步聚中训练好的人脸识别模型进行人脸识别。输入按采样规则所得到的图像，到人脸识别模型，确定顾客会员身份以及员工身份信息。根据工位位置，以及工位对应的摄像头索引信息，以建立工位上顾客、员工与服务动作行为所对应的工作内容之产的关联关系。
[0093]
s413：在slowfast模型进行动作行为识别的同时，会进行人的检测。把训练好的slowfast模型在某一帧中检测框框出的人体区域，与s412中同一帧、同一人体区域的人脸框人脸识别结果相关联，用于后续当未识别到人脸时的人员身份追踪。
[0094]
s414：与此同时，利用s32步骤中训练好的slowfast模型进行理发员工和顾客动作行为识别，包括：顾客和员工的人体姿势/位移动作、服务过程中员工使用的物品和工具与顾客服务交互行为、员工和顾客的交互行为等的识别。
[0095]
s42：根据视频时序识别过程中，人脸识别和动作行为识别关于人员身份的确认，以及各种行为的识别结果，建立顾客、员工身份对应关系，以及服务过程中具体“动作对”行为时序，记录视频时序中顾客和员工的“动作对”关系。
[0096]
s421：一个服务过程中，当顾客和员工进入某工位stationk的摄像头范围中，启动s22训练后的人脸识别模型。同时完成顾客和员工的人脸识别，以激活建立工位stationk上顾客和员工的服务对《cid
p
，eidq》，cid
p
表示顾客集合，p＝1,
…
,m；eidq表示员工集合，q＝1,
…
,m1。m和m1分别表示顾客和员工人数。
[0097]
s422：在工位stationk的摄像头范围中，启动s32训练后的理发店动作行为识别模型。在实时视频序列的动作行为识别过程中，某个时刻t，顾客cid
p
的识别动作集合为actp
t
＝{actp
t,1
,
…
,actp
t,k
}，例如：坐、与人交谈等；员工eidq的识别动作集合为actq
t
＝{actq
t,1
,
…
,actq
t,k1
}，例如：站立、剪头发、与人交谈等。其中，k和k1为顾客和员工在t时刻所识别到的动作个数，而actp
t,k
和actq
t,k1
为所识别到的动作行为：
[0098][0099]
s423：在时刻t，顾客cid
p
与员工eidq形成一个“动作对”《actp
t
，actq
t
》，并构建“动作对”矩阵。
[0100]
分别把actp
t
和actq
t
集合中每个动作actp
t,k
和actq
t,k1
的概率值进行排序，取前f个动作。把每个动作构成一个向量：
[0101]
matrixp
t,f
＝[actp
t,f
,actp
t,f
的概率值]
[0102]
或
[0103]
matrixq
t,f
＝[actq
t,f
,actq
t,f
的概率值]
[0104]
如果actp
t
或actq
t
集合没有f个动作，向量中的动作和其概率值用0值填充；如果在服务过程中的等待时间，比如：染发过程的等待时间，员工可能不在服务区域，actq
t,f
向量中的动作和其概率值用0值填充。
[0105]
由此，“动作对”《actp
t
，actq
t
》可构建为一个2f*2的矩阵act
《p，q》,t
＝[matrixp
t,1
,
…
,matrixp
t,f
,matrixq
t,1
,
…
,matrixq
t,f
]。而在整个服务过程中，针对顾客cid
p
，将根据视频帧序列，建立一个基于矩阵act
《p，q》,t
的“动作对”时间序列s
p
＝[act
《p，q》,1
,
…
,act
《p，q》,t
]。
[0106]
可选的，f的取值可设为3。
[0107]
所述s5中，包括如下步骤：
[0108]
s51：由s33所得的关键动作行为活动集合keyact，建立不同类型理发服务工作内容的标准关键行为序列，作为工作内容识别标签。不同类型服务工作内容的标准关键行为序列，用sk＝[keyact
k,1
,
…
,keyact
k,i
]，其中keyact
k,i
表示第k个类别的工作内容中的第i个动作，keyact
k,i
∈keyact。同时，为了让所有的标签序列维度统一，需以最长的标准关键行为序列中的关键行为个数为准，其他关键行为个数不足者，全部以0填充不足维度，以方便计算。
[0109]
s52：对由s42所得针对顾客cid
p
的“动作对”时间序列s
p
＝[act
《p，q》,1
,
…
,act
《p，q》,t
]进行预处理，去掉相似度较高的重复“动作对”矩阵。预处理方法为：
[0110]
(1)遍历s
p
上的“动作对”矩阵，计算s
p
上相邻两个“动作对”矩阵的近似度。可选的，计算“动作对”矩阵近似度的方法为矩阵余弦相似度。
[0111]
(2)如果相邻两个“动作对”矩阵近似度大于一定阈值，则去掉其中后一个相似的“动作对”矩阵，表示相邻两个时刻上的动作行为是重复的。
[0112]
(3)继续遍历所有s
p
上的“动作对”矩阵，直接时间序列结束(即服务结束)。
[0113]sp
经预处理后，去掉每个动作的值概率列，“动作对”矩阵变为act’《p，q》,t
＝[actp
t,1
,
…
,actp
t,f
,actq
t,1
,
…
,actq
t,f
]，由预处理后时序上的“动作对”矩阵act’《p，q》,t
，得到时序s
p’＝[act’《p，q》,1
,
…
,act’《p，q》,t
]，序列中剩余每个动作代表了有一定差异性的“动作对”。
[0114]
s53：由s52获得的多个顾客服务过程的s
p’以及对应的工作内容识别标签，建立训练数据集。同时，构建工作内容识别的深度神经网络模型，输入训练数据集，根据每位顾客的s
p’及其对应的工作内容标签，训练深度神经网络模型，使得由每位顾客的s
p’经深度神经网络模型得到的工作内容序列向量与其对应的工作内容标签损失最小。
[0115]
s531：构建训练数据集。采集视频并进行如前述过程的处理，或获取多个s
p’以及对应的工作内容识别标签。由于每个s
p’的序列长度不同，以最大序列长度为准，对不足序列进行0填补。
[0116]
s532：所述用于工作内容识别的深度神经网络模型构建方法为：设最大序列长度为actnum，对s
p’中的每个行为，转换为向量，维度为(n+n1)。填补后的s
p’维度为(2f
×
(n+n1))
×
actnum。n为关键动作行为个数量；n1为普通动作行为个数量。
[0117]
整个用于工作内容识别的深度神经网络模型由以下几个部份组成：
[0118]
(1)由填补和行为向量转换后的s
p’作为输入。首先，通过第一个神经网络模块，把(2f
×
(n+n1))
×
actnum维输入数据转换为n
×
actnum维特征。
[0119]
(2)然后，通过第二个神经网络模块，把n
×
actnum维特征转换为n
×
maxkeyactnum维特征。maxkeyactnum为不同工作内容中最大的标准关键行为序列中的关键行为个数。
[0120]
(3)最后，把n
×
maxkeyactnum维特征输入到transformer网络中，其中n
×
maxkeyactnum维特征序列的positoin标记以每个行为划分，进入transformer网络做positoin embedding。最终输出的是maxkeyactnum个关键行为向量。映射为对应的工作内容标准关键行为序列，以达到识别输出工作内容的目的。
[0121]
可选的，整个模型中的第一个神经网络模块和第二个神经网络模块，可以是不同的dnn或cnn等结构模板。
[0122]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。