会话数据质量评估方法和计算机程序产品与流程

1.本公开涉及自然语言处理技术，尤其是一种会话数据质量评估方法和计算机程序产品。


背景技术：

2.在商圈经理/门店经理对经纪人在线聊天作业进行质量评估、管理的过程中，基本都是采用人工筛查、查看报表的方式进行的。目前的方式耗时耗力，而且并不能有效地对所有经纪人的在线聊天作业质量进行全面、系统的检查。基于上述局限性，现有的作业方式不仅给商圈经理/门经理带来巨大的工作量，而且也不能对所有作业质量存在问题的经纪人进行有效的管理，进而很难达到业务提效的目的。


技术实现要素：

3.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种会话数据质量评估方法和计算机程序产品。
4.根据本公开实施例的一个方面，提供了一种会话数据质量评估方法，包括：
5.获取第一经纪人与第一用户交互的第一会话记录；其中，所述第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
6.对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果；其中，所述至少两次动作识别包括以下至少之二：开场语识别、结束语识别、联系方式询问识别、复聊识别、违规操作识别、主导性识别、房源推荐识别、推荐房源是否包括文字说明识别、推荐房源是否符合需求识别、答非所问识别、回答生硬识别；
7.基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果。
8.可选地，所述对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果，包括以下至少两个步骤：
9.对所述至少一条第一会话信息执行所述开场语识别，得到所述开场语识别对应的第一识别结果；
10.对所述至少一条第一会话信息执行所述结束语识别，得到所述结束语识别对应的第二识别结果；
11.对所述至少一条第一会话信息执行所述联系方式询问识别，得到所述联系方式询问识别对应的第三识别结果；
12.对所述至少一条第一会话信息执行所述复聊识别，得到所述复聊识别对应的第四识别结果；
13.对所述至少一条第一会话信息执行所述违规操作识别，得到所述违规操作识别对应的第五识别结果；
14.对所述至少一条第一会话信息和所述至少一条第二会话信息执行主导性识别，得到所述主导性识别对应的第六识别结果；
15.对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述房源推荐识别，得到所述房源推荐识别对应的第七识别结果；
16.对所述至少一条第一会话信息执行所述推荐房源是否符合需求识别，得到所述推荐房源是否符合需求识别对应的第八识别结果；
17.对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述推荐房源是否包括文字说明识别，得到所述推荐房源是否包括文字说明识别对应的第九识别结果；
18.对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述答非所问识别，得到所述答非所问识别对应的第十识别结果；
19.对所述至少一条第一会话信息执行所述回答生硬识别，得到所述回答生硬识别对应的第十一识别结果。
20.可选地，所述对所述至少一条第一会话信息执行所述开场语识别，得到所述开场语识别对应的第一识别结果，包括：
21.利用第一神经网络模型对所述至少一条第一会话信息中前设定条数的第一会话信息进行分类识别，确定所述前设定条数的第一会话信息中是否存在分类为开场语的第一会话信息；
22.响应于存在分类为开场语的第一会话信息，确定所述存在分类为开场语的第一会话信息是否为标准开场语；如果确定为所述标准开场语，确定所述第一识别结果为标准开场语；否则，确定所述第一识别结果为普通开场语；
23.响应于不存在分类为开场语的第一会话信息，确定所述第一识别结果为不包括开场语。
24.可选地，所述对所述至少一条第一会话信息执行所述结束语识别，得到所述结束语识别对应的第二识别结果，包括：
25.确定所述第一会话记录中的结束消息标识地址；
26.基于所述结束消息标识地址确定所述结束消息是否为所述第一会话信息；
27.响应于所述结束消息为所述第一会话信息，利用所述第一神经网络模型对所述结束消息进行分类识别，确定所述结束消息的分类结果是否为结束语，如果是结束语，根据所述结束消息中是否包括设定信息确定是否标准结束语，确定所述第二识别结果为有结束语或有标准结束语；如果不是结束语，确定所述第二识别结果为无结束语；
28.响应于所述结束消息为所述第二会话信息，确定所述第二识别结果为无结束语或经纪人不理睬用户。
29.可选地，所述对所述至少一条第一会话信息执行所述联系方式询问识别，得到所述联系方式询问识别对应的第三识别结果，包括：
30.确定所述第一会话记录中包括的至少一轮交互对话信息，得到所述第一会话记录中包括的交互对话信息的数量；其中，每轮所述交互对话信息包括至少一条连续的所述第一会话信息和与其相邻的至少一条连续的所述第二会话信息；
31.响应于所述会话轮数大于或等于设定值，利用所述第一神经网络模型对所述至少一条第一会话信息进行分类识别，确定是否包括所述第一会话信息的分类结果为联系方式
询问，如果是，确定所述第三识别结果为有联系方式询问动作；否则，确定所述第三识别结果为无联系方式询问动作；
32.响应于所述会话轮数小于设定值，继续统计所述第一会话记录中包括的会话轮数，直到所述会话轮数大于或等于所述设定值。
33.可选地，在对所述至少一条第一会话信息执行所述复聊识别，得到所述复聊识别对应的第四识别结果之前，还包括：
34.获得所述第一会话记录对应的结束时间，以及所述第一经纪人与所述第一用户在所述第一会话记录之后的下一次交互的第二会话记录的开始时间；其中，所述第二会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
35.所述对所述至少一条第一会话信息执行所述复聊识别，得到所述复聊识别对应的第四识别结果，包括：
36.确定所述结束时间和所述开始时间的时间差是否小于或等于设定时间值；
37.响应于所述时间差小于或等于所述设定时间值，利用所述第一神经网络模型对所述第二会话记录中包括的至少一条第一会话信息进行分类识别，确定所述至少一条第一会话信息中是否存在分类结果为房源推荐的第一会话信息，如果是，确定所述第四识别结果为有效复聊；否则，确定所述第四识别结果为无效复聊；
38.响应于所述时间差大于所述设定时间值，确定所述第四识别结果为无复聊。
39.可选地，所述对所述至少一条第一会话信息执行所述违规操作识别，得到所述违规操作识别对应的第五识别结果，包括：
40.将所述至少一条所述第一会话信息与违规词集中包括的至少一个违规词进行匹配；
41.响应于存在至少一条与所述违规词匹配的所述第一会话信息，确定所述第五识别结果为有违规操作；否则，确定所述第五识别结果为无违规操作。
42.可选地，所述对所述至少一条第一会话信息和所述至少一条第二会话信息执行主导性识别，得到所述主导性识别对应的第六识别结果，包括：
43.确定所述第一会话记录中包括的至少一轮交互对话信息，得到所述第一会话记录中包括的交互对话信息的数量；其中，每轮所述交互对话信息包括至少一条连续的所述第一会话信息和与其相邻的至少一条连续的所述第二会话信息；
44.利用所述第一神经网络模型对所述至少一条第一会话信息进行分类识别，确定分类结果为询问动作的第一会话信息的数量，得到第一询问数量；
45.利用第二神经网络模型对每一轮所述交互会话信息中首次出现的第二会话信息进行分类识别，确定分类结果为询问动作的第二会话信息的数量，得到第二询问数量；
46.将每一轮所述交互会话信息中对第一会话信息识别确定的询问动作的至少一个分类结果合并为一个，得到第三询问数量；
47.基于所述第一询问数量、所述第二询问数量、所述第三询问数量和所述交互对话信息的数量，确定所述第六识别结果是否为处于主导地位。
48.可选地，所述对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述房源推荐识别，得到所述房源推荐识别对应的第七识别结果，包括：
49.利用所述第二神经网络模型对所述至少一条第二会话信息进行意图识别，确定所述第一用户的意图是否为找房；
50.响应于所述第一用户的意图为找房，利用所述第一神经网络模型对意图确定为找房的第二会话信息之后的至少一条第一会话信息进行分类识别，确定分类结果中是否为推荐房源；如果是，确定所述第七识别结果为有推荐房源；否则，确定所述第七识别结果为无推荐房源。
51.可选地，所述对所述至少一条第一会话信息执行所述推荐房源是否符合需求识别，得到所述推荐房源是否符合需求识别对应的第八识别结果，包括：
52.响应于所述第七识别结果为有推荐房源；
53.获得分类结果为推荐房源的第一会话信息中包括的房源对应的属性信息，确定所述属性信息是否与所述第一用户的找房意图存在冲突；如果是，确定所述第八识别结果为不符合用户需求，否则，确定所述第八识别结果为符合用户需求。
54.可选地，所述对所述至少一条第一会话信息执行所述推荐房源是否符合需求识别，得到所述推荐房源是否符合需求识别对应的第九识别结果，包括：
55.将所述至少一条第一会话信息与房源描述库中包括的至少一个描述词进行匹配，确定所述至少一条第一会话信息中是否包括房源描述内容；
56.响应于包括房源描述内容，利用第三神经网络模型识别所述房源描述内容是否为合格的房源描述；如果是，确定所述第九识别结果为合格的房源描述；否则，确定所述第九识别结果为不合格的房源描述；
57.响应于不包括房源描述内容，确定所述第九识别结果为不包括房源描述内容。
58.可选地，所述对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述答非所问识别，得到所述答非所问识别对应的第十识别结果，包括：
59.从所述至少一条第二会话信息确定至少一个疑问句信息；
60.利用所述第二神经网络模型对所述至少一个疑问句信息进行意图识别，确定所述用户的至少一个意图；
61.将所述至少一个意图与预设意图集中包括的至少一个已知意图进行匹配，确定匹配的至少一个意图；
62.对所述匹配的至少一个意图中每个所述意图，将所述意图对应的第二会话信息与所述第二会话信息之后的设定数量的第一会话信息作为识别组，得到所述至少一个意图对应的至少一个识别组；
63.利用匹配模型，确定所述至少一个识别组中每个所述识别组是否与所述识别组对应的意图相匹配，如果匹配，确定所述第十识别结果为非答非所问；如果不匹配，确定所述第十识别结果为答非所问。
64.可选地，所述对所述至少一条第一会话信息执行所述回答生硬识别，得到所述回答生硬识别对应的第十一识别结果，包括：
65.将所述第一会话记录中的至少一个第一会话信息与预设生硬词库中包括的至少一个生硬词进行匹配；
66.响应于存在与所述至少一个生硬词匹配的第一会话信息，确定所述第十一识别结果为回答生硬；
67.响应于不存在与所述至少一个生硬词匹配的第一会话信息，通过所述第一神经网络模型对所述至少一个会话信息进行分类识别，确定分类结果是否为回答生硬；当分类结果为回答生硬，确定所述第十一识别结果为回答生硬；当分类结果为非回答生硬，确定所述第十一识别结果为非回答生硬。
68.可选地，所述基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果，包括：
69.基于所述至少两个识别结果确定至少两个质量评分；
70.对所述至少两个质量评分加权求和，确定加权求和的结果是否大于设定阈值；
71.响应于所述加权求和的结果大于设定阈值，确定所述质量评价结果为质量佳。
72.可选地，所述至少两个识别结果对应至少两个维度；每个所述维度对应至少一个识别结果；
73.还包括：
74.基于所述每个识别结果对应的质量评分，确定所述至少两个维度中每个维度对应的维度评分；
75.基于每个所述维度对应的维度评分，确定所述第一经纪人的多维雷达图。
76.可选地，还包括：
77.获取所述第一经纪人在设定时间周期内与至少一个用户交互的至少一个会话记录；其中，所述至少一个用户至少包括所述第一用户，所述至少一个会话记录至少包括所述第一会话记录；
78.对所述至少一个会话记录分别进行至少两次动作识别，得到至少两个识别结果；
79.统计在不同所述会话记录中确定的相同识别结果的数量，确定所述第一经纪人在设定时间周期内的动作习惯；
80.基于所述第一经纪人在设定时间周期内的动作习惯，为所述第一经纪人分配相应的任务。
81.根据本公开实施例的另一方面，提供了一种会话数据质量评估装置，包括：
82.数据获取模块，用于获取第一经纪人与第一用户交互的第一会话记录；其中，所述第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
83.动作识别模块，用于对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果；其中，所述至少两次动作识别包括以下至少之二：开场语识别、结束语识别、联系方式询问识别、复聊识别、违规操作识别、主导性识别、房源推荐识别、推荐房源是否包括文字说明识别、推荐房源是否符合需求识别、答非所问识别、回答生硬识别；
84.质量评价模块，用于基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果。
85.可选地，所述动作识别模块，包括以下至少两个单元：
86.第一识别单元，用于对所述至少一条第一会话信息执行所述开场语识别，得到所述开场语识别对应的第一识别结果；
87.第二识别单元，用于对所述至少一条第一会话信息执行所述结束语识别，得到所
述结束语识别对应的第二识别结果；
88.第三识别单元，用于对所述至少一条第一会话信息执行所述联系方式询问识别，得到所述联系方式询问识别对应的第三识别结果；
89.第四识别单元，用于对所述至少一条第一会话信息执行所述复聊识别，得到所述复聊识别对应的第四识别结果；
90.第五识别单元，用于对所述至少一条第一会话信息执行所述违规操作识别，得到所述违规操作识别对应的第五识别结果；
91.第六识别单元，用于对所述至少一条第一会话信息和所述至少一条第二会话信息执行主导性识别，得到所述主导性识别对应的第六识别结果；
92.第七识别单元，用于对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述房源推荐识别，得到所述房源推荐识别对应的第七识别结果；
93.第八识别单元，用于对所述至少一条第一会话信息执行所述推荐房源是否符合需求识别，得到所述推荐房源是否符合需求识别对应的第八识别结果；
94.第九识别单元，用于对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述推荐房源是否包括文字说明识别，得到所述推荐房源是否包括文字说明识别对应的第九识别结果；
95.第十识别单元，用于对所述至少一条第一会话信息和所述至少一条第二会话信息执行所述答非所问识别，得到所述答非所问识别对应的第十识别结果；
96.第十一识别单元，用于对所述至少一条第一会话信息执行所述回答生硬识别，得到所述回答生硬识别对应的第十一识别结果。
97.可选地，所述第一识别单元，具体用于利用第一神经网络模型对所述至少一条第一会话信息中前设定条数的第一会话信息进行分类识别，确定所述前设定条数的第一会话信息中是否存在分类为开场语的第一会话信息；
98.响应于存在分类为开场语的第一会话信息，确定所述存在分类为开场语的第一会话信息是否为标准开场语；如果确定为所述标准开场语，确定所述第一识别结果为标准开场语；否则，确定所述第一识别结果为普通开场语；
99.响应于不存在分类为开场语的第一会话信息，确定所述第一识别结果为不包括开场语。
100.可选地，所述第二识别单元，具体用于确定所述第一会话记录中的结束消息标识地址；
101.基于所述结束消息标识地址确定所述结束消息是否为所述第一会话信息；
102.响应于所述结束消息为所述第一会话信息，利用所述第一神经网络模型对所述结束消息进行分类识别，确定所述结束消息的分类结果是否为结束语，如果是结束语，根据所述结束消息中是否包括设定信息确定是否标准结束语，确定所述第二识别结果为有结束语或有标准结束语；如果不是结束语，确定所述第二识别结果为无结束语；
103.响应于所述结束消息为所述第二会话信息，确定所述第二识别结果为无结束语或经纪人不理睬用户。
104.可选地，所述第三识别单元，具体用于确定所述第一会话记录中包括的至少一轮交互对话信息，得到所述第一会话记录中包括的交互对话信息的数量；其中，每轮所述交互
对话信息包括至少一条连续的所述第一会话信息和与其相邻的至少一条连续的所述第二会话信息；
105.响应于所述会话轮数大于或等于设定值，利用所述第一神经网络模型对所述至少一条第一会话信息进行分类识别，确定是否包括所述第一会话信息的分类结果为联系方式询问，如果是，确定所述第三识别结果为有联系方式询问动作；否则，确定所述第三识别结果为无联系方式询问动作；
106.响应于所述会话轮数小于设定值，继续统计所述第一会话记录中包括的会话轮数，直到所述会话轮数大于或等于所述设定值。
107.可选地，所述第四识别单元，还用于获得所述第一会话记录对应的结束时间，以及所述第一经纪人与所述第一用户在所述第一会话记录之后的下一次交互的第二会话记录的开始时间；其中，所述第二会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
108.所述第四识别单元，具体用于确定所述结束时间和所述开始时间的时间差是否小于或等于设定时间值；
109.响应于所述时间差小于或等于所述设定时间值，利用所述第一神经网络模型对所述第二会话记录中包括的至少一条第一会话信息进行分类识别，确定所述至少一条第一会话信息中是否存在分类结果为房源推荐的第一会话信息，如果是，确定所述第四识别结果为有效复聊；否则，确定所述第四识别结果为无效复聊；
110.响应于所述时间差大于所述设定时间值，确定所述第四识别结果为无复聊。
111.可选地，所述第五识别单元，具体用于将所述至少一条所述第一会话信息与违规词集中包括的至少一个违规词进行匹配；
112.响应于存在至少一条与所述违规词匹配的所述第一会话信息，确定所述第五识别结果为有违规操作；否则，确定所述第五识别结果为无违规操作。
113.可选地，所述第六识别单元，具体用于确定所述第一会话记录中包括的至少一轮交互对话信息，得到所述第一会话记录中包括的交互对话信息的数量；其中，每轮所述交互对话信息包括至少一条连续的所述第一会话信息和与其相邻的至少一条连续的所述第二会话信息；
114.利用所述第一神经网络模型对所述至少一条第一会话信息进行分类识别，确定分类结果为询问动作的第一会话信息的数量，得到第一询问数量；
115.利用第二神经网络模型对每一轮所述交互会话信息中首次出现的第二会话信息进行分类识别，确定分类结果为询问动作的第二会话信息的数量，得到第二询问数量；
116.将每一轮所述交互会话信息中对第一会话信息识别确定的询问动作的至少一个分类结果合并为一个，得到第三询问数量；
117.基于所述第一询问数量、所述第二询问数量、所述第三询问数量和所述交互对话信息的数量，确定所述第六识别结果是否为处于主导地位。
118.可选地，所述第七识别单元，具体用于利用所述第二神经网络模型对所述至少一条第二会话信息进行意图识别，确定所述第一用户的意图是否为找房；
119.响应于所述第一用户的意图为找房，利用所述第一神经网络模型对意图确定为找房的第二会话信息之后的至少一条第一会话信息进行分类识别，确定分类结果中是否为推
荐房源；如果是，确定所述第七识别结果为有推荐房源；否则，确定所述第七识别结果为无推荐房源。
120.可选地，所述第八识别单元，具体用于响应于所述第七识别结果为有推荐房源；
121.获得分类结果为推荐房源的第一会话信息中包括的房源对应的属性信息，确定所述属性信息是否与所述第一用户的找房意图存在冲突；如果是，确定所述第八识别结果为不符合用户需求，否则，确定所述第八识别结果为符合用户需求。
122.可选地，所述第九识别单元，具体用于将所述至少一条第一会话信息与房源描述库中包括的至少一个描述词进行匹配，确定所述至少一条第一会话信息中是否包括房源描述内容；
123.响应于包括房源描述内容，利用第三神经网络模型识别所述房源描述内容是否为合格的房源描述；如果是，确定所述第九识别结果为合格的房源描述；否则，确定所述第九识别结果为不合格的房源描述；
124.响应于不包括房源描述内容，确定所述第九识别结果为不包括房源描述内容。
125.可选地，所述第十识别单元，具体用于从所述至少一条第二会话信息确定至少一个疑问句信息；
126.利用所述第二神经网络模型对所述至少一个疑问句信息进行意图识别，确定所述用户的至少一个意图；
127.将所述至少一个意图与预设意图集中包括的至少一个已知意图进行匹配，确定匹配的至少一个意图；
128.对所述匹配的至少一个意图中每个所述意图，将所述意图对应的第二会话信息与所述第二会话信息之后的设定数量的第一会话信息作为识别组，得到所述至少一个意图对应的至少一个识别组；
129.利用匹配模型，确定所述至少一个识别组中每个所述识别组是否与所述识别组对应的意图相匹配，如果匹配，确定所述第十识别结果为非答非所问；如果不匹配，确定所述第十识别结果为答非所问。
130.可选地，所述第十一识别单元，具体用于将所述第一会话记录中的至少一个第一会话信息与预设生硬词库中包括的至少一个生硬词进行匹配；
131.响应于存在与所述至少一个生硬词匹配的第一会话信息，确定所述第十一识别结果为回答生硬；
132.响应于不存在与所述至少一个生硬词匹配的第一会话信息，通过所述第一神经网络模型对所述至少一个会话信息进行分类识别，确定分类结果是否为回答生硬；当分类结果为回答生硬，确定所述第十一识别结果为回答生硬；当分类结果为非回答生硬，确定所述第十一识别结果为非回答生硬。
133.可选地，所述质量评价模块，具体用于基于所述至少两个识别结果确定至少两个质量评分；对所述至少两个质量评分加权求和，确定加权求和的结果是否大于设定阈值；响应于所述加权求和的结果大于设定阈值，确定所述质量评价结果为质量佳。
134.可选地，所述至少两个识别结果对应至少两个维度；每个所述维度对应至少一个识别结果；
135.本实施例提供的装置还包括：
136.维度评分模块，用于基于所述每个识别结果对应的质量评分，确定所述至少两个维度中每个维度对应的维度评分；基于每个所述维度对应的维度评分，确定所述第一经纪人的多维雷达图。
137.可选地，本实施例提供的装置还包括：
138.习惯分析模块，用于获取所述第一经纪人在设定时间周期内与至少一个用户交互的至少一个会话记录；其中，所述至少一个用户至少包括所述第一用户，所述至少一个会话记录至少包括所述第一会话记录；对所述至少一个会话记录分别进行至少两次动作识别，得到至少两个识别结果；统计在不同所述会话记录中确定的相同识别结果的数量，确定所述第一经纪人在设定时间周期内的动作习惯；基于所述第一经纪人在设定时间周期内的动作习惯，为所述第一经纪人分配相应的任务。
139.根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的会话数据质量评估方法。
140.根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：
141.处理器；
142.用于存储所述处理器可执行指令的存储器；
143.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的会话数据质量评估方法。
144.根据本公开实施例的再一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的会话数据质量评估方法的步骤。
145.基于本公开上述实施例提供的一种会话数据质量评估方法和计算机程序产品，包括：获取第一经纪人与第一用户交互的第一会话记录；其中，所述第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果；基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果。本实施例通过动作识别，实现标准的对经纪人行为进行标准化的质量评价，避免了通过管理者对经纪人进行质量评价时依赖管理者经验的问题，缩小了由于管理者能力、经验差别带来的经纪人管理差异。
146.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
147.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
148.图1是本公开一示例性实施例提供的会话数据质量评估方法的流程示意图。
149.图2是本公开图1所示的实施例中步骤106的一个流程示意图。
150.图3是本公开一示例性实施例提供的会话数据质量评估方法的一个可选示例中对
两个经纪人的维度评分进行展示的雷达图。
151.图4是本公开一示例性实施例提供的会话数据质量评估方法的一个可选示例中一个经纪人在时间周期内的识别结果及数量。
152.图5是本公开一示例性实施例提供的会话数据质量评估装置的结构示意图。
153.图6是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
154.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
155.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
156.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
157.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
158.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
159.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。本公开中所指数据可以包括文本、图像、视频等非结构化数据，也可以是结构化数据。
160.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
161.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
162.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
163.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
164.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
165.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦用户机、厚用户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
166.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
167.示例性方法
168.图1是本公开一示例性实施例提供的会话数据质量评估方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：
169.步骤102，获取第一经纪人与第一用户交互的第一会话记录。
170.其中，第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息。
171.可选地，第一会话记录可以是预存在数据库中的文本数据或音频数据等，本实施例不限制第一会话记录的具体数据形式，记录有第一经纪人和第一用户的交互信息即可。
172.步骤104，对至少一条第一会话信息，或对至少一条第一会话信息和至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果。
173.其中，至少两次动作识别包括以下至少之二：开场语识别、结束语识别、联系方式询问识别、复聊识别、违规操作识别、主导性识别、房源推荐识别、推荐房源是否包括文字说明识别、推荐房源是否符合需求识别、答非所问识别、回答生硬识别。
174.在一实施例中，可利用深度神经网络模型对第一会话记录中的会话信息进行动作识别，例如，通过分类网络模型对会话信息进行分类，确定分类类型作为识别结果。
175.步骤106，基于至少两个识别结果确定第一会话记录对应的质量评价结果。
176.可选地，通过至少两个识别结果确定质量评价结果，实现了从多个不同方面对第一会话记录的质量进行评价；质量评价结果的表达方式有多种，例如，可根据每个识别结果确定对应的分值，再综合至少一个分值得到质量评价结果对应的分数，通过分数的高低评价第一经纪人本次交互的质量好坏。
177.本公开上述实施例提供的一种会话数据质量评估方法，获取第一经纪人与第一用户交互的第一会话记录；其中，所述第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果；基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果。本实施例通过动作识别，实现标准的对经纪人行为进行标准化的质量评价，避免了通过管理者对经纪人进行质量评价时依赖管理者经验的问题，缩小了由于管理者能力、经验差别带来的经纪人管理差异。
178.在一些可选的实施例中，步骤104可以包括以下至少两个步骤：
179.对至少一条第一会话信息执行开场语识别，得到开场语识别对应的第一识别结果；
180.对至少一条第一会话信息执行结束语识别，得到结束语识别对应的第二识别结果；
181.对至少一条第一会话信息执行联系方式询问识别，得到联系方式询问识别对应的第三识别结果；
182.对至少一条第一会话信息执行复聊识别，得到复聊识别对应的第四识别结果；
183.对至少一条第一会话信息执行违规操作识别，得到违规操作识别对应的第五识别结果；
184.对至少一条第一会话信息和至少一条第二会话信息执行主导性识别，得到主导性识别对应的第六识别结果；
185.对至少一条第一会话信息和至少一条第二会话信息执行房源推荐识别，得到房源推荐识别对应的第七识别结果；
186.对至少一条第一会话信息执行推荐房源是否符合需求识别，得到推荐房源是否符合需求识别对应的第八识别结果；
187.对至少一条第一会话信息和至少一条第二会话信息执行推荐房源是否包括文字说明识别，得到推荐房源是否包括文字说明识别对应的第九识别结果；
188.对至少一条第一会话信息和至少一条第二会话信息执行答非所问识别，得到答非所问识别对应的第十识别结果；
189.对至少一条第一会话信息执行回答生硬识别，得到回答生硬识别对应的第十一识别结果。
190.本实施例提出动作识别可包括11个识别动作中的两个以上，当对多个动作进行识别时，可同时实现对多个动作的识别，可将每个动作识别作为一个诊断点，通过这11个诊断点标准化经纪人与用户交互的会话质量，当不具有某些识别动作时，相应降低第一会话记录的会话质量，而不影响整体对第一会话记录的质量评估，可选地，通常对会话记录执行11个识别动作，以实现全面且标准化的质量评估，进而促进业务目标的达成；并且，通过对经纪人在线聊天的详细评估，实现了快速发现经纪人在作业过程中存在的问题，帮助管理者加强管理。
191.可选地，对至少一条第一会话信息执行开场语识别，得到开场语识别对应的第一识别结果，包括：
192.利用第一神经网络模型对至少一条第一会话信息中前设定条数的第一会话信息进行分类识别，确定前设定条数的第一会话信息中是否存在分类为开场语的第一会话信息；
193.响应于存在分类为开场语的第一会话信息，确定存在分类为开场语的第一会话信息是否为标准开场语；如果确定为标准开场语，确定第一识别结果为标准开场语；否则，确定第一识别结果为普通开场语；
194.响应于不存在分类为开场语的第一会话信息，确定第一识别结果为不包括开场语。
195.在一个标准的对话流程中，经纪人应该在会话前设定条数(例如，前3句)的第一会话信息之内就应该给出标准开场语，能够有利于树立专业的经纪人形象，其中，前设定条数是指在第一会话记录中排序在前的设定条数，该设定条数的数量可根据实际应用场景进行设置；本实施例中，前设定条数可以是任意设置的条数，例如，设定为前3条，在该实施例中，利用第一神经网络模型对前3条第一会话信息进行分类识别，该第一神经网络模型经过具
有已知是否为开场语训练语句的训练，经过训练的第一神经网络模型可以对每条第一会话信息进行分类识别，当前设定条数的第一会话信息中存在任意一条第一会话信息的分类结果为开场语时，可确定第一经纪人在本次交互中发出了开场语，而对于发出开场语的情况，还存在开场语是否标准的问题，标准开场语的识别可根据应用场景的设置进行确定，例如，设置在开场语中包括联系方式(如，电话号码、微信号等)的，作为标准开场语，而对于不包括联系方式的开场语作为普通开场语；本实施例通过统一标准对经纪人的会话中是否包括开场语进行识别，使本实施例适用所有交互场景的识别。
196.可选地，对至少一条第一会话信息执行结束语识别，得到结束语识别对应的第二识别结果，包括：
197.确定第一会话记录中的结束消息标识地址；
198.基于结束消息标识地址确定结束消息是否为第一会话信息；
199.响应于结束消息为第一会话信息，利用第一神经网络模型对结束消息进行分类识别，确定结束消息的分类结果是否为结束语，如果是结束语，根据结束消息中是否包括设定信息确定是否标准结束语，确定第二识别结果为有结束语或有标准结束语；如果不是结束语，确定第二识别结果为无结束语；
200.响应于结束消息为第二会话信息，确定第二识别结果为无结束语或经纪人不理睬用户。
201.本实施例中，第一会话记录中每个会话消息都具有一个标识地址(例如，id等)，用于表示每条会话消息的唯一性，在进行结束语识别时，首先，需要确定第一会话记录中最后的消息是否是经纪人发出的第一会话消息，如果不是经纪人发出的(即识别为第二会话信息)，进一步对该第二会话信息进行识别，确定是否包括结束语(可利用神经网络识别是否包括结束语，或通结束语词库与第二会话信息进行匹配等方法确定)，当该第二会话信息中包括结束语，表示第一经纪人在本次会话中未发出结束语；当该第二会话信息中不包括结束语，说明第一用户没有结束会话的意图，但是第一经纪人未回复，此时，第二识别结果为经纪人不理睬用户；当结束消息是第一会话信息时，利用经过训练的第一神经网络模型对该第一会话信息进行分类识别，确定分类是否为结束语，如果不是结束语，说明本次会话经纪人无结束语；如果分类结果是结束语，通过设定信息(可以根据实际场景进行设置，例如，设置为联系方式等)确定是否标准结束语。
202.可选地，对至少一条第一会话信息执行联系方式询问识别，得到联系方式询问识别对应的第三识别结果，包括：
203.确定第一会话记录中包括的至少一轮交互对话信息，得到第一会话记录中包括的交互对话信息的数量；其中，每轮交互对话信息包括至少一条连续的第一会话信息和与其相邻的至少一条连续的第二会话信息；
204.响应于会话轮数大于或等于设定值，利用第一神经网络模型对至少一条第一会话信息进行分类识别，确定是否包括第一会话信息的分类结果为联系方式询问，如果是，确定第三识别结果为有联系方式询问动作；否则，确定第三识别结果为无联系方式询问动作；
205.响应于会话轮数小于设定值，继续统计第一会话记录中包括的会话轮数，直到会话轮数大于或等于设定值。
206.本实施例中，将第一会话记录中将每次一个完整的交互(一次信息发出主体的转
换后，再次发生主体转换时)，例如，第一用户发出一句或连续多句第二会话信息，第一经纪人发出一句或连续多句第一会话信息，在第一用户发出新的第二会话信息之前的信息作为一轮交互对话信息；从第一会话记录中的第一轮会话开始，对会话轮数进行统计，当会话轮数大于或等于设定值时(例如，大于等于4)，利用经过训练的第一神经网络模型对第一会话信息进行分类识别；本实施例通过联系方式询问的判断，确定经纪人在本次交互中是否在积极获取用户信息，以提高转化率，通过确定第一经纪人是否在会话过程中询问联系方式可从一方面确定第一经纪人在第一会话记录中的作业水平。
207.可选地，在对至少一条第一会话信息执行复聊识别，得到复聊识别对应的第四识别结果之前，还包括：
208.获得第一会话记录对应的结束时间，以及第一经纪人与第一用户在第一会话记录之后的下一次交互的第二会话记录的开始时间；其中，第二会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
209.对至少一条第一会话信息执行复聊识别，得到复聊识别对应的第四识别结果，包括：
210.确定结束时间和开始时间的时间差是否小于或等于设定时间值；
211.响应于时间差小于或等于设定时间值，利用第一神经网络模型对第二会话记录中包括的至少一条第一会话信息进行分类识别，确定至少一条第一会话信息中是否存在分类结果为房源推荐的第一会话信息，如果是，确定第四识别结果为有效复聊；否则，确定第四识别结果为无效复聊；
212.响应于时间差大于设定时间值，确定第四识别结果为无复聊。
213.在一次交互未能实现转化(例如，实现与用户线下交流等)的情况下，经纪人需要在设定时间内对用户通过交互会话的方式进行维护，本实施例中，设置设定时间值为两次交互之间的最大时间差，当两次交互之间的时间间隔大于该设定时间值时，可能出现很多问题，例如，用户遗忘上次交互的内容，用户已与其他经纪人实现线下交流等；因此，为了确定第一经纪人的作业水平，本实施例需确定第一经纪人是否与第一用户实现复聊，实现从一个方面对经纪人的作业水平进行评价。
214.可选地，对至少一条第一会话信息执行违规操作识别，得到违规操作识别对应的第五识别结果，包括：
215.将至少一条第一会话信息与违规词集中包括的至少一个违规词进行匹配；
216.响应于存在至少一条与违规词匹配的第一会话信息，确定第五识别结果为有违规操作；否则，确定第五识别结果为无违规操作。
217.在经纪人在线聊天作业过程中，有些政策违规、行业避免的词是不能触碰的，比如“学区房”、“底价”等敏感词；在会话过程中，一旦经纪人发出违规词集中的任一违规词，即可确定该经纪人涉及到违规操作；因此，本实施例对经纪人在线聊天作业产生的会话数据进行违规操作识别，通将所有第一会话信息与违规词集进行匹配，确定经纪人是否有违规操作，实现在违规方面对经纪人作业进行评价。
218.可选地，对至少一条第一会话信息和至少一条第二会话信息执行主导性识别，得到主导性识别对应的第六识别结果，包括：
219.确定第一会话记录中包括的至少一轮交互对话信息，得到第一会话记录中包括的
交互对话信息的数量；其中，每轮交互对话信息包括至少一条连续的第一会话信息和与其相邻的至少一条连续的第二会话信息；
220.利用第二神经网络模型对每一轮交互会话信息中首次出现的第二会话信息进行分类识别，确定分类结果为询问动作的第二会话信息的数量，得到第二询问数量；
221.将每一轮交互会话信息中对第一会话信息识别确定的询问动作的至少一个分类结果合并为一个，得到第三询问数量；
222.基于第一询问数量、第二询问数量、第三询问数量和交互对话信息的数量，确定第六识别结果是否为处于主导地位。
223.在经纪人的在线聊天作业过程中，希望经纪人能够占据聊天的主导地位，以尽快达到了解用户需求并且实现转委托、转带看的目的，本实施例中的所指主导地位是指控制对话方向和内容的一方，例如，在本实施例中通过发出疑问句(询问动作)的数量来确定是否处于主导地位。因此需要对经纪人的聊天数据进行诊断来衡量该经纪人是否做到了主导性；本实施例中首先获得对所有第一会话信息识别为询问动作的信息数量，统计为第一询问数量a；再对会话记录中每一轮会话中用户的疑问句和经纪人的疑问句分别进行统计(每轮会话中用户的疑问句仅累加1，每轮会话中经纪人的疑问句也仅累加1)，得到第二询问数量b和第三询问数量c，再结合第一会话记录中包括的会话轮数n，确定第一经纪人在第一会话记录中是否处于主导，具体的判断可包括：当同时满足：a＜n/2，b＞n/2，c＜n/2，可确定第一经纪人在第一会话记录中处于被动(非主导地位)；否则，该第一经纪人在第一会话记录中处于主导地位。
224.可选地，对至少一条第一会话信息和至少一条第二会话信息执行房源推荐识别，得到房源推荐识别对应的第七识别结果，包括：
225.利用第二神经网络模型对至少一条第二会话信息进行意图识别，确定第一用户的意图是否为找房；
226.响应于第一用户的意图为找房，利用第一神经网络模型对意图确定为找房的第二会话信息之后的至少一条第一会话信息进行分类识别，确定分类结果中是否为推荐房源；如果是，确定第七识别结果为有推荐房源；否则，确定第七识别结果为无推荐房源。
227.经纪人在线聊天作业过程中，当用户发出了找房意图时，经纪人应该根据用户的需求进行房源推荐；因此，本实施例中，当识别到用户的意图为找房时，对该找房意图之后的第一会话信息进行分类识别，确定第一经纪人在用户表示了意图为找房后是否进行了房源推荐，以第一经纪人是否进行了房源推荐确定该第一经纪人在交互会话中一方面的质量评价。
228.可选地，对至少一条第一会话信息执行推荐房源是否符合需求识别，得到推荐房源是否符合需求识别对应的第八识别结果，包括：
229.响应于第七识别结果为有推荐房源；
230.获得分类结果为推荐房源的第一会话信息中包括的房源对应的属性信息，确定属性信息是否与第一用户的找房意图存在冲突；如果是，确定第八识别结果为不符合用户需求，否则，确定第八识别结果为符合用户需求。
231.经纪人推荐房源是在得到用户的找房需求后进行推荐的，推荐的房源需要满足用户的找房需求，才能符合用户的需求，因此，在经纪人推荐完房源后，要验证其推荐的房源
是否符合用户需求；本实施例中，首先获得推荐的房源的属性信息，属性信息可以包括但不限于：位置、楼层、朝向等房源相关信息，房源的属性信息可来源于预存有大量房源属性信息的数据库中，将获得的属性信息与用户的找房意图相匹配，确定是否存在冲突(例如，用户的意图是找朝南的房子，而推荐房源的房源属性显示朝北等，此时存在冲突)，如果存在冲突，认为经纪人推荐的房源不符合用户需求，此时，认为经纪人在房源推荐方面的作业水平较低。
232.可选地，对至少一条第一会话信息执行推荐房源是否符合需求识别，得到推荐房源是否符合需求识别对应的第九识别结果，包括：
233.将至少一条第一会话信息与房源描述库中包括的至少一个描述词进行匹配，确定至少一条第一会话信息中是否包括房源描述内容；
234.响应于包括房源描述内容，利用第三神经网络模型识别房源描述内容是否为合格的房源描述；如果是，确定第九识别结果为合格的房源描述；否则，确定第九识别结果为不合格的房源描述；
235.响应于不包括房源描述内容，确定第九识别结果为不包括房源描述内容。
236.经纪人在推荐了房源后，应该基于用户的需求及房源属性对推荐的房源进行文字介绍，本实施例识别经纪人是否对推荐的房源进行了介绍，若有文字介绍，需要验证其文字介绍的质量，文字的质量包含房源基本信息描述的完整性、房源卖点介绍等，只有当文字的质量达到设定要求，例如，描述完整等，确定该房源描述内容是合格的房源描述。
237.可选地，对至少一条第一会话信息和至少一条第二会话信息执行答非所问识别，得到答非所问识别对应的第十识别结果，包括：
238.从至少一条第二会话信息确定至少一个疑问句信息；
239.利用第二神经网络模型对至少一个疑问句信息进行意图识别，确定用户的至少一个意图；
240.将至少一个意图与预设意图集中包括的至少一个已知意图进行匹配，确定匹配的至少一个意图；
241.对匹配的至少一个意图中每个意图，将意图对应的第二会话信息与第二会话信息之后的设定数量的第一会话信息作为识别组，得到至少一个意图对应的至少一个识别组；
242.利用匹配模型，确定至少一个识别组中每个识别组是否与识别组对应的意图相匹配，如果匹配，确定第十识别结果为非答非所问；如果不匹配，确定第十识别结果为答非所问。
243.在用户提出疑问时，经纪人应该给出相应的回答，但是在经纪人作业时，经常会出现答非所问的现象；因此，本实施例需要对经纪人在线作业的答非所问的现象进行识别，具体的，首先识别用户发出的疑问句信息，并确定疑问句对应的意图，确定每个用户疑问句与其之后的设定数量(例如，3句等，该数量不宜设置过大，通常在用户提问后，尽快回答用户的疑问较好)的经纪人语句构成识别组，通过匹配模型(可以是经过训练的神经网络)确定识别组中的意图与第一会话信息是否匹配，如果匹配，确定经纪人非答非所问；本实施例从回答用户问题的方面对经纪人作业进行评价，提升了评价的全面性。
244.可选地，对至少一条第一会话信息执行回答生硬识别，得到回答生硬识别对应的第十一识别结果，包括：
245.将第一会话记录中的至少一个第一会话信息与预设生硬词库中包括的至少一个生硬词进行匹配；
246.响应于存在与至少一个生硬词匹配的第一会话信息，确定第十一识别结果为回答生硬；
247.响应于不存在与至少一个生硬词匹配的第一会话信息，通过第一神经网络模型对所述至少一个会话信息进行分类识别，确定分类结果是否为回答生硬；当分类结果为回答生硬，确定第十一识别结果为回答生硬；当分类结果为非回答生硬，确定第十一识别结果为非回答生硬。
248.经纪人作为服务者，要为用户提供更专业、贴心的服务，但是在经纪人在线聊天过程中经常会出现回答生硬的话语，这样就给用户带来了不好的体验，因此需要对经纪人消息进行回答生硬的识别，以提高经纪人在线作业的服务水平；本实施例结合生硬词库和神经网络识别两种方法共同对回答生硬进行识别，以确保不会出现误判的情况，提高了识别的准确性。
249.如图2所示，在上述图1所示实施例的基础上，步骤106可包括如下步骤：
250.步骤1061，基于至少两个识别结果确定至少两个质量评分。
251.质量评分可以以离散值的方式表达，也可以以频数表达，本实施例不限制具体质量评分的表达方式，以可以区分不同识别结果为准。
252.步骤1062，对至少两个质量评分加权求和，确定加权求和的结果是否大于设定阈值。
253.步骤1063，响应于加权求和的结果大于设定阈值，确定质量评价结果为质量佳。
254.该实施例还可以包括，响应于加权求和的结果小于或等于设定阈值，确定质量评价结果为不佳。
255.为了直观的看到会话的质量，本实施例对至少两个识别结果进行打分，得到至少两个质量评分；可选地，对于11个识别结果，可以分别对应不同的评分方式，例如：对第一识别结果：没有结束语对应0分、结束语过于简单对应0.5分、标准结束语对应1分；第二识别结果：没有开场语对应0分、开场语过于简单对应0.5分、标准开场语对应1分；第三识别结果：以询问联系方式的次数作为评分值(频数)；第四识别结果：未进行复聊对应0分、进行复聊1分；第五识别结果：以违规的次数作为评分值(频数)；第六识别结果：以第三询问数量和会话轮数确定，例如，c
‑
n/2表示评分值；第七识别结果：以发送房源数量作为评分值；第八识别结果：以房源推荐数量减去不满足需求的房源数量的值作为评分值；第九识别结果：以房源描述的次数作为评分值；第十识别结果：以非答非所问的数量作为评分值；第十一识别结果：以非回答生硬的数量作为评分值；通过对不同识别结果设置不同的权重值，利用加权求和的方式即可确定第一会话记录对应的总分，权重值的设置可根据实际场景进行设置，例如，如表1所示的对每个识别结果分配不同的权重；以总分是否大于设定值来确定第一经纪人在本次会话中的评价结果是否为佳，实现了通过统一标准在多个不同方面对经纪人的会话进行评价，提升了评价结果的准确性和普适性，通过本实施例提供的评价方法，可以对任意会话记录进行评价，提升了经纪人管理效率。
[0256][0257]
表1
[0258]
在一些可选的实施例中，至少两个识别结果对应至少两个维度；每个维度对应至少一个识别结果；
[0259]
可选地，例如，将11个识别结果划分为5个维度，具体地，5个维度包括：标准程度(包括第一识别结果和第二识别结果)；满意程度(包括第七、第八、第九识别结果)；投入程度(包括第四、第六、第十、第十一识别结果)；安全程度(包括第五识别结果)；达成结果(包括第三识别结果)。
[0260]
本实施例提供的方法还包括：
[0261]
基于每个识别结果对应的质量评分，确定至少两个维度中每个维度对应的维度评分；
[0262]
基于每个维度对应的维度评分，确定第一经纪人的多维雷达图。
[0263]
为了直观的看到会话的质量，本实施例通过在不同维度统计维度评分，并通过雷达图的方式进行表示，可更直观的对经纪人在不同维度的行为进行理解，例如，如图3所示的雷达图，实现对两个不同经纪人的雷达图对比；另外，通过对一个门店中所有经纪人的维度评分求均值，以5个维度均值确定雷达图对门店作业水平进行展示。
[0264]
在一些可选的实施例中，本实施例提供的方法还包括：
[0265]
获取第一经纪人在设定时间周期内与至少一个用户交互的至少一个会话记录；其中，至少一个用户至少包括第一用户，至少一个会话记录至少包括第一会话记录；
[0266]
对至少一个会话记录分别进行至少两次动作识别，得到至少两个识别结果；
[0267]
统计在不同会话记录中确定的相同识别结果的数量，确定第一经纪人在设定时间周期内的动作习惯；
[0268]
基于第一经纪人在设定时间周期内的动作习惯，为第一经纪人分配相应的任务。
[0269]
可选地，在确定第一经纪人在第一会话记录中的评价结果之后，还可以对该第一经纪人在设定时间周期内与至少一个用户的至少一个会话记录，以至少一个会话记录确定
该第一经纪人在设定时间周期内的动作习惯，例如，如图4所示的一个经纪人在设定时间周期内的识别结果及数量，可确定该经纪人的动作习惯是无复聊，此时根据该动作习惯，可对该经纪人分配复聊任务(获得该经纪人在3天内交互的所有用户，并下发与这些用户进行交互的任务)，并结合交互结果(是否转委托等)确定第一经纪人的动作调整方向，其中，设定时间周期可根据实际场景设置，例如，设置为一周等；本实施例通过为第一经纪人分配相应的任务，以提高第一经纪人的交互效果。
[0270]
可选地，为了管理提效，间接地提升经纪人的作业能力，最终目的是提高业务水平，以提升转委托率、转带看率等。还可以以门店为单位，获得门店内包括的至少一个经纪人在设定时间周期内的相关信息，以目标(例如，转委托、转带看、商机转化率等)为导向，来筛选需要重点进行会话诊断的经纪人。诊断点以及诊断内容可以包括但不限于：第一诊断点：用户别处转委托和带看用户别处转委托和带看，对应的诊断内容：用户和商机经纪人没有转委托和转带看，聊天结束后，和其他经纪人进行了转委托和转带看；第二诊断点：商机多转化低，对应的诊断内容：商机量>商机量均值(为门店内每个经纪人分配的商机量)&转化率<转化率均值(转化量/商机量＝转化率)，其中，本实施例中将每个与用户交互的机会视为一个商机，与用户实现线下交互认为是转化成功；第三诊断点：三日复聊低，对应的诊断内容：商机量>商机量均值&3日复聊率<复聊率均值(3日内复聊量/商机量＝3日复聊率)；第四诊断点：转化三日未带看，对应的诊断内容：转委托量>转委托均值&转化带看率(带看量/转委托量＝转化带看率)<转化带看均值；第五诊断点：拥有重点用户，对应的诊断内容：一个用户在30天内向很多经纪人转委托和转带看了(频繁看房)，说明该用户近期买房可能性大，是重点用户；第六诊断点：新人，对应的诊断内容：最新入职时间到目前为止<1年，说明是没有经验的新人经纪人。本实施例中均值都是指对门店内所有经纪人求平均得到的人均值。
[0271]
在门店的基础上，还存在包括多个门店的大区，可对门店及其所在大区的作业水平和转委托率的对比情况进行展示，该过程可包括：获得一周设定周期内大区内所有门店中所有经纪人的会话记录以及转委托数据；通过对每个经纪人的会话记录执行上述实施例提供的会话数据质量评估方法，得到每个经纪人在5个维度的维度得分；可选地，可将每个门店中每个经纪人对应的5个维度的维度得分分别求平均，得到门店在5个维度上的维度平均分，还可以通过雷达图对不同门店的5个温度的维度平均分进行展示；另外，可以将每个门店中包括的所有经纪人对应的评价结果分数求平均，作为该门店的作业水平，结合设定时间内门店对应的转委托率合成折线图，以实现直观的展示，提高门店及大区的管理效率。
[0272]
本技术上述实施例通过对数据分析，得出优秀经纪人在线作业时要做的重要动作，及其规范；通过对经纪人会话的二、三级诊断，可以得到每个经纪人存在的问题以及会话中存在的详细问题；通过对门店的一级诊断，可以得到门店内需要重点关注的经纪人的作业情况；通过对门店及其所在大区的零级诊断，可以直观看到门店在相较于大区的作业水平、转委托率水平以及5个维度的水平；通过会话打分，可以直观的得到会话的质量；通过将各级诊断结果以报告的形式产出，实现对门店内会话质量的批量诊断，提升圈经的管理效率。
[0273]
本公开实施例提供的任一种会话数据质量评估方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任
一种会话数据质量评估方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种会话数据质量评估方法。下文不再赘述。
[0274]
示例性装置
[0275]
图5是本公开一示例性实施例提供的会话数据质量评估装置的结构示意图。如图5所示，本实施例提供的装置包括：
[0276]
数据获取模块51，用于获取第一经纪人与第一用户交互的第一会话记录。
[0277]
其中，第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息。
[0278]
动作识别模块52，用于对至少一条第一会话信息，或对至少一条第一会话信息和至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果。其中，至少两次动作识别包括以下至少之二：开场语识别、结束语识别、联系方式询问识别、复聊识别、违规操作识别、主导性识别、房源推荐识别、推荐房源是否包括文字说明识别、推荐房源是否符合需求识别、答非所问识别、回答生硬识别。
[0279]
质量评价模块53，用于基于至少两个识别结果确定第一会话记录对应的质量评价结果。
[0280]
本公开上述实施例提供的一种会话数据质量评估装置，获取第一经纪人与第一用户交互的第一会话记录；其中，所述第一会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；对所述至少一条第一会话信息，或对所述至少一条第一会话信息和所述至少一条第二会话信息进行至少两次动作识别，得到至少两个识别结果；基于所述至少两个识别结果确定所述第一会话记录对应的质量评价结果。本实施例通过动作识别，实现标准的对经纪人行为进行标准化的质量评价，避免了通过管理者对经纪人进行质量评价时依赖管理者经验的问题，缩小了由于管理者能力、经验差别带来的经纪人管理差异。
[0281]
在一些可选的实施例中，动作识别模块52，包括以下至少两个单元：
[0282]
第一识别单元，用于对至少一条第一会话信息执行开场语识别，得到开场语识别对应的第一识别结果；
[0283]
第二识别单元，用于对至少一条第一会话信息执行结束语识别，得到结束语识别对应的第二识别结果；
[0284]
第三识别单元，用于对至少一条第一会话信息执行联系方式询问识别，得到联系方式询问识别对应的第三识别结果；
[0285]
第四识别单元，用于对至少一条第一会话信息执行复聊识别，得到复聊识别对应的第四识别结果；
[0286]
第五识别单元，用于对至少一条第一会话信息执行违规操作识别，得到违规操作识别对应的第五识别结果；
[0287]
第六识别单元，用于对至少一条第一会话信息和至少一条第二会话信息执行主导性识别，得到主导性识别对应的第六识别结果；
[0288]
第七识别单元，用于对至少一条第一会话信息和所述至少一条第二会话信息执行房源推荐识别，得到房源推荐识别对应的第七识别结果；
[0289]
第八识别单元，用于对至少一条第一会话信息执行推荐房源是否符合需求识别，
得到推荐房源是否符合需求识别对应的第八识别结果；
[0290]
第九识别单元，用于对至少一条第一会话信息和至少一条第二会话信息执行推荐房源是否包括文字说明识别，得到推荐房源是否包括文字说明识别对应的第九识别结果；
[0291]
第十识别单元，用于对至少一条第一会话信息和至少一条第二会话信息执行答非所问识别，得到答非所问识别对应的第十识别结果；
[0292]
第十一识别单元，用于对至少一条第一会话信息执行回答生硬识别，得到回答生硬识别对应的第十一识别结果。
[0293]
可选地，第一识别单元，具体用于利用第一神经网络模型对至少一条第一会话信息中前设定条数的第一会话信息进行分类识别，确定前设定条数的第一会话信息中是否存在分类为开场语的第一会话信息；
[0294]
响应于存在分类为开场语的第一会话信息，确定存在分类为开场语的第一会话信息是否为标准开场语；如果确定为标准开场语，确定第一识别结果为标准开场语；否则，确定第一识别结果为普通开场语；
[0295]
响应于不存在分类为开场语的第一会话信息，确定第一识别结果为不包括开场语。
[0296]
可选地，第二识别单元，具体用于确定第一会话记录中的结束消息标识地址；
[0297]
基于结束消息标识地址确定结束消息是否为第一会话信息；
[0298]
响应于结束消息为第一会话信息，利用第一神经网络模型对结束消息进行分类识别，确定结束消息的分类结果是否为结束语，如果是结束语，根据结束消息中是否包括设定信息确定是否标准结束语，确定第二识别结果为有结束语或有标准结束语；如果不是结束语，确定第二识别结果为无结束语；
[0299]
响应于结束消息为第二会话信息，确定第二识别结果为无结束语或经纪人不理睬用户。
[0300]
可选地，第三识别单元，具体用于确定第一会话记录中包括的至少一轮交互对话信息，得到第一会话记录中包括的交互对话信息的数量；其中，每轮交互对话信息包括至少一条连续的第一会话信息和与其相邻的至少一条连续的第二会话信息；
[0301]
响应于会话轮数大于或等于设定值，利用第一神经网络模型对至少一条第一会话信息进行分类识别，确定是否包括第一会话信息的分类结果为联系方式询问，如果是，确定第三识别结果为有联系方式询问动作；否则，确定第三识别结果为无联系方式询问动作；
[0302]
响应于会话轮数小于设定值，继续统计第一会话记录中包括的会话轮数，直到会话轮数大于或等于设定值。
[0303]
可选地，第四识别单元，还用于获得第一会话记录对应的结束时间，以及第一经纪人与所述第一用户在第一会话记录之后的下一次交互的第二会话记录的开始时间；其中，第二会话记录包括至少一条第一经纪人对应的第一会话信息和至少一条第一用户对应的第二会话信息；
[0304]
第四识别单元，具体用于确定结束时间和开始时间的时间差是否小于或等于设定时间值；
[0305]
响应于时间差小于或等于设定时间值，利用第一神经网络模型对第二会话记录中包括的至少一条第一会话信息进行分类识别，确定至少一条第一会话信息中是否存在分类
结果为房源推荐的第一会话信息，如果是，确定第四识别结果为有效复聊；否则，确定第四识别结果为无效复聊；
[0306]
响应于时间差大于设定时间值，确定第四识别结果为无复聊。
[0307]
可选地，第五识别单元，具体用于将至少一条第一会话信息与违规词集中包括的至少一个违规词进行匹配；
[0308]
响应于存在至少一条与违规词匹配的第一会话信息，确定第五识别结果为有违规操作；否则，确定第五识别结果为无违规操作。
[0309]
可选地，第六识别单元，具体用于确定第一会话记录中包括的至少一轮交互对话信息，得到第一会话记录中包括的交互对话信息的数量；其中，每轮交互对话信息包括至少一条连续的第一会话信息和与其相邻的至少一条连续的第二会话信息；
[0310]
利用第一神经网络模型对至少一条第一会话信息进行分类识别，确定分类结果为询问动作的第一会话信息的数量，得到第一询问数量；
[0311]
利用第二神经网络模型对每一轮交互会话信息中首次出现的第二会话信息进行分类识别，确定分类结果为询问动作的第二会话信息的数量，得到第二询问数量；
[0312]
将每一轮交互会话信息中对第一会话信息识别确定的询问动作的至少一个分类结果合并为一个，得到第三询问数量；
[0313]
基于第一询问数量、第二询问数量、第三询问数量和交互对话信息的数量，确定第六识别结果是否为处于主导地位。
[0314]
可选地，第七识别单元，具体用于利用第二神经网络模型对至少一条第二会话信息进行意图识别，确定第一用户的意图是否为找房；
[0315]
响应于第一用户的意图为找房，利用第一神经网络模型对意图确定为找房的第二会话信息之后的至少一条第一会话信息进行分类识别，确定分类结果中是否为推荐房源；如果是，确定第七识别结果为有推荐房源；否则，确定第七识别结果为无推荐房源。
[0316]
可选地，第八识别单元，具体用于响应于第七识别结果为有推荐房源；
[0317]
获得分类结果为推荐房源的第一会话信息中包括的房源对应的属性信息，确定属性信息是否与第一用户的找房意图存在冲突；如果是，确定第八识别结果为不符合用户需求，否则，确定第八识别结果为符合用户需求。
[0318]
可选地，第九识别单元，具体用于将至少一条第一会话信息与房源描述库中包括的至少一个描述词进行匹配，确定至少一条第一会话信息中是否包括房源描述内容；
[0319]
响应于包括房源描述内容，利用第三神经网络模型识别房源描述内容是否为合格的房源描述；如果是，确定第九识别结果为合格的房源描述；否则，确定第九识别结果为不合格的房源描述；
[0320]
响应于不包括房源描述内容，确定第九识别结果为不包括房源描述内容。
[0321]
可选地，第十识别单元，具体用于从至少一条第二会话信息确定至少一个疑问句信息；
[0322]
利用第二神经网络模型对至少一个疑问句信息进行意图识别，确定用户的至少一个意图；
[0323]
将至少一个意图与预设意图集中包括的至少一个已知意图进行匹配，确定匹配的至少一个意图；
[0324]
对匹配的至少一个意图中每个意图，将意图对应的第二会话信息与第二会话信息之后的设定数量的第一会话信息作为识别组，得到至少一个意图对应的至少一个识别组；
[0325]
利用匹配模型，确定至少一个识别组中每个识别组是否与识别组对应的意图相匹配，如果匹配，确定第十识别结果为非答非所问；如果不匹配，确定第十识别结果为答非所问。
[0326]
可选地，第十一识别单元，具体用于将第一会话记录中的至少一个第一会话信息与预设生硬词库中包括的至少一个生硬词进行匹配；
[0327]
响应于存在与至少一个生硬词匹配的第一会话信息，确定第十一识别结果为回答生硬；
[0328]
响应于不存在与至少一个生硬词匹配的第一会话信息，通过第一神经网络模型对至少一个会话信息进行分类识别，确定分类结果是否为回答生硬；当分类结果为回答生硬，确定第十一识别结果为回答生硬；当分类结果为非回答生硬，确定第十一识别结果为非回答生硬。
[0329]
可选地，质量评价模块，具体用于基于至少两个识别结果确定至少两个质量评分；对至少两个质量评分加权求和，确定加权求和的结果是否大于设定阈值；响应于加权求和的结果大于设定阈值，确定质量评价结果为质量佳。
[0330]
可选地，至少两个识别结果对应至少两个维度；每个维度对应至少一个识别结果；
[0331]
本实施例提供的装置还包括：
[0332]
维度评分模块，用于基于每个识别结果对应的质量评分，确定至少两个维度中每个维度对应的维度评分；基于每个维度对应的维度评分，确定第一经纪人的多维雷达图。
[0333]
可选地，本实施例提供的装置还包括：
[0334]
习惯分析模块，用于获取第一经纪人在设定时间周期内与至少一个用户交互的至少一个会话记录；其中，至少一个用户至少包括第一用户，至少一个会话记录至少包括第一会话记录；对至少一个会话记录分别进行至少两次动作识别，得到至少两个识别结果；统计在不同会话记录中确定的相同识别结果的数量，确定第一经纪人在设定时间周期内的动作习惯；基于第一经纪人在设定时间周期内的动作习惯，为第一经纪人分配相应的任务。
[0335]
示例性电子设备
[0336]
下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
[0337]
图6图示了根据本公开实施例的电子设备的框图。
[0338]
如图6所示，电子设备60包括一个或多个处理器61和存储器62。
[0339]
处理器61可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备60中的其他组件以执行期望的功能。
[0340]
存储器62可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行所述程序指令，以实现上文所述的本公开的各个实施例的会话数据质量评估方法以及/或者其他期
望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0341]
在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0342]
例如，在该电子设备是第一设备100或第二设备200时，该输入装置63可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置63可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
[0343]
此外，该输入装置63还可以包括例如键盘、鼠标等等。
[0344]
该输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0345]
当然，为了简化，图6中仅示出了该电子设备60中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。
[0346]
示例性计算机程序产品和计算机可读存储介质
[0347]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的会话数据质量评估方法中的步骤。
[0348]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0349]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的会话数据质量评估方法中的步骤。
[0350]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0351]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0352]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例
而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0353]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0354]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0355]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0356]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0357]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。