交互服务质量检测方法、电子设备及计算机存储介质与流程

1.本技术实施例涉及计算机技术领域，尤其涉及一种交互服务质量检测方法、电子设备及计算机存储介质。


背景技术：

2.随着计算机技术的发展，越来越多的工作可借助于电子设备进行双方或多方交互，合作完成。在这些场景中，同时进行录音和录像的技术(也称双录)被广泛使用，诸如保险、银行等对交互服务的标准性要求较高的行业。早期的双录是现场双录，通常需要服务方如保险代理和被服务方如投保人等一起到达现场开展交互服务活动，并对交互服务现场进行双录。又因标准性要求是此类交互服务活动的必需要求，因此，通常情况下，现场还会有进行质量检测的人员在场。
3.然而，随着互联网的发展以及客户需求的多样性的增加，现场双录的高人力成本及缺乏灵活性对这类行业发展的制约逐渐显现出来。在此情况下，支持远程音视频方式的远程双录成为越来越迫切的需求。鉴于对这类服务质检是对上述多种行业的交互服务过程进行质量检测的重要手段，可以有效保障相关行业服务符合标准化要求，因此，如何实现该种场景下的交互服务质量检测成为亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供一种交互服务质量检测方案，以至少部分解决上述问题。
5.根据本技术实施例的第一方面，提供了一种交互服务质量检测方法，包括：实时获取针对交互服务录制的多媒体数据，所述多媒体数据包括：音频数据和视频数据；根据获取的所述多媒体数据实时进行质检节点检测，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点；响应于检测到所述质检节点，确定与所述质检节点对应的质检规则；根据所述质检规则确定待检测的人员对象，并对实时获取到的所述多媒体数据中的待检测的人员对象进行所述质检规则所指示的质检处理；根据质检处理的结果，确定实时获取的所述多媒体数据的质量检测结果。
6.根据本技术实施例的第二方面，提供了一种交互服务质量检测装置，包括：获取模块，用于实时获取针对交互服务录制的多媒体数据，所述多媒体数据包括：音频数据和视频数据；检测模块，用于根据获取的所述多媒体数据实时进行质检节点检测，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点；第一确定模块，用于响应于检测到所述质检节点，确定与所述质检节点对应的质检规则；质检模块，用于根据所述质检规则确定待检测的人员对象，并对实时获取到的所述多媒体数据中的待检测的人员对象进行所述质检规则所指示的质检处理；第二确定模块，用于根据质检处理的结果，确定实时获取的所述多媒体数据的质量检测结果。
7.根据本技术实施例的第三方面，提供了一种电子设备，包括：音视频采集设备、显
示器、处理器、存储器、通信接口和通信总线，所述音视频采集设备、所述显示器、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述音视频采集设备，用于对交互服务进行实时的音频数据的视频数据的录制采集，形成多媒体数据；所述处理器，用于实时获取所述音视频采集设备录制采集的多媒体数据；根据获取的所述多媒体数据实时进行质检节点检测，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点；响应于检测到所述质检节点，确定与所述质检节点对应的质检规则；根据所述质检规则确定待检测的人员对象，并对实时获取到的所述多媒体数据中的待检测的人员对象进行所述质检规则所指示的质检处理；根据质检处理的结果，确定实时获取的所述多媒体数据的质量检测结果；所述显示器，用于实时显示所述音视频采集设备录制采集的多媒体数据，和/或，所述处理器输出的所述质量检测结果；所述存储器，用于存储所述多媒体数据、所述质量检测结果、和所述处理器在确定所述质量检测结果过程中输出的中间数据。
8.根据本技术实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
9.根据本技术实施例提供的交互服务质量检测方案，针对交互服务场景录制交互服务的多媒体数据，并实时对其进行人员对象身份质检节点、服务流程质检节点、服务内容质检节点中的部分或全部节点的检测和质检处理，从而确定实时获取的多媒体数据的质量检测结果。因人员对象身份、服务流程和服务内容均为交互服务中的重要组成部分，可体现相关行业服务是否规范化和标准化，因此，若对其中的部分质检节点进行质检处理，则可确定相对应的交互服务部分是否满足交互服务规范化和标准化的要求，把控交互服务的关键流程是否完成；若对所有质检节点进行质检处理，则在可确定各部分是否满足交互服务规范化和标准化要求、关键流程是否完成的基础上，还可对交互服务的整体流程进行全面把控，保证交互服务的各个环节都被正确完成，实现对交互服务的全面、完整的质量检测。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
11.图1a为根据本技术实施例一的一种交互服务质量检测方法的步骤流程图；
12.图1b为图1a所示实施例中的一种场景示例的示意图；
13.图2为根据本技术实施例二的一种交互服务质量检测方法的步骤流程图；
14.图3为根据本技术实施例三的一种交互服务质量检测装置的结构框图；
15.图4为根据本技术实施例四的一种电子设备的结构示意图。
具体实施方式
16.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施
例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
17.下面结合本技术实施例附图进一步说明本技术实施例具体实现。
18.实施例一
19.参照图1a，示出了根据本技术实施例一的一种交互服务质量检测方法的步骤流程图。
20.本实施例的交互服务质量检测方法包括以下步骤：
21.步骤s102：实时获取针对交互服务录制的多媒体数据。
22.其中，所述多媒体数据包括：音频数据和视频数据。也即，本实施例中，同时对交互服务进行音频和视频录制。
23.本技术实施例中，所述交互服务可以为任意的涉及两方及两方以上的交互，且具有一定的规范和标准要求的活动，包括但不限于：保险行业中的投保活动、保单签署活动、银行行业中涉及款项的往来活动、在线教育活动、公证活动、以及会议活动等，本技术实施例对此不作限制。
24.步骤s104：根据获取的多媒体数据实时进行质检节点检测。
25.其中，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点。
26.在涉及交互服务的众多行业中，很多都对参与交互活动的人员对象身份、服务流程和服务内容有相对应的规范和要求。
27.例如，在保险行业中，要求主导投保活动的服务人员(也称为服务对象)必须是正规保险公司的从业人员且具有相应的从业资质，要求被服务人员(也称为被服务对象)也即投保人必须是实际的真实投保人。又例如，在银行行业中，要求服务人员(即放贷主体)必须是银行正规工作人员且具有相应资质，要求被服务人员即借贷人员必须是借贷主体的正规工作人员且被授权进行某项借贷活动，等等。
28.基于此，通过人员对象身份质检节点可以在不同交互服务环节实现对人员对象的身份识别和认证的质检；通过服务流程质检节点可以对交互服务中的服务流程的顺序、完成程度及规范度的质检；通过服务内容质检节点可以对不同的交互服务环节所展示和/或播放的相关内容的质检，保证服务内容被规范展示、播放和知晓。
29.在实际应用中，在实现对实时获取的多媒体数据实时进行质检节点检测时，可以通过相应的语音识别来进行节点检测，例如，若检测到播放了“现在请出示您的身份证件”，则可认为检测到人员对象身份质检节点；或者，可以通过相应的图像识别来进行节点检测，例如，若检测到视频图像中出现了证件，则可认为检测到人员对象身份质检节点；或者，可以通过预先设定的时间节点来进行节点检测，例如，若某项交互服务规定需要在服务过程的第2-3分钟进行证件展示和身份认证，则当多媒体数据播放至第2分钟时，则可认为检测到了质检节点。当然，其它可进行质检节点检测的方式也同样适用于本技术实施例的方案。
30.步骤s106：响应于检测到质检节点，确定与质检节点对应的质检规则。
31.如前所述，质检节点包括有多种，每种都对应有不同的质检规则，这些质检规则可以预先设定，并在检测到质检节点后，根据设定的对应关系确定与该质检节点对应的质检规则。
32.一般来说，不管何种质检节点都会有人员参与，因此，质检规则中可以包含检测所
针对的对象，除此之外，还包含针对这些对象的检测内容或策略。例如，对于人员对象身份质检节点，其对应的质检规则可以包括对接下来的视频帧进行人脸检测和识别、证件检测和识别、以及进行音频帧的声纹检测中的一种或多种等。又例如，对于服务流程质检节点，其对应的质检规则可以包括对接下来的视频帧进行动作识别和跟踪、以及进行音频帧的语音识别中的一种或多种等。再例如，对于服务内容质检节点，其对应的质检规则可以包括对接下来的视频帧进行动作识别和跟踪、文本检测和识别、以及进行音频帧的语音识别中的一种或多种等。在具体实现时，可根据实际情况选择其中的部分或全部使用，当然，以上仅为示例性说明，其中的某些规则可被替换，也可增加相应的规则内容。
33.此外，需要说明的是，本技术实施例中，若无特殊说明，“多种”、“多个”等与“多”有关的数量均意指两个及两上以上。
34.步骤s108：根据质检规则确定待检测的人员对象，并对实时获取到的多媒体数据中的待检测的人员对象进行质检规则所指示的质检处理。
35.人员对象是交互服务的参与主体，其活动贯穿于交互活动始终，因此，不管是何种质检节点均会涉及参与的人员对象，但可能各个质检节点涉及的人员对象不同，因此，可以首先根据质检规则确定待检测的人员对象。本技术实施例中，将人员对象区分为服务对象(通常为交互服务的主导者如保险从业人员或者银行从业人员或者在线教育的教师或者会议的主持或发言者等)，和被服务对象(通常为交互服务的施受者如投保人或者借贷人或者在线教育的学生或者会议的听众或非主持人等)。
36.针对某个质检规则，其可以指示仅针对服务对象的交互活动进行相应的质检处理，也可以指示仅针对被服务对象的交互活动进行相应的质检处理，当然，还可以指示同时对服务对象和被服务对象的交互活动进行质检处理。其中，具体的质检处理方式根据质检规则确定。
37.步骤s110：根据质检处理的结果，确定实时获取的多媒体数据的质量检测结果。
38.在获得了质检处理的结果后，即可确定当前质检节点所对应的多媒体数据的内容是否符合标准或规范。若符合，则可表明交互服务是符合行业标准或规范的；否则，表明交互服务存在问题，则需进行相应处理，如提示异常信息、告警或中断交互服务等。
39.以上，以一个场景示例对上述过程进行示意性说明，如图1b所示。
40.图1b中，以投保交互服务为例，涉及保险员(服务人员)和投保人(被服务人员)，对该交互服务进行实时的音视频录制。假设，在第2分钟，检测到录制的音频中出现语音“请保险员面对镜头并出示从业资质证件”，则确定检测到人员对象身份质检节点，若确定其对应的质检规则为进行人脸识别及证件识别，则对接下来视频中出现的人脸和证件进行相应识别，获得识别结果。将识别结果与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若一致，则通过；否则，不通过。本示例中，设定保险员的从业资质证件与其服务企业及身份关联，也即，根据该从业资质证件的信息即可确定该保险员所在单位及其身份，则若识别结果表征该质检节点的质检内容符合标准和规范，即可进行后续交互活动。但在某些场景中，可能需要保险员在出示从业资质证件之外，还需出示身份证件和/或服务企业的从业证件，则此种情况下，可以设定多个人员对象身份质检节点分别进行检测，也可以在一个质检节点中设置多项检测内容。
41.在该身份质检节点通过质量检测后，在第3分钟，检测到录制的音频中出现语音“请投保人面对镜头并出示身份证件”，则确定再次检测到人员对象身份质检节点，若确定其对应的质检规则为进行人脸识别及证件识别，则对接下来视频中出现的人脸和证件进行相应识别，获得识别结果。与前述类似，将识别结果与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若一致，则通过；否则，不通过。
42.在该身份质检节点通过质量检测后，在第5分钟，检测到录制的音频中出现语音“请向投保人讲解投保内容”，则确定检测到服务流程质检节点，若确定其对应的质检规则为对视频数据进行人脸识别并对音频数据进行语音识别，则对接下来录制的视频数据进行人脸识别，并对音频数据进行语音识别以获得语音内容。并分别将人脸识别结果和语音内容与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若一致，则通过；否则，不通过。其中，对语音内容的比对可先将语音内容转换为文本内容再进行比对，更进一步地，可以提取转换后的文本内容中的关键词进行比对。
43.在该服务流程质检节点通过质量检测后，在第10分钟，检测到录制的音频中出现语音“请问投保人是否了解了投保内容”，则确定再次检测到服务流程质检节点，若确定其对应的质检规则为对音频数据进行声纹识别和语音识别，则对接下来录制的音频数据分别进行声纹识别和语音识别，以确定当前讲话人并获得语音内容。并将当前讲话人和语音内容与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若通过语音识别确定当前讲话人为投保人且投保人回复了“了解了”或者“是的”，则通过质检；否则，不通过质检。
44.在该服务流程质检节点通过质量检测后，在第11分钟，检测到录制的音频中出现语音“请向投保人展示投保条款”，则确定检测到服务内容质检节点，若确定其对应的质检规则为对视频帧图像进行人脸识别和文本识别，则对接下来录制的视频数据中的视频帧进行相应检测和识别，以获得当前讲话人的人脸识别结果和展示的文本内容。将获得的人脸识别结果和文本内容与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若一致，则通过；否则，不通过。
45.在该服务内容质检节点通过质量检测后，在第13分钟，检测到录制的音频中出现语音“请问投保人是否了解了投保条款”，则确定检测到服务流程质检节点，若确定其对应的质检规则为对视频数据进行人脸识别并对音频数据进行语音识别，则对接下来录制的视频数据进行人脸识别并对音频数据进行语音识别以获得语音内容。并将人脸识别结果和语音内容与预存的数据库中的该交互服务的相应信息进行对比，判断是否一致。若通过语音识别确定投保人回复了“了解了”或者“是的”，则通过质检；否则，不通过质检。
46.在该服务流程质检节点通过质量检测后，在第14分钟，检测到录制的音频中出现语音“请投保人签署投保协议”，则确定检测到服务流程质检节点，若确定其对应的质检规则为对视频数据进行人脸识别、动作识别和跟踪，并且，对视频数据进行文本检测和识别，则对接下来录制的视频数据的视频帧进行相应的处理，若处理结果指示由投保人执行了签署动作，且签署的内容及字形字体均与投保人本人一致，若通过。
47.可见，上述过程简单对一个投保过程进行了示意，在实际应用中，其涉及的质检节点和质检内容可能更多更为复杂，但均可参照本实施例中的相应描述实现，在此不一一详述。
48.通过本实施例，针对交互服务场景录制交互服务的多媒体数据，并实时对其进行
人员对象身份质检节点、服务流程质检节点、服务内容质检节点中的部分或全部节点的检测和质检处理，从而确定实时获取的多媒体数据的质量检测结果。因人员对象身份、服务流程和服务内容均为交互服务中的重要组成部分，可体现相关行业服务是否规范化和标准化，因此，若对其中的部分质检节点进行质检处理，则可确定相对应的交互服务部分是否满足交互服务规范化和标准化的要求，把控交互服务的关键流程是否完成；若对所有质检节点进行质检处理，则在可确定各部分是否满足交互服务规范化和标准化要求、关键流程是否完成的基础上，还可对交互服务的整体流程进行全面把控，保证交互服务的各个环节都被正确完成，实现对交互服务的全面、完整的质量检测。
49.本实施例的交互服务质量检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、pad等)和pc机等。
50.实施例二
51.参照图2，示出了根据本技术实施例二的一种交互服务质量检测方法的步骤流程图。
52.本实施例的交互服务质量检测方法包括以下步骤：
53.步骤s202：获取与交互服务相适配的交互服务引导话本；根据录制触发条件，基于交互服务引导话本引导交互活动并对交互服务进行音频录制和视频录制。
54.其中，交互服务引导话本用于对交互服务对应的交互活动进行引导。通过交互服务引导话本，可以对交互活动进行指引，以引导服务对象与被服务对象两者之间的交互并对交互活动的流程和时间进行控制。例如，用于投保交互服务的引导话本可以引导保险员和投保人进行相应的操作和交互，如展示证件、展示投保内容、确定投保人是否了解相关信息等。但不限于引导话本的形式，在实际应用中，也可以由服务对象或者独立于服务对象和被服务对象的第三人通过适当方式如语音方式或文字方式对交互活动进行引导。但通过引导话本的方式，可以有效节约人力成本，提高交互效率，并可管控交互服务的整体流程。
55.此外，可以针对交互服务的多媒体数据录制设置录制触发条件，包括但不限于录制触发按钮、录制触发语音、录制触发手势等，但本领域技术人员应当明了，其它录制触发方式也同样适用。当这些方式被触发时，录制触发条件满足，可开始进行交互服务的音、视频录制。在存在引导话本的情况下，由引导话本引导交互活动的进行，则该音、视频录制可针对引导话本所引导的交互活动进行录制。
56.需要说明的是，本步骤为可选步骤，如前所述，也可直接进行交互服务的录制，通过交互服务中的参与人员进行交互活动的引导或者通过其它方式进行交互活动的引导。
57.步骤s204：实时获取针对交互服务录制的多媒体数据。
58.其中，所述多媒体数据包括：音频数据和视频数据，也即，同时进行音频和视频的录制。
59.本实施例方案可适用于交互服务参与者均位于同一现场的交互服务，此时，针对该现场进行交互服务的录制即可；本实施例方案也可适用于交互服务参与者位于不同场地的交互服务，比如，服务对象位于服务企业，被服务对象位于家中，此种情况下，本步骤可以实现为：分别从第一终端和第二终端获取针对交互服务录制的实时多媒体数据。由此，极大地方便地交互服务的实现，提高了交互服务的灵活性，满足不同交互服务者的需求。
60.步骤s206：根据获取的多媒体数据实时进行质检节点检测。
61.其中，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点。
62.如实施例一中所述，质检节点的检测可通过音频检测或者视频检测或者时间检测等实现。
63.在交互服务适配有引导话本的情况下，本步骤可以实现为：对获取的多媒体数据中的音频数据进行实时检测，以判断播放的交互服务引导话本是否播放至预设关键词，根据判断结果进行质检节点检测。因引导话本是对交互活动的引导，通常具有多个环节的明确分隔及关键词表征，基于此，可根据引导话本中的预设关键词来判断是否有质检节点。由此，可大大提高质检节点检测的速度和效率，对质检节点的检测也更方便和快捷，节省质检节点检测成本。
64.步骤s208：响应于检测到质检节点，确定与质检节点对应的质检规则。
65.在实际应用中，与质检节点对应的质检规则可由本领域技术人员根据实际的交互服务场景适当设定，因交互服务涉及到不同的对象，因此，质检规则中通常包含有针对的质检对象的信息以及针对质检对象所需要进行的质检处理的信息。
66.在一种可行方式中，当质检节点为人员对象身份质检节点时，本步骤可实现为：响应于检测到人员对象身份质检节点，确定与人员对象身份质检节点对应的质检规则为：对人员对象身份质检节点对应的人员对象进行身份验证和/或声音验证。通过该质检规则可有效地交互服务的参与人员身份的合法性进行验证，并且，虽然身份验证和声音验证可择一执行，但两者均执行可进一步提高身份合法性验证的可靠性。
67.在另一种可行方式中，当质检节点为服务流程质检节点时，本步骤可以实现为：响应于检测到服务流程质检节点，确定与服务流程质检节点对应的质检规则为：对服务流程质检节点对应的服务流程进行以下质检至少之一：服务流程顺序质检、服务流程交互质检、服务流程完成度质检。其中，服务流程顺序质检用于检查服务流程的执行顺序是否符合规定的顺序或要求，例如，投保条款的展示是否在投保协议签署之前，保险员和投保人的身份验证是否在投保内容说明之前，等等。服务流程交互质检用于检查服务对象和被服务对象之前是否已进行了足够的信息交互，尤其是服务对象是否已充分说明或展示了服务内容或信息，被服务对象是否已充分了解或获知了该信息。例如，保险员是否向投保人充分说明了投保内容，投保人是否已根据保险员的说明完全了解了投保内容等。服务流程完成度质检用于检查交互服务的各个环节的完成程度及交互服务的整体完成程度。例如，保险员是否已向投保人进行过投保条款展示，或者，交互服务当前已进行至哪个环节，等等。通过该质检规则，可有效掌握和把控交互服务的过程，保证交互服务的正常、完整进行。
68.在再一种可行方式中，当质检节点为服务内容质检节点时，本步骤可以实现为：响应于检测到服务内容质检节点，确定与服务内容质检节点对应的质检规则为：对服务内容质检节点对应的服务内容进行以下质检至少之一：服务信息展示质检、关键信息提示质检、服务文档签署质检。其中，服务信息展示质检用于对需要展示的服务信息是否进行了完全展示或说明进行检查，例如，保险员是否已向投保人展示了全部投保条款还是只展示了部分等。关键信息提示质检用于对需要展示的服务信息中的关键信息进行重点提示，以提醒被服务对象和/或服务对象对关键信息进行关注，例如，是否对投保条款中的年限或金额条款进行多次语音重复，或者进行过语音重点提醒，或者对文字形式展示的关键信息进行了
字体放大、字体加粗、醒目颜色提醒等一种或多种操作，等等。服务文档签署质检用于检查服务文档是否被应签署人正确且规范地签署，例如，投保人是否在规定的位置进行了名字签署且签署的名字与预留的名字的字形字迹相同，等。通过该质检规则，可以保证交互服务中需展示的内容的充分展示、提醒，以及文档的有效签署。
69.但不限于此，在实际应用中，本领域技术人员还可根据实际需要，对上述质检规则进行补充或更新，以实现更为贴合实际交互服务的多媒体数据质量检测。
70.步骤s210：根据质检规则确定待检测的人员对象，并对实时获取到的多媒体数据中的待检测的人员对象进行质检规则所指示的质检处理。
71.因本实施例中，可将交互服务的参与者区分为服务对象和被服务对象，不同节点可能涉及不同人员对象，因此，在一种可行方式中，本步骤可以实现为：根据质检规则确定待检测的人员对象为服务对象和/或被服务对象；从实时获取到的多媒体数据中，提取服务对象对应的视频数据和/或音频数据进行质检规则所指示的针对服务对象的质检处理；和/或，从实时获取到的多媒体数据中，提取被服务对象对应的视频数据和/或音频数据进行质检规则所指示的针对被服务对象的质检处理；其中，质检处理用于进行待检测的人员对象的交互服务是否符合服务标的检查处理。通过该种方式，为不同质检节点设置不同质检规则，针对不同的检测对象，从而使得对多媒体数据的质检更加灵活，也更为符合实际情况的需要。
72.以下，针对具体的质检规则进行详细说明。
73.(一)针对质检节点为人员对象身份质检节点的情况
74.当质检节点为人员对象身份质检节点时，其所对应的一种质检规则为：对人员对象身份质检节点对应的人员对象进行身份验证和/或声音验证，则所述根据质检规则确定待检测的人员对象，并对实时获取到的多媒体数据中的待检测的人员对象进行质检规则所指示的质检处理可以包括：人脸识别、证件识别、声纹识别中的一种或多种的组合。其中该人员对象身份质检节点对应的人员对象可以为服务对象，也可以为被服务对象，也可以同时包括服务对象和被服务对象。以下列举几种，但本领域技术人员应当明了，上述多种质检处理方式可择一使用也可任意组合使用，均在本技术实施例的包括范围内。
75.方式一：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取人员对象质检身份节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别；将人脸识别的结果与预存的人脸数据库中的待检测的人员对象的人脸数据进行人脸比对，根据人脸比对结果确定视频帧图像中的人员对象是否为符合交互服务的正常参与对象。人脸识别是一种重要的生物身份识别手段，通过人脸识别的结果，结合数据库中预存的信息，可准确确定视频中的人员对象是否为交互服务的正常参与对象(合法参与对象)，例如，是否是该交互服务中应提供服务的服务对象(如合法合规的保险员)，或者是否是该交互服务中应接受服务的被服务对象(如实际的投保人)等。通过人脸识别的方式，可以准确且高效地实现人员对象的身份检测。并且，该种方式中，可仅使用视频数据进行处理，有效控制了数据处理量。
76.方式二：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取人员对象身份质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别和证件识别；将人脸识别的结果与预存的人脸数据库中的所述待检测的人员对象的人脸数据
进行人脸比对，并且，将证件识别的结果与预存的证件数据库中的待检测的人员对象的证件数据进行证件比对；根据人脸比对结果和证件比对结果，确定视频帧图像中的人员对象是否为符合交互服务的正常参与对象。其中，视频帧图像中的证件可以为任意适当的证件，包括但不限于身份证件、从业资质证件、服务企业的员工证件等等，本技术实施例对此不作限制。将人脸识别与证件识别相结合，可以进一步提高身份验证的准确性，保证交互服务安全。
77.方式三：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取人员对象身份质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别，对音频数据进行声纹识别；将人脸识别的结果与预存的人脸数据库中的待检测的人员对象的人脸数据进行人脸比对，并且，将声纹识别的结果与预存的声纹数据库中的待检测的人员对象的声纹数据进行声纹比对；根据人脸比对结果和声纹比对结果，确定视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象。人的声纹也是较为重要的生物身份标识，将人脸识别与声纹识别相结合，也可有效保证身份验证的准确性和交互服务安全。
78.方式四，根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取人员对象身份质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别和证件识别，对音频数据进行声纹识别；将人脸识别的结果与预存的人脸数据库中的待检测的人员对象的人脸数据进行人脸比对，将证件识别的结果与预存的证件数据库中的待检测的人员对象的证件数据进行证件比对，并且，将声纹识别的结果与预存的声纹数据库中的待检测的人员对象的声纹数据进行声纹比对；根据人脸比对结果、证件比对结果和声纹比对结果，确定视频帧图像中的人员对象是否为符合交互服务的正常参与对象。将人脸识别、证件识别和声纹识别相结合进行身份验证，可适用于高安全要求的交互服务，以确保交互服务的参与人员的合法性，从而能够以较高的安全标准开展交互活动。
79.但不限于上述示例，在实际应用中，将声纹识别与证件识别相结合进行身份验证的方式也同样适用。也即：
80.方式五：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取人员对象身份质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行证件识别，对音频数据进行声纹识别；将证件识别的结果与预存的证件数据库中的待检测的人员对象的证件数据进行证件比对，并且，将声纹识别的结果与预存的声纹数据库中的待检测的人员对象的声纹数据进行声纹比对；根据证件比对结果和声纹比对结果，确定视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象。
81.(二)针对质检节点为服务流程质检节点的情况
82.服务流程质检节点对应的质检规则包括服务流程顺序质检、服务流程交互质检、服务流程完成度质检中的一种或多种，基于此，以下分别针对不同的质检规则进行分别说明，但本领域技术人员应当明了，在实际应用中，下述各种针对服务流程质检节点的质检规则可根据实际需求择一使用或者任意组合使用。
83.(1)质检规则为对服务流程质检节点对应的服务流程进行服务流程顺序质检。
84.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
85.方式一：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果确定待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果确定待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序。例如，在保险业交互服务场景中，可根据人脸识别结果确定当前交互服务中的人员对象是否为应当提供该服务的保险员，根据动作识别结果确定该保险员是否先展示了投保流程图进而展示了投保内容，若按照该顺序进行了展示，则确定该保险员的动作顺序符合当前服务流程所规定的动作顺序。通过该方式，可有效保证交互服务的流程规范性和标准化。
86.方式二：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别，对音频数据进行语音识别；根据人脸识别结果确定待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序。通过本方式，在动作识别的基础上结合语音识别，可以更为全面和准确地评估人员对象是否按照规定的动作顺序进行了相应操作，提高了流程规范性和标准性的判断准确度。
87.方式三：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别，对音频数据进行声纹识别和语音识别；根据人脸识别结果和声纹识别结果确定待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序。声纹也是一种重要的生物标识特征，本方式中，结合人脸识别和声纹识别确保人员对象为符合实际交互服务规范和标准的人员对象，结果动作识别和语音识别确保人员对象的动作顺序为符合规范和标准的动作顺序，提高了对服务流程质量检测的安全性标准和准确性标准。
88.需要说明的是，上述方式中，待检测的人员对象可以是服务对象，也可以是被服务对象，还可以同时包括服务对象和被服务对象。并且，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务流程是否符合当前服务流程所规定的动作顺序的判断可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
89.(2)质检规则为对服务流程质检节点对应的服务流程进行服务流程交互质检。
90.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
91.方式一：根据质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据；对视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别及动作识别；根据人脸识别结果确定服务对象和被服务对象为符合当前服务流程的正常参与对象，根据动作识别结果确定服务对象与被服务对象之间的交互符合当前服务流程所规定的交互。例如，在保险业交互服务场景中，某些保险内容涉及到投保人的证件或文档，如工作证明等，需要投保人在交互服务中提供。因此，通过人脸识别一方面可识别当前参与人员是否为符合交互服务规范和标准的人员对象，另一方面也可区别出这些人员对象中，哪一方为服务对象哪一方为
被服务对象；再通过动作识别获得两者之间的动作交互，确保服务对象和被服务对象之间进行了当前服务流程所规定的交互，由此保证了交互服务的必需交互的完成。
92.方式二：根据质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别，对音频数据进行分别针对服务对象和被服务对象的语音识别；根据人脸识别结果确定待检测的人员对象为符合当前服务流程的正常执行对象，根据语音识别结果确定服务对象与被服务对象之间的交互符合当前服务流程所规定的交互。针对某些通过语音即可完成交互的场景，不再需要针对视频帧图像进行相应检测，更贴合实际场景情况，且减轻数据处理负担。
93.方式三：根据质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别和动作识别，对音频数据进行分别针对服务对象和被服务对象的语音识别；根据人脸识别结果确定待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定服务对象与被服务对象之间的交互符合当前服务流程所规定的交互。结合动作识别和语音识别进行质量检测，检测到的信息更全面，检测结果更为准确。
94.需要说明的是，上述方式中，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务流程是否符合当前服务流程所规定的交互的判断可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
95.(3)质检规则为对服务流程质检节点对应的服务流程进行服务流程完成度质检。
96.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
97.方式一：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果和动作识别结果确定待检测的人员对象所完成的服务操作；将所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定待检测的人员对象的服务流程完成度。例如，在保险业交互服务场景中，假设交互服务需要以下环节：保险员身份验证
‑→
投保人身份验证
‑→
投保流程介绍
‑→
投保内容介绍
‑→
投保条款介绍
‑→
投保协议签署
‑→
确定投保完成。若根据人脸识别结果和动作识别结果，确定当前交互服务已达投保条款介绍环节，则可确定服务流程尚未完成，或者，服务流程完成了5/7，等。由此，可以对交互服务的完成情况进行全面和准确把控，有效保证交互服务的整体完成度。
98.方式二：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别，对音频数据进行语音识别；根据人脸识别结果和语音识别结果确定待检测的人员对象所完成的服务操作；将所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定待检测的人员对象的服务流程完成度。本方式可有效适用于主要通过语音进行交互服务的场景，无需对视频帧图像进行动作识别，提高质量检测速度
和效率。
99.方式三：根据质检规则确定待检测的人员对象，从实时获取到的多媒体数据中，提取服务流程质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别，对音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定待检测的人员对象所完成的服务操作；将所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定待检测的人员对象的服务流程完成度。结合动作识别和语音识别进行服务流程完成度的质量检测，检测到的信息更全面，检测结果更为准确。
100.需要说明的是，上述方式中，待检测的人员对象可以是服务对象，也可以是被服务对象，还可以同时包括服务对象和被服务对象。并且，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务流程完成度的检测可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
101.(三)针对质检节点为服务内容质检节点的情况
102.服务内容质检节点对应的质检规则包括服务信息展示质检、关键信息提示质检、服务文档签署质检中的一种或多种，基于此，以下分别针对不同的质检规则进行分别说明，但本领域技术人员应当明了，在实际应用中，下述各种针对服务流程质检节点的质检规则可根据实际需求择一使用或者任意组合使用。
103.(1)质检规则为服务信息展示质检。
104.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
105.方式一：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果和动作识别结果确定服务对象是否进行了服务信息的展示。在交互服务中通常会涉及与服务有关的信息的展示，例如，在保险业交互服务场景中，需要展示与投保流程相关的信息、与投保内容相关的信息等等，通过人脸识别和动作识别，可以识别出是否由服务对象向被服务对象展示了相关服务信息，以保证服务信息的充分传达和沟通。
106.方式二：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别，对音频数据进行语音识别；根据人脸识别结果和语音识别结果确定服务对象是否进行了服务信息的展示。本方式可适用于通过语音即可传达相关服务信息的交互服务场景，无需对视频帧图像进行处理，减少数据处理负担，且可有效保证服务信息的传达和沟通。
107.方式三：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别，对音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定服务对象是否进行了服务信息的展示。结合动作识别和语音识别，可以更为全面地评估服务信息是否被有效传达和沟通，确保相应的质量检测更为准确。
108.需要说明的是，上述方式中，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务信息展示的检测可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
109.(2)质检规则为关键信息提示质检。
110.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
111.方式一：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别及文本识别；根据人脸识别结果和文本识别结果确定服务对象是否进行了关键信息的提示。在交互服务涉及的服务信息中，有些信息是需被服务对象重点关注和了解的信息，例如，在保险业交互服务场景中，保险条款中的某些条款信息，如投保年限、投保金额等等，这部分信息即为关键信息。对于这部分关键信息需要服务对象向被服务对象进行重点提示，如，反复语音强调、对关键信息以醒目方式提示(如字体放大、加粗、斜体、使用醒目颜色标示等)。而通过人脸识别和文本识别，则可有效判定关键信息是否被服务对象充分展示，以保证信息沟通的有效性。需要说明的是，本实施例中，文本识别不仅包括文本内容的识别，还包括字形、字体、颜色等的识别。
112.方式二：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别，对音频数据进行语音识别；根据人脸识别结果和语音识别结果确定服务对象是否进行了关键信息的提示。如前所述，关键信息可由服务对象通过语音反复提示，因此，本方式可以有效对此种情况的关键信息的提示进行检测，且检测速度快、效率更高。
113.方式三：根据质检规则确定待检测的人员对象为服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及动作识别，对音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定服务对象是否进行了关键信息的提示。结合动作识别和语音识别，可以更为全面和准确地对关键信息的提示进行质量检测。
114.需要说明的是，上述方式中，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务信息展示的检测可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
115.(3)质检规则为服务文档签署质检。
116.此种情况下，对待检测的人员对象进行质检规则所指示的质检处理可以采用以下方式中的一种或多种的组合：
117.方式一：根据质检规则确定待检测的人员对象为被服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据；对视频数据对应的视频帧图像进行人脸识别、动作识别及文本识别；根据人脸识别结果、动作识别结果和文本识别结果确定被服务对象是否进行了服务文档签署。在交互服务中，最终服务意向的达成基本都通过被服务对象签署相关的服务文档实现。例如，在保险业交互服务场景中，经由服务对象进行投保
内容和投保条款等的讲解后，若投保人愿意投保，会签署投保协议等。因此，通过本方式，对视频帧图像中的人员对象、人员动作和文本内容的识别，可确定是否由实际的被服务对象签署了必要的服务文档，以充分保证交互服务的达成度和安全性。
118.方式二：根据质检规则确定待检测的人员对象为被服务对象，从实时获取到的多媒体数据中，提取服务内容质检节点对应的视频数据和音频数据；对视频数据对应的视频帧图像进行人脸识别及文本识别，对音频数据进行语音识别；根据人脸识别结果、文本识别结果和语音识别结果确定被服务对象是否进行了服务文档签署。在实际应用中，服务文档的签署操作也可通过语音进行交互和指导，在此情况下，可通过本方式进行相应的人脸识别、文本识别和语音识别，以充分保证服务文档在实际的被服务对象有自愿情况下完成签署，保证交互服务的达成度和合规性。
119.需要说明的是，上述方式中，对人员对象的身份验证除上述示例性方式外，可根据人脸识别、声纹识别、证件识别中的一种或多种的组合实现；对服务信息展示的检测可根据动作识别、语音识别、白板内容识别、文本识别中的一种或多种的组合实现，其均适用于本技术实施例的方案。
120.步骤s212：根据质检处理的结果，确定实时获取的多媒体数据的质量检测结果。
121.各个质检节点的质检处理结果，即可表征戴上至该质检节点的多媒体数据的质量检测结果。因此，在获得质检处理的结果后，若确定某个质检节点通过质检，则可确定截止至该质检节点的多媒体数据通过质检；否则，不通过，此时，可以进行异常提示、告警、中止交互服务等适当操作，本技术实施例对此不作限制。
122.可见，通过本实施例，针对交互服务场景录制交互服务的多媒体数据，并实时对其进行人员对象身份质检节点、服务流程质检节点、服务内容质检节点中的部分或全部节点的检测和质检处理，从而确定实时获取的多媒体数据的质量检测结果。因人员对象身份、服务流程和服务内容均为交互服务中的重要组成部分，可体现相关行业服务是否规范化和标准化，因此，若对其中的部分质检节点进行质检处理，则可确定相对应的交互服务部分是否满足交互服务规范化和标准化的要求，把控交互服务的关键流程是否完成；若对所有质检节点进行质检处理，则在可确定各部分是否满足交互服务规范化和标准化要求、关键流程是否完成的基础上，还可对交互服务的整体流程进行全面把控，保证交互服务的各个环节都被正确完成，实现对交互服务的全面、完整的质量检测。
123.本实施例的交互服务质量检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、pad等)和pc机等。
124.此外，需要说明的是，本实施例中的多个示例均以保险业交互场景为示例，但不限于此，其它如银行行业、证券行业、公证行业等类似场景均可适用。此外，在线教育场景和会议场景也可适用。
125.例如，在在线教育场景中，可以通过对人员对象身份质检节点的质量检测，判断当前教师是否为符合规定(资质、当前课堂应当讲授课程)的教师；通过对服务流程质检节点的质量检测，判断当前教师是否按照规定进行了与学生之间的交互，课程讲授完成度等；通过对服务内容质检节点的质量检测，判断当前教师是否讲授了应讲授内容，重点内容部分是否进行了重复讲解和提示，等等。
126.再例如，在会议场景中，可以通过对人员对象身份质检节点的质量检测，判断当前
会议参与者是否均为允许参会人员，或者确定当前参与者中哪位是主持人哪位是发言人等；通过对服务流程质检节点的质量检测，判断会议是否按照预定流程开展等；通过对服务内容质检节点的质量检测，判断相关会议议题或内容是否被有效展示，会议内容中的关键部分是否被重点提示等等。
127.实施例三
128.参照图3，示出了根据本技术实施例三的一种交互服务质量检测装置的结构框图。
129.本实施例的交互服务质量检测装置包括：获取模块302，用于实时获取针对交互服务录制的多媒体数据，所述多媒体数据包括：音频数据和视频数据；检测模块304，用于根据获取的所述多媒体数据实时进行质检节点检测，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点；第一确定模块306，用于响应于检测到所述质检节点，确定与所述质检节点对应的质检规则；质检模块308，用于根据所述质检规则确定待检测的人员对象，并对实时获取到的所述多媒体数据中的待检测的人员对象进行所述质检规则所指示的质检处理；第二确定模块310，用于根据质检处理的结果，确定实时获取的所述多媒体数据的质量检测结果。
130.可选地，质检模块308，用于根据所述质检规则确定待检测的人员对象为服务对象和/或被服务对象；从实时获取到的所述多媒体数据中，提取所述服务对象对应的视频数据和/或音频数据进行所述质检规则所指示的针对所述服务对象的质检处理；和/或，从实时获取到的所述多媒体数据中，提取所述被服务对象对应的视频数据和/或音频数据进行所述质检规则所指示的针对所述被服务对象的质检处理；其中，所述质检处理用于进行所述待检测的人员对象的交互服务是否符合服务标准的检查处理。
131.可选地，当所述质检节点为人员对象身份质检节点时，第一确定模块306，用于响应于检测到所述人员对象身份质检节点，确定与所述人员对象身份质检节点对应的质检规则为：对所述人员对象身份质检节点对应的人员对象进行身份验证和/或声音验证；或者，当所述质检节点为服务流程质检节点时，第一确定模块306，用于响应于检测到所述服务流程质检节点，确定与所述服务流程质检节点对应的质检规则为：对所述服务流程质检节点对应的服务流程进行以下质检至少之一：服务流程顺序质检、服务流程交互质检、服务流程完成度质检；或者，当所述质检节点为服务内容质检节点时，第一确定模块306，用于响应于检测到所述服务内容质检节点，确定与所述服务内容质检节点对应的质检规则为：对所述服务内容质检节点对应的服务内容进行以下质检至少之一：服务信息展示质检、关键信息提示质检、服务文档签署质检。
132.可选地，当所述质检节点为人员对象身份质检节点，所述质检规则为：对所述人员对象身份质检节点对应的人员对象进行身份验证和/或声音验证时，质检模块308，用于根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述人员对象质检身份节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别；将人脸识别的结果与预存的人脸数据库中的所述待检测的人员对象的人脸数据进行人脸比对，根据人脸比对结果确定所述视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述人员对象身份质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别和证件识别；将人脸识别的结果与预存的人脸数据库中的所述待检测的
人员对象的人脸数据进行人脸比对，并且，将证件识别的结果与预存的证件数据库中的所述待检测的人员对象的证件数据进行证件比对；根据人脸比对结果和证件比对结果，确定所述视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述人员对象身份质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别，对所述音频数据进行声纹识别；将人脸识别的结果与预存的人脸数据库中的所述待检测的人员对象的人脸数据进行人脸比对，并且，将声纹识别的结果与预存的声纹数据库中的所述待检测的人员对象的声纹数据进行声纹比对；根据人脸比对结果和声纹比对结果，确定所述视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述人员对象身份质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别和证件识别，对所述音频数据进行声纹识别；将人脸识别的结果与预存的人脸数据库中的所述待检测的人员对象的人脸数据进行人脸比对，将证件识别的结果与预存的证件数据库中的所述待检测的人员对象的证件数据进行证件比对，并且，将声纹识别的结果与预存的声纹数据库中的所述待检测的人员对象的声纹数据进行声纹比对；根据人脸比对结果、证件比对结果和声纹比对结果，确定所述视频帧图像中的人员对象是否为符合所述交互服务的正常参与对象。
133.可选地，当所述质检节点为服务流程质检节点，所述质检规则为：对所述服务流程质检节点对应的服务流程进行服务流程顺序质检时，质检模块308，用于根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果确定所述待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果确定所述待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别，对所述音频数据进行语音识别；根据人脸识别结果确定所述待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定所述待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别，对所述音频数据进行声纹识别和语音识别；根据人脸识别结果和声纹识别结果确定所述待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定所述待检测的人员对象的动作顺序符合当前服务流程所规定的动作顺序。
134.可选地，当所述质检节点为服务流程质检节点，所述质检规则为：对所述服务流程质检节点对应的服务流程进行服务流程交互质检时，质检模块308，用于根据所述质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别及动作识别；根据人脸识别结果确定所述服务对象和所述被服务对象为符合当前服务流程的正常参与对象，根据动作识别结果确定所述
服务对象与所述被服务对象之间的交互符合当前服务流程所规定的交互；或者，根据所述质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别，对所述音频数据进行分别针对服务对象和被服务对象的语音识别；根据人脸识别结果确定所述待检测的人员对象为符合当前服务流程的正常执行对象，根据语音识别结果确定所述服务对象与所述被服务对象之间的交互符合当前服务流程所规定的交互；或者，根据所述质检规则分别确定待检测的人员对象中的服务对象和被服务对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行分别针对服务对象和被服务对象的人脸识别和动作识别，对所述音频数据进行分别针对服务对象和被服务对象的语音识别；根据人脸识别结果确定所述待检测的人员对象为符合当前服务流程的正常执行对象，根据动作识别结果和语音识别结果确定所述服务对象与所述被服务对象之间的交互符合当前服务流程所规定的交互。
135.可选地，当所述质检节点为服务流程质检节点，所述质检规则为：对所述服务流程质检节点对应的服务流程进行服务流程完成度质检时，质检模块308，用于根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果和动作识别结果确定所述待检测的人员对象所完成的服务操作；将所述所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定所述待检测的人员对象的服务流程完成度；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别，对所述音频数据进行语音识别；根据人脸识别结果和语音识别结果确定所述待检测的人员对象所完成的服务操作；将所述所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定所述待检测的人员对象的服务流程完成度；或者，根据所述质检规则确定待检测的人员对象，从实时获取到的所述多媒体数据中，提取所述服务流程质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别，对所述音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定所述待检测的人员对象所完成的服务操作；将所述所完成的服务操作与预存的当前服务流程所对应的所有服务操作进行比对，根据比对结果确定所述待检测的人员对象的服务流程完成度。
136.可选地，当所述质检节点为服务内容质检节点，所述质检规则为：服务信息展示质检时，质检模块308，用于根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别；根据人脸识别结果和动作识别结果确定所述服务对象是否进行了服务信息的展示；或者，根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别，对所述音频数据进行语音识别；根据人脸识别结果和语音识别结果确定所述服务对象是否进行了服务信息的展示；或者，根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒
体数据中，提取所述服务内容质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别，对所述音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定所述服务对象是否进行了服务信息的展示。
137.可选地，当所述质检节点为服务内容质检节点，所述质检规则为：关键信息提示质检时，质检模块308，用于根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别及文本识别；根据人脸识别结果和文本识别结果确定所述服务对象是否进行了关键信息的提示；或者，根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别，对所述音频数据进行语音识别；根据人脸识别结果和语音识别结果确定所述服务对象是否进行了关键信息的提示；或者，根据所述质检规则确定待检测的人员对象为服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及动作识别，对所述音频数据进行语音识别；根据人脸识别结果、动作识别结果和语音识别结果确定所述服务对象是否进行了关键信息的提示。
138.可选地，当所述质检节点为服务内容质检节点，所述质检规则为：服务文档签署质检时，质检模块308，用于根据所述质检规则确定待检测的人员对象为被服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据；对所述视频数据对应的视频帧图像进行人脸识别、动作识别及文本识别；根据人脸识别结果、动作识别结果和文本识别结果确定所述被服务对象是否进行了服务文档签署；或者，根据所述质检规则确定待检测的人员对象为被服务对象，从实时获取到的所述多媒体数据中，提取所述服务内容质检节点对应的视频数据和音频数据；对所述视频数据对应的视频帧图像进行人脸识别及文本识别，对所述音频数据进行语音识别；根据人脸识别结果、文本识别结果和语音识别结果确定所述被服务对象是否进行了服务文档签署。
139.可选地，本实施例的交互服务质量检测装置还包括：话本模块312，用于在所述获取模块302实时获取针对交互服务录制的多媒体数据之前，获取与所述交互服务相适配的交互服务引导话本，其中，所述交互服务引导话本用于对所述交互服务对应的交互活动进行引导；根据录制触发条件，基于所述交互服务引导话本引导交互活动并对所述交互服务进行音频录制和视频录制。
140.可选地，检测模块304，用于对获取的所述多媒体数据中的音频数据进行实时检测，以判断播放的交互服务引导话本是否播放至预设关键词，根据判断结果进行质检节点检测。
141.可选地，获取模块302，用于分别从第一终端和第二终端获取针对交互服务录制的实时多媒体数据。
142.本实施例的交互服务质量检测装置用于实现前述多个方法实施例中相应的交互服务质量检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的交互服务质量检测装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
143.实施例四
144.参照图4，示出了根据本技术实施例四的一种电子设备的结构示意图，本技术具体实施例并不对电子设备的具体实现做限定。
145.如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(communications interface)404、存储器(memory)406、通信总线408、音视频采集设备410、以及显示器412。
146.其中：
147.处理器402、通信接口404、音视频采集设备410、显示器412、以及存储器406通过通信总线408完成相互间的通信。
148.通信接口404，用于与其它电子设备或服务器进行通信。
149.音视频采集设备410，用于对交互服务进行实时的音频数据的视频数据的录制采集，形成多媒体数据。例如，可使用图像采集设备如摄像机采集视频数据，使用音频采集设备如麦克风采集音频数据，等。
150.处理器器402，用于实时获取所述音视频采集设备录制采集的多媒体数据；根据获取的所述多媒体数据实时进行质检节点检测，所述质检节点包括以下至少之一：人员对象身份质检节点、服务流程质检节点、服务内容质检节点；响应于检测到所述质检节点，确定与所述质检节点对应的质检规则；根据所述质检规则确定待检测的人员对象，并对实时获取到的所述多媒体数据中的待检测的人员对象进行所述质检规则所指示的质检处理；根据质检处理的结果，确定实时获取的所述多媒体数据的质量检测结果。
151.显示器412，用于实时显示音视频采集设备410录制采集的多媒体数据，和/或，处理器402输出的所述质量检测结果。
152.存储器406，用于存储所述多媒体数据、所述质量检测结果、和所述处理器在确定所述质量检测结果过程中输出的中间数据。
153.处理器402可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
154.存储器406，用于存放数据和程序。存储器406可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
155.程序402中各步骤的具体实现可以参见上述交互服务质量检测方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
156.需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
157.上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编
程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的交互服务质量检测方法。此外，当通用计算机访问用于实现在此示出的交互服务质量检测方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的交互服务质量检测方法的专用计算机。
158.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
159.以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。