基于卷积神经网络的回访方法、系统及存储介质与流程

本发明涉及人工智能技术领域，尤其涉及一种基于卷积神经网络的回访方法、系统及存储介质。

背景技术：

随着人工智能发展，语音助手、ai智能机器人等对话系统为人们生活带来了方便。对话系统主要由语音识别、语义理解、对话管理、答案生成、语音合成几个模块组成。意图识别作为语义理解的一部分，在整个对话过程中起着重要作用。

例如，在一些销售等业务场景中，对产品的回访可以实现用户对产品体验或服务满意度调查以及进行客户关系维护。然而，现有的回访操作一般存在以下两种方式：一种是通过人工的方式与被访者进行电话沟通或当面回访，而意图只能通过人为主观的判断，而人工的判断，需要大量的人力资源，其成本高，且效率低；另一种是对交流语言中的特定否定词语的智能识别来实现意图确定的智能访问方式，该种识别方式过于简单，不能得到用户隐含的意图，准确率也无法保障。

技术实现要素：

本发明的主要目的在于提供一种基于卷积神经网络的回访方法、系统及计算机可读存储介质，旨在解决现有的回访方式难以实现高精度的意图识别，从而导致回访质量过低的技术问题。

为实现上述目的，本发明提供一种基于卷积神经网络的回访方法，应用于ai视频机器人，所述基于卷积神经网络的回访方法包括以下步骤：

在检测到待回访产品已被签收确认时，通过客户端发起ai视频回访请求，获取被访者的身份认证信息并进行身份验证；

在所述被访者的身份验证通过后，根据所述待回访产品，从预置服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端显示；

通过所述ai视频机器人将所述回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问；

通过所述客户端录制所述被访者根据所述回访提问做出回答的音视频信息，其中，所述音视频信息包括被访者的回答信息和被访者的人像信息；

提取所述音视频信息中回答信息，并根据预先构建的抽取模型对所述回答信息进行分词序列标注，得到意图关键词，其中，所述抽取模型是基于卷积神经网络构建的，用于实现意图关键词识别分割的分割模型；

根据所述意图关键词，查询预置的意图概念树的各意图节点下的关键词中与所述意图关键词相匹配的目标关键词，得到对应的意图，其中，所述意图概念树包括多个意图节点，每个意图节点对应一种意图；

判断所述意图与所述回访提问中设定的意图是否匹配；

若匹配，则跳转至下一回访问卷的回访提问流程。

可选地，所述在被访者的身份验证通过后，根据所述待回访产品，从预置服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端显示的步骤包括：

识别回待回访产品中的产品类型、并从预置服务器的问卷数据库中调取预设的所有与所述产品类型关联的问题，将预设的所有问题生成对应的回访问卷，其中，所述回访问卷包括回访的问题和问题对应的标准答案，其中，在所述问卷数据库中存储预先编写的与产品类型相关的问题，并所述问题与对应的产品类型关联，对各问题设置一答题权重，对各问题的选项设置选项分；

获取所述待回访产品的具体信息，并基于所述具体信息选择对应的问题，以及所述问题对应的答案权重；

将所述问题和答案权重对应的答案进行排序，形成所述回访问卷，并发送至所述客户端进行显示。

可选地，在所述通过所述客户端录取所述被访者根据所述回访提问做出回答的音视频信息的步骤之后，还包括：

对所述音视频信息进行音视频分离，得到音频和被访者的人像视频；

将所述音频转换为声纹线谱，根据预先记录的声音频线文字关系匹配所述声纹线谱中的声纹，将匹配出来的文字进行顺序组合，得到所述音频的文本信息。

可选地，在所述将所述音频转换为声纹线谱，根据预先记录的声音频线文字关系匹配所述声纹线谱中的声纹，将匹配出来的文字进行顺序组合，得到所述音频的文本信息的步骤之后，还包括：

采用关键字的检测技术，检测所述文本信息中所记载的内容是否存在疑问关键字；

若存在，则识别所述文本信息中所述疑问关键字的意图；

根据所述意图，从所述服务器中选择对应的意图答疑逻辑树，并根据所述意图答疑逻辑树对所述意图进行回复。

可选地，在所述通过所述ai视频机器人将当前回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问的步骤之后，还包括：

对回访过程中的语音和视频进行全程录制，形成影像数据，并在确定被访者已经回答所有回访问卷中的所有提问后，将回访被访者的影像数据存储于所述ai视频机器人的存储设备中，并与所述被访者的身份认证信息相关联，以供下次调用查询。

可选地，所述对回访过程中的语音和视频进行全程录制，形成影像数据包括：

当完成每个回访问卷的提问时，判断所述被访者的音视频信息中是否针对每个提问做出了正确的回答；

若全部回答正确，则在将所述语音和视频合成影像数据时，对完成的回访问卷进行完整状态的标注；

若存在部分回答正确或者存在提问未做出回应，则将所述回访问卷中未回答或者回答不正确的提问问题提取出来，形成新的回访问卷进行标记存储，并与所述被访者的身份认证信息相关联，以等待下次回访使用。

可选地，在所述通过ai视频机器人将所述回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问的步骤之后，还包括：

判断所述被访者根据所述回访提问做出响应的时间长度是否超过预设时间长度；

若超过，则中断当前的回访提问，或者启动重复播音程序向所述被访者重新发出回访提问。

此外，为实现上述目的，本发明还提供一种基于卷积神经网络的回访系统，所述基于卷积神经网络的回访系统包括：客户端和服务器，所述服务器包括ai服务器和流媒体服务器；

所述ai服务器，用于在检测到待回访产品已被签收确认时，通过客户端发起ai视频回访请求，获取被访者的身份认证信息并进行身份验证；

所述ai服务器还用于在被访者的身份验证通过后，根据所述待回访产品，从服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端上进行显示；

所述流媒体服务器，用于将所述回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问；

所述客户端，用于录取所述被访者根据所述回访提问做出回答的音视频信息，并通过所述流媒体服务器发送给所述ai服务器，其中，所述音视频信息包括被访者的回答信息和被访者的人像信息；

所述ai服务器还用于提取所述音视频信息中回答信息，并根据预先构建的抽取模型对所述回答信息进行分词序列标注，得到意图关键词，其中，所述抽取模型是基于卷积神经网络构建的，用于实现意图关键词识别分割的分割模型；根据所述意图关键词，查询预置的意图概念树的各意图节点下的关键词中与所述意图关键词相匹配的目标关键词，得到对应的意图，其中，所述意图概念树包括多个意图节点，每个意图节点对应一种意图；判断所述意图与所述回访提问中设定的意图是否匹配；若匹配，则跳转至下一回访问卷的回访提问流程。

可选地，所述ia服务器用于识别回待回访产品中的产品类型、并从预置服务器的问卷数据库中调取预设的所有与所述产品类型关联的问题，将预设的所有问题生成对应的回访问卷，其中，所述回访问卷包括回访的问题和问题对应的标准答案，其中，在所述问卷数据库中存储预先编写的与产品类型相关的问题，并所述问题与对应的产品类型关联，对各问题设置一答题权重，对各问题的选项设置选项分；获取所述待回访产品的具体信息，并基于所述具体信息选择对应的问题，以及所述问题对应的答案权重；将所述问题和答案权重对应的答案进行排序，形成所述回访问卷，并发送至所述客户端进行显示。

可选地，所述服务器还包括：中转服务器，用于对所述音视频信息进行音视频分离，得到音频和被访者的人像视频；记忆将所述音频转换为声纹线谱，根据预先记录的声音频线文字关系匹配所述声纹线谱中的声纹，将匹配出来的文字进行顺序组合，得到所述音频的文本信息，并通过所述流媒体服务器发送给所述ai服务器。

可选地，所述ai服务器还用于采用关键字的检测技术，检测所述文本信息中所记载的内容是否存在疑问关键字；若存在，则识别所述文本信息中所述疑问关键字的意图；根据所述意图，从所述服务器中选择对应的意图答疑逻辑树，并根据所述意图答疑逻辑树对所述意图进行回复。

可选地，所述基于卷积神经网络的回访系统还包括录像设备，用于对回访过程中的语音和视频进行全程录制，形成影像数据，并在确定被访者已经回答所有回访问卷中的所有提问后，将回访被访者的影像数据存储于所述ai视频机器人的存储设备中，并与所述被访者的身份认证信息相关联，以供下次调用查询。

可选地，所述录像设备包括回访单元，用于当完成每个回访问卷提问时，判断所述被访者的音视频信息中是否针对每个提问做出了正确的回答；若全部回答正确，则在将所述语音和视频合成影像数据时，对完成的回访问卷进行完整状态的标注；若存在部分回答正确或者存在提问未做出回应，则将所述回访问卷中未回答或者回答不正确的提问问题提取出来，形成新的回访问卷进行标记存储，并与所述被访者的身份认证信息相关联，以等待下次回访使用。

可选地，所述客户端还用于判断所述被访者根据所述回访提问做出响应的时间长度是否超过预设时间长度；若超过，则中断当前的回访提问，或者启动重复播音程序向所述被访者重新发出回访提问。

此外，为实现上述目的，本发明还提供了一种基于卷积神经网络的回访系统，所述基于卷积神经网络的回访系统包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的ai视频回访程序，所述ai视频回访程序被所述处理器执行时实现如上任一项所述的基于卷积神经网络的回访方法的步骤。

此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有ai视频回访程序，所述ai视频回访程序被所述处理器执行时实现如上任一项所述的基于卷积神经网络的回访方法的步骤。

本发明通过提供一种基于意图树的基于卷积神经网络的回访方法，具体是通过对待回访产品的签收跟踪，在检测到待回访产品被被访者签收后，触发的ai视频回访，通过ai机器人将所述回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问；通过所述客户端录取所述被访者根据所述回访提问做出回答的音视频信息；提取所述音视频信息中回答信息，并根据预先构建的抽取模型对所述回答信息进行分词序列标注，得到意图关键词；根据所述意图关键词，查询预置的意图概念树的各意图节点下的关键词中与所述意图关键词相匹配的目标关键词，得到对应的意图；若匹配，则跳转至下一回访问卷的回访提问流程，基于ai来监控产品是否被签收来触发ai视频回访，由于是基于签收数据来实现自动触发回访，并且回访是ai的智能视频回访，这样的回访可以实现在任何时间段内都可以触发，以及接受被访者的回访，从而避免了由于回访时间的受限，导致用户无法实现回访了解产品；同时还采用意图关键词抽取模型结合意图概念树的方式来实现对意图的识别，这样的识别方式可以根据访问的上下文意思来识别出用户意图，从而达到较为准确的提问，准确的意图识别还提高回访效率。

附图说明

图1为本发明实施例方案涉及的ai视频机器人的运行环境的结构示意图；

图2为本发明提供的基于卷积神经网络的回访方法第一实施例的流程示意图；

图3为本发明提供的基于卷积神经网络的回访方法步骤s240-s250的流程示意图；

图4为本发明提供的基于卷积神经网络的回访系统一实施例的功能模块示意图；

图5为本发明提供的基于卷积神经网络的回访系统另一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种ai视频机器人，参照图1，图1为本发明实施例方案涉及的ai视频机器人的运行环境的结构示意图。

如图1所示，该ai视频机器人包括：处理器101，例如cpu，通信总线102、用户接口103，网络接口104，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口103可以包括显示屏(display)、输入单元比如键盘(keyboard)，网络接口104可选地可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器105可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器105可选地还可以是独立于前述处理器101的存储装置。

本领域技术人员可以理解，图1中示出的ai视频机器人的硬件结构并不构成对本发明中的基于卷积神经网络的回访系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器105中可以包括操作系统、网络通信程序模块、用户接口程序模块以及用于实现ai视频回访程序。其中，操作系统是调度ai视频机器人中各模块之间的通信以及执行存储器中存储的ai视频回访程序，以实现对用户的回访的监控以及为用户进行回访的解答、记录等操作。

在图1所示的ai视频机器人的硬件结构中，网络接口104主要用于接入网络；用户接口103主要用于监控客户端的回访请求，而处理器101可以用于调用存储器105中存储的ai视频回访程序，并执行以下基于卷积神经网络的回访方法的各实施例的操作。

基于上述ai视频机器人的硬件结构，提出本发明基于卷积神经网络的回访方法的各个实施例。

参照图2，图2为本发明实施例提供的基于卷积神经网络的回访方法的流程图。在本实施例中，该基于卷积神经网络的回访方法具体包括以下步骤：

步骤s210，在检测到待回访产品已被签收确认时，通过客户端发起ai视频回访请求，获取被访者的身份认证信息并进行身份验证；

在该步骤中，在检测待回访产品是否被签收时，具体可以通过以下方式来实现：

获取待回访产品的签收数据；判断所述签收数据的当前状态是否为签收确认状态；若是签收确认状态，则发起视频回访请求，对该待回访产品进行深度回访。

在本实施例中，所述签收数据为被访者在购买了待回访产品后，对所述待回访产品的回执单的签收状态信息。

在本实施例中，对于签收数据的采集，具体需要根据被访者购买该产品的途径来选择获取路径，例如，线上和线下两种途径，而线下可以理解为是被访者直接在对应的公司或者机构的前台购买，线上指的是在对应公司或者机构的网站上购买。

对于线下购买的签收数据，可以理解为是被访者在购买产品签约后的n天后，系统会自动认定为被访者确认收到并对产品有一定的体验和了解；对于线上购买的签收数据，可以理解为是产品的一些物流或者快递跟踪信息，这些信息具体是基于产品线上合作的网站上的物流管理网页中获取到，例如保单产品，其信息是通过邮件发送的发给被访者时，则通过检测邮件的阅读状态来确定被访者是否已收到，再比如保单产品的合同是通过快递的方式派送给被访者时，则通过监控快递公司上对该快件的物流信息来确定被访者是否已收到。

在本实施例中，当检测到快递的物流信息中最新更新的数据是被访者已由本人签收时，则认为是产品信息以送达到。

在该步骤中，对于当判断签收数据的的当前状态不是确认状态，则结束对该产品的回访流程，并跳转至检测其他产品的确认状态。

在本实施例中，该ai视频回访请求具体可以是用ai视频机器人自动发起，也可以是通过该通知提醒被访者或者是人工坐席发起的ai视频回访请求，例如通过短信息或者是告警信息来提醒需要执行回访的处理。

在该步骤中，在发起ai视频回访请求之前，还包括，检测当前的回访时间段是否为坐席的工作时间，若是，则检测所述回访系统上是否有坐席处于空闲的状态，若存在，则可以提示是否选择坐席回访，并根据坐席的选择来发起ai视频回访请求；若回访时间段不是工作时间，则直接使用ai视频机器人的人机回访流程，并向被访者使用的客户端发起回访请求，对被访者使用的客户端应当理解为是被访者在购买该待回访产品时留下的联系手机号或者是聊天软件的账号，基于这些信息添加被访者，并进行视频的回访。

在根据被访者留下的联系信息与被访者建立视频回访的通信连接后，请求被访者进行身份认证，而身份认证的信息或者是通过被访者使用的客户端上的摄像单元拍摄的人脸图像，以及被访者的身份id进行认证。

具体地，首问用户id和/或回访用户id对应的被访者终端10可接收到服务器发送的回访提醒信息，以实现对每一处理流程的回访跟进，提高回访效率和回访质量，进而提高被访者对机构的服务满意度。

步骤s220，在被访者的身份验证通过后，根据所述待回访产品的产品类型，从预置服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端显示；

在该步骤中，所述被访者的身份验证具体是通过将客户端采集到的被访者的身份认证信息与被访者预留的身份信息进行比对，若相同，则认证通过，反之为不通过，这是要保证回访对象的一致。

在实际应用中，对于ai视频回访内容会根据人工坐席的回访记录和产品的类型来确定一个回访问卷，ai视频机器人基于回访问卷对被访者进行回访的提问即可，当时对于回访问卷的调用，ai视频回访机器人通过ai视频回访请求中携带的产品的类型信息来调取，一般对于预设的回访问卷是直接存储在ai视频机器人的调用数据库中。

在本实施例中，对于回访问卷还可以是使用同一的问卷内容，但是该问卷内容主要是针对于产品的一些公共信息或者是被访者的本身信息，主要是对被访者的信息的再次确认，避免后续使用时的错误误会。

为了保证对回访信息的准确性，该步骤还包括了将回访问卷的实际内容和产品的具体信息都发送到给客户端，由客户端实时显示，这里的实时显示应当理解为是包括了后续的提问后，对信息的确认填写的显示。

在该步骤中，具体可以通过以下方式实现回访问卷的形成：

所述在被访者的身份验证通过后，根据待回访产品的产品类型，从预置服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端显示的步骤包括：

识别回待回访产品中的产品类型、并从预置服务器的问卷数据库中调取预设的所有与所述产品类型关联的问题，将预设的所有问题生成对应的回访问卷，其中，所述回访问卷包括回访的问题和问题对应的标准答案，其中，在所述问卷数据库中存储预先编写的与产品类型相关的问题，并所述问题与对应的产品类型关联，对各问题设置一答题权重，对各问题的选项设置选项分；

获取所述待回访产品的具体信息，并基于所述具体信息选择对应的问题，以及所述问题对应的答案权重；

将所述问题和答案权重对应的答案进行排序，形成所述回访问卷，并发送至所述客户端进行显示。

步骤s230，通过ai视频机器人将当前回访问卷的内容转换为音频，并播放所述音频对所述被访者进行回访提问；

在该步骤中，所述回访问卷是以文本的形式存储于服务器中，而要实现ai视频回访时是需要进行语音的交流的，而对于回访问卷中的信息要实现语义你的播报，则需要进行语音的转换，在实际应用中，通过调用服务器中的语音引擎来实现文本到音频的转换。

在本实施例中，若使用的回访问卷如果是同一的问题问卷时，则可以通过认为录制的方式进行转换，即是通过人工坐席对回访问卷中的每个问题都阅读一遍，系统录取到语音后，将该语音与回访问卷中对应的问题进行相关联，在调用回访问卷时，通过问题与语音的关联关系进行调用，从而也可以实现文本到语音的转换。

步骤s240，通过所述客户端录制所述被访者根据所述回访提问做出回答的音视频信息；

在该步骤中，所述音视频信息包括被访者的回答信息和被访者的人像信息；在客户端对所述回访提问进行录取时，具体是对被访者的回应信息分开录制，对于被访者回应的语音是通过其拾音器进行录制，在录制语音的同时，还通过该客户端的摄像单元对被访者的人脸信息进行录制，但是对于人脸信息的录制，可以是实时的影像录制，也可以是通过定时拍照的方式录制。在实际应用中，还可以是通过对客户端上的显示界面进行截屏的方式录制，当然该显示界面上包括回访问卷的内容以及被访者的人脸图像的显示内容。

步骤s250，提取所述音视频信息中回答信息，并根据预先构建的抽取模型对所述回答信息进行分词序列标注，得到意图关键词；

在该步骤中，所述抽取模型是基于卷积神经网络构建的，用于实现意图关键词识别分割的分割模型，抽取模型需要预先构建。可选的，采用卷积神经网络或循环神经网络构建深度学习网络，收集各种合适语料(比如，从互联网上)，并人工标注每条语料的意图关键词，这样得到训练样本，用这些样本训练该网络，当该网络收敛时(比如收敛准则为：针对95％以上的训练样本，模型输出的意图关键词与人工标注的相同)，即得到意图信息抽取模型。

步骤s260，根据所述意图关键词，查询预置的意图概念树的各意图节点下的关键词中与所述意图关键词相匹配的目标关键词，得到对应的意图；

在该步骤中，所述意图概念树包括多个意图节点，每个意图节点对应一种意图，该意图概念树可以是通过选取多种意图的查询语句样本，以确定出每种意图的关键词及设置得到每个关键词的权值，进而根据多种意图、该多种意图中每种意图的关键词以及每个关键词的权值建立/构建的。该意图概念树可包括多个意图节点，每个意图节点对应一种意图，且每个意图节点下可包括预先选取的一个或多个关键词，该一个或多个关键词即为意图节点对应的意图的关键词，每个关键词对应一个权值，该权值可预先设置得到。可选的，该多种意图可以为特定领域的意图，即该意图概念树可根据特定领域的查询语句样本建立的，使得针对特定领域也无需大量样本即可实现意图识别。进一步的，不同意图节点对应的意图可以是属于不同的分类

在本实施例中，对于意图的识别，具体是还可以通过意图识别模型来实现，或者是意图概念树和模型相结合来实现，该意图识别模型是通过意图识别算法基于历史的回访记录中的语音或者是文本数据进行训练得到的模型，基于该模型的识别可以大大提高识别的效率。

步骤s270，判断所述意图与所述回访提问中设定的意图是否匹配；

步骤s280，若匹配，则跳转至下一回访问卷的回访提问流程。

在本实施例中，所述意图识别模型可基于以下方法进行构建，从而保证识别结果的准确性和适用性：

首先，将所述对话语料进行问、答语句的分类。

在构建预设意图识别模型的过程中，可使用意图分析中使用的对话语料，从而使得对意图识别模型的训练语料更加贴合实际的应用场景，从而提高识别的准确度和专业度。

在实际应用中，可先对各个对话语料中的问语句、答语句进行分类，确定出对话语料中的语句中所归属的类型。

然后，分别对各所述对话语料中的所述问语句和所述答语句进行合并，得到问语句集合、答语句集合。

具体的，将所有对话语料中的问语句进行提取，合并并归为一类，答语句也进行相同处理，从而得到问语句集合、答语句集合。

进一步的，分别对所述问语句集合、所述答语句集合进行聚类，获得相应的分类。

具体而言，可基于k-means聚类算法，分别将问语句集合和答语句集合进行聚类，以将这两个语句集合再分别划分为多个小类别。

最后，从各所述分类语句中分别抽取预设数量的训练语句。

如上文所述，对话语料是基于大量的历史数据中提取出来的真实对话语料，不可避免的，会存在大量的重复情况，这种重复不仅包含整个对话语料的完全重复，也包含了不同对话语料中可包含相同的语句的重复，而对于这些重复的语句，其中所包含的意图信息也是重复的，在本步骤中，通过从各分类的语句中抽取出预设数据的训练语句，可在一定程度上降低重复语句的出现概率，更进一步的，由于这些语句是分别来自各个分类，那么可在一定程度上，保证了各个分类具有一定数量的训练语句，也就是说，各个分类中所包含的意图信息，可在一定程度上进行了保留，避免因盲目删减而导致的数据缺失的问题。

在本实施例中，对于回访不限定于只由ai视频机器人向被访者回访，也可以是被访者主动发起的回访，当然也可以是在回访的过程中，被访者提出的疑问，当被访者提出疑问时，则需要将回访流程切换至答疑流程，具体流程包括：

根据关键字的检测技术，检测所述文本信息中所记载的内容是否存在疑问关键字；

若存在，则识别所述文本信息中所述疑问关键字的意图；

根据所述意图，从所述服务器中选择对应的意图答疑逻辑树，并根据所述意图答疑逻辑树对所述意图进行回复。

在实际应用中，通常是检测文本信息中是否存在“为什么”、“有什么考虑”等等的关键词语来判断是否是存在被访者的疑问，当然，对于一些特殊的情况下还需要根据整段文本信息的前后表达的意思来判断整段对话的意思是否为被访者提出疑问的回应。

在本实施例中，所述意图答疑逻辑树包括至少一个节点，每个节点对应一个意图答疑，在识别到被访者的疑问后，根据疑问历遍所述逻辑树，从逻辑树中选择对应的节点，从节点中确定对应的回答方式以及回答的答案，ai视频机器人根据回答的答案向被访者进行进行答复。

在本实施例中，为了保证回访记录的可查询，该基于卷积神经网络的回访方法还包括：

对回访过程中的语音和视频进行全程录制，形成影像数据，并当被访者已经回答了所有回访问卷中的所有提问时，将回访被访者的影像数据存储于所述ai视频机器人的存储设备中，存档封存，并与所述被访者的身份认证信息相关联，以下次调用查询。

在实际应用中，所述回访问卷中的每个问题都具有一个标准的答案模板，通过计算所述标准的答案模板与所述被访者的语音反馈的相似度可以判断所述被访者的语音反馈是否符合要求。

其中，所述标准的答案模板与所述被访者的语音反馈的相似度的计算方法可以包括，但不限于，例如欧氏距离、余弦相似度、jaccard距离、编辑距离等。

当被访者对回访问卷的某一个问题的语音反馈不符合要求时，重新对该问题进行语音播报，直到获取符合要求的语音反馈。

对于所述对回访过程中的语音和视频进行全程录制，形成影像数据包括：

在根据每个回访问卷提问所述被访者完成时，判断所述被访者的音视频信息中是否针对每个提问做出了正确的回答；

若全部做出正确的回答，则在将所述语音和视频合成影像数据时，对完成的回访问卷进行完整状态的标注；

若存在部分回答不正确或者对部分提问未做出回应，则将所述回访问卷中未回答或者回答不正确的提问问题提取出来，形成新的回访问卷进行标记存储，并与所述被访者的身份认证信息相关联，以等待下次回访使用。

在实际应用中，当被访者已经回答了所有回访问卷中的所有问题，则将被访者回访信息的录音存储于ai视频机器人中的第一存储设备中，存档封存。

若任何一个回访问卷中的任何一个问题没有回答，则将被访者回访信息的录音存储于ai视频机器人中的第二存储设备中，并与所述用户的身份证信息相关联，以等待下次回访。

进一步的，为了提高回访的效率，在所述通过ai机器人将所述回访问卷转换为音频，并播放所述音频对所述被访者进行回访提问的步骤之后，还包括：

判断所述被访者根据所述回访提问做出响应的时间长度是否超过预设时间长度；

若超过，则中断当前的回访提问或者启动重复播音程序向所述被访者发出回访提问。

在实际应用中，通过该定时器或者是继电器的方式来控制回应的时间，从播报语音结束开始计算时间，在规定的时间内客户端没有返回响应消息，即可认为是回访结束。

在本实施例中，若所述待回访产品为保险类的产品是，对于步骤s220和s230具体可以通过以下流程来代替实现：

步骤s310、创建一问卷数据库，在所述问卷数据库中存储预先编写的与投保类型相关的问题并与对应的投保类型关联，对各问题设置一答题权重，对各问题的选项设置选项分。

本步骤通过创建一问卷数据库来存储不同投保类型的问题。这些问题即是现有外包商或某个银行的回访系统ai机器人回访时所提的问题，用于调查投保人的投保意愿、对相应保险的投保效果、对保单的了解情况等。将问题与对应的投保类型关联时，可对每个问题设置一标签，标签直接设置为投保类型的名称。对各问题设置一答题权重，答题权重用于表示该问题的重要性，答题权重的值越大越能反映出投保人真实的投保意见。答题权重可基于大数据处理获得，或由研发员根据实际情况设置。优选地，每个问题设置3个选项，对各选项设置选项分，选项分用于表示投保风险，选项分越大则风险越高。

步骤s320、识别回访备注信息中的投保类型、并从问卷数据库中调取预设个与该投保类型关联的问题，将预设个问题生成对应的问题案卷。

例如，当识别回访备注信息中的投保类型为重大疾病保险时，以重大疾病保险为标签，在问卷数据库中随机搜索预设个标签为重大疾病保险的问题，将这预设个问题组成一重大疾病保险的问题案卷。问题案卷包括10个问题，分别记为问题1(答题权重为0.15)、问题2(答题权重为0.05)、问题3(答题权重为0.1)、问题4(答题权重为0.1)、问题5(答题权重为0.13)、问题6(答题权重为0.07)、问题7(答题权重为0.15)、问题8(答题权重为0.05)、问题9(答题权重为0.12)、问题10(答题权重为0.08)。每一问题均设置3个选择项，分别记为选项a(选项分为10分)、选项b(选项分为7分)、选项c(选项分为4分)。需要理解的是，上述答题权重和选项分的数值仅为示例，可根据实际情况对应修改。

步骤s330、将问题案卷中的各个问题和选项的文字数据转换为对应的语音信号，将一问题及其选项的语音信号传输至移动终端播放。

步骤s340、接收到投保人语音信号时，将投保人语音信号转换为对应的选项并与相应的问题关联，传输下一问题及其选项的语音信号至移动终端播放。

核保系统将各个问题和选项的文字数据转换为对应的语音信号，可按照各问题的排序，先传输问题1及其选项的语音信号至移动终端播放，之后等待投保人的回答。投保人明确问题后选择对应的选项，移动终端采集投保人的语音信号(即答案语音信号)并反馈给核保系统，核保系统检测答案语音信号输入时，将答案语音信号转换为对应的选项a/b/c，并将该选项与该问题关联，如选中该选项。然后再传输下一问题及其选项的语音信号至移动终端播放。

在本实施例中，为了提高该保险产品的推广力度，在步骤s340之后，还包括计算用户对于使用该产品时认为的风险系数，具体的，在进行ai视频回访过程中，在接收到最后一个问题的投保人语音信号时，根据所有问题的答题权重和对应选项的选项分计算出投保风险值。

在实际应用中，所述投保风险值在核保系统的后台自动进行计算，投保风险值的计算公式为：v＝w1*o1+w2*o2+wn*on+wn+1*on+1，其中，n为正整数，v表示投保风险值，w1表示问题1的答题权重，o1表示问题1的投保人答案对应的选项分，w2表示问题2的答题权重，o2表示问题2的投保人答案对应的选项分，以此类推，wn表示问题n的答题权重，on表示问题n的投保人答案对应的选项分，wn+1表示问题n+1的答题权重，on+1表示问题n+1的投保人答案对应的选项分。

为了适应上述的基于卷积神经网络的回访方法，还提供了一种基于卷积神经网络的回访系统，该基于卷积神经网络的回访系统采用客户端-服务器模式，如图4所示，买了保险的被访者通过app客户端开始视频ai回访，所述基于卷积神经网络的回访系统包括：客户端61和服务器62，所述服务器62包括ai服务器621和流媒体服务器622；

所述ai服务器621，用于在检测到待回访产品已被签收确认时，通过客户端发起ai视频回访请求，获取被访者的身份认证信息并进行身份验证；

所述ai服务器612，还用于在被访者的身份验证通过后，根据待回访产品的产品类型，从预置服务器中提取对应的回访问卷以及所述待回访产品的具体信息，并发送至所述客户端上进行显示；

所述流媒体服务器622，用于将当前回访问卷的内容转换为音频，并播放所述音频，以对所述被访者进行回访提问；

所述客户端61用于录制所述被访者根据所述回访提问做出回答的音视频信息，并通过所述流媒体服务器发送给所述ai服务器，其中，所述音视频信息包括被访者的回答信息和被访者的人像信息；

所述ai服务器621，还用于提取所述音视频信息中回答信息，并根据预先构建的抽取模型对所述回答信息进行分词序列标注，得到意图关键词，其中，所述抽取模型是基于卷积神经网络构建的，用于实现意图关键词识别分割的分割模型；根据所述意图关键词，查询预置的意图概念树的各意图节点下的关键词中与所述意图关键词相匹配的目标关键词，得到对应的意图，其中，所述意图概念树包括多个意图节点，每个意图节点对应一种意图；判断所述意图与所述回访提问中设定的意图是否匹配；若匹配，则跳转至下一回访问卷的回访提问流程。

在本实施例中，所述ai服务器621还用于根据关键字的检测技术，检测所述文本信息中所记载的内容是否存在疑问关键字；若存在，则识别所述文本信息中所述疑问关键字的意图；根据所述意图，从所述服务器中选择对应的意图答疑逻辑树，并根据所述意图答疑逻辑树对所述意图进行回复。

在本实施例中，如图5所示，所述服务器62还包括中转服务器623，用于将所述音视频信息中的音频和视频进行分离，得到音频和被访者的人像视频；记忆将所述音频转换为声纹线谱，根据预先记录的声音频线文字关系匹配所述声纹线谱中的声纹，将匹配出来的文字进行顺序组合，得到所述音频的文本信息，并通过所述流媒体服务器发送给所述ai服务器。

基于本装置的执行功能和功能对应的执行流程与上述本发明实施例的基于卷积神经网络的回访方法实施例说明内容相同的，因此本实施例对基于卷积神经网络的回访系统的实施例内容不做过多赘述。

在实际应用中，在回访过程中，其回访的处理流程还可以如下：

app负责：人脸识别核身，确保回访的被访者是买保险的用户本人；

与服务器机器人进行视频通话，即捕获被访者的音视频并展示机器人的音视频，机器人语音播报回访问题后被访者回答；

app还要展示回访的问题和用户的回答文本，这是为了防止嘈杂环境下语音不清晰影响回访；下载并向被访者展示投保人签名、电子保单等影像资料。

在本实施例中，所述服务器包括三个模块：ai服务器、流媒体服务器和中转服务器。

中转服务器负责在客户端app和流媒体服务器之间进行音视频中转，同时负责在客户端app和ai服务器之间进行文本中转，使用中转服务器的原因是为了在客户端和上述流媒体服务器、ai服务器之间建立长连接，进行持续的音视频通话并完成回访。

ai服务器通过回访出题模块将问题文本内容传送给流媒体服务器，流媒体服务器接收到问题的文本后调用语音引擎进行语音合成，然后将合成的音频和机器人说话的视频通过中转服务器传送到客户端app，同时问题的文本形式会经过中转服务器从ai服务器传送给客户端app。被访者听到机器人播报的问题，同时能看到问题的文本，然后对着app摄像头语音回答。

app将该回答音视频传送给中转服务器，并中转到流媒体服务器。

流媒体服务器接收到被访者的音视频之后，会调用语音引擎模块进行语音识别，并将识别结果传送给ai服务器。

ai服务器接收到被访者对回访问题的回答后会进行文本处理和意图识别，理解出用户的答案，然后继续问下一道问题。

在本实施例中，所述ia服务器621用于识别回待回访产品中的产品类型、并从预置服务器的问卷数据库中调取预设的所有与所述产品类型关联的问题，将预设的所有问题生成对应的回访问卷，其中，所述回访问卷包括回访的问题和问题对应的标准答案，其中，在所述问卷数据库中存储预先编写的与产品类型相关的问题，并所述问题与对应的产品类型关联，对各问题设置一答题权重，对各问题的选项设置选项分；获取所述待回访产品的具体信息，并基于所述具体信息选择对应的问题，以及所述问题对应的答案权重；将所述问题和答案权重对应的答案进行排序，形成所述回访问卷，并发送至所述客户端进行显示。

在本实施例中，所述服务器62还包括：中转服务器623，用于对所述音视频信息进行音视频分离，得到音频和被访者的人像视频；记忆将所述音频转换为声纹线谱，根据预先记录的声音频线文字关系匹配所述声纹线谱中的声纹，将匹配出来的文字进行顺序组合，得到所述音频的文本信息，并通过所述流媒体服务器发送给所述ai服务器。

在本实施例中，所述ai服务器621还用于采用关键字的检测技术，检测所述文本信息中所记载的内容是否存在疑问关键字；若存在，则识别所述文本信息中所述疑问关键字的意图；根据所述意图，从所述服务器中选择对应的意图答疑逻辑树，并根据所述意图答疑逻辑树对所述意图进行回复。

在本实施例中，所述基于卷积神经网络的回访系统还包括录像设备，用于对回访过程中的语音和视频进行全程录制，形成影像数据，并在确定被访者已经回答所有回访问卷中的所有提问后，将回访被访者的影像数据存储于所述ai视频机器人的存储设备中，并与所述被访者的身份认证信息相关联，以供下次调用查询。

在本实施例中，所述录像设备包括回访单元，用于当完成每个回访问卷提问时，判断所述被访者的音视频信息中是否针对每个提问做出了正确的回答；若全部回答正确，则在将所述语音和视频合成影像数据时，对完成的回访问卷进行完整状态的标注；若存在部分回答正确或者存在提问未做出回应，则将所述回访问卷中未回答或者回答不正确的提问问题提取出来，形成新的回访问卷进行标记存储，并与所述被访者的身份认证信息相关联，以等待下次回访使用。

在本实施例中，所述客户端61还用于判断所述被访者根据所述回访提问做出响应的时间长度是否超过预设时间长度；若超过，则中断当前的回访提问，或者启动重复播音程序向所述被访者重新发出回访提问。

在回访过程中，如果被访者问了一个问题，则通过ai服务器621的问答模块处理；如果被访者长时间没有回答某个回访问题，则流媒体服务器的静音检测功能模块会检测到该异常并中断回访过程。出于监管要求，整个回访过程的音视频会在流媒体服务器上保存下来，随时供调阅查看。

此外，本发明实施例还提供了一种基于卷积神经网络的回访系统，所述基于卷积神经网络的回访系统包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的ai视频回访程序，所述ai视频回访程序被所述处理器执行时所实现的方法可参照本发明基于卷积神经网络的回访方法的各个实施例，因此不再过多赘述。

本发明还提供一种计算机可读存储介质。

本实施例中，所述计算机可读存储介质上存储有ai视频回访程序，所述ai视频回访程序被处理器执行时所实现的方法可参照本发明基于卷积神经网络的回访方法的各个实施例，因此不再过多赘述。

在本发明实施例提供的方法和装置，主要是用于提升保险电话销售坐席的销售技能，它能模拟被访者同销售坐席进行人机对话，帮助坐席掌握销售话术并处理被访者异议。通过结合语音识别技术和自然语音理解技术，使用教练系统的坐席能通过语音自然地和教练系统进行实战演练，这是培训方式的革新。坐席可以把教练系统当做自己的被访者，向它介绍产品、销售保险，教练系统则可以向坐席提出异议，这种人机交互方式充分模拟实际场景，让新手坐席在上岗前感受真实的销售过程，有助于提升他们的销售技能，提高真实被访者面对坐席新人的感受，同时释放人工教练人力。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。