智能设备控制方法、装置、电子设备及存储介质与流程

本发明涉及机器人技术领域，尤其涉及一种智能设备控制方法、装置、电子设备及存储介质。

背景技术：

随着机器人行业的蓬勃发展，越来越多的机器人被应用到实际的应用场景中，例如，自助服务机器人能够帮助或引导用户办理业务，还能够回答用户提出的业务相关问题。虽然机器人技术在高速发展，但是机器人本身仍存在着一定的局限性，比如有些场景下机器人无法提供帮助或用户不知道如何使用机器人，为此，往往都需要为机器人配备一名运营人员，一方面解决用户不知道如何使用机器人的困扰，一方面当机器人无法解决当前问题时为用户提供帮助，以协助用户正确使用机器人。

应用机器人的目的是为了替代人力，但是，如果还需要专门配备一名运营人员时刻值守在机器人旁边的话，就无法实现降低人力成本的本意。

技术实现要素：

本发明实施例提供一种智能设备控制方法、装置、电子设备及存储介质，以解决现有技术中还需要专门配备一名运营人员时刻值守在机器人旁边，无法降低人力成本的问题。

第一方面，本发明一实施例提供了一种智能设备控制方法，包括：

确定满足预设的人工客服触发条件；

若所满足的触发条件属于第一类触发条件，控制智能设备输出提示信息，以提示是否连接人工客服端，在接收到确认反馈后，控制智能设备连接人工客服端；

若所满足的触发条件属于第二类触发条件，控制智能设备连接人工客服端。

第二方面，本发明一实施例提供了一种智能设备控制装置，包括：

触发模块，用于确定满足预设的人工客服触发条件；

控制模块，用于若所满足的触发条件属于第一类触发条件，控制智能设备输出提示信息，以提示是否连接人工客服端，在接收到确认反馈后，控制智能设备连接人工客服端；若所满足的触发条件属于第二类触发条件，控制智能设备连接人工客服端。

第三方面，本发明一实施例提供了一种电子设备，包括收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，收发机用于在处理器的控制下接收和发送数据，处理器执行程序时实现上述任一种方法的步骤。

第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述任一种方法的步骤。

本发明实施例提供的技术方案，在判断用户是否需要人工客服时，设置了两类人工客服触发条件，以区分用户需要人工客服帮助的意图是否强烈。当触发第一类触发条件时，说明用户可能需要人工客服的帮助，但意图不够明显，此时控制智能设备输出提示信息，提示是否连接人工客服端，在用户确认需要人工客服帮助时，再连接人工客服端，这样，既能够为用户提供帮助，又能够减轻后端人工客服的工作量。当触发第二类触发条件时，说明用户急需人工客服的帮助，此时直接连接人工客服端，不需要用户作出任何操作，简化了用户操作，提高了用户体验，且无需运营人员时刻值守在智能设备旁边，节省了人力成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的智能设备控制方法的应用场景示意图；

图2为本发明实施例提供的智能设备控制方法的另一应用场景示意图；

图3为本发明一实施例提供的智能设备控制方法的流程示意图；

图4为本发明一实施例提供的智能设备控制装置的结构示意图；

图5为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

在具体实践过程中，在用户利用机器人客户端自助办理业务时，常常会遇到不会使用机器人或机器人无法提供相应帮助的情况，因此，实际生活中常常看到机器人客户端旁值守着一名运营人员，在用户面露难色时为用户提供帮助，可见，现有的机器人还不够智能化，无法实现降低人力成本的本意。

为此，本发明的发明人考虑到，通过用户与智能设备的交互情况判断用户在使用智能设备的过程中是否遇到困难，交互的方式可以是语音交互、触控交互等多种方式。在判断用户是否需要人工客服时，设置了两类人工客服触发条件，以区分用户需要人工客服帮助的意图是否强烈，在用户可能需要人工客服的帮助但意图不够明显时，控制智能设备输出提示信息，提示用户可选择人工客服帮助，在用户确认需要人工客服帮助时，再连接人工客服端，这样，既能够为正真需要帮助的用户提供帮助，又能够减轻后端人工客服的工作量；而在识别到用户急需人工客服的帮助时，直接连接人工客服端，不需要用户作出任何操作，简化了用户操作，提高了用户体验。由于智能设备可自主判断用户是否需要人工客服的帮助，并在用户需要帮助时自动连接与人工客服端，为用户提供远程协助，因此，一个远程人工客服就能够协助多台智能设备完成日常工作，无需运营人员时刻值守在智能设备旁边，节省了人力成本。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

首先参考图1，其为本发明实施例提供的智能设备控制方法的应用场景示意图。用户10与智能设备11交互过程中，智能设备11将用户输入的指令、数据等发送给服务器12，由服务器12根据用户输入的指令、数据等信息自动识别是否需要人工客服介入，当服务器12判断需要人工客服介入时，控制智能设备11连接人工客服端13，人工客服端13的人工客服14通过视频通话或语音通话的方式为用户10提供帮助。

这种应用场景下智能设备11、服务器12、人工客服端13之间通过网络进行通信连接，该网络可以为局域网、广域网等。

参考图2，其为本发明实施例提供的智能设备控制方法的另一应用场景示意图。用户20与智能设备21交互过程中，智能设备21根据用户输入的指令、数据等自主识别是否需要人工客服介入，当智能设备21判断需要人工客服介入时，智能设备21连接人工客服端22，人工客服端22的人工客服23通过视频通话或语音通话的方式为用户20提供帮助。

这种应用场景下智能设备21和人工客服端22之间通过网络进行通信连接，该网络可以为局域网、广域网等。

下面结合图1、2所示的应用场景，对本发明实施例提供的技术方案进行说明。

参考图3，本发明实施例提供一种智能设备控制方法，包括以下步骤：

s301、确定满足预设的人工客服触发条件。

具体实施时，触发条件可分为两类：触发第一类触发条件时，说明用户可能需要人工客服的帮助，但意图不够明显；当触发第二类触发条件时，说明用户明确指示需要人工客服帮助。

本发明实施例中，第一类触发条件包括但不限于以下至少一个条件：

(1)唤醒状态下，持续检测到目标对象的人脸图像但在预设时长内未接收到目标对象的输入请求。

上述条件(1)是针对以下场景设置的：当用户停留在智能设备前且长时间没有进行操作智能设备时，表明该用户处于迟疑状态，用户可能不知道如何操作智能设备，此时确定用户可能需要人工客服的帮助。

目标对象是指使用智能设备的用户，如果通过智能设备的摄像头持续检测到同一用户的人脸图像，表明该用户持续停留在智能设备前。检测智能设备前是否有用户停留的方式不限于上述检测人脸图像的方式，还可通过智能设备内置的红外传感器等设备检测是否有用户在智能设备前停留。

上述触发条件(1)中的预设时长可根据具体应用场景进行调整。

本实施例中，输入请求是用户在使用智能设备过程中向智能设备输入的指令或数据等信息。具体实施时，输入请求包括但不限于以下至少一种方式：触控操作、语音信息和肢体动作等。例如，用户按下智能设备上的“确认”按键，从而触发“确认”输入请求；用户使用智能设备的指纹采集器、读卡器等，从而获取到用户输入的指纹数据或卡数据；用户输入语音信息“查看下一页”；用户作出点头的动作，智能设备利用摄像头采集的图像识别用户点头的动作，从而获取到用户输入的“点头”动作。

(2)连续接收到目标对象表示相同或相似意图的输入请求的数量超过预设数量。

例如，当用户连续多次输入同样语义的语音指令，且次数超过了预设数量时，表明用户并没有从智能设备处获得满意的反馈，所以才会不断地重复询问智能设备，此时，用户可能需要人工客服的帮助。

上述触发条件(2)中的预设数量可根据具体应用场景进行调整，例如预设数量设置为3次。

当然，具体实施时，上述触发条件(2)中还可以设置预设时间间隔，当在预设时间间隔内，连续接收到表示相同或相似意图的输入请求的数量超过预设数量，才触发该条件(2)。其中，预设时间间隔可以根据具体应用场景进行调整。

(3)连续对目标对象表示相同或相似意图的输入请求的响应值为错误的次数超过第一预设次数。

例如，当用户连续多次输入表示相同或相似语义的语音，智能设备或服务器给出的响应值为错误时，表明智能设备或服务器无法正确运行，此时可能需要人工客服的介入。

其中，第一预设次数可根据具体应用场景进行调整。

(4)连续无法解析目标对象的输入请求的意图的次数超过第二预设次数。

例如，连续多次接收到用户语义不清的语音，导致服务器无法解析出语义，此时，表明用户可能不知道如何操作智能设备，需要人工客服的介入。

其中，第二预设次数可以根据具体应用场景进行调整，例如第二预设次数设置为5次。

(5)无法响应目标对象的输入请求。

本实施例中，无法响应目标对象的输入请求可以是，对于用户下达的指令，由于自身设备原因(如智能设备发生故障，或与智能设备连接的服务器发生故障)，导致无法完成指令对应的任务。例如，在智能设备为用户提供导航服务时，智能设备丢失了地图，导致无法完成用户下达的导航任务，此时可能需要人工客服的介入。

(6)连续检测到目标对象的输入信息错误的次数超过第三预设次数。

触发条件(6)是针对以下场景设置的：智能设备需要用户输入一些指定的信息，例如密码、验证码等信息，或者，需要用户作出眨眼、点头等一些指定动作，但是，用户不知道如何操作，导致用户胡乱操作而输入错误的信息。此时，会将用户输入的输入信息与正确的信息进行比较，作出用户输入的输入信息为错误的判断结果，当检测到用户连续多次输入错误信息时，表明用户可能需要人工客服的帮助。

其中，第三预设次数可以根据具体应用场景进行调整，例如第三预设次数设置为3次。

需要说明的是，本发明实施例中的第一类触发条件不限于上述6个条件，可根据实际应用场景和用户需求，配置第一类触发条件。例如，当在不需要用户操作智能设备上的某些设备(例如，刷卡器、指纹采集器等)而用户继续操作这些设备时，识别用户的输入请求为错误，此时表示用户可能不知道如何正确使用智能设备，可能需要人工客服的介入。

本发明实施例中，第二类触发条件包括但不限于：接收到目标对象表示需要人工客服意图的输入请求。

当输入请求是语音信息时，可识别语音信息的语义，当识别到包含需要帮助的语义时，触发第二类触发条件。例如，当用户输入“我需要帮助”、“有人在么”、“这机器怎用”或“人工客服”等包含需要人工客服意图的语音时，说明需要人工客服帮助的意图很强烈，此时可直接控制智能设备连接人工客服端，而不需要提示用户。

当输入请求是触控操作时，检测到用户点击了智能设备上的呼叫人工客服的按钮，触发第二类触发条件。

上述列举的触发条件仅为示例性说明，具体实施过程中，不限于上述的实施方式。

具体实施时，服务器可存储同一用户在同一时间段内输入的多个输入请求以及这多个输入请求的响应情况，以便根据用户一连串的操作识别用户的意图。

s302、若所满足的触发条件属于第一类触发条件，控制智能设备输出提示信息，以提示是否连接人工客服端，在接收到确认反馈后，控制智能设备连接人工客服端。

触发第一类触发条件时，说明用户可能需要人工客服的帮助，但意图不够明显。此时，可通过输出提示信息的方式提醒用户可使用人工客服，由用户自行决定是否需要获取人工客服的帮助，这样，可减轻后端人工客服的工作量。

具体实施时，可控制智能设备通过悬浮标签的方式和/或语音播报的方式输出提示信息。

当通过悬浮标签的方式输出提示信息时，提示信息的内容可以包括询问用户是否需要人工客服帮助的文字信息，例如“是否需要人工客服的帮助”。提示信息中还可以包括连接人工客服端的方法，以协助用户使用智能设备。或者，直接在提示信息中插入连接人工客服端的虚拟触控按键，在用户确认需要人工客服帮助时，直接点击提示信息中的虚拟触控按钮就可以连接人工客服端，省去用户寻找触发连接人工客服端的按钮的过程。如果交互界面中已经有呼叫人工客服的虚拟触控按键，在显示提示信息的同时，还可以突出显示该虚拟触控按键，以使用户能够快速找到连接人工客服端的入口。

当通过语音播报的方式输出提示信息时，可输出类似“是否需要人工客服的帮助”的询问语，还可以输出“如需帮助，请点击屏幕左下方的呼叫按钮”等操作提示信息。

具体实施时，可在通过悬浮标签的方式输出提示信息的同时，进行语音播报。

用户可通过语音或点击按钮的方式输入确认需要人工客服帮助的信息，智能设备在接收用户输入的确认信息后，直接连接人工客服端。或者，由智能设备将用户输入的确认信息发送给服务器，由服务器控制智能设备连接人工客服端。

s303、若所满足的触发条件属于第二类触发条件，控制智能设备连接人工客服端。

当触发第二类触发条件时，说明用户需要人工客服帮助的意图很强烈，此时，可直接控制智能设备连接人工客服端，而不需要输出提示信息，以简化用户呼叫人工客服的操作。

具体实施时，控制智能设备连接人工客服端方法包括：控制智能设备通过视频连接或语音连接的方式连接人工客服端。建立连接后，人工客服端的人工客服可通过视频通话或语音通话的方式，协助用户办理相关业务或帮助用户排除使用智能设备过程中遇到的困难。

本实施例的智能设备控制方法，在判断用户是否需要人工客服时，设置了两类人工客服触发条件，以区分用户需要人工客服帮助的意图是否强烈。当触发第一类触发条件时，说明用户可能需要人工客服的帮助，但意图不够明显，此时控制智能设备输出提示信息，提示是否连接人工客服端，在用户确认需要人工客服帮助时，再连接人工客服端，这样，既能够为用户提供帮助，又能够减轻后端人工客服的工作量。当触发第二类触发条件时，说明用户急需人工客服的帮助，此时直接连接人工客服端，不需要用户作出任何操作，简化了用户操作，提高了用户体验。

此外，本实施例的智能设备控制方法，根据用户与智能设备交互过程中的输入请求以及智能设备对输入请求的响应情况，自主判断用户是否需要人工客服，在识别到用户需要人工客服协助时，连接智能设备与人工客服端，人工客服通过视频通话或语音通话的方式帮助用户解决困难，因此，一个远程人工客服就能够协助多台智能设备完成日常工作，无需运营人员时刻值守在智能设备旁边，节省了人力成本。此外，在基于用户输入的触控操作判断用户是否需要人工帮助的基础上，综合了语音识别、人体感应等多种识别手段，从多个维度判断用户是否需要人工帮助，提高了判断的准确率，降低智能设备错误触发呼叫人工客服功能的频率。

进一步地，在控制智能设备连接人工客服端之后，本实施例的智能设备控制方法还包括以下步骤：控制智能设备采集目标对象的人脸信息；根据人脸信息进行人脸识别以确定目标对象对应的用户信息，并发送给人工客服端。

如果用户使用过该类智能设备或之前进行过注册，服务器会存储该用户的用户信息，包括用户的人脸信息、身份信息或操作信息等。服务器根据当前采集到的人脸信息查找到该用户的用户信息，并将用户信息发送给对应的人工客服端，以使客服能够及时获取到用户信息，更好地为用户提供帮助。如果识别出该用户为陌生用户时，可将该用户为陌生用户的信息发送给人工客服端，因此，客服可获知该用户可能是第一次使用智能设备。

进一步地，可根据应用场景的不同或变化更新触发条件，例如可修改、增加或删除触发条件，触发条件包括第一类触发条件和第二类触发条件。其中，修改触发条件包括修改触发条件中的参数值，如预设时长、预设数量、预设次数(包括第一预设次数、第二预设次数、第三预设次数)、预设时间间隔等。

例如，在人工客服协助智能设备的过程中，会接触到大量有代表性、真实场景下、实时性极高的用户问题，人工客服在后台通过记录这些问题，总结相关的数据就可以提炼出智能设备需要优化的功能，对改进智能设备本身的功能起到了极大地正反馈作用。基于人工客服在实际应用中遇到的用户问题，可提炼出新的触发条件，或者发现某些触发条件容易导致误触发，删除该触发条件，或对触发条件进行修改。

具体实施时，服务器还可以对各个触发条件被触发的情况进行统计，根据统计分析结果自动更新触发条件。

针对第一类触发条件有两种方式统计被触发情况，以对第一类触发条件进行自动更新：

第一种方式、针对每个第一类触发条件，统计该第一类触发条件被触发的触发次数和该第一类触发条件被触发后连接人工客服端的连接次数，计算触发次数和连接次数之间的转换比值，根据该第一类触发条件对应的转换比值，更新该第一类触发条件。

例如，第一类触发条件a被触发100次，用户看到智能设备输出的提示信息后，仅有5次选择呼叫人工客服，则转换比值为5％，说明在第一类触发条件a对应的场景下，用户并不需要人工客服的帮助，第一类触发条件a误触发的概率较大，可删除第一类触发条件a，或者修改第一类触发条件a中的参数值，降低误触发的概率。

第二种方式、针对每个第一类触发条件，统计该第一类触发条件被触发的触发频率，根据该第一类触发条件对应的触发频率，更新该第一类触发条件。

例如，第一类触发条件b被触发的频率是1次/月，说明在第一类触发条件b不易被触发，表明第一类触发条件b的设置不合理性，可删除第一类触发条件b，或者修改第一类触发条件b中的参数值，提高其被触发的概率，避免大量冗余无用的第一类触发条件浪费计算资源。

第二类触发条件的自动更新方法包括：针对每个第二类触发条件，统计该第二类触发条件被触发的触发频率，根据该第二类触发条件对应的触发频率，更新该第二类触发条件。

例如，第二类触发条件c被触发的频率是1次/月，说明在第二类触发条件c不易被触发，表明第二类触发条件c的设置不合理性，可删除第二类触发条件c，或者修改第二类触发条件c中的参数值，提高其被触发的概率，避免大量冗余无用的第二类触发条件浪费计算资源。

需要说明的是，本实施例的智能设备控制方法可由服务器执行，或者，由智能设备执行。

如图4所示，基于与上述智能设备控制方法相同的发明构思，本发明实施例还提供了一种智能设备控制装置40，包括触发模块401和控制模块402。

触发模块401用于确定满足预设的人工客服触发条件；

控制模块402用于若所满足的触发条件属于第一类触发条件，控制智能设备输出提示信息，以提示是否连接人工客服端，在接收到确认反馈后，控制智能设备连接人工客服端；若所满足的触发条件属于第二类触发条件，控制智能设备连接人工客服端。

可选地，第一类触发条件包括以下至少一个条件：

唤醒状态下，持续检测到目标对象的人脸图像但在预设时长内未接收到目标对象的输入请求；

连续接收到目标对象表示相同或相似意图的输入请求的数量超过预设数量；

连续对目标对象表示相同或相似意图的输入请求的响应值为错误的次数超过第一预设次数；

连续无法解析目标对象的输入请求的意图的次数超过第二预设次数；

无法响应目标对象的输入请求；

连续检测到目标对象的输入信息错误的次数超过第三预设次数。

可选地，第二类触发条件包括：接收到目标对象表示需要人工客服意图的输入请求。

进一步地，控制模块402具体用于：控制智能设备通过悬浮标签的方式和/或语音播报的方式输出提示信息。

进一步地，本实施例的智能设备控制装置40还包括人脸识别模块，用于控制智能设备采集目标对象的人脸信息，根据人脸信息进行人脸识别以确定目标对象对应的用户信息，并发送给人工客服端。

进一步地，本实施例的智能设备控制装置40还包括条件更新模块，用于更新第一类触发条件和/或第二类触发条件。

进一步地，条件更新模块具体用于统计每个第一类触发条件被触发的触发次数和第一类触发条件被触发后连接人工客服端的连接次数，计算触发次数和连接次数之间的转换比值，根据第一类触发条件对应的转换比值，更新第一类触发条件；和/或，统计每个第一类触发条件被触发的触发频率，根据第一类触发条件对应的触发频率，更新第一类触发条件。

进一步地，条件更新模块具体用于统计每个第二类触发条件被触发的触发频率，根据第二类触发条件对应的触发频率，更新第二类触发条件。

进一步地，输入请求包括但不限于以下至少一种方式：触控操作、语音信息和肢体动作等。

进一步地，控制模块402具体用于：控制智能设备通过视频连接或语音连接的方式连接人工客服端。

本发明实施例提的智能设备控制装置40与上述智能设备控制方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。

基于与上述智能设备控制方法相同的发明构思，本发明实施例还提供了一种电子设备，如图5所示，该电子设备50可以包括处理器501、存储器502和收发机503。收发机503用于在处理器501的控制下接收和发送数据。

存储器502可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储智能设备控制方法的程序。

处理器501可以是cpu(中央处埋器)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field－programmablegatearray，现场可编程门阵列)或cpld(complexprogrammablelogicdevice，复杂可编程逻辑器件)处理器通过调用存储器存储的程序指令，按照获得的程序指令实现上述任一实施例中的智能设备控制方法。

本发明实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述智能设备控制方法的程序。

上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。

以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法，不应理解为对本发明实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。