问答服务提供方法、装置、设备、介质及沉浸式教练系统与流程

本发明实施例涉及问答服务提供技术，尤其涉及一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及沉浸式教练系统。

背景技术：

随着科技的不断进步，vr(virtualreality，虚拟现实)以及ar(augmentedreality，增强现实)技术在视频、教育、旅游等各行业得到越来越深入的应用。vr以及ar技术相对传统的pc(personalcomputer，个人计算机)和手机最大的特点是沉浸感。从物理心理学的角度，沉浸感来自三个方面：3d场景带来的视觉真实性；用户自身代入感的真实性；以及用户和虚拟世界交互的真实性。

现有技术中，可以通过vr以及ar技术营造出的沉浸式场景模拟各种实际的教练任务(例如，设备维修任务、设备的使用管理任务或者仪器的操作控制任务等)，使得用户在该沉浸式场景下，完成教练任务的培训、学习或者熟练等操作。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：用户在使用沉浸式场景执行某一个教练任务的过程中，如果对任务流程有疑问，需要向专门的教练人员进行提问，问题的响应时间与投入的教练人员的数量相关，且教练人员需要针对不同的教练任务进行专业的培训，人力成本高，重复性劳动大，无法及时、有效响应每个沉浸式场景中的用户在任何时间内提出的任何问题。

技术实现要素：

本发明实施例提供了一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及沉浸式教练系统，以实现在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务。

第一方面，本发明实施例提供了一种沉浸式场景中的问答服务提供方法，包括：

预先建立与至少一个教练任务对应的至少一个知识库；

在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库；

通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤；

根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

第二方面，本发明实施例还提供了一种沉浸式场景中的问答服务提供装置，包括：

知识库建立模块，用于预先建立与至少一个教练任务对应的至少一个知识库；

知识库调取模块，用于在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库；

当前教练步骤获取模块，用于通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤；

问答交互模块，用于根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的沉浸式场景中的问答服务提供方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的沉浸式场景中的问答服务提供方法。

第五方面，本发明实施例还提供了一种沉浸式教练系统，包括：沉浸式场景服务设备、问答服务设备、输入端器件、输出端器件以及存储器件；所述沉浸式场景服务设备包括：操作输入设备以及场景控制器；

所述操作输入设备与所述场景控制器电连接，所述输入端器件、所述输出端器件以及所述存储器件分别与所述问答服务设备电连接，所述问答服务设备通过访问接口与所述场景控制器通信连接，以获取所述沉浸式场景服务设备中用户需要执行的目标教练任务；

所述操作输入设备，用于接收所述用户在所述沉浸式场景中输入的用户操作指令，提供给所述场景控制器；

所述存储器件，用于存储与至少一个教练任务匹配的知识库；

所述输入端器件，用于获取用户输入的交互问题发送至所述问答服务设备；

所述问答服务设备，用于根据接收的所述交互问题，以及根据所述目标教练任务从所述存储器件中获取的知识库，确定匹配的交互答案提供给所述输出端器件；

所述输出端器件，用于向所述用户提供所述交互答案。

本发明实施例提供了一种沉浸式场景中的问答服务提供方法、装置、设备、存储介质及沉浸式教练系统，通过调用沉浸式场景提供的访问接口，和/或通过采集用户在沉浸式场景中的体感操作数据，获取用户在所述沉浸式场景中所处的当前教练步骤，可以在沉浸式场景中针对当前教练步骤与用户进行问答交互。本发明实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果，在大大缩短用户在教练过程中所提出问题的响应时间的前提下，极大的减少了人力成本的投入，进一步优化了现有的沉浸式教练服务，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

附图说明

图1是本发明实施例一中的一种沉浸式场景中的问答服务提供方法的流程图；

图2是本发明实施例二中的一种沉浸式场景中的问答服务提供方法的流程图；

图3是本发明实施例三中的一种沉浸式场景中的问答服务提供方法的流程图；

图4是本发明实施例四中的一种沉浸式场景中的问答服务提供装置的结构图；

图5是本发明实施例五中的一种计算机设备的结构示意图；

图6是本发明实施例七中的一种沉浸式教练系统的结构示意图；

图7是本发明实施例八中的一种沉浸式教练系统的结构示意图；

图8是本发明实施例九中的一种可穿戴设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种沉浸式场景中的问答服务提供方法的流程图，本实施例可适用于在用户进入沉浸式场景中执行目标教练任务的过程中，向用户提供问答服务的情况，该方法可以由本发明实施例提供的沉浸式场景中的问答服务提供装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可集成在问答服务设备中，与沉浸式场景服务设备配合使用。如图1所示，本实施例的方法具体包括：

s110、预先建立与至少一个教练任务对应的至少一个知识库。

其中，所述教练任务是指用户可以在沉浸式场景中训练执行的，模拟实际现实场景的各类任务，例如，驾车训练任务、各类机器维修训练任务、各类设备的操作使用训练任务等。所述沉浸式场景，具体是通过各种计算机设备(例如，3d头盔或者3d眼镜等)对真实场景进行模拟得到的虚拟场景，该沉浸式场景可以为vr场景或者ar场景等，本实施例对此并不进行限制。

在本实施例中，为了能够在用户进入沉浸式场景中执行教练任务的过程中，向用户提供对应的问答服务，需要首先建立与每个教练任务分别对应的知识库。其中，知识库中存储有问答服务中可以向用户提供的各种答案。

可选的，所述知识库中可以包括：与所述目标教练任务匹配的教练步骤集合；其中，所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息；在所述教练步骤集合中，预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。相应的，当用户针对所执行的目标教练任务进行步骤询问类问题(例如，“下一个步骤该做什么了？”或者“第一个步骤是什么”等)的询问时，可以基于知识库中存储的与每项教练步骤分别匹配对应的步骤提示信息，向用户反馈对应的答案。

可选的，所述知识库中还可以包括：与所述目标教练任务匹配的至少一个问答知识点；所述问答知识点包括：标准问题，至少一个扩展问题以及标准答案；所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配，所述标准答案用于作为交互答案反馈给所述用户。相应的，当用户针对所执行的教练任务进行教练知识询问类问题(例如，“我为什么要做xx培训？”或者“xx步骤中做xx操作的目的是什么”等)的询问时，可以基于知识库中存储的问答知识点，获取与用户的教练知识询问类问题匹配的答案反馈给用户。

当然，可以理解的是，该知识库中还可以存储其他类型的信息与用户进行问答交互，例如，常规知识点，进而可以针对用户的非教练知识询问类问题(例如，“现在几点了”或者“外面天气怎么样”等)问题进行答案的反馈。

s120、在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库。

其中，可以通过用户在设定操作面板中的选择操作，确定所述用户在沉浸式场景中所执行的目标教练任务，并进而调取与所述目标教练任务匹配的知识库；也可以通过调用所述沉浸式场景提供的访问接口，典型的，api(applicationprograminterface，应用程序接口)，确定所述用户在沉浸式场景中所执行的目标教练任务；或者，还可以收集用户在所述沉浸式场景中的体感操作数据(例如，通过摄像头捕捉用户的动作，或者采集手柄收集的用户操作指令等)，并进而根据该体感操作数据，确定所述用户在沉浸式场景中所执行的目标教练任务等。

s130、通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤。

在本实施例中，主要根据用户在沉浸式场景中当前所处的教练步骤(也即，当前教练步骤)，与所述用户进行与当前教练步骤对应的问答交互，因此，需要实时获取到所述用户在所述沉浸式场景中所处的当前教练步骤。

具体的，可以通过调用所述沉浸式场景提供的访问接口，获取所述用户在所述沉浸式场景中所处的当前教练步骤；或者也可以通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤，或者，也可以使用上述两种信息的组合，获取所述用户在所述沉浸式场景中所处的当前教练步骤。

具体的，用于实现沉浸式场景的场景控制器可以预先开放一个api，其他设备通过调用该api，可以直接获取所述用户在所述沉浸式场景中所处的当前教练步骤；

或者，还可以首先收集用户在所述沉浸式场景中的体感操作数据(例如，通过摄像头捕捉用户的动作，或者采集手柄收集的用户操作指令等)后，根据采集的所述体感操作数据，以及教练步骤与体感操作数据之间的映射关系，确定所述用户在所述沉浸式场景中所处的当前教练步骤。

在一个具体的例子中，所述体感操作数据为摄像头捕捉用户的动作，所述教练步骤与体感操作数据之间的映射关系为设定动作类型与教练步骤之间的映射关系，相应的，在获取摄像头捕捉的用户的动作之后，根据该动作进行设定动作类型的识别，进而可以根据所识别出的动作类型以及所述映射关系，确定出所述用户在所述沉浸式场景中所处的当前教练步骤。

s140、根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

本发明实施例提供的沉浸式场景中的问答服务提供方法，通过调用沉浸式场景提供的访问接口，和/或通过采集用户在沉浸式场景中的体感操作数据，获取用户在所述沉浸式场景中所处的当前教练步骤，可以在沉浸式场景中针对当前教练步骤与用户进行问答交互。本发明实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果，在大大缩短用户在教练过程中所提出问题的响应时间的前提下，极大的减少了人力成本的投入，进一步优化了现有的沉浸式教练服务，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

实施例二

图2为本发明实施例二提供的一种沉浸式场景中的问答服务提供方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，在确定所述交互问题为步骤询问类问题时，对在所述沉浸式场景中与所述用户进行问答交互的实现方式进行具体化。相应的，本发明实施例的方法包括：

s210、预先建立与至少一个教练任务对应的至少一个知识库。

在本实施例中，所述知识库中可以包括：与所述目标教练任务匹配的教练步骤集合；

其中，所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息；在所述教练步骤集合中，预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。

其中，所述步骤提示信息具体是指对教练步骤的具体操作方式、操作注意事项或者操作中的容易出现的错误中的一项或者多项进行提示的信息。

在一个具体的例子中，所述的教练步骤集合中包括的一条教练步骤项的示例如下：“步骤a：操作方式为xx，操作注意事项为xx，操作中容易出现的错误为xxx”。

s220、在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库。

s230、通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤。

s240、接收所述用户输入的交互问题。

具体的，用户在该沉浸式场景中，可以通过语音、文字或者视频等方式，输入交互问题。

s250、当所述交互问题为步骤询问类问题时，获取与所述步骤询问类问题匹配的目标步骤的位置识别信息。

在本实施例中，所述步骤询问类问题是指用户对目标教练任务中的某一个步骤所询问的问题，例如：“下一步骤是什么？”、“下一步骤的注意事项是什么？”或者“最后一个步骤是什么？”等。其中，可以通过关键词匹配或者语义识别等方式，确定所述交互问题为步骤询问类问题。

在一个具体的例子中，可以将所述交互问题与设定的步骤类关键词进行匹配，例如，“步骤”、“环节”或者“接下来”等，如果匹配成功，则将该交互问题确定为步骤询问类问题。

具体的，可以通过实体识别，无意义词的去除或者模板匹配的方式，获取所述与所述步骤询问类问题匹配的目标步骤的位置识别信息。具体的，交互问题“下一步骤是什么？”中的位置识别信息可以为“下一步骤”，交互问题“最后一个步骤是什么？”中的位置识别信息可以为“最后一个步骤”等。

s260、判断所述位置识别信息的信息类型：如果位置识别信息为相对于当前教练步骤的相对位置识别信息，则执行s270；如果位置识别信息为绝对位置识别信息，则执行s280。

在本实施例中，所述相对位置识别信息，是指确定用户询问的步骤为相对于当前教练步骤的步骤位置的识别信息，例如，如果所述位置识别信息为“下一步骤”，则该位置识别信息为相对位置识别信息，而用户询问的步骤为所述目标教练任务中的当前教练步骤所在的步骤位置+1。所述绝对位置识别信息，是指确定用户询问的步骤为在整个目标教练任务中的绝对步骤位置的识别信息，例如，如果所述位置识别信息为“最后一个步骤”，则该位置识别信息为绝对位置识别信息，而用户询问的步骤为所述目标教练任务中的最后一个教练步骤所在的步骤位置。

在本实施例中，可以通过关键词匹配的方式，例如，识别“下一”、“上一”、“前一”或者“后一”等这类用于识别相对位置识别信息的关键词，或者“第一”、“第二”或者“最后”等这类用于识别绝对位置识别信息的关键词，确定所述位置识别信息具体为相对位置识别信息还是绝对位置识别信息。

s270、根据所述当前教练步骤在所述教练步骤集合中的步骤位置，以及所述相对位置识别信息，在所述教练步骤集合中确定所述目标步骤，执行s290。

其中，所述目标步骤，即为在与所述目标教练任务匹配的教练步骤集合中，所述用户的交互问题所指向的步骤。

在本实施例的一个可选的实施方式中，根据所述当前教练步骤在所述教练步骤集合中的步骤位置，以及所述相对位置识别信息，在所述教练步骤集合中确定所述目标步骤，具体可以包括：

按照预设的关键词匹配方式，识别所述相对位置识别信息中的步骤搜索方向以及步骤搜索距离；在所述教练步骤集合中，以所述当前教练步骤的步骤位置为起点，按照所述步骤搜索方向查找所述步骤搜索距离，得到所述目标步骤。

在一个具体的例子中，所述相对位置识别信息为“下一步骤”，通过识别该相对位置识别信息中的“下”以及“一”，确定步骤搜索方向为沿步骤的执行方向，确定所述步骤搜索距离为“1”，进而可以在所述教练步骤集合中，以所述当前教练步骤的步骤位置为起点，沿步骤的执行方向向下搜索一个步骤，即为该目标步骤。

在另一个具体的例子中，所述相对位置识别信息为“前两步骤”，通过识别该相对位置识别信息中的“前”以及“两”，确定步骤搜索方向为沿步骤的执行方向的反方向，确定所述步骤搜索距离为“2”，进而可以在所述教练步骤集合中，以所述当前教练步骤的步骤位置为起点，沿步骤的执行方向的反方向，向上搜索两个步骤，即为该目标步骤。

s280、根据所述绝对位置识别信息，在所述教练步骤集合中确定所述目标步骤，执行s290。

在本实施例中，可以根据所述绝对位置识别信息“第一个步骤”或者“第二个步骤”，直接确定目标步骤在所述教练步骤集合中的绝对位置，进而可以直接确定出所述目标步骤。

s290、将与所述目标步骤对应的所述步骤提示信息作为交互答案，反馈给所述用户。

在本实施例中，在确定出与用户的交互问题匹配的目标步骤之后，可以直接查询所述知识库，获取与该目标步骤对应的步骤提示信息，作为交互答案反馈给所述用户。

本发明实施例的技术方案，提供了一种在所述交互问题为步骤询问类问题时，获取用户实际询问的目标步骤，并基于预先存储的与目标步骤对应的步骤提示信息，对在所述沉浸式场景中与所述用户进行问答交互的问答服务提供方式，可以实现在用户使用沉浸式场景执行目标教练任务的过程中，基于用户当前所在的教练步骤，对用户进行有效的步骤提示，可以在不使用任何人力成本投入的前提下，达到为每个用户配备独立的机器人教练，定制化为用户提供所需问题的答案的技术效果，极大的节约了人力成本，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

在上述各实施例的基础上，所述方法还可以包括：

当进行操作引导时，通过调用所述沉浸式场景提供的访问接口，实时监控所述当前教练步骤的用户完成情况；在检测到所述用户完成所述当前教练步骤时，在所述教练步骤集合中，获取所述当前教练步骤的下一教练步骤；将与所述下一教练步骤对应的步骤提示信息提供给所述用户。

其中，所述操作引导具体是指在用户执行目标教练任务的过程中主动向用户随时提供操作提示的功能选项，如果用户开启了该功能选项，无需主动发问，即可在一项教练步骤执行结束后，接收到与下一教练步骤对应的目标提示信息。

这样设置的好处是：可以进一步丰富步骤提示信息的提供方式，让用户在对目标教练任务的执行过程中，准确、及时以及使用最小的交互次数，准确获知与每一个教练步骤对应的教练提示信息，极大的缩短用户对该目标教练任务的执行时间，典型的，可以根据用户对该目标教练任务的执行次数，确定是否开启所述操作引导，例如，如果用户是首次执行该目标教练任务，可以直接开启该操作引导，以引导用户以最小的耗时，顺利执行一个完成陌生的目标教练任务，以使得用户快速熟悉一个从来未执行过的目标教练任务。

在上述各实施例的基础上，所述方法还可以包括：

在确定所述用户完成所述沉浸式场景中的所述目标教练任务时，获取所述用户在所述目标教练任务的进行过程中输入的至少一个语音形式的交互问题；对所述至少一个语音形式的交互问题进行语音特征分析；根据语音特征分析结果，确定所述用户的情绪状态，并根据所述情绪状态，对所述用户针对所述目标教练任务的教练状态评分。

发明人通过研究发现，用户在一个沉浸式场景中，针对各个教练步骤所执行的用户操作是否符合预期操作要求是可以被量化衡量的，例如，通过将用户的体感操作数据与标准的操作数据进行匹配的方式等，基于上述匹配，可以对用户的教练任务的执行情况进行评分，但是评分效果的评价维度比较单一，仅仅能代表用户的操作执行情况，但是用户的情绪状态是无法把握的，评价效果欠准确。

在本实施例中，可以通过语音交互的方式，获取用户输入的交互问题，并以语音的形式向用户反馈对应的交互答案，进而可以获取用户在执行目标教练任务的过程中，输入的全部语音形式的交互问题。语音是一种可以反映用户情绪的表达方式，基于上述交互问题，可以对用户的情绪状态进行相应的评分，进而可以评价出所述用户针对所述目标教练任务的教练状态评分，基于该教练状态评分，以及用户的执行情况评分，可以全部衡量用户对目标教练任务的执行情况，评价效果更好。

实施例三

图3为本发明实施例三提供的一种沉浸式场景中的问答服务提供方法的流程图，本实施例以上述实施例为基础进行优化。在本实施例中，在确定所述交互问题为教练知识询问类问题时，对在所述沉浸式场景中与所述用户进行问答交互的实现方式进行具体化。相应的，本发明实施例的方法包括：

s310、预先建立与至少一个教练任务对应的至少一个知识库。

s320、在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库。

在本实施例中，所述知识库中除了包括有：与所述目标教练任务匹配的教练步骤集合之外，还可以包括有：与所述目标教练任务匹配的至少一个问答知识点；

其中，所述问答知识点包括：标准问题，至少一个扩展问题以及标准答案；

所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配，所述标准答案用于作为交互答案反馈给所述用户。

问答知识点最原始和最简单的形式就是平时常用的faq，一般的形式是“问-答”对。例如，“彩铃的资费”就是表达清晰的标准问描述。这里的“问”不应被狭义地理解为“询问”，而应广义地来理解一“输入”，该“输入”具有对应的“输出”。例如，对于用于控制系统的语义识别而言，用户的一个指令，例如“打开收音机”也应可以被理解为是一个“问”，此时对应的“答”可以是用于执行相应控制的控制程序的调用。

用户在向机器输入时，最理想的情况是使用标准问题，则机器的智能语义识别系统马上能够理解用户的意思。然而，用户往往并非使用的是标准问题，而是标准问题的一些变形的形式。例如，若对于收音机的电台切换的标准问题形式是“换一个电台”，那么用户可能使用的命令是“切换一个电台”，机器也需要能够识别用户表达的是同一个意思。

对于智能语义识别而言，知识库里需要有标准问题的扩展问题，该扩展问题与标准问题表达形式有略微差异，但是表达相同的含义。

在本实施例中，问答服务除了可以针对用户的步骤询问类问题进行解答之外，进一步还可以针对用户针对整个目标教练任务所提出的问题(也即，教练知识询问类问题)进行解答，以进一步丰富问答服务所能提供的功能。

在一个具体的例子中，针对一个“xx设备的维护”的目标教练任务，以及预先建立与该目标教练任务匹配的多个问答知识点，可以构造如表1所示的问答知识点。

具体的，所述问答知识点中标准问题以及扩展问题的内容，可以通过日常教练过程中实际收集的用户问题确定，或者通过各种问题征集方式(问卷调查或者在线问答)的方式获取，本实施例对此并不进行限制。

表1

s330、通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤。

s340、接收所述用户输入的交互问题。

s350、判断所述交互问题的问题类型：如果确定所述交互问题为步骤询问类问题时，执行s360；如果确定所述交互问题为教练知识询问类问题，则执行s370。

在本实施例中，可以通过关键词匹配，或者语义识别的方式，确定所述交互问题为步骤询问类问题或者教练知识询问类问题。

在一个具体的例子中，如果一个交互问题中包括了：“为什么”、“怎样”或者“如何”等询问类的关键词，可以确定该交互问题为教练知识询问类问题。

更简单的，可以首先确定所述交互问题是否为步骤询问类问题，如果不是的话，可以直接将该交互问题确定为所述教练知识询问类问题。

s360、获取与所述步骤询问类问题匹配的目标步骤的位置识别信息，执行s380。

s370、将所述交互问题与所述知识库中的所述问答知识点进行匹配，执行s3120。

具体的，将所述交互问题与所述知识库中的各个标准问题或者与标准问题对应的至少一个扩展问题进行匹配，并获取与匹配上的标准问题或者扩展问题对应的标准答案作为交互答案提供给所述用户。

s380、判断所述位置识别信息的信息类型：如果位置识别信息为相对于当前教练步骤的相对位置识别信息，则执行s390；如果位置识别信息为绝对位置识别信息，则执行s3100。

s390、根据所述当前教练步骤在所述教练步骤集合中的步骤位置，以及所述相对位置识别信息，在所述教练步骤集合中确定所述目标步骤，执行s3110。

s3100、根据所述绝对位置识别信息，在所述教练步骤集合中确定所述目标步骤，执行s3110。

s3110、将与所述目标步骤对应的所述步骤提示信息作为交互答案，反馈给所述用户。

s3120、将匹配得到的所述交互答案反馈给所述用户。

本发明实施例的技术方案提供了一种在所述交互问题为教练知识询问类问题时，将所述交互问题与所述知识库中的所述问答知识点进行匹配，将匹配得到的所述交互答案反馈给所述用户的问答服务提供方式。针对用户基于当前执行的目标教练任务所提出的各类相关问题，进行有针对性的解答，可以在不使用任何人力成本投入的前提下，达到为每个用户配备独立的机器人教练，定制化为用户提供所需问题的答案的技术效果，极大的节约了人力成本，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

在上述各实施例的基础上，所述知识库中还可以包括：与所述沉浸式场景匹配的至少一个指令控制知识点；

所述指令控制知识点包括：用户标准控制指令，至少一个用户扩展控制指令以及机器执行指令；

所述用户标准控制指令或者用户扩展控制指令用于与所述用户输入的交互问题进行匹配，所述机器执行指令用于对所述沉浸式场景中的至少一个功能选项进行操作控制。

其中，所述用户标准控制指令，是指用于对所述沉浸式场景中的至少一个功能选项进行操作控制的指令，例如：“打开(或者开启)摄像头”、“关闭操作引导”或者“提高(或者调亮)屏幕显示亮度”等。其中，不同的用户标准控制指令或者用户扩展控制指令，对应一个可以被机器识别并执行的机器执行指令。

相应的，在接收所述用户输入的交互问题之后，还可以包括：

当确定所述交互问题为用户控制指令时，将所述交互问题与所述知识库中的所述指令控制知识点进行匹配；将匹配得到的所述机器执行指令，通过调用所述沉浸式场景提供的访问接口提供给所述沉浸式场景，以对所述沉浸式场景中匹配的功能选项进行操作控制。

其中，可以通过关键词识别，或者语义识别的方式，确定所述交互问题为用户控制指令。在一个具体的例子中，如果一个交互问题中包括了：“打开”、“关闭”、“调亮”或者“调暗”等控制类的关键词，可以确定该交互问题为用户控制指令。

这样设置的好处是：进一步丰富了问答服务所能提供的功能，进一步减少了用户的手动操作的工作量，辅助提高了用户对目标教练任务的执行效率，进而可以提高用户对该沉浸式场景的满意度。

实施例四

图4为本发明实施例四提供的一种沉浸式场景中的问答服务提供装置的结构示意图，如图4所示，所述装置包括：知识库建立模块410、知识库调取模块420，当前教练步骤获取模块430以及问答交互模块440。其中：

知识库建立模块410，用于预先建立与至少一个教练任务对应的至少一个知识库；

知识库调取模块420，用于在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库；

当前教练步骤获取模块430，用于通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤；

问答交互模块440，用于根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

本发明实施例提供的沉浸式场景中的问答服务提供装置，通过调用沉浸式场景提供的访问接口，和/或通过采集用户在沉浸式场景中的体感操作数据，获取用户在所述沉浸式场景中所处的当前教练步骤，可以在沉浸式场景中针对当前教练步骤与用户进行问答交互。本发明实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果，在大大缩短用户在教练过程中所提出问题的响应时间的前提下，极大的减少了人力成本的投入，进一步优化了现有的沉浸式教练服务，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

在上述各实施例的基础上，所述知识库中可以包括：与所述目标教练任务匹配的教练步骤集合；

其中，所述教练步骤集合中的每项教练步骤分别匹配对应的步骤提示信息；在所述教练步骤集合中，预先标注所述每项教练步骤在所述教练步骤集合中的步骤位置。

在上述各实施例的基础上，问答交互模块440，可以具体包括：

交互问题接收单元，用于接收所述用户输入的交互问题；

位置识别信息获取单元，用于当确定所述交互问题为步骤询问类问题时，获取与所述步骤询问类问题匹配的目标步骤的位置识别信息；

第一目标步骤确定单元，用于如果所述位置识别信息为相对于当前教练步骤的相对位置识别信息，则根据所述当前教练步骤在所述教练步骤集合中的步骤位置，以及所述相对位置识别信息，在所述教练步骤集合中确定所述目标步骤；

第一交互答案反馈单元，用于将与所述目标步骤对应的所述步骤提示信息作为交互答案，反馈给所述用户。

在上述各实施例的基础上，所述第一目标步骤确定单元可以具体用于：

按照预设的关键词匹配方式，识别所述相对位置识别信息中的步骤搜索方向以及步骤搜索距离；

在所述教练步骤集合中，以所述当前教练步骤的步骤位置为起点，按照所述步骤搜索方向查找所述步骤搜索距离，得到所述目标步骤。

在上述各实施例的基础上，还可以包括：第二目标步骤确定单元，用于在所述获取与所述步骤询问类问题匹配的需求步骤的位置识别信息之后，如果确定所述位置识别信息为绝对位置识别信息，则根据所述绝对位置识别信息，在所述教练步骤集合中确定所述目标步骤。

在上述各实施例的基础上，还可以包括，主动提示模块，用于：

当进行操作引导时，通过调用所述沉浸式场景提供的访问接口，实时监控所述当前教练步骤的用户完成情况；

在检测到所述用户完成所述当前教练步骤时，在所述教练步骤集合中，获取所述当前教练步骤的下一教练步骤；

将与所述下一教练步骤对应的步骤提示信息提供给所述用户。

在上述各实施例的基础上，所述知识库中还可以包括：与所述目标教练任务匹配的至少一个问答知识点；

所述问答知识点可以包括：标准问题，至少一个扩展问题以及标准答案；

所述标准问题或者扩展问题用于与所述用户输入的交互问题进行匹配，所述标准答案用于作为交互答案反馈给所述用户。

在上述各实施例的基础上，还可以包括，第二交互答案反馈单元，用于：

在接收所述用户输入的交互问题之后，当确定所述交互问题为教练知识询问类问题时，将所述交互问题与所述知识库中的所述问答知识点进行匹配；将匹配得到的所述交互答案反馈给所述用户。

在上述各实施例的基础上，所述知识库中还可以包括：与所述沉浸式场景匹配的至少一个指令控制知识点；

所述指令控制知识点可以包括：用户标准控制指令，至少一个用户扩展控制指令以及机器执行指令；

所述用户标准控制指令或者用户扩展控制指令用于与所述用户输入的交互问题进行匹配，所述机器执行指令用于对所述沉浸式场景中的至少一个功能选项进行操作控制。

在上述各实施例的基础上，还可以包括，操作控制单元，用于在接收所述用户输入的交互问题之后，当确定所述交互问题为用户控制指令时，将所述交互问题与所述知识库中的所述指令控制知识点进行匹配；

将匹配得到的所述机器执行指令，通过调用所述沉浸式场景提供的访问接口提供给所述沉浸式场景，以对所述沉浸式场景中匹配的功能选项进行操作控制。

在上述各实施例的基础上，当前教练步骤获取模块430，可以具体用于：

根据采集的所述体感操作数据，以及教练步骤与体感操作数据之间的映射关系，确定所述用户在所述沉浸式场景中所处的当前教练步骤。

在上述各实施例的基础上，还可以包括，教练状态评分模块，用于：

在确定所述用户完成所述沉浸式场景中的所述目标教练任务时，获取所述用户在所述目标教练任务的进行过程中输入的至少一个语音形式的交互问题；

对所述至少一个语音形式的交互问题进行语音特征分析；

根据语音特征分析结果，确定所述用户的情绪状态，并根据所述情绪状态，对所述用户针对所述目标教练任务的教练状态评分。

上述沉浸式场景中的问答服务提供装置可执行本发明任意实施例所提供的沉浸式场景中的问答服务提供方法，具备执行的沉浸式场景中的问答服务提供方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的沉浸式场景中的问答服务提供方法。

也即：所述处理单元执行所述程序时实现：预先建立与至少一个教练任务对应的至少一个知识库；在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库；通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤；根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的沉浸式场景中的问答服务提供方法：

也即：该程序被处理器执行时实现：预先建立与至少一个教练任务对应的至少一个知识库；在检测到用户进入沉浸式场景中执行目标教练任务时，调取与所述目标教练任务匹配的知识库；通过调用所述沉浸式场景提供的访问接口，和/或通过采集所述用户在所述沉浸式场景中的体感操作数据，获取所述用户在所述沉浸式场景中所处的当前教练步骤；根据所述当前教练步骤以及所述知识库，在所述沉浸式场景中与所述用户进行问答交互，以向所述用户提供与所述沉浸式场景匹配的问答服务。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

实施例七

图6为本发明实施例七提供的一种沉浸式教练系统的结构示意图，所述系统包括：沉浸式场景服务设备610、问答服务设备620、输入端器件630、输出端器件640以及存储器件650；所述沉浸式场景服务设备610包括：操作输入设备660以及场景控制器670；

所述操作输入设备660与所述场景控制器670电连接，所述输入端器件630、所述输出端器件640以及所述存储器件650分别与所述问答服务设备620电连接，所述问答服务设备620通过访问接口671与所述场景控制器670通信连接，以获取所述沉浸式场景服务设备610中用户需要执行的目标教练任务；

所述操作输入设备660，用于接收所述用户在所述沉浸式场景中输入的用户操作指令，提供给所述场景控制器670；

所述存储器件650，用于存储与至少一个教练任务匹配的知识库；

所述输入端器件630，用于获取用户输入的交互问题发送至所述问答服务设备620；

所述问答服务设备620，用于根据接收的所述交互问题，以及根据所述目标教练任务从所述存储器件650中获取的知识库，确定匹配的交互答案提供给所述输出端器件640；

所述输出端器件640，用于向所述用户提供所述交互答案。

在本实施例中，操作输入设备660以及场景控制器670共同构成的沉浸式场景服务设备610，用于向用户提供沉浸式的场景(3d沉浸式场景)，并在该沉浸式场景中，向用户提供目标教练任务进行训练或者学习。

典型的，所述沉浸式场景服务设备具体可以包括：虚拟现实场景服务设备，和/或增强现实场景服务设备。

其中，所述操作输入设备660可以具体包括：至少一个手柄输入设备，用户通过操作该手柄输入设备，可以对应执行所述目标教练任务中的各个教练步骤，同时，场景控制器670通过采集用户通过该手柄输入设备输入的体感操作数据，可以对用户对目标教练任务的执行情况进行评分。

进一步的，所述操作输入设备660还可以为与目标教练任务匹配的定制化硬件设备，例如，如果目标教练任务为“xx仪器的维修任务”，则所述操作输入设备660，可以为与该“xx设备”的各项显示外观项，以及可操控组件配套的硬件实体设备。

进一步的，所述沉浸式场景服务设备610还可以包括：视频输出设备；所述视频输出设备与所述场景控制器670电连接；

所述视频输出设备，用于根据所述场景控制器提供的场景展示信息，向所述用户展示与所述目标教练任务匹配的所述沉浸式场景。

具体的，所述视频输出设备可以包括：头显设备、显示屏，以及投影设备等可以用来提供显示视频的各类硬件设备。其中，所述头显设备可以包括：智能头盔或者智能眼镜等随身式的显示设备，以提高用户在该沉浸式场景中的自由度。

在本实施例中，所述问答服务设备620与所述沉浸式场景服务设备610配合使用，用于在用户在沉浸式场景中执行目标教练任务的过程中，向用户提供与所述目标教练任务匹配的问答服务。具体的，所述问答服务设备620可以通过调用所述沉浸式场景服务设备610中的场景控制器670所提供的访问接口671(典型的，api)，获取用户在所述沉浸式场景中所执行的目标教练任务，进而可以从所述存储器件650中获取匹配的知识库，并基于该知识库与所述用户进行问答交互。

具体的，所述存储器件650可以为与该问答服务设备620通信连接的网络存储器，或者与该问答服务设备620电连接的各种外部存储器，例如，硬盘、tf(trans-flash)卡、sd(securedigitalmemory)卡或者内存条等，本实施例对此并不进行限制。

在本实施例中，所述输入端器件630可以为：麦克风或者麦克风阵列等，用以获取用户输入的，声音形式的交互问题，相应的，所述输出端器件640可以为：扬声器、扬声器阵列或者音响等，用以将问答服务设备620提供的交互答案，以声音的形式反馈给该用户。

当然，该输入端器件630以及输出端器件640还可以为其他类型的输入输出器件，例如，显示屏幕或者电子白板等。或者，所述输入端器件630以及输出端器件640可以与该沉浸式场景服务设备610中的已有硬件，例如，视频输出设备，进行共用，本实施例对此并不进行限制。

本发明实施例提供的沉浸式教练系统，通过对沉浸式场景服务设备以及问答服务设备的配合使用，可以在沉浸式场景中针对用户执行的目标教练任务与用户进行有针对性的问答交互。本发明实施例的技术方案实现了使用机器提供的问答服务替代实际的教练人员的技术效果，在大大缩短用户在教练过程中所提出问题的响应时间的前提下，极大的减少了人力成本的投入，进一步优化了现有的沉浸式教练服务，实现了在用户在沉浸式场景中执行教练任务的过程中，向用户提供有效的问答服务的技术效果。

实施例八

图7为本发明实施例八提供的一种沉浸式教练系统的结构示意图，在上述各实施例的基础上，所述系统还包括：远端服务器710；所述远端服务器710与所述问答服务设备通信连接。

所述问答服务设备还用于，将所述交互问题，以及所述目标教练任务发送至所述远端服务器710，并接收所述远端服务器710反馈的交互答案；

所述远端服务器710，用于根据接收的交互问题以及所述目标教练任务，确定交互答案反馈至所述问答服务设备。

进一步的，所述系统还包括：无线通信器件720，所述无线通信器件720与所述问答服务设备电连接；

所述无线通信器件720，用于建立所述问答服务设备与所述远端服务器710之间的通信连接。

其中，所述无线通信器件720，可以为移动通信模块(例如，4g通信模块或者5g通信模块等)，也可以为wi-fi(wirelessfidelity，无线保真)模块等，本实施例对此并不进行限制。

在本实施例中，为了进一步减少问答服务设备的处理负担，可以将获取与交互问题匹配的交互答案的操作，放在处理速度更快的远端服务器中，以提高交互答案的反馈速度，并极大的减少了问答服务设备的处理负担。

实施例九

图8为本发明实施例九提供的一种可穿戴设备的结构示意图。其中，所述可穿戴设备中，包括有如本发明任一实施例所述的沉浸式教练系统。

在本实施例中，通过将沉浸式教练系统集成于可穿戴设备之上，可以实现对沉浸式场景以及问答服务的集成，进一步提高用户的使用体验。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。