一种基于意图理解的智能实验方法

1.本发明涉及数据处理技术领域，尤其涉及一种基于意图理解的智能实验方法。


背景技术：

2.随着虚拟现实技术的发展，目前已经越来越多的应用于人们生产、生活及科研教育活动中。而在教学中，虚拟现实技术由于其具备交互性特征、智能化的三维动态视觉与虚拟行为模仿系统，能够将学习者更快引入到不同的情境中，能够克服许多现实教学中的局限。
3.例如，目前许多化学实验设计在虚实融合的实验平台上进行，在虚拟平台中，利用融合的实物交互套件，可以有真实的操作过程，虚拟的实验现象展示。
4.依据心流理论，心流体验是一种在做某件事情时，忘记疲劳、时间以及当前这件事情本身以外的其他事情的一种完全沉浸的感觉，如果在实验过程中学生也可以达到这样一种状态，通过营造合理的情景，引导不同基础的学生找到学习的自信和可着地点，给学生明确且符合其能力的学习目标，最大程度激发学生的学习兴趣，使其逐渐获得心流体验，这种体验就会成为学生不断迎接挑战和实现自我成长的动力。
5.在实际使用时，交互系统使用了多通道采集操作者的各种包括静态信息和动态信息，但如何将多通道的各种信息数据进行融合并更准确的预测操作者的意图并将意图预测的结果应用到趣味学习模式设计中，融合心流理论来设计趣味学习策略，提高学生的学习兴趣和学习效率，是目前虚拟现实在化学实验应用的一个应用热点。


技术实现要素：

6.本发明针对现有技术的不足，提供了一种依据获得心流体验学习模式的基于意图理解的智能实验方法。
7.本发明是通过如下技术方案实现的，提供一种基于意图理解的智能实验方法，其特征在于，首先进行多模态融合意图理解，然后再采用弱点捕获反馈机制、个性化动态实验模式匹配策略和人机竞赛答题策略的策略；所述的多模态融合意图理解包括以下步骤：（1）多通道数据处理；首先设定初始概率，建立基于实验者操作行为的状态转移概率模型，此模型为一个矩阵，从j状态到i状态的转移概率记为；建立了行为意图库，采集场景通道、语音通道的信息，将信息处理后进行量化匹配；对于位置信息的计算，根据实时捕获的手坐标和场景中各器材的坐标，通过公式（1）得到当前位置通道意图概率，
（1）其中，为位置通道第i个意图的概率，r是一个根据大量实验设置的操作意图概率激增区域，s1，s2，s3表示距离，为r区域内的概率权重；对于运动方向的计算，实时捕获手的移动轨迹，计算手的运动方向与场景中各器材的方位关系，得到一个概率值，具体计算方法如公式（2），（2）其中，为方向通道第i个意图的概率，为第i个器材到手部运动轨迹的距离；对于语音信息，首先根据不同实验意图集的意图建立语音数据库，其中，语音数据库与化学实验的意图集一一对应，表示实验类型，表示该实验中第个意图对应的语音，代表该实验的意图个数，整理出意图集中每种意图不同的关键字，采用百度api获取语音文本信息，然后提取关键字，计算系统捕获到的关键字与意图库中每个意图关键字的匹配程度来实时计算根据语音信息计算出来的每个意图的概率；（2）多通道信息融合；首先，对获取到的各通道动态信息进行融合，采用计算每个通道意图概率方差来得到每个通道的权重，具体公式如下，（3）其中，代表位置、方向、语音三个通道，为每个通道的权重，为第个通道第i个意图的概率，为第个通道中n个意图的平均概率；最终每个意图的动态信息预测概率为（4）将静态信息得到的预测概率与动态信息得出的概率相结合，得到融合之后的意图概率，公式如下（5）其中，为预测的第i个意图的概率，为从第意图库中第j个意图到底i个意图的状态转移概率，为融合动态信息得到的第i个意图的概率；选择所对应的最大的为预测出来的当前意图。
8.作为优选，在监测用户实验操作的流畅度以及操作步骤，设置弱点捕获反馈机制，弱点捕获及反馈再学习过程如下：（1）记录可疑弱点知识：实时监测实验者的操作过程，记录实验者被引导和警示的点；（2）对弱点知识进行再学习：去题库中匹配与捕获的弱点知识符合度最高的题目进行测试，如果在引导和警示完，实验者已经掌握了这个知识点，那么继续进行下一步实验；否则，计算机对该知识点进行语音或者视频讲解，完成后再次从题库抽取题目进行测试，直至答题正确，意味着实验者对该知识点已经完全掌握，在实验结束后，计算机会返回一个弱点知识点的总结，来帮助学生更直观的看到自己的薄弱点并加以针对性复习。
9.作为优选，通过监测实验者的操作时间和准确率，根据每个实验者不同的实验状态，设置个性化实验模式，包括如下策略，（1）及时的激励：当实验者很好的完成某一步，系统会根据完成的时间和操作规范度发放相应的奖励，这里采用虚拟金币的形式；（2）智能导航：系统实时监测实验者的操作过程，当检测到实验者停留在某一步的时间过长无法快速进行下一步，系统会进行及时的引导；同时，通过意图理解，计算机预测到实验者即将做一个错误的操作，系统也会进行警示；（3）智能设障：设置隐藏关卡，当实验者操作顺畅，整个实验过程达到某个条件时，可以解锁相应的隐藏关卡，隐藏关卡的设置是对于当前基础实验知识点的拓展和拔高，实验者在学习到更多知识的同时还可以获得额外的金币奖励。
10.综上所述，本发明可以对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重，能够根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率，另外设计加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。本发明具有理解用户意图精准并且大大提升了学习者的学习专注度和效率的有益效果。
附图说明
11.图1为本发明的基于意图理解的智能实验方法的整体架构示意图；图2为本发明基于意图理解的智能实验方法中弱点捕获反馈机制流程结构示意图。
具体实施方式
12.为能清楚说明本发明方案的技术特点，下面结合附图，并通过具体实施方式，对本方案进一步阐述。
13.如图1至图2中所示，本发明提供一种基于意图理解的智能实验方法，首先进行多模态融合意图理解，然后再采用弱点捕获反馈机制、个性化动态实验模式匹配策略和人机竞赛答题策略；所述的多模态融合意图理解包括以下步骤：（1）多通道数据处理；
首先设定初始概率，邀请了多名不同年级的同学依次对浓硫酸稀释实验进行操作，并记录他们的操作顺序和所选仪器，分析建立基于实验者操作行为的状态转移概率模型，此模型为一个的矩阵，从j状态到i状态的转移概率记为；动态信息包含多个通道，可以更好的实现信息补充，提升预测结果的精度，从而提高预测模型的鲁棒性，在本实施例中，建立了行为意图库，采集场景通道、语音通道的信息，将信息处理后进行量化匹配；对于位置信息的计算，根据实时捕获的手坐标和场景中各器材的坐标，通过公式（1）得到当前位置通道意图概率，（1）其中，为位置通道第i个意图的概率，r是一个根据大量实验设置的操作意图概率激增区域，s1，s2，s3表示距离，为r区域内的概率权重；对于运动方向的计算，实时捕获手的移动轨迹，计算手的运动方向与场景中各器材的方位关系，得到一个概率值，具体计算方法如公式（2），（2）其中，为方向通道第i个意图的概率，为第i个器材到手部运动轨迹的距离；对于语音信息，首先根据不同实验意图集的意图建立语音数据库，其中，语音数据库与化学实验的意图集一一对应，表示实验类型，表示该实验中第个意图对应的语音，代表该实验的意图个数，整理出意图集中每种意图不同的关键字，采用百度api获取语音文本信息，然后提取关键字，计算系统捕获到的关键字与意图库中每个意图关键字的匹配程度来实时计算根据语音信息计算出来的每个意图的概率；（2）多通道信息融合；首先，对获取到的各通道动态信息进行融合，采用计算每个通道意图概率方差来得到每个通道的权重，具体公式如下，（3）其中，代表位置、方向、语音三个通道，为每个通道的权重，为第个通道第i个意图的概率，为第个通道中n个意图的平均概率；最终每个意图的动态信息预测概率为
（4）将静态信息得到的预测概率与动态信息得出的概率相结合，得到融合之后的意图概率，公式如下（5）其中，为预测的第i个意图的概率，为从第意图库中第j个意图到底i个意图的状态转移概率，为融合动态信息得到的第i个意图的概率；选择所对应的最大的为预测出来的当前意图。
14.基于上述意图理解融合策略，可以得到用户接下来的操作意图，根据正确的实验流程来对当前用户的操作进行干预，同时，在实验过程中加入趣味学习元素，设置趣味学习策略，对不同水平的学生匹配不同的趣味学习策略，更好地辅助用户进行高效学习，最后，系统给出学习评价反馈，方便用户进行反思总结再学习，在本实施例中，在监测用户实验操作的流畅度以及操作步骤，设置弱点捕获反馈机制，弱点捕获及反馈再学习过程如下：（1）记录可疑弱点知识：实时监测实验者的操作过程，记录实验者被引导和警示的点；（2）对弱点知识进行再学习：去题库中匹配与捕获的弱点知识符合度最高的题目进行测试，如果在引导和警示完，实验者已经掌握了这个知识点，那么继续进行下一步实验；否则，计算机对该知识点进行语音或者视频讲解，完成后再次从题库抽取题目进行测试，直至答题正确，意味着实验者对该知识点已经完全掌握，在实验结束后，计算机会返回一个弱点知识点的总结，来帮助学生更直观的看到自己的薄弱点并加以针对性复习。
15.为了适应不同基础的学生，让计算机可以有效、高效的协同学生进行正确有序的实验，在本实施例中的趣味学习模式中，通过监测实验者的操作时间和准确率，根据每个实验者不同的实验状态，设置个性化实验模式，包括如下策略，（1）及时的激励：当实验者很好的完成某一步，系统会根据完成的时间和操作规范度发放相应的奖励，这里采用虚拟金币的形式；（2）智能导航：系统实时监测实验者的操作过程，当检测到实验者停留在某一步的时间过长无法快速进行下一步，系统会进行及时的引导；同时，通过意图理解，计算机预测到实验者即将做一个错误的操作，系统也会进行警示；（3）智能设障：设置隐藏关卡，当实验者操作顺畅，整个实验过程达到某个条件时，可以解锁相应的隐藏关卡，隐藏关卡的设置是对于当前基础实验知识点的拓展和拔高，实验者在学习到更多知识的同时还可以获得额外的金币奖励。
16.在学习过程中，对学习者提供及时的反馈非常重要，对实验者来说，积极的反馈可以说明他们当前学习行为的有效性，可以确保他们对应用的控制感，同时，也可以让他们在学习过程中有更明确的目标。因此，在本实施例中实验结束后，设置一个知识竞答模块，计算机和实验者同时做题，给计算机设置反应时间，实验者和机器进行抢答，抢答正确会加分，抢答错误会被扣分，放弃抢答则不加分也不扣分，如果实验者最后输给计算机，则之前所有的金币奖励清零；反之，如果实验者战胜了计算机，则会根据整个实验过程中实验者获
得的金币情况授予不同的头衔，包括“差强人意”、“得心应手”、“游刃有余”、“炉火纯青”。
[0017] 在本实施中，还给出算法描述如下：算法名称：基于静态信息与动态信息融合的多模态融合意图概率获取算法（vcsig算法）输入：语音信息（v）、摄像头捕获的场景位置信息（c）、状态转移概率（s）、知识库信息（d）输出：用户当前操作意图（i）、趣味学习策略（g）1.while（c）：2.
ꢀꢀꢀꢀꢀꢀꢀꢀ
computer using the formula (1);3.
ꢀꢀꢀꢀꢀꢀꢀ
computer using the formula (2);4.
ꢀꢀꢀꢀꢀ
（）/*compare keywords to get intention probability*/probability*//* each intention probability of voice channel is 0*/5.
ꢀꢀꢀꢀꢀ
computer using the formula (3);（）/*the weight is calculated according to the information value content of each channel*/6.
ꢀꢀꢀꢀꢀꢀꢀꢀ
computer using the formula (4);/* the information of each channel is weighted and summed*/7.
ꢀꢀꢀꢀꢀ
was obtained through a large number of experimental statistics8.
ꢀꢀꢀꢀꢀ
computerp using the formula (5);/*fusion of static information and dynamic information*/9.
ꢀꢀꢀꢀꢀ
/*takethe intention corresponding to as the final result*/10. ：11.recording time t；12. 13. record current operation process,executegame strategy/*warning*/14. 15. record current operation process,executegame strategy/*guide*/16. 17. unlock hidden level/*hide levels to improve current knowledge*/18. returnoend多模态融合意图理解的主要难点在于对于多通道信息的处理问题，有些通道信息
不完整，有些通道的信息有冗余，这些都会影响意图理解的准确性，我们需要正确区分有效信息并加以利用，得到更精准的意图。同时，当前很多虚拟仿真实验系统的设计过于流程化，不够灵活，趣味学习模式的设计是为了让用户专注于学习的过程，提高用户的学习效率。
[0018]
在本实施例中，当前基于静态信息与动态信息融合的多模态融合意图概率获取算法的优点在于，（1）可以对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重；（2）根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率；（3）加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。
[0019]
最后，还应说明，上述举例和说明也并不仅限于上述实施例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围。