一种内容交互方法及其系统的制作方法
【专利摘要】本发明涉及一种内容交互方法及其系统，其中内容交互系统包括：视频采集单元(10)、第一计算终端(20)、第二计算终端(30)、触摸显示设备(40)和语音输出单元(50)；其中，视频采集单元(10)对场景中的识别图进行采集；第一计算终端(20)对采集的识别图进行识别确认；当识别确认成功后，通过输出预制的互动内容；用户通过互动内容进行互动时，第一计算终端(20)存储并向第二计算终端(30)发送互动的步骤和内容；第二计算终端(30)根据互动的步骤和内容进行统计分析，以及将分析结果反馈给第一计算终端(20)，进而调整互动内容。本发明通过虚拟模型的建立与实现，实现了在虚实结合的界面上的人机互动。
【专利说明】
一种内容交互方法及其系统
技术领域
[0001]本发明涉及基于教育思维的AR互动技术，尤其涉及一种内容交互方法及其系统。
【背景技术】
[0002]增强现实(Augmented Reality，简称AR)技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
[0003]现有互动技术的应用，在课堂的互动教学系统，是二维的，互动的内容是平面的素材，无法360度观察到素材。并且，现有互动技术在课堂教学中的应用，因为没有与AR技术结合，因此只能虚拟界面与真实场景割裂的呈现在儿童面前，不便于儿童建立对真实事物的认知。
[0004]现有AR技术用于儿童教育，只能实现单对单的操作，不能应用于课堂满足一对多的互动场景，也就是不能投射到大屏幕上并在屏幕上实现互动。并且不能实现复杂互动教学环境和逻辑，比如出现多动画和动画之间的互动。同样，也存在不支持对互动过程中对互动结果和效果的反馈。
【发明内容】
[0005]本发明的目的在于，解决上述现有互动技术应用在课堂教学中的存在的不足。
[0006]为实现上述目的:一方面，本发明提供了一种内容交互系统，该系统包括:视频采集单元、第一计算终端、第二计算终端、触摸显示设备和语音输出单元;其中，视频采集单元对场景中的识别图进行采集;第一计算终端对采集的识别图进行识别确认；当识别确认成功后，通过输出预制的互动内容;用户通过互动内容进行互动时，第一计算终端存储并向第二计算终端发送互动的步骤和内容;第二计算终端根据互动的步骤和内容进行统计分析，以及将分析结果反馈给第一计算终端，进而调整互动内容。
[0007]优选地，触摸显示设备是基于教学思维的AR互动机制对交互内容进行交互。
[0008]优先地，第一计算终端具体用于:记录互动的步骤和内容，互动的步骤和内容包括:用户在某个时间点在触摸显示设备的某个位置，执行的互动操作，完成的进展，以及耗时。
[0009]优选地，第二计算终端具体用于:对互动的步骤和内容进行统计分析，完成互动的步骤的逻辑判断和处理，实现对用户进行交互完成情况的能力判断，根据评估结果对用户交互情况进行分级；如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度;如果分级结果低于用户应具备的能力，则提高交互过程难度;上述调整的结果发送到第一计算终端，进而改变交互过程的难度。
[0010]另一方面，本发明提供了一种内容交互方法，该方法包括以下步骤:
[0011]对场景中的识别图进行采集;对采集的识别图进行识别确认；当识别确认成功后，输出预制的互动内容；用户通过互动内容进行互动时，存储并发送互动的步骤和内容;根据互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容。
[0012]优选地，用户通过互动内容进行互动步骤是基于教学思维的AR互动机制对交互内容进行交互。
[0013]优选地，存储并发送互动的步骤和内容步骤包括:记录互动的步骤和内容，互动的步骤和内容包括:用户在某个时间点在触摸显示设备的某个位置或在屏幕上的手势操作路径，执行的互动操作，完成的进展，以及耗时。
[0014]优选地，根据互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容步骤包括:对互动的步骤和内容进行统计分析，完成互动的步骤的逻辑判断和处理，实现对用户进行交互完成情况的能力判断，根据评估结果对用户交互情况进行分级；如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度；如果分级结果低于用户应具备的能力，则提高交互过程难度;依据上述调整的结果进而改变交互过程的难度。
[0015]本发明通过虚拟模型的建立与实现，实现了在虚实结合的界面上的人机互动。
【附图说明】
[0016]图1为本发明实施例提供的一种内容交互系统结构示意图；
[0017]图2为本发明实施例提供的一种内容交互方法流程示意图；
[0018]图3为本发明实施例提供的第一类内容交互模型示意图；
[0019]图4为本发明实施例提供的第一类内容交互模型示意图；
[0020]图5为本发明实施例提供的第二类内容交互模型示意图；
[0021 ]图6为本发明实施例提供的第二类内容交互模型示意图；
[0022]图7为本发明实施例提供的第三类内容交互内容示意图。
【具体实施方式】
[0023]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0024]图1为本发明实施例提供的一种内容交互系统结构示意图。如图1所示，该内容交互系统包括:视频采集单元10、第一计算终端单元20、第二计算终端30、触摸显示设备40和语音输出单元50;其中，视频采集单元10用于对场景中的识别图进行采集;第一计算终端20用于对场景中的识别图进行识别确认；当识别确认成功后，通过输出预制的互动内容；用户通过预制的互动内容进行互动时，第一计算终端20把用户和触摸显示设备40上展示的内容互动的步骤和内容记录下来，通过互联网传输到第二计算终端30，由第二计算终端30根据互动的步骤和内容进行统计分析，以及将分析结果反馈给所述第一计算终端20，进而调整互动内容。
[0025]具体地，用户使用触摸显示设备40和预制的互动内容进行交互，交互的内容遵守的基于教学思维的AR互动(Teaching Minding Augmented real itylnteractive，简称TMAI)技术。第一计算终端20把交互的过程记录下来，比如什么时间在触摸显示设备40屏幕的什么位置，执行了哪些互动操作，完成的情况，耗时多久;然后把这些数据通过网络发送到第二计算终端30，在第二计算终端30完成对这些操作的逻辑判断和处理，实现对用户进行交互完成情况的一个能力判断，根据评估结果对用户交互情况进行分级。如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度;如果分级结果低于用户应具备的能力，则提高交互过程的难度。这些调整的结果，通过互联网由第二计算终端30发送到第一计算终端20，从而改变交互过程的难度。
[0026]在第一个例子中(如图3和图4所示)，用户使用第一计算机终端20进行数学运算学习，开始交互的内容是把触摸显示设备40屏幕上的图形拖拽到相应的位置，需要分别找到正确的目标，和拖拽到正确的位置，这个互动考察用户的识别能力和手眼协调能力(即用户通过触摸显示设备40屏幕中的字母“C”拖曳到字母C区域位置，拖曳成功后如图4所示)。在用户交互操作的过程中，第一计算终端20会把用户识别操作的正确与否、时间、重复次数，以及拖拽操作的准确与否、时间、连续性、重复次数一起记录下来，并和用户信息一起发送到第二计算终端30，然后由第二计算终端30对这些记录的操作数据进行处理，当判断用户的完成指标满足该用户正常能力要求时，则不进行难度调整。当发现指标和用户正常能力不符时，则调整互动难度，并给予人工干预指示。
[0027]在第二个例子中(如图5和图6所示)，第一计算终端20对场景中的识别图进行识别确认后通过触摸显示设备40输出如图5所示预制的互动内容；用户通过触摸显示设备40屏幕上的图形进行图形识别学习，例如，用户在触摸显示设备40屏幕上显示的图形中单击选中能够填补到屏幕底部图形中空白部分的图形(如图6所示)。用户正确操作时，触发屏幕上笑脸代表的模型完成以下互动，即模型将正确答案推到屏幕底部的空白处，并给出下一学习任务指令。如果用户选择不正确，笑脸代表的模型则原地不动，摇头，并给出选择错误的提示，鼓励用户再次操作。
[0028]在第三个例子中(如图7所示)，第一计算终端20对场景中的识别图进行识别确认后通过触摸显示设备40输出如图7所示预制的互动内容；用户对触摸显示设备40屏幕上展示的预制的互动内容进行操作，第一计算终端20把用户和触摸显示设备40上展示的内容互动的步骤和内容记录下来，通过互联网传输到第二计算终端30，由第二计算终端30根据互动的步骤和内容进行统计分析，以及将分析结果反馈给所述第一计算终端20，进而调整互动内容。例如，用户单指触摸选中某个3D模型，保持手指长按状态向右。当用户单指触摸在有效区域之后的250毫秒，模型四周发出柔光，提示用户已经选中。当用户完成单指长按向右滑动的操作，200毫秒之后模型沿顺时针水平360度匀速旋转，转速为I度/20毫秒。这样的“触发-反应”时间延迟，以及模型互动反应的速度，符合儿童认知规律。当儿童误操作，例如向左滑动时，屏幕四周边界出现柔光，模型不动，提示用户操作错误。
[0029]本发明通过虚拟模型的建立与实现，实现了在虚实结合的界面上的人机互动。
[0030]图2为本发明实施例提供的一种内容交互方法流程示意图。如图2所示，该方法包括步骤 S101-S103:
[0031]在步骤SlOl，对场景中的识别图进行采集。
[0032]在步骤S102，对采集的识别图进行识别确认；当识别确认成功后，输出预制的互动内容；用户通过所述互动内容进行互动时，存储并发送所述互动的步骤和内容；用户通过所述互动内容进行互动步骤是基于教学思维的AR互动机制对交互内容进行交互。
[0033]优选地，存储并发送所述互动的步骤和内容步骤包括:记录所述互动的步骤和内容，所述互动的步骤和内容包括:用户在某个时间点在触摸显示设备的某个位置，执行的互动操作，完成的进展，以及耗时。
[0034]在步骤S103，根据所述互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容。
[0035]具体地，在对互动的步骤和内容进行统计分析，完成所述互动的步骤的逻辑判断和处理，实现对用户进行交互完成情况的能力判断，根据评估结果对用户交互情况进行分级;如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度;如果分级结果低于用户应具备的能力，则提高交互过程难度;依据上述调整的结果进而改变交互过程的难度。
[0036]专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0037]以上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的【具体实施方式】而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种内容交互系统，其特征在于，包括:视频采集单元(10)、第一计算终端单元(20)、第二计算终端(30)、触摸显示设备(40)和语音输出单元(50);其中， 视频采集单元(10)，用于对场景中的识别图进行采集； 第一计算终端(20)，用于对采集的识别图进行识别确认；当识别确认成功后，通过所述输出预制的互动内容；用户通过所述互动内容进行互动时，所述第一计算终端(20)存储并向所述第二计算单元(30)发送所述互动的步骤和内容； 所述第二计算终端(30)根据所述互动的步骤和内容进行统计分析，以及将分析结果反馈给所述第一计算终端(20)，进而调整互动内容。2.根据权利要求1所述的系统，其特征在于，触摸显示设备(40)是基于教学思维的AR互动机制对交互内容进行交互。3.根据权利要求1所述的系统，其特征在于，所述第一计算终端(20)具体用于: 记录所述互动的步骤和内容，所述互动的步骤和内容包括:用户在某个时间点在所述触摸显示设备(40)的某个位置或在屏幕上的手势操作路径，执行的互动操作，完成的进展，以及耗时。4.根据权利要求1所述的系统，其特征在于，所述第二计算终端(20)具体用于: 对所述互动的步骤和内容进行统计分析，完成所述互动的步骤的逻辑判断和处理，实现对用户进行交互完成情况的能力判断，根据评估结果对用户交互情况进行分级；如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度；如果分级结果低于用户应具备的能力，则提高交互过程难度;上述调整的结果发送到所述第一计算终端(20)，进而改变交互过程的难度。5.—种内容交互方法，其特征在于，包括以下步骤: 对场景中的识别图进行采集； 对采集的识别图进行识别确认；当识别确认成功后，输出预制的互动内容；用户通过所述互动内容进行互动时，存储并发送所述互动的步骤和内容； 根据所述互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容。6.根据权利要求5所述的方法，其特征在于，所述用户通过所述互动内容进行互动步骤是基于教学思维的AR互动机制对交互内容进行交互。7.根据权利要求5所述的方法，其特征在于，所述存储并发送所述互动的步骤和内容步骤包括: 记录所述互动的步骤和内容，所述互动的步骤和内容包括:用户在某个时间点在触摸显示设备的某个位置或在屏幕上的手势操作路径，执行的互动操作，完成的进展，以及耗时。8.根据权利要求5所述的方法，其特征在于，所述根据所述互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容步骤包括: 对所述互动的步骤和内容进行统计分析，完成所述互动的步骤的逻辑判断和处理，实现对用户进行交互完成情况的能力判断，根据评估结果对用户交互情况进行分级；如果分级结果和用户应具备的能力匹配，那么交互过程难度不变;如果分级结果高于用户应具备的能力，则降低交互过程难度；如果分级结果低于用户应具备的能力，则提高交互过程难度;依据上述调整的结果进而改变交互过程的难度。9.根据权利要求5所述的方法，其特征在于，所述根据所述互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容步骤包括: 用户单指触摸选中某个3D模型，保持手指长按状态向右。当用户单指触摸在有效区域之后的250毫秒，模型四周发出柔光，提示用户已经选中。当用户完成单指长按向右滑动的操作，200毫秒之后模型沿顺时针水平360度匀速旋转，转速为I度/20毫秒。10.根据权利要求5所述的方法，其特征在于，所述根据所述互动的步骤和内容进行统计分析，以及依据分析结果进而调整互动内容步骤包括: 用户在触摸显示设备屏幕上显示的图形中单击选中能够填补到屏幕底部图形中空白部分的图形；当用户正确操作时，触发屏幕上笑脸代表的模型完成以下互动，即模型将正确答案推到屏幕底部的空白处，并给出下一学习任务指令;如果用户选择不正确，笑脸代表的模型则原地不动，摇头，并给出选择错误的提示，鼓励用户再次操作。
【文档编号】G06F3/0486GK105843479SQ201610187382
【公开日】2016年8月10日
【申请日】2016年3月29日
【发明人】徐萌, 申剑
【申请人】禾穗（北京）教育科技有限公司