教学交互方法、装置、终端设备及存储介质与流程

本申请涉及人机交互技术领域，更具体地，涉及一种教学交互方法、装置、终端设备及存储介质。

背景技术：

随着互联网、移动通信技术的普及和发展，近年来在线教育被越来越多的人所接受，日益受到资本市场的青睐，在线教育市场份额越来越大。通过人工智能与教育有效的结合，可以实现模拟在线真人老师的教学效果，虚拟智能教师可以像真人一样通过表情、动作和语言表达赞许和鼓励，营造真实互动的课堂气氛。但虚拟智能教师通常以固定、预先设置的教学方式对学生进行授课，无法为学生提供符合学生需求和状态的自适应教学。

技术实现要素：

本申请实施例提出了一种教学交互方法、装置、终端设备及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种教学交互方法，应用于终端设备，所述终端设备包括摄像头，所述方法包括：在所述终端设备播放包含虚拟机器人的教学内容时，通过所述摄像头采集包括教学对象的视频；对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息；基于所述关注度信息以及所述教学内容，确定针对所述教学对象的教学方式；将所述教学内容以所述教学方式播放。

可选地，所述对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息，包括：对所述视频进行识别，获取所述教学对象的人脸图像；对所述人脸图像进行情绪分析得到情绪特征；基于所述情绪特征，获得所述教学对象对所述教学内容的关注度信息。

可选地，所述对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息，包括：对所述视频进行识别，获取所述教学对象的肢体图像；对所述肢体图像进行识别得到行为特征；基于所述行为特征，获得所述教学对象对所述教学内容的关注度信息。

可选地，所述对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息，包括：对所述视频进行识别，获取所述教学对象的人脸图像；对所述人脸图像进行识别，提取所述人脸图像中的眼部特征；基于所述眼部特征确定所述教学对象是否关注所述教学内容，获得关注度信息；所述基于所述关注度信息以及所述教学内容，确定针对所述教学对象的教学方式，包括：当所述关注度信息表征所述教学对象没有关注所述教学内容时，基于所述教学内容改变针对所述教学对象的教学方式。

可选地，所述当所述关注度信息表征所述教学对象没有关注所述教学内容时，基于所述教学内容改变针对所述教学对象的教学方式，包括：当所述关注度信息表征所述教学对象没有关注所述教学内容时，检测所述教学对象没有关注所述教学内容的持续时长；当所述持续时长大于预设时长时，基于所述教学内容改变针对所述教学对象的教学方式。

可选地，当所述教学对象的数量为多个时，所述对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息，包括：对所述视频中的多个教学对象进行识别，获得所述多个教学对象对所述教学内容的多个关注度信息；基于所述多个关注度信息得到综合关注度信息；所述基于所述关注度信息以及所述教学内容，确定针对所述教学对象的教学方式，包括：基于所述综合关注度信息以及所述教学内容，确定针对所述多个教学对象的教学方式。

可选地，当所述教学对象的数量为一个时，所述对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息之后，还包括：获取所述教学对象的特性信息，所述特性信息用于表征所述教学对象的兴趣；所述基于所述关注度信息以及所述教学内容，确定针对所述教学对象的教学方式，包括：基于所述关注度信息、所述教学内容以及所述特性信息，确定针对所述教学对象的教学方式。

可选地，所述方法还包括：根据所述教学对象的特性信息，获取所述虚拟机器人的面部形象参数；基于所述面部形象参数生成所述虚拟机器人的外在形象。

第二方面，本申请实施例提供了一种教学交互装置，应用于终端设备，所述终端设备包括摄像头，该装置包括：视频采集模块，用于在所述终端设备播放包含虚拟机器人的教学内容时，通过所述摄像头采集包括教学对象的视频；信息获得模块，用于对所述视频进行识别，获得所述教学对象对所述教学内容的关注度信息；方式确定模块，用于基于所述关注度信息以及所述教学内容，确定针对所述教学对象的教学方式；内容播放模块，用于将所述教学内容以所述教学方式播放。

可选地，所述信息获得模块包括：人脸图像获取子模块，用于对所述视频进行识别，获取所述教学对象的人脸图像；情绪分析子模块，用于对所述人脸图像进行情绪分析得到情绪特征；第一信息获得子模块，用于基于所述情绪特征，获得所述教学对象对所述教学内容的关注度信息。

可选地，所述信息获得模块还包括：肢体图像获取子模块，用于对所述视频进行识别，获取所述教学对象的肢体图像；图像识别子模块，用于对所述肢体图像进行识别得到行为特征；第二信息获得子模块，用于基于所述行为特征，获得所述教学对象对所述教学内容的关注度信息。

可选地，所述信息获得模块还包括：视频识别子模块，用于对所述视频进行识别，获取所述教学对象的人脸图像；特征提取子模块，用于对所述人脸图像进行识别，提取所述人脸图像中的眼部特征；第三信息获得子模块，用于基于所述眼部特征确定所述教学对象是否关注所述教学内容，获得关注度信息。所述方式确定模块包括：方式改变子模块，用于当所述关注度信息表征所述教学对象没有关注所述教学内容时，基于所述教学内容改变针对所述教学对象的教学方式。

可选地，所述方式改变子模块包括：时长检测单元，用于当所述关注度信息表征所述教学对象没有关注所述教学内容时，检测所述教学对象没有关注所述教学内容的持续时长；方式改变单元，用于当所述持续时长大于预设时长时，基于所述教学内容改变针对所述教学对象的教学方式。

可选地，当教学对象的数量为多个时，所述信息获得模块还包括：对象识别子模块，用于对所述视频中的多个教学对象进行识别，获得所述多个教学对象对所述教学内容的多个关注度信息；第四信息获得子模块，用于基于所述多个关注度信息得到综合关注度信息。所述方式确定模块还包括：第一方式确定子模块，用于基于所述综合关注度信息以及所述教学内容，确定针对所述多个教学对象的教学方式。

可选地，当教学对象的数量为一个时，所述教学交互装置还包括：特性信息获取模块，用于获取所述教学对象的特性信息，所述特性信息用于表征所述教学对象的兴趣。所述方式确定模块还包括：第二方式确定子模块，用于基于所述关注度信息、所述教学内容以及所述特性信息，确定针对所述教学对象的教学方式。

可选地，所述教学交互装置还包括：参数获取模块，用于根据所述教学对象的特性信息，获取所述虚拟机器人的面部形象参数；形象生成模块，用于基于所述面部形象参数生成所述虚拟机器人的外在形象。

第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。

本申请实施例提供了一种教学交互方法、装置、终端设备及存储介质。在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获得教学对象对教学内容的关注度信息；基于关注度信息以及教学内容，确定针对教学对象的教学方式；将教学内容以该教学方式播放。从而通过获取教学对象对教学内容的关注度信息，基于关注度信息以及教学内容，确定针对教学对象的教学内容，提升教学的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用环境示意图；

图2示出了本申请实施例提供的一教学交互方法的流程示意图；

图3示出了本申请实施例提供的终端设备的界面示意图；

图4示出了本申请实施例提供的另一教学交互方法的流程示意图；

图5示出了本申请实施例提供的又一教学交互方法的流程示意图；

图6示出了本申请实施例提供的再一教学交互方法的流程示意图；

图7示出了本申请实施例提供的还一教学交互方法的流程示意图；

图8示出了本申请实施例提供的又再一教学交互方法的流程示意图；

图9示出了本申请实施例提供的教学交互装置的结构框图；

图10示出了本申请实施例的用于执行根据本申请实施例的教学交互方法的终端设备的结构框图。

图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的教学交互方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着互联网、移动通信技术的普及和发展，近年来在线教育被越来越多的人所接受，日益受到资本市场的青睐，在线教育市场份额越来越大。通过人工智能与教育有效的结合，可以实现模拟在线真人老师的教学效果，虚拟智能教师可以像真人一样通过表情、动作和语言表达赞许和鼓励，营造真实互动的课堂气氛。但虚拟智能教师通常以固定、预先设置的教学方式对学生进行授课，只能根据预先设置的指令完成固定的动作，在与学生进行交互时，虚拟智能教师依靠系统自带的交互组件触发命令，而与学生的交互联系甚少。进而无法为学生提供符合学生需求和状态的自适应教学。

为了解决上述问题，发明人提出了本申请实施例中的教学交互方法、装置、终端设备及存储介质，通过获取教学对象对教学内容的关注度信息，基于关注度信息以及教学内容，确定针对教学对象的教学内容，从而提升教学的效果。

为便于更好的理解本申请实施例提供的教学交互方法、装置、终端设备及存储介质，下面先对适用于本申请实施例的应用环境进行描述。

请参阅图1，图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的教学交互方法可以应用于如图1所示的多态交互系统100。多态交互系统100包括终端设备110以及服务器120，服务器120与终端设备110通信连接。其中，服务器120可以是传统服务器，也可以是云端服务器，在此不作具体限定。

其中，终端设备110可以是具有显示屏且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的，数据输入可以是基于终端设备110上具有的语音模块输入语音、字符输入模块输入字符等。

其中，终端设备110上可以安装有教学类的客户端应用程序，用户可以基于客户端应用程序(例如应用程序(application，app)、微信小程序等)与服务器120进行通信。具体的，服务器120上安装有对应的服务端应用程序，用户可以基于客户端应用程序在服务器120注册一个用户账号，并基于该用户账号与服务器120进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器120，使得服务器120可以接收该信息并进行处理及存储，服务器120还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备110。

在一些实施方式中，客户端应用程序可以用于向用户提供教学服务，向用户提供教学课程等，客户端应用程序可以基于虚拟机器人与用户进行交互。具体地，客户端应用程序可以接收用户输入的信息，并基于虚拟机器人对该信息做出应答。其中，虚拟机器人是基于可视化图形的软件程序，该软件程序被执行后可以向用户呈现出模拟生物行为或思想的机器人形态。虚拟机器人可以是模拟真人式的机器人，例如根据用户自身或其他人的形态建立的形似真人的机器人，也可以是动漫效果式的机器人，例如动物形态或卡通人物形态的机器人，在此不作限定。

在一些实施方式中，终端设备110在获取与用户输入的信息对应的回复信息后，可以在终端设备110的显示屏或与其连接的其他图像输出设备上显示对应与该回复信息的虚拟机器人图像(其中，该虚拟机器人图像特征可以包括虚拟机器人的性别、与答复音频所对应的答复情感以及形象特征等)。作为一种方式，在播放虚拟机器人图像的同时，可以通过终端设备110的扬声器或与其连接的其他音频输出设备播放与虚拟机器人图像对应的音频，还可以在终端设备110的显示屏上显示与该回复信息对应的文字或图形，实现在图像、语音、文字等多个方面上与用户的多态交互。

在一些实施方式中，对用户输入的信息进行处理的装置也可以设置于终端设备110上，使得终端设备110无需依赖与服务器120建立通信即可实现与用户的交互，此时多态交互系统100可以只包括终端设备110。

上述的应用环境仅为方便理解所作的示例，可以理解的是，本申请实施例不仅局限于上述应用环境。

下面将通过具体实施例对本申请实施例提供的教学交互方法、装置、终端设备及存储介质进行详细说明。

请参阅图2，图2示出了本申请实施例提供的一教学交互方法的流程示意图。本实施例提供的教学交互方法可以应用于具有显示屏或其他图像输出装置的终端设备，终端设备可以是智能手机、平板电脑、穿戴式智能终端等电子设备。

在具体的实施例中，教学交互方法可应用于如图9所示的教学交互装置200以及图10所示的终端设备110。下面将针对图2所示的流程进行详细的阐述。上述的教学交互方法具体地可以包括以下步骤：

步骤s110：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

在进行线上学习时，教学对象通常通过观看提前录制好的教学内容，或观看直播的教学内容的教学方式进行学习，但在上述教学方式中，教学方式都是固定的，不能根据教学对象的情况进行适应性调整，继而导致教学效果不佳的问题。因此，在本申请实施例中，可以通过采集包括教学对象的视频，根据该视频获取教学对象的关注度信息，根据教学对象的关注度信息，确定针对该教学对象的教学方式。其中，教学对象指利用该教学内容进行学习，获取到知识的用户，即可以理解为教学对象即为学生。

具体地，在终端设备播放包含虚拟机器人的教学内容时，可以通过摄像头采集包括教学对象的视频。其中，教学内容可以是本地存储的，也可以是从云端获取的，在此不做限定。在一些实施方式中，教学内容可以包含虚拟机器人以及讲义，讲义可以是跟教学内容相关的图片、文字、视频、音频等。如图3所示的终端设备的界面示意图，教学内容可以包括虚拟机器人101以及讲义102，虚拟机器人101可以是作为讲师的角色，讲义102与教学内容相关，例如，当该教学内容为英语课程的教学内容，讲义102可以包括英文单词，也可以是英文视频。其中，需要说明的是，图3中的虚拟机器人的形象仅作为一种示例，实际实现时虚拟机器人的形象可以是多样化的。

在一些实施方式在中，在终端设备播放包含虚拟机器人的教学内容时，可以表征教学对象进入的学习的阶段，此时，可以通过调用终端设备的摄像头采集包括教学对象的视频。其中，可以是实时采集包括教学对象的视频，也可以是每隔一段时间采集包括教学对象的视频(例如，可以是每隔十分钟采集包括教学对象的视频)，具体方式在此不做限定。

步骤s120：对视频进行识别，获得教学对象对教学内容的关注度信息。

在本申请实施例中，可以对上述采集到的包括教学对象的视频进行识别，进而获得教学对象对教学内容的关注度信息。关注度信息可以用于表征教学对象在学习过程中的专注程度。其中，关注度信息可以是表示程度的，例如关注度信息可以是关注度高、关注度低、关注度较高等；关注度信息也可以是具体的数值，例如，关注度信息可以是关注度为80。

在一些实施方式中，可以通过对视频中教学对象的表情神态进行识别，根据教学对象的表情神态获得教学对象对教学内容的关注度信息。例如，对教学对象的表情神态进行识别，得到教学对象的表情是愉悦的，可以表示教学对象对教学内容的关注度较高。在另一些实施方式中，可以通过对视频中教学对象的动作姿态进行识别，根据教学对象的动作姿态获得教学对象对教学内容的关注度信息。例如，对教学对象的动作姿态进行识别，得到教学对象在打瞌睡，可以表示教学对象对教学内容的关注度低。

作为一种实施方式，还可以通过对视频中教学对象的视线焦点进行识别，当教学对象的视线焦点在教学内容上时，可以表示该教学对象对教学内容的关注度高。

步骤s130：基于关注度信息以及教学内容，确定针对教学对象的教学方式。

在本申请实施例中，可以基于关注度信息以及教学内容，确定针对教学对象的教学方式。

在一些实施方式中，可以预先存储有关注度信息与教学方式的对应关系，通过关注度信息与教学方式的对应关系确定基本的教学方式。例如，教学对象在打瞌睡时，即关注度低，教学方式可以是将播放教学内容音量调高。再结合教学内容，确定最终的针对该教学对象的教学方式。例如，当教学内容为英语单词时，教学方式可以是当播放到重点单词时再将音量调高。

在一些实施方式中，可以是通过机器学习模型确定教学方式，具体地，可以预先获取大量的关注度信息、教学内容以及与关注度信息和教学内容对应的教学方式作为训练样本集，并将训练样本集输入机器学习模型进行训练，得到机器学习模型，从而可以将关注度信息、教学内容输入该机器学习模型，得到针对教学对象的教学方式。

步骤s140：将教学内容以该教学方式播放。

在本申请实施例中，可以将教学内容以上述确定的教学方式进行播放。在一些实施方式中，教学内容可以不改变，例如，当教学对象走神时，即关注度较低，教学方式可以是将音量调大，则可以在播放该教学内容时将音量调大即可。在一些实施方式中，教学内容也可以发生变化，例如，当教学对象打瞌睡时，即关注度信息可以是关注度为20，教学方式可以是放首歌，当教学内容为英语课程的内容时，可以放一首英文歌曲。

在一些实施方式中，教学对象可以与虚拟机器人进行交互。虚拟机器人可以基于教学对象的交互信息做出相应的回复。例如，当教学对象说“这道题没有听懂”或教学对象表现出疑问的表情时，虚拟机器人可以重新讲一遍这道题目的解法。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获得教学对象对教学内容的关注度信息；基于关注度信息以及教学内容，确定针对教学对象的教学方式；将教学内容以该教学方式播放。从而通过获取教学对象对教学内容的关注度信息，基于关注度信息以及教学内容，确定针对教学对象的教学内容，提升教学的效果。

请参阅图4，图4示出了本申请实施例提供的另一教学交互方法的流程示意图，该方法包括：

步骤s210：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

其中，步骤s210的具体描述请参阅步骤s110，在此不再赘述。

步骤s220：对视频进行识别，获取教学对象的人脸图像。

在本申请实施例中，可以根据教学对象的表情神态，确定该教学对象对教学内容的关注度信息。在一些实施方式中，可以对视频进行识别，获取教学对象的人脸图像。作为一种实施方式，可以对视频进行分解，以提取出人脸图像。其中，人脸图像可以是从分解的多张视频图像中挑选出的包含教学对象人脸的视频图像。

步骤s230：对人脸图像进行情绪分析得到情绪特征。

在本申请实施例中，可以对人脸图像进行情绪分析得到情绪特征。

在一些实施方式中，终端设备对采集到的包括教学对象的视频进行识别，获取到教学对象的人脸图像后，可以对该人脸图像进行情绪分析，以获取教学对象的情绪特征。其中，情绪特征可以用于表征人脸图像中人物的情绪。在一些实施例中，情绪特征所表征的情绪可以包括兴奋、愉快、幸福、满足、放松、冷静等正面情绪，也可以包括疲劳、无聊、压抑、沮丧、愤怒、紧张等负面情绪，在此不限定。

在一些实施方式中，可以通过深度学习技术，对人脸图像进行情绪分析。作为一种方式，可以将人脸图像输入已训练的情绪识别模型，得到该情绪识别模型输出的情绪特征。具体地，在一些实施方式中，情绪识别模型可以预先基于大量真人说话时的人脸图像以及人脸呈现的情绪特征的训练样本，通过神经网络训练得到的。训练样本可以包括输入样本及输出样本，输入样本可以包括人脸图像，输出样本可以为图像中人物的情绪特征，从而已训练的情绪识别模型可以用于根据获取的人脸图像序列，输出图像中人物的情绪特征。

其中，情绪识别模型可以采用循环神经网络(recurrentneuralnetwork，rnn)模型、卷积神经网络(convolutionalneuralnetworks，cnn)模型、双向长短时记忆循环神经网络(bi-directionallongshort-termmemory，bilstm)模型、变分自编码器(variationalautoencoder，vae)模型等机器学习模型，在此不做限定。例如，情绪识别模型还可以是采用上述机器学习模型的变体或组合等。

步骤s240：基于情绪特征，获得教学对象对教学内容的关注度信息。

在一些实施方式中，终端设备在获取到情绪特征后，可以通过深度学习技术，获得教学对象对教学内容的关注度信息。作为一种方式，可以通过将情绪特征输入已训练的模型中，得到该模型输出的关注度信息。其中，该模型可以是将大量情绪特征作为输入样本，将该情绪特征所对应的关注度信息作为输出样本，通过深度学习算法训练得到的。

步骤s250：基于关注度信息以及教学内容，确定针对教学对象的教学方式。

步骤s260：将教学内容以教学方式播放。

其中，步骤s250-步骤s260的具体描述请参阅步骤s130-步骤s140，在此不再赘述。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获取教学对象的人脸图像；对人脸图像进行情绪分析得到情绪特征；基于情绪特征，获得教学对象对教学内容的关注度信息；基于关注度信息以及教学内容，确定针对教学对象的教学方式；将教学内容以教学方式播放。上述实施例通过获取教学对象的人脸图像，对人脸图像进行情绪分析得到情绪特征，基于情绪特征确定教学对象的关注度信息，从而更准确的确定教学对象的关注度信息，为教学对象提供更符合自身的教学方式，进一步提升教学的效果。

请参阅图5，图5示出了本申请实施例提供的又一教学交互方法的流程示意图，该方法包括：

步骤s310：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

其中，步骤s310的具体描述请参阅步骤s110，在此不再赘述。

步骤s320：对视频进行识别，获取教学对象的肢体图像。

在本申请实施例中，可以根据教学对象的动作姿态，确定该教学对象对教学内容的关注度信息。在一些实施方式中，可以对视频进行识别，获取教学对象的肢体图像。作为一种实施方式，可以对视频进行分解，以提取出肢体图像。其中，肢体图像可以是从分解的多张视频图像中挑选出的包含教学对象肢体的视频图像。

步骤s330：对肢体图像进行识别得到行为特征。

在本申请实施例中，可以对肢体图像进行识别得到行为特征。

在一些实施方式中，可以提取肢体图像中的关键点进行识别，得到该肢体图像表达的语义信息，进而可以根据语义信息与行为特征的对应关系，得到该语义信息对应的行为特征。其中语义信息与行为特征的对应关系可以是预先存储的。

在一些实施方式中，可以是基于肢体图像识别模型获取该肢体图像对应的行为特征，具体地，可以将肢体图像输入该肢体图像识别模型，通过肢体图像识别模型获取与该肢体图像对应的行为特征。其中，肢体图像识别模型可以是将肢体图像作为输入，肢体图像对应的行为特征作为期望输出，基于机器学习的方法训练得到该肢体图像识别模型，从而通过肢体图像识别模型获取与肢体图像对应的行为特征。

步骤s340：基于行为特征，获得教学对象对教学内容的关注度信息。

在一些实施方式中，终端设备在获取到行为特征后，可以通过深度学习技术，获得教学对象对教学内容的关注度信息。作为一种方式，可以通过将行为特征输入已训练的模型中，得到该模型输出的关注度信息。其中，该模型可以是将大量行为特征作为输入样本，将该行为特征所对应的关注度信息作为输出样本，通过深度学习算法训练得到的。

步骤s350：基于关注度信息以及教学内容，确定针对教学对象的教学方式。

步骤s360：将教学内容以该教学方式播放。

其中，步骤s350-步骤s360的具体描述请参阅步骤s130-步骤s140，在此不再赘述。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获取教学对象的肢体图像；对肢体图像进行识别得到行为特征；基于行为特征，获得教学对象对教学内容的关注度信息；基于关注度信息以及教学内容，确定针对教学对象的教学方式；将教学内容以该教学方式播放。上述实施例通过对教学对象的肢体图像进行识别得到行为特征，基于行为特征，获得教学对象对教学内容的关注度信息，从而更准确的确定教学对象的关注度信息，为教学对象提供更符合自身的教学方式，进一步提升教学的效果。

请参阅图6，图6示出了本申请实施例提供的再一教学交互方法的流程示意图，该方法包括：

步骤s410：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

其中，步骤s410的具体描述请参阅步骤s110，在此不再赘述。

步骤s420：对视频进行识别，获取教学对象的人脸图像。

在本申请实施例中，可以根据教学对象的表情神态，确定该教学对象对教学内容的关注度信息。在一些实施方式中，可以对视频进行识别，获取教学对象的人脸图像。作为一种实施方式，可以对视频进行分解，以提取出人脸图像。其中，人脸图像可以是从分解的多张视频图像中挑选出的包含教学对象人脸的视频图像。

步骤s430：对人脸图像进行识别，提取人脸图像中的眼部特征。

在本申请实施例中，可以对人脸图像进行识别，提取人脸图像中的眼部特征。在一些实施方式中，可以在人脸图像中确定眼部区域，获取眼部区域里的眼球特征作为眼部特征。在一些实施方式中，也可以根据眼部区域中的瞳孔与终端设备之间的角度信息，获取瞳孔朝向信息作为眼部特征。进一步地，还可以检测眼睛是否有眨眼，作为眼部特征，在此不做限定。

步骤s440：基于眼部特征确定教学对象是否关注教学内容，获得关注度信息。

在本申请实施例中，基于上述提取到的眼部特征，可以确定教学对象是否关注教学内容，继而获得关注度信息。

在一些实施方式中，当获取眼部区域中的眼球特征作为眼部特征时，可以通过判断教学对象的眼球是否频繁转动确定教学对象是否关注教学内容，当教学对象的眼球转动较为频繁时，可以说明教学对象的眼神在发散，表明教学对象的注意力不集中，即可以确定教学对象没有关注教学内容，进而获得表征教学对象没有关注教学内容的关注度信息。

在一些实施方式中，当将获取的瞳孔朝向信息作为眼部特征时，可以根据瞳孔朝向信息判断教学对象的瞳孔是否是面向教学内容的，从而确定教学对象是否关注教学内容，当瞳孔朝向信息表明教学对象的瞳孔是面向教学内容，可以确定教学对象在关注教学内容，进而可以获得表征教学对象在关注教学内容的关注度信息。

步骤s450：当关注度信息表征教学对象没有关注教学内容时，基于教学内容改变针对教学对象的教学方式。

在本申请实施例中，当关注度信息表征教学对象没有关注教学内容时，可以基于教学内容改变教学对象的教学方式。例如，教学内容为讲解各种地貌时，通过教学对象的眼部特征获得的关注度信息表征教学对象没有关注教学内容时，即可以理解为教学对象没有在看终端设备的屏幕时，可以向教学对象播放各种地貌的模拟纪录片。

在一些实施方式中，提取到的眼部特征可能只是某一帧图像里的眼部特征，获取到的关注度信息可能仅仅是那一帧图像里教学对象对教学内容的关注度信息，那么获取到的关注度信息可能并不是正确的信息。例如，教学对象在思考问题，他的眼睛可能没有在看屏幕，但并不能因为此时眼睛没有看屏幕，就确定该教学对象没有关注教学内容。因此，当关注度信息表征教学对象没有关注教学内容时，可以进一步检测教学对象没有关注教学内容的持续时长。当持续时长大于预设时长时，基于教学内容改变针对教学对象的教学方式。其中，预设时长可以是系统设置的，也可以是根据教学对象历史的上课数据分析计算得到的，在此不做限定。

步骤s460：将教学内容以该教学方式播放。

其中，步骤s460的具体描述请参阅步骤s110，在此不再赘述。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获取教学对象的人脸图像；对人脸图像进行识别，提取人脸图像中的眼部特征；基于眼部特征确定教学对象是否关注教学内容，获得关注度信息；当关注度信息表征教学对象没有关注教学内容时，基于教学内容改变针对教学对象的教学方式；将教学内容以该教学方式播放。上述实施例通过根据教学对象的眼部特征确定教学对象是否关注教学内容，获得关注度信息，从而获得更准确的关注度信息，使得可以为教学对象提供更符合自身的教学方式，进一步提升教学的效果。

请参阅图7，图7示出了本申请实施例提供的还一教学交互方法的流程示意图，当教学对象的数量为多个时，该方法包括：

步骤s510：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

其中，步骤s510的具体描述请参阅步骤s110，在此不再赘述。

步骤s520：对视频中的多个教学对象进行识别，获得多个教学对象对教学内容的多个关注度信息。

在本申请实施例中，当视频中包含多个教学对象时，可以对这多个教学对象一一进行识别，继而获得多个教学对象对教学内容的多个关注度信息。作为一种实施方式，可以对每个教学对象的表情进行识别，根据每个教学对象的表情神态获得每个教学对象对教学内容的关注度信息。作为另一种实施方式，可以对每个教学对象的动作姿态进行识别，根据每个教学对象的动作姿态获得每个教学对象对教学内容的关注度信息。作为再一种实施方式，还可以对每个教学对象的视线焦点进行识别，根据视线焦点确定每个教学对象是否关注教学内容，获得每个教学对象对教学内容的关注度信息。

步骤s530：基于多个关注度信息得到综合关注度信息。

在本申请实施例中，在获取到多个教学对象对教学内容的多个关注度信息后，可以基于该多个关注度信息得到综合关注度信息。

在一些实施方式中，可以根据多个关注度信息以及多个教学对象的数量，计算得到多个关注度信息的平均值，将多个关注度信息的平均值作为综合关注度信息。在另一些实施方式中，可以预先设置有预期关注度信息，预期关注度信息可以是由系统或讲师根据该教学内容所设置的理想的关注度信息。分别计算多个关注度信息与预期关注度信息的差值，根据该差值，计算得到多个关注度信息的加权平均值，将多个关注度信息的加权平均值作为综合关注度信息。进一步地，还可以根据每个教学对象的历史成绩作为权重，计算综合关注度信息。上述方式仅为示例，综合关注度信息的具体得到方式在此不做限定。

步骤s540：基于综合关注度信息以及教学内容，确定针对多个教学对象的教学方式。

在本申请实施例中，可以基于综合关注度信息以及教学内容，确定针对教学对象的教学方式。

在一些实施方式中，可以预先存储有综合关注度信息与教学方式的对应关系，通过综合关注度信息与教学方式的对应关系确定基本的教学方式。例如，教学对象在打瞌睡时，即关注度低，教学方式可以是将播放教学内容音量调高。再结合教学内容，确定最终的针对该教学对象的教学方式。例如，当教学内容为英语单词时，教学方式可以是当播放到重点单词时再将音量调高。

在一些实施方式中，可以是通过机器学习模型确定教学方式，具体地，可以预先获取大量的综合关注度信息、教学内容以及与综合关注度信息和教学内容对应的教学方式作为训练样本集，并将训练样本集输入机器学习模型进行训练，得到机器学习模型，从而可以将综合关注度信息、教学内容输入该机器学习模型，得到针对教学对象的教学方式。

步骤s550：将教学内容以该教学方式播放。

其中，步骤s550的具体描述请参阅步骤s140，在此不再赘述。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频中的多个教学对象进行识别，获得多个教学对象对教学内容的多个关注度信息；基于多个关注度信息得到综合关注度信息；基于综合关注度信息以及教学内容，确定针对多个教学对象的教学方式；将教学内容以该教学方式播放。上述实施例通过基于多个教学对象的多个关注度信息得到综合关注度信息，从而在多人教学的场景下，可以综合每个教学对象的关注度信息，确定适合所有教学对象的教学方式，进而提升教学的效果。

请参阅图8，图8示出了本申请实施例提供的又再教学一交互方法的流程示意图，当教学对象的数量为一个时，该方法包括：

步骤s610：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

步骤s620：对视频进行识别，获得教学对象对教学内容的关注度信息。

其中，步骤s610-步骤s620的具体描述请参阅步骤s110-步骤s120，在此不再赘述。

步骤s630：获取所述教学对象的特性信息，该特性信息用于表征教学对象的兴趣。

当教学对象的数量为一个人时，即是一对一教学时，可以根据教学对象的特性，为教学对象个性化设置教学方式。因此，在本申请实施例中，可以获取教学对象的特性信息，其中，特性信息用于表征教学对象的兴趣，例如，特性信息可以包括教学对象的兴趣爱好，喜欢的电影类型等等。在一些实施方式中，获取教学对象的特性信息，可以由教学对象输入得到的，也可以是根据教学对象预先填写的个人信息中获取，还可以是通过对教学对象的日常活动分析得到的，在此不做限定。

步骤s640：基于关注度信息、教学内容以及特性信息，确定针对教学对象的教学方式。

在本申请实施例中，可以基于关注度信息以及教学内容，确定针对教学对象的教学方式。

在一些实施方式中，可以预先存储有关注度信息与教学方式的对应关系，通过关注度信息与教学方式的对应关系确定基本的教学方式。例如，教学对象在打瞌睡时，即关注度低，教学方式可以是将播放教学内容音量调高。再结合教学内容以及教学对象的特性信息，确定最终的针对该教学对象的教学方式。例如，当教学内容为历史课时，发现教学对象在打瞌睡，可以得到该教学对象对该教学内容的关注度较低。根据教学对象的特性信息，发现教学对象喜欢看动漫，于是，可以通过动漫人物讲述历史的教学方式，吸引教学对象的注意力。

在一些实施方式中，还可以根据教学对象的特性信息，改变虚拟机器人的外在形象，将虚拟机器人的外在形象变化为教学对象感兴趣的人物的形象，例如，该教学对象喜欢某明星，于是可以把虚拟机器人的外在形象调整为该明星的形象，以此提高教学对象的学习兴趣。

具体地，可以根据教学对象的特性信息，获取虚拟机器人的面部形象参数。其中，面部形象参数可以包括脸部特征点的相对位置关系、唇部关键点信息等。作为一种实施方式，可以基于预先训练得到的神经网络模型，根据特性信息生成虚拟智能客服的面部形象参数。具体地，可以预先获取大量的训练特性信息以及训练特性信息对应的面部形象参数作为训练样本集，并将训练样本集输入机器学习模型进行训练，得到对应的第一神经网络模型，从而可以将基于教学对象的特性信息输入该第一神经网络模型，得到虚拟机器人的面部形象参数。

同时，还可以根据面部形象参数生成虚拟机器人的外在形象。作为一种实施方式，可以通过三维重建的方式生成虚拟智能客服的外在形象。具体地，可以设置预设的虚拟智能客服的三维模型，基于面部形象参数调节三维模型中的面部区域，从而得到虚拟机器人的外在形象。

作为一种实施方式，还可以通过预设的算法生成虚拟机器人的外在形象。其中，预设的算法可以是预先存储的可以将上述生成的面部形象参数进行集成的算法，例如，可以是一套高效的程序框架，通过将面部形象参数输入，可以输出得到一个完整的虚拟机器人的外在形象，使得集成得到的虚拟机器人更加逼真与自然。

步骤s650：将教学内容以该教学方式播放。

其中，步骤s650的具体描述请参阅步骤s140，在此不再赘述。

上述实施例提供的教学交互方法，在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获得教学对象对教学内容的关注度信息；获取所述教学对象的特性信息，该特性信息用于表征教学对象的兴趣；基于关注度信息、教学内容以及特性信息，确定针对教学对象的教学方式；将教学内容以该教学方式播放。上述实施例通过获取教学对象的特性信息，根据关注度信息、教学内容以及特性信息，确定针对该教学对象的教学方式，从而为教学对象制定个性化的教学方式，提升教学对象的学习兴趣，进而提升教学的效果。

请参阅图9，图9示出了本申请实施例提供的教学交互装置200的结构框图。下面将针对图9所示的框图进行阐述，所述教学交互装置200包括：视频采集模块210、信息获得模块220、方式确定模块230以及内容播放模块240，其中：

视频采集模块210，用于在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频。

信息获得模块220，用于对视频进行识别，获得教学对象对教学内容的关注度信息。

进一步地，信息获得模块220包括：人脸图像获取子模块、情绪分析子模块以及第一信息获得子模块，其中：

人脸图像获取子模块，用于对视频进行识别，获取教学对象的人脸图像。

情绪分析子模块，用于对人脸图像进行情绪分析得到情绪特征。

第一信息获得子模块，用于基于情绪特征，获得教学对象对教学内容的关注度信息。

进一步地，信息获得模块220还包括：肢体图像获取子模块、图像识别子模块以及第二信息获得子模块，其中：

肢体图像获取子模块，用于对视频进行识别，获取教学对象的肢体图像。

图像识别子模块，用于对肢体图像进行识别得到行为特征。

第二信息获得子模块，用于基于行为特征，获得教学对象对教学内容的关注度信息。

进一步地，信息获得模块220还包括：视频识别子模块、特征提取子模块以及第三信息获得子模块，其中：

视频识别子模块，用于对视频进行识别，获取教学对象的人脸图像。

特征提取子模块，用于对人脸图像进行识别，提取人脸图像中的眼部特征。

第三信息获得子模块，用于基于眼部特征确定教学对象是否关注教学内容，获得关注度信息。

进一步地，当教学对象的数量为多个时，信息获得模块220还包括：对象识别子模块以及第四信息获得子模块，其中：

对象识别子模块，用于对视频中的多个教学对象进行识别，获得多个教学对象对教学内容的多个关注度信息。

第四信息获得子模块，用于基于多个关注度信息得到综合关注度信息。

方式确定模块230，用于基于关注度信息以及教学内容，确定针对教学对象的教学方式。

进一步地，方式确定模块230包括：方式改变子模块，其中：

方式改变子模块，用于当关注度信息表征教学对象没有关注教学内容时，基于教学内容改变针对教学对象的教学方式。

进一步地，方式改变子模块包括：时长检测单元以及方式改变单元，其中：

时长检测单元，用于当关注度信息表征教学对象没有关注教学内容时，检测教学对象没有关注教学内容的持续时长。

方式改变单元，用于当持续时长大于预设时长时，基于教学内容改变针对教学对象的教学方式。

进一步地，当教学对象的数量为多个时，方式确定模块230还包括：第一方式确定子模块，其中：

第一方式确定子模块，用于基于综合关注度信息以及教学内容，确定针对多个教学对象的教学方式。

进一步地，当教学对象的数量为一个时，方式确定模块230还包括：第二方式确定子模块，其中：

第二方式确定子模块，用于基于关注度信息、教学内容以及特性信息，确定针对教学对象的教学方式。

内容播放模块240，用于将教学内容以该教学方式播放。

进一步地，教学交互装置200还包括：特性信息获取模块，其中：

特性信息获取模块，用于获取教学对象的特性信息，特性信息用于表征教学对象的兴趣。

进一步地，教学交互装置200还包括：参数获取模块以及形象生成模块，其中：

参数获取模块，用于根据教学对象的特性信息，获取虚拟机器人的面部形象参数。

形象生成子模块，用于基于面部形象参数生成虚拟机器人的外在形象。

所属领域的技术人员可以清楚地了解到，本申请实施例提供的教学交互装置能够实现前述方法实施例中的各个过程，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图10，其示出了本申请实施例提供的一种终端设备110的结构框图。该终端设备110可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备110可以包括一个或多个如下部件：处理器111、存储器112以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器112中并被配置为由一个或多个处理器111执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器111可以包括一个或者多个处理核。处理器111利用各种接口和线路连接整个终端设备110内的各个部分，通过运行或执行存储在存储器112内的指令、程序、代码集或指令集，以及调用存储在存储器112内的数据，执行终端设备110的各种功能和处理数据。可选地，处理器111可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器111可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器111中，单独通过一块通信芯片进行实现。

存储器112可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory，rom)。存储器112可用于存储指令、程序、代码、代码集或指令集。存储器112可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备110在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图11，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读取存储介质300可以是诸如闪存、电可擦除可编程只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、硬盘或者rom之类的电子存储器。可选地，计算机可读取存储介质300包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读取存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的教学交互方法、装置、终端设备及存储介质，该方法包括：在终端设备播放包含虚拟机器人的教学内容时，通过摄像头采集包括教学对象的视频；对视频进行识别，获得教学对象对教学内容的关注度信息；基于关注度信息以及教学内容，确定针对教学对象的教学方式；将教学内容以该教学方式播放。从而通过获取教学对象对教学内容的关注度信息，基于关注度信息以及教学内容，确定针对教学对象的教学内容，提升教学的效果。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。