数据处理方法、存储介质和电子设备与流程

本发明公开涉及计算机技术领域，具体涉及一种数据处理方法、存储介质和电子设备。

背景技术：

随着互联网技术的发展，基于网络的在线教学方式得到越来越广泛的应用。知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。但在通常情况下，知识服务者与学习者对应关系为一对多(也即，一位知识服务者为多位学习者提供帮助与服务)，因此在在线教学的过程中无法为每位学习者均提供针对性较高的个性化帮助与服务，从而对学习者的学习效果产生影响。

技术实现要素：

有鉴于此,本发明实施例目的在于提供一种数据处理方法、存储介质和电子设备，用于为每位学习者提供针对性较高的个性化帮助与服务，从而提升学习者的学习效果。

根据本发明实施例的第一方面，提供一种数据处理方法，所述方法包括：

确定目标用户的用户类别，所述目标用户为学习者；

响应于所述用户类别为第一类，确定所述目标用户对应的第一向量，所述第一向量为根据向量获取模型获得的向量，所述向量获取模型根据训练样本预先训练获得，所述训练样本根据多个用户的用户行为数据、对应的各历史浏览资源的资源信息以及各候选资源的资源标识确定；

根据所述第一向量确定所述目标用户对应的第一资源集合；

向所述目标用户展示所述第一资源集合，所述第一资源集合包括至少一个所述候选资源。

根据本发明实施例的第二方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。

根据本发明实施例的第三方面，提供一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。

本发明实施例根据目标用户的用户类别获取目标用户对应的向量，并根据目标用户对应的向量确定对应的资源集合，从而向目标用户展示对应的资源集合，以对目标用户提供个性化的资源推荐。例如，在用户类别为第一类时，目标用户对应的向量为根据向量获取模型获取的第一向量，资源集合中的资源为与目标用户对应的第一向量相似度较高的候选资源。由此，提升了提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明第一实施例的数据处理方法的流程图；

图2是本发明第一实施例的神经网络的部分结构的示意图；

图3是本发明实施例的在线教学系统的客户端应用的一种界面示意图；

图4-图5是本发明第二实施例的数据处理方法的流程图；

图6-图7是本发明第三实施例的数据处理方法的流程图；

图8是本发明第四实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在线教学通常分为三个阶段，包括课前预习阶段、课中学习阶段以及课后反馈与复习阶段。在课中学习阶段，知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。在课中学习阶段有较大可能存在两种情况，在包含知识服务者参与的课中学习阶段中，一位知识服务者可能对应于多位(包括两位)学习者；在不包含知识服务者参与的课中学习阶段(例如，课程回放)中，学习者进行自主学习。在上述两种情况，知识服务者能够为学习者提供的服务与帮助较为有限。且在课前预习阶段和课后反馈与复习阶段，知识服务者的参与度通常较低，因此在在线教学的过程中无法为每位学习者均提供针对性较高的个性化帮助与服务，学习者的学习效果通常不理想。

图1是本发明第一实施例的数据处理方法的流程图。本实施例的方法适用于在线教学过程中的课前预习阶段以及课后反馈与复习阶段。如图1所示，本实施例的方法包括如下步骤：

步骤s101，确定目标用户的用户类别。

在本实施例中，目标用户为学习者。具体地，可以在目标用户登录在线教学系统时，根据用户标识确定目标用户的用户类别。本实施例的目标用户被划分为两类，一类为无用户行为数据的新用户，另一类为有用户行为数据的老用户。对于不同用户类别的目标用户，本实施例采用两种推荐方式进行推荐。

步骤s102，确定目标用户对应的第一向量。

具体地，在用户类别为第一类时，可以确定目标用户对应的第一向量。在本实施例中，用户类别为第一类，表明该目标用户为老用户。第一向量可以根据向量获取模型获得，其中，向量获取模型根据训练样本预先训练获得，训练模型根据多个用户的用户行为数据确定。

向量获取模型为神经网络。神经网络全称人工神经网络(artificialneuralnetwork，ann)，是由大量处理单元互联形成的信息处理模型。常见的ann包括卷积神经网络(convolutionalneuralnetwork，cnn)、循环神经网络(recurrentneuralnetwork，rnn)等。ann具有非线性(适于处理非线性信息)、非局限性(也即，一个系统的整体行为取决于处理单元间的相互作用)、非常定性(也即，具有自适应、自组织、自学习能力，能够在处理信息的过程中不断进行自我学习)和非凸性(模型的激活函数具有多个极值，这使得模型具有多个较为稳定的平衡态，从而使得模型的变化是多样的)的特点，因此能够广泛地应用于各种领域，进行较为准确的数据预测。

用于训练向量获取模型的训练样本包括多个用户的用户行为数据、根据各用户的用户行为数据获取的各历史浏览资源的资源信息以及多个候选资源的资源标识。每个候选资源的资源标识可以看作神经网络的一个分类，因此可以将第一向量的获取过程看作一个多分类的问题。容易理解，各用户的历史浏览资源同样可以作为本实施例的候选资源。

多个用户的用户行为数据包括各用户历史浏览资源的资源标识和对应的浏览时长，各历史浏览资源的资源信息包括各历史浏览资源(也即，学习资料、习题等)的难易标识、浏览概率和推荐次数中的至少一项。其中，各用户历史浏览资源的资源标识和对应的浏览时长能够反映各用户对浏览过的各资源所反映的知识点的掌握程度，浏览时长越长可能表示该用户对该资源所反映的知识点不熟悉、需要加强学习，各用户历史浏览资源的资源标识和对应的浏览时长可以通过用户的点击操作和各点击操作的操作时刻获取。各历史浏览资源的难易标识可以预先进行标记，从而可以根据各历史浏览资源的资源标识获得。容易理解，可以根据实际需求预先对各资源的难度进行划分，从而获得各历史浏览资源的难易标识，例如可以将各资源的难度划分为容易、一般、有一定难度、难度较高等多级，也可以划分为简单、困难两级。浏览概率用于表征各资料在目标时间段内的被浏览的次数，浏览次数越高，表示用户对该资源的兴趣度越高。推荐次数能够反映用户对资源的认可程度，推荐次数越高，表明用户对该资源的认可程度越高。容易理解，各历史浏览资源的资源信息不限于上述信息，还可以包括各资源对应的正确率等。

具体地，在向量获取模型的训练过程中，可以分别以多个用户的用户行为数据(也即，各用户历史浏览资源的资源标识和对应的浏览时长)，以及各用户对应的历史浏览资源的资源信息(也即，各历史浏览资源的难易标识、浏览概率和推荐次数中的至少一项)为输入，以多个候选资源的资源标识为输出对神经网络进行训练，由此可以获得向量获取模型。在确定向量获取模型后，可以以目标用户的用户行为数据为输入，根据向量获取模型的输出层输出的结果确定目标用户对应的第一向量。目标用户的用户行为数据同样可以包括目标用户浏览资源的资源标识和对应的浏览时长、各资源(也即，学习资料、习题等)的难易标识、浏览概率和推荐次数中的至少一项。

步骤s103，根据第一向量确定目标用户对应的第一资源集合。

在一种可选的实现方式中，可以获取目标用户对应的第一向量与各候选资源对应的第二向量的内积，并将内积满足第一条件的候选资源加入第一资源集合。

在本实施例中，各候选资源对应的第二向量根据向量获取模型的输出层对应的权重矩阵确定。权重矩阵用于执行神经网络的误差函数梯度下降策略，使神经网络的误差函数达到最大(小)值，从而完成提取和记忆过程。权重矩阵的每一列元素指向相同的输出层处理单元，因此每一列元素能够有效表征对应的输出层处理单元对应的标签(也即，一个候选资源的资源标识)。因此在本实施例中，将权重矩阵的每一列元素作为对应的候选资源的第二向量。

图2是本发明第一实施例的神经网络的部分结构的示意图。容易理解，图2所示的神经元(也即，处理单元)的数量和隐藏层的数量仅仅是示意性的。如图2所示，神经元11、神经元12、神经元13和神经元14是神经网络的隐藏层中的四个神经元，神经元21、神经元22和神经元23是神经网络的输出层中的四个神经元。以输出层的神经元21为例，神经元21对应的候选资源为资源1，神经元11指向神经元21的权重为w11,21,神经元12指向神经元21的权重为w12,21，神经元13指向神经元21的权重为w13,21，神经元14指向神经元21的权重为w14,21，也即，神经元21对应于权重矩阵的第一列(行)，列(行)元素为w11,21,w12,21，w13,21，w14,21。由此，可以获得资源1对应的第一向量为(w11,21,w12,21，w13,21，w14,21)。

内积(也即，点积、数量积)用于反映两个向量之间的夹角大小，通常两个向量的夹角越小，表示两个向量的相似性越高，候选资源对目标用户的针对性更强。因此，可以确定第一条件为内积大于第一阈值，并计算目标用户对应的第一向量与各候选资源对应的第二向量的内积，从而将内积大于第一阈值的第二向量加入第一资源集合中。容易理解，第一条件不限于上述条件，还可以为其他条件，例如内积大于第一阈值且排序在最大的前n位等，其中n为大于等于1的预定整数。

具体地，目标用户对应的第一向量与任一候选资源对应的第二向量的内积可以通过如下公式计算：

x·y＝x1y1+x2y2+…xnyn＝|x||y|cosθ；

其中，x＝(x1,x2,…,xn)为目标用户对应的第一向量，y＝(y1,y2,…,yn)为任一候选资源对应的第二向量，|x|为向量x的模，|y|为向量y的模。由此，通过计算向量x与向量y的内积可以获取向量x与向量y之间的夹角θ的余弦值，反映向量x与向量y之间的相似性。

容易理解，在本实施例中，对于目标用户而言，各非目标用户对应的历史浏览资源均可以看作候选资源。

步骤s104，向目标用户展示第一资源集合。

其中，第一资源集合包括至少一个内积满足第一条件的候选资源。

在目标用户为老用户时，可以根据目标用户的用户行为数据对目标用户进行个性化的资源推荐，使得对目标用户提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。

可选地，在本实施例的一种可选的实现方式中，在目标用户为无用户行为数据的新用户时，可以通过如下步骤对目标用户进行资源推荐：

步骤s105，确定目标用户对应的第二向量。

具体地，在用户类别为第二类时，可以确定目标用户对应的第二向量。在本实施例中，用户类别为第二类，表明该目标用户为新用户。由于新用户不具有用户行为数据，因此在一个可选的实现方式中，可以根据目标用户的选择操作来确定目标用户对应的第二向量。

更具体地，在用户选择查看任一资源时，服务器可以接收到目标用户发送的资源选择指令，由此可以将目标用户选择的资源作为目标资源。由此，可以根据目标资源的资源标识确定目标用户对应的第二向量。由于目标用户选择的目标资源同样可以看作候选资源的一部分，可以根据资源标识确定目标资源对应的第二向量，并作为目标用户对应的第二向量。

步骤s106，根据第二向量确定目标用户对应的第二资源集合。

可选地，可以获取目标用户对应的第二向量与各候选资源对应的第二向量的欧式距离，并将欧氏距离满足第二条件的候选资源加入第二资源集合。

欧式距离(也即，欧几里得度量)用于反映两个向量之间的空间距离。欧式距离越小，表示两个向量之间的差异越小，目标资源与候选资源更接近。因此，可以确定第二条件为欧式距离小于第二阈值，并计算目标用户对应的第二向量与各候选资源对应的第二向量的欧式距离，从而将欧氏距离小于第二阈值的第二向量加入第二资源集合中。容易理解，第二条件不限于上述条件，还可以为其他条件，例如欧氏距离小于第二阈值且排序在最小的前m位等，其中m为大于等于1的预定整数。

可选地，也可以通过曼哈顿距离(manhattandistance)、明可夫斯基距离(minkowskidistance)等反映两个向量之间的空间距离，从而反映两个向量之间的差异。

步骤s107，向目标用户展示第二资源集合。

其中，第二资源集合包括至少一个欧式距离满足第二条件的候选资源。

在目标用户为新用户时，可以根据目标用户发送的资源选择指令对目标用户进行个性化的资源推荐，使得对目标用户提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。

本实施例根据目标用户的用户类别获取目标用户对应的向量，并根据目标用户对应的向量确定对应的资源集合，从而向目标用户展示对应的资源集合，以对目标用户提供个性化的资源推荐。在用户类别为第一类时，目标用户对应的向量为根据用户行为数据和向量获取模型获取的第一向量，资源集合中的资源为与目标用户对应的第一向量的内积满足第一条件的候选资源；在用户类别为第二类时，目标用户对应的向量为根据目标用户的资源选择指令和向量获取模型获取的第二向量，资源集合中的资源为与目标用户对应的第二向量的欧式距离满足第二条件的候选资源。由此，无论新用户还是老用户，均能够在课前预习阶段为其提供针对性较强的个性化推荐，提升了提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。

图3是本发明实施例的在线教学系统的客户端应用的一种界面示意图。图3以学习者侧自主课中学习阶段(也即，不包含知识服务者参与或知识服务者参与度较低的课中学习阶段)的在线教学系统的客户端应用为例进行说明。如图3所示，本实施例的客户端应用可以在应用界面的主窗口31显示课中学习阶段所需的至少一个资源(也即，如图3所示的课件1)，并可以根据学习者的操作切换显示不同的资源(例如，由课件1切换为课件2)。在课中学习阶段，服务器可以获取学习者的操作轨迹、操作记录等，同时，还可以通过音、视频采集装置获取并记录学习者在整个教学过程中的音频数据。

图4-图5是本发明第二实施例的数据处理方法的流程图。本实施例的方法适用于在线教学过程中的课前预习阶段和课中学习阶段。如图4-图5所示，本实施例的方法包括如下步骤：

步骤s401，确定目标用户的用户类别。

在本实施例中，步骤s401和步骤s101的实现方式相似，在此不再赘述。

步骤s402，确定目标用户对应的第一向量。

在本实施例中，步骤s402和步骤s102的实现方式相似，在此不再赘述。

步骤s403，根据第一向量确定目标用户对应的第一资源集合。

在本实施例中，步骤s403和步骤s103的实现方式相似，在此不再赘述。

步骤s404，向目标用户展示第一资源集合。

在本实施例中，步骤s404和步骤s104的实现方式相似，在此不再赘述。

步骤s402’，确定目标用户对应的第二向量。

在本实施例中，步骤s402’和步骤s105的实现方式相似，在此不再赘述。

步骤s403’，根据第二向量确定目标用户对应的第二资源集合。

在本实施例中，步骤s403’和步骤s106的实现方式相似，在此不再赘述。

步骤s404’，向目标用户展示第二资源集合。

在本实施例中，步骤s404’和步骤s107的实现方式相似，在此不再赘述。

步骤s405，获取目标用户在目标时间段内的视频数据和音频数据。

在本实施例中，视频数据为课中学习阶段录制的包含目标用户的视频数据。基于语音的交流是在线教学的重要手段。在线教学过程中，知识服务者和目标用户的对话的所有的语音信息被录制为具有不同音轨的音频文件。其中，知识服务者一侧终端采集的音频数据和目标用户一侧终端采集的音频数据采用不同的音轨存储。因此，可以单独获取目标用户侧在目标时间段内的音频数据。具体地，可以以预定周期对视频数据与对应的音频数据进行采集，并将前一次采集时刻与当次采集时刻之间的时间段作为目标时间段，从而获取目标用户在目标时间段内的视频数据和音频数据。例如，预定周期为10min，前一次采集时刻为14:50，则当次采集时刻为15:00，目标时间段为14:50-15:00。

步骤s406，根据视频数据提取第一结构化信息。

在本实施例中，第一结构化信息包括目标用户的人脸信息。其中，目标用户的人脸信息包括表征检测到目标用户的人脸的信息和人脸表情分类信息中的至少一项。视频数据可以看作图像的时间序列。通过对每一帧图像或某些关键帧图像进行识别处理可以识别得到图像中目标用户的人脸图像信息，从而根据沿时间轴对目标用户的人脸图像信息进行排序，就可以获取到视频数据中目标用户的人脸信息。

通过人脸检测算法可以有效地检测获取目标用户的人脸是否出现在图像中。人脸检测算法包括例如参考模板法、人脸规则法、特征子脸法以及样本识别法等。所获取的人脸位置信息可以通过人脸区域的数据结构r(x，y，w，h)来表示。其中，r(x，y，w，h)限定了图像中包括人脸主要部分的一个矩形区域，其中，x和y限定了该矩形区域的一个端点的坐标，w和h分别限定该矩形区域的宽度和高度。

人脸五官的分布具有较高的相似性，因此在检测获得人脸区域信息后，可以对人脸区域内的图像进行进一步检测来获取五官的位置。例如，可以利用dlib来进行上述的人脸检测和唇部关键点信息获取。dlib是一个包含机器学习算法的c++开源工具包。在dlib中，将人脸的五官和轮廓通过68个关键点来进行标识。由于人的表情不同时，人脸的五官位于不同的相对位置和状态，因此，通过自行训练的分类器或者相关开发函数库提供的分类器就可以对表情进行识别和分类。又例如，可以基于opencv库来实现对于表情的识别。opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上。它由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。在现有技术(“基于opencv的人脸表情识别系统的设计与实现”，秦续洋，硕士学位论文，郑州大学；2013年)中描述了通过opencv进行表情识别的方法。又例如，也可以调用现有的商业表情识别软件接口来进行表情识别。现有的各图像识别服务提供商，例如百度ai,商汤科技均可以提供表情识别的服务接口。

在获取到各图像中的人脸表情分类信息后，就可以获得视频数据对应的人脸表情分类信息的时间序列，从而获取目标用户的第一结构化信息，对目标用户的可视化表现进行反映。

步骤s407，根据音频数据提取第二结构化信息。

在本实施例中，第二结构化信息包括对音频数据进行语音识别获得的目标用户的语音识别信息。其中，语音识别信息包括语音时长信息和对话次数信息。语音识别技术是对于包含语音信息的音频数据进行处理，以获取与语音内容相关的信息的技术。在本实施例中，通过语音识别获得的语音识别信息可以是语音时长信息，也可以是对话次数信息。语音时长信息是指音频数据中检测到语音的时间长度信息。通常语音时长信息越长，表明目标用户的积极性和专注度越高。由于在教学过程中教学者可能并不是持续进行讲解，因此，语音时长信息以及对话次数信息一定程度上可以反映目标用户交流的积极性。对话方切换时学习者语音的停顿时间信息则可以反映在教学者提出问题或要求学习者进行复述的时候目标用户的响应速度，这也可以反映目标用户在课中学习阶段的表现。

步骤s408，获取目标用户在目标时间段内的第三结构化信息。

在本实施例中，第三结构化信息包括目标用户在预定区域(例如，在线教学系统的客户端应用的界面中)内的操作轨迹和资源更新状态中的至少一项。在课中学习阶段，可能需要借助虚拟物体加深目标用户的理解，目标用户对于预定的虚拟物体的操作轨迹能够反映目标用户的理解程度。目标用户对预定的虚拟物体的操作轨迹与该虚拟物体对应的预定操作轨迹越吻合，表明目标用户的理解程度越高，学习的专注度和积极性越高。

类似地，在课中学习阶段通常需要多个资源进行辅助教学，若课中学习阶段不包含知识服务者参与或知识服务者参与度较低，需要目标用户根据课程讲解进度对多个资源进行手动切换。目标用户的资源更新状态用户反映目标用户是否对资源进行及时正确地切换。若资源更新状态符合预期(例如，根据课程讲解进度在预定时间内对资源进行了正确切换)，能够表明目标用户的专注度较高。可选地，可以预先获取多个课程的课程讲解进度-资源的对应关系，从而可以确定根据目标用户选择的课程确定目标用户的资源更新状态。

具体地，目标用户的操作轨迹和资源更新状态可以根据记录目标用户操作的日志文件获取，由此可以获得目标用户的第三结构化信息。第三结构化信息同样能够反映目标用户在课中学习阶段的表现。

容易理解，步骤s408和步骤s405可以同时执行，也可以先后执行，不必区分执行顺序。

步骤s409，根据第一结构化信息、对应的第二结构化信息和第三结构化信息获取目标用户对应的第一状态信息。

在本实施例中，可以将目标用户在目标时间段内的第一结构化信息、第二结构信息和第三结构信息输入预先训练的状态预测模型中，从而获取目标用户在目标时间段内的第一状态信息。第一状态信息用于表征目标用户在目标时间段内的(学习)状态为专注的概率。

状态预测模型为深度学习模型，例如cnn、rnn、dnn(深度置信网络，deepbeliefnetwork)、mlp(多层感知器，multilayerperceptron)等。用于训练转改预测模型的训练样本根据多个用户的历史信息确定。

以rnn为例，rnn是一类以序列数据为输入，在序列的演进方向进行递归的递归神经网络，且rnn中所有循环单元的连接方式为链式连接。循环神经网络具有记忆性、参数共享并且图灵完备(turingcompleteness)，能够以较高的效率对序列的非线性特征进行学习。常见的rnn包括双向循环神经网络(bidirectionalrnn，bi-rnn)、长短期记忆网络(longshort-termmemorynetworks，lstm)等。

具体地，多个用户的历史信息至少包括各用户的历史状态信息，历史状态信息用于表征对应的用户的历史状态是否为专注，可以通过人工判断的方式获得。可选地，还可以包括各用户在预定区域内的操作轨迹、人脸信息和资源更新状态和语音信息。容易理解，各用户的人脸信息可以包括表征检测到对应的用户的人脸的信息和对应的用户的人脸表情分类信息中的至少一项，各用户的语音信息可以包括对应的用户的语音时长信息和对话次数信息中的至少一项。各用户在预定区域内的操作轨迹、人脸信息、资源更新状态和语音信息的获取方式与目标用户各用户在预定区域内的操作轨迹、人脸信息、资源更新状态和语音信息的获取方式相同，在此不再赘述。

由此，将目标用户在目标时间段内的第一结构化信息、第二结构化信息和第三结构化信息输入状态预测模型后，可以获取目标用户的第一状态信息。在通常情况下，目标用户越专注，对于课堂讲解的吸收效果越好，学习效果也越好。因此，可以通过第一状态信息对目标用户进行鼓励或提示，从而提升目标用户的学习效果。

步骤s410，根据第一状态信息对目标用户进行反馈。

可选地，可以在第一状态信息大于第三阈值时，表明目标用户在目标时间段内的状态较为专注、积极性较高，因此可以对目标用户进行正反馈，以对目标用户进行鼓励。可选地，也可以在第一状态信息小于第四阈值时，对目标用户进行负反馈。第一状态信息小于第四阈值表明目标用户的专注度和积极性均较低，因此可以通过负反馈对目标用户进行提示，促进目标用户提升专注度。

本实施例根据目标用户的用户类别获取目标用户对应的向量，并根据目标用户对应的向量确定对应的资源集合，从而向目标用户展示对应的资源集合，以对目标用户提供个性化的资源推荐。在用户类别为第一类时，目标用户对应的向量为根据用户行为数据和向量获取模型获取的第一向量，资源集合中的资源为与目标用户对应的第一向量的内积满足第一条件的候选资源；在用户类别为第二类时，目标用户对应的向量为根据目标用户的资源选择指令和向量获取模型获取的第二向量，资源集合中的资源为与目标用户对应的第二向量的欧式距离满足第二条件的候选资源。由此，无论新用户还是老用户，均能够在课前预习阶段为其提供针对性较强的个性化推荐，提升了提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。同时，在课中学习阶段，获取目标用户在任一时间段内在预定区域内的操作轨迹、人脸信息、资源更新状态和语音信息中的至少一项，从而获取目标用户在该时间段内的状态信息，从而根据状态信息对目标用户进行反馈，以对目标用户进行鼓励或提示。由此，可以提升目标用户在课中学习阶段的专注性，从而提升目标用户的学习效果。

图6-图7是本发明第三实施例的数据处理方法的流程图。本实施例的方法适用于在线教学过程中的课前预习阶段、课中学习阶段以及课后反馈与复习阶段。如图6-图7所示，本实施例的方法包括如下步骤：

步骤s601，确定目标用户的用户类别。

在本实施例中，步骤s601和步骤s101的实现方式相似，在此不再赘述。

步骤s602，确定目标用户对应的第一向量。

在本实施例中，步骤s602和步骤s102的实现方式相似，在此不再赘述。

步骤s603，根据第一向量确定目标用户对应的第一资源集合。

在本实施例中，步骤s603和步骤s103的实现方式相似，在此不再赘述。

步骤s604，向目标用户展示第一资源集合。

在本实施例中，步骤s604和步骤s104的实现方式相似，在此不再赘述。

步骤s602’，确定目标用户对应的第二向量。

在本实施例中，步骤s602’和步骤s105的实现方式相似，在此不再赘述。

步骤s603’，根据第二向量确定目标用户对应的第二资源集合。

在本实施例中，步骤s603’和步骤s106的实现方式相似，在此不再赘述。

步骤s604’，向目标用户展示第二资源集合。

在本实施例中，步骤s604’和步骤s107的实现方式相似，在此不再赘述。

步骤s605，获取目标用户在目标时间段内的视频数据和音频数据。

在本实施例中，步骤s605和步骤s405的实现方式相似，在此不再赘述。

步骤s606，根据视频数据提取第一结构化信息。

在本实施例中，步骤s606和步骤s406的实现方式相似，在此不再赘述。

步骤s607，根据音频数据提取第二结构化信息。

在本实施例中，步骤s607和步骤s407的实现方式相似，在此不再赘述。

步骤s608，获取目标用户在目标时间段内的第三结构化信息。

在本实施例中，步骤s608和步骤s408的实现方式相似，在此不再赘述。

容易理解，步骤s608和步骤s605可以同时执行，也可以先后执行，不必区分执行顺序。

步骤s609，根据第一结构化信息、对应的第二结构化信息和第三结构化信息获取目标用户对应的第一状态信息。

在本实施例中，步骤s609和步骤s409的实现方式相似，在此不再赘述。

步骤s610，根据第一状态信息对目标用户进行反馈。

在本实施例中，步骤s610和步骤s410的实现方式相似，在此不再赘述。

步骤s611，获取目标用户在多个时间段内的视频数据和音频数据。

在本实施例中，多个时间段包括目标时间段。可选地，若在步骤s605中将多个不同时间段分别确定为目标时间段，并多次获取各目标时间段内的视频数据和音频数据，可以不执行步骤s611。

容易理解，为了降低时间段长度对后续获取目标片段集合的影响，各时间段的时间段长度相同。

步骤s612，分别根据各视频数据获取目标用户在对应的时间段内的第一信息。

在本实施例中，目标用户的第一信息为表情为预定表情的数量信息和预定表情对应的时长信息中的至少一项。其中，预定表情可以为疑惑、感兴趣、开心等。目标用户在课中学习阶段呈现出的疑惑、感兴趣、开心等表情均能够表现目标用户的专注程度和积极性。表情为预定表情的数量信息也即目标用户呈现出疑惑、感兴趣、开心等预定表情的次数，预定表情的数量越高，有较大可能表示目标用户的专注程度和积极性越高。预定表情对应的时长信息也即目标用户呈现出疑惑、感兴趣、开心等预定表情的时长，预定表情对应的时长越长，有较大可能表示目标用户的专注程度和积极性越高。

步骤s613，分别根据各音频数据获取目标用户在对应的时间段内的第二信息。

在本实施例中，目标用户的第二信息也即第二结构化信息，包括语音时长信息和对话次数信息中的至少一项。可选地，若在步骤s605中将多个不同时间段分别确定为目标时间段，并多次获取各目标时间段内的视频数据和音频数据，可以不执行步骤s613。

步骤s614，根据各第一信息和对应的第二信息确定目标片段集合。

在一种可选的实现方式中，可以获取各第一信息和对应的第二信息中的各项信息的加权和，并在加权和满足第三条件时，将对应的视频数据与音频数据加入目标片段集合中。目标片段集合包括至少一个视频数据和对应的音频数据，以对目标用户在课中学习阶段中课堂表现较优或专注度较高的部分进行反馈。其中，第一信息和对应的第二信息中的各项信息对应的权重可以根据多个用户的历史信息进行设定。例如，若表情为预定表情的数量信息较能够体现各用户的专注度，则可以将表情为预定表情的数量信息对应的权重设定得较高。第三条件可以为加权和大于第五阈值，或者加权和排序在最大的前k位等，其中k为大于等于1的预定整数。

步骤s615，向目标用户展示所述目标片段集合。

由此，目标用户可以对自身的在课中学习阶段的专注程度有所了解，从而可以促进目标用户在后续学习的积极性。

本实施例根据目标用户的用户类别获取目标用户对应的向量，并根据目标用户对应的向量确定对应的资源集合，从而向目标用户展示对应的资源集合，以对目标用户提供个性化的资源推荐。在用户类别为第一类时，目标用户对应的向量为根据用户行为数据和向量获取模型获取的第一向量，资源集合中的资源为与目标用户对应的第一向量的内积满足第一条件的候选资源；在用户类别为第二类时，目标用户对应的向量为根据目标用户的资源选择指令和向量获取模型获取的第二向量，资源集合中的资源为与目标用户对应的第二向量的欧式距离满足第二条件的候选资源。由此，无论新用户还是老用户，均能够在课前预习阶段为其提供针对性较强的个性化推荐，提升了提供的服务与帮助更具有针对性，从而可以有效提升目标用户的学习效果。且在课中学习阶段，获取目标用户在任一时间段内在预定区域内的操作轨迹、人脸信息、资源更新状态和语音信息中的至少一项，从而获取目标用户在该时间段内的第专注状态，从而根据专注状态对目标用户进行反馈，以对目标用户进行鼓励或提示。由此，可以提升目标用户在课中学习阶段的专注性，从而提升目标用户的学习效果。同时，在课后反馈与复习阶段，可以根据多个时间段内的视频数据和音频数据获取各时间段内预定表情的数量信息、预定表情对应的时长信息、语音时长信息和对话次数信息中的至少一项，从而确定目标用户在课中学习阶段中专注度较优的至少一个频数据和音频数据，对目标用户进行展示，使得目标用户能够对自身在课中学习阶段的表现有所了解，从而促进目标用户在后续学习的积极性。

图8是本发明第四实施例的电子设备的示意图。图8所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器81和存储器82。处理器81和存储器82通过总线83连接。存储器82适于存储处理器81可执行的指令或程序。处理器81可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器81通过执行存储器82所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线83将上述多个组件连接在一起，同时将上述组件连接到显示控制器84和显示装置以及输入/输出(i/o)装置85。输入/输出(i/o)装置85可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(i/o)装置85通过输入/输出(i/o)控制器86与系统相连。

其中，存储器82可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解，流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

同时，如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明的方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式光盘只读存储器(cd-rom)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。

计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。

用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如java、smalltalk、c++、php、python等；以及常规过程编程语言如“c”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(lan)或广域网(wan)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。