数据处理方法、计算机存储介质及相关设备与流程

文档序号:21045507发布日期:2020-06-09 20:54阅读:180来源:国知局
数据处理方法、计算机存储介质及相关设备与流程

本申请涉及在线教育平台领域,具体而言,涉及一种数据处理方法、计算机存储介质及相关设备。



背景技术:

在线教育平台领域有自己的题库,并且题目的题干、知识点和答案都是比较全面的,而题目的解题思路是帮助学生更好地学习相关知识和解答题目十分必要的题目相关标签。

目前在线题目的各个部分需要相关教研人员收集并上传,对于题干和答案等比较客观的内容,对教研人员处理上传来说较为容易,但是,对于解题思路,需要教研人员通过题干和考察的知识点,再结合自身的教学经验进行人工编辑,处理过程复杂,且效率较低

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本申请实施例提供了一种数据处理方法、计算机存储介质及相关设备,以至少解决相关技术中解题思路由教研人员结合相关经验总结编辑得到,导致处理速度慢,且效率较慢的技术问题。

根据本申请实施例的第一方面,提供了一种数据处理方法,包括:获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,其中,目标数据用于表征题目信息的处理方法;输出目标数据。

可选地,利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,包括:利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量;利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量;利用解码器对第一特征向量和目标向量进行处理,得到目标数据。

可选地,利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量,包括:分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵;利用编码器分别对第一嵌入矩阵和每个第二嵌入矩阵进行特征提取,得到第一特征向量和每个第二特征向量。

可选地,利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量,包括:将第一特征向量与每个第二特征向量进行拼接;利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量。

可选地,利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量,包括:基于拼接后的第一向量,得到权重矩阵;对权重矩阵进行切割处理,得到目标权重矩阵;将每个第二特征向量和目标权重矩阵进行加权处理,得到每个第二特征向量的注意力值;获取最大注意力值对应的第二特征向量,得到目标向量。

可选地,利用解码器对第一特征向量和目标向量进行处理,得到目标数据,包括:将第一特征向量和目标向量进行拼接;利用解码器对拼接后的第二向量进行处理,得到解码向量;基于解码向量,利用生成函数生成目标数据。

可选地,题目信息包括如下至少之一:题干信息和知识点信息,概念信息集合是利用数组对至少一个概念信息进行封装得到的。

可选地,该方法还包括:获取多个题目信息和每个题目信息对应的目标数据;获取每个题目信息包含的知识点信息对应的概念信息集合;基于多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合,生成多个训练数据;利用多个训练数据对预设模型进行训练,得到编码解码模型。

可选地,在利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据之前,该方法还包括:分别对题目信息和概念信息集合进行预处理;利用训练好的编码解码模型对预处理后的题目信息和预处理后的概念信息集合进行处理,得到目标数据。

根据本申请实施例的第二方面,还提供了一种数据处理方法,包括:在交互界面上显示输入的题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;在交互界面上显示题目信息对应的目标数据,其中,目标数据是利用训练好的编码解码模型对题目信息和概念信息集合进行处理得到的,目标数据用于表征题目信息的处理方法。

可选地,目标数据是利用解码器对题目信息对应的第一特征向量和目标向量进行处理得到的,目标向量是利用注意力机制对第一特征向量和每个概念对应的第二特征向量进行处理得到的,第一特征向量和每个第二特征向量是利用编码器分别对题目信息和概念信息集合进行处理得到的。

根据本申请实施例的第三方面,还提供了一种数据处理装置,包括:第一获取模块,用于获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;处理模块,用于利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,其中,目标数据用于表征题目信息的处理方法;输出模块,用于输出目标数据。

可选地,处理模块包括:第一处理子模块,用于利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量;第二处理子模块,用于利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量;第三处理子模块,用于利用解码器对第一特征向量和目标向量进行处理,得到目标数据。

可选地,第一处理子模包括:第一处理单元,用于分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵;特征提取单元,用于利用编码器分别对第一嵌入矩阵和每个第二嵌入矩阵进行特征提取,得到第一特征向量和每个第二特征向量。

可选地,第二处理子模块包括:第一拼接单元,用于将第一特征向量与每个第二特征向量进行拼接;第二处理单元,用于利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量。

可选地,第二处理单元包括:第一处理子单元,用于基于拼接后的第一向量,得到权重矩阵;第二处理子单元,用于对权重矩阵进行切割处理,得到目标权重矩阵;第三处理子单元,用于将每个第二特征向量和目标权重矩阵进行加权处理,得到每个第二特征向量的注意力值;获取子单元,用于获取最大注意力值对应的第二特征向量,得到目标向量。

可选地,第三处理子模块包括:第二拼接单元,用于将第一特征向量和目标向量进行拼接;第三处理单元,用于利用解码器对拼接后的第二向量进行处理,得到解码向量;生成单元,用于基于解码向量,利用生成函数生成目标数据。

可选地,该装置还包括:第二获取模块,用于获取多个题目信息和每个题目信息对应的目标数据;第三获取模块,用于获取每个题目信息包含的知识点信息对应的概念信息集合;生成模块,用于基于多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合,生成多个训练数据;训练模块,用于利用多个训练数据对预设模型进行训练,得到编码解码模型。

可选地,该装置还包括:预处理模块,用于分别对题目信息和概念信息集合进行预处理;处理模块还用于利用训练好的编码解码模型对预处理后的题目信息和预处理后的概念信息集合进行处理,得到目标数据。

根据本申请实施例的第四方面,还提供了一种数据处理装置,包括:第一显示模块,用于在交互界面上显示输入的题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;第二显示模块,用于在交互界面上显示题目信息对应的目标数据,其中,目标数据是利用训练好的编码解码模型对题目信息和概念信息集合进行处理得到的,目标数据用于表征题目信息的处理方法。

可选地,目标数据是利用解码器对题目信息对应的第一特征向量和目标向量进行处理得到的,目标向量是利用注意力机制对第一特征向量和每个概念对应的第二特征向量进行处理得到的,第一特征向量和每个第二特征向量是利用编码器分别对题目信息和概念信息集合进行处理得到的。

根据本申请实施例的第五方面,还提供了一种处理机存储介质,处理机存储介质存储有多条指令,指令适于由处理器加载并执行上述任意一个实施例中的方法步骤。

根据本申请实施例的第六方面,还提供了一种电子设备,包括:处理器和存储器;其中,存储器存储有处理机程序,处理机程序适于由处理器加载并执行上述任意一个实施例中的方法步骤。

在本申请实施例中,通过利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到最终用于表征题目信息的处理方法的目标数据。容易注意到的是,由于采用深度学习方法自动生成题目的解题思路,可以为教研人员提供编辑参考,省去教研人员的构思总结的过程,从而大大提高解题思路编辑效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据现有技术的一种题目的示意图;

图2是根据本申请实施例的第一种数据处理方法的流程图;

图3是根据本申请实施例的一种训练数据的示意图;

图4是根据本申请实施例的第二种数据处理方法的流程图;

图5是根据本申请实施例的第一种数据处理方法的流程图;

图6是根据本申请实施例的一种数据处理方法的硬件环境示意图;

图7是根据本申请实施例的一种优选的编码解码模型的示意图;

图8是根据本申请实施例的第一种数据处理装置的示意图;

图9是根据本申请实施例的第二种数据处理装置的示意图;

图10是根据本申请实施例的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先,对本申请实施例中出现的技术术语或技术名称进行如下解释说明:

题干:可以是指题目中完成解答的主要内容,例如,一道数学应用题的题目为:一个幼儿园阿姨有16个苹果,有8个小朋友,要保证每个小朋友得到的苹果数相同,每个人应该有多少个苹果,则题干为16除以8的结果是多少。

知识点:可以是指课程中的基本知识,例如,在数学课程中,知识点可以是有理数减法、一元一次方程等。

概念:可以是指对知识点的定义,以定理、法则、公式的方式表现。

解题思路:可以是指题目解答的策略,体现了题目解答的流程。

k21教育是学前教育至高中教育的缩写,题目是k21教育的重要资源。如图1所示,解题思路是答题思路的一种体现,它将题目的题干与题目考察的相关知识点、概念等有机地结合起来,能够更直观形象地展现题目考察的实质内容,有利于学生总结相关解题技巧,帮助学生更好地学习掌握知识点。

目前,在线题目的解题思路还没有自动生成的方案,现在的处理方式主要是通过教研人员进行人工编辑,导致处理速度较慢。在人工过程中可以针对每个知识点设定一些模板,以提高处理速度,但这样就会导致多样性降低,且不能很好地结合题目的个性化信息。

另外,从生成模型的角度来看,现有的生成方案大部分都是使用序列到序列的生成方式,使用的是平行预料,即一个文本对应一个生成文本,如翻译模型,很少使用额外的语料信息进行补充,即使有些模型和任务使用来额外的信息进行补充,出发点也是为了提升生成结果的多样性,只是简单的拼接,没有将输入文本和额外补充数据在内容上进行关联注意处理。

为了解决上述技术问题,本申请实施例提供了一种数据处理方法和装置、计算机存储介质及相关设备。

该方法可以应用于教学设备,并部署于在线教育平台上。在本申请实施例中,以电子设备为例进行说明,在线教育平台可以部署在服务器中。该电子设备包括但不限于智能交互平板、智能手机(包括:android手机和ios手机)、平板电脑、掌上电脑、笔记本电脑、个人电脑等设备。

其中,智能交互平板可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备,其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。智能交互平板的硬件部分由显示模组、智能处理系统(包括控制器)等部分所构成,由整体结构件结合到一起,同时也由专用的软件系统作为支撑,其中显示模组包括显示屏和背光灯组件,其中显示屏包括透明电导层和液晶层等。

显示屏,在本说明书中的实施例中,是指触摸屏、触控屏、触控面板,是一种感应式液晶显示装置,当接触了屏幕上的图形按钮时,屏幕上的触觉反馈系统可根据预先编程的程式驱动各种连接装置,可用以取代机械式的按钮面板,并借由液晶显示画面制造出生动的影音效果。从技术原理来区别触摸屏,可以分为五个基本种类;矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏、表面声波技术触摸屏。按照触摸屏的工作原理和传输信息的介质,可以把触摸屏分为四个种类:电阻式、电容感应式、红外线式以及表面声波式。

智能交互平板可以通过麦克风采集用户的语音信号,进一步通过语音识别系统完成语音识别,得到相应的控制指令,然后由智能处理系统内置的软件来实现不同的功能应用。

实施例1

根据本申请实施例,提供了一种数据处理方法,该方法可以应用于教学设备,并部署于在线教育平台上。

下面结合图2对本申请实施例提供的数据处理方法进行详细介绍。如图2所示,该方法包括如下步骤:

步骤s202,获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;

可选地,题目信息可以包括如下至少之一:题干信息和知识点信息。考虑到目标数据将题目的题干与题目考察的相关知识点、概念等有机地结合起来,在本申请实施例中,以题目信息包括:题干信息和知识点信息为例进行说明,可以将题干和知识点文本拼接得到题目信息。

另外,概念信息集合可以是利用数组对至少一个概念信息进行封装得到的。

对于一道题目,该题目考察的相关概念往往不仅仅涉及一个概念,而是涉及一组概念,例如,如图3所示,一道题目的题干为:计算2-3的结果,该题目考察的知识点为:有理数减法,其涉及到的概念包括:

有理数减法:已知两个有理数加数的和与其中的一个加数,求另一个加数的运算,叫做有理数的减法,减法是加法的逆运算。

有理数的减法法则:减去一个数等于加上这个数的相反数,即a-b=a+(-b)。两变:减法运算变加法运算,减数变它的相反数。一不变:被减数不变。

计算步骤:把减法变为加法;按加法法则进行。

有理数减法点拨:1.引入负数之后,对于任意两个有理数都可以求出其差,不存在“不够减”的问题,并有如下结论:大数减小数,差为正数;小数减大数,差为负数;某数减去零,差为某数;零减去某数,差为某数的相反数;相等两束相减,差为零。2.在减法转化为加法时,减数必须同时变为其相反数,即“同时改变两个符号”。

在一种可选的实施例中,上述的题目信息可以由教研人员通过电子设备上传至在线教育平台,而该题目信息对应的概念信息集合可以由在线教育平台基于教研人员上传的题目信息,自动查询得到。在另一种可选的实施例中,上述的题目信息和概念信息集合均由教研人员通过电子设备上传至在线教育平台。

步骤s204,利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,其中,目标数据用于表征题目信息的处理方法;

该实施例中的目标数据可以是指解题思路,但不仅限于此。

编码解码encoder-decoder模型包含编码和解码两个步骤,编码可以是指将输入序列转化成一个固定长度的向量;解码可以是指将之前生成的固定向量再转化成输出序列。也即,编码解码模型可以根据一个输入序列来生成另一个输出序列。在本实施例中,输入至编码解码模型的输入序列为两种,分别为题目信息序列和概念信息集合序列,因此,可以在该模型中设置两个编码器,分别用于对题目信息和概念信息集合进行处理。或者,也可以在该模型中设置一个编码器,由该编码器依次对题目信息和概念信息集合进行处理。

需要说明的是,如果编码解码模型中设置两个编码器,两个编码器可以并行处理,则该模型编码效率较高,但是结构较大;如果编码解码模型中设置一个编码器,该编码器串行处理,则该模型结构较小,但是编码效率较低。

在将题目信息和多个概念进行结合的过程中,为了使生成的目标数据更准确,可以在编码解码模型中进入题目对多个概念的注意力机制,使得题目更关注部分概念而不是全部概念。

步骤s206,输出目标数据。

上述步骤中的输出可以是指在线教育平台将目标数据下发给教研人员的教育设备,也可以是指教育设备在显示屏上显示目标数据。

在本申请实施例中,通过利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到最终用于表征题目信息的处理方法的目标数据。容易注意到的是,由于采用深度学习方法自动生成题目的解题思路,可以为教研人员提供编辑参考,省去教研人员的构思总结的过程,从而大大提高解题思路编辑效率。

实施例2

如图4所示,该数据处理方法包括如下步骤:

步骤s402,获取多个题目信息和每个题目信息对应的目标数据;

为了能够训练得到准确度最高的encoder-decoder,题目信息可以是根据现有的数据,整理得到的题目的题干和题目考察的知识点,同时,得到整理出相应的解题思路。

步骤s404,获取每个题目信息包含的知识点信息对应的概念信息集合;

进一步地,针对每个题目的考察的知识点,可以进一步整理出该知识点对应的一组概念信息,并将一组概念信息使用数据封装得到概念信息集合。

步骤s406,基于多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合,生成多个训练数据;

在根据现有的数据,整理大量题目的题干、题目考察的知识点、相应的解题思路,以及该知识点对应的一组概念之后(如图3所示),可以作为encoder-decoder的训练集。

步骤s408,利用多个训练数据对预设模型进行训练,得到编码解码模型;

预设模型可以是预先构建的引入注意力attention机制的encoder-decoder模型。利用构建好的训练集对预设模型进行训练,调整模型中的参数进行调整,使得该模型的输出能够满足实际精度需求,此时可以确定模型训练完成,训练好的模型即为本实施例中使用到的编码解码模型。

由于大多数情况下,训练集中包含有很多无用的部分,例如一些html标签(超文本标记语言,hypertextmarkuplanguage)、低频词、标点符号等,为了方便后续通过训练集进行encoder-decoder训练,首先可以对训练集中的数据进行预处理,完成文本清洗。

步骤s410,获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;

步骤s412,分别对题目信息和概念信息集合进行预处理;

预处理可以是指对题目信息和概念信息集合进行的文本清洗,具体可以包括去除低频词、html标签等。在本实施例中,可以预先根据词频筛选出低频词得到低频词库,进一步通过将题目信息和概念信息集合与低频词库进行匹配,并将匹配出的低频词去除。

步骤s414,利用训练好的编码解码模型对预处理后的题目信息和预处理后的概念信息集合进行处理,得到目标数据;

在本实施例中,可以通过如下方式得到题目信息对应的目标数据:利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量;利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量;利用解码器对第一特征向量和目标向量进行处理,得到目标数据。

在自动生成目标数据的过程中,可以首先利用编码器分别对题目信息和概念信息集合进行特征提取,提取出能够表达题目信息和概念信息集合的特征,并将其表示为向量形式,从而得到第一特征向量和第二特征向量。其次,使用attention机制,使得题目中的文本关注每一个概念中的文本,并将一组概念中被题目文本关注度最高的信息提取出来,得到目标向量。最终,利用解码器对目标向量和第一特征向量进行解码,可以将向量重新解码成文本数据,进而得到最终的目标数据。

进一步地,可以采用如下方式得到题目信息对应的第一特征向量和每个概念对应的第二特征向量:分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵;利用编码器分别对第一嵌入矩阵和每个第二嵌入矩阵进行特征提取,得到第一特征向量和每个第二特征向量。

编码解码模型中设置有嵌入embedding层,题目信息和概念信息集合可以使用同一个词袋,embedding层可以用词下标替换文本,将文本转换成数值类型,并进行embedding编码,从而得到第一嵌入矩阵和至少一个第二嵌入矩阵。

在本申请实施例的一个示例性实施例中,可以使用transformer作为encoder,但不仅限于此。

同样地,可以采用如下方式得到目标向量:将第一特征向量与每个第二特征向量进行拼接;利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量。

在本申请实施例的一个示例性实施例中,在得到第一特征向量和至少一个第二特征向量之后,可以将第一特征向量与每个第二特征向量进行拼接,也即,在使用embedding编码后,将编码后的题目信息与编码后的一组概念中的每一个概念进行拼接。然后,使用attention机制获取到每个概念中被题目信息关注度最高的信息。

在本申请实施例上述实施例中,可以通过如下方式得到目标向量:基于拼接后的第一向量,得到权重矩阵;对权重矩阵进行切割处理,得到目标权重矩阵;将每个第二特征向量和目标权重矩阵进行加权处理,得到每个第二特征向量的注意力值;获取最大注意力值对应的第二特征向量,得到目标向量。

在本申请实施例的一个示例性实施例中,可以将拼接后的第一向量作为查询query和关键字key,计算权重weight值,从而得到权重矩阵,然后对权重矩阵进行切割,只保留题目信息对概念的关注信息,进一步将每个第二特征向量作为值value,与切割后的权重矩阵进行加权计算,得到题目信息对每个概念的注意力值,最后使用最大池化maxpooling层进行下采样操作,保留题目信息与每个概念中的注意力值最大的信息,得到最终的目标向量。

另外,可以采用如下方式得到目标数据:将第一特征向量和目标向量进行拼接;利用解码器对拼接后的第二向量进行处理,得到解码向量;基于解码向量,利用生成函数生成目标数据。

在本申请实施例的一个示例性实施例中,可以将第一特征向量和被题目信息关注度最高的目标向量进行拼接,作为最终decoder的输入,使用transformer作为decoder进行解码,并使用生成函数获取decoder后生成最终的目标数据,但不仅限于此。

步骤s416,输出目标数据。

要注意的是,由于篇幅所限,本申请中并没有穷举所有的实施方式,只要是不互相矛盾的特征,均可以自由随意组合,成为本申请可选的实施方式。

实施例3

根据本申请实施例,提供了一种数据处理方法,该方法可以应用于教学设备,并部署于在线教育平台上。如图5所示,该方法包括如下步骤:

步骤s502,在交互界面上显示输入的题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;

在本实施例中,交互界面可以是教育设备的显示屏中显示的界面,教研人员可以通过在该界面中进行操作,实现数据输入和显示,完成相应的交互过程。

步骤s504,在交互界面上显示题目信息对应的目标数据,其中,目标数据是利用训练好的编码解码模型对题目信息和概念信息集合进行处理得到的,目标数据用于表征题目信息的处理方法。

在本实施例中,编码解码模型是利用多个训练数据对预设模型进行训练得到的,多个训练数据可以由多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合生成。

进一步地,目标数据是利用解码器对题目信息对应的第一特征向量和目标向量进行处理得到的,目标向量是利用注意力机制对第一特征向量和每个概念对应的第二特征向量进行处理得到的,第一特征向量和每个第二特征向量是利用编码器分别对题目信息和概念信息集合进行处理得到的。

在本申请上述实施例中,第一特征向量和每个第二特征向是利用编码器分别对题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵进行特征提取得到的,第一嵌入矩阵和每个第二嵌入矩阵是分别对题目信息和概念信息集合进行处理得到的。

进一步地,目标向量是利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理得到的,拼接后的第一向量是将第一特征向量与每个第二特征向量进行拼接得到的。

在本申请实施例的一个示例性实施例中,目标向量可以是最大注意力值对应的第二特征向量,每个第二特征向量的注意力值是将每个第二特征向量和目标权重矩阵进行加权处理得到的,目标权重矩阵是对基于拼接后的第一向量得到的权重矩阵进行切割处理得到的。

另外,目标数据可以是基于解码向量,利用生成函数生成的,解码向量是利用解码器对拼接后的第二向量进行处理得到的,拼接后的第二向量是将第一特征向量和目标向量进行拼接得到的。

实施例4

本申请实施例提供的数据处理方法可以应用于教学设备,并部署于在线教育平台上。例如,该方法可以部署在电子设备的在线教育平台上,如图6所示,电子设备与在线教育平台通过互联网连接。

其模型示意图如图7,整个生成流程如下:根据现有的数据,整理题目的知识点对应的一组概念信息,获取训练集;将题干和知识点文本拼接作为题目信息(例如,x1,x2,x3,…,xn),将一组概念使用数组封装成概念集合(例如,每个概念为y1,y2,y3,…,yn);对题目和概念进行文本清洗,去除低频词,html标签等;题目和概念使用同一个词袋,用词下标替换文本,将文本转换成数值类型,并进行嵌入(embedding)编码;使用transformer作为编码器(encoder),分别对embedding后的题目和概念进行特征提取,用eq和ek表示(例如,均为h1,h2,h3,…,hn);将编码的题目eq与编码后的一组概念ek的每一个概念进行拼接(cat),用eqk表示;使用注意力(attention)机制(query,key,value),使得题目中的文本关注每一个概念中的文本,最后将一组概念中被题目文本关注度最高的信息提取出来;将eq和aw拼接(cat)作为最终解码器(decoder)的输入;使用transformer作为decoder对编码后的题目和概念(例如,h1,h2,h3,…,hn,…)进行解码;使用生成函数获取decoder后生成解题思路。

其中,对于attention机制,可以将eqk分别当作query、key计算weight矩阵;对weight矩阵进行切割(cut),只保留题目对概念对关注信息;将ek作为value值,与切割后的weight矩阵进行加权计算(multi),得到题目对每个概念关注后的信息,用aqk表示;将aqk使用最大池化(maxpooling),保留题目中的文本与每个概念中的文本关注最高的信息,用aw表示。

针对题目的解题思路目前没有一种自动化地生成方案,现有方案依赖于教研人员的经验进行总结编辑。本申请实施例结合题目信息和概念信息集合,采用深度学习的encoder-decoder生成架构,提出一种基于k12题干和知识点概念的解题思路自动生成方法。该方法具有如下优点:

从应用角度,首次利用深度学习方法,自动生成题目解题思路,可以为教研人员提供编辑参考,省去教研人员的构思总结的过程,大大提高解题思路编辑效率。

从模型角度,结合题目信息和多个概念进行解题思路生成,符合正常解题思考过程,即考虑题目本身信息同时也结合背景知识点概念。在信息结合过程中,设计题目对多个概念的注意力机制,使得题目更关注一组概念中的部分更贴切的内容,使得生成的解题思路更精准。

实施例5

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

如图8所示,该数据处理装置可以通过软件、硬件或者两者的结合实现成为语音交互的产品的全部或一部分。该装置包括:第一获取模块82、处理模块84和输出模块86。

第一获取模块82,用于获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;

处理模块84,用于利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,其中,目标数据用于表征题目信息的处理方法;

输出模块86,用于输出目标数据。

在本实施例上述基础上,处理模块包括:第一处理子模块,用于利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量;第二处理子模块,用于利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量;第三处理子模块,用于利用解码器对第一特征向量和目标向量进行处理,得到目标数据。

在本实施例上述基础上,第一处理子模包括:第一处理单元,用于分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵;特征提取单元,用于利用编码器分别对第一嵌入矩阵和每个第二嵌入矩阵进行特征提取,得到第一特征向量和每个第二特征向量。

在本实施例上述基础上,第二处理子模块包括:第一拼接单元,用于将第一特征向量与每个第二特征向量进行拼接;第二处理单元,用于利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量。

在本实施例上述基础上,第二处理单元包括:第一处理子单元,用于基于拼接后的第一向量,得到权重矩阵;第二处理子单元,用于对权重矩阵进行切割处理,得到目标权重矩阵;第三处理子单元,用于将每个第二特征向量和目标权重矩阵进行加权处理,得到每个第二特征向量的注意力值;获取子单元,用于获取最大注意力值对应的第二特征向量,得到目标向量。

在本实施例上述基础上,第三处理子模块包括:第二拼接单元,用于将第一特征向量和目标向量进行拼接;第三处理单元,用于利用解码器对拼接后的第二向量进行处理,得到解码向量;生成单元,用于基于解码向量,利用生成函数生成目标数据。

在本实施例上述基础上,该装置还包括:第二获取模块,用于获取多个题目信息和每个题目信息对应的目标数据;第三获取模块,用于获取每个题目信息包含的知识点对应的概念信息集合;生成模块,用于基于多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合,生成多个训练数据;训练模块,用于利用多个训练数据对预设模型进行训练,得到编码解码模型。

在本实施例上述基础上,该装置还包括:预处理模块,用于分别对题目信息和概念信息集合进行预处理;处理模块还用于利用训练好的编码解码模型对预处理后的题目信息和预处理后的概念信息集合进行处理,得到目标数据。

需要说明的是,上述实施例提供的数据处理装置在执行数据处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。

实施例6

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

如图9所示,该数据处理装置可以通过软件、硬件或者两者的结合实现成为语音交互的产品的全部或一部分。该装置包括:第一显示模块92和第二显示模块94。

第一显示模块92,用于在交互界面上显示输入的题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;

第二显示模块94,用于在交互界面上显示题目信息对应的目标数据,其中,目标数据是利用训练好的编码解码模型对题目信息和概念信息集合进行处理得到的,目标数据用于表征题目信息的处理方法。

需要说明的是,上述实施例提供的数据处理装置在执行数据处理方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。

实施例7

本申请实施例还提供了一种处理机存储介质,所述处理机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图2-图7所示实施例的方法步骤,具体执行过程可以参见图2-图7所示实施例的具体说明,在此不进行赘述。

存储介质所在设备可以是电子设备。

实施例8

如图10所示,所述电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。

其中,通信总线1002用于实现这些组件之间的连接通信。

其中,用户接口1003可以包括显示屏(display)、摄像头(camera),可选用户接口1003还可以包括标准的有线接口、无线接口。

其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。

其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行电子设备1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(digitalsignalprocessing,dsp)、现场可编程门阵列(field-programmablegatearray,fpga)、可编程逻辑阵列(programmablelogicarray,pla)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(centralprocessingunit,cpu)、图像处理器(graphicsprocessingunit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。

其中,存储器1005可以包括随机存储器(randomaccessmemory,ram),也可以包括只读存储器(read-onlymemory)。可选的,该存储器1005包括非瞬时性处理机可读介质(non-transitorycomputer-readablestoragemedium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示,作为一种处理机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子设备的操作应用程序。

在图10所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的电子设备的操作应用程序,并具体执行以下操作:

获取题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据,其中,目标数据用于表征题目信息的处理方法;输出目标数据。

在一个实施例中,所述电子设备的操作系统为安卓系统,在所述安卓系统中,所述处理器1001还执行以下步骤:

利用编码器分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一特征向量和每个概念对应的第二特征向量;利用注意力机制对第一特征向量和每个第二特征向量进行处理,得到目标向量;利用解码器对第一特征向量和目标向量进行处理,得到目标数据。

在一个实施例中,所述处理器1001还执行以下步骤:

分别对题目信息和概念信息集合进行处理,得到题目信息对应的第一嵌入矩阵和每个概念对应的第二嵌入矩阵;利用编码器分别对第一嵌入矩阵和每个第二嵌入矩阵进行特征提取,得到第一特征向量和每个第二特征向量。

在一个实施例中,所述处理器1001还执行以下步骤:

将第一特征向量与每个第二特征向量进行拼接;利用注意力机制对拼接后的第一向量和每个第二特征向量进行处理,得到目标向量。

在一个实施例中,所述处理器1001还执行以下步骤:

基于拼接后的第一向量,得到权重矩阵;对权重矩阵进行切割处理,得到目标权重矩阵;将每个第二特征向量和目标权重矩阵进行加权处理,得到每个第二特征向量的注意力值;获取最大注意力值对应的第二特征向量,得到目标向量。

在一个实施例中,所述处理器1001还执行以下步骤:

将第一特征向量和目标向量进行拼接;利用解码器对拼接后的第二向量进行处理,得到解码向量;基于解码向量,利用生成函数生成目标数据。

在一个实施例中,所述处理器1001还执行以下步骤:

获取多个题目信息和每个题目信息对应的目标数据;获取每个题目信息包含的知识点对应的概念信息集合;基于多个题目信息,每个题目信息对应的目标数据,以及每个题目信息对应的概念信息集合,生成多个训练数据;利用多个训练数据对预设模型进行训练,得到编码解码模型。

在一个实施例中,所述处理器1001还执行以下步骤:

在利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到题目信息对应的目标数据之前,分别对题目信息和概念信息集合进行预处理;利用训练好的编码解码模型对预处理后的题目信息和预处理后的概念信息集合进行处理,得到目标数据。

在一个实施例中,所述处理器1001还执行以下步骤:

在交互界面上显示输入的题目信息,以及题目信息对应的概念信息集合,其中,概念信息集合包括:至少一个概念信息;在交互界面上显示题目信息对应的目标数据,其中,目标数据是利用训练好的编码解码模型对题目信息和概念信息集合进行处理得到的,目标数据用于表征题目信息的处理方法。

通过利用训练好的编码解码模型对题目信息和概念信息集合进行处理,得到最终的目标数据。容易注意到的是,由于采用深度学习方法自动生成题目的解题思路,可以为教研人员提供编辑参考,省去教研人员的构思总结的过程,从而大大提高解题思路编辑效率。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或处理机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有处理机可用程序代码的处理机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的处理机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和处理机程序产品的流程图和/或方框图来描述的。应理解可由处理机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些处理机程序指令到通用处理机、专用处理机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过处理机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些处理机程序指令也可存储在能引导处理机或其他可编程数据处理设备以特定方式工作的处理机可读存储器中,使得存储在该处理机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些处理机程序指令也可装载到处理机或其他可编程数据处理设备上,使得在处理机或其他可编程设备上执行一系列操作步骤以产生处理机实现的处理,从而在处理机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,处理设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括处理机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。存储器是处理机可读介质的示例。

处理机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是处理机可读指令、数据结构、程序的模块或其他数据。处理机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被处理设备访问的信息。按照本文中的界定,处理机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1