一种要点题自动评价方法及装置与流程

本发明涉及自然语言处理技术领域，尤其涉及一种要点题自动评价方法及装置。

背景技术：

当前在教育领域中，无论基础教育还是成人教育，无论学校教学还是在线教学，学生学习状况的主要考察形式仍然是各种类型的考试。由于考试繁多，教师通常背负着很大的批改试卷的压力，且效率很低，同时在为大量试卷评分时，教师也容易受到疲劳、个人偏好等主观因素的干扰，从而影响试卷评分时的准确性和客观性。

近年来，随着信息技术的飞速发展，在传统的教育领域也逐渐开展新一代的教育信息化升级探索，如何利用计算机辅助完成对试卷等内容的评价、减少人工评阅工作量、提升评分的准确性和客观性，对教学过程意义重大。在各种题型中，要点题是一类较难评分的题型。要点题是指答案包含较为明确的答题要点的题型，例如简答题、辨析题等，其中要点可以是关键词、关键语句等，如果考生的答案涵盖了正确的要点，则可以获得相应的得分。

为了实现自动评阅要点题，在现有技术中，一种方案是先人工辅助制作参考答案，参考答案中除了包括标准答案外，还包括基于标准答案扩展得到的其他合理答案，然后将试卷中考生的作答内容与参考答案进行匹配，最终获得评分结果。然而发明人在实现本发明的过程中发现，这种方式由于需要人工根据经验对标准答案进行扩展，容易受到人员素质、个人偏好等的影响，而且人工扩展标准答案这种方法的覆盖范围有限，很难枚举所有合理答案，容易造成评分错误。

技术实现要素：

本发明提供一种要点题自动评价方法及装置，以提高自动评阅要点题时的准确性和客观性。

根据本发明实施例的第一方面，提供一种要点题自动评价方法，所述方法包括：

获取待评价的答题数据；

将所述答题数据向量化；

对向量化后的所述答题数据进行聚类，将聚类结果作为初步答题要点；

根据所述初步答题要点把所述答题数据分割为一个个分析单元，其中每个所述分析单元最多只涉及单个所述初步答题要点；

对分割为一个个分析单元的所述答题数据重新进行聚类，将新的聚类结果作为精确答题要点；

将所述精确答题要点输入预先构建的评价模型，以得到所述答题数据的评价结果。

可选的，将所述答题数据向量化，包括：

对所述答题数据分词，并获取每个词的词向量；

根据所述词向量获取所述答题数据中每个基本单元对应的向量，以完成所述答题数据的向量化。

可选的，对向量化后的所述答题数据进行聚类，包括：

获取预定义的聚类数目；

根据所述聚类数目对向量化后的所述答题数据进行第一次聚类；

对所述第一次聚类后得到的类别中心进行第二次聚类，以得到聚类结果。

可选的，所述第一次聚类之后，所述第二次聚类之前，所述方法还包括：

获取答题要点过滤表；

根据所述答题要点过滤表对所述第一次聚类后得到的类别中心进行过滤。

可选的，根据所述初步答题要点把所述答题数据分割为一个个分析单元，包括：

对于所述答题数据中的每个基本单元，进行如下处理：

将当前基本单元中每个分词点作为潜在分割点，计算每个潜在分割点左右两侧的内容分别与每个初步答题要点的相似度；

将值最大的相似度所对应的潜在分割点作为预备分割点；

若所述预备分割点位于当前基本单元的开头或结尾，则确定无法分割；

若所述预备分割点位于当前基本单元内部，则将所述预备分割点作为真正分割点将当前基本单元分割为左右两部分，并将左右两部分各作为一个新的基本单元继续进行分割，直至无法分割；

将无法分割的每个基本单元作为一个分析单元。

可选的，将新的聚类结果作为精确答题要点之后，将所述精确答题要点输入预先构建的评价模型之前，所述方法还包括：

循环执行以下过程一次或多次：

将所述精确答题要点重新作为初步答题要点，重新根据所述初步答题要点把所述答题数据分割为一个个分析单元，以及对分割为一个个分析单元的所述答题数据重新进行聚类以重新得到精确答题要点。

可选的，获取待评价的答题数据之前，所述方法还包括：

获取定标数据，其中所述定标数据是通过上述步骤得到精确答题要点及人工给出评价结果的答题数据；

使用所述定标数据训练得到所述评价模型。

根据本发明实施例的第二方面，提供一种要点题自动评价装置，所述装置包括：

数据获取模块，用于获取待评价的答题数据；

向量化模块，用于将所述答题数据向量化；

第一聚类模块，用于对向量化后的所述答题数据进行聚类，将聚类结果作为初步答题要点；

数据分割模块，用于根据所述初步答题要点把所述答题数据分割为一个个分析单元，其中每个所述分析单元最多只涉及单个所述初步答题要点；

第二聚类模块，用于对分割为一个个分析单元的所述答题数据重新进行聚类，将新的聚类结果作为精确答题要点；

评价模块，用于将所述精确答题要点输入预先构建的评价模型，以得到所述答题数据的评价结果。

可选的，所述向量化模块包括：

分词子模块，用于对所述答题数据分词，并获取每个词的词向量；

向量获取子模块，用于根据所述词向量获取所述答题数据中每个基本单元对应的向量，以完成所述答题数据的向量化。

可选的，所述第一聚类模块包括：

聚类数目获取子模块，用于获取预定义的聚类数目；

一次聚类子模块，用于根据所述聚类数目对向量化后的所述答题数据进行第一次聚类；

二次聚类子模块，用于对所述第一次聚类后得到的类别中心进行第二次聚类，以得到聚类结果。

可选的，所述第一聚类模块还包括：

过滤子模块，用于获取答题要点过滤表；根据所述答题要点过滤表对所述第一次聚类后得到的类别中心进行过滤。

可选的，所述数据分割模块用于：

对于所述答题数据中的每个基本单元，进行如下处理：

将当前基本单元中每个分词点作为潜在分割点，计算每个潜在分割点左右两侧的内容分别与每个初步答题要点的相似度；

将值最大的相似度所对应的潜在分割点作为预备分割点；

若所述预备分割点位于当前基本单元的开头或结尾，则确定无法分割；

若所述预备分割点位于当前基本单元内部，则将所述预备分割点作为真正分割点将当前基本单元分割为左右两部分，并将左右两部分各作为一个新的基本单元继续进行分割，直至无法分割；

将无法分割的每个基本单元作为一个分析单元。

可选的，所述装置还包括：

循环控制模块，用于在触发评价模块之前，循环执行以下过程一次或多次：

将所述精确答题要点重新作为初步答题要点，重新依次触发所述数据分割模块及所述第二聚类模块。

可选的，所述装置还包括：

训练模块，用于获取定标数据，其中所述定标数据是通过上述步骤得到精确答题要点及人工给出评价结果的答题数据；使用所述定标数据训练得到所述评价模型。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明实施例中提出了一种基于语义的要点题自动评价方法，先对向量化后的答题数据进行聚类，将聚类结果作为初步答题要点，然后根据所述初步答题要点把答题数据分割为一个个更小的单元即分析单元，再重新进行聚类得到精确答题要点，最后将精确答题要点输入预先构建的评价模型，从而得到答题数据的评价结果，这样便无需人工根据经验去扩展答案，克服了现有技术中所存在的主观性、准确性方面的不足。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。此外，这些介绍并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图；

图2是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图；

图3是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图；

图4是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图；

图5是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图；

图6是根据本发明一示例性实施例示出的基本单元分割示意图；

图7是根据本发明一示例性实施例示出的基本单元分割示意图；

图8是根据本发明一示例性实施例示出的一种要点题自动评价装置的示意图；

图9是根据本发明一示例性实施例示出的一种要点题自动评价装置的示意图；

图10是根据本发明一示例性实施例示出的一种要点题自动评价装置的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本发明一示例性实施例示出的一种要点题自动评价方法的流程图。作为示例该方法可用于手机、平板电脑、台式机电脑、笔记本电脑、服务器等设备。

参见图1所示，该方法可以包括如下步骤：

步骤S101，获取待评价的答题数据。

例如答题数据可以是学生在考卷上作答的答题内容，如果是在线考试，则可以直接获取到答题数据，如果是非在线考试，则可以在自动阅卷系统中通过OCR等技术将纸质文本答案转换为答题数据。

步骤S102，将所述答题数据向量化。

对于具体如何将答题数据进行向量化，本实施例并不进行限制，本领域技术人员可以根据不同需求\不同场景而自行选择、设计，可以在此处使用的这些选择和设计都没有背离本发明的精神和保护范围。

作为示例，参见图2所示，将所述答题数据向量化，可以包括如下步骤：

步骤S1021，对所述答题数据分词，并获取每个词的词向量。

例如，可以基于预先训练的WordEmbedding模型得到答题数据的词向量。所述预先训练的WordEmbedding模型可以是基于大量自然语料训练的通用WordEmbedding模型，优选的也可以是基于部分答题数据Tuning(调整\优化)后的主题相关的WordEmbedding模型。具体训练时可以使用现有训练方法，如可以采用Google的word2vec方案，此处不再赘述。

进一步的，如果待评价的答题数据是由OCR得到，为了规避因OCR错误对答题结果评价的影响，分词时可以直接按单字进行分词。

步骤S1022，根据所述词向量获取所述答题数据中每个基本单元对应的向量，以完成所述答题数据的向量化。

作为示例，基本单元可以是句子。基本单元对应的向量可以由上下文相关词的词向量得到，例如可以将每个基本单元中所有词的词向量的均值作为每个基本单元对应的向量。另外，也可以使用神经网络进行处理，即输入为每个基本单元所有词的词向量，输出为该基本单元对应的向量，对于该神经网络的具体设计本领域普通技术人员可以根据实际应用场景自行确定，此处不再赘述。

步骤S103，对向量化后的所述答题数据进行聚类，将聚类结果作为初步答题要点。

答题数据被向量化后就可以进行聚类了，作为示例聚类方法可以使用k-means等聚类方法，对此本实施例并不进行限制。每个初步答题要点以向量的形式表示。

步骤S104，根据所述初步答题要点把所述答题数据分割为一个个分析单元，其中每个所述分析单元最多只涉及单个所述初步答题要点。

本步骤即根据得到的初步答题要点将答题数据按照内容进行分割，其目的在于将答题数据中可能包含多个要点的基本单元进行拆分，拆成更小的更基本的单元(即分析单元，例如词、词组、短语或短句等)，使得每个分析单元最多只涉及单个所述初步答题要点。

步骤S105，对分割为一个个分析单元的所述答题数据重新进行聚类，将新的聚类结果作为精确答题要点。

本步骤中聚类的具体方法可以与步骤S102～S103相同，即先对答题数据进行向量化然后再进行聚类，只不过向量化时要得到的不再是基本单元对应的向量，而是分析单元对应的向量。

步骤S106，将所述精确答题要点输入预先构建的评价模型，以得到所述答题数据的评价结果。

精确答题要点也是以向量形式表示的。可将该答题数据的精确答题要点作为输入，输入到预先训练好的评价模型，从而得到评价结果。

作为示例，评价模型可以是分类模型(如输出为“很好、好、一般、差、很差”等评价)，也可以是回归模型(如输出为答题数据的评价分数等)。

对于评价模型如何预先构建本实施例也并不进行限制，作为示例可参见图3所示，可以包括如下步骤：

步骤S301，获取定标数据，其中所述定标数据是通过上述步骤得到精确答题要点及人工给出评价结果的答题数据。

步骤S302，使用所述定标数据训练得到所述评价模型。

例如可以预先采集多份答题数据，然后通过上述方法得到每份的精确答题要点，并人工给出每份答题数据的评价结果(如评分)，以此作为训练样本对评价模型进行训练，从而确定模型参数。

参见图4所示，在本实施例或本发明其他某些实施例中，步骤S103，即对向量化后的所述答题数据进行聚类，具体可以包括：

步骤S401，获取预定义的聚类数目。

步骤S402，根据所述聚类数目对向量化后的所述答题数据进行第一次聚类。

步骤S403，对所述第一次聚类后得到的类别中心进行第二次聚类，以得到聚类结果。

也就是说，步骤S103的聚类过程可以包含两次聚类，第一次聚类的目标在于尽可能的获得每个要点的所有表达方式，因此一般预先定义的聚类数目较多，然后再在第一次聚类结果的基础上进行第二次聚类，即对第一次聚类后的类别中心进行聚类，通过第二次聚类将同义表达尽可能聚在一起。

可选的，所述第一次聚类之后，所述第二次聚类之前，所述方法还可以包括：

获取答题要点过滤表；

根据所述答题要点过滤表对所述第一次聚类后得到的类别中心进行过滤。

通过过滤可以将非答题要点过滤掉，从而提高第二次聚类的效果。对于如何果获取答题要点过滤表本实施例也并不进行限制，例如可以通过人工编纂得到，也可以通过下面的方式得到：

可以使用定标数据进行第一次聚类，得到第一次聚类的结果，然后将第一次聚类的结果作为输入、定标数据的评分作为输出，训练得到一个过滤模型(例如可以是回归模型)，考察该模型内部权重，将权重为负或权重轻的权重对应的第一次聚类的类别中心作为需要滤除的非答题要点，加入到答题要点过滤表中。

参见图5所示，在本实施例或本发明其他某些实施例中，步骤S104，即根据所述初步答题要点把所述答题数据分割为一个个分析单元，可以包括：

对于所述答题数据中的每个基本单元，进行如下处理：

步骤S501，将当前基本单元中每个分词点作为潜在分割点，计算每个潜在分割点左右两侧的内容分别与每个初步答题要点的相似度。

步骤S502，将值最大的相似度所对应的潜在分割点作为预备分割点。

步骤S503，若所述预备分割点位于当前基本单元的开头或结尾，则确定无法分割。

步骤S504，若所述预备分割点位于当前基本单元内部，则将所述预备分割点作为真正分割点将当前基本单元分割为左右两部分，并将左右两部分各作为一个新的基本单元继续进行分割，直至无法分割。

步骤S505，将无法分割的每个基本单元作为一个分析单元。

作为示例可参见图6～图7所示。在图6中一个基本单元(即一句话)有0～5共六个分词点，以分词点4为例，“4左”表示分词点4左边的内容，“4右”表示分词点4右边的内容，分词点0和分词点5分别位于开头和结尾，也即“0右”＝“5左”＝整句话。在分割时，分别计算“0右”、“1左”、“1右”...“5左”与每个初步答题要点的相似度，然后选出一个最大的相似度，这里假设其对应分词点4，那么分词点4便可作为一个真正的分割点，将该句分割为“4左”和“4右”两部分，然后再分别继续考察“4左”和“4右”是否可以继续分割。

以图6中的“4左”为例，其进一步可参见图7所示，在图7中的“0右”、“1左”、“1右”、“2左”等中，如果图7中的“0右”的相似度最大，则代表图7中的这句话(也即图6中的“4左”)已经是最小单元了，已经无法再分割。

此外，为了更好的得到精确答题要点，可以在将精确答题要点输入预先构建的评价模型之前，令上述S104～S105的步骤反复执行，也即：

循环执行以下过程一次或多次：

将所述精确答题要点重新作为初步答题要点，重新根据所述初步答题要点把所述答题数据分割为一个个分析单元，以及对分割为一个个分析单元的所述答题数据重新进行聚类以重新得到精确答题要点。

在本实施例中提出了一种基于语义的要点题自动评价方法，先对向量化后的答题数据进行聚类，将聚类结果作为初步答题要点，然后根据所述初步答题要点把答题数据分割为一个个更小的单元即分析单元，再重新进行聚类得到精确答题要点，最后将精确答题要点输入预先构建的评价模型，从而得到答题数据的评价结果，这样便无需人工根据经验去扩展答案，克服了现有技术中所存在的主观性、准确性方面的不足。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图8是根据本发明一示例性实施例示出的一种要点题自动评价装置的示意图。

参见图8所示，该装置可以包括：

数据获取模块801，用于获取待评价的答题数据；

向量化模块802，用于将所述答题数据向量化；

第一聚类模块803，用于对向量化后的所述答题数据进行聚类，将聚类结果作为初步答题要点；

数据分割模块804，用于根据所述初步答题要点把所述答题数据分割为一个个分析单元，其中每个所述分析单元最多只涉及单个所述初步答题要点；

第二聚类模块805，用于对分割为一个个分析单元的所述答题数据重新进行聚类，将新的聚类结果作为精确答题要点；

评价模块806，用于将所述精确答题要点输入预先构建的评价模型，以得到所述答题数据的评价结果。

在本实施例或本发明其他某些实施例中，所述向量化模块具体可以包括：

分词子模块，用于对所述答题数据分词，并获取每个词的词向量；

向量获取子模块，用于根据所述词向量获取所述答题数据中每个基本单元对应的向量，以完成所述答题数据的向量化。

在本实施例或本发明其他某些实施例中，所述向量获取子模块具体可以用于：

将每个基本单元中所有词的词向量的均值作为每个基本单元对应的向量。

在本实施例或本发明其他某些实施例中，所述第一聚类模块具体可以包括：

聚类数目获取子模块，用于获取预定义的聚类数目；

一次聚类子模块，用于根据所述聚类数目对向量化后的所述答题数据进行第一次聚类；

二次聚类子模块，用于对所述第一次聚类后得到的类别中心进行第二次聚类，以得到聚类结果。

在本实施例或本发明其他某些实施例中，所述第一聚类模块还可以包括：

过滤子模块，用于获取答题要点过滤表；根据所述答题要点过滤表对所述第一次聚类后得到的类别中心进行过滤。

在本实施例或本发明其他某些实施例中，所述数据分割模块具体可以用于：

对于所述答题数据中的每个基本单元，进行如下处理：

将当前基本单元中每个分词点作为潜在分割点，计算每个潜在分割点左右两侧的内容分别与每个初步答题要点的相似度；

将值最大的相似度所对应的潜在分割点作为预备分割点；

若所述预备分割点位于当前基本单元的开头或结尾，则确定无法分割；

若所述预备分割点位于当前基本单元内部，则将所述预备分割点作为真正分割点将当前基本单元分割为左右两部分，并将左右两部分各作为一个新的基本单元继续进行分割，直至无法分割；

将无法分割的每个基本单元作为一个分析单元。

参见图9所示，在本实施例或本发明其他某些实施例中，所述装置还可以包括：

循环控制模块901，用于在触发评价模块之前，循环执行以下过程一次或多次：

将所述精确答题要点重新作为初步答题要点，重新依次触发所述数据分割模块及所述第二聚类模块。

参见图10所示，在本实施例或本发明其他某些实施例中，所述装置还可以包括：

训练模块1001，用于获取定标数据，其中所述定标数据是通过上述步骤得到精确答题要点及人工给出评价结果的答题数据；使用所述定标数据训练得到所述评价模型。

在本实施例中提出了一种基于语义的要点题自动评价方法，先对向量化后的答题数据进行聚类，将聚类结果作为初步答题要点，然后根据所述初步答题要点把答题数据分割为一个个更小的单元即分析单元，再重新进行聚类得到精确答题要点，最后将精确答题要点输入预先构建的评价模型，从而得到答题数据的评价结果，这样便无需人工根据经验去扩展答案，克服了现有技术中所存在的主观性、准确性方面的不足。

关于上述实施例中的装置，其中各个单元\模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。