数据处理方法及装置、介质和计算设备与流程

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及数据处理方法及装置、介质和计算设备。

背景技术：

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，用户越来越习惯于利用编程工具练习编程，以提高自身的计算机水平。对于一些没有编程经验的用户来说，通过简单的语言实现编程可以使得用户快速完成练习。例如，一款由麻省理工学院(mit)设计开发的少儿编程工具，其特点是：使用者可以不认识英文单词，也可以不会使用键盘，构成程序的命令和参数通过积木形状的模块来实现，通过鼠标拖动模块到程序编辑栏就可以实现相应操作。

在相关技术中，当用户通过编程工具编写好作品之后，相关人员可以手动收集编程作品，然后分别运行和审阅编程作品，通过自身观感和评价标准，手动给出评分。

但是，通过上述方式，用户不能及时有效的了解编程作品的质量，并且对作品的评分容易受审阅者的主观思想和评分环境影响，很难给出相对公平的评分。

技术实现要素：

因此在现有技术中，通过人工评审编程作品受主观意识影响较大，且评审效率低这是非常令人烦恼的过程。

为此，非常需要一种改进的数据处理方法及装置、介质和计算设备。

在本上下文中，本发明的实施方式期望提供一种数据处理方法及装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种数据处理方法，包括：获取编程作品数据；将上述编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果；根据上述评分结果确定上述编程作品的编程质量。

在本发明的一个实施例中，其中：将上述编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果包括：将上述编程作品数据分别输入第一评分模型和第二评分模型中，得到上述第一评分模型输出的第一评分结果和上述第二评分模型输出的第二评分结果，其中，上述第一评分模型是基于第一样本数据预先训练得到的，上述第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，上述第二评分模型是基于第二样本数据预先训练得到的，上述第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果；根据上述评分结果确定上述编程作品的编程质量包括：根据上述第一评分结果和上述第二评分结果确定上述编程作品的编程质量。

在本发明的另一个实施例中，其中：将上述编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果包括：将上述编程作品数据分别输入第一评分模型、第二评分模型和第三评分模型中，得到上述第一评分模型输出的第一评分结果、上述第二评分模型输出的第二评分结果和上述第三评分模型输出的第三评分结果，其中，上述第一评分模型是基于第一样本数据预先训练得到的，上述第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，上述第二评分模型是基于第二样本数据预先训练得到的，上述第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，上述第三评分模型是基于第三样本数据预先训练得到的，上述第三样本数据包括特定编程任务下的多个编程作品中每个编程作品对应的评分结果和上述每个编程作品的内容特征；根据上述评分结果确定上述编程作品的编程质量包括：根据上述第一评分结果、上述第二评分结果和上述第三评分结果确定上述编程作品的编程质量。

在本发明的又一个实施例中，上述方法还包括：确定上述第一评分模型、上述第二评分模型和上述第三评分模型对应的权重；根据上述第一评分结果、上述第二评分结果和上述第三评分结果确定上述编程作品的编程质量包括：根据上述第一评分模型对应的权重与上述第一评分结果、上述第二评分模型对应的权重与上述第二评分结果、上述第三评分模型对应的权重与上述第三评分结果按照预设公式计算上述编程作品的综合评分；以及根据上述综合评分确定上述编程作品的编程质量。

在本发明的再一个实施例中，上述第一评分模型是基于第一样本数据预先训练得到的，预先训练上述第一评分模型包括：确定上述第一评分模型的特征参数，其中，上述特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征；计算上述第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据；根据上述第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练上述第一评分模型。

在本发明的再一个实施例中，上述第二评分模型是基于第二样本数据预先训练得到的，预先训练上述第二评分模型包括：确定上述第二评分模型的特征参数，其中，上述特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征；计算上述第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据；根据上述第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练上述第二评分模型。

在本发明的再一个实施例中，上述第三评分模型是基于第三样本数据预先训练得到的，预先训练上述第三评分模型包括：确定上述第三样本数据中的编程作品的内容特征，其中，上述内容特征包括以下至少之一：图片、文字、音频和视频；计算上述第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据；以及根据上述第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据和每个编程作品对应的评分结果训练上述第三评分模型。

在本发明的再一个实施例中，在将上述编程作品数据输入至少一个评分模型中之前，上述方法还包括：判断上述编程作品是否满足预设条件；在满足上述预设条件的情况下，将该满足上述预设条件的编程作品数据输入至少一个评分模型中；以及在不满足上述预设条件的情况下，确定该不满足上述预设条件的编程作品数据的编程质量为不合格。

在本发明实施方式的第二方面中，提供了一种数据处理装置，包括：获取模块，用于获取编程作品数据；输入模块，用于将上述编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果；第一确定模块，用于根据上述评分结果确定上述编程作品的编程质量。

在本发明的一个实施例中，其中：上述输入模块用于：将上述编程作品数据分别输入第一评分模型和第二评分模型中，得到上述第一评分模型输出的第一评分结果和上述第二评分模型输出的第二评分结果，其中，上述第一评分模型是基于第一样本数据预先训练得到的，上述第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，上述第二评分模型是基于第二样本数据预先训练得到的，上述第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果；上述第一确定模块用于：根据上述第一评分结果和上述第二评分结果确定上述编程作品的编程质量。

在本发明的另一个实施例中，其中：上述输入模块还用于：将上述编程作品数据分别输入第一评分模型、第二评分模型和第三评分模型中，得到上述第一评分模型输出的第一评分结果、上述第二评分模型输出的第二评分结果和上述第三评分模型输出的第三评分结果，其中，上述第一评分模型是基于第一样本数据预先训练得到的，上述第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，上述第二评分模型是基于第二样本数据预先训练得到的，上述第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，上述第三评分模型是基于第三样本数据预先训练得到的，上述第三样本数据包括特定编程任务下的多个编程作品中每个编程作品对应的评分结果和上述每个编程作品的内容特征；上述第一确定模块还用于：根据上述第一评分结果、上述第二评分结果和上述第三评分结果确定上述编程作品的编程质量。

在本发明的又一个实施例中，上述装置还包括：第二确定模块，用于确定上述第一评分模型、上述第二评分模型和上述第三评分模型对应的权重；上述第一确定模块包括：第一计算单元，用于根据上述第一评分模型对应的权重与上述第一评分结果、上述第二评分模型对应的权重与上述第二评分结果、上述第三评分模型对应的权重与上述第三评分结果按照预设公式计算上述编程作品的综合评分；以及第一确定单元，用于根据上述综合评分确定上述编程作品的编程质量。

在本发明的再一个实施例中，上述第一评分模型是基于第一样本数据预先训练得到的，上述装置还包括第一训练模块，用于预先训练上述第一评分模型，上述第一训练模块包括：第二确定单元，用于确定上述第一评分模型的特征参数，其中，上述特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征；第二计算单元，用于计算上述第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据；第一训练单元，用于根据上述第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练上述第一评分模型。

在本发明的再一个实施例中，上述第二评分模型是基于第二样本数据预先训练得到的，上述装置还包括第二训练模块，用于预先训练上述第二评分模型，上述第二训练模块包括：第三确定单元，用于确定上述第二评分模型的特征参数，其中，上述特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征；第三计算单元，用于计算上述第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据；第二训练单元，用于根据上述第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练上述第二评分模型。

在本发明的再一个实施例中，上述第三评分模型是基于第三样本数据预先训练得到的，上述装置还包括第三训练模块，用于预先训练上述第三评分模型，上述第三训练模块包括：第四确定单元，用于确定上述第三样本数据中的编程作品的内容特征，其中，上述内容特征包括以下至少之一：图片、文字、音频和视频；第四计算单元，用于计算上述第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据；以及第三训练单元，用于根据上述第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据和每个编程作品对应的评分结果训练上述第三评分模型。

在本发明的再一个实施例中，上述装置还包括：判断模块，用于在将上述编程作品数据输入至少一个评分模型中之前，判断上述编程作品是否满足预设条件；上述输入模块用于在满足上述预设条件的情况下，将该满足上述预设条件的编程作品数据输入至少一个评分模型中；以及上述第一确定模块用于在不满足上述预设条件的情况下，确定该不满足上述预设条件的编程作品数据的编程质量为不合格。

在本发明实施方式的第三方面中，提供了一种介质，存储有计算机可执行指令，上述指令在被处理单元执行时用于实现如上所述的数据处理方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括：处理单元；以及存储单元，存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现如上所述的数据处理方法。

根据本发明实施方式的数据处理方法、装置、介质和计算设备，通过将编程作品数据输入至少一个评分模型中，根据对应评分模型输出的评分结果确定编程作品的编程质量，使得可以自动化的完成编程作品的评审，从而显著地降低了通过人工评审编程作品受主观意识的影响，为用户带来了更好的体验，并且提高了评审效率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的应用场景示意图；

图2示意性地示出了根据本发明实施例的数据处理方法的流程图；

图3示意性示出了根据本发明实施例的根据第一评分结果、第二评分结果和第三评分结果确定编程作品的编程质量的流程图；

图4示意性示出了根据本发明实施例的预先训练第一评分模型的流程图；

图5示意性示出了根据本发明实施例的预先训练第二评分模型的流程图；

图6示意性示出了根据本发明实施例的预先训练第三评分模型的流程图；

图7示意性示出了根据本发明另一实施例的数据处理方法的流程图；

图8示意性地示出了根据本发明实施例的数据处理装置的框图；

图9示意性地示出了根据本发明另一实施例的数据处理装置的框图；

图10示意性地示出了根据本发明实施例的第一确定模块的框图；

图11示意性地示出了根据本发明实施例的第一训练模块的框图；

图12示意性地示出了根据本发明实施例的第二训练模块的框图；

图13示意性地示出了根据本发明实施例的第三训练模块的框图；

图14示意性地示出了根据本发明实施方式的用于实现数据处理方法的程序产品示意图；以及

图15示意性地示出了根据本发明实施例的用于实现数据处理方法的计算设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据处理方法、介质、装置和计算设备。

附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，目前，用户越来越习惯于利用编程工具练习编程，以提高自身的计算机水平。对于一些没有编程经验的用户来说，通过简单的语言实现编程可以使得用户快速完成练习。在相关技术中，当用户通过编程工具编写好作品之后，相关人员可以手动收集编程作品，然后分别运行和审阅编程作品，通过自身观感和评价标准，手动给出评分。

但是，通过上述方式，用户不能及时有效的了解编程作品的质量，并且对作品的评分容易受审阅者的主观思想和评分环境影响，很难给出相对公平的评分。特别是类似于编程的省赛、国赛之类的项目，很难将作品进行公平的筛选。同时，运行和观看、评价作品非常耗费时间，如果通过配备信息技术老师批改作业，会由于工作量巨大，而难以完成工作任务。

基于以上分析，发明人构想到通过将编程作品数据输入至少一个评分模型中，根据对应评分模型输出的评分结果确定编程作品的编程质量，使得可以自动化的完成编程作品的评审，从而显著地降低了通过人工评审编程作品受主观意识的影响，为用户带来了更好的体验，并且提高了评审效率。同时，由于通过将编程作品数据输入至少一个评分模型中进行评审，自动化评审效率高，可以在短时间内评审大量的编程作品，使得用户在完成编程作品之后，几乎可以实时的获取编程作品的编程质量，在这种情况下，用户可以根据评审结果不断的改进编程作品，提高编程质量。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1详细阐述本发明实施例的用于数据处理方法及其装置的应用场景。

图1示意性地示出了根据本发明实施方式的应用场景示意图。

如图1所示，可以通过编程作品收集平台收集用户提交的编程作品，编程作品收集平台可以对不同的编程作品进行分类，保存到平台的数据库和文件云存储介质中。

在该应用场景中，包括第一评分模型、第二评分模型和第三评分模型。在将编程作品数据输入到不同的评分模型中之前，可以将用户编程作品文件通过脚本解析工具，转换成编程作品对应的脚本代码。脚本代码中可能包含了作品编辑信息，图像、声音等素材链接信息，此时可以将上述链接对应的实体图片、声音和文字提取出来，并对脚本代码统计各种动作、角色，文字，声音和图像的数量，并收集对应的内容，进行分类格式化存放，解析出来数据将作为后续评分分析的来源。

在将编程作品数据输入到不同的评分模型中之前，还可以对编程作品进行过滤，筛选掉一些不满足预设条件的编程作品。

对于同一个编程作品的编程作品数据，可以将其分别输入到第一评分模型、第二评分模型和第三评分模型中，得到不同评分模型输出的评分结果，将不同评分模型输出的评分结果输入综合评分系统中综合评价编程作品的编程质量。最后可以将编程作品的评分公布出来，供用户参考。

通过本发明的实施例，根据对应评分模型输出的评分结果确定编程作品的编程质量，使得可以自动化的完成编程作品的评审，从而显著地降低了通过人工评审编程作品受主观意识的影响，为用户带来了更好的体验，并且提高了评审效率。同时，由于通过将编程作品数据输入至少一个评分模型中进行评审，自动化评审效率高，可以在短时间内评审大量的编程作品，使得用户在完成编程作品之后，几乎可以实时的获取编程作品的编程质量，在这种情况下，用户可以根据评审结果不断的改进编程作品，提高编程质量。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的数据处理方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

图2示意性地示出了根据本发明实施例的数据处理方法的流程图。

如图2所示，根据本发明实施例的数据处理方法包括操作s201～操作s203。

在操作s201，获取编程作品数据。

根据本发明的实施例，编程作品的来源可以是教学和比赛中的编程作品，也可以是用户自己练习的作品。编程作品数据可以是通过脚本解析工具转换编程作品后得到的脚本代码，脚本代码中可以包含作品编辑信息，图像、声音等素材信息等。

在操作s202，将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果。

根据本发明的实施例，评分模型的数量不做限定。例如，可以是将编程作品数据输入一个评分模型中，也可以是将编程作品数据输入两个或三个评分模型中。每个评分模型都可以输出相应的评分结果。

根据本发明的实施例，评分结果可以是数值，例如，某一编程作品的分数为70分，评分结果也可以是评级，例如，某一编程作品的评级为良，评分结果的评价方式不做限定。

在操作s203，根据评分结果确定编程作品的编程质量。

根据本发明的实施例，例如，某一编程作品的分数为90分，说明编程作品的编程质量高，可以代表优秀的编程作品。

通过本发明的实施例，如果编程作品是教学和比赛中的编程作品，可以帮助教师在教学环节进行自动批改，辅助比赛评委进行作品筛选，从而达到少评或自动评，从而高效完成作品的评分和评审工作。

通过本发明的实施例，通过将编程作品数据输入至少一个评分模型中，根据对应评分模型输出的评分结果确定编程作品的编程质量，使得可以自动化的完成编程作品的评审，从而显著地降低了人工评审编程作品受主观意识的影响，为用户带来了更好的体验，并且提高了评审效率。同时，由于通过将编程作品数据输入至少一个评分模型中进行评审，自动化评审效率高，可以在短时间内评审大量的编程作品，使得用户在完成编程作品之后，几乎可以实时的获取编程作品的编程质量，在这种情况下，用户可以根据评审结果不断的改进编程作品，提高编程质量。

根据本发明的实施例，将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果包括：将编程作品数据分别输入第一评分模型和第二评分模型中，得到第一评分模型输出的第一评分结果和第二评分模型输出的第二评分结果，其中，第一评分模型是基于第一样本数据预先训练得到的，第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，第二评分模型是基于第二样本数据预先训练得到的，第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果。根据本发明的实施例，根据评分结果确定编程作品的编程质量包括：根据第一评分结果和第二评分结果确定编程作品的编程质量。

根据本发明的实施例，第一评分模型可以是根据编程平台内其他参考比赛或作业已评分编程作品数据中提取的通用性评分标准，评出结果较为通用，由于是平台内其他参考比赛或作业的编程作品，所以包括了多个编程任务，可见第一样本数据中的编程作品数据充足。

由于第一评分模型解决的是通用性评分特征，所以对被评价作品的特性特征评分标准关注较少，可以结合第二评分模型对目标编程作品进行评审。第二评分模型可以是基于当前特定任务的已评分数据训练出的评价标准，即是基于第二样本数据预先训练得到的，由于第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，针对性较强。

根据本发明的实施例，根据第一评分结果和第二评分结果确定编程作品的编程质量可以是直接根据第一评分结果和第二评分结果相加得到综合评分，然后根据综合评分确定编程作品的编程质量。根据本发明的实施例，根据第一评分结果和第二评分结果确定编程作品的编程质量也可以是先确定第一评分模型和第二评分模型的权重，其中，确定不同评分模型对应的权重的方法可以是根据编程作品的历史评分结果进行确定，根据第一评分模型对应的权重与第一评分结果、第二评分模型对应的权重与第二评分结果按照计算公式计算编程作品的综合评分，然后根据综合评分确定编程作品的编程质量。例如，将第一评分结果与第一评分模型的权重相乘之后得到的结果，与第二评分结果与第二评分模型的权重相乘之后得到的结果进行相加，将相加后得到的结果作为综合评分。

根据本发明的实施例，如果单独根据某一个评分模型标准来评价作品可能过于片面性，因此通过多个评分模型，可以最终给出一个综合评分结果。

根据本发明的实施例，将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果包括：将编程作品数据分别输入第一评分模型、第二评分模型和第三评分模型中，得到第一评分模型输出的第一评分结果、第二评分模型输出的第二评分结果和第三评分模型输出的第三评分结果，其中，第一评分模型是基于第一样本数据预先训练得到的，第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，第二评分模型是基于第二样本数据预先训练得到的，第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，第三评分模型是基于第三样本数据预先训练得到的，第三样本数据包括特定编程任务下的多个编程作品中每个编程作品对应的评分结果和每个编程作品的内容特征。根据本发明的实施例，根据评分结果确定编程作品的编程质量包括：根据第一评分结果、第二评分结果和第三评分结果确定编程作品的编程质量。

根据本发明的实施例，第一评分模型和第二评分模型的介绍如前所述，在此不再赘述。第三评分模型是基于特定编程任务下的每个编程作品对应的评分结果和每个编程作品的内容特征训练得到的。编程作品的内容特征可以用于推测用户一些共性的感性特征，如对作品背后的大众喜好性，选材的流行性等。

通过本发明的实施例，第一评分模型、第二评分模型和第三评分模型从不同角度对编程作品进行评价，分别得到相应的评分结果，综合评价编程作品的质量可以提高公平性，提高比赛和作业成绩的客观性。

根据本发明的实施例，还可以确定第一评分模型、第二评分模型和第三评分模型对应的权重。

根据本发明的实施例，可以根据历史评分结果设置不同评分模型的权重，提高最后综合得分的精确度。例如，当评分结果为分值时，第一评分模型的权重为0.3、第二评分模型的权重为0.35和第三评分模型的权重为0.35。

下面参考图3～图7，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本发明实施例的根据第一评分结果、第二评分结果和第三评分结果确定编程作品的编程质量的流程图。

如图3所示，根据第一评分结果、第二评分结果和第三评分结果确定编程作品的编程质量包括操作s2041～操作s2042。

在操作s2041，根据第一评分模型对应的权重与第一评分结果、第二评分模型对应的权重与第二评分结果、第三评分模型对应的权重与第三评分结果按照预设公式计算编程作品的综合评分。

在操作s2042，根据综合评分确定编程作品的编程质量。

根据本发明的实施例，例如，第一评分模型的权重为0.3、第二评分模型的权重为0.35和第三评分模型的权重为0.35。某一编程作品的第一评分结果是70、第二评分结果是80和第三评分结果60。根据预设公式计算综合评分可以是0.3×70+0.35×80+0.35×60＝70。

根据本发明的实施例，评分结果也可以是0到1之间的小数，一般情况下，评分结果为0到1的小数与预先设定的得分区间可能不匹配，如预设区间为0-100分或优良中及格不及格，可以将评分小数结果投射到指定的评分预设区间中，进行归一化处理。

根据本发明的实施例，因为模型评分结果分布可能会出现太过稀疏或者太过紧密的情况，有时候不能满足教学场景的分数分布需求，这时候可以根据历史评分数据计算出教师评分分布，然后将系统评分结果按顺序整体投射到教师评分分布上。

通过本发明的实施例，可以确定各模型的权重，使得综合评价更加公平，通过统一标准进行评分，提高比赛和作业成绩的客观性。

图4示意性示出了根据本发明实施例的预先训练第一评分模型的流程图。

如图4所示，根据本发明的实施例，第一评分模型是基于第一样本数据预先训练得到的，预先训练第一评分模型包括操作s205～操作s207。

在操作s205，确定第一评分模型的特征参数，其中，特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征。

在操作s206，计算第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据。

根据本发明的实施例，以脚本特征为例，其对应的特征数据可以是动作脚本数据，声音脚本数据，画笔脚本数据，时间脚本数据，控制脚本数据等一系列在编程作品中出现的脚本数据。以角色特征为例，其对应的特征数据可以是角色数，角色代码丰富度(包括角色属性如颜色，动作等)。以素材特征为例，其对应的特征数据可以是在角色，脚本等地方出现的声音，图像，文字的数量特征。以代码特征为例，其对应的特征数据可以是统计整体脚本的长度，各类属性的脚本的长度，此外，代码特征的特征数据还可以是代码中出现的关键字，例如，关键字可以是代码中的“whenireceive”，“doif”，“doforever”等等，通过代码中的这些关键字能够表明作者较好的掌握了编程中较高级的控制积木的用法。

根据本发明的实施例，对于评分场景，通过上述不同特征参数所对应的特征数据可以较好的识别优秀作品，例如某一个作品中如果出现控制语句，同时出现10个以上的角色、以及出现100条以上数据脚本往往会被识别为优秀作品。在操作s207，根据第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练第一评分模型。

根据本发明的实施例，第一评分模型可以是根据平台内其他参考比赛或作业已评分编程作品数据中提取的通用性评分标准，评出结果较为通用，可以将上述一个或多个特征参数作为模型多维的输入，而历史评分作为标记，然后进行多轮模型训练迭代，得到第一评分模型。

通过本发明的实施例，第一评分模型是基于通用性评分特征对编程作品进行评价，根据不同的特征参数对作品数据进行分析，提高评分准确性。

图5示意性示出了根据本发明实施例的预先训练第二评分模型的流程图。

如图5所示，根据本发明的实施例，第二评分模型是基于第二样本数据预先训练得到的，预先训练第二评分模型包括操作s208～操作s210。

在操作s208，确定第二评分模型的特征参数，其中，特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征。

在操作s209，计算第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据。

根据本发明的实施例，以脚本特征为例，其对应的特征数据可以是动作脚本数据，声音脚本数据，画笔脚本数据，时间脚本数据，控制脚本数据等一系列在编程作品中出现的脚本数据。以角色特征为例，其对应的特征数据可以是角色数，角色代码丰富度(包括角色属性如颜色，动作等)。以素材特征为例，其对应的特征数据可以是在角色，脚本等地方出现的声音，图像，文字的数量特征。以代码特征为例，其对应的特征数据可以是统计整体脚本的长度，各类属性的脚本的长度，此外，代码特征的特征数据还可以是代码中出现的关键字，例如，关键字可以是代码中的“whenireceive”，“doif”，“doforever”等等，通过代码中的这些关键字能够表明作者较好的掌握了编程中较高级的控制积木的用法。

根据本发明的实施例，对于评分场景，通过上述不同特征参数所对应的特征数据可以较好的识别优秀作品，例如某一个作品中如果出现控制语句，同时出现10个以上的角色，以及出现100条以上数据脚本往往会被识别为优秀作品。

在操作s210，根据第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练第二评分模型。

根据本发明的实施例，由于第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，第二评分模型可以是基于当前特定任务的已评分数据训练出的评价标准，较多地关注了被评价作品的特性特征评分标准，针对性较强。

图6示意性示出了根据本发明实施例的预先训练第三评分模型的流程图。

如图6所示，根据本发明的实施例，第三评分模型是基于第三样本数据预先训练得到的，预先训练第三评分模型包括操作s211～操作s213。

在操作s211，确定第三样本数据中的编程作品的内容特征，其中，内容特征包括以下至少之一：图片、文字、音频和视频。

在操作s212，计算第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据。

根据本发明的实施例，不同内容特征下对应的特征数据可以是音频和视频，图像，文字在编程作品中的内容。

在操作s213，根据第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据和每个编程作品对应的评分结果训练第三评分模型。

根据本发明的实施例，第三评分模型可以是神经网络模型，通过将不同内容特征下对应的特征数据输入神经网络输入层，通过神经网络训练出一个针对当前任务的评分模型，根据该模型对当前任务下的作品进行评分。

根据本发明的实施例，以内容特征为图片为例，可以将图片统一缩放到16*16大小，随机选取编程作品中的12张图片(可重复抽取)，将图片数据输入至输入层中，训练第三评分模型。以第三评分模型为神经网络模型为例，在训练神经网络模型时，可以提取图片的像素、rgb值、明暗度等作为参数，将像素值、rgb值、明暗度输入至输入层中，最终对图片文本进行处理，以训练神经网络模型。

以内容特征为文字为例，可以将文字串联在一起，如果文字数量不够时可以重复性补全，例如补全到16个字，然后再从长文字中随机抽取4节连续的文字构建词向量输入至输入层，训练第三评分模型。对于音频而言，可以先将其转化为文本再按照上述方式进行处理。

根据本发明的实施例，第三评分模型的输出结果可以是归一到0到1的评分映射小数，通过第三评分模型可以进行内容角度的作品评分。通过三个评分模型从不同角度对编程作品进行评价，提高了准确性。

图7示意性示出了根据本发明另一实施例的数据处理方法的流程图。

如图7所示，根据本发明的实施例，在将编程作品数据输入至少一个评分模型中之前，数据处理方法还包括操作s214～操作s216。

在操作s214，判断编程作品是否满足预设条件。

在操作s215，在满足预设条件的情况下，将该满足预设条件的编程作品数据输入至少一个评分模型中。

在操作s216，在不满足预设条件的情况下，确定该不满足预设条件的编程作品数据的编程质量为不合格。

根据本发明的实施例，预设条件可以是以下一种或多种，a：内容不足，当编程作品中的脚本中的图像，文字，声音和作品未到达一定数量的标准，则判为内容不全作品，将其归为内容不足作品，并直接评定为不合格的作品。b：内容不合规，当内容中出现不符合编程平台/比赛创作规范的色情，暴力，敏感性内容时，通过反垃圾系统进行过滤，该类作品也将直接归为不合格的作品。c：雷同抄袭，通过比对待评分作品和当内容中出现和平台已发布/已参赛的雷同作品的脚本时，当发现重复率高或完全相同的情况时，也将被判为不合格的作品。

根据本发明的实施例，在编程作品满足预设条件的情况下，将该满足预设条件的编程作品数据输入至少一个评分模型中。二不满足预设条件的情况下，无需将编程作品数据输入评分模型中，直接确定该不满足预设条件的编程作品数据的编程质量为不合格。

通过本发明的实施例，可以提高系统的评分效率，过滤无效作品，并同时能提高模型训练数据的质量。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图8对本发明示例性实施方式的数据处理装置进行描述。

图8示意性地示出了根据本发明实施例的数据处理装置的框图。

如图8所示，数据处理装置400包括获取模块410、输入模块420和第一确定模块430。

获取模块410用于获取编程作品数据。

输入模块420用于将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果。

第一确定模块430用于根据评分结果确定编程作品的编程质量。

通过本发明的实施例，通过将编程作品数据输入至少一个评分模型中，根据对应评分模型输出的评分结果确定编程作品的编程质量，使得可以自动化的完成编程作品的评审，从而显著地降低了通过人工评审编程作品受主观意识的影响，为用户带来了更好的体验，并且提高了评审效率。同时，由于通过将编程作品数据输入至少一个评分模型中进行评审，自动化评审效率高，可以在短时间内评审大量的编程作品，使得用户在完成编程作品之后，几乎可以实时的获取编程作品的编程质量，在这种情况下，用户可以根据评审结果不断的改进编程作品，提高编程质量。

根据本发明的实施例，输入模块420用于将编程作品数据分别输入第一评分模型和第二评分模型中，得到第一评分模型输出的第一评分结果和第二评分模型输出的第二评分结果，其中，第一评分模型是基于第一样本数据预先训练得到的，第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，第二评分模型是基于第二样本数据预先训练得到的，第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果。第一确定模块430用于根据第一评分结果和第二评分结果确定编程作品的编程质量。

根据本发明的实施例，如果单独根据某一个评分模型标准来评价作品可能过于片面性，因此通过多个评分模型，可以最终给出一个综合评分结果。

根据本发明的实施例，输入模块420还用于将编程作品数据分别输入第一评分模型、第二评分模型和第三评分模型中，得到第一评分模型输出的第一评分结果、第二评分模型输出的第二评分结果和第三评分模型输出的第三评分结果，其中，第一评分模型是基于第一样本数据预先训练得到的，第一样本数据包括多个编程任务下的不同编程作品数据和每个编程作品对应的评分结果，第二评分模型是基于第二样本数据预先训练得到的，第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，第三评分模型是基于第三样本数据预先训练得到的，第三样本数据包括特定编程任务下的多个编程作品中每个编程作品对应的评分结果和每个编程作品的内容特征。第一确定模块430还用于根据第一评分结果、第二评分结果和第三评分结果确定编程作品的编程质量。

通过本发明的实施例，第一评分模型、第二评分模型和第三评分模型从不同角度对编程作品进行评价，分别得到相应的评分结果，综合评价编程作品的质量可以提高公平性，提高比赛和作业成绩的客观性。

图9示意性地示出了根据本发明另一实施例的数据处理装置的框图。

如图9所示，根据本发明的实施例，数据处理装置400还包括第二确定模块440。

第二确定模块440用于确定第一评分模型、第二评分模型和第三评分模型对应的权重。

图10示意性地示出了根据本发明实施例的第一确定模块的框图。

如图10所示，第一确定模块430包括第一计算单元431和第一确定单元432。

第一计算单元431用于根据第一评分模型对应的权重与第一评分结果、第二评分模型对应的权重与第二评分结果、第三评分模型对应的权重与第三评分结果按照预设公式计算编程作品的综合评分。

第一确定单元432用于根据综合评分确定编程作品的编程质量。

通过本发明的实施例，可以确定各模型的权重，使得综合评价更加公平，通过统一标准进行评分，提高比赛和作业成绩的客观性。

图11示意性地示出了根据本发明实施例的第一训练模块的框图。

如图11所示，根据本发明的实施例，第一评分模型是基于第一样本数据预先训练得到的，数据处理装置400还包括第一训练模块450，用于预先训练第一评分模型，第一训练模块450包括第二确定单元451、第二计算单元452和第一训练单元453。

第二确定单元451用于确定第一评分模型的特征参数，其中，特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征。

第二计算单元452用于计算第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据。

第一训练单元453用于根据第一样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练第一评分模型。

通过本发明的实施例，第一评分模型是基于通用性评分特征对编程作品进行评价，根据不同的特征参数对作品数据进行分析，提高评分准确性。

图12示意性地示出了根据本发明实施例的第二训练模块的框图。

如图12所示，根据本发明的实施例，第二评分模型是基于第二样本数据预先训练得到的，数据处理装置400还包括第二训练模块460，用于预先训练第二评分模型，第二训练模块460包括第三确定单元461、第三计算单元462和第二训练单元463。

第三确定单元461用于确定第二评分模型的特征参数，其中，特征参数包括以下至少之一：脚本特征、角色特征、素材特征和代码特征。

第三计算单元462用于计算第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据。

第二训练单元463用于根据第二样本数据中的编程作品对应的编程作品数据在不同特征参数下对应的特征数据以及每个编程作品对应的评分结果训练第二评分模型。

根据本发明的实施例，由于第二样本数据包括特定编程任务下的多个编程作品数据和每个编程作品对应的评分结果，第二评分模型可以是基于当前特定任务的已评分数据训练出的评价标准，较多地关注了被评价作品的特性特征评分标准，针对性较强。

图13示意性地示出了根据本发明实施例的第三训练模块的框图。

如图13所示，根据本发明的实施例，第三评分模型是基于第三样本数据预先训练得到的，数据处理装置400还包括第三训练模块470，用于预先训练第三评分模型，第三训练模块470包括第四确定单元471、第四计算单元472和第三训练单元473。

第四确定单元471用于确定第三样本数据中的编程作品的内容特征，其中，内容特征包括以下至少之一：图片、文字、音频和视频。

第四计算单元472用于计算第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据。

第三训练单元473用于根据第三样本数据中的编程作品对应的编程作品数据在不同内容特征下对应的特征数据和每个编程作品对应的评分结果训练第三评分模型。

根据本发明的实施例，第三评分模型的输出结果可以是归一到0到1的评分映射小数，通过第三评分模型可以进行内容角度的作品评分。通过三个评分模型从不同角度对编程作品进行评价，提高了准确性。

如图9所示，根据本发明的实施例，数据处理装置400还包括判断模块480。

判断模块480用于在将编程作品数据输入至少一个评分模型中之前，判断编程作品是否满足预设条件。

输入模块420用于在满足预设条件的情况下，将该满足预设条件的编程作品数据输入至少一个评分模型中。

第一确定模块430用于在不满足预设条件的情况下，确定该不满足预设条件的编程作品数据的编程质量为不合格。

通过本发明的实施例，可以提高系统的评分效率，过滤无效作品，并同时能提高模型训练数据的质量。

示例性介质

在介绍了本发明示例性实施方式的装置之后，接下来，参考图14对本发明示例性实施方式的、用于存储有计算机可执行指令，该指令在被处理单元执行时用于实现图2至图7中的数据处理方法的介质进行描述。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算设备上运行时，所述程序代码用于使所述计算设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的数据处理方法中的步骤，例如，所述计算设备可以执行如图2中所示的操作s201，获取编程作品数据。操作s202，将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果。操作s203，根据评分结果确定编程作品的编程质量。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

图14示意性地示出了根据本发明实施方式的用于实现数据处理方法的程序产品示意图。

如图14所示，描述了根据本发明的实施方式的数据处理方法的程序产品50，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在计算设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆，rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如java，c++等，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性计算设备

在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图15对本发明示例性实施方式的计算设备进行描述，该计算设备包括处理单元和存储单元，存储单元存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现图2至图7中的数据处理方法。

本发明实施例还提供了一种计算设备。所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的数据处理方法中的步骤。例如，所述处理单元可以执行如图2中所示的操作s201，获取编程作品数据。操作s202，将编程作品数据输入至少一个评分模型中，得到对应评分模型输出的评分结果。操作s203，根据评分结果确定编程作品的编程质量。

图15示意性地示出了根据本发明实施例的用于实现数据处理方法的计算设备的框图。

下面参照图15来描述根据本发明的这种实施方式的数据处理方法的计算设备60。如图15所示的计算设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图15所示，计算设备60以通用计算设备的形式表现。计算设备60的组件可以包括但不限于：上述至少一个处理单元601、上述至少一个存储单元602、连接不同系统组件(包括存储单元602和处理单元601)的总线603。

总线603包括数据总线、地址总线和控制总线。

存储单元602可以包括易失性存储器，例如随机存取存储器(ram)6021和/或高速缓存存储器6022，还可以进一步包括只读存储器(rom)6023。

存储单元602还可以包括具有一组(至少一个)程序模块6024的程序/实用工具6025，这样的程序模块6024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备60也可以与一个或多个外部设备604(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(i/o)接口605进行。并且，计算设备60还可以通过网络适配器606与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器606通过总线603与计算设备60的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。