一种基于测评中用户信息的技能测评抄袭甄别方法与装置与流程

本发明涉及计算机辅助测评(computerassistedassessment，caa)与数字签名领域，具体涉及一种基于测评中用户信息的技能测评抄袭甄别方法与装置。

背景技术：

随着计算机和互联网技术的发展和普及，越来越多的企业通过企业信息系统(enterpriseinformationsystems，eis)对企业进行管理。如，通过企业资源计划(enterpriseresourceplanning，erp)对企业资源进行调配；通过企业管理解决方案(systemapplicationsandproducts，sap)对企业进行宏观管理等。相应的，对人才的选拔和培养也越来越多的通过真实软件来实现。因此，基于真实软件的应用技能教考赛训以及认证得以快速发展。例如，教育部主办的会计技能竞赛(会计信息化部分)、工业和信息化部主办的“新道杯”全国大学生会计信息化技能大赛，这些技能大赛每年举办一次，参与的学生多达近百万人次。

在对技能的教考赛训及技能认证的测评过程中，技能性非客观题的自动测评，是计算机辅助测评(caa)中的重点和难点，是一个多学科交叉的研究课题。目前，针对应用技能自动测评的主流研究工作，可分为两类。第一类，是将操作题的测评客观化，即通过选择题、填空题等题型，考核学习者对技能的理解与掌握情况；第二类，是在真实的应用软件环境中操作，其自动测评是通过一个独立的测评系统来完成。

例如，国内方面：北京师范大学的许骏、柳泉波、何克抗开发了一套完整的it技能测评系统itas和用于it技能训练的导师系统itutor，并给出了一般it操作题型的自动阅卷算法；中山大学的梁慧娜，针对《计算机应用基础》课程，设计了考试系统；浙江师范大学的金炳尧等，对浙江省中小学信息技术等级证书考试系统进行设计开发，并提出了一个阅卷系统需要具有合适的判准率、较高的独立性和较强的适应性；王毅飞基于该研究成果，设计并实现了一个基于网络协同的计算机辅助评价系统；北京师范大学的李娟、孙波，针对静态网页制作操作题，设计了一个自动测评系统；上海对外贸易学院的郭新顺与sap北京软件系统有限公司的杨焜，针对《saperp导论》课程，通过把操作题转变为填空题，设计开发了一个自动阅卷系统；新道公司有一套针对用友erp会计技能测评的、基于c/s架构模式的考试系统。国外方面：英国东英格兰大学的roydowsing、steward和romansleep等，研制出了关于字处理和电子表格应用的word-task系统和spereadtask系统，基于操作结果的字符串比较，实现了对文字处理和电子表格的计算机辅助评价；美国测试系统有限公司(ata)开发了一种基于动态仿真技术的、专门用于it技能考核的自动评价系统(dynamicsimulationtechnology，dst),该系统提供了虚拟的交互测试环境，与真实的软件环境极为相似。

但是，现有的测评系统不具备对参评者在真实软件中操作结果的抄袭甄别能力，基本上是测评系统发布任务(即题面)，参评者根据任务中要求的用户身份，通过相同的用户身份登陆用于技能测评的真实软件，然后按题面要求进行业务的信息化处理，即真实软件中不同的参评者使用的是默认的、相同的用户身份信息，这样就无法区分不同参评者的答卷数据，从而导致答卷数据无法进行抄袭甄别。技能测评中的抄袭甄别，一直是远程教育领域中的重点和难点问题，但现有的技术方案不具备抄袭甄别的功能。

技术实现要素：

有鉴于此，本发明实施例提供一种基于测评中用户信息的技能测评抄袭甄别方法和装置，以提高技能测评的真实性和准确性。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明一方面提供了一种基于测评中用户信息的技能测评抄袭甄别方法，所述甄别方法包括如下步骤：

步骤s1，获取参评者身份识别信息，并在测评中对答卷数据进行签名；

步骤s2，提取具有签名的答卷数据；

步骤s3，对所述具有签名的答卷数据进行数据标记；

步骤s4，根据所述参评者身份识别信息及数据标记进行答卷抄袭甄别。

可选地，所述步骤s1对答卷数据进行签名，将所述参评者身份识别信息，通过存储在用户信息数据表，进而存储到答卷数据中相关数据表的特定数据项，以完成签名；

所述步骤s3，对答卷数据进行数据标记，进一步为，对所述答卷数据中相关数据表的特定数据项进行标记。

可选地，所述步骤s1进一步包括：

步骤s101，通过用户登录信息获取测评系统的参评者身份识别信息n1；

步骤s102，在参评者操作的答卷数据中进行签名。

可选地，所述步骤s102在参评者操作的答卷数据中进行签名，进一步为，根据所述参评者的身份识别信息n1生成参评者的身份信息字符串，然后将参评者的身份信息字符串，存储到参评者操作的用于测评参评者技能的答卷数据中，用以替换默认的用户信息n2，完成签名。

可选地，所述步骤s3中，所述对答卷数据进行数据标记，进一步为，对所述答卷数据中相关数据表的“操作员姓名”类数据项进行标记。

可选地，所述步骤s4根据所述参评者身份识别信息及数据标记进行答卷抄袭甄别，进一步为，将“操作员姓名”类数据项的值，与参评者身份识别信息n1进行字符串匹配运算，当所述“操作员姓名”类数据项的值与所述参评者身份识别信息n1匹配时，则判定为不存在抄袭行为；当不匹配时，则判定为存在抄袭行为。

本发明另一方面提供了一种基于测评中用户信息的技能测评抄袭甄别装置，所述装置包括：参数获取单元1、数据签名单元2、数据提取单元3、数据标记单元4、数据发送单元5、抄袭甄别单元6；其中，

所述参数获取单元1与数据签名单元2相连，用于获取参评者身份识别信息；

所述数据签名单元2与所述数据提取单元3相连，用于在测评中对答卷数据进行签名；

所述数据提取单元3与所述数据标记单元4相连，用于提取具有签名的答卷数据与其他数据；

所述数据标记单元4与所述数据发送单元5相连，用于对所述具有签名的答卷数据进行数据标记；

所述数据发送单元5与所述抄袭甄别单元6相连，用于将标记后的答卷数据发送给所述抄袭甄别单元6。

所述抄袭甄别单元6，用于根据所述参评者身份识别信息及数据标记进行答卷抄袭甄别。

可选地，所述数据签名单元2，进一步为用于，基于获取的参评者身份识别信息，根据所述参评者的身份识别信息n1生成参评者的身份信息字符串，然后将参评者的身份信息字符串，存储到参评者操作的用于测评参评者技能的真实软件的用户体系中，以作为测评时真实软件中的默认用户信息n2，进而将n1中的身份信息存储到答卷数据中，完成签名。

可选地，所述数据标记单元，进一步用于，对所述答案数据中相关数据表中的“操作员姓名”类数据项进行标记。

可选地，所述抄袭甄别单元，进一步用于，将“操作员姓名”类数据项的值，与参评者身份识别信息n1进行字符串匹配运算，当所述“操作员姓名”类数据项的值与所述参评者身份识别信息n1匹配时，则判定为不存在抄袭行为；当不匹配时，则判定为存在抄袭行为。

本发明实施例提供的基于测评中用户信息的技能测评抄袭甄别方法和装置，在身份识别的基础上，通过答卷数据签名以区分不同的参评者，然后通过数据提取、数据标记对答卷数据进行处理，最后通过抄袭甄别算法识别出抄袭行为。本发明利用用于测评的真实软件的用户体系，在参评者操作真实软件时，嵌入参评者本人的身份标识信息，以使不同参评者的答卷数据之间、答卷数据与教师的答案数据之间，具有不同的身份信息，进而区分不同参评者的答卷数据。操作完毕后，测评系统提取含有参评者身份信息的答卷数据，通过匹配操作员姓名类数据项的值与测评系统参评者的身份识别信息，进行抄袭甄别。当匹配成功时，判定所述参评者不存在抄袭行为；当匹配不成功时，判定所述参评者存在抄袭行为。本发明提出的技能测评抄袭甄别算法，避免了不同用户(即参评者)操作真实软件时默认为同一个操作员的现象，同时也避免了参评者u1提交他人的答卷数据，系统无法识别是否存在作弊行为的现象，可应用于具有用户体系、需要进行技能性实操测评的任何组织信息系统的测评系统；通过一定的整合和改进，也可应用于其他需要对用户操作身份进行抄袭甄别的it技能测评。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例基于测评中用户信息的技能测评抄袭甄别方法流程示意图；

图2为本发明实施例基于测评中用户信息的技能测评抄袭甄别装置结构示意图。

具体实施方式

以下是本发明的具体实施例。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明针对现有的基于真实软件进行技能测评时，不具备抄袭甄别功能而无法对参评者是否存在抄袭行为进行识别的问题，提出了一种基于测评中用户信息的技能测评抄袭甄别方法和装置。现有技术中的测评系统，没有充分利用真实软件用户体系及其权限，即用来将用户在操作过程中产生的结果数据中记录用户信息的功能，来进行操作者的身份识别，而是测评系统以统一的“操作员”的身份发布任务即题面，参评者也以统一的“操作员”的身份对任务进行作答，作答完成后，再以登陆名即可识别的参评者身份信息提交自己的答卷。因此，所有参评者的答卷数据集d3中的相关数据表中，具有相同的操作员信息，不具有可区分性，即使参评者u1提交了参评者u2的答卷数据，系统也无法识别参评者u1存在作弊行为，即无法区分不同答卷数据的操作者，从而导致无法对参评者进行抄袭甄别。本发明基于测评中用户信息的技能测评抄袭甄别方法和装置，在身份识别的基础上，通过答卷数据签名以区分不同的参评者，然后通过答卷数据提取、数据标记对答卷数据进行处理，最后通过抄袭甄别算法进行抄袭行为识别，对基于具有用户权限体系的软件进行技能测评时，可有效地实现抄袭甑别，提高测评的准确性和真实性。

本发明在参评者的操作中嵌入参评者本人的身份标识信息，以使不同参评者的答卷数据之间、答卷数据与教师的答案数据之间，具有不同的身份信息，进而可以区分不同参评者的答卷数据，以及答卷数据与答案数据。

下面结合附图，通过具体的实施例，对本发明作进一步详细的说明。

第一实施例

本实施例提供了一种基于测评中用户信息的技能测评抄袭甄别方法，应用于具有用户体系、需要进行技能性实操测评的任何组织信息系统的测评系统；通过一定的整合和改进，也可应用于其他需要对用户操作身份进行抄袭甄别的it技能测评。

图1所示为所述抄袭甄别方法流程示意图。如图1所示，所述抄袭甄别方法包括如下步骤：

步骤s1，获取参评者身份识别信息，在测评中对答卷数据进行签名。

进一步地，本步骤具体包括如下步骤：

步骤s101，通过用户登录信息获取测评系统的参评者身份识别信息n1。

在测评中，参评者将通过登录名和密码登陆到测评系统中查看已发布的题面，从而通过用户登录信息捕捉到该参评者的身份识别信息n1。

步骤s102，在参评者的答卷数据中进行签名。

更进一步地，本步骤根据所述参评者的身份识别信息n1生成参评者的身份信息字符串，然后将参评者的身份信息字符串，存储到参评者操作的用于测评参评者技能的答卷数据中，用以替换默认的用户信息n2，完成签名。优选地，这里的存储过程，是通过真实软件的用户信息数据表完成，即将所述签名存储在用户信息数据表中，然后参评者在用签名后的“用户”登录真实软件进行测评操作时，其签名信息被自动存储到答卷数据中。

本实施例中所涉及到的数据包括三种数据集，初始数据集d1、答案数据集d2和参评者的答卷数据集d3。初始数据是指教师未进行作答之前的出题数据；教师在初始数据的基础上，根据题面要求作答后的数据称为答案数据；参评者在初始数据的基础上，根据题面要求作答后的数据称为答卷数据。教师操作的代表正确答案的答案数据，以及参评者考试之后的答卷数据统称为作答数据。

其中，所述答卷数据包括与题面要求相关的操作结果数据表，其中数据表的内容具体表现为数据项，所述签名存储在所述用户信息数据表中，具体的签名内容对应相应的数据项。在实际应用中，对答卷数据的数据表中的考核数据项进行分类标记，分为主标识类、基础字段类、重点字段类、全面字段类、计算字段类、扩展字段类、操作员姓名类等，不同的数据项类别代表不同的评分权重。其中，所述签名位于所述“操作员姓名”类数据项中，被单独作为一个评分类别，以对参评者进行抄袭甄别。

本步骤将利用真实软件的用户权限管理体系，利用操作结果数据中“操作员姓名”类的数据项，当参评者登陆测评系统时，将参评者本人的身份识别信息嵌入答卷数据d3的相关数据表中进行数据签名，这样参评者在测试系统中具有不同的操作员身份，就是可区分的个人身份。参评者根据题面要求操作完毕后，所操作的每项任务都具有自己的签名，此时，进行数据签名后的答卷数据集转化为d3i(i＝1,2,3…,i为第i个参评者)，该答卷数据集包含参评者身份识别信息，从而通过提取含有参评者身份信息的作答数据对是否抄袭进行甄别。

通过答卷数据签名，可以区分不同的参评者的答卷数据，从而可以对参评者进行抄袭甄别和岗位技能分析等个性化操作。

步骤s2，提取具有签名的答卷数据。

在实际应用中，本步骤提取教师出题题目的初始数据集d1、答案数据集d2和参评者的答卷数据集d3。通常，测评准备时在参评者本地机上导入初始数据，这样教师与参评者答题前的初始数据集d1是一样的。

所述答案数据集d2和参评者的答卷数据集d3，各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项。在操作完备的情况下，答案数据集d2与答卷数据集d3中的数据表以及表中的记录数是一一对应的。

步骤s3，对所述具有签名的答卷数据进行数据标记。

进一步地，所述对答卷数据进行数据标记，为，对所述答卷数据中相关数据表的特定数据项进行数据标记。本步骤中，对答卷数据中相关数据表中的“操作员姓名”类数据项进行标记，将其单独作为一个评分类别，以对参评者进行抄袭甄别。

进一步地，当同时需要对答卷数据中的答案准确性进行评分，以将评分作为抄袭甄别方法的补充，本步骤还可以包括：标记答案数据。

测评系统将答卷数据集d3与答案数据集d2相应的值进行匹配，并根据匹配情况计算实际卷面分(即参评者的答卷数据集d3，相对于某个d2的得分)，进而计算成绩。此时d2和d3中均有d1，若不对d2中的数据进行操作类型标注，则在自动阅卷时会对d3中的初始数据按照操作数据的标准计分，从而影响阅卷质量。所以在自动阅卷之前，需要基于数据表的主键，对题目的初始数据d1与答案数据d2逐表对所有记录进行匹配运算，并基于匹配结果将答案数据d2中的记录进行标记，分为四种标记类型：增、删、改、一致。如果d2中某个表t1的某条记录r211，基于主键的值在d1的对应表t1中没有匹配记录，则标记r211的操作类型为“增”；如果d2中某个表t1的某条记录r211，基于主键的值在d1的对应表t1中有匹配的记录r112，则逐一字段的在r211与r112之间进行值比较，若相等则标记r211的操作类型为“一致”，即此次操作没有编辑该记录；若有差异，则标记r211的操作类型为“改”，并同时标记被修改的数据项；如果d2中某个表t1的所有记录已经标识了，但d1的对应表t1中还有记录r114，则将r114增加到d2的t1中，记为r215，并标记r215的操作类型为“删”。

步骤s4，根据所述参评者身份识别信息及数据标记进行答卷抄袭甄别。

本步骤中，测评系统利用答卷数据集d3中“操作员姓名”类数据项的值，将其与参评者身份识别信息n1进行字符串匹配运算，从而甄别该答卷数据的操作者是否是参评者，进而甄别出是否存在抄袭行为。还可以包括：通过匹配与评分算法，利用记录匹配策略对答卷数据集d3和答案数据集d2进行匹配计算，最终得出该参评者成绩。

进一步地，所述甄别出是否存在抄袭行为，具体为，当所述“操作员姓名”类数据项的值与所述参评者身份识别信息n1匹配时，则判定为不存在抄袭行为；当不匹配时，则判定为存在抄袭行为。

进一步地，当判定为不存在抄袭行为时，对所述答卷进行评分。进行评分时需要将答卷数据与答案数据进行匹配，例如d3中的某个表t1的某条记录r311与d2中的某个表t1的某条记录r211利用记录匹配策略进行匹配，其中，d3中r311已标注的操作员姓名类数据项的值v3与d2中r211的操作员姓名类数据项的值v2是不同的，不能直接进行字符串比较，该数据项的评分需要遵从抄袭甄别原理，若答卷数据d3中记录r311的操作员姓名类数据项的值v3与测评系统的登陆信息n1匹配成功，则说明该参评者不存在抄袭行为，该数据项评分正确。而后基于记录匹配策略，如关键字匹配法、局部最优匹配法、全局最优匹配法等，对教师的答案数据集d2与参评者的答卷数据集d3各个对应表(t1，t2，t3…)中的记录(操作类型为“删”的除外)进行逐一匹配，并在d3的各个记录中标记其对应的标准答案记录(d2中的记录编号)。基于已标记的答案数据(即标记了操作类型)、记录的匹配结果(即对参评者的答卷记录标记匹配的标准答案记录)，以及单据与数据项的权重，对参评者的答卷记录进行卷面分的计算。当计算本试卷的参评者卷面得分时，在所述记录匹配与评分的基础上，先对参评者答卷数据集d3中某个数据表中所有的记录得分合计以得到数据表得分，再对所有的数据表得分，按单据的权重进行加权求和，其结果就是该参评者本试卷的卷面分。同时，自动生成本试卷的正误统计反馈信息。

由以上技术方案可以看出，本实施例所述基于测评中用户信息的技能测评抄袭甄别方法，首先对参评者答卷数据进行签名，将参评者的登陆信息同步到操作软件的用户信息数据表中。本实施例从操作系统的用户体系出发并加以充分利用，通过数据签名，避免了不同参评者针对同一题面进行测评操作时默认为同一个操作员的现象，同时也避免了参评者u1提交他人的答卷数据，系统无法识别是否存在作弊行为的现象，提高了技能测评结果的真实性。利用本实施例提出的技能测评抄袭甄别方法对作答数据进行签名后，对数据进行预处理，主要是提取教师出题题目的初始数据集d1、答案数据集d2和参评者的答卷数据集d3以及对答案数据操作类型和操作员姓名类数据项进行标记，进行标记后的答案数据和答卷数据可进行抄袭甄别及匹配评分，即利用记录匹配策略对答案数据和答卷数据进行匹配。其中，答卷数据中已标注的操作员姓名类数据项的值与答案数据中的该值是不同的，该字段的评分需要遵从抄袭甄别原理，即将操作员姓名类数据项的值与测评系统的登陆信息相匹配，查看答卷数据的操作员信息是否是测评系统的登陆者(即参评者)，进而可以区别获取的作答数据是否是测评软件的参评者所操作，以此判断该作答数据是否具有抄袭行为。

第二实施例

本实施例提供了一种基于测评中用户信息的技能测评抄袭甄别装置。本实施例所述基于测评中用户信息的技能测评抄袭装置，与第一实施例的所述基于测评中用户信息的技能测评抄袭甄别方法相对应，第一实施例中对于所述抄袭甄别方法的描述，同样适用于本实施例中所述抄袭甄别装置中的相应技术特征。

图2所示为所述基于测评中用户信息的技能测评抄袭甄别装置结构示意图。如图2所示，所述装置包括：参数获取单元1、数据签名单元2、数据提取单元3、数据标记单元4、数据发送单元5、抄袭甄别单元6；其中，

所述参数获取单元1与数据签名单元2相连，用于获取参评者身份识别信息；

所述数据签名单元2与所述数据提取单元3相连，用于在测评操作中对答卷数据进行签名；进一步为，基于获取的参评者身份识别信息，根据所述参评者的身份识别信息n1生成参评者的身份信息字符串，然后将参评者的身份信息字符串，通过存储到参评者操作的用于测评参评者技能的真实软件的用户体系中，作为操作软件中的默认用户信息n2，进而在测评操作时存储到答卷数据中相关数据表的特定数据项；所述数据提取单元3与所述数据标记单元4相连，用于提取具有签名的答卷数据；

所述数据标记单元4与所述数据发送单元5相连，用于对所述具有签名的答卷数据进行数据标记；进一步为，对所述答卷数据中相关数据表的特定数据项进行数据标记。

所述数据发送单元5与所述抄袭甄别单元6相连，用于将标记后的答卷数据发送给所述抄袭甄别单元6；

所述抄袭甄别单元6，用于根据所述参评者身份识别信息及数据标记进行答卷抄袭甄别。进一步为，从所述答卷数据中提取操作员姓名类数据项的值与测评系统中参评者的身份识别信息n1进行匹配，从而判断参评者是否具有抄袭行为，若匹配成功，则不存在抄袭行为，若匹配不成功，则存在抄袭行为。

由以上技术方案可以看出，本实施例的所述基于测评中用户信息的技能测评抄袭装置，针对基于真实软件进行技能测评时测评系统不具备抄袭甄别功能而无法对参评者是否存在抄袭行为进行识别的问题，在身份识别的基础上，通过答卷数据签名以区分不同的参评者，然后通过数据提取、数据标记对答案和答卷数据进行处理，最后通过抄袭甄别算法识别是否存在抄袭行为。本实施例也可应用于具有用户体系、需要进行技能性实操测评的任何组织信息系统的测评系统。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。