主观题自动评分方法及系统与流程

1.本发明涉及计算机领域，特别涉及一种主观题自动评分方法及系统。


背景技术：

2.主观题(含名词解释、简答和论述等)是指能够允许考生按照其对问题的理解程度，发挥其主观能动性对题目进行解答。通常题目主观题答案可包含若干要点，长度在几十到几百字不等。
3.考试中由考生作答给出的主观题答案(待评主观题答案)，需要人工或者由计算机按照给定方法进行自动评分。主观题评分是当前各类考试的阅卷工作中的难点问题，占据了大部分的阅卷时间，通过信息化手段实现主观题的自动评分是提高阅卷速度和效率的重要方式。


技术实现要素：

4.有鉴于此，本发明实施例提供一种主观题自动评分方法及系统，以实现对主观题的自动评分。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.一种主观题自动评分方法，包括：
7.获取待评分答案集和标准答案；所述待评分答案集包括至少一份待评分的主观题答案；
8.基于所述待评分答案集和所述标准答案，构成参考评分主观题答案集和自动评分答案集；其中，所述参考评分答案集包括：从所述待评分答案集中随机选出的n份主观题答案以及所述标准答案；n为正整数；所述自动评分答案集包括所述待评分答案集中去除所述n份主观题答案之后所剩余的主观题答案；
9.获取得分集合，所述得分集合包括所述n份主观题答案经人工评分后得到的分值，以及，所述标准答案对应的分值；
10.对于所述自动评分答案集中的任一份主观题答案，计算所述任一份主观题答案与参考评分答案集中各主观题答案的相似度；所述任一份主观题答案表示为主观题答案x；
11.对相似度进行降序排序，得到排序结果；
12.使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值。
13.可选的，所述使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值包括：
14.将排序结果中前r个位置在所述得分集合中对应的分值作为自动评分模型的输入，由所述自动评分模型对所述主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。
15.可选的，所述自动评分模型根据如下公式计算所述主观题答案x的自动评分分值：
[0016][0017]
其中，cx表示所述主观题答案x的自动评分分值，i表示所述前r个位置中的第i个位置，ci表示所述第i个位置在所述得分集合中所对应的分值，bi为第i个位置所对应的权重。
[0018]
可选的，bi的默认取值为1/r。
[0019]
可选的，还包括：随机抽取所述自动评分答案集中的m个主观题答案；获取所述m个主观题答案经人工复核后的人工复核分值；m为正整数；分别计算所述m个主观题答案的自动评分分值与人工复核分值之间的分值差；其中，分值差大于预设阈值的主观题答案为负样本；使用所述负样本的人工复核分值更新所述前r个位置所对应的权重。
[0020]
可选的，所述负样本所对应的排序结果为目标排序结果；所述负样本对应的人工复核分值表示为f；所述使用所述负样本的人工复核分值更新所述前r个位置所对应的权重包括：执行至少一轮权重更新操作，直至满足更新停止条件；每一轮权重更新操作至少包括：在目标分值集合中确定第一目标分值和第二目标分值；所述目标分值集合包括：所述目标排序结果的前r个位置在所述得分集合中所对应的分值，所述目标分值集合中的各分值初始时被标记为有效；所述第一目标分值为与所述f差值最小且被标记为有效的分值，所述第二目标分值为与所述f差值最大且被标记为有效的分值；对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新；将所述第一目标分值和所述第二目标分值标记为无效；使用更新后的权重重新计算所述负样本的自动评分分值；重新计算得到的自动评分分值表示为f’；判断f与f’是否满足所述更新停止条件，若是，停止；若否，判断所述目标分值集合标记为有效的分值的数量是否不小于2；若否，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤；若否，将所述目标分值集合中的全部分值标记为有效，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤。
[0021]
可选的，所述第一目标分值所对应位置表示为abb
min
，更新前所对应权重表示为b
min
；所述第二目标分值所对应位置表示为abb
max
，更新前所对应权重表示为b
max
；所述对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新包括：将a*b
min
与b*b
max
的和值作为位置abb
min
上更新后的权重；将c*bmax作为位置上abb
max
更新后的权重；a、b、c为更新系数。
[0022]
一种主观题自动评分系统，包括：
[0023]
获取单元，用于：
[0024]
获取待评分答案集和标准答案；所述待评分答案集包括至少一份待评分的主观题答案；
[0025]
基于所述待评分答案集和所述标准答案，构成参考评分主观题答案集和自动评分答案集；其中，所述参考评分答案集包括：从所述待评分答案集中随机选出的n份主观题答案以及所述标准答案；n为正整数；所述自动评分答案集包括所述待评分答案集中去除所述n份主观题答案之后所剩余的主观题答案；
[0026]
获取得分集合，所述得分集合包括所述n份主观题答案经人工评分后得到的分值，以及，所述标准答案对应的分值；
[0027]
相似度计算系统，用于：
[0028]
对于所述自动评分答案集中的任一份主观题答案，计算所述任一份主观题答案与参考评分答案集中各主观题答案的相似度；所述任一份主观题答案表示为主观题答案x；
[0029]
对相似度进行降序排序，得到排序结果；
[0030]
自动评分系统，用于：使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值。
[0031]
可选的，所述自动评分系统包括：自动评分模型，用于：以排序结果中前r个位置在所述得分集合中对应的分值作为输入，对所述主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。
[0032]
可选的，所述自动评分模型根据如下公式计算所述主观题答案x的自动评分分值：
[0033][0034]
其中，cx表示所述主观题答案x的自动评分分值，i表示所述前r个位置中的第i个位置，ci表示所述第i个位置在所述得分集合中所对应的分值，bi为第i个位置所对应的权重。
[0035]
可选的，还包括：更新系统，用于：随机抽取所述自动评分答案集中的m个主观题答案；获取所述m个主观题答案经人工复核后的人工复核分值；m为正整数；分别计算所述m个主观题答案的自动评分分值与人工复核分值之间的分值差；其中，分值差大于预设阈值的主观题答案为负样本；使用所述负样本的人工复核分值更新所述前r个位置所对应的权重。
[0036]
可见，在本发明实施例中，抽取部分主观题答案进行人工评分，得到的人工评分分值作为参考数据。对于任一主观题答案，计算其与标准答案和已进行人工评分的答案之间的相似度，基于相似度和人工评分分值进行自动评分，得到自动评分分值，实现了对主观题的自动评分，获取了高质量的自动评分结果。
附图说明
[0037]
图1为本发明实施例提供的主观题自动评分系统的一种示例性结构；
[0038]
图2为本发明实施例提供的主观题自动评分方法的一种示例性流程；
[0039]
图3为本发明实施例提供的人工评分阶段所涉及的主要操作示意图；
[0040]
图4为本发明实施例提供的相似度计算阶段所涉及的主要操作示意图；
[0041]
图5为本发明实施例提供的自动评分阶段所涉及的主要操作示意图；
[0042]
图6为本发明实施例提供的主观题自动评分方法的另一种示例性流程；
[0043]
图7a为本发明实施例提供的权重更新操作的示例性流程；
[0044]
图7b为本发明实施例提供的权重更新操作的另一示例性流程；
[0045]
图8为现有的自动评分方法的示例性流程。
具体实施方式
[0046]
本发明提供一种主观题自动评分系统及方法，以实现主观题自动评分。
[0047]
请参见图1，上述主观题自动评分系统的一种示例性结构包括：获取单元1、相似度
计算系统2和自动评分系统3。
[0048]
其中，自动评分系统3可进一步包括：自动评分模型。
[0049]
此外，上述系统还可包括更新系统4，用于对自动评分模型中的权重进行更新。
[0050]
获取单元1、相似度计算系统2、自动评分系统3和更新系统4可安装于同一设备中，也可分别部署在独立的设备中。
[0051]
图2示出了上述主观题自动评分系统所执行的主观题自动评分方法的一种示例性流程，包括：
[0052]
s1：获取待评分答案集和标准答案。
[0053]
待评分答案集s包括至少一份待评分的主观题答案。
[0054]
主观题答案和标准答案均为文本形式。
[0055]
s2：基于待评分答案集和标准答案，构成参考评分主观题答案集和自动评分答案集。
[0056]
其中，参考评分答案集包括：从待评分答案集中随机选出的n份主观题答案以及标准答案；n为正整数。
[0057]
标准答案可以为多份，也可以为一份，标准得分为该主观题的满分分值，例如20分。
[0058]
或者说，参考评分答案集可进一步包括待评答案子集s和p份标准答案。其中，待评答案子集s的元素(即待评答案)数量为n，其中每个元素为s1,s2,
…
sn。
[0059]
而自动评分答案集x可包括待评分答案集s中去除n份主观题答案(也即去除待评答案子集s)之后所剩余的主观题答案。
[0060]
s3：获取得分集合。
[0061]
得分集合包括n份主观题答案经人工评分后得到的分值(可称为人工评分分值)，以及，标准答案对应的分值。
[0062]
上述待评答案子集s中的n份主观题答案经人工评分，变为了已评答案集合y(y1,y2,
…yn
)，两个集合中元素的标号一致；则参考评分答案集变更为包括已评答案集合y和p份标准答案。
[0063]
得分集合可以c表示，其中，c1,c2,
…cn
分别为y1,y2,
…yn
所对应的人工评分分值，而，c
n+1
…cn+p
分别为标准答案的分值(也即满分分值)。
[0064]
步骤s1-s3可统称为人工评分阶段，可由前述的获取单元1执行。
[0065]
人工评分阶段所涉及的主要操作可参见图3。
[0066]
s4：对于自动评分答案集中的任一份主观题答案，计算任一份主观题答案与参考评分答案集中各主观题答案的相似度；
[0067]
任一份主观题答案表示为主观题答案x(待评答案x)；
[0068]
假定自动评分答案集中共10份主观题答案，则会得到主观题答案x与这10份主观题答案的相似度。
[0069]
s5：对相似度进行降序排序，得到排序结果；
[0070]
步骤s4和s5可统称为相似度计算阶段，可由前述的相似度计算系统2执行。
[0071]
具体的，相似度计算系统的功能可采用多种机器学习模型加以实现，例如tf-idf(termfrequency
–
inverse document frequency)模型，在此不作赘述。
[0072]
假定自动评分答案集中共n+1份主观题答案(其中一份为标准答案)，则相似度计算阶段所涉及的主要操作可参见图4。
[0073]
s6：使用排序结果和得分集合，对主观题答案x进行自动评分，得到主观题答案x的自动评分分值(cx)。
[0074]
步骤s6可由前述的自动评分系统3执行。
[0075]
在一个示例中，自动评分系统3具体可为自动评分模型，可将排序结果中前r个位置在得分集合中对应的分值作为自动评分模型的输入，由自动评分模型对主观题答案x进行自动评分，得到自动评分分值。
[0076]
r为小于等于n的正整数。
[0077]
假定n＝10，r＝5，则取排序结果中前5个位置所对应的分值作为自动评分模型的输入。自动评分阶段所涉及的主要操作可参见图5。
[0078]
可见，在本发明实施例中，抽取部分主观题答案进行人工评分，得到的人工评分分值作为参考数据。对于任一主观题答案，计算其与标准答案和已进行人工评分的答案之间的相似度，基于相似度和人工评分分值进行自动评分，得到自动评分分值，实现了对主观题的自动评分，获取了高质量的自动评分结果。
[0079]
下面介绍自动评分模型。
[0080]
在本发明其他实施例中，自动评分模型根据如下公式计算主观题答案x的自动评分分值：
[0081][0082]
其中，cx表示主观题答案x的自动评分分值，i表示前r个位置中的第i个位置，ci表示第i个位置在得分集合中所对应的分值，bi为第i个位置所对应的权重。
[0083]
bi的默认取值为1/r。即取前n个最为相似的已评答案的得分的平均值。举例来讲，假如对主观题答案x，其前5个最为相似的已评主观题答案的得分值分别为{18,20,18,16,20}，则根据上述模型的默认权重，主观题答案x的得分为18.4。
[0084]
当然，在实际情况中，也可以选用其他参数模型，赋予不同相似度排序的已评答案以不同的权重值。
[0085]
在一般的评分系统中，对于负样本(自动评分分值与人工评分分值差距较大)，仅在人工修正得分后丢弃，忽略掉了负样本的价值。
[0086]
可利用负样本进行自动评分模型的更新，请参见图6，其示例性的包括如下步骤：
[0087]
s7：随机抽取自动评分答案集中的m个主观题答案。
[0088]
m为正整数。
[0089]
s8：获取m个主观题答案经人工复核后的人工复核分值。
[0090]
也即，由人对这m个主观题答案进行人工复核打分，得到分值。
[0091]
s9：分别计算m个主观题答案的自动评分分值与人工复核分值之间的分值差；
[0092]
其中，分值差大于预设阈值的主观题答案为负样本。
[0093]
本领域技术人员可灵活设计预设阈值的取值，例如1，2，0.5等。
[0094]
s10：使用负样本的人工复核分值更新前r个位置所对应的权重。
[0095]
也即，反向计算自动评分模型中的各个分项的权重值(即公式1中的bi值)。
[0096]
模型更新为可选过程，即在实际应用中可以由实际需求确定是否进行模型更新，
如果评分结果能够满足使用需求，则可以不对模型进行更新。
[0097]
下面介绍使用负样本的人工复核分值更新前r个位置所对应的权重的示例性方式。
[0098]
为便于描述，可将负样本所对应的排序结果为目标排序结果，将负样本对应的人工复核分值用f表示；
[0099]
可执行至少一轮权重更新操作，直至满足更新停止条件来更新前r个位置所对应的权重。
[0100]
请参见图7a，每一轮权重更新操作至少包括：
[0101]
s701：在目标分值集合中确定第一目标分值和第二目标分值。
[0102]
目标分值集合包括：目标排序结果的前r个位置在得分集合中所对应的分值。
[0103]
其中，第一目标分值为与f差值最小且被标记为有效的分值，第二目标分值为与f差值最大且被标记为有效的分值。初始时，目标分值集合中的各分值被标记为有效。
[0104]
假设与负样本最相似的r个主观题答案为y1,y2,
…
,yr,其对应的得分为c1,c2,
…
,cr，初始时，c1,c2,
…
,cr均被标记为有效。
[0105]
若c3与f差值最小，c5与f差值最大，则c3为第一目标分值，c5为第二目标分值。
[0106]
s702：对第一目标分值和第二目标分值所对应的位置的权重分别进行更新。
[0107]
在一个示例中，令第一目标分值所对应位置表示为abb
min
，更新前所对应权重表示为b
min
；第二目标分值所对应位置表示为abb
max
，更新前所对应权重表示为b
max
；
[0108]
则可将a*b
min
与b*b
max
的和值作为位置abb
min
上更新后的权重，将c*bmax作为位置上abb
max
更新后的权重；a、b、c为更新系数。
[0109]
a、b、c的取值可灵活设计，假定a取1，b取0.5，c取0.5。
[0110]
沿用前例，c3为第一目标分值，c5为第二目标分值，其更新前对应的权重的取值分别为0.2，0.2。
[0111]
假定a取1，b取0.5，c取0.5，则c3所对应位置的新权重为0.3，c5所对应位置的新权重为0.1。
[0112]
s703：将第一目标分值和第二目标分值标记为无效。
[0113]
沿用前例，则在c1,c2,
…
,cr中将c3和c5标记为无效。
[0114]
s704：使用更新后的权重重新计算负样本的自动评分分值。
[0115]
重新计算得到的自动评分分值表示为f’。
[0116]
s705：判断f与f’是否满足更新停止条件，若是，停止，若否，进入s706；
[0117]
在一个示例中，更新停止条件可包括：f’与f相差d％以内。
[0118]
本领域技术人员可灵活设计d的取值，例如5、10等等。
[0119]
s706：判断目标分值集合标记为有效的分值的数量是否不小于2，若否，返回s701；若是，进入s707；
[0120]
因为若数量小于2，则无法确定差值最大和最小，所以，需要重新执行。
[0121]
s707：将目标分值集合中的全部分值标记为有效，返回s701。
[0122]
或者，请参见图7b，每一轮权重更新操作至少包括：
[0123]
s71：在目标分值集合中确定第一目标分值和第二目标分值。
[0124]
目标分值集合包括：目标排序结果的前r个位置在得分集合中所对应的分值。
[0125]
其中，第一目标分值为与f差值最小的分值，第二目标分值为与f差值最大的分值。
[0126]
假设与负样本最相似的r个主观题答案为y1,y2,
…
,yr,其对应的得分为c1,c2,
…
,cr。若c3与f差值最小，c5与f差值最大，则c3为第一目标分值，c5为第二目标分值。
[0127]
s72：对第一目标分值和第二目标分值所对应的位置的权重分别进行更新。
[0128]
在一个示例中，令第一目标分值所对应位置表示为abb
min
，更新前所对应权重表示为b
min
；第二目标分值所对应位置表示为abb
max
，更新前所对应权重表示为b
max
；
[0129]
则可将a*b
min
与b*b
max
的和值作为位置abb
min
上更新后的权重，将c*bmax作为位置上abb
max
更新后的权重；a、b、c为更新系数。
[0130]
a、b、c的取值可灵活设计，假定a取1，b取0.5，c取0.5。
[0131]
沿用前例，c3为第一目标分值，c5为第二目标分值，其更新前对应的权重的取值分别为0.2，0.2。
[0132]
假定a取1，b取0.5，c取0.5，则c3所对应位置的新权重为0.3，c5所对应位置的新权重为0.1。
[0133]
s73：在目标分值集合中删除第一目标分值和第二目标分值。
[0134]
沿用前例，则在c1,c2,
…
,cr中删除c3和c5。
[0135]
s74：使用更新后的权重重新计算负样本的自动评分分值。
[0136]
重新计算得到的自动评分分值表示为f’。
[0137]
s75：判断f与f’是否满足更新停止条件，若是，停止，若否，进入s76；
[0138]
在一个示例中，更新停止条件可包括：f’与f相差d％以内。
[0139]
本领域技术人员可灵活设计d的取值，例如5、10等等。
[0140]
s76：判断目标分值集合是否为空或只剩下一个元素，若否，返回s71；若是，进入s77；
[0141]
s77：令目标分值集合包括目标排序结果的前r个位置在得分集合中所对应的分值，返回s71。
[0142]
需要说明的是，在一种现有的自动评分方法的主要流程如图8所示，其一个必要的前提条件是需要“预先训练好的与试题所属类别或知识点相关的词向量”。
[0143]
在此基础之上，现有方法在接收到“学生答案文本”和“参考答案文本”之后对两个文本中的词语权重进行计算，及确定两个文本中的最终词语表示序列，即将学生答案文本和参考答案文本以词语序列和对应的权重输出；
[0144]
然后，使用wmd(word mover’s distance)模型计算学生答案文本的权重数据与前提条件中的词语权重数据的距离，接着将该距离了转换为对应的文本相似度；最后，将文本相似度转换为对应的自动评分的分数。
[0145]
1.需要语料库作为基础。在论文1提出的方法中，“预先训练好的与试题所属类别或知识点相关的词向量”这一前提条件需要一个高质量的语料库作为基础。一般情况下，高质量的语料库建立和维护较为复杂，不仅仅需要大量高质量的文本数据，还需要对文本数据进行分词、赋予权重等等，这其中的每一个过程都需要有人工干预，并且由于中文的特殊性，中文分词在学术界仍旧是一个非常困难的瓶颈问题；同时，不同专业、行业或者领域之间语言内容差别较大，即使对于同一文本，也有不同的分词方式。分词之后对词语的权重赋值也是一项主观性和专业性非常强的任务，需要耗费大量的人力，且对人员有较高专业需
求。
[0146]
2.不能体现评分人员主观评判的重要性。现有方法的侧重点基本都在于通过各种算法和已有数据基础对待评答案和标准答案进行比对，调整比对结果，并对比对结果从不同角度进行解读以计算最终评分。在这个过程中忽视了人工评分重要性，因为语言的多样性和复杂性，现有算法和模型只能从某些方面对相似度或者分类进行测量，无法完全代替人的主观评判，所以获取高质量的自动评分结果的前提是需要有人工评判的介入。
[0147]
3.评分模型更新困难。现在方法在实施过程中，虽然存在人工检查自动评分结果的环节，但是该环节仅仅将赋分结果二元化，即判定该结果是否合理，对合理的结果，将其视为正样本(自动评分与人工评分结果差距较小)，加入到语料库中；而对于负样本(自动评分与人工评分差距较大)，则仅在人工修正得分后丢弃，忽略掉了负样本的价值。
[0148]
与之相比，本发明实施例所提供的自动评分方法具有如下优势：
[0149]
1、不依赖语料库。在计算相似度时考虑的是词语完全相同的情况，不涉及语义级别的相似度，所以不需要语料库的支持。
[0150]
2、以人工评分为基础实施自动评分，充分体现了评分人员的主观评判的重要性。
[0151]
3、基于负样本对自动评分模型进行更新矫正：自动评分结束后可以视情况对评分模型进行更新，通过人工复核的方式修正自动评分的偏差，并以负样本为基础对自动评分模型更新矫正，提高了模型的精确度。
[0152]
下面介绍主观题自动评分系统。请参见图1，其示例性的包括：
[0153]
获取单元1，用于：
[0154]
获取待评分答案集和标准答案；待评分答案集包括至少一份待评分的主观题答案；
[0155]
基于待评分答案集和标准答案，构成参考评分主观题答案集和自动评分答案集；其中，参考评分答案集包括：从待评分答案集中随机选出的n份主观题答案以及标准答案；n为正整数；自动评分答案集包括待评分答案集中去除n份主观题答案之后所剩余的主观题答案；
[0156]
获取得分集合，得分集合包括n份主观题答案经人工评分后得到的分值，以及，标准答案对应的分值；
[0157]
相似度计算系统2，用于：
[0158]
对于自动评分答案集中的任一份主观题答案，计算任一份主观题答案与参考评分答案集中各主观题答案的相似度；任一份主观题答案表示为主观题答案x；
[0159]
对相似度进行降序排序，得到排序结果；
[0160]
自动评分系统3，用于：使用排序结果和得分集合，对主观题答案x进行自动评分，得到主观题答案x的自动评分分值。
[0161]
具体细节请参见前述介绍，在此不作赘述。
[0162]
在本发明其他实施例中，上述自动评分系统包括：
[0163]
自动评分模型，用于：以排序结果中前r个位置在得分集合中对应的分值作为输入，对主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。
[0164]
具体细节请参见前述介绍，在此不作赘述。
[0165]
在本发明其他实施例中，上述自动评分模型根据如下公式计算主观题答案x的自
动评分分值：
[0166][0167]
其中，cx表示主观题答案x的自动评分分值，i表示前r个位置中的第i个位置，ci表示第i个位置在得分集合中所对应的分值，bi为第i个位置所对应的权重。bi的默认取值为1/r。
[0168]
具体细节请参见前述介绍，在此不作赘述。
[0169]
在本发明其他实施例中，上述主观题自动评分系统还可包括：
[0170]
更新系统4，用于：
[0171]
随机抽取自动评分答案集中的m个主观题答案；
[0172]
获取m个主观题答案经人工复核后的人工复核分值；m为正整数；
[0173]
分别计算m个主观题答案的自动评分分值与人工复核分值之间的分值差；其中，分值差大于预设阈值的主观题答案为负样本；
[0174]
使用负样本的人工复核分值更新前r个位置所对应的权重。
[0175]
具体细节请参见前述介绍，在此不作赘述。
[0176]
负样本所对应的排序结果为目标排序结果；负样本对应的人工复核分值表示为f。
[0177]
在本发明其他实施例中，在使用负样本的人工复核分值更新前r个位置所对应的权重的方面，更新系统4可具体用于：执行至少一轮权重更新操作，直至满足更新停止条件。
[0178]
其中，每一轮权重更新操作至少包括：
[0179]
在目标分值集合中确定第一目标分值和第二目标分值；目标分值集合包括：目标排序结果的前r个位置在得分集合中所对应的分值；第一目标分值为与f差值最小的分值，第二目标分值为与f差值最大的分值；
[0180]
对第一目标分值和第二目标分值所对应的位置的权重分别进行更新；
[0181]
在目标分值集合中删除第一目标分值和第二目标分值；
[0182]
使用更新后的权重重新计算负样本的自动评分分值；重新计算得到的自动评分分值表示为f’；
[0183]
判断f与f’是否满足更新停止条件，若是，停止；
[0184]
若否，判断目标分值集合是否为空或只剩下一个元素；
[0185]
若是，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤；
[0186]
若否，令目标分值集合包括目标排序结果的前r个位置在得分集合中所对应的分值，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤。
[0187]
具体细节请参见前述介绍，在此不作赘述。
[0188]
或者，每一轮权重更新操作至少包括：
[0189]
在目标分值集合中确定第一目标分值和第二目标分值；所述目标分值集合包括：所述目标排序结果的前r个位置在所述得分集合中所对应的分值，所述目标分值集合中的各分值初始时被标记为有效；所述第一目标分值为与所述f差值最小且被标记为有效的分值，所述第二目标分值为与所述f差值最大且被标记为有效的分值；
[0190]
对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新；
[0191]
将所述第一目标分值和所述第二目标分值标记为无效；
[0192]
使用更新后的权重重新计算所述负样本的自动评分分值；重新计算得到的自动评分分值表示为f’；
[0193]
判断f与f’是否满足所述更新停止条件，若是，停止；
[0194]
若否，判断所述目标分值集合标记为有效的分值的数量是否不小于2；
[0195]
若否，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤；
[0196]
若否，将所述目标分值集合中的全部分值标记为有效，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤。
[0197]
具体细节请参见前述介绍，在此不作赘述。
[0198]
在本发明其他实施例中，第一目标分值所对应位置表示为abb
min
，更新前所对应权重表示为b
min
；第二目标分值所对应位置表示为abb
max
，更新前所对应权重表示为b
max
；
[0199]
则在对第一目标分值和第二目标分值所对应的位置的权重分别进行更新的方面，更新系统4可具体用于：
[0200]
将a*b
min
与b*b
max
的和值作为位置abb
min
上更新后的权重；
[0201]
将c*bmax作为位置上abb
max
更新后的权重；
[0202]
a、b、c为更新系数。
[0203]
具体细节请参见前述介绍，在此不作赘述。
[0204]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，之处参见方法部分说明即可。
[0205]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0206]
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、wd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0207]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。