一种用于同行评议系统合谋对抗攻击样本生成方法及系统

1.本发明属于计算机科学的自然语言处理技术领域，具体涉及一种用于同行评议系统合谋对抗攻击样本生成方法及装置。


背景技术：

2.同行评议是有资质的同行对一个领域内的提交的项目进行评估、打分和排序，从而能够评价作者的著作水平或项目申请是否符合该学科领域的标准，是自然语言处理技术(natural language processing，nlp)的一个典型的应用。由于同行评议能够避免外行人员的干预，在保证评审项目质量上发挥着重要的作用，被认为是用于科研管理领域中唯一切实的科学评价方式，也是科研项目评估、申请经费的获批、论文发表乃至职称评定的必由之路，有着“学术看门人”和“学术警察”之称。同行评议有着广泛的应用场景，同侪绩效评估、大规模在线开放课程学生的家庭作业评估、科研项目评估以及科研成果评审。
3.尽管同行评议在科研评估中取得了很大的成功，但如何公正高效地使用同行评议模式有效地评议信息是一个有用且具有挑战性的公开问题。一直以来，为改善同行评议的透明性，减少同行之间的偏见，增强客观性，提高评议结果的公平性，减少评议人的压力，提高评议程序的效率，研究人员在同行评议机制的各个领域内都在进行着各种创新与探索。为了促进高质量的同行评议，提交的论文分配到合格的评议者是至关重要的，过去的各种研究表明，同行评议质量的微小变化会产生深远的影响，即使是少数自私的、策战略性的评议者也能在很大程度上降低科学标准的质量。现今使用最广泛的自动分配算法之一是tpms(toronto paper matching system)系统，它使用自然语言处理技术计算提交的论文和评议者之前的论文等出版物之间的相似性，其分配目标是以最大化全局总和相似度，从而衡量评议者的资质。
4.过去关于审稿人分配的许多工作开发算法来最大化累积相似性，即所有分配的审稿人和所有论文的相似性的总和。然而，由于提交论文的作者掌握其论文的主动权，为获得评审者的好评从而提高其论文的接受率，论文作者很有可能与其相识的评审者合谋，提交的文档精心设计的对抗性样本，以此提高同行评议程序将作者的提交论文分配给合谋评议者的概率。文本对抗攻击现有方法虽然可以较快的生成对抗性样本，但是没有针对同行评议场景应用的方法，因此，亟需一种用于同行评议系统合谋对抗攻击样本生成方法。


技术实现要素：

5.本发明的目的是针对现有技术的不足，提供一种用于同行评议系统合谋对抗攻击样本生成方法及装置，从而达到将同行评议系统在分配时将对抗性样本分配给目的合谋者的目的。
6.一种用于同行评议系统合谋对抗攻击样本生成方法，包括如下步骤：
7.步骤1、收集目标文本和参与评议者中的合谋者文本，并对目标文本和合谋者文本进行文本预处理，得到预处理后的词集；
8.步骤2、从词集中寻找目标攻击词；
9.步骤3、根据目标攻击词构造候选攻击词表；
10.步骤4、根据攻击词表的顺序替换单词，生成对抗样本。
11.进一步的，本发明还包括分别将所述目标文本和对抗样本输入至同行评议系统，为其分配评议者的结果进行比对，用以评估同行评议系统分配对抗样本的效果。
12.进一步的，所述的步骤1具体方法如下：
13.输入目标文本p的文档p
ori
，合谋评议者的文档r，目标文本的作者r
tar
，收集目标文本的作者r
tar
的文档p
ori
和目标文本p的合谋者r
att
的文档r，对文档p
ori
和文档r进行停用词过滤和词性标准化操作，得到处理后的词集；
14.进一步的，所述的步骤2具体方法如下：
15.结合使用两种方法构造候选攻击词列表，其一是使用同义词词汇表进行查表从而获取攻击目标词，其二是基于语义词典计算单词的相似度获取攻击目标词。具体结合操作如：
16.首先按词频由大到小收集文档p
ori
的词集pw，收集合谋评议者文档的词集rw，获取词集pw的同义词集aw，然后将同义词集aw和词集rw取交集得到再找到词集rw中与词集pw词意距离差距不超过δ的词作为的补充，得到目标攻击词集；
17.进一步的，所述的步骤3具体方法如下：
18.构建替换词表，通过目标攻击词集构造候选攻击词表，用目标攻击词集中的替换词对(pw,rw)构成替换词表即得到候选攻击词表
19.所述的替换词对(pw,rw)中的pw为词集pw中的词，词集pw为词集rw中的词。
20.进一步的，所述的步骤4具体方法如下：
21.根据攻击词表的顺序替换单词，生成对抗文本。根据候选攻击词表中的顺序，将文档p
ori
中的词pw替换为rw，由此迭代得到对抗性文本p
att
，词pw表示第w个替换词对中的词；根据设定的α值和词pw计算攻击预算|w'|，|w'|≤pw
·
α；文档p
ori
中每替换一组词对(pw,rw)，则变量changed累加一次，直到changed大于攻击预算|w'|，返回对抗性样本p
att
。
22.一种用于同行评议系统合谋对抗攻击样本生成系统，包括原始分配模块、对抗攻击模块和日志模块。
23.原始分配模块：用于展示目标文本的同行评议分配结果，该模块接收用户输入的目标文本，根据选择的相似度计算方法和分配方法将同行评议分配结果返回；
24.对抗攻击模块：用于模拟在目标文本受到对抗攻击时的效果，该模块接收用户输入的攻击参数α和δ，并获取原始分配模块传入的目标文本，根据对抗样本生成算法对目标文本进行扰动以构造对抗性样本，返回对抗性样本；
25.日志模块，用于获取原始目标样本和对抗性样本，通过文本差异度量算法将其对比，通过对比指标直观展示对抗攻击的效果；
26.实施本发明实施例，具有如下有益效果：
27.本发明实施例提供了一种用于同行评议系统合谋对抗攻击样本生成方法及装置。本发明主要针对同行评议系统对于文本提交者与评议者合谋，构造对抗性文本从而操纵同行评议分配系统结果的问题，探索了同行评议场景下的合谋对抗攻击的方法，所述方法包
括收集目标文本和参与评议者中的合谋者的文本并进行文本预处理；寻找目标攻击词；构造候选的攻击词表；根据攻击词表的顺序替换单词，生成对抗性样本。本发明通过将目标文本和合谋者文本的近义词进行同义词替换，在最小程度上对目标文本的语句进行更改，生成在最大限度上不会引发人类察觉的对抗性样本，使得同行评议分配质量降低，提高对抗性样本的成功率，并且降低了算法的时间和复杂度。
附图说明
28.图1为本发明实施例所提供的一种用于同行评议系统合谋对抗攻击样本生成方法的一种应用场景示意图；
29.图2为本发明实施例提供的一种用于同行评议系统合谋对抗攻击样本生成方法的流程示意图；
30.图3为本发明实施例提供的一种用于同行评议系统合谋对抗攻击样本生成装置的结构示意图。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.首先介绍本发明可以提供的应用场景，如生成针对同行评议系统的单词级对抗性样本。
33.如图2所示，一种用于同行评议系统合谋对抗攻击样本生成方法，包括如下步骤：
34.步骤1、收集目标文本和参与评议者中的合谋者文本，并对目标文本和合谋者文本进行文本预处理，得到预处理后的词集；
35.步骤2、从词集中寻找目标攻击词；
36.步骤3、根据目标攻击词构造候选攻击词表；
37.步骤4、根据攻击词表的顺序替换单词，生成对抗样本。
38.本发明第一实施例：
39.如图1所示，本实施例提供了一种用于同行评议合谋对抗攻击样本生成方法，至少包括如下步骤：
40.201收集目标文本和参与评议者中的合谋者的文本并进行文本预处理。
41.具体的，首先同行评议系统收集所有评议者的文本，用户输入的数据集为目标文本p
ori
＝[a1,a2,
…
,ak]，诚实评议者的文本r1、r2和r3，合谋评议者的文本r4＝[b1,b2,
…
,bm]和r5＝[c1,c2,
…
,cn]的文本，其中k、m和n为文本长度。
[0042]
202寻找目标攻击词。
[0043]
具体的，用户输入合谋评议者的编号r4、r5，合谋评议者数量为2，最大词意距离δ《0.5，寻找目标攻击词的方法之一是使用同义词词汇表(如wordnet)来查表获取攻击目标词，其二是基于语义词典计算单词的相似程度找到。通过同义词集找到将p
ori
中的目标词a1与文本r4中的同义词b1，同时找到p
ori
中的目标词a2和文本r5中词意距离δ《0.5的词c1。
[0044]
203构造候选攻击词表；
[0045]
具体的，对于目标词a1与同义词b1、目标词a2与词c1，首先将既是同义词且词意距离δ《0.5的词列入候选攻击词表，再将仅属于同义词的词列入候选攻击词表，最后将仅属于词意距离δ《0.5的词列入候选攻击词表。由目标词和候选攻击词表中对应的单词组成替换词对(a1,b1)和(a2,c1)，生成替换词表
[0046]
204根据候选攻击词表的顺序替换单词，生成对抗性样本。
[0047]
具体的，将p
att
中的a1替换为b1，a2替换为c1，返回对抗性样本为p
att
＝[b1,c1,
…
,ak]。
[0048]
本发明实施例进一步给出实现上述方法实施例的应用场景和实施例运行界面示意图。
[0049]
参考图1，为本发明实施例的应用场景示意图。
[0050]
如图1所示，将在没有攻击时，同行评议系统收集所有评议者的文本，并计算其和提交论文的相似度，分配结果为目标论文p
ori
被分配给r1、r2和r3三个诚实的审稿人，在存在攻击时，目标论文的作者和评议者池内的评议者r4和r5合谋，本实施例将其原来的投稿论文通过某某算法改为对抗性文本，分配系统计算对抗性文本和评议者池内包括和在内的所有评议者的相似度后，将其分配给r4和r5，从而达到与审稿人合谋攻击的目的。
[0051]
本实施例提供了一种同行评议场景下的合谋对抗攻击的方法，所述方法包括收集目标文本和参与评议者中的合谋者的文本并进行文本预处理；寻找目标攻击词；构造候选的攻击词表；根据攻击词表的顺序替换单词，生成对抗性样本。本发明通过将目标文本和合谋者文本的近义词进行同义词和近义词替换，在最小程度上对目标文本的语句进行更改，生成在最大限度上不会引发人类察觉的对抗性样本，使得同行评议分配质量降低，提高对抗性样本的成功率，并且降低了算法的时间和复杂度。
[0052]
本发明第二实施例：
[0053]
如图3所示，本实施例提供了一种用于同行评议合谋对抗攻击样本生成装置，包括：
[0054]
原始分配模块301，原始分配模块：用于展示目标文本的同行评议分配结果，该模块接收用户输入的目标文本，根据选择的相似度计算方法和分配方法将同行评议分配结果返回；其中，所述相似度计算方法包括tf-idf、lda和lsi。
[0055]
具体的，首先同行评议系统收集所有评议者的文本，用户输入的数据集为目标文本p
ori
＝[a1,a2,
…
,ak]，诚实评议者的文本r1、r2和r3，合谋评议者的文本r4＝[b1,b2,
…
,bm]和r5＝[c1,c2,
…
,cn]的文本，其中k、m和n为文本长度。通过选择tf-idf、lda或lsi计算提交文本和评议者文本的相似度，计算得到p
ori
和r1、r2和r3的文本相似度最高，故根据最大化全局总和相似度的分配方法，目标文本p
ori
被分配给r1、r2和r3三个诚实的评议者。
[0056]
对抗攻击模块302，对抗攻击模块：用于模拟在目标文本受到对抗攻击时的效果，该模块接收用户输入的攻击参数α和δ，并获取原始分配模块传入的目标文本，根据对抗样本生成算法对目标文本进行扰动以构造对抗性样本，返回对抗性样本；
[0057]
具体的，用户输入合谋者的编号r4、r5，合谋者数量为2，最大词意距离δ《0.5通过将p
ori
中的词a1和a2与r3和r4中的同义词b1、和词意距离δ《0.5的词c1替换为r3和r4的词。对于目标词a1与候选攻击词b1和目标词a2与攻击词c1，首先将既是同义词且词意距离δ《
0.5的词列入候选攻击词表，再将仅属于同义词的词列入候选攻击词表，最后将仅属于词意距离δ《0.5的词列入候选攻击词表，根据攻击词表的顺序替换单词，将p
att
中的a1替换为b1，a2替换为c1，返回对抗性样本为p
att
＝[b1,c1,
…
,ak]。
[0058]
用户输入合谋评议者的编号r4、r5，合谋评议者数量为2，最大词意距离δ《0.5，寻找目标攻击词的方法之一是使用同义词词汇表(如wordnet)来查表获取攻击目标词，其二是基于语义词典计算单词的相似程度找到。通过同义词集找到将p
ori
中的目标词a1与文本r4中的同义词b1，同时找到p
ori
中的目标词a2和文本r5中词意距离δ《0.5的词c1。对于目标词a1与同义词b1、目标词a2与词c1，首先将既是同义词且词意距离δ《0.5的词列入候选攻击词表，再将仅属于同义词的词列入候选攻击词表，最后将仅属于词意距离δ《0.5的词列入候选攻击词表。
[0059]
日志模块303，日志模块，用于获取原始目标样本和对抗性样本，通过文本差异度量算法将其对比，通过对比指标直观展示对抗攻击的效果；
[0060]
具体的，使用平均词移距离和平均句子相似度距离将目标文本和对抗性样本进行对比。平均词移距离(average word mover's distance，awmd)的计算公式如下：
[0061][0062]
平均句子相似度距离(average sentence similarity distance，assd)的计算公式如下：
[0063][0064][0065]
本实施例提供的一种用于同行评议系统合谋对抗攻击样本生成装置，其特征在于，包括：原始分配模块301，原始分配模块：用于展示目标文本的同行评议分配结果，该模块接收用户输入的目标文本，根据选择的相似度计算方法和分配方法将同行评议分配结果返回；其中，所述相似度计算方法包括tf-idf、lda和lsi。对抗攻击模块302，对抗攻击模块：用于模拟在目标文本受到对抗攻击时的效果，该模块接收用户输入的攻击参数α和δ，并获取原始分配模块传入的目标文本，根据对抗样本生成算法对目标文本进行扰动以构造对抗性样本，返回对抗性样本。日志模块303，日志模块，用于获取原始目标样本和对抗性样本，通过文本差异度量算法将其对比，通过对比指标直观展示对抗攻击的效果。
[0066]
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的用于同行评议系统合谋对抗攻击样本生成方法。
[0067]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0068]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，可以为
一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0069]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0070]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
[0071]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。