调研样本判断方法及系统、灰名单生成方法及系统与流程

本公开涉及数据处理技术领域，具体而言，涉及一种调研样本判断方法、调研样本判断系统、灰名单生成方法以及灰名单生成系统。

背景技术：

随着移动互联网的普及，大数据在产品的发展中扮演着越来越重要的角色。通过选定目标人群并提前利用在线调研的方式进行产品调研，这对提高产品的各方面价值起到了非常大的作用。在线调研目前被频繁地利用在新产品定位(推出新产品，进入新市场)、品牌曝光(提升销量与复购率)、市场洞悉(洞悉市场先机、了解消费倾向、购物行为与态度)、满意度反馈(获取售后反馈，提升用户满意度)等方面。

在大数据时代，如何在繁多的样本中寻找到有价值的样本数据对提高调研质量尤为重要。目前，为了提高调研问卷的回收率和吸引力，发布调查问卷的平台通常会给予问卷答题者一定的奖励(如，现金奖励、平台优惠券、各种平台的电子现金奖励等)。然而，在线调研对问卷答题者仅设置有较小的安全防御，当遇到较大奖励的问卷时，黄牛答题者会频繁且低质量地回答问卷，这将导致发布调查问卷的平台无法按预期回收有效的答题样本，另外，也可能会使用户丧失对发布调查问卷的平台的信任感。

目前，通常以在调研问卷中加入陷阱题的方式解决调研样本质量低的问题。陷阱题可以为常识题目，当问卷答题者答错时，问卷答题者所作出的答题样本将被视为无效样本，并且不会发放问卷奖励。然而，这种加入陷阱题的方式形式单一，并且具有一定的规律性，容易被黄牛答题者识别，这导致有效样本的问卷答题者不能按预期获得应有的奖励。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于提供一种调研样本判断方法及系统、灰名单生成方法及系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种调研样本判断方法，包括：

接收一调研样本，并对所述调研样本中的每个题目的解答内容进行分词处理；

对所述分词处理得到的词语进行情感倾向分析，并根据所述情感倾向分析的结果标注具有情感倾向的词语，以得到标注词语；

根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值；

配置每个所述题目的加权系数，根据每个所述题目的加权系数以及对应的解答内容的情感倾向值获得所述调研样本的情感倾向值；以及

判断所述调研样本的情感倾向值是否为一预设值，在所述调研样本的情感倾向值为所述预设值的情况下，所述调研样本为无效样本。

在本公开的一种示例性实施例中，所述根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值包括：

对每个所述题目的解答内容进行分段处理以及分句处理；

判断所述分段处理得到的段落的首尾句是否包含所述标注词语；

在判断出所述分段处理得到的段落的首尾句包含所述标注词语时，结合所述首尾句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值；

在判断出所述分段处理得到的段落的首尾句不包含所述标注词语时，获取所述段落中所有句包含的所述标注词语，并根据所有句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值。

在本公开的一种示例性实施例中，根据所有句包含的所述标注词语确定所述段落的情感倾向值包括：

判断每一句的句式，所述句式的结构包括转折结构和/或递进结构；

在判断出句子的句式为所述转折结构时，结合所述转折结构中的转折部分的所述标注词语确定所述句子的情感倾向值；

在判断出句子的句式为递进结构时，根据所述该句子中所有的所述标注词语确定所述该句子的情感倾向值。

根据本公开的一个方面，提供一种灰名单生成方法，包括：

根据上述任意一项所述的调研样本判断方法获取无效样本；

将所述无效样本的答题者的客户端IP以及答题时间保存至一存储元件；

获取一指定时间内所述存储元件记录的各无效样本的数据；

判断各所述无效样本的数据是否满足一预设无效样本灰名单判断规则；以及

在判断出一所述无效样本的数据满足所述预设无效样本灰名单判断规则的情况下，建立包括所述该无效样本的答题者的客户端IP的无效样本灰名单。

在本公开的一种示例性实施例中，还包括：

在所述无效样本灰名单中，删除存储时长超过一预设更新时间的客户端IP。

根据本公开的一个方面，提供一种调研样本判断方法，包括：

接收一包括陷阱题的解答内容的调研样本，并判断所述陷阱题的解答内容是否正确；

在判断出所述陷阱题的解答内容正确的情况下，判断所述调研样本的答题者的客户端IP是否包括在根据上述任意一项所述的灰名单生成方法生成的无效样本灰名单中；

在判断出所述调研样本的答题者的客户端IP包括在根据上述任意一项所述的灰名单生成方法生成的无效样本灰名单中的情况下，结合上述任意一项所述的调研样本判断方法判断所述该调研样本是否为无效样本；以及

在判断出所述该调研样本不是无效样本的情况下，所述该调研样本为有效样本。

根据本公开的一个方面，提供一种调研样本判断系统，包括：

分词处理单元，用于接收一调研样本，并对所述调研样本中的每个题目的解答内容进行分词处理；

词语情感分析单元，用于对所述分词处理得到的词语进行情感倾向分析，并根据所述情感倾向分析的结果标注具有情感倾向的词语，以得到标注词语；

解答内容情感分析确定单元，用于根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值；

调研样本情感倾向获得单元，用于配置每个所述题目的加权系数，根据每个所述题目的加权系数以及对应的解答内容的情感倾向值获得所述调研样本的情感倾向值；以及

无效样本判断单元，用于判断所述调研样本的情感倾向值是否为一预设值，在所述调研样本的情感倾向值为所述预设值的情况下，所述调研样本为无效样本。

在本公开的一种示例性实施例中，所述根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值包括：

对每个所述题目的解答内容进行分段处理以及分句处理；

判断所述分段处理得到的段落的首尾句是否包含所述标注词语；

在判断出所述分段处理得到的段落的首尾句包含所述标注词语时，结合所述首尾句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值；

在判断出所述分段处理得到的段落的首尾句不包含所述标注词语时，获取所述段落中所有句包含的所述标注词语，并根据所有句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值。

在本公开的一种示例性实施例中，根据所有句包含的所述标注词语确定所述段落的情感倾向值包括：

判断每一句的句式，所述句式的结构包括转折结构和/或递进结构；

在判断出句子的句式为所述转折结构时，结合所述转折结构中的转折部分的所述标注词语确定所述句子的情感倾向值；

在判断出句子的句式为递进结构时，根据所述该句子中所有的所述标注词语确定所述该句子的情感倾向值。

根据本公开的一个方面，提供一种灰名单生成系统，包括：

根据上述任意一项所述的调研样本判断系统；

保存装置，用于将所述无效样本的答题者的客户端IP以及答题时间保存至一存储元件；

获取装置，用于获取一指定时间内所述存储元件记录的各无效样本的数据；

判断装置，用于判断各所述无效样本的数据是否满足一预设无效样本灰名单判断规则；以及

灰名单生成装置，用于在判断出一所述无效样本的数据满足所述预设无效样本灰名单判断规则的情况下，建立包括所述该无效样本的答题者的客户端IP的无效样本灰名单。

在本公开的一种示例性实施例中，还包括：

删除装置，用于在所述无效样本灰名单中，删除存储时长超过一预设更新时间的客户端IP。

根据本公开的一个方面，提供一种调研样本判断系统，包括：

接收模块，用于接收一包括陷阱题的解答内容的调研样本，并判断所述陷阱题的解答内容是否正确；

第一判断模块，用于在判断出所述陷阱题的解答内容正确的情况下，判断所述调研样本的答题者的客户端IP是否包括在根据上述任意一项所述的灰名单生成方法生成的无效样本灰名单中；

第二判断模块，用于在判断出所述调研样本的答题者的客户端IP包括在根据上述任意一项所述的灰名单生成方法生成的无效样本灰名单中的情况下，结合上述任意一项所述的调研样本判断方法判断所述该调研样本是否为无效样本；以及

有效样本判断模块，用于在判断出所述该调研样本不是无效样本的情况下，所述该调研样本为有效样本。

在本公开的一些实施例所提供的技术方案中，通过计算调研样本的情感倾向值判断所述调研样本是否有效，一方面，提高了无效样本的识别率，有助于回收高质量的调研样本；另一方面，通过精确区分无效样本和有效样本，有助于发布调研问卷的平台节省奖励费用；再一方面，提高了发布调研问卷的平台的信任度。此外，通过生成灰名单，有助于快速判断调研样本是否为无效样本，提高了调研样本的判断效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的调研样本判断方法的总体流程图；

图2示意性示出了根据本公开的示例性实施方式的无效调研样本判断方法的流程图；

图3示意性示出了根据本公开的示例性实施方式的无效调研样本判断方法中步骤S14的流程图；

图4示意性示出了根据本公开的示例性实施方式的灰名单生成方法的流程图；

图5示意性示出了根据本公开的示例性实施方式的灰名单更新方法的流程图；

图6示意性示出了根据本公开的示例性实施方式的有效调研样本判断方法的流程图；

图7示意性示出了根据本公开的示例性实施方式的无效调研样本判断系统的方框图；

图8示意性示出了根据本公开的示例性实施方式的灰名单生成系统的方框图；以及

图9示意性示出了根据本公开的示例性实施方式的有效调研样本判断系统的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了本公开的示例性实施方式的调研样本判断方法的总体流程图。

参考图1，所述调研样本判断方法可以包括以下步骤：

S1.发布调研问卷。

根据本公开的一些实施例，调查问卷中可以包含不同类型的题目，例如，调查问卷中的题目可以包括单选题、多选题、打分题、排序题、填空题、矩阵题、图片题中的一种或多种。本示例性实施方式中对此不做特殊限定。

在本公开的示例性实施方式中，可以对调研问卷整体进行标识，例如，可以对每份调查问卷设置问卷关键词，以唯一确定调查问卷。另外，每份调查问卷中可能有多个题目，可以对所述多个题目中的每一个题目进行权重配置，这有利于更精确地对调研样本进行判断。具体的，可以对每个题目配置加权系数，若一题目对应的加权系数越大，则表示该题目在整个调查问卷中越重要。

S3.接收调研样本。

在调研问卷发布之后，答题者可以借助于PC(个人计算机)或移动终端(例如，手机、平板等)通过链接访问或二维码访问的方式进入答题界面，并进行答题。在答题者答题完毕后，系统接收由答题结果构成的调研样本。

S5.判断调研样本是否有效。

在判断出调研样本无效的情况下，执行步骤S7；在判断出调研样本有效的情况下，执行步骤S9。

S7.不发放奖励。

不将奖励发放给该调研样本的答题者。

S9.发放奖励。

将奖励发放给调研样本的答题者。

下面将详细描述根据本公开的示例性实施方式的无效调研样本判断方法。

参考图2，所述无效调研样本判断方法可以包括以下步骤：

S10.接收一调研样本，并对所述调研样本中的每个题目的解答内容进行分词处理；

S12.对所述分词处理得到的词语进行情感倾向分析，并根据所述情感倾向分析的结果标注具有情感倾向的词语，以得到标注词语；

S14.根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值；

S16.配置每个所述题目的加权系数，根据每个所述题目的加权系数以及对应的解答内容的情感倾向值获得所述调研样本的情感倾向值；以及

S18.判断所述调研样本的情感倾向值是否为一预设值，在所述调研样本的情感倾向值为所述预设值的情况下，所述调研样本为无效样本。

通过计算调研样本的情感倾向判断所述调研样本是否为无效样本，提高了无效样本的识别率，有助于回收高质量的调研样本。

在步骤S10中，根据本公开的一些实施例，可以使用分词系统对调研样本中的每个题目的解答内容进行分词处理，例如，当调研样本为中文时，可以使用ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System中科院计算所的中文词语分析系统)对调研样本进行分词处理，然而，采用其他分词系统来进行分词处理同样属于本公开的保护范围，例如，分词系统还可以为HTTPCWS(基于HTTP协议的开源中文分词系统)、SCWS(简易中文分词系统)、盘古分词等。

对每个题目的解答内容进行分词处理的目的在于将对较长的解答内容的分析转换成对词语的分析，而相对于解答内容的分析，对词语的分析简单、准确且易操作。

在步骤S12中，根据本公开的一些实施例，首先，可以判断分词处理得到的词语是否包含在一预设情感词库中，其中，预设情感词库可以包含用于表达情感的情感词语以及与所述情感词语构成映射关系的情感倾向值，例如，预设情感词库中可以存在“喜欢”这个词语，“喜欢”对应的情感倾向值为+1，预设情感词库中还可以存在“不喜欢”这个词语，“不喜欢”对应的情感倾向值为-1。此外，预设情感词库中还可以包括否定词、程度副词等。当然，预设情感词库中还可以包括其他表示情感词语属性的参数，本公开对此不作限定。

接下来，在判断出分词处理得到的词语包含在该预设情感词库中时，可以对该词语进行标注，以得到标注词语。

通过在繁多的词语中筛选出标注词语，并仅由所述标注词语进行下述步骤，有利于简化处理过程。

在步骤S14中，根据步骤S12中得到的标注词语确定调研样本中每个题目的解答内容的情感倾向值。

下面将结合图3对步骤S14进行详细地说明。参考图3，步骤S14可以包括以下子步骤：

S140.对每个所述题目的解答内容进行分段处理以及分句处理。

S142.判断所述分段处理得到的段落的首尾句是否包含所述标注词语。

段落的首尾句往往记录着该段落内容的核心观点，在这种情况下，段落的首尾句可以代表整个段落的情感倾向。由此，在首尾句包含标注词语的情况下，可以不对整个段落进行是否包含标注词语的判断，从而节约了处理资源。

S144.在判断出所述分段处理得到的段落的首尾句包含所述标注词语时，结合所述首尾句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值。

根据本公开的一些实施例，首先，可以将所述首尾句包含的标注词语对应情感倾向值相加，以得到段落的情感倾向值。接下来，将得到的各段落的情感倾向值相加，以得到每个题目的解答内容的情感倾向值。

S146.在判断出所述分段处理得到的段落的首尾句不包含所述标注词语时，获取所述段落中所有句包含的所述标注词语，并根据所有句包含的所述标注词语确定所述段落的情感倾向值，计算出每个所述题目的解答内容的情感倾向值。

根据本公开的一些实施例，对段落中所有句进行情感分析包括判断每一句的句式。可以将句式划分成单句和复句。在句式为单句时，仅分析单句中的标注词语即可。而在句式是复句的情况下，又可以将复句划分成转折结构和递进结构，在本公开的实施例中，对转折结构、递进结构的句式做不同的倾向处理。具体的，对于转折结构的句式，仅根据转折结构中转折部分的标注词语确定该句的情感倾向值，例如，在出现“但是”、“可是”、“然而”等词语时，仅计算这些词后面句子的情感倾向值，以得到该复句的情感倾向值；对于递进结构的句式，根据该句子中所有的标注词语确定该句子的情感倾向值，例如，在出现“并且”、“而且”等词语，将这些词前后句子的情感倾向值相加以得到该复句的情感倾向值。对句式的划分，有助于更准确地确定各段落的情感倾向值。

随后，将各句的情感倾向值相加以得到各段落的情感倾向值，并将各段落的情感倾向值相加以得到每个题目的解答内容的情感倾向值。

在步骤S16中，根据本公开的一些实施例，可以将由步骤S14得到的每个题目的解答内容的情感倾向值与所述每个题目对应的加权系数相乘，并将相乘之后的结果相加，以获得调研样本的情感倾向值。

通过结合加权系数获得调研样本的情感倾向值，避免了由于不重要的解答内容存在较多标注词语而造成调研样本判断错误的情况。

在步骤S18中，可以综合考虑以往调查样本的回收情况、调查问卷的内容确定该预设值。在本公开的实施例中，该预设值可以为0，也就是说，在判断出步骤S16计算出的调研样本的情感倾向值为0时，该调研样本为无效样本，在这种情况下，不给予该调研样本的答题者奖励。此外，本领域技术人员容易理解的是，0仅是示例性的，该预设值可以是其他任意的值。

上面详细描述了无效调研样本的判断方法，接下来，将结合上面的判断结果描述无效灰名单的生成方法。

参考图4，根据本公开的示例性实施方式的灰名单生成方法可以包括以下步骤：

S20.获取无效样本。

可以获取根据上述步骤S10至步骤S18所述的无效调研样本判断方法判断出的无效样本，无效调研样本判断方法的具体步骤不再赘述。

S22.将所述无效样本的答题者的客户端IP以及答题时间保存至一存储元件。

根据本公开的一些实施例，可以将由步骤S20获取的无效样本对应的客户端IP以及答题时间保存至Redis中，然而，还可以将上述信息存储至其他存储元件中，本公开对此不作特殊限定。

容易理解的是，客户端IP与调研问卷的答题者一一对应，以客户端IP作为调研问卷的答题者的标识，避免了灰名单包括有效样本答题者的情况。

S24.获取一指定时间内所述存储元件记录的各无效样本的数据。

根据本公开的一些实施例，该指定时间可以例如是1小时，然而，考虑到调查问卷的具体内容、调查问卷对应的产品的价值等因素，可以将该指定时间设置为除1小时之外的其他时间。

S26.判断各所述无效样本的数据是否满足一预设无效样本灰名单判断规则。

根据本公开的一些实施例，可以将该预设无效样本灰名单判断规则定义为1小时内无效样本对应的答题者IP出现超过10次。然而，本公开不限于此，以时间和答题者IP的次数为基础的判断规则均属于本公开的构思范围。

S28.在判断出一所述无效样本的数据满足所述预设无效样本灰名单判断规则的情况下，建立包括所述该无效样本的答题者的客户端IP的无效样本灰名单。

图5示意性示出了根据本公开的示例性实施方式的灰名单更新方法的流程图。参考图5，所述灰名单更新方法可以包括以下步骤：

S30.获取无效样本灰名单；

S32.判断无效样本灰名单中客户端IP的存储时间是否超过一预设更新时间；以及

S34.在判断出客户端IP的存储时间超过该预设更新时间时，删除该客户端IP。

在所述灰名单更新方法中，可以例如将预设更新时间设定为1小时，针对一客户端IP，当在预设更新时间内，若再次出现该客户端IP，则刷新该客户端IP的存储时间，也就是说，将该客户端IP对应的存储时间设置为零；若未出现该客户端IP，则从无效灰名单中删除该客户端IP，也就是说，在1小时后，若再次出现所述该客户端IP，则会进行调研样本是否无效的判断过程。本实施例中设定的1小时仅是示例，本公开还可以包括除1小时之外的其他时间。

通过灰名单更新方法，保证了有效样本答题者获得奖励的权利，例如，可能由于客户端答题系统的问题(例如，被病毒攻击)，导致该客户端IP被列入灰名单，当在对系统进行修复(例如，查杀病毒)后，答题者仍然可以向平台发送有效样本并接收平台给予的奖励。

图6示意性示出了根据本公开的示例性实施方式的有效调研样本判断方法的流程图。

参考图6，所述有效调研样本判断方法可以包括以下步骤：

S40.接收一包括陷阱题的解答内容的调研样本，并判断所述陷阱题的解答内容是否正确。

设置陷阱题作为目前判断有效调研样本的主要方法，仍然可以排除一些明显的无效调研样本。

S42.在判断出所述陷阱题的解答内容正确的情况下，判断所述调研样本的答题者的客户端IP是否包括在无效样本灰名单中。

无效样本灰名单的生成方法如上述步骤S30、步骤S32以及步骤S34所示，在此不再赘述。

S44.在判断出所述调研样本的答题者的客户端IP包括在无效样本灰名单中的情况下，判断所述该调研样本是否为无效样本。

判断无效样本的步骤可以如图2中的步骤S10至步骤S18所述，在此不再赘述。

S46.在判断出所述该调研样本不是无效样本的情况下，所述该调研样本为有效样本。

在本公开的一些实施例所提供的技术方案中，通过计算调研样本的情感倾向值判断所述调研样本是否有效，一方面，提高了无效样本的识别率，实现高质量的调研样本回收；另一方面，通过精确区分无效样本和有效样本，有助于发布调研问卷的平台节省奖励费用；再一方面，提高了发布调研问卷的平台的信任度。此外，通过生成灰名单，有助于快速判断调研样本是否为无效样本，提高了调研样本的判断效率。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种无效调研样本判断系统。

图7示意性示出了根据本公开的示例性实施方式的无效调研样本判断系统的方框图。

参考图7，根据本公开的示例性实施方式的无效调研样本判断系统1可以包括分词处理单元10、词语情感分析单元12、解答内容情感分析确定单元14、调研样本情感倾向获得单元16以及无效样本判断单元18。其中：

分词处理单元10，可以用于接收一调研样本，并对所述调研样本中的每个题目的解答内容进行分词处理；

词语情感分析单元12，可以用于对所述分词处理得到的词语进行情感倾向分析，并根据所述情感倾向分析的结果标注具有情感倾向的词语，以得到标注词语；

解答内容情感分析确定单元14，可以用于根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值；

调研样本情感倾向获得单元16，可以用于配置每个所述题目的加权系数，根据每个所述题目的加权系数以及对应的解答内容的情感倾向值获得所述调研样本的情感倾向值；以及

无效样本判断单元18，可以用于判断所述调研样本的情感倾向值是否为一预设值，在所述调研样本的情感倾向值为所述预设值的情况下，所述调研样本为无效样本。

根据本公开的示例性实施例，所述根据各所述题目的解答内容包含的所述标注词语确定每个所述题目的解答内容的情感倾向值包括：

对每个所述题目的解答内容进行分段处理以及分句处理；

判断所述分段处理得到的段落的首尾句是否包含所述标注词语；

在判断出所述分段处理得到的段落的首尾句包含所述标注词语时，结合所述首尾句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值；

在判断出所述分段处理得到的段落的首尾句不包含所述标注词语时，获取所述段落中所有句包含的所述标注词语，并根据所有句包含的所述标注词语确定所述段落的情感倾向值，以计算出每个所述题目的解答内容的情感倾向值。

根据本公开的示例性实施例，根据所有句包含的所述标注词语确定所述段落的情感倾向值包括：

判断每一句的句式，所述句式的结构包括转折结构和/或递进结构；

在判断出句子的句式为所述转折结构时，结合所述转折结构中的转折部分的所述标注词语确定所述句子的情感倾向值；

在判断出句子的句式为递进结构时，根据所述该句子中所有的所述标注词语确定所述该句子的情感倾向值。

进一步的，本示例实施方式中还提供了一种灰名单生成系统。

图8示意性示出了根据本公开的示例性实施方式的灰名单生成系统的方框图。

参考图8，所述灰名单生成系统2可以包括无效调研样品判断系统20、保存装置22、获取装置24、判断装置26以及灰名单生成装置28。其中：

无效调研样品判断系统20，可以为上述的无效调研样本判断系统1；

保存装置22，可以用于将所述无效样本的答题者的客户端IP以及答题时间保存至一存储元件；

获取装置24，可以用于获取一指定时间内所述存储元件记录的各无效样本的数据；

判断装置26，可以用于判断各所述无效样本的数据是否满足一预设无效样本灰名单判断规则；以及

灰名单生成装置28，可以用于在判断出一所述无效样本的数据满足所述预设无效样本灰名单判断规则的情况下，建立包括所述该无效样本的答题者的客户端IP的无效样本灰名单。

根据本公开的示例性实施例，灰名单生成系统2还包括一删除装置，可以用于用于在所述无效样本灰名单中，删除存储时长超过一预设更新时间的客户端IP。

进一步的，本示例实施方式中还提供了一种有效调研样本判断系统。

图9示意性示出了根据本公开的示例性实施方式的有效调研样本判断系统的方框图。

参考图9，所述有效调研样本判断系统4可以包括接收模块40、第一判断模块42、第二判断模块44以及有效样本判断模块46。其中：

接收模块40，可以用于接收一包括陷阱题的解答内容的调研样本，并判断所述陷阱题的解答内容是否正确；

第一判断模块42，可以用于在判断出所述陷阱题的解答内容正确的情况下，判断所述调研样本的答题者的客户端IP是否包括在无效样本灰名单中。其中，无效样本灰名单的生成方法可以如上述步骤S30、步骤S32以及步骤S34所示，在此不再赘述；

第二判断模块44，可以用于在判断出所述调研样本的答题者的客户端IP包括在无效样本灰名单中的情况下，判断所述该调研样本是否为无效样本。其中，判断无效样本的步骤可以如图2中的步骤S10至步骤S18所述，在此不再赘述；

有效样本判断模块46，可以用于在判断出所述该调研样本不是无效样本的情况下，所述该调研样本为有效样本。

由于本发明实施方式的程序运行性能分析装置的各个功能模块与上述方法发明实施方式中相同，因此在此不再赘述。

应当注意，尽管在上文详细描述中提及了程序运行性能分析装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。