一种智能识别不当文本交互的方法、装置和电子设备与流程

本发明属于教育领域，特别适用于线上教育领域，更具体的是涉及一种智能识别不当文本交互的方法、装置和电子设备。

背景技术：

随着互联网络的发展，越来越多的网络课程涌现，老师通过网络授课或在线课堂来传授知识成为了重要的学习方式。

然而，在现有的一部分在线教育系统中，在具体课程学习过程中，通常存在老师与学员的交互过程。但是，从大量现有交互文本数据中，发现老师与学员的交互文本数据中存在一些不当交互文本，并且这种不当交互文本对老师或学员甚至在线教育平台造成了很严重的不良影响。此外，这种不当交互文本的数据量比较小，由此与这种不当交互文本相关的正、负样本显著不均匀的问题，导致难以更精确地识别所述不当交互文本。因此，如何更及时、更有效地识别上述这种不当交互文本是非常值得去研究的问题。

因此，有必要提供一种智能识别不当文本交互的方法，以解决上述问题。

技术实现要素：

(一)要解决的技术问题

本发明旨在解决在线课程应用场中正样本和负样本的分布显著不均匀，不能及时、有效识别老师和学员的不当交互文本，以及难以标注充分等问题。

(二)技术方案

为解决上述技术问题，本发明的一方面提出一种智能识别不当文本交互的方法，其用于识别交互数据中的不当文本交互，所述方法包括如下步骤：设定关键词集，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互；使用所述关键词集，在语料库中进行检索，筛选初始样本，该初始样本包括初始正样本和初始负样本；利用所述初始样本，建立训练数据集，该训练数据集包括历史老师的交互文本向量和历史表现评分；构建初始目标识别模型，使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样，以得到最终目标识别模型；获取当前老师与学员的交互文本的数据，得到交互文本向量，并使用所述最终目标识别模型，计算所述当前交互文本的不当程度预测值；基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本。

根据本发明的优选实施方式，所述使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样包括：使用初始样本对所述初始目标识别模型进行第一轮训练；利用该第一轮训练好的目标识别模型，对所有初始样本进行计算，并根据计算结果进行排序，以计算下一轮的采样数量。

根据本发明的优选实施方式，从第二轮模型训练起，分别计算采样数量和标注数量，以更新每一轮的所述初始样本中的正样本的数量，直到评估指标等于特定阈值或者在特定范围内，所述正样本为老师和学员的交互文本中包含不当交互文本且不当程度大于特定值的样本，所述负样本为老师和学员的交互文本中未包含不当交互文本的样本。

根据本发明的优选实施方式，包括：所述评估指标包括准确率和/或召回率。

根据本发明的优选实施方式，还包括：根据所计算的采样数量，确定采样的分层数量，对所有初始样本进行分层，并按照标注数量逐层标注；分别计算每一层样本标注后的准确率和召回率。

根据本发明的优选实施方式，所述获取当前老师与学员的交互文本的数据，得到交互文本向量包括：根据所述关键词集，使用tf-idf方法，对所获取的当前老师与学员的交互文本的数据进行过滤筛选，以得到包含非正常表现词的相关文本数据；对所得到的相关文本数据进行分词，并进行向量转换，以得到不当交互文本的向量。

根据本发明的优选实施方式，还包括：使用线上的老师与学员的文本交互数据，建立测试数据集，对所述最终目标识别模型进行测试，计算测试数据集的实际准确率、实际召回率；使用初始样本，建立验证数据集，对所述最终目标识别模型进行验证，计算验证数据集的验证准确率、验证召回率；将所述实际准确率、所述实际召回率分别与所述验证准确率、所述验证召回率进行比较，以判断是否一致。

根据本发明的优选实施方式，所述基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本包括：预设识别阈值；将所计算的预测值与所述识别阈值进行比较，以判断所述当前老师与学员的文本交互是否属于不当交互文本。

本发明第二方面提出一种智能识别不当文本交互的装置，其用于识别交互数据中的不当文本交互，所述装置包括：设定模块，用于设定关键词集，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互；筛选模块，用于使用所述关键词集，在语料库中进行检索，筛选初始样本，该初始样本包括初始正样本和初始负样本；建立模块，用于利用所述初始样本，建立训练数据集，该训练数据集包括历史老师的交互文本向量和历史表现评分；模型构建模块，用于构建初始目标识别模型，使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样，以得到最终目标识别模型；计算模块，用于获取当前老师与学员的交互文本的数据，得到交互文本向量，并使用所述最终目标识别模型，计算所述当前交互文本的不当程度预测值；判断模块，用于基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本。

根据本发明的优选实施方式，还包括处理模块，所述处理模块用于使用初始样本对所述初始目标识别模型进行第一轮训练；利用该第一轮训练好的目标识别模型，对所有初始样本进行计算，并根据计算结果进行排序，以计算下一轮的采样数量。

根据本发明的优选实施方式，还包括：从第二轮模型训练起，分别计算采样数量和标注数量，以更新每一轮的所述初始样本中的正样本的数量，直到评估指标等于特定阈值或者在特定范围内，所述正样本为老师和学员的交互文本中包含不当交互文本且不当程度大于特定值的样本，所述负样本为老师和学员的交互文本中未包含不当交互文本的样本。

根据本发明的优选实施方式，包括：所述评估指标包括准确率和/或召回率。

根据本发明的优选实施方式，还包括：根据所计算的采样数量，确定采样的分层数量，对所有初始样本进行分层，并按照标注数量逐层标注；分别计算每一层样本标注后的准确率和召回率。

根据本发明的优选实施方式，所述筛选模块还包括：根据所述关键词集，使用tf-idf方法，对所获取的当前老师与学员的交互文本的数据进行过滤筛选，以得到包含非正常表现词的相关文本数据；对所得到的相关文本数据进行分词，并进行向量转换，以得到不当交互文本的向量。

根据本发明的优选实施方式，还包括比较模块，所述比较模块用于比较平价指标以进行判断，其中，使用线上的老师与学员的文本交互数据，建立测试数据集，对所述最终目标识别模型进行测试，计算测试数据集的实际准确率、实际召回率；使用初始样本，建立验证数据集，对所述最终目标识别模型进行验证，计算验证数据集的验证准确率、验证召回率；将所述实际准确率、所述实际召回率分别与所述验证准确率、所述验证召回率进行比较，以判断是否一致。

根据本发明的优选实施方式，还包括：预设识别阈值；将所计算的预测值与所述识别阈值进行比较，以判断所述当前老师与学员的文本交互是否属于不当交互文本。

本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的智能识别不当文本交互的方法。

本发明第四方面提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的智能识别不当文本交互的方法。

(三)有益效果

与现有技术相比，本发明通过多轮训练、多次标注，有效实现正样本数量的富集，从而能够解决正、负样本分布显著不均匀的问题，还能够得到精度更高的目标识别模型；通过建立测试数据集和验证数据集，分别计算评估指标，以用于调整各分层的标注数量或采样数量，以进一步地优化正样本的采样过程，并进一步提高模型精度；通过使用上述模型识别的方法，能够更有效、更及时地识别不当交互文本数据，并能够实现更充分、更合理的标注样本数据，还能够有效实现少量样本的富集。

附图说明

图1是本发明的实施例1的智能识别不当文本交互的方法的一示例的流程图；

图2是本发明的实施例1的智能识别不当文本交互的方法的另一示例的流程图；

图3是本发明的实施例1的智能识别不当文本交互的方法的又一示例的流程图；

图4是本发明的实施例2的智能识别不当文本交互的装置的一示例的示意图；

图5是本发明的实施例2的智能识别不当文本交互的装置的另一示例的示意图；

图6是本发明的实施例2的智能识别不当文本交互的装置的又一示例的示意图；

图7是本发明的一个实施例的电子设备的结构示意图；

图8是本发明的一个实施例的计算机可读记录介质的示意图。

具体实施方式

在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。

附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。

附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。

各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。

为了解决在线课程应用场中正样本和负样本的分布显著不均匀的问题，并能够更及时、更有效识别老师和学员的不当交互文本，本发明提出一种智能识别不当文本交互的方法，该方法通过对正样本进行多次采样，进行多轮训练，得到最终目标识别模型，并使用最终目标识别模型，计算当前老师与学员的交互文本的不当程度预测值，以判断是否属于不当交互文本。由此，本发明通过多轮训练、多次标注，能够有效实现正样本数量的富集，从而能够解决正、负样本分布显著不均匀的问题，还能够得到精度更高的目标识别模型；通过使用上述模型识别的方法，能够更有效、更及时地识别不当交互文本数据，并能够实现更充分、更合理的标注样本数据，还能够有效实现少量样本的富集。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。

附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。

附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。

各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。

图1是是本发明的实施例1的智能识别不当文本交互的方法的一示例的流程图。

如图1所示，本发明提供了一种智能识别不当文本交互的方法，其用于识别交互数据中的不当文本交互，所述方法包括如下步骤：

步骤s101，设定关键词集，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互。

步骤s102，使用所述关键词集，在语料库中进行检索，筛选初始样本，该初始样本包括初始正样本和初始负样本。

步骤s103，利用所述初始样本，建立训练数据集，该训练数据集包括历史老师的交互文本向量和历史表现评分。

步骤s104，构建初始目标识别模型，使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样，以得到最终目标识别模型。

步骤s105，获取当前老师与学员的交互文本的数据，得到交互文本向量，并使用所述最终目标识别模型，计算所述当前交互文本的不当程度预测值。

步骤s106，基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本。

需要说明的是，在本发明中，不当文本交互是指任何与当前交互场景不匹配的文本交互。具体地，所述交互场景包括各类型课程应用场景，例如线上学习时老师与学员的交互、问答交互等。所述不当文本交互包括使用不文明用语、包含与课程无关的隐私或个人信息的词语、暧昧词语等的文本。

首先，在步骤s101中，设定关键词集，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互。

具体地，获取与不同类型课程相关的老师与学员的历史交互数据，建立预料库。

进一步地，从所获取的历史交互数据中不当交互数据进行关键词提取，以得到关键词集。

优选地，还包括提取规则，该提取规则包括设定特征类别、计算向量相似度。

例如，根据特征类别提取各类特征与课程(或者学习)无关的特征词、不文明特征词或其他特征词等。再例如，根据所提取的特征词，扩展同义词或替换词等，再根据所扩展的同义词或替换词进行二次提取。

进一步地，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互。

具体地，所述关键词集包括第一类词集、第二类词集和第三类词集，其中，第一类词集为包含不文明用语的词或词组，例如带有侮辱、诽谤、挑衅的词语；第二类词集为包含与课程(或者学习)无关的词或词组，例如与课程无关的交互中的过度聊天、隐私数据等；第三类词集包括脱离正常师生关系的交互聊天中所使用的暖昧词语等等。

需要说明的是，对于词集类型的数量的定义没有特别的限制，在其他示例中，还可以包括四类或者更多类词集，或者仅包括第一类词集和第二类词集两类词集且所限定的含义与上述示例不同。此外，所述的老师和学员的交互数据包括线上或线下课程交互数据、线上或线下问答交互数据、社交工具的交互数据等等。上述仅作为优选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤s102中，使用所述关键词集，在语料库中进行检索，筛选初始样本，该初始样本包括初始正样本和初始负样本。

具体地，使用所述关键词集，从语料库中筛选初始样本，初始样本包括初始正样本和初始负样本。

例如，在线教育应用场景中，正样本为老师和学员的交互文本中包含不当交互文本且不当程度大于特定值的样本，负样本为老师和学员的交互文本中未包含不当交互文本的样本。

在本示例中，根据课程类型、老师评分、交互时间、不当文本内容等多个因素指标，确定所述特定值，但是不限于此，在其他示例中，还可以根据其他方法进行确定。

需要说明的是，在该示例中，正样本的数量明显小于负样本的数量，换言之，包含不当交互文本且大于特定值的样本是少量样本，即正样本和负样本的分布存在显著不均匀的问题。此外，对于老师评分，例如可以使用机器模型进行计算。

由此，为了解决正样本和负样本的分布显著不均匀的问题，以下将结合具体步骤进行说明。

接下来，在步骤s103中，利用所述初始样本，建立训练数据集，该训练数据集包括历史老师的交互文本向量和历史表现评分。

优选地，根据所述关键词集，使用tf-idf方法，对所获取的当前老师与学员的交互文本的数据进行过滤筛选，以得到包含非正常表现词的相关文本数据。

在本示例中，对所得到的相关文本数据中的每一个文本段或句子进行分词，使用n-gram判断每一个文本段或句子是否包含非正常表现词(在本示例中，为单个词、词对或特定长度的短句)。

优选地，计算使用不同分词方式的各文本段或句子在语料中的概率，以确定最佳的分词方式。

例如，一个句子为“你想不想出来吃饭？”，使用例如uni-gram、bi-gram或tri-gram等方式进行分词，对不同的分别计算各词和句子在预料库中的概率，以确定最佳的分词方式。

进一步地，对各词以及文本段或句子进行向量转换，以得到各词向量和句向量。

更进一步地，将各词向量或句向量作为不当交互文本的向量，并用作模型的输入特征。

需要说明的是，上述仅作为优先示例，进行说明，不能理解成对本发明的限制。

接下来，在步骤s104中，构建初始目标识别模型，使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样，以得到最终目标识别模型。

优选地，使用svm算法，构建初始目标识别模型。

需要说明的是，上述仅作为优选示例进行说明不能理解成对本发明的限制。在其他示例中，还可以使用感知机模型或逻辑回归的等，构建初始目标识别模型。

具体地，使用初始样本对所述初始目标识别模型进行第一轮训练；利用该第一轮训练好的目标识别模型，对所有初始样本进行计算，并根据计算结果进行排序，以计算下一轮的采样数量。

需要说明的是，在本示例中，是对正样本进行采样。但是不限于此，在其他示例中，可以是对负样本进行采样。

如图2所示，还包括计算采样数量的步骤s201。

在步骤s201中，计算采样数量，以确定各轮的采样数量。

具体地，使用初始样本对所述初始目标识别模型进行第一轮训练，并使用第一轮训练后的分类器，重新计算初始样本中的各样本，并将所计算的输出值进行排序。

在本示例中，从第二轮模型训练起，分别计算采样数量和标注数量。

具体地，在完成第一轮模型训练起，根据预设阈值，将该预设阈值与所计算的输出值进行比较，以确定待标注样本的标注数量，计算各分段的标注数量，还确定下一轮的采样数量。

进一步地，在完成第二轮模型训练后，依次重复计算下一轮待标注样本的标注数量，计算各分段(或分层)的标注数量，还确定下一轮的采样数量，并更新每一轮的所述初始样本中的正样本的数量，直到评估指标等于特定阈值或者在特定范围内。

优选地，所述评估指标包括准确率和/或召回率。

在另一示例中，还包括根据所计算的采样数量，确定采样的分段(或分层)数量的步骤s301。

在步骤s301中，根据所计算的采样数量，确定采样的分段(或分层)数量。

进一步地，根据所确定的确定采样的分段(或分层)数量，对所有初始样本进行分层，并按照标注数量逐层标注，还分别计算每一层样本标注后的准确率和召回率。

由此，经过与该多轮训练相对应的多次采样，得到最终目标识别模型。因此，能够通过多轮训练、多次标注，有效实现正样本数量的富集，从而能够解决正、负样本分布显著不均匀的问题，还能够得到精度更高的目标识别模型。

需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤s105中，获取当前老师与学员的交互文本的数据，得到交互文本向量，并使用所述最终目标识别模型，计算所述当前交互文本的不当程度预测值。

具体地，获取待识别的当前老师与学员的文本交互数据。

进一步地，对所述当前老师与学员的文本交互数据进行预处理，并使用关键词集进行文本段或句子筛选，并进行分词处理。

在本示例中，使用与步骤s103中的向量转换方法相同的方法，进行向量转换，以得到交互文本的向量，并用作模型的输入特征。

进一步地，使用训练好的最终目标识别模型，计算当前交互文本的不当程度预测值。

需要说明的是，在该步骤中的分词方法、向量转换方法与步骤s103中分词方法、向量转换方法相同，因此省略了对其的描述。

接下来，在步骤s106中，基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本。

优选地，预设识别阈值，以用于判断是否属于不当交互文本。

具体地，将所计算的预测值与所述识别阈值进行比较，以判断所述当前老师与学员的文本交互是否属于不当交互文本。

一方面，在所计算的预测值大于所述识别阈值的情况下，则判断所述当前老师与学员的文本交互属于不当交互文本。

另一方面，在所计算的预测值小于等于所述识别阈值的情况下，则判断所述当前老师与学员的文本交互不属于不当交互文本。

在又一示例中，还包括：使用线上的老师与学员的文本交互数据，建立测试数据集，对所述最终目标识别模型进行测试，计算测试数据集的实际准确率、实际召回率。

优选地，使用初始样本，建立验证数据集，对所述最终目标识别模型进行验证，计算验证数据集的验证准确率、验证召回率。

进一步地，将所述实际准确率、所述实际召回率分别与所述验证准确率、所述验证召回率进行比较，以判断是否一致。

更进一步地，根据判断结果，调整各分层的标注数量或采样数量，以进一步地优化正样本的采样过程，并进一步提高模型精度。

由此，通过使用上述模型识别的方法，能够更有效、更及时地识别不当交互文本数据，并能够实现更充分、更合理的标注样本数据，还能够有效实现少量样本的富集。

需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。

与现有技术相比，本发明通过多轮训练、多次标注，能够有效实现正样本数量的富集，从而能够解决正、负样本分布显著不均匀的问题，还能够得到精度更高的目标识别模型；通过建立测试数据集和验证数据集，分别计算评估指标，以用于调整各分层的标注数量或采样数量，以进一步地优化正样本的采样过程，并进一步提高模型精度；通过使用上述模型识别的方法，能够更有效、更及时地识别不当交互文本数据，并能够实现更充分、更合理的标注样本数据，还能够有效实现少量样本的富集。

实施例2

下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。

参照图4至图6，将说明本发明的实施例2的智能识别不当文本交互的装置400。

根据本发明的第二方面，本发明还提供了一种智能识别不当文本交互的装置400，所述装置400包括：设定模块401，用于设定关键词集，所述关键词集包括多个非正常表现词，该非正常表现词用于表示老师和学员的不当交互；筛选模块402，用于使用所述关键词集，在语料库中进行检索，筛选初始样本，该初始样本包括初始正样本和初始负样本；建立模块403，用于利用所述初始样本，建立训练数据集，该训练数据集包括历史老师的交互文本向量和历史表现评分；模型构建模块404，用于构建初始目标识别模型，使用所述训练数据集对所述初始目标识别模型进行多轮训练，并进行与该多轮训练相对应的多次采样，以得到最终目标识别模型；计算模块405，用于获取当前老师与学员的交互文本的数据，得到交互文本向量，并使用所述最终目标识别模型，计算所述当前交互文本的不当程度预测值；判断模块406，用于基于所计算的预测值，判断所述当前老师与学员的文本交互是否属于不当交互文本。

如图5所示，还包括处理模块501，所述处理模块501用于使用初始样本对所述初始目标识别模型进行第一轮训练；利用该第一轮训练好的目标识别模型，对所有初始样本进行计算，并根据计算结果进行排序，以计算下一轮的采样数量。

优选地，还包括：从第二轮模型训练起，分别计算采样数量和标注数量，以更新每一轮的所述初始样本中的正样本的数量，直到评估指标等于特定阈值或者在特定范围内，所述正样本为老师和学员的交互文本中包含不当交互文本且不当程度大于特定值的样本，所述负样本为老师和学员的交互文本中未包含不当交互文本的样本。

优选地，包括：所述评估指标包括准确率和/或召回率。

优选地，还包括：根据所计算的采样数量，确定采样的分层数量，对所有初始样本进行分层，并按照标注数量逐层标注；分别计算每一层样本标注后的准确率和召回率。

优选地，所述筛选模块402还包括：根据所述关键词集，使用tf-idf方法，对所获取的当前老师与学员的交互文本的数据进行过滤筛选，以得到包含非正常表现词的相关文本数据；对所得到的相关文本数据进行分词，并进行向量转换，以得到不当交互文本的向量。

如图6所示，还包括比较模块601，所述比较模块601用于比较平价指标以进行判断，其中，使用线上的老师与学员的文本交互数据，建立测试数据集，对所述最终目标识别模型进行测试，计算测试数据集的实际准确率、实际召回率；使用初始样本，建立验证数据集，对所述最终目标识别模型进行验证，计算验证数据集的验证准确率、验证召回率；将所述实际准确率、所述实际召回率分别与所述验证准确率、所述验证召回率进行比较，以判断是否一致。

优选地，还包括：预设识别阈值；将所计算的预测值与所述识别阈值进行比较，以判断所述当前老师与学员的文本交互是否属于不当交互文本。

与现有技术相比，本发明通过多轮训练、多次标注，能够有效实现正样本数量的富集，从而能够解决正、负样本分布显著不均匀的问题，还能够得到精度更高的目标识别模型；通过建立测试数据集和验证数据集，分别计算评估指标，以用于调整各分层的标注数量或采样数量，以进一步地优化正样本的采样过程，并进一步提高模型精度；通过使用上述模型识别的方法，能够更有效、更及时地识别不当交互文本数据，并能够实现更充分、更合理的标注样本数据，还能够有效实现少量样本的富集。

实施例3

下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。

图7是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行图1的方法。

如图7所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(rom)。

可选的，该实施例中，电子设备还包括有i/o接口，其用于电子设备与外部的设备进行数据交换。i/o接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图7显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

图8是本发明的一个实施例的计算机可读记录介质的示意图。如图8所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是cd-rom，u盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。