本发明涉及网络运维及信息处理技术领域，特别是一种基于运维管理的智能工单质检方法。
背景技术：
在网络运维中，因为通信过程中的各种设备故障或者断电等问题会导致网络通信中断，从而产生告警工单。告警工单中包括对故障地点、故障时间、故障原因及处理措施等的详细描述，故障原因的描述是先对故障原因进行分类，再利用故障原因分级描述，最后得到故障原因。员工往往是根据工单中故障原因的描述，并且按照一定的规则给出正确的处理措施。然后质检人员再对工单质量进行检测。工单质量的检测主要是对每条工单中填写的内容是否符合规范或者是否符合逻辑。员工对工单的质量检测主要依靠工单中填写内容的逻辑性以及质检人员的经验来判断。并且因为质检人员有限，所以传统的工单质检采取人工工单抽检策略，这样节省了大量的人力物力。
近几年来，随着电信运营市场竞争的加剧，加速了微利时代的到来，降低运维成本、提升运作效率的要求越来越高，精准化管理、降级成本增加效率、资源优化配置的任务逐渐紧迫。随着移动网络规模的增大，每天产生的工单数量也在成倍增加。如果单靠人工工单质检，不但效率低、漏检率高，更难及时发现在运维过程中出现的问题。工单质检部门只能对部分工单进行质检。从质检的情况上看，合格率几率较高。质检部门对工单的质检规则相对较少，同时质检人员在判断工单中的信息是否符合逻辑时，在庞大的数据中，单单靠观察或者心算，难免会出现误差，导致误判或者是漏检。
从上述工单质检的现状可以看出，目前人工工单质检已经满足不了现在对庞大工单数据的检测了，纵使花费大量的人力来完成，也难保证质检的合格率。因此现有的技术存在一定的问题，具有进一步改进的需求以满足信息社会对信息处理日益增长的要求。
现有技术一
在网络运维中，员工的判断起重要的作用，员工往往是根据故障原因与处理措施的逻辑性来判断工单是否合格。
目前通常处理工单先确定故障原因类别，再通过故障原因类别逐级确定k级故障原因，再通过k级故障原因确定最终故障原因，根据上述故障原因来确定处理措施。所以故障原因与处理措施之间本身是符合逻辑的，但如果回复原因与处理存在矛盾，不符合逻辑，则工单肯定是不合格的。质检人员根据上述规则以及自己长期质检的经验来判断工单是否合格。
现有技术一的缺点：现有技术中虽然已经制定了相关工单质检规则，但是单靠人工来判断，往往会发生错判或者漏判并且效率低下。
现有技术二
申请号cn104112026a专利中，公开了一种短信文本分类方法及系统，包括预先将短信分类过程划分为不同的任务，并将不同的任务分配到流式计算系统的工作节点的不同端口上；提取待分类短信文本的关键词并确定需要更新的类库，对需要更新的类库进行更新，同时计算待分类短信文本的特征向量；根据计算得到的特征向量获取待分类短信文本与不同类库成员的特征向量之间的相似度，并按照获得的相似度确定待分类短信文本的类别。从该发明短信文本分类方案可见，在对短信息文本进行特征预处理后，对类库的更新和对特征向量的计算是利用流式计算系统分别通过工作节点的不同任务端口来并行处理，大大提高了短信文本处理的响应速度，从而提高了对垃圾短信过滤的速度和精确度。
现有技术二的缺点：现有技术是根据待分类文本与不同类库成员的特征向量之间的相似度来判断待分类短信文本的类别。这种方法虽然准确度高，但与所有类别一一比较，浪费时间且增加计算量。
现有技术三
申请号cn101458676a专利中，公开了一种质检确定方法,该方法包括:向神经网络提供工单数据；所述神经网络根据各神经元之间的连接权值对所述工单数据进行分析,获得输出数据,并根据输出数据与期望输出数据的误差调整各神经元之间的连接权值,调整后的连接权值用于下一次的工单数据分析；根据所述神经网络的输出数据确定是否需要对所述工单进行质检。该发明同时公开一种质检系统及神经网络。采用该发明可以获得合理的质检时机和质检点,减少质检环节并改善质检效果。
现有技术三的缺点：现有技术三中只阐述了如何获得合理的质检时机和质检点，但并没有对质检方法进行阐述。现有工单处理技术中很少涉及工单质检的方法。
在网络运维中，通常是根据员工以往经验和主观臆断来判断回复原因与处理措施是否存在矛盾，是否符合逻辑性，通过这种判断来确定工单是否合格。随着移动网络的规模的增大，每天产生的工单数量也在成倍增加。如果仅仅靠人工工单质检，不但效率低，漏检率高，而且有些会发生人工判断错误的情况。在质检过程中，单靠人工来确定工单情况，也会耗费大量的人力。
技术实现要素：
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于运维管理的智能工单质检方法，在大规模复杂网络运维中，通过自动化系统代替原来人工工单质检，提高了质检效率并且降低了漏检率和错检率。并且利用了粗细分类相结合的分类方法以及词向量和语义相似度技术，从而能更好的判断工单是否合格。这种方法会使得工单质检的质检质量更高，也节省了人力。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于运维管理的智能工单质检方法，包括以下步骤：
步骤一、先确定工单中故障原因类别的属性值，故障原因类别中的各个类别属性值的集合称为故障原因类别的属性集合，根据工单中故障原因类别的属性值对工单进行粗分类；
步骤二、在故障原因类别的各个类中根据预设的故障原因与处理措施的逻辑对应关系对经过步骤一粗分类后的工单进行细分类；
步骤三、在经过步骤二分类后的每条工单中进行特征词选择，生成特征词向量；
步骤四、对待分类工单进行预处理，提取等待分类工单中故障原因类别的字段；
步骤五、判断待分类工单提取出的字段是否存在故障原因类别的属性集合中，如果存在则待分类工单属于故障原因类别中的一类，执行步骤八；如果不存在则转到步骤六，进行进一步判断；
步骤六、根据步骤三生成的特征词向量，计算步骤四中提取出的字段与属性集合里各属性值的语义相似度；
步骤七、判断语义相似度是否大于预设的第一阈值；若相似度大于第一阈值，将这个该待分类工单划分到属性值所表示的类，执行步骤八；如果相似度低于第一阈值，则该待分类工单直接视为不合格；
步骤八、判断待分类工单是否存在已知的合格工单样本中：如果匹配到一样的工单，则工单属于合格工单，如果匹配不到相同的工单，则转到步骤九；
步骤九、计算工单类别相似度，确定工单是否合格：当待分类工单与步骤二细化后的工单类别中的某个类别的相似度大于预设的第二阈值，则待分类工单属于这个类别，因此这个工单是合格工单，当某个工单与步骤二细化后的工单类别中所有类别的相似度都小于第二阈值，这个工单是不合格工单。
作为本发明所述的一种基于运维管理的智能工单质检方法进一步优化方案，步骤二中的细分类中：对语义相同的故障原因，规定其中一种故障原因为标准字段，其他语义相同但是不符合标准字段的工单删除。
作为本发明所述的一种基于运维管理的智能工单质检方法进一步优化方案，第一阈值、第二阈值均是按照使分类错误率最小的贪婪最优化原则选出的。
作为本发明所述的一种基于运维管理的智能工单质检方法进一步优化方案，语义相似度通过余弦相似度来计算。
作为本发明所述的一种基于运维管理的智能工单质检方法进一步优化方案，语义相似度通过欧式距离来计算。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)在大规模复杂网络运维中，通过自动化系统代替原来人工工单质检，提高了质检效率并且降低了漏检率和错检率；
(2)本发明利用了词向量和语义相似度来确定工单的类别，从而确定工单是否合格；使用这种方法会使得工单质检的质检质量更高，也节省了人力；
(3)本发明通过粗分类和细分类相结合的分类方法，提高了工单分类过程的效率；
(4)本发明里的工单质检方法解决了现在网络运维中工单质检问题，由原来的单靠人工工单质检改进为现在自动化处理，大大的提升了质检效率，也降低了漏检率和错检率；并且在一些程序无法判定的情况下，通知员工进行处理；降低了人力成本，提高了质检效率。
附图说明
图1是本发明的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
如图1是本发明的流程示意图；具体如下：
第一步，根据工单中故障原因类别属性值进行粗分类；
在根据工单中故障原因类别的属性值分类之前，先确定属性值。属性值是用来定义属性的特定的特征或参数。用属性值来表示每一个类别的特征，属性集合表示故障原因类别的所有类别的属性值的集合。根据工单中故障原因类别的属性值进行粗分类。将合格工单样本集根据属性值分成几大类。
员工从移动通信过程中产生的合格历史工单里确定每个类别的属性值。例如，根据现在的移动通信过程中产生工单的数据，故障原因属性集里的属性值有传输、无线、交换、数据和动环。根据确定的属性值将合格历史工单分为每个属性值所表示的类，这是根据故障原因类别的粗分类，在每个大类中还可以根据故障原因与处理措施再细分。本实施例得到的大类是根据现有的数据来处理得到的，其他数据只需要根据具体情况处理。
第二步，在故障原因类别的各个类中根据故障原因与处理措施的逻辑对应关系进行细分类；
在第一步中，通过故障原因类别将合格的历史工单先分成了故障原因类别的属性集中属性值所代表的几个大类。第二步需要对这些已经分类后的工单进行细分类。在每个大类中，先根据k级故障原因及对应的处理措施过滤出各种类别的工单。即对第一步的粗分类进行进一步细分类。对语义相同的故障原因，规定其中一种为标准字段，即每级故障原因对应确定的属性值，其他语义相同但是不符合标准字段的工单删除。本实施例的数据中只有两级故障原因，一级故障原因和二级故障原因，其他k级故障原因都可以用同一种方法处理。
例如，在故障原因类别为传输这个类中，其中的三条工单。第一条中，故障一级原因是单板故障；故障二级原因是板卡损毁；故障原因是板卡损坏；处理措施是对板卡更换后恢复。第二条，故障一级原因是连接件故障；故障二级原因是法兰盘；故障原因是法兰盘损坏；处理措施是对法兰盘更换后恢复。第三条，故障一级原因是网管故障；故障二级原因是软件故障；故障原因是网管服务器进程出错；处理措施是对服务器重启后恢复。传输这个类中细分为各个小类，上述三条工单就是其中三个小类，工单中故障原因与处理措施存在着逻辑对应关系，所以为合格工单。
第三步，在分类后的每条工单中进行特征词选择，生成特征词向量；
对分类后的每个工单文本进行特征词选择，生成特征词列表。因为此数据工单中能够表现工单类别特征的就是工单的故障一级原因、故障二级原因、故障原因和处理措施，所以将这些特征作为特征词。再利用模型将这些特征词生成特征词向量。通过词向量表示特征词，可以比较两个词的语义相似度。
词向量的基本思想是：通过大量语料库训练，将某种语言中的每个词语映射成一个固定长度的向量，一般而言这个长度远小于该语言词典的大小，通常在几十到几百维。所有这些向量构成了词向量空间，而每一个向量就可以视为该空间中的一个点。在这个空间上引入距离的度量，就可以根据词向量的距离来判断对应词语之间在句法、语义上的相似性。
word2vec由google的tomasmikolov团队提出并实现。该算法能够在较短的时间内，从大规模语料库中学习到高质量的词向量。通过这种方法得到每个词的低纬度向量表达，从而可以方便的计算词与词之间的语义相似度。word2vec包含了两种训练模型，分别是cbow和skip_gram。cbow和skip＿gram模型均包含输入层、投影层和输出层。其中，cbow模型通过上下文来预测当前词，skip＿gram模型则通过当前词来预测其上下文。此实施例使用的是cbow模型，通过上下文词向量，预测当前词。
第四步，对待分类工单进行预处理，提取等待分类工单中故障原因类别的字段；
在第二步和第三步中已经通过粗分类和细分类相结合的方法将合格工单样本集分类，构成分类模型。并且在第三步提取特征词向量用于与待分类工单进行比较。现在就需要将移动通信过程中产生的还没有经过质量检测的工单进行预处理。将等待质检的工单中故障原因类别、故障一级原因、故障二级原因、故障原因和处理措施中的字段提取出来，故障原因类别用于下一步的判断。
例如，从故障原因类别中可能提取的字段是交换、传输、无线、数据、动环及其他不符合填写要求的错误字段。
第五步，判断待分类工单提取出的字段是否存在故障原因类别的属性集合中；
判断待分类工单提取出的字段是否存在故障原因类别的属性集合中。属性集是指故障原因类别中的各个类别属性值的集合。本实施例中根据现有的数据确定的属性集是{传输，无线，交换，数据，动环}。将上一步从待分类工单中提取出的字段与属性集中的属性值比较，如果存在则待分类工单属于故障原因类别中的一类，转至第八步，进行进一步细分。如果不存在则转到第六步，对故障原因类别进行进一步判断。
例如，故障原因类别的属性集合中的属性值有传输、无线、交换、数据、动环，假设现在工单中提取出的故障原因类别的字段是无线。判断无线是否存在故障原因类别属性集合中，有一些不规则字段则不存在属性集合中，就可以字段语义再进一步判断。
第六步，第四步提取出的字段与故障原因类别属性集合里各属性值的语义相似度；
第四步提取的故障原因类别字段不存在属性集合中，但是该字段的语义可能与属性集中的某个属性值一样。所以需要再一次处理，再进行判断。根据属性值的词向量比较语义相似度。得到此工单的属性值与属性集合中各属性值的语义相似度。然后通过第八步进行进一步处理。
语义相似度可以通过余弦相似度来计算。用下式求解余弦值。
其中，a和b分别表示属性集合中的属性值的向量和待分类工单中提取的字段的向量。a和b是两个n维的向量。xi和yi分别表示a和b第i维的权值。求出来的余弦值越接近1，就标明夹角越接近0度，也就是两个向量越相似，夹角等于0，即两个向量相等。
语义相似度还可以通过欧式距离来计算。用下式求解欧式距离
其中，a和b分别表示属性集合中的属性值的向量和待分类工单中提取的字段的向量。a和b是两个n维的向量。xk和yk分别表示a和b第i维的权值。sk表示第k维的方差。距离越大，相似度越小，距离越小，相似度越大。
根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析。本实施例使用的是欧式距离计算语义相似度。
第七步，判断故障原因类别属性值与第四步提取字段的相似度是否大于阈值；
根据第六步中的相似度的计算，属性集合中的五个属性值与提取出的字段的相似度。然后选出五个相似度最大的值，再将这个值与设定的阈值进行比较，相似度大于阈值，则把这个工单划分到属性值所表示的类，根据第八步的操作再进一步判断工单的类别。如果相似度低于这个阈值，则该待分类工单直接视为不合格。
每个相似度阈值都是按照使分类错误率最小的贪婪最优化原则选出的,它实际上也就是对相似度分类阈值的某种逼近。阈值的设置是非常重要，如果值设置高了，会过滤很多合格的工单，设置低了，会包含很多不合格工单。因为相似度范围在0到1之间，所以可以把[0,1]区间划分成一些等分点，这些点可以用来试着划分一下训练集。根据训练集中同类的工单的语义相似度来确定最佳评价分值。有最佳评价分值的成为此次划分的相似度阈值。
第八步，判断待分类工单是否存在经过第二步细分类的类别中；
根据历史工单质检的结果，可以将故障原因类别五个类别中不同类别的合格工单放在五个样本集中，这样可以加快工单的查找速度。通过第五步的判断，可以确定待分类工单属于五类中的哪一类。然后将故障一级原因、故障二级原因、故障原因、处理措施，这四部分加起来形成一个短文本，并与此类的样本集匹配。
如果匹配到一样的工单，则工单属于合格工单，并且故障一级原因、故障二级原因、故障原因、处理措施填写的都是标准字段。如果匹配不到相同的工单，则转到第九步，计算工单-类别相似度。
第九步，计算工单-类别相似度
根据第一步和第二步，已经将合格工单样本集分类完毕。再通过第四步到第八步对待分类工单进行预处理。再在第九步中找出和待分类文本语义一致的类别。将待分类工单中的故障一级原因、故障二级原因、故障原因、处理措施中的字段提取出来。根据这些特征词确定工单的类别。
根据两级故障原因和处理措施的词向量将训练集中的所有工单都用向量表示。并且将待分类工单中提取的故障一级原因、故障二级原因、故障原因、处理措施提取的字段先用词向量表示，再根据这些词向量将工单表示成向量。再利用欧式距离比较工单之间的相似度。
第十步，确定工单是否合格；
根据第九步计算的工单-类别相似度，当待分类工单与某个类别的相似度大于一定的阈值，则待分类工单属于这个类别。因为待分类工单与这个类别的工单达到一定的相似度，则此工单的故障原因与处理措施也存在着逻辑对应关系，满足质检规则，所以这个工单也是合格工单。当某个工单与所有类别的相似度都小于这个阈值，这个工单是不合格工单。
这种情况可能会过滤掉一些合格但是相似值只是略低于阈值的工单。此时系统不好再进行判断，这部分工单可以交由人工来处理。是不能将达不到阈值的工单都交由人工处理，这样又加大了员工的任务量，所以需要对达不到阈值的工单设定一个范围，例如，相似值在小于阈值5％这个范围内的工单打上标签，这种标签的工单交给人工质检。这样就可以更大程度的保证工单质检的错检率，也可以降低人工成本。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。