一种敏感数据自动识别与分类的方法
【专利说明】一种敏感数据自动识别与分类的方法
[0001]
技术领域
[0002]本发明涉及计算机网络中的信息监控技术领域，具体涉及一种敏感数据自动识别与分类的方法。
[0003]
【背景技术】
[0004]数据是企业业务的支撑基础，也是企业信息系统的核心部分，一旦数据库管理系统出现问题，将影响整个企业业务的连续性。对敏感数据的保护方案中，核心部分就是从海量的数据中挑选出敏感数据，完成对敏感数据的识别。
[0005]目前敏感数据的识别主要依赖于字典匹配方法和人工识别的方法。
[0006]字典匹配方法通过人工定义敏感数据的模式匹配式，对数据进行逐一匹配，当发现数据满足模式匹配式时，定义数据为敏感数据。匹配的目标可以是数据元数据，也可以是数据内容。
[0007]人工识别方法主要依赖于风险评估师的个人经验进行和预定义的敏感数据字典。风险评估师通常根据预定义的数据模型，例如数据库设计模型、文件系统组织结构等，根据经验判断模型中哪些定义属于敏感数据，然后在这些敏感数据中，采用数据抽样的形式进行敏感数据的发现与识别。
[0008]业界大多采用字典匹配方法和人工识别方法相结合的方式对敏感数据进行识别，主要过程如下:用户定义敏感数据模式匹配式，根据预定义的模型确定字典匹配范围，然后使用字典匹配对目标进行匹配扫描，在完成扫描后，通过人工对匹配结果过滤，并对模式数据模式匹配式进行优化。
[0009]敏感数据字典匹配方法存在如下缺陷:1、识别精准度低，字典匹配采用的是模式化匹配的方式，因此数据字典的建立决定了敏感数据识别准确度，当字典不完整或者字典建立有误时，会出现识别精度降低的问题；2、分类结果干扰，由于采用字典匹配，因此同一个数据信息会匹配到多个数据字典，由于传统数据字典未能进行加权计算，因此会造成分类结果的干扰，导致分类结果的不准确。
[0010]敏感数据人工识别方法存在如下缺陷:1、识别速度慢，由于采用人工处理的方式，在面对大量数据的时候，人工梳理速度相对机器识别速度周期较长，而且对处理人员的专业素质要求较高；2、评判标准不统一，由于敏感数据识别过程主要依赖与人的主观判断，因此不同的人对相同的数据可能会出现不同的评判标准，甚至同一个人在不同时间所识别的结果仍有不同，这就会导致敏感数据识别结果的差异性。
[0011]本发明就是要实现在数据字典和匹配规则不完整的情况下，仍可以精准、告诉的对敏感数据进行识别，并保证识别和分类结果的一致性。
[0012]
【发明内容】
[0013]本发明克服现有技术存在的不足，所要解决的技术问题为提供一种敏感数据自动识别与分类的方法。
[0014]为了实现上述目的，本发明采用如下技术方案:
一种敏感数据自动识别与分类的方法，包括如下步骤:
步骤一:建立基础数据语料库；
步骤二:敏感特征提取，建立敏感词汇语料库；
步骤三:对分类和识别目标提取敏感特征，与敏感词汇语料库进行匹配，完成敏感数据的自动识别。
[0015]进一步地，在步骤一中，采用分词技术，对训练数据集进行预处理，剔除无意义的词汇，获得词汇集。
[0016]进一步地，分词技术包括英文词汇的Stremming处理，和/或中文词汇的字典法分词处理。
[0017]进一步地，在步骤一中，根据TF-1DF对词汇集进行处理，计算出每个词汇的向量加权值；当一个词在所有训练数据集中出现的频率越高时，这个词的重要性也就越高，表明这个词的向量加权值越高。
[0018]进一步地，在步骤二中，在获得基础数据语料库后，手工对基础数据语料库进行识别和分类，选取其中具有代表意义的，可被标示敏感数据的词汇，形成敏感词汇语料库。
[0019]进一步地，在步骤三中，将目标数据采用分词技术进行分词处理，然后将提取的特征与敏感词汇语料库进行匹配。
[0020]进一步地，在步骤二中，在获得基础数据语料库后，手工对基础数据语料库进行识别和分类，选取其中具有代表意义的，可被标示敏感数据的词汇，形成敏感词汇语料库?’敏感词汇语料库包括常用的敏感词模式匹配穿、敏感词分类和敏感词加权值，其中敏感词加权值参考词汇向量加权值，并由人工进行辅助赋值。
[0021 ] 进一步地，在步骤三中，将目标数据采用分词技术进行分词处理，然后将提取的特征与敏感词汇语料库进行匹配；当匹配命中时记录该敏感词分类和敏感词加权值，当某一类敏感词加权值累加值越高时，该目标数据越倾向这个类别，并按照敏感词加权值累加值由高到低，对分类进行排序。
[0022]进一步地，还包括如下步骤:步骤四:敏感数据识别质量评估。
[0023]进一步地，还包括如下步骤:步骤四:敏感数据识别质量评估；包括对错误分类进行纠正，主要是对敏感词分类进行重新划分或对多个敏感词建立匹配关系和分类，和/或对未能识别的词汇进行敏感词分类补充，进一步扩展敏感词汇语料库的内容。
[0024]本发明弥补了现有的敏感数据识别依赖于字典分类和人工分类的缺陷，通过构建敏感词汇语料库，并对目标数据进行分词处理和计算敏感词加权值的累加值，实现敏感数据分类，从而提高敏感数据识别和分类效率和准确度。
[0025]
【具体实施方式】
[0026]下面介绍敏感数据识别与分类过程:
步骤一:建立基础数据语料库。具体地，包括以下两个步骤:(1)采用分词技术，对训练数据集进行预处理，从中获得词汇集。分词技术主要包括英文词汇的Stremming处理和中文词汇的字典