中文姓名数据的发现与分类方法
【技术领域】
[0001]本发明涉及数据处理技术领域，尤其涉及一种中文姓名数据的发现与分类方法。
【背景技术】
[0002]IT (Informat1n Technology，信息产业)技术日新月异，IT技术的不断发展，各行各业企事业单位的信息化程度也越来越高，因此，信息在一个企业当中越发凸显其重要性。一个企业或者个人的信息价值也随着整个行业的发展而不断提升。也正因为如此，近年来数据泄漏、销售企业数据获利等事件越发频繁。虽然数据的泄漏并不一定会对企业造成直接的经济损失，但是间接损失和影响是巨大的。比如因信息泄漏没有兑现承诺让服务级别下降，导致流失大批量的优质客户，或者需要承担法律责任。
[0003]对于IT安全措施，早期更多是针对网络安全、操作系统安全等措施。而现在，针对信息安全和保障，在国际上已经有很成熟的法律法案，针对数据本身的安全监控、审计、脱敏、保护等技术和产品也在逐渐普及。
[0004]在实际应用中，在一个企业的应用系统中，数据库中的表的数量少的几百张，多的几万张，一张表中的字段数量少则几十多则几百。也就是说，一个企业的应用系统中少则几万个字段，多则上亿个字段，每个字段都是一种数据定义。
[0005]企业的应用系统中的信息非常多，如果将其中的关键信息区别出来专门对待的话，成本和效率将会是个无法控制。梳理企业的应用系统中的关键数据、敏感信息的工作就变得很重要，并且非常艰难。
[0006]因此，开发一种高效率的提取企业的应用系统中的关键数据的方法，是一个亟待解决的问题。
【发明内容】
[0007]本发明的实施例提供了一种中文姓名数据的发现与分类方法，以实现有效地提取数据表中的关键数据。
[0008]为了实现上述目的，本发明采取了如下技术方案
[0009]一种中文姓名数据的发现与分类方法，包括:
[0010]预先设定中文姓名对应的数据分析规则；
[0011]提取数据表中的采样数据；
[0012]按照所述中文姓名对应的数据分析规则，对所述采样数据进行中文姓名数据分析，根据分析结果发现所述采样数据中的中文姓名。
[0013]所述的预先设定中文姓名对应的数据分析规则，包括:
[0014]将所述中文姓名种类的数据划分为姓名、姓氏和名字三个子类，并对姓名、姓氏和名字三个子类分别设置姓名计数器、姓氏计数器和名字计数器，针对所用到的姓氏字典设置一个数组计数器，设定所述姓名、姓氏和名字三个子类分别对应的数据分析规则。
[0015]所述的预先设定中文姓名对应的数据分析规则，还包括:
[0016]构造中文姓名对应的数据字典，该数据字典中存储了中文姓名数据种类中的典型数据。
[0017]所述的提取数据表中的采样数据之前，还包括:
[0018]读取所述数据表所在的数据库的元数据，该元数据包括每个数据表的数据表名、数据中存储的数据的描述信息，以及每个数据表中的每个字段的字段名、数据类型定义、数据长度精度限制信息，根据所述元数据判断出所述数据库中需要进行数据分析的数据表和数据表中需要进行数据分析的字段；
[0019]根据所述数据表中每个字段的字段类型和长度精度，确定需要匹配中文姓名对应的数据分析规则的字段。
[0020]所述的提取数据表中的采样数据，包括:
[0021]设置数据表的采样行数规则为:提取数据表的前N行，从数据表的第N+1行开始提取1%。比率的数据行；当所述数据表中的全部数据记录的行数小于等于所述采样行数阈值N，则提取所述数据表中的全部记录行数的数据作为采样数据；当所述数据表中的数据记录的行数大于所述采样行数阈值，则提取所述数据表中的排列在前列的所述采样行数阈值N的行数，以及排列在所述采样行数阈值的行数后面的全部数据记录的行数的设定比率M%。作为采样数据。
[0022]所述的按照所述中文姓名对应的数据分析规则，对所述采样数据进行中文姓名数据分析，根据分析结果发现所述采样数据中的中文姓名，包括:
[0023]选取所述采样数据中的第一张数据表的第一行数据记录的数据，对所述第一行数据记录的数据进行拆分，得到多个字段的数据，选取第一个字段的数据，当所述第一字段的类型为字符串类型的字段，且长度大于等于2，则按照中文姓名对应的数据分析规则，对所述第一个字段的数据进行中文姓名数据分析，根据分析结果对姓名计数器、姓氏计数器、名字计数器和/或数组计数器的计数值进行统计处理；
[0024]选取第二个字段的数据，按照所述第一个字段的数据的数据分析过程，对所述第二个字段的数据进行数据分析，依次类推，对所述第一行数据记录中的每个字段的数据进行数据分析；
[0025]选取所述采样数据中的第二行数据记录的数据，按照所述第一行数据记录的数据的数据分析过程，对所述第二行数据记录的数据进行数据分析，依次类推，对所述采样数据中的所有数据表中的所有行数据记录的数据进行数据分析；
[0026]根据某个数据表中的某个字段对应的姓名计数器、姓氏计数器、名字计数器和/或数组计数器的计数值，判断所述某个字段的数据类型是否为中文姓名。
[0027]所述的对所述第一个字段的数据进行中文姓名数据分析，根据分析结果对姓名计数器、姓氏计数器、名字计数器和/或数组计数器的计数值进行统计处理，包括:
[0028]当所述第一个字段的数据的最左边的字符匹配姓氏字典中包含的姓氏，并且所述第一个字段的数据中在所述姓氏的右边还有字符，则将姓名对应的计数器的计数值加1，将所述字典姓氏对应的数组计数器的计数值加I，并将所述姓名对应的统计值加I;
[0029]当所述第一个字段的数据的最左边的字符匹配姓氏字典中包含的姓氏，并且所述第一个字段的数据中在所述姓氏的右边没有字符，则将姓氏对应的计数器的计数值加1，将所述字典姓氏对应的数组计数器的计数值加I，并将所述姓氏对应的统计值加I。
[0030]所述的根据某个数据表中的某个字段对应的姓名计数器、姓氏计数器、名字计数器和/或数组计数器的计数值，判断所述某个字段的数据类型是否为中文姓名，包括:
[0031]当所述采样数据中某个字段的数据全部分析完成后，所述姓氏计数器的计数值、所述数组计数器大于进行分析的所述某个字段的数据的总数量的设定比例，并且，统计值大于设定数值的姓氏的数量大于设定的数量阈值，则判定所述某个字段的数据类型为姓氏。
[0032]所述的根据某个数据表中的某个字段对应的姓名计数器、姓氏计数器、名字计数器和/或数组计数器的计数值，判断所述某个字段的数据类型是否为中文姓名，包括:
[0033]当所述采样数据中所述某个字段的数据全部分析完成后，如果姓名计数器的计数值大于进行分析的所述某个字段的数据的总数量的设定比例，统计所有所述某个字段的数据中重复的数据，当重复的数据占所有所述某个字段的数据的比例小于设定的阈值，则判定所述某个字段的数据类型为姓名。
[0034]根据某个数据表