本发明涉及计算机医疗应用领域，具体涉及一种基于少数类样本合成的朴素贝叶斯数据处理系统及方法。
背景技术：
：物联网医疗诊断系统(miot)旨在通过打造健康档案区域医疗信息平台，利用最先进的物联网技术，实现患者与医务人员、医疗机构、医疗设备之间的互动，逐步达到信息化。近年来，由人工智能、医用机器人和数字化辅助医疗技术等相结合的智能医疗技术，正引领新一轮的医疗变革。智能医疗技术开始贯穿于诊断、手术、护理和康复等医疗的各个环节。在临床诊断过程中，医院一直依赖医务人员来检查乳腺细胞活动。由于医务人员智慧医疗旨在通过打造健康档案区域医疗信息平台，利用最先进的物联网技术，实现患者与医务人员、医疗机构、医疗设备之间的互动，逐步达到信息化。近年来，由人工智能、医用机器人和数字化辅助医疗技术等相结合的智能医疗技术，正引领新一轮的医疗变革。智能医疗技术开始贯穿于诊断、手术、护理和康复等医疗的各个环节。在临床诊断过程中，医院一直依赖心电图作为监测病人心脏电活动的仪器。由于纸张易破碎且热敏纸字迹不稳定、易消退，多数纸质心电图都遭到了不同程度的破坏。尽管研究人员在此研究领域上已经取得了一些成果，但由于传统的数据处理方法并不能很好的解决数据的不平衡性，而且以往的特征筛选方法不是效率低就是处理后的数据识别率低，对后续机器学习的模型建立与训练上有很大的影响，所以部分研究人员尝试引入基于趋势得分法填补样本数据和smote-r-enn数据平衡方法，进一步提高乳腺癌数据诊断预测的性能。现有医疗数据预处理提取和诊断预测模型包含如下几方面缺点：(1)数据的不完整性临床采集的乳腺癌数据往往是不完整的，传统的缺失数据的处理方法是删除个例，也就是说如果一记录某个变量值缺失，就把该记录删除，只保留完全的记录。这种方法以减少样本量来换取信息的完备，丢弃了大量隐藏在含有缺失值对象中的信息，尤其当样本量较小时，该方法可能严重影响到数据的客观性和结果的正确性。(2)数据的高维度现有的特征选择算法依据评价策略主要分为滤波器方法(filter)及嵌入式方法(warpper)，filter与后续学习算法无关，一般直接利用所有训练数据的统计性能评估特征，速度快，但评估与后续学习算法的性能偏差较大。wrapper利用后续学习算法的训练准确率评估特征子集，偏差小，计算量大，不适合大数据集。(3)数据不平衡性现有的smote数据平衡方法，只是在原有的基础上将数据平衡，这样做的结果只会增加数据量，对后续wrapper方法筛选冗余特征这一步骤的时间效率上产生负面的影响。(4)朴素贝叶斯的特征假设独立性缺陷朴素贝叶斯分类方法因其实现简单、处理高效的特点被广泛应用于医疗诊断领域。然而，朴素贝叶斯方法在估计条件概率时，假设数据特征之间是同等重要且条件独立的，该假设在实际情况中很难满足，数据特征之间往往存在着相关性。技术实现要素：为解决上述技术问题，本发明提出了一种基于少数类样本合成的朴素贝叶斯数据处理系统及方法，以达到确保医疗数据的完整性，使对医疗数据的判读更为准确的目的。为达到上述目的，本发明的技术方案如下：一种基于少数类样本合成的朴素贝叶斯数据处理系统，所述系统包括医疗信息数据库、数据预处理模块和数据分析模块，所述医疗信息数据库、数据预处理模块和数据分析模块三者均通过网络设备进行连接，所述医疗信息数据库，用于存储医疗信息数据包；所述数据预处理模块，用于对数据进行空缺值填补；所述数据分析模块包含有：数据平衡压缩模块、wrapper特征选择模块和朴素贝叶斯分析预测模块，所述数据平衡压缩模块，用于对数据进行平滑处理和压缩处理；所述wrapper特征选择模块，用于剔除数据中的冗余特征；所述朴素贝叶斯分析预测模块，用于对数据进行分析预测，所述数据平衡压缩模块、wrapper特征选择模块和朴素贝叶斯分析预测模块之间均通过数据总线进行通信连接。进一步地，所述数据平衡压缩模块是利用趋势得分法对每个缺失变量的所有观测，均生成一个趋势得分，该得分用来估计每个观测在该变量上发生缺失的概率。然后，根据趋势得分，将所有观测分成若干组，对每组观测采用近似贝叶斯自助法进行插补。进一步地，所述数据平衡压缩模块利用少数类样本合成数据平衡法对数据进行平滑和压缩处理。进一步地，所述wrapper特征选择模块利用wrapper特征选择法对数据进行特征提取。进一步地，所述朴素贝叶斯分析预测模块采用朴素贝叶斯算法对数据建模并分析预测。一种基于少数类样本合成的朴素贝叶斯数据处理方法，通过多重插补-趋势得分法对原始医疗数据进行数据填补，对于填补后的医疗数据，通过基于少数类样本合成技术新型朴素贝叶斯算法进行数据分析，将分析后的结果反馈给用户，以便于用户可以准确的了解自己的身体状况，实现智能化识别和管理，所述方法步骤如下：步骤1:采用多重插补-趋势得分法对数据的缺失值进行填补；步骤2:将步骤1处理后的数据，通过少数类样本合成技术进行平滑处理，从而降低数据的大小和不平衡性；步骤3：将经过少数类样本合成技术处理后的数据进行wrapper特征选择，剔除数据的冗余特征；步骤4：对步骤3剔除冗余特征的数据进行朴素贝叶斯方法分析预测，并将分析预测的结果通过设备反馈给医疗机构和用户。进一步地，所述步骤1中的多重插补-趋势得分法对每个缺失变量的所有观测均生成一个趋势得分，该得分用来估计每个观测在该变量上发生缺失的概率，然后，根据趋势得分，将所有观测分成若干组，对每组观测采用近似贝叶斯自助法进行插补，具体步骤如下：步骤1.1：创建一个指示变量ri，其取值为:步骤1.2：以协变量x1、x2、...、xk来估计yi发生缺失的概率pi，并计算趋势得分的值，以该值来衡量各观测中发生缺失的概率大小：pi＝p(ri＝0|x1,x2,…,xk)logit(pi)＝β0+β1x1+β2x2+…+βkxk步骤1.3：根据趋势得分的值，将所有观测分为多组；步骤1.4：对每组观测采用近似贝叶斯自助法进行插补，在第j组中，以yobs表示n1个未发生缺失的观测集，以ymis表示n0个发生缺失的观测集，从yobs中有放回地随机抽取n0个观测值，对进行插补，重复上述过程，直至每个缺失值都插补完成。进一步地，所述步骤2中的少数类样本合成技术目的在于提高wrapper特征选择方法的效率，减小数据集的大小从而提高wrapper特征选择方法的效率，少数类样本合成技术数据重抽样方法主要集成smote和enn两种方法的优点，并设置阀值r，通过对r的调整，选择出最合适的数据抽样点，另外，为了解决朴素贝叶斯假设特征独立性的缺点，对决策不利的特征必须尽可能的减少，具体步骤如下：设训练样本集为t，有m个样本数{xi,yi}，i＝1,2,…,m，xi是n维特征空间x中的一个样本，yi∈y＝{-1,1}，代表xi的样本类别.定义ms为少数类样本，定义为多数类样本的数量，则ms≤ml，ms+ml＝m，设训练样本集为t，对于训练样本集，设定不同的g-mean值，且对r进行初始化；步骤2.1：对少数类中的每一个样本x，以欧几里得距离为标准计算它到少数类样本集中每个样本的距离，计算方法如下：获得其k个最近邻，并记录近邻样本的下标；步骤2.2：根据数据集中不平衡的比率u设置的采样倍率n，对每一个少数类样本x，从其k个最近邻中随机选择合适的个数，假设其中一个为yij，在x与yij之间进行随机线性插值；步骤2.3：应用每一个随机选出的近邻yij，分别与原样本按照如下公式，构造出新的少数类样本。即新样本：pj＝xi+rand(0,1)×(yij-xi)步骤2.4：预先设定一个r(r＞1)初始值且，并根据r值，并对数据集t'，使用enn算法对样本集中的多数类样本进行处理，减少多数类样本的数量，同时删除样本集中的噪声，形成一个新的样本集；步骤2.5：计算新样本集数据不平衡的程度，将步骤2.4处理后样本，以朴素贝叶斯算法为评价准则，根据算法的灵敏度等指标判断数据集的不平衡度，选择最合适的r，直到数据集满足要求，生成新的数据集t”，否则进入步骤2.3；步骤2.6：将处理后数据集t”，使用wrapper特征选择方法，其中评价指标为朴素贝叶斯分类性能，将筛选后的数据集(t”')用于算法的模型训练中；进一步地，所述步骤3中的wrapper方法是搜索策略和机器学习算法相结合，选择出最终的算法达到较高的特征子集，首先假如有p个特征，那么就会有2p种特征组合，每种组合对应了一个模型，所述搜索策略为前向搜索，所述机器学习算法:朴素贝叶斯算法，wrapper特征选择方法具体包括以下步骤：步骤3.1：初始化特征向量f为空即f＝φ；步骤3.2：循环n趟直至达到设定点；fori＝1,...,n；thenfi＝f∪{i},然后利用交叉验证算法计算fi的训练误差，令f等于训练误差最小的fi；步骤3.3：输出最终训练误差最小的特征向量的子集。进一步地，所述步骤4是将步骤3处理后的数据集应用于朴素贝叶斯分类器，其中贝叶斯分类方法基于贝叶斯定理，其关键在于使用概率表示各种形式的不确定性，即通过变换事件的先验概率及后验概率，配合决定分类特性的各属性彼此间是相互独立的假设来预测分类的结果，具体步骤如下：步骤4.1：设数据集t”'用一个n维特征向量来描述n个属性的值，即:a＝{a1,a2,...,an}则给定一个未知的数据集，得到的最有可能的目标值为：vmap＝argmaxp(vj|a1,a2,...,an)其中vj∈v步骤4.2：假设有m个类别，分别用v1,v2,...,vm表示，给定一个未知数据集x(没有类别号)，根据贝叶斯定理得出：由于p(x)对于所有类为常数，因此，最大后验概率p(vi|x)可以转化为最大先验概率p(x|vi)p(vi)；步骤4.3：由于朴素贝叶斯假设各个属性之间相互独立，即：其中先验概率p(xk|vi),k∈1,2,...,n可从训练数据中求得，利用处理好的数据进行决策。本发明具有如下优点：(1).本发明通过多重插补-趋势得分法对数据的缺失值进行填补，提高了数据的精准度。(2).本发明通过少数类样本合成技术进行平滑处理，从而降低数据的大小和不平衡性，使后期的数据分析更为准确。(3).本发明通过朴素贝叶斯方法对医疗数据进行准确的分析预测，提高判断数据的准确性，为医疗数据诊断提供可靠依据。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本发明实施例公开的基于少数类样本合成的朴素贝叶斯数据处理系统功能模块图；图2为本发明实施例公开的基于少数类样本合成的朴素贝叶斯数据处理方法流程图；图3为本发明中少数类样本合成技术数据重抽样的specificityaccuracy指标结果图；图4为本发明中少数类样本合成技术数据重抽样的sensitivityaccuracy指标结果图；图5为本发明中少数类样本合成技术数据重抽样的mcc指标结果图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。本发明提供了一种基于少数类样本合成的朴素贝叶斯数据处理系统及方法，其工作原理是通过对医疗数据进行缺失填补、平滑处理、剔除冗余和准确分析预测，以达到确保医疗数据的完整性，使对医疗数据的判读更为准确的目的。下面结合实施例和具体实施方式对本发明作进一步详细的说明。如图1和图2所示，一种基于少数类样本合成的朴素贝叶斯数据处理系统，所述系统包括医疗信息数据库1、数据预处理模块2和数据分析模块3，所述医疗信息数据库1、数据预处理模块2和数据分析模块3三者均通过网络设备进行连接，所述医疗信息数据库1，用于存储医疗信息数据包；所述数据预处理模块2，用于对数据进行空缺值填补；所述数据分析模块3包含有：数据平衡压缩模块301、wrapper特征选择模块302和朴素贝叶斯分析预测模块303，所述数据平衡压缩模块301，用于对数据进行平滑处理和压缩处理；所述wrapper特征选择模块302，用于剔除数据中的冗余特征；所述朴素贝叶斯分析预测模块303，用于对数据进行分析预测，所述数据平衡压缩模块、wrapper特征选择模块和朴素贝叶斯分析预测模块之间均通过数据总线进行通信连接。其中，所述数据平衡压缩模块301是利用趋势得分法对每个缺失变量的所有观测，均生成一个趋势得分，该得分用来估计每个观测在该变量上发生缺失的概率。然后，根据趋势得分，将所有观测分成若干组，对每组观测采用近似贝叶斯自助法进行插补。其中，所述数据平衡压缩模块301利用少数类样本合成数据平衡法对数据进行平滑和压缩处理。其中，所述wrapper特征选择模块302利用wrapper特征选择法对数据进行特征提取。其中，所述朴素贝叶斯分析预测模块303采用朴素贝叶斯算法对数据建模并分析预测。一种基于少数类样本合成的朴素贝叶斯数据处理方法，通过多重插补-趋势得分法对原始医疗数据进行数据填补，对于填补后的医疗数据，通过基于少数类样本合成技术新型朴素贝叶斯算法进行数据分析，将分析后的结果反馈给用户，以便于用户可以准确的了解自己的身体状况，实现智能化识别和管理，所述方法步骤如下：步骤1:采用多重插补-趋势得分法对数据的缺失值进行填补；步骤2:将步骤1处理后的数据，通过少数类样本合成技术进行平滑处理，从而降低数据的大小和不平衡性；步骤3：将经过少数类样本合成技术处理后的数据进行wrapper特征选择，剔除数据的冗余特征；步骤4：对步骤3剔除冗余特征的数据进行朴素贝叶斯方法分析预测，并将分析预测的结果通过设备反馈给医疗机构和用户。其中，所述步骤1中的多重插补-趋势得分法对每个缺失变量的所有观测均生成一个趋势得分，该得分用来估计每个观测在该变量上发生缺失的概率，然后，根据趋势得分，将所有观测分成若干组，对每组观测采用近似贝叶斯自助法进行插补，具体步骤如下：步骤1.1：创建一个指示变量ri，其取值为:步骤1.2：以协变量x1、x2、...、xk来估计yi发生缺失的概率pi，并计算趋势得分的值，以该值来衡量各观测中发生缺失的概率大小：pi＝p(ri＝0|x1,x2,…,xk)logit(pi)＝β0+β1x1+β2x2+…+βkxk步骤1.3：根据趋势得分的值，将所有观测分为多组；步骤1.4：对每组观测采用近似贝叶斯自助法进行插补，在第j组中，以yobs表示n1个未发生缺失的观测集，以ymis表示n0个发生缺失的观测集，从yobs中有放回地随机抽取n0个观测值，对进行插补，重复上述过程，直至每个缺失值都插补完成。其中，所述步骤2中的少数类样本合成技术目的在于提高wrapper特征选择方法的效率，减小数据集的大小从而提高wrapper特征选择方法的效率，少数类样本合成技术数据重抽样方法主要集成smote和enn两种方法的优点，并设置阀值r，通过对r的调整，选择出最合适的数据抽样点，另外，为了解决朴素贝叶斯假设特征独立性的缺点，对决策不利的特征必须尽可能的减少，具体步骤如下：设训练样本集为t，有m个样本数{xi,yi}，i＝1,2,…,m，xi是n维特征空间x中的一个样本，yi∈y＝{-1,1}，代表xi的样本类别.定义ms为少数类样本，定义为多数类样本的数量，则ms≤ml，ms+ml＝m，设训练样本集为t，对于训练样本集，设定不同的g-mean值，且对r进行初始化；步骤2.1：对少数类中的每一个样本x，以欧几里得距离为标准计算它到少数类样本集中每个样本的距离，计算方法如下：获得其k个最近邻，并记录近邻样本的下标；步骤2.2：根据数据集中不平衡的比率u设置的采样倍率n，对每一个少数类样本x，从其k个最近邻中随机选择合适的个数，假设其中一个为yij，在x与yij之间进行随机线性插值；步骤2.3：应用每一个随机选出的近邻yij，分别与原样本按照如下公式，构造出新的少数类样本。即新样本：pj＝xi+rand(0,1)×(yij-xi)步骤2.4：预先设定一个r(r＞1)初始值且，并根据r值，并对数据集t'，使用enn算法对样本集中的多数类样本进行处理，减少多数类样本的数量，同时删除样本集中的噪声，形成一个新的样本集；步骤2.5：计算新样本集数据不平衡的程度，将步骤2.4处理后样本，以朴素贝叶斯算法为评价准则，根据算法的灵敏度等指标判断数据集的不平衡度，选择最合适的r，直到数据集满足要求，生成新的数据集t”，否则进入步骤2.3；步骤2.6：将处理后数据集t”，使用wrapper特征选择方法，其中评价指标为朴素贝叶斯分类性能，将筛选后的数据集(t”')用于算法的模型训练中；其中，所述步骤3中的wrapper方法是搜索策略和机器学习算法相结合，选择出最终的算法达到较高的特征子集，首先假如有p个特征，那么就会有2p种特征组合，每种组合对应了一个模型，所述搜索策略为前向搜索，所述机器学习算法:朴素贝叶斯算法，wrapper特征选择方法具体包括以下步骤：步骤3.1：初始化特征向量f为空即f＝φ；步骤3.2：循环n趟直至达到设定点；fori＝1,...,n；thenfi＝f∪{i},然后利用交叉验证算法计算fi的训练误差，令f等于训练误差最小的fi；步骤3.3：输出最终训练误差最小的特征向量的子集。其中，所述步骤4是将步骤3处理后的数据集应用于朴素贝叶斯分类器，其中贝叶斯分类方法基于贝叶斯定理，其关键在于使用概率表示各种形式的不确定性，即通过变换事件的先验概率及后验概率，配合决定分类特性的各属性彼此间是相互独立的假设来预测分类的结果，具体步骤如下：步骤4.1：设数据集t”'用一个n维特征向量来描述n个属性的值，即:a＝{a1,a2,...,an}则给定一个未知的数据集，得到的最有可能的目标值为：vmap＝argmaxp(vj|a1,a2,...,an)其中vj∈v步骤4.2：假设有m个类别，分别用v1,v2,...,vm表示，给定一个未知数据集x(没有类别号)，根据贝叶斯定理得出：由于p(x)对于所有类为常数，因此，最大后验概率p(vi|x)可以转化为最大先验概率p(x|vi)p(vi)；步骤4.3：由于朴素贝叶斯假设各个属性之间相互独立，即：其中先验概率p(xk|vi),k∈1,2,...,n可从训练数据中求得，利用处理好的数据进行决策。本发明数据采用uci机器学习标准评测数据集[1]。选择了其中6个数据集进行实验，并选择wdbc数据集作为诊断预测数据，数据集的具体信息如表1所示：datasetsamplesizeattributeclassmagic19020102spambase4601572eight2534722diabetes76882ionosphere351342sonar208602wdbc569302表1采用10层交叉(10-foldcrossvalidation)的方法进行验证，分别记录其accuracy、sensitivityaccuracy、specificityaccuracy以及mcc，最后求得平均值，即可得出分类算法的性能。为了验证本文提出的算法，实验分为三部分。首先，使用smote-r-enn方法对数据集进行重抽样，通过设置不同的r因子，将数据的不平衡性和实例数降低；其次，通过wrapper方法将实验1处理好的数据进行特征筛选；最后，对比本文的算法与几个传统的算法比较，并与近期他人提出的方法进行比较。并将其应用于wdbc医疗数据诊断预测中。少数类样本合成重抽样技术首先对数据集进行smote抽样，增加少数类的样本数，同时降低数据集的不平衡性，具体实验结果如表2所示：表2由表2可知，当设置r为0(仅使用smote方法)时，经过处理后的数据集，数据的灵敏度有了明显的提高，但是特异性普遍降低，因此仅仅经过smote处理并不能从根本上改变数据的不平衡。通过调整r因子，使用enn算法对数据进行多次迭代抽样，选择抽样效果最佳的迭代因子r，为了验证抽样后的数据是否还具有其原有特征，在这里我们使用朴素贝叶斯算法的分类性能作为评价指标。根据灵敏度、特异性以及mcc选择最合适的r因子，经过抽样后的三种指标结果如下图3-图5所示。图3-5显示了6个uci数据集经过少数类样本合成技术(r≠0)方法重抽样后三种不同评价指标的结果，通常随着r因子的增大，mcc趋于平稳，表明数据已经趋近平衡，根据不平衡数据的少数类更为重要的原则，本文选择将少数类的准确率作为主要指标，根据三种指标的综合结果，得出选择最为合适的r因子，例如diabetes数据集，当r为6时，即可得到最优结果。另外，原始数据集与经过少数类样本合成技术(r≠0)处理后的对比如表3所示：表3由表3所知，经少数类样本合成技术(r≠0)算法处理后，可以得出如下结论：经过处理后的数据集的mcc都有明显的提高，特别是对于eight，diabetes和sonar数据集，有效的解决了数据集的不平衡性。朴素贝叶斯算法模型构建的时间相对缩短，预测精度也有所提高，通过少数类样本合成技术(r≠0)算法处理后的数据不仅提高了朴素贝叶斯的性能，而且对后续wrapper特征选择方法工作效率也有极大的改善。以上所述的仅是本发明所公开的一种基于少数类样本合成的朴素贝叶斯数据处理系统及方法的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。当前第1页12