一种带有警报功能的高安全性大数据分析方法与流程

本发明涉及大数据分析领域，尤其涉及一种带有警报功能的高安全性大数据分析方法。

背景技术：

大数据分析是指对规模巨大的数据进行分析，大数据可以概括为5个v，数据量大(volume)、速度快(velocity)、类型多(variety)、价值(value)、真实性(veracity)。

在对于一些体量较为庞大的企业来说，需要用到大数据分析方法对海量数据进行分析处理，然而现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报，影响企业的整体机制运行，久而久之，易影响企业的整体公司架构。

因此，有必要提供一种带有警报功能的高安全性大数据分析方法解决上述技术问题。

技术实现要素：

本发明提供一种带有警报功能的高安全性大数据分析方法，解决了现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报的问题。

为解决上述技术问题，本发明提供的带有警报功能的高安全性大数据分析方法，包括如下步骤：

步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷ic卡分别进入工号验证通道和ic卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；

步骤二、数据处理单元：首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；

步骤三、数据分析单元：通过对处理后的数据进行基本的统计，包括最大值、最小值、均值、标准差等，可以找出数据特征的变化范围与规律，即变量的基线，再对得到的基线进行初步的异常检测，如针对特定的一个用户，检测其从内部服务器上传数据文件的行为，如果某个时段其上传数据文件的频率的数据量与历史时期相比明显增加，那么这个用户可能有恶意盗取数据或者账号被盜的异常；

由于上传的原始数据和经过预处理的数据大部分是无标签数据，无监督分析模块可对无标签数据进行分析，并采用聚类的方法来对统计分析得到的数据特征进行聚类，可以找出数据的多维度基线，由于很多数据从单个维度看不存在异常，而多个维度放在一起分析后，就可能会存在异常，从而聚类分析方法可基于多维度的基线找出数据中的离群点，发现潜在的和未知的数据异常；

采用这些标签化的数据训练异常行为识别分类器，如神经网络间，决策树等，利用训练好的分类器对未知的数据进行检测，可以发现异常的数据，并给出异常的评分，分类器输出的异常数据经过安全管理员确认后，得到真实的告警和误报，真实的告警作为新的规则输入到平台中，且误报作为白名单输入到分类器的训练集，然后迭代的训练分类器，逐步提高分类器的准确性；

步骤四、数据警报单元：分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；

步骤五、数据呈现单元：然后根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3d虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。

优选的，所述在步骤一中证件验证通道输入的身份证编号仅为后六位数字，且身份证编号最后一位x用#代替，且附加本人移动电话号码。

优选的，所述在步骤一中工号验证通道输入的员工工号个数范围介于6-12位，且工号信息包括公司拼音简称、员工入职日期以及员工所处编号。

优选的，所述在步骤二中上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及hr内部系统数据，hr内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围。

优选的，所述在步骤四中三级内网警报模块的判断依据为经济损失低于两千元人民币，二级外网警报模块的判断依据为经济损失范围介于两千元人民币至两万元人民币，且一级平台警报模块的判断依据为经济损失超过两万元人民币及以上。

优选的，所述在步骤四中三级内网警报模块的警报颜色为黄色，二级外网警报模块的警报颜色为橘红色，且一级平台警报模块的警报颜色为深红色。

优选的，所述在步骤五中数据结果显示模块包括显示屏、移动智能手机和pc设备，且数据存储模块包括警报信息日志、安全信息日志、内存管理日志以及误报信息日志。

与相关技术相比较，本发明提供的带有警报功能的高安全性大数据分析方法具有如下有益效果：

本发明提供一种带有警报功能的高安全性大数据分析方法，

1、本发明通过实名认证单元的配合，可对上传数据的用户身份进行严格认证，防止不法分子和竞争对手混入，造成企业机密的泄漏，提高数据上传过程中的安全性，通过数据处理单元，可对上传的数据进行预先处理，通过数据分析单元的配合，可分别利用基础统计分析模块、无监督分析模块以及有监督分析模块三种分析方式对数据进行精准分析，从而避免数据信息出现漏报、错报和误报的情况，通过数据警报单元的配合，可对漏报、错报和误报的数据信息进行等级警报处理，从而增强数据分析方法的整体警报效果，防止使用方不能及时发现错误数据信息，造成较为严重的后果，通过数据呈现单元，便于使用方对警报数据信息进行直观观察，利用使用方总结经验，为后期整改打下基础；

本发明通过身份证编号仅为后六位数字，避免用户身份证编号出现泄漏，引起不必要的纠纷麻烦，通过附加本人移动电话号码，出现紧急情况时，方便及时联系用户，通过员工工号个数范围介于6-12位，防止工号个数过多出现员工输入不便的情况，同时员工也不可对工号进行快速记住，通过上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及hr内部系统数据，hr内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围，扩大上传数据的范围，提高上传数据的整体兼容性，增强数据的丰富性和多向性，通过三级内网警报模块的判断依据为经济损失低于两千元人民币、二级外网警报模块的判断依据为经济损失范围介于两千元人民币至两万元人民币以及一级平台警报模块的判断依据为经济损失超过两万元人民币及以上，便于使用方对过失方根据警报等级做出相应惩罚措施，进一步增强数据的警报效果，通过三级内网警报模块的警报颜色为黄色、二级外网警报模块的警报颜色为橘红色以及一级平台警报模块的警报颜色为深红色，以三种不同颜色代表三种不同等级，便于使用方快速辨别警报信息的严重程度，通过数据结果显示模块包括显示屏、移动智能手机和pc设备，提高警报信息观看的选择性，通过数据存储模块包括警报信息日志、安全信息日志、内存管理日志以及误报信息日志，可对不同类型的警报信息进行存储记录，便于使用方后期对不同类型的警报信息进行快速精准找寻。

附图说明

图1为本发明提供的带有警报功能的高安全性大数据分析方法的一种较佳实施例的方法流程图；

图2为图1所示带有警报功能的高安全性大数据分析方法的系统流程图；

图3为图2所示实名认证单元的系统框图；

图4为图2所示数据处理单元的系统框图；

图5为图2所示数据分析单元的系统框图；

图6为图2所示数据警报单元的系统框图；

图7为图2所示数据呈现单元的系统框图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

请结合参阅图1、图2、图3、图4、图5、图6和图7，其中图1为本发明提供的带有警报功能的高安全性大数据分析方法的一种较佳实施例的方法流程图；图2为图1所示带有警报功能的高安全性大数据分析方法的系统流程图；图3为图2所示实名认证单元的系统框图；图4为图2所示数据处理单元的系统框图；图5为图2所示数据分析单元的系统框图；图6为图2所示数据警报单元的系统框图；图7为图2所示数据呈现单元的系统框图。带有警报功能的高安全性大数据分析方法，包括如下步骤：

步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷ic卡分别进入工号验证通道和ic卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；

步骤二、数据处理单元：首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；

步骤三、数据分析单元：通过对处理后的数据进行基本的统计，包括最大值、最小值、均值、标准差等，可以找出数据特征的变化范围与规律，即变量的基线，再对得到的基线进行初步的异常检测，如针对特定的一个用户，检测其从内部服务器上传数据文件的行为，如果某个时段其上传数据文件的频率的数据量与历史时期相比明显增加，那么这个用户可能有恶意盗取数据或者账号被盜的异常；

由于上传的原始数据和经过预处理的数据大部分是无标签数据，无监督分析模块可对无标签数据进行分析，并采用聚类的方法来对统计分析得到的数据特征进行聚类，可以找出数据的多维度基线，由于很多数据从单个维度看不存在异常，而多个维度放在一起分析后，就可能会存在异常，从而聚类分析方法可基于多维度的基线找出数据中的离群点，发现潜在的和未知的数据异常；

采用这些标签化的数据训练异常行为识别分类器，如神经网络间，决策树等，利用训练好的分类器对未知的数据进行检测，可以发现异常的数据，并给出异常的评分，分类器输出的异常数据经过安全管理员确认后，得到真实的告警和误报，真实的告警作为新的规则输入到平台中，且误报作为白名单输入到分类器的训练集，然后迭代的训练分类器，逐步提高分类器的准确性；

步骤四、数据警报单元：分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；

步骤五、数据呈现单元：然后根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3d虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。

所述在步骤一中证件验证通道输入的身份证编号仅为后六位数字，且身份证编号最后一位x用#代替，避免用户身份证编号出现泄漏，引起不必要的纠纷麻烦，且附加本人移动电话号码，出现紧急情况时，方便及时联系用户。

所述在步骤一中工号验证通道输入的员工工号个数范围介于6-12位，且工号信息包括公司拼音简称、员工入职日期以及员工所处编号，防止工号个数过多出现员工输入不便的情况，同时员工也不可对工号进行快速记住。

所述在步骤二中上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及hr内部系统数据，hr内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围，扩大上传数据的范围，提高上传数据的整体兼容性，增强数据的丰富性和多向性。

所述在步骤四中三级内网警报模块的判断依据为经济损失低于两千元人民币，二级外网警报模块的判断依据为经济损失范围介于两千元人民币至两万元人民币，且一级平台警报模块的判断依据为经济损失超过两万元人民币及以上，便于使用方对过失方根据警报等级做出相应惩罚措施，进一步增强数据的警报效果。

所述在步骤四中三级内网警报模块的警报颜色为黄色，二级外网警报模块的警报颜色为橘红色，且一级平台警报模块的警报颜色为深红色，以三种不同颜色代表三种不同等级，便于使用方快速辨别警报信息的严重程度。

所述在步骤五中数据结果显示模块包括显示屏、移动智能手机和pc设备，提高警报信息观看的选择性，且数据存储模块包括警报信息日志、安全信息日志、内存管理日志以及误报信息日志，可对不同类型的警报信息进行存储记录，便于使用方后期对不同类型的警报信息进行快速精准找寻。

与相关技术相比较，本发明提供的带有警报功能的高安全性大数据分析方法具有如下有益效果：

本发明通过实名认证单元的配合，可对上传数据的用户身份进行严格认证，防止不法分子和竞争对手混入，造成企业机密的泄漏，提高数据上传过程中的安全性，通过数据处理单元，可对上传的数据进行预先处理，通过数据分析单元的配合，可分别利用基础统计分析模块、无监督分析模块以及有监督分析模块三种分析方式对数据进行精准分析，从而避免数据信息出现漏报、错报和误报的情况，通过数据警报单元的配合，可对漏报、错报和误报的数据信息进行等级警报处理，从而增强数据分析方法的整体警报效果，防止使用方不能及时发现错误数据信息，造成较为严重的后果，通过数据呈现单元，便于使用方对警报数据信息进行直观观察，利用使用方总结经验，为后期整改打下基础。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。