一种基于计算机的网络数据分析处理系统

本申请涉及数据分析，特别是涉及一种基于计算机的网络数据分析处理系统。

背景技术：

1、数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，这一过程也是质量管理体系的支持过程，在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广，数据分析是数学与计算机科学相结合的产物。

2、当进行数据分析时，经常出现一类业务需要多种分析方法的情况，传统的计算机数据分析对数据的处理往往是各自独立的、以简易的图表或列示进行查询的方式，这些数据无法进行更好地关联，关键数据的提取与关联仍需依靠人工进行逐条甄别，随着数据分析目标的不断变化，业务部门需要多次这样反复这样的工作，时间周期长且不可控，缺乏有效的自动化数据管理方法，很难满足业务需要。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于计算机的网络数据分析处理系统，包括：数据采集模块、预处理模块、存储模块、分析模块、可视化模块；

2、所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；

3、所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；

4、所述存储模块，用于存储基于深度学习构建的数据分析模型；

5、所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；

6、所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据。

7、在其中一个实施例中，还包括：所述预处理模块包括解析单元、关联单元、分类模型构建单元和分类标记单元：

8、所述解析单元，用于对所述待分析数据源文件的文件内容进行解析，得到所述文件内容的属性信息，所述属性信息包括数据字段值、源端口号、数据报长度，所述数据字段值为请求值与返回值之和；

9、所述关联单元，用于将所述文件内容的属性信息与所述文件标识进行关联，生成源数据；

10、所述分类模型构建单元，用于根据分类任务信息建立分类模型；

11、所述分类标记单元，用于基于所述分类模型对所述源数据进行分类，获取每个类别中的数据报长度总值，按照总值的大小对分类结果进行标记，得到所述第一数据源。

12、在其中一个实施例中，还包括：所述分类模型构建单元包括：

13、分类规则构建单元，用于根据分类任务信息建立任务分类规则，所述分类任务信息包括属性信息关联度；

14、遍历单元，用于遍历所述源数据，获取所述源数据的特征点，根据所述任务分类规则对所述特征点进行两次分类并获得反例比例；

15、计算单元，用于计算两次特征点分类的反例比例的比值；

16、检测单元，用于响应于检测到所述反例比例的比值大于预设值时，判断所述分类模型无效，重新遍历所述源数据，响应于检测到所述反例比例的比值小于或等于预设值时，判断所述分类模型有效，对所述源数据进行分类，得到数据分类结果。

17、在其中一个实施例中，还包括：所述存储模块包括第一存储单元和第二存储单元，所述第一存储单元用于存储预构建的第一数据分析模型，所述第二存储单元用于存储预构建的第二数据分析模型，其中：

18、所述第一数据分析模型包括：

19、

20、其中，d表示第一输出值，p表示期望值，~表示数据样本y服从真实数据的数据分布，m、n皆表示迭代系数，m、n分别表示文件标识、分类标记，表示数据报长度，表示属性信息关联度，表示源端口号，表示数据字段值，表示各分类数据统计量；

21、所述各分类数据统计量的计算公式为：

22、

23、其中，a、b分别表示数据请求值和返回值，表示特征合并函数，i、j皆表示常数系数；

24、所述属性信息关联度的计算公式为：

25、

26、其中，表示目标分类h对应的数据统计量；所述第二数据分析模型包括：

27、

28、其中，表示第二输出值，表示耦合系数，表示校正函数，表示校正系数，表示常数。

29、在其中一个实施例中，还包括：所述分析模块包括第一分析单元和第二分析单元：

30、所述第一分析单元，用于根据从所述第一存储单元提取出的第一数据分析模型对所述第一数据源进行分析，得到第一输出值，即第一数据分析结果；

31、所述第二分析单元，用于根据从所述第二存储单元提取出的第二数据分析模型对所述第一数据分析结果进行校正，得到第二输出值，即第二数据分析结果。

32、在其中一个实施例中，还包括：所述可视化模块包括：

33、可视化展示单元，用于对所述数据分析结果进行可视化展示，所述数据分析结果包括所述第一数据分析结果和所述第二数据分析结果，包括：

34、将单个数据源对应的所述第一输出值和第二输出值置于同一纵坐标上；

35、将多个数据源对应的所述第一输出值和第二输出值分别进行横向连接，并在可视化界面进行可视化展示。

36、在其中一个实施例中，还包括：所述可视化模块还包括：

37、关键数据提取单元，用于根据可视化展示结果提取出关键数据，包括：

38、获取所述可视化展示结果中目标数据源对应的第一输出值和第二输出值的差值绝对值；

39、响应于检测到所述差值绝对值小于第一预设值时，提取所述目标数据源作为所述关键数据。

40、上述基于计算机的网络数据分析处理系统，所述系统包括：数据采集模块、预处理模块、存储模块、分析模块、可视化模块；所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；所述存储模块，用于存储基于深度学习构建的数据分析模型；所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据，本申请在数据分析过程中对数据进行关联，并通过第一数据分析模型和第二数据分析模型对数据进行分析并在可视化界面展示，从而能自动提取出关键数据，提高了数据分析的效率以及准确性，进而对数据进行有效的自动化管理。

技术特征：

1.一种基于计算机的网络数据分析处理系统，所述系统包括数据采集模块、预处理模块、存储模块、分析模块、可视化模块，其特征在于：

2.根据权利要求1所述的基于计算机的网络数据分析处理系统，其特征在于，所述预处理模块包括解析单元、关联单元、分类模型构建单元和分类标记单元：

3.根据权利要求2所述的基于计算机的网络数据分析处理系统，其特征在于，所述分类模型构建单元包括：

4.根据权利要求3所述的基于计算机的网络数据分析处理系统，其特征在于，所述存储模块包括第一存储单元和第二存储单元，所述第一存储单元用于存储预构建的第一数据分析模型，所述第二存储单元用于存储预构建的第二数据分析模型，其中：

5.根据权利要求4所述的基于计算机的网络数据分析处理系统，其特征在于，所述分析模块包括第一分析单元和第二分析单元：

6.根据权利要求5所述的基于计算机的网络数据分析处理系统，其特征在于，所述可视化模块包括：

7.根据权利要求6所述的基于计算机的网络数据分析处理系统，其特征在于，所述可视化模块还包括：

技术总结
本申请涉及一种基于计算机的网络数据分析处理系统，所属领域为数据分析技术领域，所述系统包括：数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；存储模块，用于存储基于深度学习构建的数据分析模型；分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据。本申请能够自动提取出关键数据，提高了数据分析的效率以及准确性，进而对数据进行有效的自动化管理。

技术研发人员：张敬芳,张荣芝,张庆业
受保护的技术使用者：山东工程职业技术大学
技术研发日：
技术公布日：2024/1/12