一种基于大数据处理的网络数据采集系统的制作方法

本发明涉及网络技术领域，尤其涉及一种基于大数据处理的网络数据采集系统。

背景技术：

随着网络技术的发展，越来越多的沟通通过网络实现。但是，随着网络越来越发达的同时，网络安全也越来越引起重视。

目前，很多企业都有内部网络。内部网络在保证数据安全的同时，也限制了覆盖范围。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种基于大数据处理的网络数据采集系统，适用于多个企业内网通过服务器、云端或者其他技术实现内网互联的场景。

本发明提出的一种基于大数据处理的网络数据采集系统，适用于由多个企业内网组成的局域网，其包括：数据采集模块、数据存储模块、节点提取模块、故障判断模块和故障定位模块；

数据采集模块用于采集局域网的运行数据，数据存储模块用于对采集数据进行存储；

节点提取模块用于从采集数据中间歇性提取数据作为节点数据；

故障判断模块用于根据节点数据监测局域网故障；

故障定位模块用于在故障判断模块监测到故障时，根据采集数据对故障进行定位。

优选的，数据采集模块用于分别采集局域网信道数据、各内网路由数据和各并网节点运行数据；

节点提取模块与数据采集模块连接，用于间歇性从数据采集模块中提取局域网信道数据中的一个或者多个通信参数作为通信节点参数；

故障判断模块分别连接节点提取模块和故障定位模块；故障判断模块用于根据各通信节点参数的变化趋势对局域网进行故障检测，并用于在检测到故障时激活故障定位模块；

故障定位模块连接数据采集模块，在激活状态下，故障定位模块对数据采集模块的采集数据进行数据分析，并对局域网故障进行定位。

优选的，故障判断模块和故障定位模块均连接数据采集模块；数据采集模块用于根据故障判断模块的故障判断结果调整局域网信道数据、各内网路由数据和各并网节点运行数据的采集周期；

故障定位模块内部设有故障定位训练模型，故障定位训练模型的输入为局域网信道数据、各内网路由数据和各并网节点运行数据，其输出为故障所处企业内网或者并网节点；

故障定位模块在激活状态下，用于获取数据采集模块的采集数据并输入故障定位训练模型。

优选的，数据采集模块中预设有依次减小的第一采集周期、第二采集周期和第三采集周期；

自然状态下，数据采集模块根据第二采集周期采集局域网信道数据，并根据第一采集周期采集各内网路由数据和各并网节点运行数据；当故障判断模块判断出局域网存在故障，数据采集模块根据第三采集周期采集局域网信道数据、各内网路由数据和各并网节点运行数据。

优选的，第一采集周期大于或等于4min，并小于或等于10min；第二采集周期大于或等于1min，并小于或等于3min；第三采集周期大于或等于3s，并小于或等于30s。

优选的，故障定位模块包括：样本库、机器学习单元和模型定位单元；

样本库中存储有多个输入数据样本，且每一个输入数据样本均标注有故障定位信息；机器学习单元用于根据样本库中的输入数据样本和标注信息训练故障定位模型并输入到模型定位单元中；

模型定位单元分别与数据采集单元和故障判断模块连接。

优选的，还包括人工定位模块，人工定位模块与故障定位模块连接，当故障定位模型根据输入数据获得的输出为“无”，则人工定位模块获取故障定位模型的输入数据并进行存储；人工定位模块用于工作人员根据存储的数据进行人工分析以获得故障定位。

优选的，故障定位模块还用于根据人工定位模块获得的人工定位结果对样本库进行更新。

优选的，故障判断模块中对应每一个通信节点参数均设有一个浮差上限值，故障判断模块用于根据最新采集的通信节点参数与上一个通信节点参数的差值和对应的浮差上限值的比较结果判断局域网是否存在故障。

本发明提出的一种基于大数据处理的网络数据采集系统，通过节点提取模块对采集的局域网的运行数据进行二次提取，并根据二次提取的节点数据对局域网进行故障监测，减少了用于故障判断的数据量和运算复杂程度，有利于提高局域网故障判断的效率。且，本发明中，节点数据从采集的局域网的运行数据中提取，具有不确定性，有利于保证节点数据对于采集数据的全面覆盖，从而保证根据节点数据判断局域网故障的可靠和精确。

本发明中，将局域网的故障监测分割为故障判断和故障定位两步，前者用于根据抽取数据快速判断故障是否发生，后者用于根据丰富全面的采集数据对确定存在的故障进行分析定位。如此，既保证了局域网故障监控的全面和实时，又降低了运算量，提高了故障定位效率。

附图说明

图1为本发明提出的一种基于大数据处理的网络数据采集系统模块连接图。

图2为发明提出的另一种基于大数据处理的网络数据采集系统模块连接图。

具体实施方式

参照图1，本发明提出的一种基于大数据处理的网络数据采集系统，适用于由多个企业内网组成的局域网，包括：数据采集模块、数据存储模块、节点提取模块、故障判断模块和故障定位模块。

数据采集模块用于采集局域网的运行数据，数据存储模块用于对采集数据进行存储。

节点提取模块用于从采集数据中间歇性提取数据作为节点数据。具体的，本实施方式中，节点提取模块可周期性或者随机性从采集的局域网的局域网的运行数据中提取节点数据。

故障判断模块用于根据节点数据监测局域网故障。

如此，本实施方式中，通过节点提取模块对采集的局域网的运行数据进行二次提取，并根据二次提取的节点数据对局域网进行故障监测，减少了用于故障判断的数据量和运算复杂程度，有利于提高局域网故障判断的效率。且，本实施方式中，节点数据从采集的局域网的运行数据中提取，具有不确定性，有利于保证节点数据对于采集数据的全面覆盖，从而保证根据节点数据判断局域网故障的可靠和精确。

故障定位模块用于在故障判断模块监测到故障时，根据采集数据对故障进行定位。

本实施方式中，将局域网的故障监测分割为故障判断和故障定位两步，前者用于根据抽取数据快速判断故障是否发生，后者用于根据丰富全面的采集数据对确定存在的故障进行分析定位。如此，既保证了局域网故障监控的全面和实时，又降低了运算量，提高了故障定位效率。

局域网的运行数据包括：局域网信道数据、各内网路由数据和各并网节点运行数据。即，数据采集模块用于分别采集局域网信道数据、各内网路由数据和各并网节点运行数据。数据采集模块连接数据存储模块，数据存储模块用于存储采集数据。

节点提取模块与数据采集模块连接，用于间歇性从数据采集模块中提取局域网信道数据中的一个或者多个通信参数作为通信节点参数。例如，本实施方式中，以局域网服务器的内存占用率和局域网服务器的数据处理效率为通信节点参数，则节点提取模块可周期性或者随机性从数据采集模块采集的局域网服务器的内存占用率和局域网服务器的数据处理效率中进行二次提取。

故障判断模块分别连接节点提取模块和故障定位模块。故障判断模块用于根据各通信节点参数的变化趋势对局域网进行故障检测，并用于在检测到故障时激活故障定位模块。

具体的，本实施方式中，故障判断模块中对应每一个通信节点参数均设有一个浮差上限值，故障判断模块用于根据最新采集的通信节点参数与上一个通信节点参数的差值和对应的浮差上限值的比较结果判断局域网是否存在故障。具体的，假设上一实施例中，对应局域网服务器的内存占用率和局域网服务器的数据处理效率的浮差上限值分别为内存浮差值和效率浮差值，则故障判断模块将节点提取模块最新提取到的每一个局域网服务器的内存占用率和局域网服务器的数据处理效率分别与上一个局域网服务器的内存占用率和局域网服务器的数据处理效率求差，如果两个局域网服务器的内存占用率之间的差值大于内存浮差值，或者两个局域网服务器的数据处理效率之间的差值大于效率浮差值，则故障判断模块判断局域网发生故障。

故障定位模块连接数据采集模块，在激活状态下，故障定位模块对数据采集模块的采集数据进行数据分析，并对局域网故障进行定位。

具体的，本实施方式中，故障判断模块和故障定位模块均连接数据采集模块。数据采集模块用于根据故障判断模块的故障判断结果调整局域网信道数据、各内网路由数据和各并网节点运行数据的采集周期。

具体的，本实施方式中，数据采集模块中预设有依次减小的第一采集周期、第二采集周期和第三采集周期。

自然状态下，数据采集模块根据第二采集周期采集局域网信道数据，并根据第一采集周期采集各内网路由数据和各并网节点运行数据。当故障判断模块判断出局域网存在故障，数据采集模块根据第三采集周期采集局域网信道数据、各内网路由数据和各并网节点运行数据。

如此，常态下，数据采集模块对数据量多的内网路由数据和并网节点运行数据进行稀疏采集，降低了数据采集量，有利于缓解数据处理压力；数据采集模块对局域网信道数据进行较密集的数据采集，保证了对全网的运行状态的监控。局域网故障状态下，对全网运行数据进行高密度采集，保证了故障分析可用数据的丰富和全面，有利于提高故障分析精确度。

具体实施时，第一采集周期大于或等于4min，并小于或等于10min。第二采集周期大于或等于1min，并小于或等于3min。第三采集周期大于或等于3s，并小于或等于30s。例如，本实施方式中，可设置，第一采集周期为5min，第二采集周期为2min，第三采集周期为15s。

本实施方式中，故障定位模块内部设有故障定位训练模型，故障定位训练模型的输入为局域网信道数据、各内网路由数据和各并网节点运行数据，其输出为故障所处企业内网或者并网节点。故障定位模块在激活状态下，用于获取数据采集模块的采集数据并输入故障定位训练模型。

具体的，参照图2，本实施方式中，故障定位模块包括：样本库、机器学习单元和模型定位单元。

样本库中存储有多个输入数据样本，且每一个输入数据样本均标注有故障定位信息。机器学习单元用于根据样本库中的输入数据样本和标注信息训练故障定位模型并输入到模型定位单元中。

模型定位单元分别与数据采集单元和故障判断模块连接。

具体的，本实施方式中的基于大数据处理的网络数据采集系统，还包括人工定位模块，人工定位模块与故障定位模块连接，当故障定位模型根据输入数据获得的输出为“无”，既现有的故障定位模型无法根据当前的输入数据定位故障时，人工定位模块获取故障定位模型的输入数据并进行存储。人工定位模块用于工作人员根据存储的数据进行人工分析以获得故障定位。

本实施方式中，通过人工定位模块对故障定位模型的输入数据的存储，方便了工作人员对历史数据的追溯，有利于避免故障被遗漏。同时通过人工定位模块的设置，实现了通过人工定位对模型定位的补充，保证了故障定位的全面。

本实施方式中，故障定位模块还用于根据人工定位模块获得的人工定位结果对样本库进行更新，。即，每当人工定位模块完成一次人工定位，故障定位模块将人工定位模块的存储数据和人工定位结果作为新的样本和样本标注信息添加到样本库中，以便机器学习单元根据新的样本库训练新的故障定位模型，保证故障定位模型的同步学习，从而保证故障定位的智能化。

具体的，本实施方式中，人工定位模块连接模型定位单元，用于根据模型定位单元的定位结果进行工作；人工定位模块还连接样本库，以便对样本库进行更新。

以上所述，仅为本发明涉及的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。