一种基于大数据的网络状态监测管理方法及系统与流程

1.本发明涉及网络状态监测技术领域，具体为一种基于大数据的网络状态监测管理方法及系统。


背景技术：

2.智慧交通中涉及人、车、线路、环境等，产生的数据量体量巨大，结构化数据和非结构化数据的广泛来源与长期存储，从tb级到pb级，甚至跃升到eb级别，一个地级市30天的视频录像数据就可到达pb级；目前在数据的收集、传输、存储、分析过程都是依靠云计算平台和互联网传输进行的，而这个过程便增加了信息安全的风险。
3.一方面智慧交通领域内的数据采集处理，是一项庞大的工程，所包含的复杂、敏感数据也会引起更多潜在的攻击；另一方面，由于智慧交通领域内产生的瞬时数据往往都能达到海量级，一旦因网络问题出现中断也就会面临着数据丢失的风险，给管理人员增加事后恢复数据的工作。


技术实现要素：

4.本发明的目的在于提供一种基于大数据的网络状态监测管理方法及系统，以解决上述背景技术中提出的问题。
5.为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的网络状态监测管理方法，方法包括：步骤s100：每当在目标交通路段各前端抓拍设备中产生实时违章数据，触发系统对在目标交通路段中布控的无线组网进行实时网络传输速率的检测；步骤s200：基于检测结果，确定对实时违章数据的传输存储方式，即是直接传输至分控目标交通路段各前端抓拍设备的工控机端或者先存储至对应前端抓拍设备的内部存储器中，间接传输至分控目标交通路段各前端抓拍设备的工控机端；步骤s300：对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，构建第一监管数据库；对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，构建第二监管数据库；步骤s400：基于在第一监管数据库和第二监管数据库中存储的各部分历史违章数据之间对应的数据交叉情况，对第一监管数据库内各部分历史违章数据进行对应传输路径的梳理；步骤s500：提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；步骤s600：基于提取到发生数据并行传输现象的各时间区间信息结合在第一监管数据库中各部分违章数据对应的存储时间区间信息，捕捉需对目标交通路段中布控的无线组网进行高度监测预警的时间区间信息；
步骤s700：将捕捉到的各时间区间信息向管理人员端口推送。
6.进一步的，步骤s200包括；步骤s201：当实时网络传输速率大于传输速率阈值时，对实时违章数据采用直接传输方式，即通过网络实时传输至分控目标交通路段各前端抓拍设备的工控机端；步骤s202：当实时网络传输速率小于或等于传输速率阈值时，对实时违章数据采用间接传输方式，即先存储至对应前端抓拍设备的内部存储器中进行保存，直至检测到实时网络传输速率大于传输速率阈值时，将实时违章数据传输至工控机端，同时将实时违章数据在内部存储器中删除；在交通路段中对于一辆违章车辆拍摄至少三张图片，一张是瞬间违章图片，一张是号牌识别图片，一张是全景图片，或者需对其进行一段时长的视频采集；且在实际中需要基于采集的车辆图像或者视频对车辆信息进行提取，因此意味着采取到的图像数据或者视频数据质量要求是较高的，数据量也是较大的；虽然在交通路段中布控的无线组网往往稳定性较强，但是对于本就是面临处理海量数据存储的设备而言，发生中断故障等问题的概率也需要被考虑进去，防止因数据丢失导致的管理失偏问题。
7.进一步的，传输速率阈值为在无线组网中发生数据丢包现象时出现的最大传输速率。
8.进一步的，步骤s300包括：步骤s301：捕捉对应各历史存储记录的各部分历史违章数据，分别将由对应各历史存储记录的各部分历史违章数据汇成的数据集设为第一目标数据集，设在第一监管数据库中含有的第一目标数据集序列为，其中，分别表示对应第1，2，，m条历史存储记录的第1，2，，m个第一目标数据集；步骤s302：捕捉对应各历史数据接收记录的各部分历史违章数据，分别将由对应各历史数据接收记录的各部分历史违章数据汇成的数据集设为第二目标数据集，设在第二监管数据库中含有的第二目标数据集序列为；其中，表示在第二监管数据库中对应第1，2，，n条历史数据接收记录的第1，2，，n个第二目标数据集；步骤s303：分别对各第一目标数据集对应的数据容量、存储时间区间信息进行提取存储，生成第一监管数据库；分别对各第二目标数据集对应的数据容量、接收时间区间信息进行提取存储，生成二监管数据库；其中，历史违章数据的数据形式包括图像、视频；其中，。
9.进一步的，步骤s400包括：步骤s401：当第一监管数据库中的某第一目标数据集与第二监管数据库中的某第二目标数据集之间满足；步骤s402：判定某第二目标数据集为某第一目标数据集的传输对应数据集；生成对应传输路径： 其中，表示对应的存储时间区间，表示对应的接收时间区间；步骤s403：对第一监管数据库内所有第一目标数据集完成传输对应数据集的识别捕捉，汇集所有的对应传输路径；其中，生成的对应传输路径总数。
10.进一步的，步骤s500包括：
步骤s501：在每一对应传输路径中，若某第一目标数据集与某第二目标数据集之间满足，判定某第一目标数据集的传输对应数据集个数；判定未发生数据并行传输现象；步骤s502：在每一对应传输路径中，若某第一目标数据集与某第二目标数据集之间满足时，判定发生数据并行传输现象；其中，表示含于某第一目标数据集的数据集或完全等于某第一目标数据集的数据集；c表示通过直接传输方式接收到的且未在内部存储器中留下存储记录的其他历史违章数据；步骤s503：若某第一目标数据集与某第二目标数据集之间满足的形式为，表示完全等于某第一目标数据集的数据集时，判定某第一目标数据集的传输对应数据集个数，判定为基于某第一目标数据集发生一次数据并行传输现象；步骤s504：若某第一目标数据集与某第二目标数据集之间满足的形式为，表示含于某第一目标数据集的数据集，判定某第一目标数据集的传输对应数据集个数，判定为基于某第一目标数据集发生p次关联数据并行传输现象；上述对是否发生数据并行传输现象的过程是，实际上就是对在传输违章数据的过程中，因网络中断或者网络连接不通畅，使得违章数据没能采用直接传输至当前路段所属的工控机中进行存储，以至于在前端抓拍设备的内部存储器中产生数据滞留，且在网络波动恢复时，滞留的数据又与采用直接传输方式的其他实时数据一起传输，在这种时刻下，对于网络状态的要求是更高的，因为它面临传输处理的数据量往往是很庞大的。
11.进一步的，步骤s600包括：步骤s601：对所有未发生数据并行传输现象的对应传输路径汇集，分别提取对应的存储时间区间，对应的接收时间区间；分别对每一对应传输路径计算网络波动过渡时长；其中，表示时间区间的开始时间点，表示在时间区间的最后时间点；根据在所有未发生数据并行传输现象的对应传输路径中得到的网络波动过渡时长t，计算获取平均网络波动过渡时长g；步骤s602：对所有发生并行传输现象的对应传输路径汇集，分别对各出现数据并行传输现象的对应传输路径，提取得到预测发生并行传输现象的时间区间；其中，表示时间区间的最后时间点，表示时间区间的最后时间点；锁定相互之间均存在区间重叠现象且个数最多的时间区间的涵盖范围，提取涵盖范围内各时间区间的开始时间点，捕捉得到最小的开始时间点；提取时间区间范围内各时间区间的最后时间点，捕捉得到最大的最后时间点，得到第一高度监测预警区间；步骤s603：锁定发生关联数据并行传输现象的次数大于次数阈值时对应的第一目标数据集，提取第一目标数据集对应的数据容量，当识别到数据容量小于容量阈值时，提取第一目标数据集对应的存储时间区间作为第二高度监测预警区间；因路段中布控的摄像机自身携带的存储空间有限，若是在高峰时间区间，发生网络状态波动导致在内部存储器中滞留了较多的数据，容易因存储容量不足，导致在前端设
备中抓取的数据发生丢失，所以有必要对会产生大量违章数据的时间段内加大监管力度，使得能及时对出现的问题及时排除，减少数据上的损失。
12.为更好的实现上述方法还提出了一种监测管理系统，系统包括：实时传输存储判定模块、监管数据库构建模块、传输路径梳理模块、并行传输识别判定模块、高度监测预警时间区间提取模块、信息反馈提醒模块；实时传输存储判定模块，用于对在目标交通路段中布控的无线组网进行实时网络传输速率的检测，基于检测结果，确定对实时违章数据的传输存储方式；监管数据库构建模块，用于对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，根据提取到的数据构建对应的监管数据库；传输路径梳理模块，用于根据在监管数据库中存储的各部分历史违章数据之间呈现数据交叉情况，对各部分历史违章数进行对应传输路径的梳理；并行传输识别判定模块，用于提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；高度监测预警时间区间提取模块，用于捕捉需对目标交通路段中布控的无线组网进行高度监测预警的时间区间信息；信息反馈提醒模块，用于接收高度监测预警时间区间提取模块中的数据，将数据向管理人员端口推送。
13.进一步的，监管数据库构建模块包括第一监管数据库构建单元、第二监管数据库构建单元；第一监管数据库构建单元，用于对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，构建第一监管数据库；第二监管数据库构建单元，用于对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，构建第二监管数据库。
14.进一步的，并行传输识别判定模块包括并行识别单元、并行次数捕捉单元；并行识别单元，用于提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；并行次数捕捉单元，用于接收并行识别单元中的数据，基于发生数据并行传输现象的对应传输路径中的第一目标数据集，对发生关联数据并行传输的次数进行捕捉。
15.与现有技术相比，本发明所达到的有益效果是：本发明可实现对交通路段中布控的无线组网锁定在一个较为精准的时间区间范围内进行针对性的网络状态监测，可有效的减轻管理运维人员的工作负担；本发明可实现对交通违章数据的全面采集和针对性处理，能有效减少因网络设备原因造成的数据丢失现象，同时能有效的提高对交通路段中发生的违章事件的监管效率。
附图说明
16.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：图1是本发明一种基于大数据的网络状态监测管理方法的流程示意图；图2是本发明一种基于大数据的网络状态监测管理系统的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.请参阅图1-图2，本发明提供技术方案：一种基于大数据的网络状态监测管理方法，方法包括：步骤s100：每当在目标交通路段各前端抓拍设备中产生实时违章数据，触发系统对在目标交通路段中布控的无线组网进行实时网络传输速率的检测；步骤s200：基于检测结果，确定对实时违章数据的传输存储方式，即是直接传输至分控目标交通路段各前端抓拍设备的工控机端或者先存储至对应前端抓拍设备的内部存储器中，间接传输至分控目标交通路段各前端抓拍设备的工控机端；其中，步骤s200包括；步骤s201：当实时网络传输速率大于传输速率阈值时，对实时违章数据采用直接传输方式，即通过网络实时传输至分控目标交通路段各前端抓拍设备的工控机端；步骤s202：当实时网络传输速率小于或等于传输速率阈值时，对实时违章数据采用间接传输方式，即先存储至对应前端抓拍设备的内部存储器中进行保存，直至检测到实时网络传输速率大于传输速率阈值时，将实时违章数据传输至工控机端，同时将实时违章数据在内部存储器中删除；其中，传输速率阈值为在无线组网中发生数据丢包现象时出现的最大传输速率；步骤s300：对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，构建第一监管数据库；对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，构建第二监管数据库；其中，步骤s300包括：步骤s301：捕捉对应各历史存储记录的各部分历史违章数据，分别将由对应各历史存储记录的各部分历史违章数据汇成的数据集设为第一目标数据集，设在第一监管数据库中含有的第一目标数据集序列为，其中，分别表示对应第1，2，，m条历史存储记录的第1，2，，m个第一目标数据集；步骤s302：捕捉对应各历史数据接收记录的各部分历史违章数据，分别将由对应各历史数据接收记录的各部分历史违章数据汇成的数据集设为第二目标数据集，设在第二监管数据库中含有的第二目标数据集序列为；其中，表示在第二监管数据库中对应第1，2，，n条历史数据接收记录的第1，2，，n个第二目标数据集；
步骤s303：分别对各第一目标数据集对应的数据容量、存储时间区间信息进行提取存储，生成第一监管数据库；分别对各第二目标数据集对应的数据容量、接收时间区间信息进行提取存储，生成二监管数据库；其中，历史违章数据的数据形式包括图像、视频；其中，；步骤s400：基于在第一监管数据库和第二监管数据库中存储的各部分历史违章数据之间对应的数据交叉情况，对第一监管数据库内各部分历史违章数据进行对应传输路径的梳理；其中，步骤s400包括：步骤s401：当第一监管数据库中的某第一目标数据集与第二监管数据库中的某第二目标数据集之间满足；步骤s402：判定某第二目标数据集为某第一目标数据集的传输对应数据集；生成对应传输路径： 其中，表示对应的存储时间区间，表示对应的接收时间区间；步骤s403：对第一监管数据库内所有第一目标数据集完成传输对应数据集的识别捕捉，汇集所有的对应传输路径；其中，生成的对应传输路径总数；步骤s500：提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；其中，步骤s500包括：步骤s501：在每一对应传输路径中，若某第一目标数据集与某第二目标数据集之间满足，判定某第一目标数据集的传输对应数据集个数；判定未发生数据并行传输现象；步骤s502：在每一对应传输路径中，若某第一目标数据集与某第二目标数据集之间满足时，判定发生数据并行传输现象；其中，表示含于某第一目标数据集的数据集或完全等于某第一目标数据集的数据集；c表示通过直接传输方式接收到的且未在内部存储器中留下存储记录的其他历史违章数据；步骤s503：若某第一目标数据集与某第二目标数据集之间满足的形式为，表示完全等于某第一目标数据集的数据集时，判定某第一目标数据集的传输对应数据集个数，判定为基于某第一目标数据集发生一次数据并行传输现象；步骤s504：若某第一目标数据集与某第二目标数据集之间满足的形式为，表示含于某第一目标数据集的数据集，判定某第一目标数据集的传输对应数据集个数，判定为基于某第一目标数据集发生p次关联数据并行传输现象；步骤s600：基于提取到发生数据并行传输现象的各时间区间信息结合在第一监管数据库中各部分违章数据对应的存储时间区间信息，捕捉需对目标交通路段中布控的无线组网进行高度监测预警的时间区间信息；其中，步骤s600包括：步骤s601：对所有未发生数据并行传输现象的对应传输路径汇集，分别提取对应的存储时间区间，对应的接收时间区间；分别对每一对应传输路径计算
网络波动过渡时长；其中，表示时间区间的开始时间点，表示在时间区间的最后时间点；根据在所有未发生数据并行传输现象的对应传输路径中得到的网络波动过渡时长t，计算获取平均网络波动过渡时长g；步骤s602：对所有发生并行传输现象的对应传输路径汇集，分别对各出现数据并行传输现象的对应传输路径，提取得到预测发生并行传输现象的时间区间；其中，表示时间区间的最后时间点，表示时间区间的最后时间点；锁定相互之间均存在区间重叠现象且个数最多的时间区间的涵盖范围，提取涵盖范围内各时间区间的开始时间点，捕捉得到最小的开始时间点；提取时间区间范围内各时间区间的最后时间点，捕捉得到最大的最后时间点，得到第一高度监测预警区间；例如说，总共存在6个预测发生并行传输现象的时间区间，分别为、、、、；其中，相互之间均存在区间重叠现象的时间区间的涵盖范围包括：、、、其中，在第1个涵盖范围内，时间区间的个数为3；在第2个涵盖范围内，时间区间的个数为2；因此，第一高度监测预警区间为；步骤s603：锁定发生关联数据并行传输现象的次数大于次数阈值时对应的第一目标数据集，提取第一目标数据集对应的数据容量，当识别到数据容量小于容量阈值时，提取第一目标数据集对应的存储时间区间作为第二高度监测预警区间；步骤s700：将捕捉到的各时间区间信息向管理人员端口推送；为更好的实现上述方法还提出了一种监测管理系统，系统包括：实时传输存储判定模块、监管数据库构建模块、传输路径梳理模块、并行传输识别判定模块、高度监测预警时间区间提取模块、信息反馈提醒模块；实时传输存储判定模块，用于对在目标交通路段中布控的无线组网进行实时网络传输速率的检测，基于检测结果，确定对实时违章数据的传输存储方式；监管数据库构建模块，用于对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，根据提取到的数据构建对应的监管数据库；其中，监管数据库构建模块包括第一监管数据库构建单元、第二监管数据库构建单元；第一监管数据库构建单元，用于对目标交通路段各前端抓拍设备的内部存储器提取所有历史存储记录，捕捉对应各历史存储记录的各部分历史违章数据，构建第一监管数据库；
第二监管数据库构建单元，用于对分控目标交通路段各前端抓拍设备的工控机提取所有历史数据接收记录，捕捉对应各历史数据接收记录的各部分历史违章数据，构建第二监管数据库；传输路径梳理模块，用于根据在监管数据库中存储的各部分历史违章数据之间呈现数据交叉情况，对各部分历史违章数进行对应传输路径的梳理；并行传输识别判定模块，用于提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；其中，并行传输识别判定模块包括并行识别单元、并行次数捕捉单元；并行识别单元，用于提取所有的对应传输路径，对是否发生数据并行传输现象进行识别判定；并行次数捕捉单元，用于接收并行识别单元中的数据，基于发生数据并行传输现象的对应传输路径中的第一目标数据集，对发生关联数据并行传输的次数进行捕捉高度监测预警时间区间提取模块，用于捕捉需对目标交通路段中布控的无线组网进行高度监测预警的时间区间信息；信息反馈提醒模块，用于接收高度监测预警时间区间提取模块中的数据，将数据向管理人员端口推送。
19.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
20.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。