一种边缘端数据采集传输系统及方法与流程

1.本技术涉及一种边缘端数据采集传输系统及方法。


背景技术：

2.高速公路拥有大量的收费站、门架等收费关键点位，针对全网的边缘服务器监测对于中心服务器具有较大的压力，且很难做到实时监测。采用边缘端部署应用的方式可以分担中心端的计算压力，实现实时监测的能力。但是边缘端如何进行有效的通信和控制，现有技术对此并没有很好的解决方法。


技术实现要素：

3.为了解决上述问题，本技术一方面公开了一种边缘端数据采集传输系统，包括如下模块：车道监测端，用以获取道路上的信息并形成道路数据；
4.边缘端，用于获取道路数据并进行基础数据分析得到预处理数据；
5.中心服务器，用于获取预处理数据并进行数据处理得到待存储数据；
6.存储服务器，用于获得待存储数据并进行数据存储。
7.优选的，所述车道监测端包括设置在各个车道上的车道监控器和与车道监控器数据连通设置的站服务器。本技术考虑到高速公路拥有大量的收费站、门架等收费关键点位，针对全网的边缘服务器监测对于中心服务器具有较大的压力，且很难做到实时监测，因此采用边缘端部署应用的方式分担中心端的计算压力，从而具有实时监测的能力。
8.优选的，所述道路数据包括车流量实时监控数据、雷达的过车流量数据、目标定位数据、情报板的当前显示数据情况、发光标志牌的当前显示情况、道钉的显示情况、误区诱导灯的状态数据。
9.优选的，所述车道监测端与边缘端采用socket协议进行数据传输；所述中心服务器与边缘端采用http协议或者socket协议进行数据传输。
10.优选的，所述基础数据分析包括如下步骤：
11.在设定时间段内，对道路数据根据判断阈值来确定是否在其范围内，若不在其范围内，则将道路数据进行预警并标记为优先数据，然后优先将该优先数据和预警输送到中心服务器，若在范围内，则将道路数据置入到顺序通讯序列，将道路数据顺序传递给中心服务器；
12.边缘端对于设备数据需要进行处理，车道监测端与边缘服务器需要通过socket进行通讯，传输的是二进制字节，通过后台处理，边缘端将车道监测端的二进制数据转为结构化数据或者将结构化数据转化为车道监测端需要的二进制数据；
13.所述数据处理分析包括如下步骤：
14.对于优先数据，获取同一类型的优先数据，判断优先数据的数量的增减情况，在固定时间段内，优先数据的数量变化率为a％，优先数据的偏移量为b％，判断a*b是否超过警示阈值，若超过警示阈值，主动推送该优先数据；
15.中心端服务器接收边缘端的上传数据，将边缘端的结构化数据转换成前端界面或者存储服务器所需要的定制化数据。本技术赋予边缘端初步判断以及道路数据传输顺序设置的作用，使得对于优先数据可以进行优先的传输和后续判断，从而在产生风险数据，可以进行较为快速和准确的判断。
16.优选的，所述数据存储按照如下方式进行：
17.接收待存储数据；
18.将待存储数据按照分类规则进行分类提取得到提取数据；
19.将提取数据设置到对应的分类数据库当中得到存储数据；
20.所述分类规则按照分类数据库的数据格式建立得到。
21.优选的，还包括创建分类数据库和分类规则的过程，包括如下步骤：
22.根据待存储数据进行分类数据库的新建，然后根据分类数据库的数据结构来确定分类规则。
23.优选的，所述分类提取按照数据来源和数据自身识别分析来综合评判得到；
24.所述综合评判按照如下方式进行：
25.所述数据来源按照待存储数据提供的原始来源获取确认，并根据原始来源提供的待存储数据的历史信息来进行待存储数据的预分类；
26.通过对于待存储数据中的目标数据的提取来对目标数据与预分类得到的类型的分类数据库中的数据进行数据匹配，若数据匹配的匹配率低于阈值，则对于目标数据与其他分类数据库中的数据进行数据匹配，直至数据匹配的匹配率不低于阈值；
27.若在此过程中，未得到满足要求的分类数据库，若其中至少一个的匹配率超过60％，则将提取数据写入到匹配率最高的分类数据库中，并标记处理得到标异数据；
28.所述数据匹配包括数值匹配以及数据表现形式的匹配；
29.还包括对于存储数据当中的特异数据的分析监测：
30.计算得到存储数据的中值，确认中值上下各30％范围内的数据为普通数据；
31.以边界处的普通数据作为基点，向外拓展计算，若其两侧的数值增减变化率低于以普通数据作为计算基点的10％，则将其相邻的存储数据标记为普通数据，如此反复，直至发现超过10％的存储数据或者全部验算完成，超过10％的存储数据标记为特异数据；
32.对于特异数据进行来源验证以及数据提取准确性的验证。本技术通过内部数据的自我判定来进行数据提取准确性的判别，以避免特异数据的加入和累积，提高最终得到的存储数据自身的准确性。
33.优选的，还包括对于标异数据的处理过程：
34.在处于同一个分类数据库中的标异数据的数据量超过数据量阈值或者所占百分比超过百分比阈值时，则通过标异数据的数据来源以及自身含义进行新的分类数据库的建立；本技术的综合评判通过数据来源进行数据类型的判断，可以保证在进行数据判别时的所需时间的减少以及对于监测数据分类的准确性，并得到标异数据，为分类数据库的有效拓展提供基础。
35.所述数据库为json数据库。
36.另一方面，本技术还公开了一种边缘端数据采集传输方法，包括如下步骤：
37.获取道路上的信息并形成道路数据；
38.获取道路数据并进行基础数据分析得到预处理数据；
39.获取预处理数据并进行数据处理得到待存储数据；
40.获得待存储数据并进行数据存储。
41.本技术能够带来如下有益效果：
42.1.本技术考虑到高速公路拥有大量的收费站、门架等收费关键点位，针对全网的边缘服务器监测对于中心服务器具有较大的压力，且很难做到实时监测，因此采用边缘端部署应用的方式分担中心端的计算压力，从而具有实时监测的能力；
43.2.本技术赋予边缘端初步判断以及道路数据传输顺序设置的作用，使得对于优先数据可以进行优先的传输和后续判断，从而在产生风险数据，可以进行较为快速和准确的判断；
44.3.本技术通过内部数据的自我判定来进行数据提取准确性的判别，以避免特异数据的加入和累积，提高最终得到的存储数据自身的准确性；
45.4.本技术的综合评判通过数据来源进行数据类型的判断，可以保证在进行数据判别时的所需时间的减少以及对于监测数据分类的准确性，并得到标异数据，为分类数据库的有效拓展提供基础。
附图说明
46.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
47.图1为实施例1的示意图；
48.图2为实施例2的示意图。
具体实施方式
49.为能清楚说明本方案的技术特点，下面通过具体实施方式，对本技术进行详细阐述。
50.在第一个实施例中，如图1所示，一种边缘端数据采集传输系统，包括如下模块：
51.车道监测端101，用以获取道路上的信息并形成道路数据；
52.所述车道监测端包括设置在各个车道上的车道监控器和与车道监控器数据连通设置的站服务器。
53.所述道路数据包括车流量实时监控数据、雷达的过车流量数据、目标定位数据、情报板的当前显示数据情况、发光标志牌的当前显示情况、道钉的显示情况、误区诱导灯的状态数据。
54.边缘端102，用于获取道路数据并进行基础数据分析得到预处理数据；
55.所述车道监测端101与边缘端102采用socket协议进行数据传输；
56.所述基础数据分析包括如下步骤：
57.在设定时间段内，如30s，对道路数据根据判断阈值来确定是否在其范围内，若不在其范围内，则将道路数据进行预警并标记为优先数据，然后优先将该优先数据和预警输送到中心服务器，若在范围内，则将道路数据置入到顺序通讯序列，将道路数据顺序传递给中心服务器；如对于车速，判断阈值为60-120km/h，如果检测到40km/h或者150km/h的情况
则标定为优先数据；
58.边缘端对于设备数据需要进行处理，车道监测端与边缘服务器需要通过socket进行通讯，传输的是二进制字节，通过后台处理，边缘端将车道监测端的二进制数据转为结构化数据或者将结构化数据转化为车道监测端需要的二进制数据；
59.中心服务器103，用于获取预处理数据并进行数据处理得到待存储数据；
60.所述中心服务器103与边缘端102采用http协议或者socket协议进行数据传输。
61.所述数据处理分析包括如下步骤：
62.对于优先数据，获取同一类型的优先数据，判断优先数据的数量的增减情况，在固定时间段内，如30min，优先数据的数量变化率为a％，优先数据的偏移量为b％，判断a*b是否超过警示阈值，一般设置为200，若超过警示阈值，主动推送该优先数据；如原来的数量均值为100条，本次为110条，则标化率为10％，偏移量指的是在所有的优先数据里面，如最大速度为150km/h，则b％＝(150-120)/120＝25％，即b＝25，因此a*b＝250》200，因此需要主动推送该数据，此种情况考虑到了整体变化，也考虑了个值影响，均衡了推送量和推送紧急度之间的矛盾关系；
63.中心端服务器接收边缘端的上传数据，将边缘端的结构化数据转换成前端界面或者存储服务器所需要的定制化数据。
64.存储服务器104，用于获得待存储数据并进行数据存储。
65.接收待存储数据；
66.将待存储数据按照分类规则进行分类提取得到提取数据，所述分类规则按照分类数据库的数据格式建立得到；
67.还包括创建分类数据库和分类规则的过程，包括如下步骤：
68.根据待存储数据进行分类数据库的新建，然后根据分类数据库的数据结构来确定分类规则。
69.所述分类提取按照数据来源和数据自身识别分析来综合评判得到。
70.所述综合评判按照如下方式进行：
71.所述数据来源按照待存储数据提供的原始来源获取确认，并根据原始来源提供的待存储数据的历史信息来进行待存储数据的预分类；比如历史信息显示其多是车道待存储数据，则根据车道待存储数据进行分类；
72.通过对于待存储数据中的目标数据的提取来对目标数据与预分类得到的类型的分类数据库中的数据进行数据匹配，若数据匹配的匹配率低于阈值，如阈值为80％，则对于目标数据与其他分类数据库中的数据进行数据匹配，直至数据匹配的匹配率不低于阈值；
73.若在此过程中，未得到满足要求的分类数据库，若其中至少一个的匹配率超过60％，则将提取数据写入到匹配率最高的分类数据库中，并标记处理得到标异数据。
74.所述数据匹配包括数值匹配以及数据表现形式的匹配。如存在相同数值或者数值上下5％，则可以将匹配率定义为100％，如果没有该范围内的数据，或者超过5％，则根据超过的程度将匹配率设定为90％，85％等。
75.对于标异数据的处理过程：
76.在处于同一个分类数据库中的标异数据的数据量超过数据量阈值(如10000条以上)或者所占百分比超过百分比阈值(如20％以上，即整体数据为10000条，标异数据为2000
条)时，则通过标异数据的数据来源以及自身含义进行新的分类数据库的建立。
77.将提取数据设置到对应的分类数据库当中得到存储数据；
78.对于存储数据当中的特异数据的分析监测：
79.计算得到存储数据的中值，确认中值上下各30％范围内的数据为普通数据；
80.以边界处的普通数据作为基点，向外拓展计算，若其两侧的数值增减变化率低于以普通数据作为计算基点的10％，则将其相邻的存储数据标记为普通数据，如此反复，直至发现超过10％的存储数据或者全部验算完成，超过10％的存储数据标记为特异数据；
81.如边界部位的为普通数据的数值为100，最邻近的普通数据为101，而需要验证的为99，则计算为：[(100-99)-(101-99)]/100＝0，则将其标记为普通数据，如此往复进行验算。
[0082]
对于特异数据进行来源验证(即原始来源)以及数据提取准确性的验证(对于数据准确性，可以进行人工，也可以通过进行重新提取等方式来进行数据的重新提取)。
[0083]
可以理解的，所述数据库为json数据库。
[0084]
在第二个实施例当中，如图2所示，一种边缘端数据采集传输方法，包括如下步骤：
[0085]
s201.获取道路上的信息并形成道路数据；
[0086]
s202.获取道路数据并进行基础数据分析得到预处理数据；
[0087]
s203.获取预处理数据并进行数据处理得到待存储数据；
[0088]
s204.获得待存储数据并进行数据存储。
[0089]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。