本申请属于数据采集与传输,具体涉及一种数据预处理与传输系统及方法。
背景技术:
1、数据采集与传输技术的需求源于传感器技术、物联网、无线通信、云计算和大数据等领域的发展。通过采集和传输大量的数据,我们能够实时了解和监测各个领域的情况,从而做出基于数据的决策。
2、当前数据采集与传输的方式主要是传感器采集数据后将数据通过无线网络上传到云端,这种方式对无线网络的可靠性与带宽需求较高,经常出现数据传输中断或堵塞。
技术实现思路
1、发明目的:本申请实施例提供一种数据预处理与传输系统,旨在解决上述技术问题;本申请的另一目的在于提供一种使用上述数据预处理与传输系统的数据预处理与传输方法。
2、技术方案:本申请的一种数据预处理与传输系统,包括:
3、数据采集模块,所述数据采集模块设于设备端,以采集所述设备端的数据;
4、第一数据处理模块,所述第一数据处理模块设于所述设备端,所述第一数据处理模块用于压缩至少部分所述数据,并将所述数据传输至边缘端;
5、第二数据处理模块,所述第二数据处理模块设于所述边缘端,所述第二数据处理模块包括解压单元和特征参数提取单元,所述解压单元用于解压被压缩的所述数据,所述特征参数提取单元用于提取至少部分所述数据的特征参数,并将其他所述数据以及所述特征参数传输至云端。
6、在一些实施例中,所述第一数据处理模块包括第一数据识别单元和压缩单元,所述第一数据识别单元用于识别所述数据中的高频数据,所述压缩单元用于编码压缩所述高频数据。
7、在一些实施例中,所述第一数据处理模块与所述第二数据处理模块通过有线连接实现数据的传输。
8、在一些实施例中,所述第二数据处理模块还包括数据异常检测单元和数据修复单元,所述数据异常检测单元用于检测所述数据中的异常数据,并将所述异常数据传输至所述数据修复单元进行修复。
9、在一些实施例中,所述数据异常检测单元用于通过阈值比较、统计分析和模型比对的至少一者检测所述异常数据。
10、在一些实施例中,所述数据修复单元用于通过分析关联测点之间的历史数据和特征并推断所述异常数据的合理数值。
11、在一些实施例中,所述第二数据处理模块还包括第二数据识别单元,所述第二数据识别单元用于识别所述数据中的高频数据。
12、在一些实施例中,所述特征参数提取单元用于提取所述高频数据的频域特征和时域特征。
13、在一些实施例中,所述特征参数提取单元用于通过快速傅里叶变换和小波变换的其中一者提取所述频域特征。
14、相应的,本申请实施例所述的一种数据预处理与传输方法,应用于上述的数据预处理与传输系统,包括:
15、通过数据采集模块采集设备端的数据;
16、通过第一数据处理模块压缩至少部分数据,并将数据传输至边缘端;
17、通过解压单元解压被压缩的数据;
18、通过特征参数提取单元提取至少部分数据的特征参数,并将特征参数以及其他数据传输至云端。
19、在一些实施例中,被压缩的数据为高频数据,且提取高频数据的特征参数。
20、在一些实施例中,通过有线连接将设备端的数据传输至边缘端。
21、在一些实施例中,数据解压后,预先检测数据中的异常数据并修复。
22、在一些实施例中,提取的特征参数包括频域特征和时域特征。
23、有益效果:本申请实施例的数据预处理与传输系统通过数据采集模块采集设备端的数据,通过第一数据处理模块压缩至少部分数据并将数据传输至边缘端,数据传输前的压缩有利于减小数据的储存空间和传输带宽需求,通过第二数据处理模块中的解压单元解压数据以及通过特征参数提取单元提取至少部分数据的特征参数,从而在将其他数据以及特征参数传输至云端前降低至少部分数据的维度,有利于降低数据传输负担,提高数据传输效率。
1.一种数据预处理与传输系统,其特征在于,包括:
2.根据权利要求1所述的数据预处理与传输系统,其特征在于,
3.根据权利要求1所述的数据预处理与传输系统,其特征在于,
4.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,
5.根据权利要求4所述的数据预处理与传输系统,其特征在于,
6.根据权利要求4所述的数据预处理与传输系统,其特征在于,
7.根据权利要求1至3中任一项所述的数据预处理与传输系统,其特征在于,
8.根据权利要求7所述的数据预处理与传输系统,其特征在于,
9.根据权利要求8所述的数据预处理与传输系统,其特征在于,
10.一种数据预处理与传输方法,其特征在于,应用于如权利要求1至9中任一项所述的数据预处理与传输系统,包括:
11.根据权利要求10所述的数据预处理与传输方法,其特征在于,
12.根据权利要求10所述的数据预处理与传输方法,其特征在于,
13.根据权利要求10所述的数据预处理与传输方法,其特征在于,
14.根据权利要求10所述的数据预处理与传输方法,其特征在于,