一种基于eSIM卡和5G网络的多源数据链接方法与流程

一种基于esim卡和5g网络的多源数据链接方法
技术领域
1.本发明属于电力物联网监测与数据处理技术领域，特别是涉及一种基于esim卡和5g网络的多源数据链接方法。


背景技术：

2.当前，电力物联网作为物联网架构在电力行业的具体表现形式和应用落地，是电力行业向能源互联网发展革新的过渡形态。在能源互联网的建设愿景中，电力物联网将发展成为一个数据流与能量流紧密结合的系统。数据流的形成依托先进的数据感知、数据传输、数据分析及数据共享技术，数据流是实现合理调配和管理能量流的关键前提和必要保障，它对系统的运行性能起着决定性作用。在电网的各环节上尽可能全面地部署了感知终端，获取类型丰富且多样化的数据信息，依托实时响应且高度可靠的数据传输技术将信息传输至数据平台，进行数据挖掘、融合分析，并将分析结果进行反馈，从而满足随着电网建设规模扩大和智能化进程中对规划建设、生产决策、运营维护、监测调控、资产管理等内在业务的需求。
3.5g技术是具有高速率、低时延和大连接特点的新一代宽带移动通信技术，并且已渗透到经济社会的各行业各领域，成为支撑经济社会数字化、网络化、智能化转型的关键新型基础设施，但现有的技术中对于将5g技术应用于数据处理的研究相对较少。通过智能终端、通信网络、数据处理等技术手段对信息进行处理，从而实现利用5g通信能来监测管理电力物联网的“数字化、可视化、信息化、网络化”，从而方便管理人员查看和管理能源信息。因此，亟需一种基于5g电力物联网监测解决大数据环境下数据处理效率低下的方法。


技术实现要素：

4.本发明的目的是提供一种基于esim卡和5g网络的多源数据链接方法，以解决上述现有技术存在的问题。
5.为实现上述目的，本发明提供了一种基于esim卡和5g网络的多源数据链接方法，包括以下步骤：
6.采集多源数据，对所述多源数据进行预处理；
7.基于5g基站通信能力以及esim卡对预处理后的所述多源数据进行传输；
8.对所述多源数据进行数据链接，监测电网资产类设备所获取的视频、图像、文字与指令等多源数据链。
9.可选地，所述多源数据为不同来源的数据，包括字符型数据与非字符型数据。
10.可选地，对所述多源数据进行预处理的过程包括：对所述多源数据中的数据类型进行统一，并对所述多源数据中的字符型数据与非字符型数据进行分组。
11.可选地，对所述多源数据中的数据类型进行统一的过程包括：基于关键字匹配对所述多源数据按照数据类型进行分类，获取不同类型的分类数据；将不同类型的分类数据进行格式转换。
12.可选地，基于5g基站通信能力对预处理后的所述多源数据进行传输的过程包括：构建数据共享服务器，基于若干个5g基站将不同类型的所述多源数据上传至所述数据共享服务器进行存储。
13.可选地，对所述多源数据进行数据链接的过程包括：判断所述多源数据中字符型数据与非字符型数据的相关性；基于所述相关性，采用并行计算的方式分别对所述字符型数据与所述非字符型数据进行链接，获取字符数据链与非字符数据链；基于所述字符数据链与所述非字符数据链获取所述多源数据链。
14.可选地，所述字符型数据的相关性判断过程包括：对所述字符型数据进行分段处理，获取若干个字符型数据段；基于概率链接法，对每个所述字符型数据段中的字符进行匹配，判断字符来源相同的概率，当两个字符来源相同的概率大于80％时，则判断为相同来源；基于相同来源的字符数量对若干个所述字符型数据段进行相关性判断。
15.可选地，所述非字符型数据的相关性判断过程包括：对所述非字符型数据进行分段处理，获取若干个非字符型数据段；基于卷积神经网络构建相关性识别模型，将所述非字符型数据段输入所述相关性识别模型，输出每个所述非字符型数据段之间的相关性。
16.可选地，采用并行计算的方式分别对所述字符型数据与所述非字符型数据进行链接的过程包括：
17.根据所述相关性的大小分别对每段所述字符型数据与所述非字符型数据进行排名；获取每组排名的首位数据段与末位数据段；
18.根据相关性的大小，以所述首位数据段为起始点，按照相关性由小到大的方向进行数据链接，同时以所述末位数据段为终点，按照相关性由大到小的顺序进行反向链接。
19.本发明的技术效果为：
20.本发明通过对多源数据进行预处理，提高了数据链接过程的计算速度，通过5g电力物联网监测以及构建平台提高了数据的传输速率，实现了实时数据传输处理，对于不同字符类型的数据分别采用不同的方法辨别相关性，同时提出了一种并行计算的数据链接方式，在数据信息种类复杂的情况下可极大地节省数据链的生成时间，提高了数据信息处理的效率。
附图说明
21.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
22.图1为本发明实施例中的一种基于esim卡和5g网络的多源数据链接方法流程图。
具体实施方式
23.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
24.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
25.实施例一
26.如图1所示，本实施例中提供一种基于esim卡和5g网络的多源数据链接方法，包括以下步骤：
27.数据采集与传输
28.本实施例所采集的数据为多种不同来源的数据，例如不同类型的传感器、数据库灯，因此称为多源数据，这些数据中包含字符属性与非字符属性；
29.监测电网资产类设备所获取的视频、图像、文字与指令等多源数据后，需要对数据进行预处理，将多源数据的类型、格式进行统一整合，关键字匹配是一项在大量的数据中快速实现数据匹配的技术，该方法具有精准匹配，效率高的优势，因此本实施例中采用关键字匹配的方式将多源数据按照数据的类型进行分类，并对不同类型的数据进行格式转换，实现多源数据的格式统一，并且将统一格式后的字符型数据与非字符型数据进行分组。
30.对多源数据进行预处理后，需要构建数据共享服务器实现多源数据的存储与整合，同时为了提高数据的传输速度，我们采用5g技术，通过若干个5g基站将多源数据进行传输至所述数据共享服务器，后续的数据链接部分也将在数据共享服务器中完成，同时esim卡具有便捷高效、成本较小、安全性能较高的优点，因此本实施例通过5g基站以及esim卡实现多源数据的实时传输，与此同时进行数据链接，提高数据的处理效率。
31.数据链接
32.多源数据传输至服务器后，即开始链接过程，本实施例中通过数据的相关性判断实现不同类型的数据链接，由于多源数据中包含字符类型数据以及非字符型数据，因此需要分别进行处理，卷积神经网络一般用于语音识别、自然语言处理、目标识别目等领域，并且卷积神经网络的训练过程普遍需要大量数据集，与本方案采集的大量多源数据相契合，因此本实施例中采用卷积神经网络对多源数据中的非字符型数据进行相关性识别。概率链接通过对两条记录的多个字段分别进行匹配并赋予权重，得到他们来自同一个体的概率，从而进行数据之间的匹配判定，因此我们采用概率链接来判断字符型数据之间的相关性。
33.在一些实施例中，采用卷积神经网络判断非字符型数据的相关性的过程包括：对多源数据中的非字符型数据进行分段处理，获取若干个非字符型数据段；基于卷积神经网络构建相关性识别模型，将若干个非字符型数据段输入所述的相关性识别模型中，输出每个所述非字符型数据段之间的相关性，本实施例中的卷积神经网络包括输入层、卷积层、池化层、全连接层；其中输入层为多源数据的输入部分，卷积层中的每一个节点的输入为上一层神经网络中的各分段数据，大小包括3*3、5*5，在卷积层将各分段非字符型数据进行更加深入的分析从而得到抽象程度更高的特征，池化层通过下采样对卷积层所提取的特征进行降维、去除冗余信息，并对特征进行压缩，以此实现减小计算量，降低内存消耗的作用，全连接层中的每个神经元与其前一层的所有神经元进行全连接，全连接层每个神经元的激励函数采用relu函数，全连接层用于将上层神经网络结构所提取的特征进行整合并输出，即各字符型数据段之间的相关性。
34.在一些实施例中，采用概率链接判断字符型数据的相关性的过程包括：对所述字符型数据进行分段处理，获取若干个字符型数据段；基于概率链接，对每个字符型数据段中的字符进行匹配，判断两个字符来源相同的概率，当两个字符来源相同的概率大于80％时，则判断进行匹配的字符为相同来源，最后根据相同来源的字符数量对若干个所述字符型数据段进行的相关性判断，若相同来源的字符数量最大，则两个字符型数据段的相关性最高，
反之则相关性最低。
35.完成字符型数据与非字符型数据的相关性判断之后，本发明提出一种采用并行计算的方式，分别对字符型数据与非字符型数据进行链接，具体步骤为：
36.按照相关性的大小分别对字符型数据与非字符型数据进行排名，排名完成后获取每组排名的首位数据段与末位数据段。
37.根据相关性的大小，以首位数据段为起始点，按照相关性由小到大的方向进行数据链接，同时以末位数据段为终点，按照相关性由大到小的顺序进行反向链接。
38.上述步骤完成后可分别获取字符数据链与非字符数据链；最后根据字符数据链与非字符数据链即可监测电网资产类设备所获取的视频、图像、文字与指令等多源数据链，完成多源数据的链接。
39.本实施例通过对多源数据进行预处理，提高了数据链接过程的计算速度，通过5g电力物联网监测以及构建平台提高了数据的传输速率，实现了实时数据传输与处理，对于不同字符类型的数据分别采用不同的方法辨别相关性，同时提出了一种并行计算的数据链接方式，在数据信息种类复杂的情况下可极大地节省数据链的生成时间，提高了数据信息处理的效率。由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
40.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。