一种基于电力用户行为日志大数据传输系统的制作方法

1.本发明涉及大数据传输领域，尤其是一种基于电力用户行为日志大数据传输系统。


背景技术：

2.随着信息技术与人类生活交融和，数据量高速增长，人们迎来大数据时代。大数据作为社会中最活跃的技术创新要素，正在全面重构全球生产、流通、分配、消费等领域，对全球竞争、国家治理、经济发展、产业转型、社会生活等方面产生全面深刻影响。
3.不仅如此，随着社会经济的发展，环境恶化以及能源危机问题的严峻性也不断凸显。在种种严峻的形势下，传统电网存在的不足与缺陷越来越明显，建设经济、高效、可靠、安全、环境友好型的智能电网成为了电力行业发展的必然趋势。智能电网就是电网的智能化，它采用智能输电和配电网进行供电。这种方法的目的是通过电力系统的消耗数据和电力系统运行、维护和规划的动态优化来提高电力系统的性能，实现智能电网高可靠性、高安全性、经济、灵活、高效、实时性和节能环保、用户高参与度等目标。
4.智能电网作为电网发展的主打方向，其具有电流与信息流的双向通信、实时需求响应以及多用户参与等优势，能够对未来新能源的发展提供强有力的支撑。因此，对于智能电网的研究具有非常大的价值。而在智能电网的发展过程中，信息技术的发展起到了重要的作用。然而，目前的研究大多关注于信息化技术对于智能电网新功能的引进，对于信息化给智能电网带来的诸多安全问题则缺少关注。信息技术的引入给电网带来了众多安全问题，如信息收集环节、信息传送环节、电网与用户互动环节均存在各种各样的安全问题。这些问题将严重影响着人们对智能电网的接受程度，从而影响着智能电网的发展。
5.更加具体地，在智能电网的行业建设中，电力企业、用户群体庞大，数据量爆炸。为满足日常的大数据分析和监测，需要进行用户行为日志收集、大数据传输、分析等。而面对海量数据，如何进行数据安全、有效、高速的传输面临着严重考验。


技术实现要素：

6.本发明的目的在于提供一种基于电力用户行为日志大数据传输系统，以解决上述背景技术中提出的问题。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于电力用户行为日志大数据传输系统，其特征在于，包括以下步骤以用于实现所提出的分布式海量文件传输方法：
9.s1：首先，将生产端用户行为日志数据分发至生产端，进行数据按数据源、数据类别分发并记录发送数据量；
10.s2：然后，基于kafka流处理平台进行数据中转，实现数据传输生产端与消费端解耦，并确保消息传输高效可靠；
11.s3：进一步地，将电力用户行为日志传输至消费端，根据数据源、数据类别持久化
到相应数据库，并记录消费数量；
12.s4：数据持久化异常处理：将持久化异常数据进行缓存，并进行异常数据处理；
13.s5：传输数据统计：确认数据传输量正常，预防数据丢失；
14.s6：数据质量核查：自定义数据质量核查规则，对传输数据进行质量核查，确保数据质量；
15.作为本技术方案的进一步改进方案，构建所述的电力用户行为日志大数据传输系统的方法包括：
16.电力用户行为日志大数据传输系统包括生产者数据模块、kafka数据传输模块、数据持久化模块、数据传输量核查模块以及数据质量核查模块。
17.作为本技术方案的进一步改进方案，构建所述的海量数据传输与分发的方法包括：
18.对于海量数据传输，生产者根据数据源分类分为oracle、gbase，根据不同板块以及行为日志类型进行分主题分区发送数据。同时，为防止数据丢失以及数据发送重复、发送异常重试等，对生产者进行优化，确保数据正常安全传输kafka数据传输模块。此外，kafka数据传输模块创建相关主题分区，并根据数据规模进行数据优化，以及数据持久化，防止数据丢失。
19.作为本技术方案的进一步改进方案，构建所述的数据持久化集群模块的方法包括：
20.数据持久化集群模块为消费者消费kafka数据，对数据进行字段非空、特殊字符、敏感信息等内容过滤，并持久化到指定数据库。采用多线程方式并发执行入库，按相关数据源自动匹配，实现多数据源自动分发持久化到数据库。
21.作为本技术方案的进一步改进方案，构建所述的数据传输量核查模块的方法包括：
22.数据传输量核查模块通过系统自动进行生产端发送数据量统计以及消费端持久化导数据库的正常数据、异常数据统计，进行数据比对细化到不同数据源、不同用户行为日志类型，确保数据量的传输正常。
23.作为本技术方案的进一步改进方案，构建所述的数据质量核查模块的方法包括：
24.数据入库成功后，在数据质量核查模块创建相关核查规则，配置核查任务，对空值、无意义的数据进行完整性核查和一致性核查，确保数据在多种数据仓库、应用软件、系统等各种场景中均保持一致；同时，在数据质量核查模块对数据进行唯一性核查，保证在一个字段或者一组字段里的数据与表中其他行的数据相比是唯一的；对数据长度，数据格式，数据精度等进行数据规范核查等。
25.与现有技术相比，本发明的有益效果是：
26.本发明公开了一种基于电力用户行为日志大数据传输系统，通过使用kafka作为中间件进行海量数据中转，消费者数据消费模块对数据进行数据自动校验过滤、去重、异常数据记录处理，多线程并发将数据持久化到响应数据库。数据量核查模块会对生产端数据，接收到的数据以及异常数据进行统计校验，以防数据传输丢失。数据质量核查，可配置核查规则，配置核查任务，对持久化到数据库的数据进行相关规则核查。本发明有效地解决了电力用户行为日志大数据传输数据安全、数据有效、传输速度问题，实现了安全、高效、高速的
数据传输。
27.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
28.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
29.图1为本发明所提出的一种基于电力用户行为日志大数据传输系统的整体架构图；
具体实施方式
30.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
31.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
32.本实施例根据图1所示的整体架构图，分析所述的基于电力用户行为日志大数据传输系统。
33.请参阅附图1所示，一种基于电力用户行为日志大数据传输系统，其特征在于，包括以下步骤以用于实现所提出的分布式海量文件传输方法：
34.s1：首先，将生产端用户行为日志数据分发至生产端，进行数据按数据源、数据类别分发并记录发送数据量；
35.s2：然后，基于kafka流处理平台进行数据中转，实现数据传输生产端与消费端解耦，并确保消息传输高效可靠；
36.s3：进一步地，将电力用户行为日志传输至消费端，根据数据源、数据类别持久化到相应数据库，并记录消费数量；
37.s4：数据持久化异常处理：将持久化异常数据进行缓存，并进行异常数据处理；
38.s5：传输数据统计：确认数据传输量正常，预防数据丢失；
39.s6：数据质量核查：自定义数据质量核查规则，对传输数据进行质量核查，确保数据质量；
40.进一步地，构建所述的电力用户行为日志大数据传输系统的方法包括：
41.电力用户行为日志大数据传输系统包括生产者数据模块、kafka数据传输模块、数据持久化模块、数据传输量核查模块以及数据质量核查模块。
42.进一步地，构建所述的海量数据传输与分发的方法包括：
43.对于海量数据传输，生产者根据数据源分类分为oracle、gbase，根据不同板块以及行为日志类型进行分主题分区发送数据。同时，为防止数据丢失以及数据发送重复、发送
异常重试等，对生产者进行优化，确保数据正常安全传输kafka数据传输模块。此外，kafka数据传输模块创建相关主题分区，并根据数据规模进行数据优化，以及数据持久化，防止数据丢失。
44.进一步地，构建所述的数据持久化集群模块的方法包括：
45.数据持久化集群模块为消费者消费kafka数据，对数据进行字段非空、特殊字符、敏感信息等内容过滤，并持久化到指定数据库。采用多线程方式并发执行入库，按相关数据源自动匹配，实现多数据源自动分发持久化到数据库。
46.进一步地，构建所述的数据传输量核查模块的方法包括：
47.数据传输量核查模块通过系统自动进行生产端发送数据量统计以及消费端持久化导数据库的正常数据、异常数据统计，进行数据比对细化到不同数据源、不同用户行为日志类型，确保数据量的传输正常。
48.进一步地，构建所述的数据质量核查模块的方法包括：
49.数据入库成功后，在数据质量核查模块创建相关核查规则，配置核查任务，对空值、无意义的数据进行完整性核查和一致性核查，确保数据在多种数据仓库、应用软件、系统等各种场景中均保持一致；同时，在数据质量核查模块对数据进行唯一性核查，保证在一个字段或者一组字段里的数据与表中其他行的数据相比是唯一的；对数据长度，数据格式，数据精度等进行数据规范核查等。
50.以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。