用于燃气用户标签生成的方法、装置、设备及介质与流程

1.本技术涉及大数据技术领域，特别涉及一种用于燃气用户标签生成的方法、装置、设备及介质。


背景技术：

2.燃气企业用于大量的民用户、工商户用户，企业经过多年的信息化建设，沉淀了大量的数据，也拥有大量用户资产，但是大量的数据、用户资产处于贡献低、活跃低的状态，并且各企业间数据难以形成合力，用户标签急待丰富，激活用户价值，增加用户粘性和创值收入，实现业务精细化运营。用户标签全方位标记用户的个性化属性，通过输入合同号即可查询用户的全部标签信息，也可根据标签筛选出相应的用户群。在用户标签部署过程中，企业用户产生和应用的数据量日益增大，海量用户数据的出现和数据结构的多样化。
3.然而，基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求，亟待解决。


技术实现要素：

4.本技术提供一种用于燃气用户标签生成的方法、装置、设备及介质，以解决相关技术中基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求的问题，对外提供更高效的查询服务能力。
5.本技术第一方面实施例提供一种用于燃气用户标签生成的方法，包括以下步骤：
6.将采集的燃气用户数据输入至hadoop平台中；
7.基于至少一个预设业务场景，根据所述燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签；以及
8.由所述每个燃气用户的燃气用户标签生成标签高表，并基于所述标签高表及预设标签规则对所述每个燃气用户进行圈群，得到所述每个用户的管理信息。
9.可选地，所述根据所述燃气用户数据生成每个燃气用户的燃气用户标签，包括：
10.利用所述hadoop平台对所述燃气用户数据进行分析，得到所述每个燃气用户的至少一个标签宽表；
11.确定每个标签宽表与所述每个燃气用户的身份标识之间的映射关系。
12.可选地，所述由所述每个燃气用户的燃气用户标签生成标签高表，包括：
13.基于所述至少一个标签宽表生成对应的标签序号；
14.根据所述至少一个标签宽表、所述身份标识、所述标签序号及对应的标签值得到所述每个用户的基础标签数据，并将所述基础标签数据写入所述hadoop平台的分布式存储系统，生成所述标签高表。
15.可选地，所述生成所述标签高表，包括：
16.将所述身份标识信息和对应的标签序号作为存储表的主键，并将一行数据值存储为所述标签值，以将所述至少一个标签宽表转换成对应的标签高表。
17.可选地，还包括：
18.以所述身份标识信息为索引，所述标签高表为树形存储至预设数据库中，以利用所述预设数据库执行标签数据服务的查询指令。
19.本技术第二方面实施例提供一种用于燃气用户标签生成的装置，包括：
20.输入模块，用于将采集的燃气用户数据输入至hadoop平台中；
21.生成模块，用于基于至少一个预设业务场景，根据所述燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签；以及
22.获取模块，用于由所述每个燃气用户的燃气用户标签生成标签高表，并基于所述标签高表及预设标签规则对所述每个燃气用户进行圈群，得到所述每个用户的管理信息。
23.可选地，所述生成模块，具体用于：
24.利用所述hadoop平台对所述燃气用户数据进行分析，得到所述每个燃气用户的至少一个标签宽表；
25.确定每个标签宽表与所述每个燃气用户的身份标识之间的映射关系。
26.可选地，所述获取模块，具体用于：
27.基于所述至少一个标签宽表生成对应的标签序号；
28.根据所述至少一个标签宽表、所述身份标识、所述标签序号及对应的标签值得到所述每个用户的基础标签数据，并将所述基础标签数据写入所述hadoop平台的分布式存储系统，生成所述标签高表。
29.可选地，所述获取模块，具体用于：
30.将所述身份标识信息和对应的标签序号作为存储表的主键，并将一行数据值存储为所述标签值，以将所述至少一个标签宽表转换成对应的标签高表。
31.可选地，还包括：
32.存储模块，用于以所述身份标识信息为索引，所述标签高表为树形存储至预设数据库中，以利用所述预设数据库执行标签数据服务的查询指令。
33.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的用于燃气用户标签生成的方法。
34.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的用于燃气用户标签生成的方法。
35.由此，本技术实施例的用于燃气用户标签生成的方法，具有以下优点：
36.(1)基于hadoop分布式技术的燃气用户标签生成方法的好处是实现了用户个性化特征信息的标签化，能有效加速企业标签体系的构建速度，更快响应业务需求，提高了燃气企业在自有业务推荐、激活用户价值，增加用户粘性和创值收入的能力。
37.(2)系统基于分布式计算存储引擎，支持海量的标签数据和高并发查询服务，满足绝大部分使用场景。
38.(3)phoenix的引入，具备支持正向/反向的双向查询能力，包括，正向查询即根据用户合同号，查询用户部分或者全部标签；反向查询即以标签为维度，筛选出具备该标签特征的用户群体.
39.(4)基于hdfs存储下来的海量标签数据，可以使用spark框架结合协同过滤算法、
决策树、关联分析算法、聚类算法等，进行标签智能推荐。
40.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
41.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
42.图1为根据本技术实施例提供的一种用于燃气用户标签生成的方法的流程图；
43.图2为根据本技术一个具体实施例的用于燃气用户标签生成的方法的流程图；
44.图3为根据本技术实施例的用于燃气用户标签生成的装置的示例图；
45.图4为根据本技术实施例的电子设备的示例图。
具体实施方式
46.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
47.下面参考附图描述本技术实施例的用于燃气用户标签生成的方法、装置、设备及介质。针对上述背景技术中心提到的基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求的问题，本技术提供了一种用于燃气用户标签生成的方法，在该方法中，可以将采集的燃气用户数据输入至hadoop平台中，并基于至少一个预设业务场景，根据燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签，并由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息。由此，解决了相关技术中基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求的问题，对外提供更高效的查询服务能力。
48.具体而言，图1为本技术实施例所提供的一种用于燃气用户标签生成的方法的流程示意图。
49.如图1所示，该用于燃气用户标签生成的方法包括以下步骤：
50.在步骤s101中，将采集的燃气用户数据输入至hadoop平台中。
51.其中，hadoop是一个分布式系统基础架构，由apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。hadoop由许多元素构成。其最底部是hdfs(hadoopdistributedfilesystem，分布式文件系统)，它存储hadoop集群中所有存储节点上的文件；apacheyarn(yetanotherresourcenegotiator，应用资源管理框架)是hadoop集群资源管理器系统，yarn从hadoop2引入，最初是为了改善mapreduce的实现，但是它具有通用性，同样执行其他分布式计算模式，如flink，spark，tez，mapreduce等；
52.具体而言，本技术实施例可以通过sqoop或者datax将业务系统的燃气用户数据采集到hdfs里。需要说明的是，sqoop是一款开源的工具，主要用于在hadoop(hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如：mysql，oracle，postgres等)中的数据导进到hadoop的hdfs中，也可以将hdfs的数据导进到
关系型数据库中。
53.在步骤s102中，基于至少一个预设业务场景，根据燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签。
54.可选地，在一些实施例中，根据燃气用户数据生成每个燃气用户的燃气用户标签，包括：利用hadoop平台对燃气用户数据进行分析，得到每个燃气用户的至少一个标签宽表；确定每个标签宽表与每个燃气用户的身份标识之间的映射关系。
55.可以理解的是，本技术实施例可以根据不同的业务场景，使用hive进行数据分析统计，形成体现用户个性化特征的各种标签宽表；本技术实施例可以在hive的宽表中以企业和用户之间签订的合同号作为用户唯一标识。
56.需要说明的是，hive是基于hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供sql(structuredquerylanguage，结构化查询语言)查询功能，能将sql语句转变成mapreduce任务来执行。hive的优点是学习成本低，可以通过类似sql语句实现快速mapreduce统计，使mapreduce变得更加简单，而不必开发专门的mapreduce应用程序。hive十分适合对数据仓库进行统计分析。
57.在步骤s103中，由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息。
58.可选地，在一些实施例中，由每个燃气用户的燃气用户标签生成标签高表，包括：基于至少一个标签宽表生成对应的标签序号；根据至少一个标签宽表、身份标识、标签序号及对应的标签值得到每个用户的基础标签数据，并将基础标签数据写入hadoop平台的分布式存储系统，生成标签高表。
59.其中，在一些实施例中，生成标签高表，包括：将身份标识信息和对应的标签序号作为存储表的主键，并将一行数据值存储为标签值，以将至少一个标签宽表转换成对应的标签高表。
60.具体地，本技术实施例可以根据实际配置，将上述步骤中生成的标签宽表里列生成标签序号，并将用户标签主要包含合同号、标签序号、标签值的数据通过phoenixjdbc接口写入到hbase里。phoenix能基于sql的方式访问操作hbase里的数据，本技术实施例将合同号、标签序号作为hbase表的主键，一行数据值存储一个标签值，将hive里宽表转换成hbase里的高表。
61.进一步地，基于上述生成的基础标签数据，本技术实施例可以配置标签规则，进行用户圈群，定义新的标签，这些都基于phoenix的sql查询来实现。
62.需要说明的是，datax是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(如mysql、oracle等)、hdfs、hive、odps(opendataprocessingservice，开发数据处理服务)、hbase、ftp(filetransferprotocol，文件传输协议)等各种异构数据源之间稳定高效的数据同步功能；
63.hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用hbase技术可在廉价pcserver上搭建起大规模结构化存储集群，hbase是apache的hadoop项目的子项目，数据存储在hdfs上。hbase不同于一般的关系数据库，它是一个适合于非结构化数据
存储的数据库；
64.phoenix是一个java中间层，可以让开发者在apachehbase上执行sql查询。查询引擎可以sql查询转换为一个或多个hbasescan，并编排执行以生成标准的jdbc结果集。对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒；
65.redis是一个高性能的key-value数据库，能提供高并发，低延迟的查询写入能力。
66.可选地，在一些实施例中，还包括：以身份标识信息为索引，标签高表为树形存储至预设数据库中，以利用预设数据库执行标签数据服务的查询指令。
67.应当理解的是，虽然hbase也可以提供高并发、低延迟的查询，但是hbase容易出现抖动，在本技术进行标签计算，圈群的时候可能会影响对外的服务查询，本技术实施例可以将业务系统需要使用到的标签数据以合同号为key，标签集合为value的结构存储到redis中，对外提供更高效的查询服务能力。
68.此外，基于phoenix+hbase实现这一块，本技术实施例可以用elastic search或者clickhouse、doris其他高效的存储引擎来实现，对应的redis这一块也可以其他的高效缓存来替代，如tendis，tair，memcached等。
69.为便于本领域技术人员进一步了解本技术实施例的用于燃气用户标签生成的方法，下面结合图2进行详细说明。
70.如图2所示，业务系统中一般可以包括有交易系统、商机系统、维保系统等，本技术实施例可以通过datax或者aqoop将业务系统的燃气用户数据采集到hdfs里，基于多个预设业务场景，利用hadoop平台对燃气用户数据进行分析，得到每个燃气用户的多个标签宽表，从而确定每个标签宽表与每个燃气用户的身份标识之间的映射关系，然后由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息，最终以身份标识信息为索引，标签高表为树形存储至预设数据库中，以利用预设数据库执行标签数据服务的查询指令。
71.根据本技术实施例提出的用于燃气用户标签生成的方法，可以将采集的燃气用户数据输入至hadoop平台中，并基于至少一个预设业务场景，根据燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签，并由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息。由此，解决了相关技术中基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求的问题，对外提供更高效的查询服务能力。
72.其次参照附图描述根据本技术实施例提出的用于燃气用户标签生成的装置。
73.图3是本技术实施例的用于燃气用户标签生成的装置的方框示意图。
74.如图3所示，该用于燃气用户标签生成的装置10包括：输入模块100、生成模块200和获取模块300。
75.其中，输入模块100用于将采集的燃气用户数据输入至hadoop平台中；
76.生成模块200用于基于至少一个预设业务场景，根据燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签；以及
77.获取模块300用于由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息。
78.可选地，生成模块，具体用于：
79.利用hadoop平台对燃气用户数据进行分析，得到每个燃气用户的至少一个标签宽表；
80.确定每个标签宽表与每个燃气用户的身份标识之间的映射关系。
81.可选地，获取模块300具体用于：
82.基于至少一个标签宽表生成对应的标签序号；
83.根据至少一个标签宽表、身份标识、标签序号及对应的标签值得到每个用户的基础标签数据，并将基础标签数据写入hadoop平台的分布式存储系统，生成标签高表。
84.可选地，获取模块300具体用于：
85.将身份标识信息和对应的标签序号作为存储表的主键，并将一行数据值存储为标签值，以将至少一个标签宽表转换成对应的标签高表。
86.可选地，还包括：
87.存储模块，用于以身份标识信息为索引，标签高表为树形存储至预设数据库中，以利用预设数据库执行标签数据服务的查询指令。
88.需要说明的是，前述对用于燃气用户标签生成的方法实施例的解释说明也适用于该实施例的用于燃气用户标签生成的装置，此处不再赘述。
89.根据本技术实施例提出的用于燃气用户标签生成的装置，可以将采集的燃气用户数据输入至hadoop平台中，并基于至少一个预设业务场景，根据燃气用户数据中的个性化属性生成每个燃气用户的燃气用户标签，并由每个燃气用户的燃气用户标签生成标签高表，并基于标签高表及预设标签规则对每个燃气用户进行圈群，得到每个用户的管理信息。由此，解决了相关技术中基于关系型数据库的处理方法已无法满足现有业务数据存储和处理需求的问题中，对外提供更高效的查询服务能力。
90.图4为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
91.存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
92.处理器402执行程序时实现上述实施例中提供的用于燃气用户标签生成的方法。
93.进一步地，电子设备还包括：
94.通信接口403，用于存储器401和处理器402之间的通信。
95.存储器401，用于存放可在处理器402上运行的计算机程序。
96.存储器401可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
97.如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
98.可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
99.处理器402可能是一个中央处理器(central processing unit，简称为cpu)，或者
是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
100.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的用于燃气用户标签生成的方法。
101.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
102.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
103.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
104.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
105.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
106.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步
骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
107.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
108.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。