基于kafka的人群订阅的方法、系统、终端及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于kafka的人群订阅方法、系统、终端及存储介质。


背景技术：

2.用户画像是真实用户的虚拟代表，是建立在一系列真实数据(marketing data，usability data)之上的目标用户模型，通过用户调研去了解用户，根据他们的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予名字、照片、一些人口统计学要素和场景等描述，就形成了一个人物原型(personas)。
3.现有的技术中用户画像系统目前极其普遍，其中各个团队都在使用公司用户画像系统，同时每个团队只需要本团队中的人群信息；其次不能将所有人群的数据全部发送给所有团队，大部分公司会通过一个存储系统进行存储人群信息，各个团队可以去进行查询再抽取，这样导致时效性不高，并且人群只能在执行完成之后，才能进行数据抽取。
4.因此，现有技术还有待于改进和发展。


技术实现要素：

5.本发明的主要目的在于提供一种基于kafka的人群订阅方法、系统、终端及存储介质，旨在解决现有技术中只能在执行完成后对数据进行抽取及抽取的时效性不高的问题。
6.为实现上述目的，本发明提供一种基于kafka的人群订阅方法，所述基于kafka的人群订阅方法包括如下步骤：
7.获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中；
8.当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群；
9.基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅。
10.可选地，所述的基于kafka的人群订阅方法，其中，所述获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中，具体包括：
11.获取不同人群的人群数据，控制人群生产程序将所述人群数据按照生产的规范和数据的规范发送至kafka中；
12.当所述kafka将接收的所述人群数据进行存储时，接收所述kafka返回不同人群的状态数据，并将所述状态数据标记后存储至关系型数据库管理系统中。
13.可选地，所述的基于kafka的人群订阅方法，其中，所述状态数据包括topic、partition、开始偏移量和结束偏移量。
14.可选地，所述的基于kafka的人群订阅方法，其中，所述当接收订阅页面发送的请
求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群，具体包括：
15.当订阅页面在预设时间内发送查看状态数据的请求时，控制所述关系型数据库管理系统将所有人群的状态数据在所述订阅页面进行展示；
16.基于所述状态数据，在所述订阅页面选择人群进行订阅。
17.可选地，所述的基于kafka的人群订阅方法，其中，所述基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅，具体包括：
18.基于订阅的所述人群，根据所述人群的标识从所述关系型数据库管理系统中获取所述人群对应的目标状态数据；
19.基于所述目标状态数据启动人群消费程序，控制所述人群消费程序向所述kafka发送获取所述人群的人群数据请求；
20.当所述人群消费程序接收所述人群数据时，控制所述人群消费程序将人群订阅成功的状态发送至所述订阅页面。
21.可选地，所述的基于kafka的人群订阅方法，其中，所述人群数据包括明细数据和结束符号。
22.可选地，所述的基于kafka的人群订阅方法，其中，所述预设时间为5-20s。
23.可选地，所述的基于kafka的人群订阅方法，其中，所述基于kafka的人群订阅系统包括：
24.订阅模块，用于订阅人群、查看人群的执行状态和人群在kafka中的状态数据；
25.生产人群模块，用于按照生产的规范以及数据的规范将人群数据发送至kafka和返回人群的状态数据；
26.kafka模块，用于分区存储人群数据；
27.消费人群模块，用于获取订阅的人群中的状态数据，并将所述状态数据进行人群的数据消费。
28.此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于kafka的人群订阅程序，所述基于kafka的人群订阅程序被所述处理器执行时实现如上所述的基于kafka的人群订阅方法的步骤。
29.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于kafka的人群订阅程序，所述基于kafka的人群订阅程序被处理器执行时实现如上所述基于kafka的人群订阅方法的步骤。
30.本发明通过获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中；当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群；基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅。本发明通过各个团队在使用用户画像系统时，采取订阅的方式，就能够获取所需要的人群进行数据抽取，并且订阅可以在人群执行之前或人群执行完成之后。
附图说明
31.图1是本发明中基于kafka的人群订阅方法的较佳实施例的流程图；
32.图2是本发明中基于kafka的人群订阅方法的较佳实施例中步骤s10的流程图；
33.图3是本发明中基于kafka的人群订阅方法的生产与订阅的时序示意图；
34.图4是本发明中基于kafka的人群订阅方法的较佳实施例中步骤s20的流程图；
35.图5是本发明中基于kafka的人群订阅方法的较佳实施例中步骤s30的流程图；
36.图6是本发明中基于kafka的人群订阅方法的消费与订阅的时序示意图；
37.图7是本发明中基于kafka的人群订阅系统的较佳实施例的原理示意图；
38.图8为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
39.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
40.需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
41.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
42.本发明较佳实施例所述的基于kafka的人群订阅方法，如图1所示，所述基于kafka的人群订阅方法包括以下步骤：
43.步骤s10、获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中。
44.具体过程请参阅图2，其为本发明提供的基于kafka的人群订阅方法中步骤s10的流程图。
45.如图2所示，所述步骤s10包括：
46.步骤s11、获取不同人群的人群数据，控制人群生产程序将所述人群数据按照生产的规范和数据的规范发送至kafka中；
47.步骤s12、当所述kafka将接收的所述人群数据进行存储时，接收所述kafka返回不同人群的状态数据，并将所述状态数据标记后存储至关系型数据库管理系统中。
48.具体地，如图3所示，用户启动人群生产程序，通过所述人群生产程序将获取的不同人群的人群数据(所述人群数据中包括明细数据和结束符号)，按照生产的规范和数据的规范发送至kafka(消息队列工具)中；当所述kafka将接收的所述人群数据进行存储时，所述kafka返回不同人群的状态数据(所述状态数据为topic、partition、开始offset(开始偏
移量)和结束offset(结束偏移量))至所述人群生产程序，所述人群生产程序将topic、partition、开始偏移量和结束偏移量标记后存储至mysql(关系型数据库管理系统)中；当订阅页面向所述关系型数据库管理系统发送请求所有人群的topic、partition、开始偏移量和结束偏移量的指令时，所述关系型数据库管理系统在所述订阅页面展示所有人群的topic、partition、开始偏移量和结束偏移量，用户想获得人群的topic、partition、开始偏移量和结束偏移量，可通过接口(例如，http接口)去调用。
49.步骤s20、当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群。
50.具体过程请参阅图4，其为本发明提供的基于kafka的人群订阅方法中步骤s20的流程图。
51.如图4所示，所述步骤s20包括：
52.步骤s21、当订阅页面在预设时间内发送查看状态数据的请求时，控制所述关系型数据库管理系统将所有人群的状态数据在所述订阅页面进行展示；
53.步骤s22、基于所述状态数据，在所述订阅页面选择人群进行订阅。
54.具体地，当订阅页面在预设时间(例如，5-20s，在本发明实施例中为10s)内向所述关系型数据库管理系统发送查看人群的topic、partition、开始偏移量和结束偏移量的请求时，所述关系型数据库管理系统将所有人群的topic、partition、开始偏移量和结束偏移量在所述订阅页面进行展示，并在所述订阅页面选择人群进行订阅。
55.步骤s30、基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅。
56.具体过程请参阅图5，其为本发明提供的基于kafka的人群订阅方法中步骤s30的流程图。
57.如图5所示，所述步骤s20包括：
58.步骤s31、基于订阅的所述人群，根据所述人群的标识从所述关系型数据库管理系统中获取所述人群对应的目标状态数据；
59.步骤s32、基于所述目标状态数据启动人群消费程序，控制所述人群消费程序向所述kafka发送获取所述人群的人群数据请求；
60.步骤s33、当所述人群消费程序接收所述人群数据时，控制所述人群消费程序将人群订阅成功的状态发送至所述订阅页面。
61.具体地，如图6所示，用户在所述订阅页面订阅人群m，所述订阅页面根据所述人群m的标识，查询所述关系型数据库管理系统来获取所述人群m对应的topic、partition、开始offseth和结束offset，并启动人群消费程序，所述人群消费程序开始读取所述人群m之后，向所述kafka发送获取所述人群m的人群数据请求；所述kafka在接受所述请求后，将所述人群m的人群数据发送至所述人群消费程序，所述人群消费程序开始接收所述人群m的信息，并在将所述人群m的所有信息读取完成之后，将所述人群m订阅成功的状态发送至所述订阅页面被用户看到。
62.进一步地，如图7所示，基于上述基于kafka的人群订阅方法，本发明还相应提供了基于kafka的人群订阅系统，所述基于kafka的人群订阅系统包括：
63.订阅模块51，用于订阅人群、查看人群的执行状态和人群在kafka中的状态数据；
64.生产人群模块52，用于按照生产的规范以及数据的规范将人群数据发送至kafka和返回人群的状态数据；
65.kafka模块53，用于分区存储人群数据；
66.消费人群模块54，用于获取订阅的人群中的状态数据，并将所述状态数据进行人群的数据消费。
67.进一步地，如图8所示，基于上述基于kafka的人群订阅方法，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30；图8仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
68.所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于kafka的人群订阅程序40，该基于kafka的人群订阅程序40可被处理器10所执行，从而实现本技术中基于kafka的人群订阅方法。
69.所述处理器10在一些实施例中可以是一中央处理器(central processing unit，cpu)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于kafka的人群订阅方法等。
70.所述显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
71.在一实施例中，当处理器10执行所述存储器20中分屏窗口的界面显示程序40时实现以下步骤：
72.获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中；
73.当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群；
74.基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅。
75.其中，所述获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中，具体包括：
76.获取不同人群的人群数据，控制人群生产程序将所述人群数据按照生产的规范和数据的规范发送至kafka中；
77.当所述kafka将接收的所述人群数据进行存储时，接收所述kafka返回不同人群的状态数据，并将所述状态数据标记后存储至关系型数据库管理系统中。
78.其中，所述状态数据包括topic、partition、开始偏移量和结束偏移量。
79.其中，所述当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群，具体包括：
80.当订阅页面在预设时间内发送查看状态数据的请求时，控制所述关系型数据库管理系统将所有人群的状态数据在所述订阅页面进行展示；
81.基于所述状态数据，在所述订阅页面选择人群进行订阅。
82.其中，所述基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅，具体包括：
83.基于订阅的所述人群，根据所述人群的标识从所述关系型数据库管理系统中获取所述人群对应的目标状态数据；
84.基于所述目标状态数据启动人群消费程序，控制所述人群消费程序向所述kafka发送获取所述人群的人群数据请求；
85.当所述人群消费程序接收所述人群数据时，控制所述人群消费程序将人群订阅成功的状态发送至所述订阅页面。
86.其中，所述人群数据包括明细数据和结束符号。
87.其中，所述预设时间为5-20s。
88.本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于kafka的人群订阅程序，所述基于kafka的人群订阅程序被处理器执行时实现如上所述基于kafka的人群订阅方法的步骤。
89.综上所述，本发明提供一种基于kafka的人群订阅方法、系统、终端及存储介质，所述方法包括：获取不同人群的人群数据，控制人群生产程序将所述人群数据发送至kafka，并接收所述kafka返回的状态数据，将所述状态数据存储至关系型数据库管理系统中；当接收订阅页面发送的请求时，将所述状态数据在所述订阅页面进行展示，并在所述订阅页面中订阅人群；基于所述人群，获取所述关系型数据库管理系统中所述人群对应的目标状态数据，并将所述目标状态数据发送至所述kafka中进行消费，以完成所述人群的订阅。本发明通过各个团队在使用用户画像系统时，采取订阅的方式，就能够获取所需要的人群进行数据抽取，并且订阅可以在人群执行之前或人群执行完成之后。
90.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
91.当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
92.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保
护范围。