一种数据发布方法及装置与流程

1.本技术涉及互联网技术领域，具体而言，涉及一种数据发布方法及装置。


背景技术：

2.目前，随着大数据时代的到来，数据越来越被企业所重视。数据的开发过程需要基础服务。现有的数据发布方法，在审核通过情况下，多组数据串行发布，存在线上数据错乱的情况，从而降低了数据发布效率。


技术实现要素：

3.本技术实施例的目的在于提供一种数据发布方法及装置，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
4.本技术实施例第一方面提供了一种数据发布方法，包括：
5.获取待发布的增量数据，并依据预设的下沉树形分类算法对所述增量数据进行处理，得到预发布数据；
6.判断所述预发布数据是否审核通过；
7.如果是，则将线上环境的数据指针直接切换到所述预发布数据进行发布。
8.在上述实现过程中，获取待发布的增量数据；并依据预设的下沉树形分类算法对增量数据进行处理，得到预发布数据；判断预发布数据是否审核通过；如果是，则将线上环境的数据指针直接切换到预发布数据进行发布，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
9.进一步地，所述获取待发布的增量数据，包括：
10.获取线下数据和线上环境当前数据版本的线上数据快照；
11.将所述线下数据与所述线上数据快照进行增量对比，得到增量数据。
12.在上述实施方式中，数据预先形成快照，预发布至线上，审核是基于已经在线上的数据包，解决批量审核通过后并发导致数据混乱问题及审核后发布效率问题。
13.进一步地，所述依据预设的下沉树形分类算法对所述增量数据进行处理，得到预发布数据，包括：
14.根据依赖关系生成所述增量数据的树状结构；
15.将所述增量数据的树状结构中叶子结点进行下沉对齐处理，得到下沉树状结构；
16.依据预设的下沉树形分类算法和所述下沉树状结构对所述增量数据进行数据分类，得到分类后的增量数据；
17.对分类后的所述增量数据进行预发布，得到预发布数据。
18.在上述实施方式中，基于下沉树形结构的分类方法，减少分类数量，提升发布效率。
19.进一步地，所述下沉树形分类算法包括：以所述下沉树状结构的底层叶子结点开始，将每层结点分为一类。
20.进一步地，所述对分类后的所述增量数据进行预发布，得到预发布数据，包括：
21.对分类后的所述增量数据按类进行串行发布得到预发布数据，其中，每一类的内部数据进行并行发布。
22.本技术实施例第二方面提供了一种数据发布装置，所述数据发布装置包括：
23.获取单元，用于获取待发布的增量数据；
24.处理单元，用于依据预设的下沉树形分类算法对所述增量数据进行处理，得到预发布数据；
25.判断单元，用于判断所述预发布数据是否审核通过；
26.发布单元，用于当判断出所述预发布数据审核通过时，则将线上环境的数据指针直接切换到所述预发布数据进行发布。
27.在上述实现过程中，获取单元获取待发布的增量数据；处理单元依据预设的下沉树形分类算法对增量数据进行处理，得到预发布数据；判断单元判断预发布数据是否审核通过；发布单元当判断出预发布数据审核通过时，则将线上环境的数据指针直接切换到预发布数据进行发布，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
28.进一步地，所述获取单元包括：
29.获取子单元，用于获取线下数据和线上环境当前数据版本的线上数据快照；
30.对比子单元，用于将所述线下数据与所述线上数据快照进行增量对比，得到增量数据。
31.进一步地，所述处理单元包括：
32.处理子单元，用于根据依赖关系生成所述增量数据的树状结构；以及将所述增量数据的树状结构中叶子结点进行下沉对齐处理，得到下沉树状结构；
33.分类子单元，用于依据预设的下沉树形分类算法和所述下沉树状结构对所述增量数据进行数据分类，得到分类后的增量数据；
34.发布子单元，用于对分类后的所述增量数据进行预发布，得到预发布数据。
35.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的数据发布方法。
36.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的数据发布方法。
附图说明
37.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
38.图1为本技术实施例提供的一种数据发布方法的流程示意图；
39.图2为本技术实施例提供的另一种数据发布方法的流程示意图；
40.图3是本技术实施例提供的一种下沉树形结构的分类算法的示意图；
41.图4是本技术实施例提供的一种基于预发布的数据审核的示意图；
42.图5是本技术实施例提供的一种线上环境直接切换数据指针到预发布数据的流程示意图；
43.图6为本技术实施例提供的一种数据发布装置的结构示意图。
44.图标：a-树状结构；b-下沉树状结构。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
46.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
47.请参看图1，图1为本技术实施例提供了一种数据发布方法的流程示意图。其中，该数据发布方法包括：
48.s101、获取待发布的增量数据，并依据预设的下沉树形分类算法对增量数据进行处理，得到预发布数据。
49.本技术实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
50.在本技术实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
51.s102、判断预发布数据是否审核通过，如果是，执行步骤s103；如果否，执行步骤s104。
52.s103、将线上环境的数据指针直接切换到预发布数据进行发布。
53.作为进一步可选的实施方式，在根据审核结果判断出预发布数据未审核通过时，还可以包括：
54.根据所述审核结果确定预发布数据未审核通过的原因；
55.输出预发布数据以及未审核通过的原因。
56.在上述实施方式中，可以自动对预发布数据进行审核，以及在审核未通过时，输出未审核通过的原因供管理员查看。
57.s104、输出针对预发布数据审核未通过的提示信息，并结束本流程。
58.作为一种可选的实施方式，当预发布数据没有审核通过时，在输出针对预发布数据审核未通过的提示信息之后，还可以将该预发布数据进行删除处理。
59.本技术实施例中，实施该方法，能够结合数据预先发布和得到的预发布数据的审核，从而保证发布数据的线上准确性。对比现有方案，审核通过后发布过程瞬间完成，不存在审核后数据生成再上线的过程，效率更高，且不会出现数据混淆。
60.可见，实施图1所描述的数据发布方法，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
61.请参看图2，图2为本技术实施例提供了另一种数据发布方法的流程示意图。其中，该数据发布方法包括：
62.s201、获取线下数据和线上环境当前数据版本的线上数据快照。
63.本技术实施例中，数据快照，又称为快照，是指关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。
64.作为一种可选的实施方式，创建一个快照，不同的设备需要不同的命令，但是对于系统来说，基本都包括如下的几个步骤：
65.第一步：发起创建指令。
66.第二步：在发起时间点指定通知系统停止应用程序和文件系统的操作。
67.第三步：创建快照点，创建快照空间。
68.第四步：创建完成之后，释放文件系统和应用程序，系统恢复正常运行。
69.本技术实施例中，采用数据快照的方式，能够进行在线数据备份与恢复，当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据回滚到够格可用的时间点的状态，快照的另一个作用就是为存储用户提供另外一个数据访问通道，当元数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作，所有的存储系统，不论高中低端，只要应用于在线系统，那么快照就成为一个不可或缺的功能。
70.本技术实施例中，采用数据快照的方式，具有高可用性，同时数据快照的文件可以作为备份使用。
71.s202、将线下数据与线上数据快照进行增量对比，得到增量数据。
72.s203、根据依赖关系生成增量数据的树状结构。
73.本技术实施例中，依赖关系亦称“逻辑关系”。一个类使用另一个类的对象作为操作的参数，一个类用另一个类的对象作为它的数据成员，一个类向另一个类发消息等，这样的两个类之间都存在依赖关系。
74.本技术实施例中，树状结构又称为树形结构，是一层次的嵌套结构。一个树形结构的外层和内层有相似的结构，所以这种结构多可以递归的表示。经典数据结构中的各种树状图是一种典型的树形结构：一颗树可以简单的表示为根、左子树、右子树。左子树和右子树还可以有自己的子树。
75.s204、将增量数据的树状结构中叶子结点进行下沉对齐处理，得到下沉树状结构。
76.本技术实施例中，根据增量数据的依赖关系，编排树状结构，然后将树状结构的叶子节点下沉，减少发布分类，提高发布效率。
77.s205、依据预设的下沉树形分类算法和下沉树状结构对增量数据进行数据分类，得到分类后的增量数据。
78.本技术实施例中，下沉树形分类算法包括：以下沉树状结构的底层叶子结点开始，将每层结点分为一类。
79.请一并参阅图3，图3是本技术实施例提供的一种下沉树形结构的分类算法的示意图。如图3所示，根据依赖关系将要发布的增量数据形成树状结构a，然后将树状结构中叶子结点进行下沉对齐，同时，独立服务下沉至最底层，得到下沉树状结构b，进一步地，以底层叶子结点开始，将每层结点分为一类，得到分类结果为：【defg】【c】【b】【a】，然后可以按照分类结果进行数据发布。对比现有方案，由分类【f】【g】【e】【c】【d】【b】【a】7类减少为4类。
80.本技术实施例中，基于下沉树形结构的分类方法，减少分类数量，提升发布效率。
81.s206、对分类后的增量数据按类进行串行发布得到预发布数据，其中，每一类的内部数据进行并行发布。
82.本技术实施例中，如果线上环境当前数据版本为1.0时，线下数据为2.0数据时，则得到的预发布数据为2.0版本数据(即2.0数据包)。
83.本技术实施例中，2.0版本数据发布时，在线上环境当前版本(1.0)数据进行快照，把线下数据和该快照进行增量对比，然后实施上述步骤s203～步骤s206，将增量填充到快照中，形成2.0版本数据。
84.本技术实施例中，实施上述步骤s206，能够对分类后的增量数据进行预发布，得到预发布数据。
85.本技术实施例中，实施上述步骤s203～步骤s206，能够依据预设的下沉树形分类算法对增量数据进行处理，得到预发布数据。数据预先形成的快照，预发布至线上，审核是基于已经在线上的数据包，解决批量审核通过后并发导致数据混乱问题及审核后发布效率问题。
86.在步骤s206之后，还包括以下步骤：
87.s207、判断预发布数据是否审核通过，如果是，执行步骤s209；如果否，则执行步骤s208。
88.本技术实施例中，对于预发布数据的审核，可以直接对预发布数据进行审核，也可以对预发布数据相关联的审核数据进行审核等，对此本技术实施例不作限定。
89.本技术实施例中，对于预发布数据的审核，可以通过审核员人工审核的方式进行审核，也可以通过预先配置审核规则，根据审核规则进行自动审核等，对此本技术实施例不作限定。
90.作为一种可选的实施方式，判断预发布数据是否审核通过，可以包括以下步骤：
91.在将线下数据与线上数据快照进行增量对比的过程中，根据增量数据生成审核数据；其中，该审核数据包括多个增量子数据以及每个增量子数据对应的增量操作；
92.将审核数据与预发布数据进行关联；
93.将审核数据放入审核队列等待审核；
94.判断审核数据是否通过审核；
95.如果是，则确定与审核数据相关联的预发布数据审核通过；
96.如果否，则确定与审核数据相关联的预发布数据审核未通过。
97.在上述实施方式中，增量操作包括新增操作、删除操作、修改操作等，对此本技术实施例不作限定。
98.在上述实施方式中，举例来说，设线下快照某一类数据为：a-2，b，c；线上快照对应这一类数据为：a-1，c，d；则得到的审核数据为：a-修改，b-新增，d-删除。
99.在上述实施方式中，当审核该审核数据为人工审核时，在审核人员审核时，可以看到数据增量详情，相比已有审核方案，大大降低误审核几率，从而提升了审核效率。
100.在上述实施方式中，该审核数据可以为2.0版本引导信息，从而可以将2.0版本引导信息放入审核队列进行审核。
101.作为另一种可选的实施方式，判断预发布数据是否审核通过，可以包括以下步骤：
102.将预发布数据放入审核队列等待审核；
103.判断是否预设有预发布审核规则；
104.如果是，则获取该预发布审核规则；
105.通过该预发布审核规则对预发布数据进行审核，得到审核结果；
106.根据审核结果判断预发布数据是否审核通过。
107.在上述实施方式中，审核人员还可以直接查看预发布数据，并对其进行审核。
108.作为进一步可选的实施方式，在根据审核结果判断出预发布数据未审核通过时，还可以包括：
109.根据所述审核结果确定预发布数据未审核通过的原因；
110.输出预发布数据以及未审核通过的原因。
111.在上述实施方式中，可以自动对预发布数据进行审核，以及在审核未通过时，输出未审核通过的原因供管理员查看。
112.s208、输出针对预发布数据审核未通过的提示信息，并结束本流程。
113.作为一种可选的实施方式，当预发布数据没有审核通过时，在输出针对预发布数据审核未通过的提示信息之后，还可以将该预发布数据进行删除处理。
114.s209、将线上环境的数据指针直接切换到预发布数据进行发布。
115.请一并参阅图4和图5，图4是本技术实施例提供的一种基于预发布的数据审核的示意图，图5是本技术实施例提供的一种线上环境直接切换数据指针到预发布数据的示意图。如图4和图5所示，当2.0版本审核通过，线上环境直接切换数据指针到2.0数据包，以完成发布。
116.本技术实施例中，实施该方法，能够结合数据预先发布以及对预发布数据进行审核，从而保证发布数据的线上准确性。对比现有方案，审核通过后发布过程瞬间完成，不存在审核后数据生成再上线的过程，效率更高，且不会出现数据混淆。如图3所示，依据以上分类结果后的发布序列，按类进行串行发布，每一类内部数据并行发布。
117.可见，实施图2所描述的数据发布方法，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
118.请参看图6，图6为本技术实施例提供的一种数据发布装置的结构示意图。如图6所示，该数据发布装置包括：
119.获取单元310，用于获取待发布的增量数据；
120.处理单元320，用于依据预设的下沉树形分类算法对增量数据进行处理，得到预发布数据；
121.判断单元330，用于判断预发布数据是否审核通过；
122.发布单元340，用于当判断出预发布数据审核通过时，则将线上环境的数据指针直接切换到预发布数据进行发布。
123.作为一种可选的实施方式，获取单元310包括：
124.获取子单元311，用于获取线下数据和线上环境当前数据版本的线上数据快照；
125.对比子单元312，用于将线下数据与线上数据快照进行增量对比，得到增量数据。
126.作为一种可选的实施方式，处理单元320包括：
127.处理子单元321，用于根据依赖关系生成增量数据的树状结构；以及将增量数据的树状结构中叶子结点进行下沉对齐处理，得到下沉树状结构；
128.分类子单元322，用于依据预设的下沉树形分类算法和下沉树状结构对增量数据进行数据分类，得到分类后的增量数据；
129.发布子单元323，用于对分类后的增量数据进行预发布，得到预发布数据。
130.作为一种可选的实施方式，下沉树形分类算法包括：以下沉树状结构的底层叶子结点开始，将每层结点分为一类。
131.作为一种可选的实施方式，发布子单元323，具体用于对分类后的增量数据按类进行串行发布得到预发布数据，其中，每一类的内部数据进行并行发布。
132.可见，实施图6所描述的数据发布装置，能够保证发布数据的线上准确性，避免出现线上数据错乱的情况出现，从而有利于提升发布效率。
133.本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例中任一项数据发布方法。
134.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例中任一项数据发布方法。
135.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
136.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
137.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
139.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
140.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。