一种数据建模管理方法、平台和存储介质、设备与流程

1.本技术涉及数据分析技术领域，特别是涉及一种数据建模管理方法、平台和存储介质、设备。


背景技术：

2.现今业界内确切有比较成熟的数据建模工具，这些工具可提供规范的数据模型设计解决方案，支持可视化界面管理数据模型。但是这些工具，都是纯粹的进行数据模型建模，在整个数据交付流程中只占据了建模设计这一个环节，所以数据模型设计、模型评审、模型检视等环节相互割裂，流程不能在一个系统中统一，导致整个建模流程花费大量时间和精力，并且模型质量并不理想。


技术实现要素：

3.本技术至少提供一种数据建模管理方法、平台和存储介质、设备，提高模型设计的便捷性、开发效率和交付质量。
4.本技术第一方面提供了一种数据建模管理方法，包括：
5.运行开发系统以接入存储在管理系统中的标准规范，并进行数据建模，得到数据模型；
6.将根据标准规范建立的数据模型导入管理系统；
7.运行管理系统以将不符合标准规范的数据模型返回至开发系统；
8.运行开发系统以将数据模型进行重新调整，以使数据模型符合标准规范。
9.其中，上述方法还包括：在运行开发系统以接入存储在管理系统中的标准规范，并进行数据建模时，开发系统向管理系统反馈标准规范的缺陷，管理系统根据反馈更新标准规范。
10.其中，运行管理系统以将不符合标准规范的数据模型返回至开发系统，运行开发系统将数据模型进行重新调整以使数据模型符合标准规范包括：
11.运行开发系统将建立好的数据模型导入管理系统以使管理系统对数据模型进行评审；
12.运行管理系统将评审出的不符合标准规范的数据模型返回至开发系统，符合标准规范的数据模型则投产使用；
13.运行管理系统对投产使用的数据模型进行检视，根据投产使用的数据模型中不符合标准规范的数据模型中的不符合标准规范的内容生成整改清单，将整改清单及数据模型返回至开发系统。
14.其中，运行管理系统对投产使用的数据模型进行检视还包括：运行管理系统，根据标准规范对投产使用的数据模型定期进行检视，将不符合标准规范的数据模型进行公示，形成公示清单并将数据模型返回至开发系统来重新调整数据模型。
15.其中，标准规范包括数据标准规范和模型标准规范，数据标准规范用于约束数据
模型中的数据以保证数据的合法性，模型标准规范用于约束数据模型以提高数据模型的可读性。
16.其中，数据标准规范包括词根命名规范和词根码值规范，根据词根命名规范和词根码值规范建立词根库，利用词根库进行数据建模，词根库的词根参数包括词根中文名称、英文名称、业务定义、英文简称、建立人、建立时间。
17.其中，模型标准规范包括模型命名规范，模型命名规范用于表明数据模型的归属、含义。
18.本技术的第二方面提供了一种数据建模管理平台，包括管理系统和开发系统，开发系统与管理系统之间可进行数据交互，其中，数据建模管理平台用于执行上述的数据建模管理方法。
19.本技术的第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述的数据建模管理方法。
20.本技术的第四方面提供了一种非易失性计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述的数据建模管理方法。
21.上述方案，通过管理系统和开发系统的交互，并通过标准规范约束数据模型的开发，将不符合标准规范的数据模型再返回开发系统重新调整，提高了数据模型的质量，开发效率和流程的统一性。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
24.图1是本技术一种数据建模管理方法一实施例的主要流程示意图。
25.图2是本技术的数据建模管理平台一实施例的结构示意图。
26.图3是本技术一种数据建模管理方法一实施例的流程示意图。
27.图4是本技术一种数据建模管理方法的整改清单一实施例的示意图。
28.图5是本技术电子设备一实施例的框架示意图。
29.图6是本技术非易失性计算机可读存储介质实施例的框架示意图。
具体实施方式
30.下面结合说明书附图，对本技术实施例的方案进行详细说明。
31.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
32.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意
一个或多个元素。
33.请参阅图1及图3，图1是本技术实施例的一种数据建模管理方法的主要流程示意图，图3是本技术一种数据建模管理方法一实施例的流程示意图。具体而言，可以包括如下步骤：
34.s1：运行开发系统以接入存储在管理系统中的标准规范，并进行数据建模，得到数据模型。
35.标准规范包括数据标准规范和模型标准规范，数据标准规范用于约束数据模型中的数据以保证数据的合法性。合法性包括：字段名是词根库中的现有字段名，字段长度在数据标准规范允许的范围内。数据标准规范包括词根命名规范和词根码值规范，根据词根命名规范和词根码值规范建立词根库，利用词根库进行数据建模，词根库的词根参数包括词根中文名称、英文名称、业务定义、英文简称、建立人、建立时间，例如，词根库可以设计为如下表格所示：
[0036][0037]
词根库的词根参数还可以根据实际需要设计，比如加入数据类型参数等，在此不作限定。将根据词根命名规范和词根码值规范定义的常用词根的词根参数预先存储在词根库中，在运行开发系统进行数据建模时可以直接调用词根库；此外，在运行开发系统进行数据建模时若发现词根库中不存在想要使用的词根，则可以申请在现有词根库中添加词根，从而使词根库更加完善。添加词根的申请需要得到管理人员的批准。词根库作为标准规范的一部分，也用于约束数据模型使数据模型满足标准规范的要求。
[0038]
模型标准规范用于约束数据模型以提高数据模型的可读性。模型标准规范包括模型命名规范，模型命名规范用于表明数据模型的归属、含义。例如，模型命名字段包括：数据层次简称、业务条线英文简称、数据主题英文简称、二级数据主题英文简称、数据内容英文简称、数据同步方式及频度，将上述命名字段以一定的次序排列组成模型名，通过模型名就可以明确得知模型的归属以及其同步方式是增量还是全量。命名字段的排列次序以便于人读取信息为准，例如，将常用的字段排在较前位置，还可采取其他次序，在此也不作限定。模型命名规范还可以包括其他命名，如所属数据库级次等，在此不作限定。
[0039]
其中，在运行开发系统以接入存储在管理系统中的标准规范，并进行数据建模时，开发系统向管理系统反馈标准规范的缺陷，管理系统根据反馈更新标准规范。例如，在开发实践过程中，发现在标准规范的词根库中没有找到与需要的字段相应的命名，或者命名规范不合理及覆盖不全面的情况，就可以向管理系统申请调整标准规范，从而在开发实践过程中不断更新完善标准规范，以在后续的开发过程中提高开发效率和模型质量。管理系统中的标准规范更新后，后续的其他数据模型的建模及评审、检视、整改都会依照更新后的标
准规范。
[0040]
s2：将根据标准规范建立的数据模型导入管理系统；通过管理系统与开发系统的联通，使数据建模的开发和管理等各个流程统一起来，并且在同一个标准规范下进行数据建模的开发和管理，提高了数据建模的质量和开发效率。
[0041]
s3：运行管理系统以将不符合标准规范的数据模型返回至开发系统；
[0042]
s4：运行开发系统以将数据模型进行重新调整，以使数据模型符合标准规范。
[0043]
其中，步骤s3和s4包括：步骤s2中运行开发系统将建立好的数据模型导入管理系统后，运行管理系统对数据模型进行评审；管理系统对数据模型进行评审时，会调用标准规范，根据标准规范对数据模型进行评审，自动检测数据模型中不符合标准规范的部分并对判定为不符合标准规范的部分进行标识，评审人员可以对管理系统识别出来的不符合标准规范的数据模型中不符合标准规范的部分进行复核，若确认是不符合标准规范则运行管理系统将评审出的不符合标准规范的数据模型返回至开发系统；若由管理系统自动评审后判定或者人工判定为符合标准规范的数据模型则投产使用，投产使用的数据模型都将被上传至数据库中。
[0044]
运行管理系统对投产使用的数据模型进行检视，在实际应用中，数据库中的数据模型包括使用本技术的数据建模管理方法生成的数据模型和未使用本技术的数据建模管理方法生成的数据模型，通常检视不符合标准规范的数据模型大多是未使用本技术的数据建模管理方法生成的数据模型，因此，对数据库中的投产使用的数据模型进行检视可以进一步提高数据模型的质量。
[0045]
其中，运行管理系统对投产使用的数据模型进行检视还包括：运行管理系统，根据标准规范对投产使用的数据模型定期进行检视，将不符合标准规范的数据模型进行公示，形成公示清单并将数据模型返回至开发系统来重新调整数据模型。请参照图4，图4是本技术一种数据建模管理方法的整改清单一实施例的示意图，公示清单触发管理系统的整改机制，根据投产使用的数据模型中不符合标准规范的数据模型中的不符合标准规范的内容生成整改清单，将整改清单及数据模型返回至开发系统。其中，公示清单可以如下所示的列表：
[0046][0047]
经管理系统检视不符合标准规范的数据模型及生成的整改清单返回至开发系统后，开发系统根据整改清单对数据模型进行调整，也可以由开发人员根据整改清单对数据模型进行调整，以使其符合标准规范。
[0048]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0049]
请参阅图2，图2是本技术的数据建模管理平台20一实施例的结构示意图。数据建模管理平台20包括开发系统21和管理系统22，开发系统21与管理系统22之间可进行数据交互，其中，数据建模管理平台20用于执行上述的数据建模管理方法。
[0050]
请参阅图5，图5是本技术电子设备30一实施例的框架示意图。电子设备30包括相互耦接的存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述数据建模管理方法实施例的步骤。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
[0051]
具体而言，处理器32用于控制其自身以及存储器31以实现上述数据建模管理方法实施例的步骤。处理器32还可以称为cpu(central processing unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。
[0052]
请参阅图6，图6为本技术非易失性计算机可读存储介质40一实施例的框架示意图。非易失性计算机可读存储介质40存储有能够被处理器运行的程序指令401，程序指令401用于实现上述数据建模管理方法实施例的步骤。
[0053]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0054]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0055]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0056]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0057]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，
read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。