元数据管理方法、装置及系统的制作方法
【技术领域】
[0001] 本发明实施例设及大数据处理技术领域，尤其设及一种元数据管理方法、装置及 系统。
【背景技术】
[0002] 随着信息技术的快速发展，大数据平台产品中需要管理的数据(例如，日志数据、 基础数据、全文数据、对象数据、统计数据等等)类别不断增多，数量也在不断的增大，并且 变得非常复杂，使得对运些数据的管理变得更加的重要和困难。
[0003] 但是面对来自现实和网络中的海量数据，应该怎样高效地管理好运些数据，又该 如何很好地利用好运些数据，解决运些问题已经非常的急迫和重要，不然大量的数据信息 就不能派上用场，或者是浪费大量的时间来管理运些数据。当前大数据产品在面对种类繁 多、数量巨大的严峻挑战，暴露出如下几方面严重的问题：
[0004] 数据在各个业务组件中重复性的描述;数据在各个业务组件中不一致的描述;各 个业务组件在理解和使用新数据时，需要大量人工投入;数据扩展性差，增加新数据时，需 要修改大量程序代码才能得到支持;配置文件、说明文档等低效的管理方式不能实时地、准 确地管理数据。
【发明内容】
[0005] 本发明实施例提供一种元数据管理方法、装置及系统，W实现大数据的可视化管 理，有效提高数据管理效率。
[0006] 第一方面，本发明实施例提供了一种元数据管理方法，包括：
[0007] 采用元数据格式对业务数据进行描述形成元数据，并保存元数据和对应的描述信 息；
[000引提供管理所述元数据的可视化界面，通过所述可视化界面和所述描述信息管理元 数据。
[0009] 第二方面，本发明实施例还提供一种元数据管理装置，包括：
[0010] 元数据生成模块，用于采用元数据格式对业务数据进行描述形成元数据，并保存 元数据和对应的描述信息；
[0011] 可视化管理模块，用于提供管理所述元数据的可视化界面，通过所述可视化界面 和所述描述信息管理元数据。
[0012] 第Ξ方面，本发明实施例还提供一种基于Ambari的大数据管理系统，包括上述第 二方面所述的元数据管理装置。
[0013] 本发明实施例通过采用元数据格式对业务数据进行描述形成元数据，并保存元数 据和对应的描述信息；提供管理所述元数据的可视化界面，通过所述可视化界面和所述描 述信息管理元数据。本发明实施例能够实现大数据的可视化管理，有效提高数据管理效率。
【附图说明】
[0014] 图1A为本发明实施例一提供的元数据管理方法的流程示意图；
[0015] 图1B为本发明实施例一提供的元数据管理方法中元数据添加操作的流程示意图；
[0016] 图1C为本发明实施例一提供的元数据管理方法中元数据删除操作的流程示意图；
[0017] 图1D为本发明实施例一提供的元数据管理方法中元数据修改操作的流程示意图；
[0018] 图化为本发明实施例一提供的元数据管理方法中元数据查询操作的流程示意图；
[0019] 图1F为本发明实施例一提供的元数据管理方法中元数据导入操作的流程示意图；
[0020] 图1G为本发明实施例一提供的元数据管理方法中元数据导出操作的流程示意图；
[0021] 图2为本发明实施例二提供的元数据管理装置的结构示意图。
【具体实施方式】
[0022] 下面结合附图和实施例对本发明作进一步的详细说明。可W理解的是，此处所描 述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便 于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0023] 实施例一
[0024] 图1A为本发明实施例一提供的元数据管理方法的流程示意图，如图1A所示，具体 包括如下步骤：
[0025] 步骤11a、采用元数据格式对业务数据进行描述形成元数据，并保存元数据和对应 的描述信息；
[0026] 其中，所述描述信息包括代码集、元素信息、字段集和数据集中的至少一种组成。
[0027] 具体的，为了高效地管理好大数据产品中的庞大而复杂的业务数据，在本实施例 中引入元数据的方法来更好地、更规范地管理数据。元数据通常来讲就是描述"数据"的数 据，由于需要管理的数据非常复杂，用元数据来描述运些数据，可W大大提高管理和利用数 据的效率，对于数据的利用更加的准确和方便，对于数据的管理也更加的规范和高效。
[0028] 元数据W结构化的形式描述各种数据集的组成、表达、约束、操作W及数据集的其 他特征。它不仅有利于对数据的查询、统计等操作，而且便于数据的转换、维护、理解和使 用。在整个大数据处理平台中各个软件服务都通过元数据的方式来理解和使用输入的业务 数据，并按照元数据描述和约束输出加工处理后的业务数据。
[0029] 为了在保证业务数据有一致、统一、不重复和标准的定义和描述，本实施例通过如 下表一所述的数据集、字段、元素和代码集四个层面的元数据规范化描述业务数据。
[0030] 表一
[0031]
[0033] 其中，1个数据集可W包含1个或者多个字段；1个字段能且只能引用1个元素；1个 元素引用0个或者1个代码集；1个大数据平台产品中可能包含若干个数据集。例如，如果需 要处统计和存储互联网上的QQ协议的数据，先定义一个QQ协议的数据集，包括数据集的描 述信息（名称、编号、类别、包含的属性信息(如:QQ号，昵称，性别，毕业院校…），数据集属性 的描述信息又包括:取值类型、精度范围、支持操作等描述信息。
[0034] 步骤12a、提供管理所述元数据的可视化界面，通过所述可视化界面和所述描述信 息管理元数据。
[0035] 具体的，本实施例提供一种元数据管理客户端，可通过用户在元数据管理客户端 管理界面触发的指令，对元数据进行相应的管理操作。
[0036] 本实施例通过采用元数据格式对业务数据进行描述形成元数据，并保存元数据和 对应的描述信息；提供管理所述元数据的可视化界面，通过所述可视化界面和所述描述信 息管理元数据。本实施例能够实现大数据的可视化管理，有效提高数据管理效率。
[0037] 示例性的，在上述实施例的基础上，通过所述可视化界面和所述描述信息管理元 数据的操作主要包括元数据的添加、元数据的删除、元数据的修改、元数据的查询、元数据 文件的导出和导出等操作。
[0038] 其中，如图1B所示，元数据的添加操作包括：
[0039] 步骤11b、接收用户在所述可视化界面输入的元数据添加请求，所述元数据添加请 求中包含所述元数据的描述信息；
[0040] 步骤12b、验证所述元数据的描述信息是否符合第一预设规定；
[0041] 其中，对于不同的描述信息所述第一预设规定不同。具体的，对于元素信息，需要 验证的元素编码、英文名称、中文名称、数据类型、数据长度、可能引用的代码集编码、自然 分类等等信息是否准确，例如判断元素编码、英文名称是否重复、判断中文名称持否超长、 数据长度是否在约定范围或者元素引用的代码集是否存在;对于字段集，需要验证该字段 所引用的元素编码、约束信息（比如:是否为必填字段、默认值、是否支持查询、是否支持统 计、是否支持排序)等等是否符合规定标准;对于代码集，需要验证代码集编号、名称，W及 该代码集合中的值名称和值编码是否准确，例如判断代码集编码W及英文名称是否重复或 代码集中的值编码是否重复;对于数据集，需要验证数据集的编码、版本、英文名称、字段、 主键/外键、所属模块编号、类别、存储技术、状态等等信息，例如，判断数据集编码、英文名 称是否重复、包含的字段是否重复、包含的字段引用的元素是否存在、序号是否重复等。
[0042] 若所述元数据的描述信息均符合规定，则执行步骤13b;否则提示用户重新输入描 述信息，并返回执行步骤1化。
[0043] 步骤13b、对符合第一预设规定的元数据进行存储，并增加访问接口。
[0044] 其中，如图1C所示，元数据的删除操作包括：
[0045] 步骤11c、接收用户在所述可视化界面触发的元数据删除请求，所述元数据删除请 求中包含所述元数据的描述信息；
[0046] 步骤12c、验证所述元数据的描述信息是否符合第二预设规定；
[0047] 例如，通过元素编码选择要删除的元素，在删除元素时，检查是否有数据集中的字 段引用该元素;通过代码集编码选择要删除的代码集，在删除代码集时，检查是否有元素引 用该代码集。通过数据集编码选择要删除的数据集。
[004引步骤13c、删除符合第二预设规定的元数据。
[0049] 其中，如图1D所示，元数据的修改操作包括：
[0050] 步骤lid、接收用户在所述可视化界面触发的元数据修改请求，所述元数据修改请 求中包含所述元数据的描述信息；
[0051] 步骤12d、开启可编辑模式，接收用户对所述元数据的描述信息的修改；
[0052] 步骤13d、验证修改后的所述元数据的描述信息是否符合第一预设规定；
[0053] 步骤14d、对修改后的描述信息符合第一预设规定的元数据进行存储，并增加访问 接口。
[0