基于大数据的元数据模型管理系统和管理方法
【专利摘要】本发明提供了一种基于大数据的元数据模型管理系统和管理方法，该管理方法包括以下步骤：步骤一，判断大数据的数据源结构的类型；步骤二，对结构化数据源进行元数据抽取后，执行步骤四；步骤三，对非结构化数据源进行元数据抽取后，执行步骤四；步骤四，定义抽取后的元数据的关系，并形成与之对应的元数据模型，执行步骤五；步骤五，将形成的元数据模型以图形方式存储在数据库中，执行步骤六；步骤六，根据定义好的元数据模型，按照业务需求对元数据进行发布，以提供外部系统使用元数据。本发明实现管理不同类型的数据，能够在异构数据源之上构建统一的元数据体系，并提供对该体系的存储、管理和使用的功能。
【专利说明】基于大数据的元数据模型管理系统和管理方法
【技术领域】
[0001] 本发明涉及一种电信【技术领域】的元数据模型管理系统和管理方法，具体地，涉及 一种基于大数据的元数据模型管理系统和管理方法。
【背景技术】
[0002] 人们用大数据来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技 术发展与创新。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并 没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意 识到数据对企业的重要性。
[0003] 大数据时代对人类的数据驾驭能力提出了新的挑战，随着物联网与移动终端持续 不断的产生大量数据，并且数据类型丰富，而怎么管理这些不同类型的数据就成为了一个 困难的问题。本发明基于大数据的元数据模型管理方法就是为了适应这样的环境，解决大 数据不同类型的管理问题。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明的目的是提供一种基于大数据的元数据模型管理 系统和管理方法，其实现管理不同类型的数据，能够在异构数据源之上构建统一的元数据 体系，并提供对该体系的存储、管理和使用的功能。
[0005] 根据本发明的一个方面，提供一种基于大数据的元数据模型管理方法，其特征在 于，其包括以下步骤：步骤一，判断大数据的数据源结构的类型，即判断是结构化数据源还 是非结构化数据源，若是结构化数据源则执行步骤二，若是非结构化数据源则执行步骤三； 步骤二，对结构化数据源进行元数据抽取后，执行步骤四；步骤三，对非结构化数据源进行 元数据抽取后，执行步骤四；步骤四，定义抽取后的元数据的关系，并形成与之对应的元数 据模型，执行步骤五；步骤五，将形成的元数据模型以图形方式存储在数据库中，执行步骤 六；步骤六，根据定义好的元数据模型，按照业务需求对元数据进行发布，以提供外部系统 使用元数据。
[0006] 优选地，所述结构化数据源包含关系数据库和文件形式，非结构化数据源包括 N0SQL数据库。
[0007] 优选地，所述步骤二和步骤三通过手动提取用户自定义的元数据，并将元数据格 式转换成符合JS0N数据规范的格式。
[0008] 优选地，所述步骤五首先解析元数据模型的JS0N数据格式，将此数据格式解析变 成节点、节点关系的图形识别方式的数据格式，然后将节点、节点关系存储到图形数据库 中。
[0009] 本发明还提供一种基于大数据的元数据模型管理系统，其特征在于，其包括：
[0010] 判断模块，用于判断大数据的数据源结构的类型；
[0011] 抽取模块，用于对结构化数据源或对非结构化数据源进行元数据抽取；
[0012] 模型定义和形成模块，用于定义抽取后的元数据的关系，并形成与之对应的元数 据模型；
[0013] 存储模块，将模型定义和形成模块的元数据模型存储在数据库中；
[0014] 发布模块，用于对元数据进行发布。
[0015] 与现有技术相比，本发明具有如下的有益效果：一，本发明直接根据业务需求对不 同类型，不同地理位置数据库之间元数据信息进行抽取，合并，共享，融合以及进行元数据 数据建模的异构处理，异构处理是基于结构化数据源和非结构化数据源进行有效管理。二， 本发明为海量数据的挖掘和分析提供基础统一数据标准，并为构建行业语义库奠定基础。 三，本发明为用户提供整套完整的元数据管理功能。四，本发明为大数据处理实现快速，高 效，精准的元数据以及元数据模型存储功能。五，图形方式存储元数据模型的模式能够达到 查询速度快速，展示效果清晰，这种展示效果清晰的展示了元数据数据模型的建立过程和 模型扩展的过程。六，本发明为大数据处理建立了统一，稳定的元数据数据仓库。
【专利附图】
【附图说明】
[0016] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0017] 图1为本发明基于大数据的元数据模型管理方法的流程图。
[0018] 图2为本发明基于大数据的元数据模型管理系统的原理框图。
【具体实施方式】
[0019] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0020] 如图1所示，本发明基于大数据的元数据模型管理方法包括以下步骤：
[0021] 步骤一，判断大数据的数据源结构的类型，即判断是结构化数据源还是非结构化 数据源，若是结构化数据源则执行步骤二，若是非结构化数据源则执行步骤三；结构化数据 源包含关系数据库和文件形式，关系数据库如ORACLE、MYSQL、DB2 ;文件形式如CSV、XLSX 等。非结构化数据源包括N0SQL(泛指非关系型的数据库）数据库。步骤一具体由判断模 块来判断大数据的数据源结构的类型，结构化数据源的特点是根据结构化数据特性即用二 维表结构来逻辑实现数据这一特点来制定数据源语义类型标准，而非结构化数据源特点根 据非结构化数据源特性即文档，图片，报表，图像，音频等制定数据源语义类型标准。
[0022] 步骤二，对结构化数据源进行元数据抽取后，执行步骤四；步骤二具体是由抽取模 块对结构化数据源进行元数据抽取；
[0023] 步骤三，对非结构化数据源进行元数据抽取后，执行步骤四；步骤三具体是由抽取 模块对结构化数据源进行元数据抽取；
[0024] 步骤四，定义抽取后的元数据的关系并形成与之对应的元数据模型，执行步骤五； 步骤四具体是通过元数据数据建模来定义抽取后的不同元数据之间的各种关系，由不同业 务建立不同关系，从而通过这种不同元数据以及其各种关系形成与之对应的元数据模型； 步骤四具体是由模型定义和形成模块完成；
[0025] 步骤五，将形成的元数据模型以图形方式存储在数据库中，执行步骤六；步骤五具 体是由存储模块完成；
[0026] 步骤六，根据定义好的元数据模型，按照业务需求对元数据进行发布，以提供外部 系统使用元数据。步骤六具体是由发布模块完成。
[0027] 其中，步骤二和步骤三通过手动提取用户自定义的元数据，并将元数据格式转换 成符合JSON(JavaScript Object Notation，是一种轻量级的数据交换格式）数据规范的 格式，这种数据规范的好处是定义元数据的语义标准，避免语义冲突。步骤五首先解析元数 据模型的JS0N数据格式，将此数据格式解析变成节点、节点关系的图形识别方式的数据格 式，然后将节点、节点关系存储到图形数据库中。元数据是一种二进制信息，是对数据及信 息资源的描述性信息。
[0028] 如图2所示，本发明基于大数据的元数据模型管理系统包括：
[0029] 判断模块，用于判断大数据的数据源结构的类型；
[0030] 抽取模块，用于对结构化数据源或对非结构化数据源进行元数据抽取；
[0031] 模型定义和形成模块，用于定义抽取后的元数据的关系，并形成与之对应的元数 据模型；
[0032] 存储模块，将模型定义和形成模块的元数据模型存储在数据库中；
[0033] 发布模块，用于对元数据进行发布。
[0034] 综上所述，本发明实现管理不同类型的数据，能够在异构数据源之上构建统一的 元数据体系，这种元数据体系包含有异构元数据的抽取、建模、存储、查询以及管理等。
[0035] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影 响本发明的实质内容。
【权利要求】
1. 一种基于大数据的元数据模型管理方法，其特征在于，其包括以下步骤： 步骤一，判断大数据的数据源结构的类型，即判断是结构化数据源还是非结构化数据 源，若是结构化数据源则执行步骤二，若是非结构化数据源则执行步骤三； 步骤二，对结构化数据源进行元数据抽取后，执行步骤四； 步骤三，对非结构化数据源进行元数据抽取后，执行步骤四； 步骤四，定义抽取后的元数据的关系，并形成与之对应的元数据模型，执行步骤五； 步骤五，将形成的元数据模型以图形方式存储在数据库中，执行步骤六； 步骤六，根据定义好的元数据模型，按照业务需求对元数据进行发布，以提供外部系统 使用元数据。
2. 根据权利要求1所述的基于大数据的元数据模型管理方法，其特征在于，所述结构 化数据源包含关系数据库和文件形式，非结构化数据源包括NOSQL数据库。
3. 根据权利要求1所述的基于大数据的元数据模型管理方法，其特征在于，所述步骤 二和步骤三通过手动提取用户自定义的元数据，并将元数据格式转换成符合JSON数据规 范的格式。
4. 根据权利要求3所述的基于大数据的元数据模型管理方法，其特征在于，所述步骤 五首先解析元数据模型的JSON数据格式，将此数据格式解析变成节点、节点关系的图形识 别方式的数据格式，然后将节点、节点关系存储到图形数据库中。
5. -种基于大数据的元数据模型管理系统，其特征在于，其包括： 判断模块，用于判断大数据的数据源结构的类型； 抽取模块，用于对结构化数据源或对非结构化数据源进行元数据抽取； 模型定义和形成模块，用于定义抽取后的元数据的关系，并形成与之对应的元数据模 型； 存储模块，将模型定义和形成模块的元数据模型存储在数据库中； 发布模块，用于对元数据进行发布。
【文档编号】G06F17/30GK104142980SQ201410336111
【公开日】2014年11月12日 申请日期:2014年7月15日 优先权日:2014年7月15日
【发明者】闵圣捷, 谢朝阳, 童晓渝, 王慧, 赵斌, 靳永超, 邹云, 丁星, 武静 申请人:中电科华云信息技术有限公司