基于图数据库的企业股权监测平台的制作方法

本发明涉及管理监测领域，尤其涉及一种金融监管平台。

背景技术：

目前，全球大数据市场规模分析显示，大数据以爆炸式的发展速度蔓延至各行各业，随着各国不断加大对其的扶持力度，加之资本的青睐及投资，使全球大数据市场规模保持着高速增长态势。2015年全球大数据市场规模达到421亿美元，同比增长了47.7％。以此增速进行推算，到2020年，全球大数据市场规模将突破3000亿美元。

中国大数据市场规模分析：我国大数据仍处于起步发展阶段，各地发展大数据积极性较高，行业应用得到快速发展，市场规模增速明显。2015年，中国大数据市场规模为115.9亿元，增速达53.1％。2016年，中国大数据市场规模为115.9亿元132.8亿，，同比增长45.9％，到2017年有望增至189.4亿元。

当前，数据是重要资产的理念已经在中国金融行业形成共识，数据的真正价值在于能够洞察企业内部规律，数据的洞察力成为金融企业的核心竞争力。在中国金融行业信息化建设中，与信息加工相关的大数据管理正逐渐成为与核心业务系统建设、渠道建设和前置建设同等重要的领域。

在业界看来，国家大数据战略提示了数字经济基础支撑技术、工业制造智能化升级、政务大数据、信息安全等业务领域的成长性。国元证券研报指出，预计未来2至3年我国大数据市场将保持50％左右的速度增长，2020年国际市场规模将超过5000亿元，大数据相关上市公司凭借技术优势和资源优势有望率先受益。

新时代证券研报认为，2016年我国数字经济规模为22.4万亿元，占gdp的比重为30.1％，显著低于美国的59.2％、日本的45.9％，有较大发展空间。随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。当前政务、电信、工业互联网、智慧城市、安防、交通等领域产生了海量数据，对海量数据的有效挖掘和利用将助力行业进行数字化、智能化转型，看好在这些行业中积极利用大数据的公司以及从事相关行业大数据服务的公司。

中国的股权投资快速发展，与科技创新融合紧密，并且在政府持续的规范引导下，股权投资行业具有广阔的发展前景。尽管中国股权投资行业正处于蓬勃发展期，但这种传统的股权交易方式仍存在缺乏流动性，退出困难，数据更新不及时，易篡改，易泄露，管理变更过程繁杂等问题。其主要原因在于缺乏灵活的交易机制与技术手段，以及信息的不透明而带来的交易不可信。

因此，提供一种适应于企业股权数据量庞大，可快速及安全地检索、分析、计算、以及可视化地显示企业股权数据的企业股权监测平台成为业内急需解决的问题。

技术实现要素：

本发明的目的是提供一种基于图数据库的企业股权监测平台，其适应于数据量庞大的企业股权数据，并且可快速及安全地实施检索、分析、计算、以及可视化显示。

为了实现上述目的，本发明提供了一种基于图数据库的企业股权监测平台，其包括：容器云构建装置，其用于搭建hdfs形式的数据存储系统，并进行数据的存储部署及动态扩容；数据访问装置，其与容器云构建装置通信连接，用于在hdfs数据存储系统上构建分布式及面向列的数据库，并实时读写、随机访问其中的数据；数据处理装置，其与数据访问装置通信连接，用于并行地对数据库中的实时数据执行各种操作；以及分析可视化装置，分析可视化装置与数据处理装置通信连接，用于对不同数据源中的数据进行交互式分析，并对分析结果进行可视化显示。

优选地，本发明的容器云构建装置应用apachehadoop2.7开发，以hdfs作为数据存储系统，其中，hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，用于高可靠、可扩展、分布式计算的开源软件，它允许通过集群的方式使用简单的编程模型分布式处理大数据，它可以从单一的服务器扩展到成千上万的机器，每一台机器都能提供本地计算和存储。由hdfs保证期高容错性。建立了安全、稳定的大数据存储系统。hdfs(hadoopdistributefilesystem)为分布式存储系统。

优选地，数据访问装置是基于hbase更好的实现了数据的实时计算与随机访问。hbase是一种构建在hdfs之上的分布式、面向列的存储系统。hbase是可以提供实时计算的分布式数据库，数据被保存在hdfs分布式文件系统上，适用于实时读写、随机访问超大规模数据集。

优选地，由于storm更加适用于实时数据流，因此数据处理装置可使用storm并行地对实时数据执行各种操作。storm是一个分布式实时大数据处理系统，可以方便地处理海量数据，具有高可靠、高容错、高扩展的特点。storm是流式框架，有很高的数据吞吐能力，其是一个分布式实时大数据处理系统。

优选地，分析可视化装置为采用大数据分析和可视化工具apachezeppelin，其可以让数据分析师在一个基于web页面的笔记本中，使用不同的语言，对不同数据源中的数据进行交互式分析，并对分析结果进行可视化的工具。将数据以表格或图表的形式呈现出来，帮助用户进行大数据挖掘工作。

可选择地，还包括与容器云构建装置通信连接的权限管理装置，权限管理装置用于保证企业股权监测平台的安全，对连接至企业股权监测平台的租户进行身份审计及权限控制。

优选地，权限管理装置是基于kerberos实现了企业股权监测平台的安全控制、权限控制，同时企业股权监测平台集成ranger实现统一权限管理系统，提供租户管理功能、权限管理和审计等功能。

可选择地，容器云构建装置基于docker和kubernetes构建，其能更好的支撑快速部署、动态扩容、资源按需分配及自动化运维。

可选择地，容器云构建装置包括：支撑部署模块、动态扩容模块、以及资源分配模块；其中，支撑部署模块用于构建存储数据的图数据库，以存储企业股权相关的数据；动态扩容模块与支撑部署模块通信连接，用于监测图数据库的容量，在容量超过预定容量时进行动态扩容以提高图数据库的存储量；以及资源分配模块与支撑部署模块通信连接，用于动态分配图数据库中的数据，对数据进行群组分类。

可选择地，容器云构建装置还包括与资源分配模块通信连接的协调服务模块，其用于实现图数据库的数据共识、群组管理、以及群组之间的业务协议。

优选地，协调服务模块基于zookeeper实现，zookeeper服务是hadoop的一个子项目，由一个服务器集群来提供，以避免单点故障；strom、kafka需要通过zookeeper管理分布式集群环境和集群状态，因此集成zookeeper是不可或缺的。zookeeper是一个高性能的分布式系统的协调服务。它在一个简单的接口里暴露公共服务：像命名、配置管理、同步、和群组服务，所以你没有必要从头开始实现它们。用户可以使用现成的zookeeper去实现共识、群组管理、领导人选举和业务协议，并且可以在它的基础之上建立自己特定的需求。

可选择地，图数据库中的群组包括：股东数量数据群组、股权登记数据群组、股利分配数据群组、以及股权清算数据群组。

可选择地，还包括与数据访问装置通信连接的数据计算装置，其用于构建数据的分布式计算框架，并形成集群，处理计算数据库中的数据。

优选地，数据计算装置基于spark构建，其中，spark是基于内存计算的大数据分布式计算框架。基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将spark部署在大量普通硬件之上，并形成集群。此外，spark可以非常方便地与其他的开源产品进行融合。作为它的资源管理和调度器，并且可以处理所有hadoop支持的数据，包括hdfs、hbase和cassandra等。这对于已经部署hadoop集群不需要做任何数据迁移就可以使用spark的强大处理能力。

可选择地，还包括与数据处理装置及数据计算装置通信连接的数据安全装置，其用于实时流式传输数据分析，以允许租户与企业股权检测平台使用不同对的秘钥进行交叉认证。

优选地，数据安全装置以kafka2.6为基础构建，使得企业股权监测平台在kafka2.6的基础上添加了大量安全特性；整合kerberos以保护数据；允许producer和consumer使用不同对的kdc来进行交叉认证；通过支持认证命令行简化操作。它与storm和spark完美结合，实时流式传输数据分析。kafka是分布式发布订阅消息传递系统和强大的队列，可以处理大量数据，并能够将消息从一个端点传递到另一个终端。kafka适用于离线和在线消息消费。kafka建立在zookeeper同步服务之上，消息被保留在磁盘上，并在集群内复制以防止数据丢失。同时，企业股权监测平台集成可视化的kafka管理工具kafkamanager，支持创建和管理用户各自的topic。

可选择地，还包括与数据访问装置通信连接的数据分析装置，其用于以交互方式访问数据库中的数据，进行实时查询、分析及存储。

优选地，数据分析装置基于druid构建，druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，druid仍能够保持100％正常运行。druid提供了以交互方式访问数据的能力，并权衡了查询的灵活性和性能而采取了特殊的存储格式。

可选择地，还包括与容器云构建装置通信连接的程序管理接口装置，其用于供连接至企业股权监测平台的用户访问及存储相应企业发布的接口数据。

优选地，构建程序管理接口装置前，可首先构架一个拥有权限控制的ai管理系统，对工业生产线上的机器学习模型进行训练、管理、部署与预测，解决了从生产到工业应用的一站式操作。并且拥有权限控制功能，不同用户使用同一套系统，权限不同功能不同，提供ai管理平台。然后，再构建程序管理接口装置，其相当于提供一个接口发布和订阅的平台，开发人员将自己开发的接口上传到平台，通过发布按钮将接口发布到平台。接口调用者可以访问平台查看已发布的接口，并根据自己的需求订阅接口。

可选择地，可视化显示装置将数据以表格或图表的形式呈现。

优选地，可视化显示装置可采用superset平台搭建。superset是一个开源的数据挖掘与可视化平台，快速创建可交互的、直观形象的数据集合；有丰富的可视化方法来分析数据，且具有灵活的扩展能力，为大数据分析工程师，提供更加直观的数据分析。

优选地，为了适应股权的大数据应用，还可以包括以hue为基础的数据浏览装置，hue是cloudera的大数据web工具，是一个开源的hadoopui系统。通过hue可以很方便的浏览hdfs中的目录和文件，并且进行文件和目录的创建、复制、删除、下载以及修改权限等操作；hue还提供友好方便的hive查询功能，能够选择不同的hive数据库，编写hql语句，提交查询任务，并且能够在界面下方看到查询作业运行的日志。在得到结果后，还提供进行简单的图表分析能力；hue同样可以通过thrift操作hbase，包括创建，删除，批量导入等基本功能。

优选地，还可以包括便于检索的以elasticsearch为基础的数据检索装置。其中，elasticsearch是一个开源的高扩展的分布式全文检索引擎，可以实时的存储、检索数据，拥有良好对的扩展性，并且能够处理pb级别的数据。elasticsearch的底层是开源库lucene，是lucene的封装，提供了restapi的操作接口，让全文搜索变得简单。

优选地，还可以包括与数据浏览及数据检索通信连数据引擎装置，其以apachesolr为基础，其中，apachesolr是一个可伸缩性的、能够即时部署的、致力于信息检索的、可以处理海量信息的、以处理自然语言文本为中心的、检索结果按相关性排序的企业级搜索引擎。solr是一个基于lucene的java搜索引擎服务器，solr继承了lucene的全部优点，并且可以部署在多服务器上。当并发量增加时，通过solr的缓存组件和多核(multicore)机制向外扩展，可以帮助企业轻松应对这种变化带来的压力。

优选地，本发明的基于图数据库的企业股权监测平台可应用于各种区域，不受任何地域限制，城市、乡镇、农村等均适用。

优选地，本发明的基于图数据库的企业股权监测平台可帮助各区县的管理者们直观地了解企业的资金网络穿透、资金内循环、公司间关系、注册资本动态，查询企业工商档案、查看企业资金舆情等。

本发明的有益效果是：(1)、适用于股权类的大数据的实时访问、计算、分析、检索及处理，计算速度快、查询速度快、实时高效；(2)、经过权限设定、密钥认定等多重安全措施，提高平台存储数据的安全性；(3)、实现了数据的图形操作和可视化运维，提高了数据观察的直观性，以及数据的预警性及健康检测功能；(4)、数据存储量大，还可以随着数据量的增多扩充存储空间，保证数据存储的安全性、稳定性及灵活性。

附图说明

图1示出了本发明的基于图数据库的企业股权监测平台的构造示意图。

图2示出了本发明容器云构建装置的构造示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参照图1，作为一种非限制性实施方式，本发明提供的一种基于图数据库的企业股权监测平台包括：容器云构建装置1、数据访问装置2、数据处理装置3、分析可视化装置4、权限管理装置5、数据计算装置6、数据安全装置7、数据分析装置8、以及程序管理接口装置9。

容器云构建装置1用于搭建hdfs形式的数据存储系统，并进行数据的存储部署及动态扩容。

数据访问装置2与容器云构建装置1通信连接，用于在hdfs数据存储系统上构建分布式及面向列的数据库，并实时读写、随机访问其中的数据。

数据处理装置3与数据访问装置2通信连接，用于并行地对数据库中的实时数据执行各种操作。

分析可视化装置4与数据处理装置3通信连接，用于对不同数据源中的数据进行交互式分析，并对分析结果进行可视化显示。

权限管理装置5与容器云构建装置1通信连接，用于保证企业股权监测平台的安全，对连接至企业股权监测平台的租户进行身份审计及权限控制。

数据计算装置6与数据访问装置2通信连接，其用于构建数据的分布式计算框架，并形成集群，处理计算数据库中的数据。

数据安全装置7与数据处理装置3及数据计算装置6通信连接，其用于实时流式传输数据分析，以允许租户与企业股权检测平台使用不同对的秘钥进行交叉认证。

数据分析装置8与数据访问装置2通信连接，其用于以交互方式访问数据库中的数据，进行实时查询、分析及存储。

程序管理接口装置9与容器云构建装置1通信连接，其用于供连接至企业股权监测平台的用户访问及存储相应企业发布的接口数据。

作为另一种非限制性实施方式，如图2所示，容器云构建装置1包括：支撑部署模块101、动态扩容模块102、资源分配模块103以及协调服务模块104。其中，支撑部署模块101用于构建存储数据的图数据库，以存储企业股权相关的数据。动态扩容模块102与支撑部署模块101通信连接，用于监测图数据库的容量，在容量超过预定容量时进行动态扩容以提高图数据库的存储量。资源分配模块103与支撑部署模块101通信连接，用于动态分配图数据库中的数据，对数据进行群组分类。协调服务模块104与资源分配模块103通信连接，用于实现图数据库的数据共识、群组管理、以及群组之间的业务协议。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。