大数据平台系统及其运行方法
【专利摘要】本发明公开了大数据平台系统，包括应用层、服务层、功能层、平台层和采集层；采集层包括移动终端和互联网，大数据系统通过这两个渠道采集数据，通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作搜集数据；平台层由大数据存储平台、大数据计算平台和多数据中心调度引擎构成，平台层提供了大数据分布式存储系统。本发明的系统框架完整，功能齐全，涵盖互联网上的大连数据资源，通过大数据分布式存储系统、分布式数据挖掘运行时系统和智能数据中心联合调度技术实现了对数据高效、快速的存储、计算、整合和调度，提高了大数据平台系统的处理能力，且系统能够稳定运行。
【专利说明】
大数据平台系统及其运行方法
技术领域
[0001]本发明涉及大数据系统技术领域，尤其涉及大数据平台系统及其运行方法。
【背景技术】
[0002]大数据分析平台基于分布式海量数据存储与计算环境，提供图形化交互式数据处理和分析工具，丰富的数据分析与挖掘算法，以及交互式可视化分析工具，通过互联网服务方式向用户提供服务。这种系统实现策略不仅符合大数据应用的发展趋势，同时也满足中小企业和个人用户对于数据分析系统的可用性、时效性和低成本等方面的要求。大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务(SaaS)应用模式，符合当前国际大数据产业的发展趋势和产业化应用要求。一方面，系统通过互联网服务方式向用户提供高可用、高易用和一站式的海量数据分析服务，可有效降低企业应用门槛和成本，通过专业化服务外包满足企业个性化需求。另一方面，由于是开放架构的系统平台，商业用户和其他软件提供商可通过系统提供的互联网服务开发接口(Open API)开发面向行业商务智能应用的解决方案，孵化新型咨询公司、软件公司和信息服务公司，有助于形成以平台为核心的大数据分析产业生态环境。
[0003]然而现有的大数据平台系统大多功能单一，框架不完善，无法实现真正的大数据处理时代，为此我们设计出一种大数据平台系统及其运行方法，来解决上述问题。
【发明内容】
[0004]本发明的目的是为了解决现有技术中存在的缺点，而提出的大数据平台系统及其运行方法。
[0005]为了实现上述目的，本发明采用了如下技术方案:
大数据平台系统，包括应用层、服务层、功能层、平台层和采集层；
采集层包括移动终端和互联网，大数据系统通过这两个渠道采集数据，通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作搜集数据；
平台层由大数据存储平台、大数据计算平台和多数据中心调度引擎构成，平台层提供了大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术，为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎，为整个大数据分析平台提供基础平台支持；
功能层由大数据集成、大数据存储、大数据管理和大数据挖掘构成，功能层提供了高可扩展性大数据挖掘算法，大数据安全与隐私保护技术，大数据安全与隐私保护技术和交互式可视化分析技术，为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能，提供基本的大数据存储和挖掘功能；
服务层基于Web和Open API技术提供大数据服务，为用户提供基于互联网的大数据服务；
应用层为由用户提供应用软件和搜索网站，用户可通过这两个入口使用大数据系统的整理的资源和信息。
[0006]优选的，所述应用层、服务层、功能层、平台层和采集层均通过系统监控模块监管。
[0007]优选的，所述系统基于硬件、软件以及互联网使用。
[0008]优选的，所述系统监控模块与公安监管系统连接。
[0009]本发明还提出了一种大数据平台系统的运行方法，包括以下步骤:
51、系统通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作采集数据；
52、数据进入系统的平台层，通过大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术对数据进行存储、计算、整合和调度，提高大规模、非结构化数据的存储方式，构建大数据运行时系统以及构建基于多智能中心的大数据服务平台；
53、数据进入系统的功能层，通过高可扩展性大数据挖掘算法实现TB级数据的建模能力，通过大数据安全与隐私保护技术确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露，通过分布式工作流引擎研究基于云计算的分布式工作流调度、负载均衡技术，通过交互式可视化分析技术实现大数据挖掘的高度人机交互功能；
54、数据进入系统的服务层，构建基于Web的大数据分析环境和基于OpenAPI的大数据分析模式；
55、至此数据处理过程结束，用户可通过应用软件和搜索网站使用大数据系统的整理的资源和信息。
[0010]与现有技术相比，本发明的有益效果是:本系统框架完整，功能齐全，涵盖互联网上的大连数据资源，通过大数据分布式存储系统、分布式数据挖掘运行时系统和智能数据中心联合调度技术实现了对数据高效、快速的存储、计算、整合和调度，提高了大数据平台系统的处理能力，且系统能够稳定运行。
【附图说明】
[0011]图1为本发明提出的大数据平台系统的结构示意图。
【具体实施方式】
[0012]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0013]参照图1，大数据平台系统，包括应用层、服务层、功能层、平台层和采集层，所述应用层、服务层、功能层、平台层和采集层均通过系统监控模块监管，所述系统基于硬件、软件以及互联网使用，所述系统监控模块与公安监管系统连接；
采集层包括移动终端和互联网，大数据系统通过这两个渠道采集数据，通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作搜集数据；
平台层由大数据存储平台、大数据计算平台和多数据中心调度引擎构成，平台层提供了大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术，为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎，为整个大数据分析平台提供基础平台支持；
功能层由大数据集成、大数据存储、大数据管理和大数据挖掘构成，功能层提供了高可扩展性大数据挖掘算法，大数据安全与隐私保护技术，大数据安全与隐私保护技术和交互式可视化分析技术，为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能，提供基本的大数据存储和挖掘功能；
服务层基于Web和Open API技术提供大数据服务，为用户提供基于互联网的大数据服务；
应用层为由用户提供应用软件和搜索网站，用户可通过这两个入口使用大数据系统的整理的资源和信息。
[0014]本发明还提出了一种大数据平台系统的运行方法，包括以下步骤:
51、系统通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作采集数据；
52、数据进入系统的平台层，通过大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术对数据进行存储、计算、整合和调度，提高大规模、非结构化数据的存储方式，构建大数据运行时系统以及构建基于多智能中心的大数据服务平台；
53、数据进入系统的功能层，通过高可扩展性大数据挖掘算法实现TB级数据的建模能力，通过大数据安全与隐私保护技术确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露，通过分布式工作流引擎研究基于云计算的分布式工作流调度、负载均衡技术，通过交互式可视化分析技术实现大数据挖掘的高度人机交互功能；
54、数据进入系统的服务层，构建基于Web的大数据分析环境和基于OpenAPI的大数据分析模式；
55、至此数据处理过程结束，用户可通过应用软件和搜索网站使用大数据系统的整理的资源和信息。
[0015]以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
【主权项】
1.大数据平台系统，其特征在于，包括应用层、服务层、功能层、平台层和采集层； 采集层包括移动终端和互联网，大数据系统通过这两个渠道采集数据，通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作搜集数据； 平台层由大数据存储平台、大数据计算平台和多数据中心调度引擎构成，平台层提供了大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术，为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎，为整个大数据分析平台提供基础平台支持； 功能层由大数据集成、大数据存储、大数据管理和大数据挖掘构成，功能层提供了高可扩展性大数据挖掘算法，大数据安全与隐私保护技术，大数据安全与隐私保护技术和交互式可视化分析技术，为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能，提供基本的大数据存储和挖掘功能； 服务层基于Web和Open API技术提供大数据服务，为用户提供基于互联网的大数据服务； 应用层为由用户提供应用软件和搜索网站，用户可通过这两个入口使用大数据系统的整理的资源和信息。2.根据权利要求1所述的大数据平台系统，其特征在于，所述应用层、服务层、功能层、平台层和采集层均通过系统监控模块监管。3.根据权利要求1所述的大数据平台系统，其特征在于，所述系统基于硬件、软件以及互联网使用。4.根据权利要求1所述的大数据平台系统，其特征在于，所述系统监控模块与公安监管系统连接。5.大数据平台系统的运行方法，其特征在于，包括以下步骤: S1、系统通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作采集数据； S2、数据进入系统的平台层，通过大数据分布式存储系统，分布式数据挖掘运行时系统和智能数据中心联合调度技术对数据进行存储、计算、整合和调度，提高大规模、非结构化数据的存储方式，构建大数据运行时系统以及构建基于多智能中心的大数据服务平台； S3、数据进入系统的功能层，通过高可扩展性大数据挖掘算法实现TB级数据的建模能力，通过大数据安全与隐私保护技术确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露，通过分布式工作流引擎研究基于云计算的分布式工作流调度、负载均衡技术，通过交互式可视化分析技术实现大数据挖掘的高度人机交互功能； S4、数据进入系统的服务层，构建基于Web的大数据分析环境和基于OpenAPI的大数据分析模式； S5、至此数据处理过程结束，用户可通过应用软件和搜索网站使用大数据系统的整理的资源和信息。
【文档编号】H04L29/08GK105933461SQ201610562000
【公开日】2016年9月7日
【申请日】2016年7月18日
【发明人】刘贵全, 叶剑鸣, 印金汝
【申请人】合肥赑歌数据科技有限公司