大容量感知云计算平台系统的制作方法
【技术领域】
[0001]本发明涉及云计算平台技术领域，特别是涉及一种大容量感知云计算平台系统。
【背景技术】
[0002]云计算平台也称为云平台。云计算平台可以划分为3类:以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。平台容量达到一定规模后，平台将不得不面对存储和管理海量数据，处理大量用户并发访问，保证平台的稳定性等诸多问题，如何在这种情况下保证云计算平台的服务质量，使用户获得与使用小容量服务平台时相同的用户体验是一个必须解决的问题。
【发明内容】
[0003]本发明所要解决的技术问题是提供一种大容量感知云计算平台系统，能够处理大量用户并发访问，保证平台的稳定性。
[0004]本发明解决其技术问题所采用的技术方案是:提供一种大容量感知云计算平台系统，包括由下而上分布的云计算集群管理层、基础云计算平台服务层和云端服务族，所述云计算集群管理层用于对云计算集群中的硬件资源和软件资源进行统一监控和管理，为所述基础云计算平台服务层提供资源管理和调度的底层支撑;所述基础云计算平台服务层用于提供海量数据分布式存储服务、分布式并行计算服务、分布式应用集成服务、组态化软插件管理服务、分布式流程调度与管理服务和车载智能终端信息采集服务;所述云服务族用于实现具体服务功能。
[0005]所述云计算集群管理层包括集群主机硬件状态监视部分和集群主机云计算平台服务管理部分，所述集群主机硬件状态监视部分用于对云计算集群中的硬件资源进行统一监控和管理;所述集群主机云计算平台服务管理部分用于对云计算集群中的软件服务资源进行统一监控和管理。
[0006]所述海量数据分布式存储服务通过命名空间虚拟化技术、负载均衡技术、数据大规模迀移与故障恢复技术、以及数据副本管理机制，为云平台用户提供文件系统的组织与管理、分布式存储虚拟文件系统管理、存储节点网络状态显示、数据分块存储与负载均衡功會K。
[0007]所述分布式并行计算服务对集群虚拟计算环境中的资源进行抽象，采用并执行任务映射\规约算法，提取并执行并行计算模型，实现集群中分布式数据的并行处理。
[0008]所述分布式应用集成服务通过路由、寻址和通信技术为平台用户提供通信、服务交互、服务集成和映射、以及协议转换的功能。
[0009]所述组态化软插件管理服务对软插件容器进行统一管理，构建一个支持动态扩充、动态改变系统行为的运行时软件环境。
[0010]所述分布式流程调度与管理服务通过实现流程的自动流转和调度，为平台用户提供对任务信息的分析、加工和处理功能，并制定相应的调度策略完成对任务的调度控制的功能。
[0011]所述车载智能终端信息采集服务为平台用户提供基于车载智能终端的监控数据模型管理功能、设备通信管理功能以及设备驱动管理功能。
[0012]大容量感知云计算平台系统采用异构数据集成中间件实现平台系统之间的集成，所述异构数据集成中间件是基于XML标准设计的支持数据库和XML元数据相互存取的继承中间件，主要分为配置基础层和集成数据交换层;所述配置基础层为支持中间件的配置组件，生成配置文件作为数据交换的媒介，分别实现数据的输入和输出功能;所述集成数据交换层用于实现从异构数据源到XML文件以及由XML格式文件到目标数据库的数据转换工作。
[0013]有益效果
[0014]由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果:本发明能够处理大量用户并发访问，保证平台的稳定性，使得用户获得与使用小容量服务平台时相同的用户体验。
【附图说明】
[0015]图1是本发明的结构原理图；
[0016]图2是异构数据集成配置流程图；
[0017]图3是预警信息异构平台/终端适配流程图。
【具体实施方式】
[0018]下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0019]本发明的实施方式涉及一种大容量感知云计算平台系统，如图1所示，包括由下而上分布的云计算集群管理层、基础云计算平台服务层和云端服务族，所述云计算集群管理层用于对云计算集群中的硬件资源和软件资源进行统一监控和管理，为所述基础云计算平台服务层提供资源管理和调度的底层支撑;所述基础云计算平台服务层用于提供海量数据分布式存储服务、分布式并行计算服务、分布式应用集成服务、组态化软插件管理服务、分布式流程调度与管理服务和车载智能终端信息采集服务;所述云服务族用于实现具体服务功能。其中，云计算集群管理层和基础云计算平台服务层作为整个大容量感知云计算平台系统的核心存在。
[0020]云计算集群管理层包括集群主机硬件状态监视部分以及集群主机云计算平台服务管理部分。平台通过这两方面对云计算集群中的硬件资源和软件服务资源进行统一监控和管理，为基础云计算平台服务提供资源管理和调度的底层支撑。
[0021]所述基础云计算平台服务层用于提供海量数据分布式存储服务、分布式并行计算服务、分布式应用集成服务、组态化软插件管理服务、分布式流程调度与管理服务和车载智能终端?目息米集服务。
[0022]海量数据分布式存储服务通过命名空间虚拟化技术、负载均衡技术、数据大规模迀移与故障恢复技术、数据副本管理机制等，为云平台用户提供文件系统的组织与管理、分布式存储虚拟文件系统管理、存储节点网络状态显示、数据分块存储与负载均衡等功能。
[0023]海量数据存储与管理技术能够提供一个稳定的共享存储和分析系统，实现对海量数据的存储与管理，每一个数据节点都有两个备份节点，当该数据节点出现问题时，可以根据预先设置好的策略使用备份机，从而提高数据的可靠性，保证平台的服务质量。
[0024]其中，海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，所述大数据存储模块针对车载智能终端所上传的大数据进行存储和管理;所述小数据存储模块针对车载智能终端所上传的小数据进行存储和管理。该分布式存储系统提供海量数据的存储与管理服务，是云计算系统运行的基础。
[0025]大数据存储模块是针对车载智能终端所上传的大数据进行存储和管理的模块，如运输车辆报警之后的关键音视频数据等，其数据量较大，则可以用此存储模块进行存储。
[0026]该模块主要由索引数据节点和数据节点组成，一般文件的元数据存储在索引数据节点，而数据则分散存储在不同的数据节点上。在该模块中，每一份数据都有其副本数据，主数据和副本数据之间通过分布式日志系统保证它们之间的一致性。平时只有主数据提供访问，当主数据所在节点失效后，访问自动切换到副本数据上。
[0027]小数据存储模块时针对车载智能终端所上传的小数据进行存储和管理的模块，如运输车辆的位置信息和车辆传感信息，其数据通常较小，则可以用此存储模块进行存储。
[0028]该模块采用存储虚拟化技术将存储硬件、存储软件和存储管理进行有机整合，形成了一个支持虚拟化的可扩展的曙光云存储，并提供统一的管理平台，简化系统管理员工作。通过存储管理软件，采用虚拟化技术将众多存储节点构成存储池，可以支持超过10，000个虚拟卷，这些虚拟卷可以分配给不同的用户使用，用户可以共用这些硬件，但没法存取其他用户的数据，每个用户的数据是互相独立的。
[0029]所述的海量数据分布式存储系统还包括灾备存储模块，所述灾备存储模块用于对存储的车辆日常关键数据进行容灾备份。在灾难发生时，灾备存储模块可以用备份数据对车辆日常关键数据进行恢复。
[0030]分布式并行计算服务对集群虚拟计算环境中的资源进行抽象，采用并行执行任务映射/规约算法，提取并执行并行计算模型，实现集群中分布式数据的并行处理功能，为平台用户提供并行计算、合理分布数据、调用调度算法以提高计算效率、保证输出计算结果确定性以及支持原子性任务的功能。
[0031]高性能分布式计算技术能够管理大规模的高性能分布式计算集群，从而能够处理大量用户的并发访问和查询请求，同时能够容忍计算节点的错误，使部分节点的失效不会影响系统的正常运行，因此可以保证平台的服务质量。
[0032]分布式应用集成服务通过路由、寻址、通信技术等，为平台