一种能够对数据进行集中处理一体化数据展现平台的制作方法

本发明涉及数据展现平台技术领域，具体为一种能够对数据进行集中处理一体化数据展现平台。

背景技术：

随着集团公司信息化建设和企业两化融合的不对推进，可以预计企业内部的各类it数据将进入爆炸式增长时期，如何对海量的大数据的存储、分析挖掘和实时展现将是众多企业的迫切需求，信息数据化已基本覆盖了生产和管理的各方各面；

当前信息化体系在数据采集、分析、展现上存在两大薄弱点：一是对重要实时数据缺乏统一的处理平台，来实现重要实时数据的采集存储、监控告警、追溯分析等功能，二是数据分散，各业务系统中的数据自成体系，数据被封闭在业务系统中，这就给中高层管理人员无法快速获取所需信息，综合而言目前信息化体系有如下几个不足需要弥补：

1.对设备运行状况、能耗等数据的实时监控、实时告警和事后追溯分析缺乏系统支持，导致一线操作和管理人员不易发现异常情况并进行及时处理；

2.数据分散，需要在不同的业务系统中登录和操作来获取不同的数据；

3.多维度统计分析困难，数据的相互独立性决定了无法通过技术手段，根据管理者的需求定制管理仪表板，从而一站式的获取到想要的咨询；

本发明的目的在于提供一种能够对数据进行集中处理一体化数据展现平台，以解决上述背景技术提出的问题。

技术实现要素：

本发明的目的在于提供一种能够对数据进行集中处理一体化数据展现平台，以解决上述背景技术中提出的问题：

1.对设备运行状况、能耗等数据的实时监控、实时告警和事后追溯分析缺乏系统支持，导致一线操作和管理人员不易发现异常情况并进行及时处理；

2.数据分散，需要在不同的业务系统中登录和操作来获取不同的数据；

3.多维度统计分析困难，数据的相互独立性决定了无法通过技术手段，根据管理者的需求定制管理仪表板，从而一站式的获取到想要的咨询。

为实现上述目的，本发明提供如下技术方案：一种能够对数据进行集中处理一体化数据展现平台，所述数据进行集中处理一体化数据展现平台包括数据采集、数据路由、数据分析、实时告警分析和数据展现。

优选的，所述数据采集包含如下步骤：

步骤1：通过采集接口对将数据输送至源列队模块，通过列队源模块对数据进行标记和分发；

步骤2：标记和分发模块对数据进行复制分流，对数据进行实时告警、数据储存和分析运算；

步骤3：实时告警、数据储存和分析运算均通过列队的方式将数据分别输送至告警判断模块、数据储存模块和分析运算模块，通过告警判断模块完成对数据判定，并对判定后的数据进行的短信/推送，通过数据储存模块将数据输送至时间序列数据库、关系型数据库和mongodb中进行分类储存。

优选的，所述数据分析包含如下步骤：

步骤1：通过抽取清洗、转换和转载模块对外部数据源进行数据抽取并将抽取数据进行数据转换并数据转载到数据仓库中，外部数据源包括数据业务和数据文件；

步骤2：数据仓库将数据输送至联机数据分析模块，联机数据分析模块将需要分析的数据按照数据分析模型分析，形成主数据与相关联的各个相关角度之间的关联，然后将分析后数据输送至的多维数据集；

步骤3：多维数据将数据输送至数据仓库和主体数据库中进行储存，同时通过多维数据库完成数据展现。

优选的，所述数据展现包含如下方式：

方式1：通过实时监控完成数据展现，即使用在过程控制实时监控展现，包括将实时告警分析数据通过实时告警模块生成告警信息实时反映到实时监控；

方式2：通过日常业务报表方式完成数据展现，即那些在业务中使用比较频繁的、格式与内容固定的数据分析报表，本系统将使用成熟的finereport作为报表设计器与报表展现工具；

方式3：通过数据看板的方式完成数据展现，即将主题数据按照相关的数据分析模型进行数据抽取，并使用图表、数据表格进行展现，并能够对对数据进行钻取分析。

与现有技术相比，本发明的有益效果是：该能够对数据进行集中处理一体化数据展现平台，一是对重要实时数据统一的处理，来实现重要实时数据的采集存储、监控告警、追溯分析等功能，二是对数据进行集中处理，各业务系统中的数据相互联系，各个业务系统数据能够直接观察，方便了中高层管理人员快速获取所需信息；

1、对设备运行状况、能耗等数据的实时监控、实时告警和事后追溯分析拥有系统支持，能够使一线操作和管理人员及时发现异常情况并进行及时处理；

2、对数据进行集中，能够在不同的业务系统中登录和操作来获取不同的数据，操作方便，提高数据获取效率；

3、通过数据展现，使数据能够通过技术手段，根据管理者的需求定制管理仪表板，从而一站式的获取到想要的咨询。

附图说明

图1为本发明总体框架示意图；

图2为本发明数据采集示意图；

图3为本发明数据分析示意图；

图4为本发明业务系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种能够对数据进行集中处理一体化数据展现平台，数据进行集中处理一体化数据展现平台包括数据采集、数据路由、数据分析、实时告警分析和数据展现。

数据采集包含如下步骤：步骤1：通过采集接口对将数据输送至源列队模块，通过列队源模块对数据进行标记和分发；步骤2：标记和分发模块对数据进行复制分流，对数据进行实时告警、数据储存和分析运算；步骤3：实时告警、数据储存和分析运算均通过列队的方式将数据分别输送至告警判断模块、数据储存模块和分析运算模块，通过告警判断模块完成对数据判定，并对判定后的数据进行的短信/推送，通过数据储存模块将数据输送至时间序列数据库、关系型数据库和mongodb中进行分类储存，能够使一线操作和管理人员快速及时发现异常情况并进行及时处理；

数据分析包含如下步骤：步骤1：通过抽取清洗、转换和转载模块对外部数据源进行数据抽取并将抽取数据进行数据转换并数据转载到数据仓库中，外部数据源包括数据业务和数据文件；步骤2：数据仓库将数据输送至联机数据分析模块，联机数据分析模块将需要分析的数据按照数据分析模型分析，形成主数据与相关联的各个相关角度之间的关联，然后将分析后数据输送至的多维数据集；步骤3：多维数据将数据输送至数据仓库和主体数据库中进行储存，同时通过多维数据库完成数据展现，利均负载均衡、多服务器集群方式，防止业务数据过度集中而引起数据阻塞中断服务、采用审计跟踪，把本系统中发生的所有事件；

数据展现包含如下方式：方式1：通过实时监控完成数据展现，即使用在过程控制实时监控展现，包括将实时告警分析数据通过实时告警模块生成告警信息实时反映到实时监控；方式2：通过日常业务报表方式完成数据展现，即那些在业务中使用比较频繁的、格式与内容固定的数据分析报表，本系统将使用成熟的finereport作为报表设计器与报表展现工具；3：通过数据看板的方式完成数据展现，即将主题数据按照相关的数据分析模型进行数据抽取，并使用图表、数据表格进行展现，并能够对数据进行获取分析，对相应的重要数据需要使用加密方式进行数据加密防止重要数据数据泄漏给非授权用户和实体，保证数据的可用性、可靠性、保密性，同时确保获取数据的安全性，同时能够使管理者一站式的获取到想要的咨询。

工作原理：在使用该能够对数据进行集中处理一体化数据展现平台时，首先数据采集通过数据库、tpc/ip协议，http协议接收数据并进行按照约定数据格式进行打包发送至mq消息，再由数据路由模块从mq消息队列中读取数据按照路由策略进行解包分发至下游处理模块，通过数据储存将接收到数据包按照存储策略是存储到实时数据库，还是存储到关系型数据库，还是存储到非机构化数据库中，完成对数据对数据的分类处理，避免了数据的混乱，便于后期对数据的查询，通过etl数据转换模块，olap联机分析模块进行数据分析，数据转换模块主要是进行数据抽取并将抽取数据进行数据转换，联机数据分析将需要分析的数据按照数据分析模型分析，形成主数据与相关联的各个相关角度之间的关联，从而使用户可从各个角度获取数据，也能动态的在各个角度之间进行切换或者进行多角度综合分析，保证了获取数据的全面性，采用身份识别与确认、对用户的权限进行控制，只能访问相应权限的资源和数据，防止或限制经隐蔽通道的非法访问，利均负载均衡、多服务器集群方式，防止业务数据过度集中而引起数据阻塞中断服务、采用审计跟踪，把本系统中发生的所有事件，使用日志记录，以便分析原因，分清责任，及时采取相应的措施，对相应的重要数据需要使用加密方式进行数据加密防止重要数据数据泄漏给非授权用户和实体，保证数据的可用性、可靠性、保密性，同时确保获取数据的安全性，将数据采集收集到数据按照告警策略进行实时告警分析，并将分析告警结果推送给用户终端、路由给其他处理模块，对其数据进行及时处理，通过数据展现，使数据能够通过技术手段，根据管理者的需求定制管理仪表板，从而一站式的获取到想要的咨询，为企业各级生产和管理人员提供快捷有效数据服务，这就是该能够对数据进行集中处理一体化数据展现平台的使用方法。

本发明使用到的标准零件均可以从市场上购买，异形件根据说明书的和附图的记载均可以进行订制，各个零件的具体连接方式均采用现有技术中成熟的螺栓、铆钉、焊接等常规手段，机械、零件和设备均采用现有技术中，常规的型号，加上电路连接采用现有技术中常规的连接方式，在此不再详述，本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。