一种用于企业经营数据分析的大数据可视化分析处理系统的制作方法
【技术领域】
[0001]本发明涉及大数据处理领域，尤其是涉及一种用于企业经营数据分析的大数据可视化分析处理系统。
【背景技术】
[0002]企业数据分析是现代企业管理的基础。企业经营数据分析的主要职能有:信息职能、咨询职能和监督职能企业经营数据分析范畴主要包括:企业环境与条件数据分析；企业产出数据分析；企业经营效果评价数据分析；企业发展战略数据分析等。而在进行企业数据分析之前重要的一个环节是企业经营数据的收集与整理。企业经营数据收集技术是对某些直接数据企业大多采用全面调查(统计台账，原始记录等)，个别领域采用抽样调查。
[0003]现有的企业数据分析方法大致具有以下缺憾:
[0004]1、在较大规模的企业中，业务经营管理的各系统经常是在不同时期由不同的部门主导建设的，其数据存放格式有所不同，往往也存在数据冗余，数据不一致等各种状况，难以进行跨系统的数据收集和关联分析。
[0005]2、业务人员不掌握底层的数据结构，无法直接建立分析模型，必须借助技术人员的帮助才能对数据进行有效的分析，影响数据分析工作的保密性和时效性，不能很好地满足数据分析业务要求。
[0006]3、业务部门有相当多历史数据是非格式化存储(如word文档)，无法形成有效的知识体系，不利于知识的传承和运用。
[0007]4、许多企业外部数据对企业数据分析有极大的帮助(如法院、商务部门的公开信息等)，但这些数据往往格式多样，存在处所分散，只能人工查找和分析。
【发明内容】
[0008]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高工作效率、支撑跨系统数据分析、保密性高的用于企业经营数据分析的大数据可视化分析处理系统。
[0009]本发明的目的可以通过以下技术方案来实现:
[0010]一种用于企业经营数据分析的大数据可视化分析处理系统，包括:
[0011]数据来源判断模块，用于判断数据来源以采用相应的数据收集方式；
[0012]数据收集模块，根据所述相应的数据收集方式对数据进行收集；
[0013]数据保存模块，将所述数据收集模块收集的数据保存为待清洗数据；
[0014]数据清洗模块，对所述待清洗数据进行数据清洗，生成已清洗数据；
[0015]数据标准化处理模块，对所述已清洗数据进行标准化处理，生成公共导航字段，并保存至数据池；
[0016]后台任务调度模块，调用已建立的分析模型对数据池内的数据进行分析并生成可视化分析结果报告。
[0017]所述数据来源包括内部格式化数据、内部非格式化数据和外部网站数据；
[0018]所述相应的数据收集方式具体为:
[0019]对于内部格式化数据，采用给定接口进行数据收集，保存为待清洗数据；
[0020]对于内部非格式化数据，通过信息提取操作将所述非格式化数据转化为格式化数据后进行数据收集，保存为待清洗数据；
[0021]对于外部网站数据，采用网络爬虫技术抓取外部网站数据，然后对抓取的数据进行信息提取操作，将非格式化数据转换为格式化数据，然后进行数据收集处理，保存为待清洗数据。
[0022]所述数据清洗是指剔除待清洗数据中的无用数据，所述无用数据包括失效数据、业务范围外数据和特定隐私信息。
[0023]所述数据标准化处理模块对已清洗数据进行标准化处理后，更新数据时间标记。
[0024]所述后台任务调度模块按照定时方式者事件触发方式启动分析模型进行分析。
[0025]所述分析模型通过对数据池内的样本数据进行训练获得。
[0026]所述分析模型和分析结果均保存在工作区内。
[0027]与现有技术相比，本发明具有以下优点:
[0028]I)数据格式统一化、标准化；建立公共导航字段，进行数据变形和清洗；建立规范统一的业务数据领域，统一的导航字段和数据模型，支撑跨系统的数据分析。
[0029]2)在大数据分析平台上提供可视化的分析模型搭建工具，不仅仅是传统意义上的统计性工具，也包括直接含有业务含义的智能工具如关联担保分析，贷款五级分类等智能算法，业务人员可轻松胜任整个分析模型生命周期管理，降低对分析建模人员的计算机能力要求，降低业务人员建立分析模型的难度，完全消除对技术人员的依赖，提高工作效率，保障了数据分析工作的保密性和时效性。
[0030]3)采用建立索引、信息提取等技术手段，将非格式化存储文件中的有效信息提取出来，建立知识库，充分有效的运用历史数据
[0031]4)采用网络爬虫加信息提取等技术手段，将外部数据中的有效信息提取出来，建立关键信息库，有效的运用外部数据。
【附图说明】
[0032]图1为本发明的流程示意图。
【具体实施方式】
[0033]下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0034]本实施例提供一种用于企业经营数据分析的大数据可视化分析处理系统，包括数据来源判断模块、数据收集模块、数据保存模块、数据清洗模块、数据标准化处理模块和后台任务调度模块，其中，数据来源判断模块用于判断数据来源以采用相应的数据收集方式；数据收集模块根据所述相应的数据收集方式对数据进行收集；数据保存模块将所述数据收集模块收集的数据保存为待清洗数据；数据清洗模块对所述待清洗数据进行数据清洗，生成已清洗数据及相应的公共导航字段；数据标准化处理模块对所述已清洗数据进行标准化处理，并保存至数据池；后台任务调度模块调用已建立的分析模型对数据池内的数据进行分析并生成可视化分析结果报告。
[0035]如图1所示，应用上述大数据可视化分析平台进行企业经营数据分析的具体流程为:
[0036]1、整个处理流程可以设定为定期发起，也可以设定为事件触发进行(如数据文件发生变化、收到特定的指令、外部网站数据有更新等)；
[0037]2、按照数据来源的不同，发起不同的数据收集子流程:
[0038]a)内部格式化数据(各业务系统的数据):直接按照给定接口收集数据，数据保存为待清洗数据；
[0039]b)内部非格式化数据(word文档等非格式化数据):对文档进行信息提取操作，将非格式化数据转换为格式化数据，然后进行数据收集处理，数据保存为待清洗数据；
[0040]c)外部网站数据(外部，非格式化数据):运用网络爬虫技术抓取数据，然后对抓取的数据进行信息提取操作，将非格式化数据转换为格式化数据；最后进行数据收集处理，数据保存为待清洗数据；
[0041]3、按预定规则进行数据清洗，去除无用数据(包括失效数据，业务范围外数据，特定隐私信息等)，并生成公共导航字段；
[0042]4、执行数据标准化处理:按照标准化业务领域将已清洗数据导入到数据池；对数据池中的过期数据进行废弃处理；更新数据时间标记；
[0043]5、后台任务调度器按照定时或者事件触发启动已建立的分析模型的运行，对数据池内的海量数据进行分析处理，形成最终的分析结果，并将之存放在工作区内；
[0044]6、任务调度器运行完分析模型后，生成最终的分析结果