本发明涉及数据处理领域，尤其涉及一种基于适配器的大数据转换方法及系统。
背景技术：
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百tb甚至数十至数百pb规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。百度目前的总数据量已超过1000pb，每天需要处理的网页数据达到10pb～100pb；淘宝累计的交易数据量高达100pb；twitter每天发布超过2亿条消息，新浪微博每天发帖量达到8000万条；中国移动一个省的电话通联记录数据每月可达0.5pb～1pb；一个省会城市公安局道路车辆监控数据三年可达200亿条、总量120tb。据世界权威it信息咨询分析公司idc研究报告预测：全世界数据量未来10年将从2009年的0.8zb增长到2020年的35zb(1zb＝1000eb＝1000000pb)，10年将增长44倍，年均增长40％。而存在如此多的异构数据，彼此之间无法进行无缝交换，形成数据孤岛，无法发挥数据的应用价值。现在，我们面临的挑战是，如何处理海量的非结构化数据和不确定的数据，并从这些数据中挖掘出商业价值。
技术实现要素：
鉴于目前技术存在的上述不足，本发明提供一种基于适配器的大数据转换方法及系统，本发明的方法可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本发明可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。
本发明的采用如下技术方案：
一种基于适配器的大数据转换方法，包括以下步骤：
接收异构数据转换请求并对异构数据解析处理和基于sql脚本对异构数据进行配置；
对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置；
对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行；
对上述储存的异构数据进行展现。
作为本发明的优选技术方案，所述接收异构数据转换请求并对异构数据解析处理和基于sql脚本对异构数据进行配置的步骤包括：
将异构数据源中的数据，制定标准的接口；
建立数据管理任务项与对应转换适配器自动识别的wsdl文件；
将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；
确定异构数据管理任务项集合；
根据异构数据管理任务项调试相应的sql脚本得到sql脚本集；
配置异构数据管理任务项和sql脚本之间的逻辑映射文件；
将所述sql脚本集和逻辑映射文件放置于数据交换平台。
作为本发明的优选技术方案，所述对解析处理的异构数据进行缓存处理以及对进行配置的异构数据进行运行阶段配置的步骤包括；
对解析处理的异构数据通过适配转换脚本进行转换后存入缓存；
基于异构数据交换平台解析逻辑映射文件；
异构数据交换平台根据执行动作参数确定执行时刻并执行每个数据库管理任务项。
作为本发明的优选技术方案，所述对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行的步骤包括：
对经过缓存处理的异构数据通过调用大数据转换引擎，进行批量 数据转换并对转换的异构数据进行储存；
异构数据交换平台根据逻辑映射文件找到该数据库管理任务项映射的sql脚本并读取sql脚本内容。
作为本发明的优选技术方案，所述对上述储存的异构数据进行展现的步骤包括：
通过调用大数据分析引擎对上述储存的异构数据进行分析；
将经过分析过后的数据进行数据前端展示。
本发明的另一面，一种基于适配器的大数据转换系统，包括依次相连的请求接收模块、异构数据解析模块、异构数据缓存处理模块、适配器处理模块、异构数据转换处理模块、异构数据储存处理模块、异构数据服务处理模块、异构数据展现处理模块。
作为本发明的优选技术方案，所述请求接收模块与移动客户端、web客户端、pc客户端相连。
本发明具有以下有益效果：
1、可以自动执行批量数据转换脚本集合，保存转换脚本执行结果信息，并据此生成应用分析报告，采用本发明可以减少异构数据进行转换的逻辑错误、提高异构数据之间的交换效率，以及降低异构数据的数据采集与分析成本。
2、针对来自各种异构数据源数据(包括结构化数据、非结构化数据)，采用统一的接口规范和协议标准进行批量转换，通过独创的数据适配器算法和转换规则引擎，对目标数据进行无人值守自动转换与分析输出。异构数据解析任务、转换任务、批量输出任务等需要编写相应的脚本，形成异构数据自动化转换脚本集。
3、建立各种异构数据源的数据样本与特征码，并设计与之相匹配的转换适配器进行转换逻辑与转换规则映射；将自动化的批量异构数据分析与转换脚本集以及转换逻辑与转换规则映射文件部署于统一数据交换平台中。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明具体实施的流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种基于适配器的大数据转换方法，包括以下步骤：
步骤s1：接收异构数据转换请求并对异构数据解析处理和基于sql脚本对异构数据进行配置，具体为步骤s1a：将异构数据源中的数据，制定标准的接口，进一步优选为，针对各个异构数据源中的数据，统一制定标准的接口规范，采用soap标准协议，将其转换成标准的xml数据；步骤s1b：建立数据管理任务项与对应转换适配器自动识别的wsdl文件，进一步为，建立各种数据管理任务项与对应转换适配器自动识别的wsdl文件；步骤s1c：将异构数据解析脚本和逻辑映射文件部署统一数据交换平台；步骤s1d：确定异构数据管理任务项集合；步骤s1e：根据异构数据管理任务项调试相应的sql脚本得到sql脚本集；配置异构数据管理任务项和sql脚本之间的逻辑映射文件；步骤s1f：将所述sql脚本集和逻辑映射文件放置于数据交换平台。
步骤s2：对解析处理的异构数据进行缓存处理以及对进行配置的异 构数据进行运行阶段配置，具体为：步骤s2a：对解析处理的异构数据通过适配转换脚本进行转换后存入缓存，再具体为通过数据转换关键字自动适配转换脚本进行转换后存入缓；步骤s2b：基于异构数据交换平台解析逻辑映射文件；步骤s2c：异构数据交换平台根据执行动作参数确定执行时刻并执行每个数据库管理任务项。
步骤s3：对经过缓存处理的异构数据进行转换处理并对转换的异构数据进行储存以及对运行阶段配置的异构数据进行运行阶段运行，具体为步骤s3a：对经过缓存处理的异构数据通过调用大数据转换引擎，进行批量数据转换并对转换的异构数据进行储存，再具体为通过定义转换规则，调用大数据转换引擎，进行批量数据转换并对转换的异构数据进行储存；步骤s3b：异构数据交换平台根据逻辑映射文件找到该数据库管理任务项映射的sql脚本并读取sql脚本内容。
步骤s4：对上述储存的异构数据进行展现的步骤包括，步骤s4a：通过调用大数据分析引擎对上述储存的异构数据进行分析；步骤s4b：将经过分析过后的数据进行数据前端展示，具体为通过启动报表展现模块对异构数据的转换情况进行统计分析和展示。
以下提供具体的实施例来进一步阐述本发明
实施例1
在目前存在的大数据中，长期存在着数据格式多种多样，无法进行数据交换，对于数据的维护和升级却存在着高成本、低效率的问题。
场景1：商业银行经过多年的积累，沉淀了很多数据，包括业务数据、客户数据、风险数据、绩效数据、账务数据等，这些数据的格式多种多样，有flat文件、来自核心系统的交易数据文件、批处理文件、csv文件、pdf文件等，还有一些影像文件，既包括结构化的数据有包括非结构化的数据，数据之间无法进行交换，形成数据壁垒，影响了工作效率。因此，迫切需要一种技术或工具，使得各种异构数据能够实现批量转换，从而达到数据无缝交换和数据共享的目标。
场景2：工业大数据应用的价值潜力巨大。但是，实现这些价值还有很多工作要做。一个是大数据意识建立的问题。过去，也有这些大数据，但由于没有大数据的意识，数据分析手段也不足，很多实时数据被丢弃或束之高阁，大量数据的潜在价值被埋没。还有一个重要问题是数据孤岛的问题。很多工业企业的数据分布于企业中的各个孤岛中，特别是在大型跨国公司内，要想在整个企业内提取这些数据相当困难。
通过本发明的方法就能解决上述场景中各个异构数据之间的无缝交换与整合，具体步骤如上述的步骤1到步骤4所示，通过独创的数据特征码自动识别技术自动加载各种异构数据，并调换相应的适配器进行格式转换、协议转换、报文转换等一系列操作，生成目标数据存到缓存中。通过调用大数据分析引擎进行数据分析和数据挖掘。最后通过大数据可视化技术进行前端展现分析结果。
本发明的另外一面，一种基于适配器的大数据转换系统，包括依次相连的请求接收模块、异构数据解析模块、异构数据缓存处理模块、适配器处理模块、异构数据转换处理模块、异构数据储存处理模块、异构数据服务处理模块、异构数据展现处理模块。
进一步，请求接收模块与移动客户端、web客户端、pc客户端相连，但是并不限于上述客户端。
在本发明中，请求接收模块用以接收异构数据的转换请求，异构数据解析模块用以异构数据的解析处理，异构数据缓存处理模块用以异构数据的缓存处理，适配器处理模块用以配置转换规则和脚本，启动数据转换任务，异构数据转换处理模块用以异构数据的转换处理，异构数据储存处理模块用以异构数据的储存处理，异构数据服务处理模块用以提供数据服务、数据分析服务、数据切换服务、数据计算和数据挖掘服务等，以及通过调用大数据分析引擎进行数据分析操作；异构数据展现处理模块用以异构数据在数据前端展示。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并 不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。