一种多通道高速数据加载方法及其系统与流程

文档序号:15743420发布日期:2018-10-23 22:40阅读:232来源:国知局

本发明涉及数据加载技术领域,具体为一种多通道高速数据加载方法及其系统。



背景技术:

随着互联网技术的广泛应用,在科技行业,以及传统行业与互联网行业的结合的大背景下,各个行业的数据的增长呈现指数级,这些数据含有宝贵的价值,而在数据进行显示时需要进行加载处理,所以如何快速对数据信息进行加载显得尤为重要。

公开号为CN105354320A提供了一种快速加载多个数据文件的方法,所述方法包括:获取数据文件的基本信息;根据获取的数据文件的基本信息加载所述数据文件。此发明不必等待获取到全部数据文件的基本信息,就开始对已经获取到基本信息的数据文件进行加载,因此可以提高集群数据库加载工具的性能,有效减少用户的等待时间,但是此方法在进行传输的过程中还是采用单条通道进行传输进而影响传输速度。



技术实现要素:

本发明的目的在于提供一种多通道高速数据加载方法及其系统,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:

一种多通道高速数据加载方法,包括以下步骤:

S1,获取前端设备的数据信息;

S2,根据获取的数据信息来计算数据信息的字节数;

S3,对字节数较大的数据信息进行拆分传输;

S4,拆分后的数据信息进行分路传输并对接收到的数据信息分步的进行加载;

S5,完成加载的数据信息进行存储。

优选的,所述S1具体为,通过数据采集模块采集前端设备的数据信息。

优选的,所述S2具体为,通过数据识别模块对采集的数据信息的字节数进行计算,并根据逻辑控制模块来判断计算出的数据信息的字节数是否到达分路传输的阈值。

优选的,所述S3具体为,通过数据拆分模块对字节数较大的数据信息进行拆分,并进行分路传输。

优选的,所述S4具体为,通过数据处理模块内的片内寄存器对拆分的数据信息进行寄存,其中拆分的数据信息分步的传输至片内寄存器内,并对拆分的数据信息进行分步加载。

优选的,所述S5具体为,数据信息分步加载完成后通过数据处理模块将完整的数据信息写入存储模块内。

一种多通道高速数据加载系统,包括前端设备、数据采集模块、数据识别模块、逻辑控制模块、数据处理模块、数据拆分模块、存储模块和后端设备,其中:

所述数据识别模块用于计算数据信息的字节数;

所述逻辑控制模块用于控制小字节的数据信号直接传输至数据处理模块内;

所述数据拆分模块用于对数据信息进行拆分传输;

所述数据处理模块用于对拆分的数据信息进行缓存并将缓存的数据信号进行分步加载,对加载的数据信号进行传输;

所述前端设备与数据采集模块电性连接,所述数据采集模块与数据识别模块无线通讯连接,所述数据识别模块、逻辑控制模块和数据拆分模块依次电性连接,所述逻辑控制模块、存储模块和后端设备均与数据处理模块电性连接,所述数据拆分模块与数据处理模块之间通过至少两根PCIE线连接在一起。

优选的,所述存储模块为Flash存储器。

优选的,所述数据采集模块与数据识别模块之间通过GPRS和/或CDMA通信的方式传输数据。

与现有技术相比,本发明的有益效果是:

1.本发明通过数据识别模块来计算数据信息的字节数,并根据数据信息的字节数来判断当前数据信息是否需要进行多通道传输,进而能够智能化的加载数据并提高加载速度,有效减少用户的等待时间。

2.本发明通过数据拆分模块对数据信息进行拆分以及采用多通道的方式对数据进行传输,使得数据信息能够快速的传输至寄存器内进行加载。

附图说明

图1为本发明方法流程图;

图2为本发明结构框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例:

请参阅图1和图2,本发明提供一种技术方案:

一种多通道高速数据加载方法,包括以下步骤:

S1,通过数据采集模块采集前端设备中待传输的数据信息;

S2,数据采集模块通过GPRS和/或CDMA通信的方式将采集的数据信息传输至数据识别模块内,数据识别模块对采集的数据信息的字节数进行计算,以及逻辑控制模块内设定有是否到达分路传输的字节数阈值,并根据逻辑控制模块来判断计算出的数据信息的字节数是否到达分路传输的阈值,若未到达阈值则数据信息直接通过逻辑控制模块传输至数据处理模块内进行加载,若达到阈值则进行S3;

S3,数据拆分模块接收来自经过逻辑控制模块内的前端数据信息,并对数据信息进行拆分,拆分成多路数据信息后经过PCIE线分为多个通道将数据信息传输至数据处理模块内。

S4,数据信息分步传输至数据处理模块内的片内寄存器内,并对拆分的数据信息进行寄存,以及对拆分的数据信息进行分步加载,分步加载的数据信息分步的传输至后端设备上显示,进而对已经获取到的数据信息进行加载,有效减少用户的等待时间。

S5,数据信息分步加载完成后通过数据处理模块将完整的数据信息写入存储模块内。

一种多通道高速数据加载系统,包括前端设备、数据采集模块、数据识别模块、逻辑控制模块、数据处理模块、数据拆分模块、存储模块和后端设备,其中:

数据识别模块用于计算数据信息的字节数;

逻辑控制模块用于控制小字节的数据信号直接传输至数据处理模块内;

数据拆分模块用于对数据信息进行拆分传输;

数据处理模块用于对拆分的数据信息进行缓存并将缓存的数据信号进行分步加载,对加载的数据信号进行传输;

前端设备与数据采集模块电性连接,其中数据采集模块用于采集前端设备的数据信息,数据采集模块与数据识别模块无线通讯连接,其中数据采集模块与数据识别模块之间通过GPRS和/或CDMA通信的方式传输数据,以及数据识别模块用于计算数据信息的字节数,数据识别模块、逻辑控制模块和数据拆分模块依次电性连接,逻辑控制模块用于控制小字节的数据信号直接传输至数据处理模块内,数据拆分模块用于对数据信息进行拆分传输,逻辑控制模块、存储模块和后端设备均与数据处理模块电性连接,数据处理模块用于对拆分的数据信息进行缓存并将缓存的数据信号进行分步加载,对加载的数据信号进行传输,存储模块为Flash存储器,数据拆分模块与数据处理模块之间通过至少两根PCIE线连接在一起。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1