一种多维化动态数据的分组处理方法及系统与流程

文档序号:11285744阅读:311来源:国知局

本发明涉及一种计算机数据处理方法,特别涉及一种用于超大位数据的快速处理和数学运算的方法,广泛适用于金融统计、科学计算、智能化程序设计、机器学习、图像处理等各种高精度复杂性数据处理领域。



背景技术:

传统的计算机处理芯片基于数据处理的复杂程度先后经历了从8位、16位、32位到64位的衍变,从而使得计算机的处理能力大幅增强。计算机芯片位数的提升直接导致的结果就是在同一个时钟周期内原本只能处理8位数据的处理芯片,现在可以处理64位数据,单纯从数据的处理量来看就已经提升了8倍。

然而随着信息化发展的逐渐普及和科技水平的大幅提升,传统意义上以64位数据长度来定义的数据量已经逐渐无法满足日常使用的需求。比如在数据加密领域,密钥的长度从128位提升到了256位,甚至出现了512位或1024位以上这样更高的要求,传统的处理芯片在处理这些数据时就难以发挥出最大效能。

这是因为单位长度的数据处理长度直接限制了一个时钟周期内芯片处理数据的能力,超过芯片单位长度的数据需要分为多个时钟周期来依次处理,这就造成了运算效率上的降低。

但是计算机芯片的单位处理长度也不是可以任意设定的,为了保证二进制数据在处理时的一致性,低于64位的数据需要在处理的时候通过补位的方式来兼容64位处理单元。比如32位长度的数据需要使用0数据位补充为64位后方才可以被正确处理,这也是现有64位处理器的主要兼容模式。而这种补位不但会造成计算机系统的冗余操作,同时也会对计算机各种类型的存储器造成压力。

而且,在处理多维化数据空间时,这种数据长度位数的限定会造成数据空间的碎片化,从而大幅增加冗余处理和同步化操作难度。比如,在一个64*64*64长度的数据空间内,如果要完成数据空间内部的所有空间节点的单次同步运算,在64位处理芯片上则至少需要经历64*64*64个时钟周期,而在64*64*64位的处理芯片上则只需要经历一个时钟周期。但是以传统方式进行芯片设计的话,64*64*64位处理器在处理低位数据运算时又会造成极大的资源浪费。



技术实现要素:

鉴于上述现有技术的缺陷,本发明的目的旨在提出一种多维化动态数据的分组处理方法及系统,解决芯片位数限制无法满足超长位数据处理的问题。

本发明实现上述第一个目的的技术解决方案是,一种多维化动态数据的分组处理方法,其特征在于包括步骤:

将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;

在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;

重复运算处理直至再无跨区域操作信息被反馈后,对空间处理区域的运算结果多维化本地解析出处理结果。

进一步地,所述超大位数据中每一位数在所载入的数据空间中具有对应的立体坐标,多维化动态分组后所得的各空间处理区域分别对应一组立体坐标集合。

进一步地,在多维化动态分组后所得的各空间处理区域具有相互区分和引导运算方向的专属标识。

进一步地,所述硬件环境为8位处理芯片组成的计算系统,所述超长位数据为32位长度的数据且多维化动态分组为四组8位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且并行运算处理。

进一步地,所述硬件环境为16位处理芯片组成的计算系统,所述超长位数据为两个64位长度的数据且分别多维化动态分组为各自的四组16位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且并行运算处理。

更进一步地,所述运算处理为加法运算或减法运算,且加法运算中包含向别个空间处理区域进位的跨区域操作;减法运算中包含向别个空间处理区域借位的跨区域操作。

再进一步地,所述跨区域操作基于各个空间处理区域的专属标识具有指向性。

本发明实现上述第二个目的的技术解决方案是,一种多维化动态数据的分组处理系统,其特征在于包括:多维动态分组模块,用于将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;

运算处理模块,用于在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;

运算结果返回模块,用于在重复运算处理直至再无跨区域操作信息被反馈后,对各空间处理区域的中间运算结果多维化本地解析出处理结果。

进一步地,所述计算系统设有存储单元,所述分组处理系统固化于存储单元中并调用于处理芯片。

进一步地,所述计算系统接设有可移动存储单元,所述分组处理系统存入可移动存储单元中并通信调用于处理芯片。

应用本发明的分组处理方法,较之于现有技术具备突出的实质性特点和显著的进步性:该方法通过应用多维化动态分组的方法,针对超大位数据进行分组并同步处理和运算,突破了传统硬处理方法受制于硬件资源的瓶颈,全面提升了计算机系统处理数据的能力,有利于在各行业高精度复杂性的数据处理。

附图说明

图1为本发明处理方法中将一个32位数据分组为四组8位数据的空间分组示意图。

具体实施方式

以下便结合实施例附图,对本发明的具体实施方式作进一步的详述,以使本发明技术方案更易于理解、掌握,从而对本发明的保护范围做出更为清晰的界定。

为解决现有技术芯片位数与处理性能之间的矛盾,本发明设计并提出了一种多维化动态数据分组处理系统,专门针对超大位数据的同步处理和运算,在不变更现有硬件资源的基础上能全面提升系统处理超大位数据的能力。

从概括描述本发明来看,该多维化动态数据的分组处理方法主要包括如下步骤:将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;重复运算处理直至再无跨区域操作信息被反馈后,对空间处理区域的运算结果多维化本地解析出处理结果。

需要理解的是:在多维化数据空间之中,根据数据空间处理规则和种类的不同,超大位数据中每一位数在所载入的数据空间中被赋予对应的立体坐标,多维化动态分组后所得的各空间处理区域分别对应一组立体坐标集合。但是无论数据空间如何定义,一个空间区域内的数据处理都需要产生实时互动的结果,否则这种数据空间的处理方式就没有太大的意义。作为实时互动的基础,除立体坐标外在多维化动态分组后所得的各空间处理区域具有相互区分和引导运算方向的专属标识,各分组后的低位数据具有专属标识、立体坐标的混合特性。

为了要处理这种空间区域内的互动运算,其所要载入的处理数据位就会很大,处理过程自然很复杂,以8*8*8*1的空间区域(一个8*8*8的数据空间内,数据位为1)为例的数据,其单次需要处理的数据量就是64位*8次。如果使用传统的数据处理技术,即使是最简单的操作也需要64位处理器经过8个时钟周期才能处理完,而且在此过程中,后一个处理还需要等待上一个处理过程的运算结果,显然难以使用并行运算的方式予以加速。当然,上述运算处理可以是加法,也可以是减法或当前其它主流二进制算法,相对应地,该些运算处理中包含向别个空间处理区域进位的跨区域操作。该些跨区域操作基于各个空间处理区域的专属标识具有明确的指向性。

为改变这种现象,使得超大位数据的并行化运算成为可能,本方法通过多维化数据空间技术针对超大数据位运算设计了一种多维化动态数据动态分组处理机制,通过该机制可以将超大位数据的处理并行分割为相互独立的空间化区域处理,

如图1所示,是本发明一较佳实施例的空间分组示意图。其具体是将一个32位数据分组为四组8位数据。而之所以需要分组,是因为在一个8位处理芯片组成的计算机系统中,如果要使用传统方法处理32位长度的数据需要将该数据分成4个阶段依次进行处理,每次处理都要等待前一个处理的结果,效率较低。而利用数据空间系统,超大位数据的处理可以通过多维化动态分组的机制予以自动分割(自动分割的基础是硬件环境的芯片处理能力),其中每个数据空间之间都是相互独立的个体,互不影响,因此可以对这些数据做并行化处理。而每个区域并行化处理的结果又可以通过多维度数据空间协调机制进行同步。举例来说,假设要在8位芯片的环境中要对两个32位长度的数据执行加法运算则首先要将两个数据分别分拆为四组8位长的数据,然后从低位开始依次相加,高位数据相加的运算需要等待低位数据的相加结果。设四个区域分别为a0、b0、c0、d0和a1、b1、c1、d1,则需要执行如下几个分组操作:d0+d1(一次加法运算、一个时钟周期);c0+c1+进位数据(两次加法运算、两个时钟周期);b0+b1+进位数据(两次加法运算、两个时钟周期);a0+a1+进位数据(两次加法运算、两个时钟周期)。由此可见,该次两个32位长度的数据总共涉及7次加法运算,占用7个时钟周期。

而通过多维化动态分组处理系统就可以使用并行化的方式进行运算,其需要经过的过程则与传统的处理方法大相径庭,具体来看:d0+d1、c0+c1、b0+b1、a0+a1(四次加法运算、一个时钟周期);区域2+进位数据、区域3+进位数据、区域4+进位数据(三次加法运算、一个时钟周期);区域3+进位数据、区域4+进位数据(两次次加法运算、一个时钟周期);区域4+进位数据(一次加法运算、一个时钟周期)。由此可见,虽然从加法运算的总体数量上有所增加,但是有赖于并行运算的执行,只需要4个时钟周期,执行效率大幅提升。

从上述分组处理方法所赖以实现的硬件装置来看,一种多维化动态数据的分组处理系统,其包括:多维动态分组模块,用于将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;

运算处理模块,用于在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;

运算结果返回模块,用于在重复运算处理直至再无跨区域操作信息被反馈后,对各空间处理区域的中间运算结果多维化本地解析出处理结果。

作为硬件上的配置基础,上述计算系统设有存储单元或外接设有可移动存储单元,上述分组处理系统可以固化于存储单元中,也可以存入可移动存储单元,并均可调用于处理芯片。

除上述较佳实施例外,本发明数据处理方法广泛适用于各种硬件环境和各种超长为数据的高效率处理。例如当硬件环境为16位处理芯片组成的计算系统,超长位数据为两个64位长度的数据且分别多维化动态分组为各自的四组16位长的数据,可将对应分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理。又或者当硬件环境为64位处理芯片组成的计算系统,超长位数据为512位长度的数据且多维化动态分组为八组64位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理,均能大幅缩减所占用的时钟周期。

综上所述可见,本发明分组处理方法,通过应用多维化动态分组的方法,针对超大位数据进行分组并同步处理和运算,突破了传统硬处理方法受制于赢件资源的瓶颈,全面提升了计算机系统处理数据的能力,有利于在各行业高精度复杂性数据处理中发挥重要作用。

以上附图及其说明仅作为实施例提供,其实施方式具有多样性。故凡对以上实施例进行的简单修改或等效变换,能够实现本创作目的的设计方案,均应纳入本专利申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1