一种数据处理的方法和装置的制造方法_3

文档序号:9274588阅读:来源:国知局
据的指针和地址信息存储在所述数据空间;
[0081]通过该步骤建立的该数据空间可以使二进制数据多维化,该数据空间的建立相当于为二维度的平面搭建立交桥,同时,为立交桥上和平面上的数据划分在时间维度和权限维度中,从而减少平面以及立交桥上的进程拥挤和冲突,在该步骤中可通过调用函数InitMDDataDispose O,初始化数据空间。该数据空间只存储了数据的指针和地址信息,可以避免数据空间占用过多的内存而给计算机带来过高的负载。
[0082]步骤202:为所述数据空间划分五维的空间维度,使计算机的进程运行在空间维度上,不同空间维度间的进程没有依赖性;
[0083]该五维的空间维度中,有三个维度用于标记数据在数据空间中的位置,另外两个维度为时间维度和权限维度,例如:当第三维度搭建的立交桥不能够满足进程疏导的需要,可以在该第三维度上增加另外的一个维度如时间维度,使先到的进程可以优先锁定数据中的操作区域;另外在该第三维度上增加权限维度,可以使不同访问权限的进程锁定自己的访问区域,如只读权限的进程只锁定所要读取的数据内容,而拥有读写权限的进程可以更新该数据的其他内容,又或者可以保持该数据的相关副本,等读书据锁释放后再统一同步数据,另外,也可以设置进程不对数据加锁,使其他维度上的进程可以访问,但不修改该数据。
[0084]值得说明的是,可以根据所述计算机的进程运行的环境,定义所述计算机的进程所在的空间维度高低,设定处于高空间维度的进程可以访问处于低空间维度的进程对应的数据,而处于低空间维度进程不能够访问处于高空间维度进程对应的数据;例如:定义权限维度高于时间维度,那么,权限维度上的进程可以访问时间维度上进程的数据,但该权限维度与时间维度所处理的数据间不会存在冲突。但是,时间维度上进程不能访问权限维度进程的数据,从而使得数据尽可能被进程完全处理,又不至于造成进程访问混乱的情况产生。
[0085]步骤203:为上述权限维度和时间维度生成对应的所述待处理数据的副本;
[0086]例如:文件A中的数据可被分成资源a、资源b、资源C、资源d以及资源e等,其中,资源a和资源b等的数据与时间维度上的进程相关;资源C、资源d以及资源e等的数据与权限维度上的进程相关,那么,可为资源a和资源b生成副本以供时间维度上的进程的访问和处理,可为资源C、资源d以及资源e等生成副本以供权限维度上的进程的访问和处理,最后可将进程对这些副本的修改引入到文件A中,实现对文件A数据的处理。
[0087]步骤204:确定所述数据空间的环境参数;
[0088]上述数据空间的环境参数包括数据空间的大小、初始坐标的位置、空间规则、时间刻度以及空间曲率。
[0089]步骤205:通过存储于所述数据空间中的指针和地址信息,根据所述确定的数据空间的环境参数,将待处理数据副本载入所述数据空间;
[0090]例如:数据空间中存储的文件A以及该文件A所生成的副本的地址信息,通过指针可以直接跳到该地址信息所对应的硬盘的位置,通过调用函数LoadData O可以将文件A中数据的副本载入到数据空间内。
[0091]步骤206:将待处理数据副本抽象为所述数据空间中的立体化的几何结构;
[0092]待处理数据副本在数据空间中并不是顺序存在,而是抽象为立体的几何结构如立方体型、球体、不规则几何体等,当几何结构为立方体时,这些数据可以依照设定好的次序填充入立方体的顶点,从宏观来看,该过程可以使进程与待处理数据接触区域更大。
[0093]步骤207:根据所述几何结构的结构特性,对所述立体化的几何结构进行分割,形成至少两个新的几何结构;
[0094]例如:当几何结构为立方体时,可将该立方体分割为四个大小相同的立方体。
[0095]步骤208:获取新的几何结构的个数;
[0096]步骤209:判断所述新的几何结构的个数大于等于1,且小于处理器个数的两倍,如果是,则执行步骤210 ;否则,执行步骤211 ;
[0097]步骤210:待处理数据可以进行多维化处理,为数据处理方法分配进程,结束当前流程;
[0098]在该步骤中,可根据所述至少两个新的几何结构的几何特性,设定每一个新的几何结构对应的数据处理方法,并为所述数据处理方法分配进程;
[0099]例如:上述立方体几何结构划分为四个小的立方体,则可以为这四个立方体分配数据处理方法,各种数据处理方法均对应着相关的进程。这种数据处理方法还包括了多维化处理方式,如数据解析、进程互斥等。
[0100]步骤211:待处理数据不能够进行多维化处理,结束处理进程;
[0101]上述步骤209至步骤211主要为了避免过少的并行化数量所带来的资源额外消耗,也可以避免过多的进程数量造成的进程间频繁切换,从而保证了并行化的收益。例如:上述将立方体结构的几何结构分割成4个小的立方体,而当处理器为单核处理器时,该多维化处理运行的进程太多,给处理器造成超负载,则该多维化可能不能加快数据处理速度,为了避免这种状况的发生,本发明实施例进行了步骤209至步骤211的设置,可通过调用函数CheckMDDisposeModelO判断数据是否可以进行多维化处理,如返回true则进入步骤210,否则进入步骤211结束处理过程。
[0102]步骤212:判断为所述数据处理方法分配进程是否处于同一空间维度,如果是,则执行步骤213 ;否则,执行步骤214 ;
[0103]步骤213:将所述至少两个新的几何结构中的待处理数据分配给处于同一空间维度的不同进程,结束当前流程;
[0104]步骤214:将待处理数据分配给处于不同空间维度的进程;
[0105]步骤215:控制不同空间维度的进程并行处理被分配的所述待处理数据;
[0106]在这一过程中,可以使所述权限维度与所述时间维度间的进程以所述待处理数据为基础,进行非重叠的互斥访问,或者,可以使所述权限维度与所述时间维度间的进程以所述待处理数据为基础,进行高优先级进程已处理的待处理数据覆盖低优先级进程已处理的待处理数据的进程交错访问,或者,可以使所述权限维度与所述时间维度间的进程以所述待处理数据为基础,进行时间点靠后的进程处理的待处理数据覆盖时间点靠前的进程处理的待处理数据的进程交错访问,另外,可以使处于高空间维度的进程访问处于低空间维度的进程对应的数据。通过上述过程可以避免造成进程间的冲突。
[0107]步骤216:控制同一空间维度的进程并行处理被分配的所述待处理数据。
[0108]如图3所示,待处理数据被抽象为立方体的几何结构,通过上述步骤将立方体分割为4个小的立方体,即区域A、区域B、区域C以及区域D,而图3所示的立方体上的数据被分配在同一维度上,其中,区域A可被进程A处理、区域B可被进程B处理、区域C可被进程C处理、区域D可被进程D处理,这些进程间通过各个区域间的边缘形成互斥访问,使得进程A、进程B、进程C以及进程D可以并行处理。
[0109]不同维度的进程对待处理数据的处理过程与上述处理过程类似,在此不再赘述。值得说明的是,高维度的进程可对低维度进程处理的数据进行访问,例如:数据被切分后,区域A中数据被分配到处于时间维度的进程a,而区域C中的数据被分配到处于权限维度的进程C,其中,权限维度高于时间维度,则,进程c可以访问区域A中的数据,但是,进程a不能访问区域C中的数据。
[0110]值得说明的是,在步骤209判断出待处理数据可以进行多维化处理之后,还可以根据待处理数据的量以及数据所在的本地计算机所处的运行环境是否支持分布式处理或云计算,如果是,则可将本地计算机无法承载的计算量分散到网络上的其它计算机中进行同步处理,从而进一步加强了并行化处理的能力,值得说明的是,如果本地计算机所运行的环境支持分布式处理,则需要使用者予以标注,避免判定结果不符合预期,可通过调用函数CheckDistributedSettings O,检测运行环境是否支持分布式处理过程,如返回tru
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1