一种数据处理的方法和装置的制造方法_4

文档序号:9274588阅读:来源:国知局
e则调用函数LoadDistributedSettings O,载入分布式处理的系统配置,并调用函数SetDistributedModel,设置分布式处理所采用的方法,如:云计算方式等,通过调用函数InitDistributedManager O,初始化多维度分布式处理进程。
[0111]在本发明实施例中,可通过调用函数LoadSystemInfoO,读取系统环境变量,如CPU核心数等,以便更加合理的设置进程数量,通过调用函数SetMDDisposeModel O,设定多维度数据处理方式;通过调用函数InitDispoeseManager O,初始化多维度并行处理进程。
[0112]如图4、图5所示,本发明实施例提供了一种数据处理装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图4所示,为本发明实施例的数据处理装置所在设备的一种硬件结构图,除了图4所示的CPU、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责维护数据空间的芯片等等。以软件实现为例,如图5所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的数据处理装置50包括:
[0113]数据空间处理单元501,用于建立数据空间,将数据的指针和地址信息存储在所述数据空间;为所述数据空间划分三个以上的空间维度,使计算机的进程运行在所述三个以上的空间维度上,不同空间维度间的进程没有依赖性;
[0114]读取单元502,用于通过存储于所述数据空间中的指针和地址信息,将待处理数据载入所述数据空间;
[0115]第一分配单元503,用于将所述待处理数据分配给处于不同空间维度的进程;
[0116]数据处理单元504,用于控制不同空间维度的进程并行处理被分配的待处理数据。
[0117]在本发明一个实施例中,所述数据空间处理单元501为所述数据空间划分出的三个以上的空间维度中,前三个维度用于标记所述待处理数据在空间中的地址,还包括:权限维度和时间维度;
[0118]所述数据处理单元504,进一步用于以所述待处理数据为基础,所述权限维度与所述时间维度间的进程进行非重叠的互斥访问。
[0119]在本发明一个实施例中,所述数据处理单元504,进一步用于以所述待处理数据为基础,所述权限维度与所述时间维度间进行高优先级进程已处理的数据覆盖低优先级进程已处理的数据的进程交错访问。
[0120]在本发明一个实施例中,所述数据处理单元504,进一步用于以所述待处理数据为基础,所述权限维度与所述时间维度间进行时间点靠后的进程处理的数据覆盖时间点靠前的进程处理的数据的进程交错访问。
[0121]如图6所示,本发明另一实施例提供了一种数据处理装置,该装置可进一步包括:生成单元601,其中,
[0122]所述生成单元601,用于为所述三维以上的空间维度生成对应的所述待处理数据的副本;
[0123]所述读取单元502,用于通过存储于所述数据空间中的指针和地址信息,将生成的副本载入所述数据空间;
[0124]所述第一分配单元503,用于将所述副本分配给对应的空间维度的进程;
[0125]所述数据处理单元504,用于控制不同空间维度的进程并行处理该进程所在空间维度对应的副本。
[0126]在本发明一个实施例中,上述数据处理装置可进一步包括:确定单元、分割单元、设定单元、第一判断单元以及第二分配单元(图中未示出),其中,
[0127]所述确定单元,用于确定所述数据空间的环境参数,所述环境参数包括数据空间的大小、初始坐标的位置、空间规则、时间刻度以及空间曲率;
[0128]所述读取单元,用于根据所述确定的数据空间的大小、初始坐标的位置、空间规贝1J、时间刻度以及空间曲率,将所述待处理数据抽象为所述数据空间中的立体化的几何结构;
[0129]所述分割单元,用于根据所述几何结构的结构特性,对所述立体化的几何结构进行分割,形成至少两个新的几何结构;
[0130]所述设定单元,用于根据所述至少两个新的几何结构的几何特性,设定每一个新的几何结构对应的数据处理方法,并为所述数据处理方法分配进程;
[0131]所述第一判断单元,用于判断为所述数据处理方法分配进程是否处于同一空间维度,如果是,则触发所述第二分配单元,否则,触发所述第一分配单元;
[0132]所述第二分配单元,用于接收到所述判断单元触发,将所述至少两个新的几何结构中的待处理数据分配给处于同一空间维度的不同进程。
[0133]在本发明一个实施例中,上述数据处理装置可进一步包括:制定单元和控制访问单元(图中未示出),其中,
[0134]所述制定单元,用于根据所述计算机的进程运行的环境,定义所述计算机的进程所在的空间维度高低,并设定处于高空间维度的进程可以访问处于低空间维度的进程对应的数据,而处于低空间维度进程不能够访问处于高空间维度进程对应的数据;
[0135]所述第一分配单元,用于将所述待处理数据分配给处于不同高低维度的进程;
[0136]所述控制访问单元,用于控制处于高空间维度的进程能够访问处于低空间维度的进程对应的数据。
[0137]在本发明一个实施例中,上述装置可进一步包括:获取单元和第二判断单元(途中未示出),其中,
[0138]所述获取单元,用于获取新的几何结构的个数;
[0139]所述第二判断单元,用于判断所述待处理数据是否可以进行多维化处理,当所述新的几何结构的个数大于等于1,且小于处理器个数的两倍时,则触发所述设定单元为所述数据处理方法分配进程。
[0140]本发明实施例至少可以达到如下有益效果:
[0141]1.可通过建立数据空间,将数据的指针和地址信息存储在所述数据空间;为所述数据空间划分三个以上的空间维度,使计算机的进程运行在所述三个以上的空间维度上,不同空间维度间的进程没有依赖性,从而使得不同空间维度的进程可以并行处理数据;而处理数据的具体过程:通过存储于所述数据空间中的指针和地址信息,将待处理数据载入所述数据空间;将所述待处理数据分配给处于不同空间维度的进程;控制不同空间维度的进程并行处理被分配的待处理数据,促进了计算机进程的并行计算。
[0142]2.通过本发明实施例可以进程间进行非重叠的互斥访问,也可以进行高优先级进程已处理的所述待处理数据覆盖低优先级进程已处理的所述待处理数据的进程交错访问,还可以进行时间点靠后的进程已处理的所述待处理数据覆盖时间点靠前的进程已处理的所述待处理数据的进程交错访问,从而使多进程间可以并行处理互不影响,通过上述多进程对待处理数据的并行处理可以大大提高数据的处理速率。
[0143]3.通过为不同空间维度上的进程生成对应的待处理数据副本,然后将这些更改的副本更新到原数据从而达到处理数据的目的,通过生成待处理数据副本可以避免进程间竞争或者进程将数据锁定造成其他进程等待,从而更有利于提高进程并行处理数据的速率。
[0144]4.通过数据空间的环境参数,可以将待处理数据抽象为立体化的几何结构,该几何结构可以被分割,被分割的各个区域可以同时被进程处理,该进程可以位于同一空间维度,也可以位于不同的空间维度,进一步明确的将待。
【主权项】
1.一种数据处理的方法,其特征在于,建立数据空间,将数据的指针和地址信息存储在所述数据空间;为所述数据空间划分三维以上的空间维度,使计算机的进程运行在所述三维以上的空间维度上,不同空间维度间的进程没有依赖性;还包括: 通过存储于所述数据空间中的指针和地址信息,将待处理数据载入所述数据空间; 将所述待处理数据分配给处于不同空间维度的进程; 控制不同空间维度的进程并行处理被分配的所述待处理数据。2.根据权利要求1所述的方法,其特征在于,所述空间维度包括五维的空间维度,其中,三
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1