专利名称：大场景海量数据可视化中的数据预取系统的制作方法
技术领域：
本发明属于计算机仿真技术领域，尤其是涉及一种大场景海量数据out-of-core可视化中基于优先级计算的数据预取方法，用来避免可视化过程中突然增加的大规模数据调度量引起的系统延迟，改善系统运行的稳定性，适用于各种具有海量数据的场景可视化系统中。
背景技术：
大场景海量数据可视化系统中的数据规模往往远超过当前硬件平台内存的存储能力。为此可视化过程中需要采用out-of-core技术将数据根据需要动态调入内存。但由 于外存数据获取速度较为缓慢，频繁的内外存数据交互必然会引起系统延迟，进而影响数据集可视化的运行性能。而由于观察点突然变化带来的调度量激增更使延迟进一步加剧，引起系统性能的不稳定。为此可视化系统的数据调度需要引入预取机制，即预先判断并获取与未来需求密切相关的数据集，将可能突然增加的调度量平均到多个帧间完成。其中预取数据集的确定及预取策略的实现方式是该技术的两个主要方面。在确定预取数据集方面，单纯的投机性预测忽略了观察点运动的随机性，可能带来较多的分页错误；而固定预测区域的保守预测会带来过多的调度冗余，浪费了有限的系统资源。在预取策略方面，单一的预取调度和缓存管理往往忽视了预取数据节点的差别性，降低了预取操作的命中率，没能实现系统资源的有效利用。为此，迫切需要从预取操作的效率出发，研究有效的数据预取技术，使未来最可能需要的数据节点优先调入内存，减少可视化过程中数据交互的次数，削弱out-of-core可视化系统中数据调度对运行性能的影响
发明内容
本发明要解决的问题是提供一种大场景海量数据可视化中的数据预取系统以及该系统所采用的数据预取方法，根据当前时刻观察点位置及运动状态保守地计算未来某段时间内潜在数据集的空间范围，预测区域形状可根据观察者的运动特点自适应地变化。同时为预测数据节点计算优先级属性，预取调度及数据缓存管理均依赖于优先级实现。保证提高数据预取效率和系统资源的利用率，减轻数据调度延迟，改善系统运行的稳定性。为解决上述技术问题，本发明采用的技术方案是大场景海量数据可视化中的数据预取系统，包括依次连接的数据采集设备、串口、微处理器和输出接口 ；所述数据采集设备采集待处理的目标数据，并通过串口传输给微处理器，经过所述微处理器的处理的数据形成了可视化模型；所述可视化模型可以经输出接口向外界输出。大场景海量数据可视化中的数据预取系统采用的预取方法，包括以下步骤第一步，微处理器根据当前时刻t的位置及运动状态，预测未来一段时间S t内的潜在数据集；第二步，微处理器计算预取数据节点的优先级属性，优先级计算根据可视化特征引入可见性切换因子Prv和细节层次切换因子Pr1 ；
第三步，微处理器建立预取数据节点索引，将预取数据节点索引及其优先级属性压入预取指令队列；第四步，微处理器按照指令对应的优先级顺序响应预取指令，实现数据预取；第五步，预取数据放入微处理器的内存中的数据缓存区，由基于优先级的LRU缓
存策略管理。进一步，所述第一步中预测的方法是设帧间的空间是连续的，由未来时刻观察点位置的点预测，转变为未来某段时间 内观察点所有可能位置的范围预测，进而由观察点的范围预测推导出对应可见区域的范围预测，在对范围进行预测时引入观察点当前的运动状态，得到的数据节点组成未来St内的潜在数据集。进一步，所述第二步中的可见性切换因子Prv由数据节点距离观察点的距离及相对于观察点的偏离程度决定。进一步，所述第二步中的细节层次切换因子Pr1由数据节点所代表的细节层次未来使用的几率决定。进一步，将节点优先级Pr值所包含的区间[Prmin，Prmax]分割为N个区间，Prmin为定义的最小优先级，Prmax为定义的最大优先级，N为定义的优先级数且N的取值是正整数；则对于任何Pr G [Pri, Pri+1)的节点，i为分割区间的索引，则最终的预取优先级为i，i根据实际计算获得的优先级Pr所属的分割区确定。进一步，所述第四步中的数据预取中单步数据预取实现流程如下⑴微处理器获取预取指令；⑵遍历内存中缓存区，检查该数据节点是否已位于缓存区中；如果是，进行下一
I K
少;⑶微处理器更新缓存标志，微处理器读取节点数据，预取指令响应完毕；⑷如果步骤⑵的操作检查结果是否，遍历缓存链表，检查缓存链表是否已满；如果否，进行下一步；(5)微处理器计算数据节点的地址，根据数据节点的物理地址加载节点数据，跳转至步骤⑶；(6)如果步骤⑷检查到缓存链表已满，执行缓存取代，跳转至步骤(5)。进一步，所述第五步的缓存策略管理包括确定并获取缓存中已经存在的节点数据，以及获取空的或取代已占用的缓存空间以接纳新的节点数据。进一步，所述第五步的基于优先级的LRU缓存策略是在原LRU链表的基础上加入一个优先级队列。进一步，所述优先级队列的更新级别高于原LRU链表。本发明具有的优点和积极效果是由于采用上述技术方案，预测数据集的保守自适应计算方法有效平衡了预取过程中数据命中率和数据调度量间的矛盾，提高了预取效率；基于数据节点优先级属性计算的数据预取及缓存管理保证了系统资源的利用效率。从而实现了有效的数据预取，保证了系统运行的稳定性，减少了数据调度给可视化系统带来的时间延迟，为实现稳定高效的海量数据可视化创造了条件。
图I是本发明的提供的预取技术实施原理框架图；图2是本发明提供的预测区域计算原理图；图3是为本发明提供的数据节点优先级可见性切换因子的计算原理图；图4为本发明提供的数据预取实现流程图；图5为本发明提供的基于优先级的LRU策略原理图。图中I、预取指令 2、预取指令队列3、场景数据4、优先级队列 5、节点优先级由大至小6、贮存时间由大至小
具体实施例方式以下将结合附图对本发明做进一步描述。图I是该预取技术的实施框架图。整个预取技术分为预取计算和预取实现两部分，二者通过预取指令队列2耦合。预取计算首先根据当前观察点的状态确定未来潜在的数据节点集，场景中的数据节点由索引标识。然后根据各数据节点与观察点的关系计算其优先级属性。数据节点索引和优先级值组成数据节点的预取指令1，交由预取指令队列2管理。预取实现依照优先级从预取指令队列2中获取数据调度指令实现数据预取，并将场景数据3载入到数据缓存区，供数据可视化模块使用。对于数据缓存区，采用基于优先级的LRU缓存策略管理。系统中数据获取先于数据应用平均到多个帧中实现，保证任何时刻可视化所需的数据位于系统内存中，并尽量减少数据交互。具体步骤描述如下根据观察者当前时刻t的位置及运动状态，预测未来某段时间5 t内的潜在数据集。数据集的变化是由可视化系统中观察点状态的变化引起的。观察点的运动使场景内的可见区域发生变化，当前不可见的数据节点在未来某个时刻将变为可见，成为可视化数据集的一部分。因此，未来数据集的预测计算首要的就是要确定未来某段时间内最可能由不可见变为可见的场景区域。考虑到观察点运动的随机性，很难精确地预测未来的可见场景区域。简单的投机性预测极可能导致预取数据的分页错误。为保证可见数据集预测的有效性，采用保守的可见区域预测方法。即考虑帧间的空间连续性，由未来时刻观察点位置的点预测，转变为未来某段时间内观察点所有可能位置的范围预测，进而由观察点的范围预测推导出对应可见区域的范围预测。并且在对范围进行预测时引入观察点当前的运动状态，创建自适应可变的预测区域。预测区域的计算原理如图2所示。图中0标识某时刻t观察点的位置,AOB为对应的可见区域的投影(为简化计算，忽略了近剪裁面)，其视锥角为a，半径为I。假设观察点运动的最大线速度是V，最大角速度是则在角速度和线速度的共同作用下，观察点在St内的所有可能位置不超过夹角为2 3 (￠=03 St)的扇形区域0’ 00”，扇形半径r=v St。针对于位置0，在角速度的作用下，观察点可见区域能够覆盖的最大范围的投影为扇形区域A00B0。则当观察点位于极限位置0’时，可见区域能够覆盖的最大范围的上端点为Al，A0A1//00’ ；当观察点位于极限位置0”时，可见区域能够覆盖的最大范围的下端点为BI，、B0B1//00”。则为便于计算，最终定义包含观察点位置预测的可见区域V为扇形A’ 0B”，扇形夹角为0 C1，半径为R，表示为 0 0=2 (co 8 t+ a /2)R=l+v 6 t式中《-观察点运动的最大角速度；V-观察点运动的最大线速度；
a——当前视锥的锥角；I——当前视锥的半径。获得预测区域后，在平面范围内，遍历场景层次，将该区域与数据节点层次进行相交性测试及细节选择，通过测试的数据节点组成未来St内的潜在的数据集。I.计算预测数据节点的优先级。为增加预取操作的命中率，为预测计算获得的每个数据节点分配相应的优先级属性，使用优先级来标识节点在未来使用的可能性。优先级高的节点享有数据带宽和缓存使用的优先限权。根据可视化系统的应用特点，影响节点优先级的因素包括可见性切换和细节层次切换两方面。对于可见性切换，相应的优先级取决于节点未来成为可见节点的可能性。根据空间连续性，越靠近观察点的节点，越可能存在于未来的可见区域，其优先级应当越高。图3为可见性切换因子的计算原理，区域Vtl为当前观察点对应的可见区域，区域V为上步预取数据集计算获得的预测区域。区域VO中的节点为当前可视化必需的，具有最高的优先级。对于预测区域V中位于Vtl外P范围内的节点，其优先级取决于节点与观察点的位置关系，SP与观察点的接近程度，具体由节点距离观察点的距离及相对于观察点的偏离程度决定。见图3，对于任意节点，假设其中心为N，R和Qtl分别为预测区域的半径及锥角，则可见性切换因子Prv表示为
rI0<a/2,L<l八;=、+ …-4)+0]).人other
+ k-(enl2-a/2) + {\-k)-R式中L—节点中心距观察点的距离；0—节点中心相对观察视锥轴线的偏离角；0 0——预测视锥V的锥角；R—预测视锥V的半径；a——当前视锥V。的锥角；I——当前视锥Vtl的半径；k——权重系数。对于细节层次切换，相应的优先级取决于节点所代表的细节层次未来使用的可能性。由大场景可视化机制知，节点的细节层次切换发生在其精化判断发生变化时。假设f为可视化系统的精化判据(由具体的可视化算法确定)，T为精度阈值，则f 与T相对关系的改变引起细节层次的切换。f与T越接近，在未来时间内节点细节层次切换的可能性越大，节点的预取优先级应当越高。为此，选取二者的接近程度If-T I作为相应节点预取的优先级指标，优先级因子Pr1与其成反比
权利要求
1.大场景海量数据可视化中的数据预取系统，其特征在于包括依次连接的数据采集设备、串口、微处理器和输出接口 ；所述数据采集设备采集待处理的目标数据，并通过串口传输给微处理器，经过所述微处理器的处理的数据形成了可视化模型；所述可视化模型可以经输出接口向外界输出。
2.大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于包括如下步骤 第一步，微处理器根据当前时刻t的位置及运动状态，预测未来一段时间5 t内的潜在数据集； 第二步，微处理器计算预取数据节点的优先级属性，优先级计算根据可视化特征引入可见性切换因子Prv和细节层次切换因子Pr1 ； 第三步，微处理器建立预取数据节点索引，将预取数据节点索引及其优先级属性压入预取指令队列； 第四步，微处理器按照指令对应的优先级顺序响应预取指令，实现数据预取； 第五步，预取数据放入微处理器的内存中的数据缓存区，由基于优先级的LRU缓存策略管理。
3.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第一步中预测的方法是设帧间的空间是连续的，由未来时刻观察点位置的点预测，转变为未来某段时间内观察点所有可能位置的范围预测，进而由观察点的范围预测推导出对应可见区域的范围预测，在对范围进行预测时引入观察点当前的运动状态，得到的数据节点组成未来St内的潜在数据集。
4.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第二步中的可见性切换因子Prv由数据节点距离观察点的距离及相对于观察点的偏离程度决定。
5.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第二步中的细节层次切换因子Pr1由数据节点所代表的细节层次未来使用的几率决定。
6.根据权利要求2、4或5所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于将节点优先级Pr值所包含的区间[pr-，pr-]分割为N个区间，Prmin为定义的最小优先级，Prmax为定义的最大优先级，N为定义的优先级数且N的取值是正整数；则对于任何Pr G [Pri, Pri+1)的节点，i为分割区间的索引，则最终的预取优先级为i，i根据实际计算获得的优先级Pr所属的分割区确定。
7.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第四步中的数据预取中单步数据预取实现流程如下 ⑴微处理器获取预取指令； ⑵遍历内存中缓存区，检查该数据节点是否已位于缓存区中；如果是，进行下一步； ⑶微处理器更新缓存标志，微处理器读取节点数据，预取指令响应完毕； ⑷如果步骤⑵的操作检查结果是否，遍历缓存链表，检查缓存链表是否已满；如果否，进行下一步； (5)微处理器计算数据节点的地址，根据数据节点的物理地址加载节点数据，跳转至步骤⑶； (6)如果步骤⑷检查到缓存链表已满，执行缓存取代，跳转至步骤(5)。
8.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第五步的缓存策略管理包括确定并获取缓存中已经存在的节点数据，以及 获取空的或取代已占用的缓存空间以接纳新的节点数据。
9.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述第五步的基于优先级的LRU缓存策略是在原LRU链表的基础上加入一个优先级队列。
10.根据权利要求2所述的大场景海量数据可视化中的数据预取系统采用的预取方法，其特征在于所述优先级队列的更新级别高于原LRU链表。
全文摘要
本发明提供大场景海量数据可视化中的数据预取系统，包括依次连接的数据采集设备、串口、微处理器和输出接口；所述数据采集设备采集待处理的目标数据，并通过串口传输给微处理器，经过所述微处理器的处理的数据形成了可视化模型；所述可视化模型可以经输出接口向外界输出。另提供一种大场景海量数据可视化中的数据预取系统采用的预取方法，减少可视化过程中突然增加的大规模数据调度量给系统带来的时间延迟影响，增强系统运行的平稳性。本发明的有益效果是能够有效地增加数据预取的命中率，提高预取效率及系统资源的利用率，进而有效地减少了数据调度量突然增加对系统性能的影响。
文档编号G06F12/08GK102750228SQ20121017551
公开日2012年10月24日 申请日期2012年5月31日 优先权日2012年5月31日
发明者不公告发明人 申请人:天津福云天翼科技有限公司