一种量化语义块关系的方法及装置的制造方法

文档序号:8543457阅读:235来源:国知局
一种量化语义块关系的方法及装置的制造方法
【技术领域】
[0001] 本发明计算机存储技术领域,尤其设及一种量化语义块关系的方法及装置。
【背景技术】
[0002] 基于互联网的大数据应用系统的发展对我国的科学进步与国民经济的发展具有 战略性作用,多元学科的发展和社会应用的需求也给大数据系统带来了巨大的挑战,但作 为大数据系统末端的存储系统在响应速度上越来越不能适应前端应用系统的需求。
[0003] 存储块的语义关系成为存储系统的高速缓存、磁盘调度、数据放置、数据预取等环 节的理论依据。比如对存储系统进行访问时,存储系统能依据块的语义关系将正确的数据 块预取到缓存中,W便后面的访问可W命中该些块而不需要到磁盘中再次调用,缩短了数 据访问时间,提高了存储系统访问效率。但W往的存储系统只能基于某些局部访问特征,比 如时间局限性、空间局限性、顺序性等来设计优化存储系统的组织与管理,导致语义块之间 完整语义关系的缺失,存储系统在语义块一级的层面无法有效对数据进行组织和管理,该 样就不能即时满足前端应用系统的调用需求。
[0004] 现有技术中的解决方法多数集中在利用访问序列的分析进行应用数据的预取、替 换或者是数据放置等。但该些方法在占用系统大量资源的前提下,依然不能为后续的数据 访问预测提供准确的信息来提高数据访问的命中率,缩短数据访问时间。

【发明内容】

[0005] 针对现有技术存在的问题,本发明实施例提供了一种量化语义块关系的方法及装 置,用于解决现有技术中在存储系统的数据访问中,数据访问时间过长,访问效率低,不能 适应前端应用系统的调用需求的技术问题。
[0006] 本发明提供一种量化语义块关系的方法,所述方法包括:
[0007] 获取访问数据流;
[000引对所述访问数据流中的访问序列进行量化预处理,获取适合所述访问序列访问特 征的各个语义块的长度,并量化统一所述各个语义块的地址;
[0009] 构建适合所述访问序列访问特征的基因表达式算法;
[0010] 根据所述基因表达式算法对所述各个语义块进行拟合,获取所述各个语义块之间 的定量关系集合。
[0011] 上述方案中,所述构建适合访问序列访问特征的基因表达式算法包括:
[0012] 初始化所述访问序列的染色体种群,构造所述基因表达式算法解的结构;
[0013] 计算染色体的第一适应值,根据预设的第一标准适应值对所述染色体进行淘汰;
[0014] 根据预设的机率对保留下的所述染色体进行有限次迭代操作,确定所述染色体的 高阶表达式。
[0015] 上述方案中,根据预设的机率对保留下的所述染色体进行有限次迭代操作包括, 确定所述染色体的高阶表达式:
[0016] 步骤a,根据预设的机率对保留下的所述染色体进行杂交、变异操作,获取所述染 色体的子代;
[0017] 步骤b,计算所述染色体子代的第二适应值,根据预设的第二标准适应值对所述染 色体子代进行淘汰;
[0018] 按照预设的迭代次数循环步骤a~步骤b,收敛所述染色体,获取所述染色体的高 阶表达式。
[0019] 上述方案中,所述根据所述基因表达式算法对所述各个语义块进行拟合,获取所 述各个语义块之间的定量关系集合包括:
[0020] 根据所述基因表达式算法计算所述各个语义块中每个语义块与其他语义块之间 的高阶表达式,完成所述各个语义块的回归,获取所述各个语义块之间的定量关系集合。 [002。 上述方案中,所述访问序列包括;trace序列。
[0022] 本发明同时还提供一种量化语义块关系的装置,所述装置包括:
[0023] 获取单元,所述获取单元用于获取访问数据流;
[0024] 预处理单元,所述预处理单元用于对所述访问数据流中的访问序列进行量化预处 理,获取适合所述访问序列访问特征的各个语义块的长度,并量化统一所述各个语义块的 地址;
[00巧]构建单元,所述构建单元用于构建适合所述访问序列访问特征的基因表达式算 法;
[0026] 拟合单元,所述拟合单元用于根据所述基因表达式算法对所述各个语义块进行拟 合,获取所述各个语义块之间的定量关系集合。
[0027] 上述方案中,所述构建单元用于构建适合所述访问序列访问特征的基因表达式算 法包括:
[0028] 所述构建单元初始化所述访问序列的染色体种群,构造所述基因表达式算法解的 结构;
[0029] 计算染色体的第一适应值,根据预设的第一标准适应值对所述染色体进行淘汰;
[0030] 根据预设的机率对保留下的所述染色体进行有限次迭代操作,确定所述染色体的 高阶表达式。
[0031] 上述方案中,所述构建单元用于根据预设的机率对保留下的所述染色体进行有限 次迭代操作,确定所述染色体的高阶表达式具体包括:
[0032] 步骤a,根据预设的机率对保留下的所述染色体进行杂交、变异操作,获取所述染 色体的子代;
[0033] 步骤b,计算所述染色体子代的第二适应值,根据预设的第二标准适应值对所述染 色体子代进行淘汰;
[0034] 所述构建单元按照预设的迭代次数循环步骤a~步骤b,收敛所述染色体,获取所 述染色体的高阶表达式。
[00巧]上述方案中,所述拟合单元根据所述基因表达式算法对所述各个语义块进行拟 合,获取所述各个语义块之间的定量关系集合包括:
[0036] 所述拟合单元根据所述基因表达式算法计算所述各个语义块中每个语义块与其 他语义块之间的高阶表达式,完成所述各个语义块的回归,获取所述各个语义块之间的定 量关系集合。
[0037]上述方案中,所述访问序列包括;trace序列。
[0038]本发明提供了一种量化语义块关系的方法及装置,所述方法包括;获取访问数据 流;对所述访问数据流中的访问序列进行量化预处理,获取适合所述访问序列访问特征的 各个语义块的长度,并量化统一所述各个语义块的地址;构建适合所述访问序列访问特征 的基因表达式算法;根据所述基因表达式算法对各个语义块进行拟合,获取所述各个语义 块之间的定量关系集合;如此,所述方法通过对存储系统中多个语义块块之间的关系进行 量化,依据实时数据流的变化,总结数据流的规律、推断各个语义块之间的定量表达的语义 关系;降低数据访问时磁盘的寻道和旋转延迟,缩短吞吐量和响应时间,达到高效访问的目 的。
【附图说明】
[0039] 图1为本发明实施例一提供的量化语义块关系的方法流程示意图;
[0040] 图2为本发明实施例一提供的分割访问序列的示意图;
[0041] 图3为本发明实施例二提供的量化语义块关系的装置结构示意图。
【具体实施方式】
[0042]为了能更好地理解本发明的内容,本文先阐述对语义块关系进行定量的必要性。 具有时间局限性、空间局限性访问特征的序列模式,语义块的语义关系是存储系统中固有 的,稳定的,不依赖于数据流。通常情况下,因为语义的关系相互有联系的语义块都会被一 起访问,存储系统的应用也会遵从语义的关系来访问语义块。比如在访问一个文件块之前, 网络文件系统(NFS,NetworkFileSystem)服务器需要去访问一个索引节点inode。同样 的道理,一个数据库去访问子节点前肯定要去访问父节点。但由于存储系统中请求和事务 的交叉,该些访问命令是不连续的,但是他们在某个段距离内是接近的;因而,在访问数据 流中,某些语义块的访问依赖于前面已经被访问的语义块。
[0043] 例如,在一个NFS文件服务器中,一个inode块通常与其对应的文件块分开存放, 目录块与该个目录中文件的inod
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1