务器端读取数据，同时依据之前请求的策略决定向服务器端请求数据。
[0036]步骤五、打包上传本地文件访问日志。
[0037]步骤一中策略服务器在进行日志分析后，策略服务器会生成针对每一类文件的相关参数。策略服务器会按照文件后缀将文件后缀来进行区分。用来分析的日志既包括用户上传的日志和开发者生成的没有跳跃情况下的访问序列日志。在分析过程中，日志分析模块会用哈希表记录每次访问的位移区间，统计各个区间出现的频率和变化规律。如某非连续区间序列出现10%以上则将其归为特殊预取空间。特殊预取空间是一个四元组，包括开始位移，结束位移和建议预取开始位移和建议预取结束位移，当请求的位移落在特别预取空间时将按照建议预取开始位移和建议预取结束位移进行预取。其中建议开始预取空间和建议结束预取空中为序列中本特殊空间的下一个元素。除了特殊预取空间外，分析结果还包括通用预取算法中的单次预取块大小等参数。同时策略服务器还会测试当前的网络情况给出一个每次网络请求数据块建议值。
[0038]客户端在收到访问文件请求后会检查本地是否存在该类后缀文件的访问策略，如不存在则会向策略服务器请求。在的得到策略文件返回来的信息后，客户端会为该文件初始化缓存管理器即分配一个哈希表结构，其中key为位移，value布尔值,每一项带表以该key为开头的4k大小的数据块是否则内存中。对于用户请求，客户端将按下列流程进行处理:
[0039]1、首先检查用户请求的数据块按照4k切分成位移串，挨个是否存在于本地缓存，若数据块全部存在本地缓存中则直接将数据返回。
[0040]2、更新文件访问序列并记录，检查是否触发预取。若触发预取则计算出要取得的数据块。此时有两种情况，一种是触发是初次预取，另一种则是非初次预取。初次触发条件其特征在于最近10次访问不在预取窗口或者特殊预取窗口内，同时是连续递增的；而所述非初次触发条件其特征在于最近一次访问位于预取窗口内，同时预取窗口剩余大小小于规定值，即落在了图2中的Aync size内。
[0041]3、根据以上计算得到的应取数据块，到数据服务器取数据。在取数据的时候，客户端会按照每次数据块大小去取。
[0042]4、将取得数据返回上层，更新缓存管理和预取窗口。
【主权项】
1.一种基于云存储平台的媒体数据高效访问预取方法，其特征在于，包括: 步骤1.建立数据访问策略服务器，所述数据访问策略服务器包括序列分析模块和策略生产模块，所述序列分析模块和策略生产模块根据用户ID、文件类型和当前状态生产访问策略文件的服务； 步骤2.客户端初始化策略管理模块，根据用ID、文件类型向所述策略服务器请求访问策略； 步骤3.客户端解析策略文件，并根据解析后的策略文件初始化缓存管理、序列分析相关参数； 步骤4.客户端处理用户请求，并根据具体情况从缓存中读取数据或从服务器端读取数据，同时依据之前请求的策略决定向服务器端请求数据； 步骤5.打包上传本地文件访问日志。
2.按照权利要求1所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，步骤I中所述序列分析模块负责对以往操作日志的分析，所述操作日志包括用户上传的日志和开发者生产的没有跳跃情况下的的访问序列日志；在进行日志分析后，所述策略服务器生成针对每一类文件的相关参数，所述策略服务器按照文件后缀来进行区分；得到的相关参数包括文件分类、当前每次网络请求建议块大小、特殊预取区间和通用预取算法。
3.按照权利要求2所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，所述序列分析模块在分析过程中，用哈希表记录每次访问的位移空间，统计各个区间出现的频率和变化规律，如果某非连续区间出现10%以上则将其归为特殊预存空间。
4.按照权利要求2或3中所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，所述特殊预取空间是一个四元组，包括开始位移、结束位移和建议预取开始位移和建议预取结束位移；当请求的位移落在特殊预取空间时将按照建议预取开始位移和建议预取结束位移进行预取，其中建议开始预取空间和建议结束预取空间为序列中本特殊空间的下一个元素。
5.按照权利要求2或3中所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，客户端在收到访问文件请求后会检查本地是否存在该类后缀文件的访问策略，如不存在则会向策略服务器请求，在得到策略文件返回来的信息后，客户端会为该文件初始化缓存管理器即分配一个哈希表结构，其中key为位移,value为布尔值,这些key-value对全部存在内存当中。
6.按照权利要求2所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，所述通用预取算法主要针对顺序访问和交织访问，随机访问不在支持的访问内，其中顺序访问维持一个预取窗口而预取访问维持两个预取窗口。
7.按照权利要求6所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，所述预取窗口分为若干预取块，所述预取块大小是由策略服务器得到的日志中取该类型文件请求次数最多的数据块的大小决定。
8.按照权利要求1所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，步骤4的客户端处理用户请求，具体包括以下步骤: (I)、根据用户请求的数据块是否存在于本地缓存，若数据块存在本地缓存中则直接将数据返回； (2)、更新文件访问序列并记录，检查是否触发预取，若触发预取则计算出要取得的数据块； (3)、根据以上计算得到的应取数据块，到数据服务器取数据； (4)、将取得数据返回上层，更新缓存管理和预取窗口。
9.按照权利要求8所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，所述预取触发条件分为初次触发条件和非初次触发，所述初次触发条件其特征在于最近10次访问不在预取窗口或者特殊预取窗口内，同时是连续递增的；所述非初次触发条件在于最近一次访问位于预取窗口内，同时预取窗口剩余大小小于规定值； 优选的，预取窗口随着最近连续命中次数的增加而增大，其增长规律为:在连续命中预取窗口次数*预取块大小、512*预取块大小中取较小值，当出现一次不命中的时候预取窗口减为O。
10.按照权利要求1中所述的基于云存储平台的媒体数据高效访问预取方法，其特征在于，步骤5中上传本地文件访问日志是将如下信息打包上传:具体的上传信息包括用户ID、完整的文件名、文件大小的元数据信息以及文件访问记录，每条记录包括时间、请求数据块的位移和大小。
【专利摘要】本发明公开了一种基于云存储平台的媒体数据高效访问预取方法，其特征在于，包括：步骤1.建立数据访问策略服务器，所述数据访问策略服务器包括序列分析模块和策略生产模块，所述序列分析模块和策略生产模块根据用户ID、文件类型和当前状态生产访问策略文件的服务；步骤2.客户端初始化策略管理模块，根据用ID、文件类型向所述策略服务器请求访问策略；步骤3.客户端解析策略文件，并根据解析后的策略文件初始化缓存管理、序列分析相关参数；步骤4.客户端处理用户请求，并根据具体情况从缓存中读取数据或从服务器端读取数据，同时依据之前请求的策略决定向服务器端请求数据；步骤5.打包上传本地文件访问日志。
【IPC分类】G06F3-06
【公开号】CN104778010
【申请号】CN201410012896
【发明人】塔娜
【申请人】内蒙古近远信息技术有限责任公司
【公开日】2015年7月15日
【申请日】2014年1月13日