如果
[0039]Ifm'k,j_lI>Afm，则该fm'k,j舍弃，Afm为一个预定义阈值，X为一个预定义的权 值，分别调节fmk,j的更新速度和幅度。如果fmk,j更新幅度太小，则当节点aj的整体负载发 生变化时，其值容易老化，影响ETMi,」估计的准确性。如果fmk,j更新幅度太大，则其值容易 受个别局部事务的影响，变得不稳定，同样影响ETMy估计的准确性。
[0040] 第6步。依据事务调度模型中按照优先级来抢占资源的特点，本发明同时提出了 资源队列管理方法来计算子事务Vi在节点^中的资源就绪时间，假设为ETAu。以节点aj 中正在被执行的事务队列版本P、节点a」中正在等待资源的事务队列版本W、节点a」中当 前空闲资源数量ai^;子事务Vi的描述信息为输入；以子事务Vi在节点^的资源就绪时间 ETAy输出。
[0041] I.ETAi,』初始化为当前时间。
[0042] 2.将队列P中所有事务依次推入到队列G。
[0043] 3.将队列W中所有事务依次推入队列G，假设队列G的长度为n。
[0044] 4.根据子事务\的优先级，将子事务V#入队列G，假设子事务Vi在队列G中的 位置为i。
[0045] 5.假设子事务Vi需要的资源为ri，判断是否大于ri，如是，则转第14步。
[0046] 6.假设k为子事务Vk在队列G中的位置。对于每个k=i+l，…，n，如果vkGP， 则Irj=Irj+rk，并从队列C中移除vk。
[0047] 7.将队列G中正在执行的事务依次推入队列G1，将队列G中正在等待执行的事务 依次推入队列G2。
[0048]8.根据每个事务的估计处理时间和已经处理时间（不包括被抢占后的等待时 间），计算队列G1中每个事务的当前剩余处理时间，并根据每个事务的当前剩余处理时间进 行降序排序。可以让那些当前剩余处理时间少的事务尽快完成，释放资源。
[0049] 9.假设队列G1当前的队首事务为vhi，更新ETAi,j和arj:
[0050] ETAi,』=ETAi.j+vh^当前剩余处理时间，ar』=arj+rh1〇
[0051] 10?弹出队列G1的队首事务vhp
[0052] 11.假设队列G2当前的队首事务为Vh2，判断&1^是否大于rh2，如果否，则转第9 步。
[0053] 12?将队列匕中的队首事务Vh2弹出，并将其推入队列G1的尾部，并且更新arj:
[0054] arj=arj~rh2
[0055] 13.判断队列62是否为空，如否，则转第9步。
[0056] 14?输出ETAi,J，结束。
[0057] 第7步。计算出事务Vi在节点a」的最早完成时间0m。
[0058] 9i,』=ETAi,j+ETMi,j
[0059] ETMy和ETAy这两个因素都会影响0的准确性，进而直接影响事务调度和资源 分配的最优性。对于第一个因素ETMm的影响，已通过第5步中的调整因数伽^来进行有 效地抑制。对于第二个因素ETAy的影响，还需要再引入一个调整因数fdjlj0的计算过 程中。
[0060] 假设事务Vx为节点aj已经执行完毕的一个历史事务。在执行完事务V,后，立刻 计算出节点a」上最新的调整因数fd
[0061] fdj=aX(Tact_startx-ETAx>j)/ETAxjj
[0062] 其中Tact_startx为事务vx的实际资源就绪时间（相对于通过资源队列管理方法 计算出来的资源就绪时间ETAx,p，a为预定义常数。调整因数表明的意义为：在单位 等待时间内被延时的时间数量。a作为一个参数，来调节调整因数fdj# 0进行动态纠偏 的幅度。由于抢占事件的存在，通过高优先级事务的执行效果来计算出的调整因数€七显 然更小。为此本发明扩充fdj的维度为两维，即fdj,i，其中j代表节点，1代表优先级。对 于不同优先级的事务使用不同的调整因数来计算事务最早完成时间0。引入调整因数 fcV^，事务最终的最早完成时间0fdu的计算方法如下。
[0063] 0f(Iijj= (1+fdj)XETAijj^ETMijj
[0064] 第8步。节点a』向客户端c反馈子事务V亦最早完成时间0fdy。客户端c从 Dbi^ki=Ia 1，％，aj，…，aIril中选择节点A来执行子事务Vi。其中9fdi>x满足：
[0065] 0fd^x=min( 0fdia, 0fdi>2, ???,Qfdij^1)
[0066] 子事务￥1被客户端c分配到节点a!￡后，根据其优先级插入节点ax的等待事务队 列，或者抢占其它低优先级的事务立即执行。
[0067] 第9步。客户端c判断GR是否为空，如为空，则调度过程结束。如果不为空转到 第3步。
[0068] 为了避免大量高优先级事务到达节点时，节点中低优先级事务在节点等待队列中 的等待时间不断延长或者在执行队列中不断被抢占，陷入实际处理时间不断延长的状态， 每个节点以一个预定义频率遍历其等待队列中的事务，计算其执行效率 0。
[0069] 9 =y(Tactey/ETMy>j)
[0070] 其中Tactey为事务vy的当前实际处理时间（包括被抢占和在等待队列中的时 间），y为一个预定义常数。将Vy的优先级提高0个级别，同时将Tactey清零，然后根据 事务Vy的优先级，重新将事务Vy插入节点的等待队列中或者抢占低优先级事务来执行。
[0071] 为了满足用户的事务请求，减少故障恢复时间，实现较低开销的数据备份，本发明 进一步针对数据存储型事务，通过其他服务器资源进行备份，在进行数据备份操作时，服务 器优先选择开销较低且故障恢复时间较短的内部资源用于存储数据备份，当内部存储资源 不足时，选择其他服务器的资源用于存储数据备份。
[0072] 将serverjt为接受用户事务请求的主服务器，server2~server是可提供数据 备份服务的其他服务器。主服务器收到用户请求后，会根据存储开销、通信开销合理地选择 数据备份的存储位置，选择不同的服务器资源用于存储数据备份。
[0073] 在主服务器内，用户可以通过云平台通信接口向云服务器提交使用的申请，查询 事务执行的状态，检验所存储数据的完整性；资源监视器负责监视云服务器资源的变化情 况，收集各个服务器的资源信息，为调度器提供各个服务器的当前资源状态；调度器根据用 户的事务请求信息和当前各服务器的资源信息，将用户事务的多个数据备份根据预定义策 略动态地存储至不同的服务器的资源内，并将调度结果反馈给云平台通信接口。当有新的 用户事务到达时，调度器将数据备份进行分配，以实现较低开销的备份服务。
[0074] 当主服务器提供经过调度策略计算后将一个用户事务的数据备份存储到云平台 SerVerk(k= 1，2，…，L)后，则该备份将会一直存储在对应的云平台上直到用户申请的存 储时间到达为止，而不会在主服务器资源空闲时再将存储在其他云平台上的数据备份写回 主服务器的云平台上。
[0075] 每一个数据备份无法再分块存储到不同的服务器平台上，即一个备份同时只能存 储在一个服务器的硬件资源中。为了避免数据的冗余，当服务器Serverk接到serveri的一 个数据备份存储请求后，只需存储一个数据版本。
[0076] 设服务器当前有W个用户U1，…，Uw，每个用户有多个事务N1，…，Nw，每个子事务 的开始处理时间可以不同。用一个四元组UmSmTmDijI来表示每个事务的资源请求信 息，其中，tu表示第i个用户的第j个子事务，i= 1，2，…，W;j= 1，2，…，Ni;SWTu和 Dij分别表示事务tu的开始时间、存储时间和存储容量。
[0077] 在本发明中，所有的存储备份会依据开销费用存储至不同服务器Server1，…，server的资源内。假定各服务器数据存储的带宽分别为BW
[0078] 优选地，服务器的数据备份开销cost主要考虑数据的存储开销和通信开销2部 分：
【主权项】
1. 一种云平台数据处理方法，其特征在于，包括： 将云存储系统中的视频数据文件以数据分块多版本的形式存储并规划并行处理事务， 以数据块和版本之间的映射关系为特征，对云平台中多个数据节点执行聚类，根据已执行 的事务的反馈信息来动态调度未执行的事务。
2. 根据权利要求1所述的方法，其特征在于，所述将云存储系统中的视频数据文件以 数据分块多版本的形式存储，进一步包括： 将视频应用的用户需求以事务描述文件的形式提交到云存储系统的客户端，当一个事 务被提交时，客户端根据数据分块信息把事务划分成多个子事务来并行执行，每个子事务 关联着一个数据块，以将不同子事务分布到不同的节点上执行，所述数据分块信息通过树 Tr来描述，Tr= (C，R)，其中C是一个数据元素集合，每个元素代表一个数据块；R是一个 二元关系集合，每个元素代表两个数据块的内容是否相同，所述数据元素集合C中的元素Ci 可以用一个二元组向量来描述：Ci=〈blocki，a,，其中Wocki表示数据块i的编号，a4表 示数据块i所在节点的编号，所述二元关系集合R中的元素rq表示数据块j是数据块i 的备份版本。
3. 根据权利要求2所述的方法，其特征在于，每个所述数据节点都有一个调度进程，不 同节点的调度进程根据所在数据节点的虚拟机的当前状态和客户端的调度进程通信，传递 事务调度和控制信息，客户端的调度进程根据查询到的视频数据分块信息树Tr将事务划 分成子事务后，根据二元关系集合R将数据节点执行聚类，聚类规则为： 对于任意节点a"afDm，如果Dm并且a声a』，则存在!Ti,jGR 其中Dm为存储同一个数据块m的所有数据节点组成的聚类集合，客户端的调度进程在D111内选择一个最佳节点来执行任务； 如果数据节点的调度进程接受了一个事务，则该事务根据其优先级插入这个节点的等 待事务队列，或者抢占其它低优先级的事务立即执行，在事务执行完毕后，数据节点的调度 进程就通知客户端的调度进程，使客户端的调度进程进行后继事务的调度。
【专利摘要】本发明提供了一种云平台数据处理方法，该方法包括：将云存储系统中的视频数据文件以数据分块多版本的形式存储并规划并行处理事务，以数据块和版本之间的映射关系为特征，对云平台中多个数据节点执行聚类，根据已执行的事务的反馈信息来动态调度未执行的事务。本发明提出的方法提高了云平台系统的资源利用率和负载均衡的效果。
【IPC分类】G06F9-46, G06F17-30, H04L29-08
【公开号】CN104794239
【申请号】CN201510232594
【发明人】高爽
【申请人】成都博元科技有限公司
【公开日】2015年7月22日
【申请日】2015年5月8日