一种带安全约束的成批作业‑资源匹配方法及系统与流程

文档序号:11133720阅读:来源:国知局

技术特征:

1.一种带安全约束的成批作业-资源匹配方法,其特征在于,包括以下步骤:

步骤A、服务器端控制节点对安全性进行配置;

步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法,将Map作业映射到满足安全和负载平衡约束的数据节点上,将各节点上的作业按优先级进行排序并依次执行;

步骤C、服务器端宕机监测节点周期性检测数据节点当前状态,实时将故障数据节点ID反馈给服务器端控制节点;

步骤D、服务器端控制节点收到故障数据节点ID,对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法,将作业重新映射至未宕机数据节点。

2.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,服务器端控制节点对安全性进行配置包括:

数据节点的当前安全设置情况,为数据节点设置安全等级;

根据数据源对安全性的要求,为数据源设置安全要求等级;

根据作业请求者权限,设置作业权限等级。

3.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,所示安全约束包含2点:(1)作业只能在其有权限执行的数据节点上执行;(2)安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。

4.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,所示负载平衡指的是控制节点根据数据节点计算能力,设置每个数据节点上可以映射的作业数量上限,每个数据节点上映射的作业数量不能超过指定阈值。

5.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,采用基于安全约束和负载平衡的作业与数据节点映射方法,计算出若干映射方案,选择代价最低方案进行执行。

6.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,Map作业映射到数据节点上时,如果该数据节点上没有作业计算所需数据源,需要先将数据源复制过来;复制的过程需要满足安全约束。

7.如权利要求1所述的带安全约束的成批作业-资源匹配方法,其特征在于,对安全要求高的数据源可以以明文方式存储在安全等级高的数据节点上;对安全要求低的数据源可以以明文方式存储在安全等级低或安全等级高的数据节点上。

8.如权利要求5所述的带安全约束的成批作业-资源匹配方法,其特征在于,方案代价=设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。

9.一种带安全约束的成批作业-资源匹配系统,其特征在于,包括控制节点、数据节点和宕机检测节点:

控制节点:接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息;控制节点收到宕机信息后,根据故障数据节点ID,对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法,将作业重新映射至未宕机数据节点;

控制节点对安全性进行配置:数据节点的当前安全设置情况,为数据节点设置安全等级;根据数据源对安全性的要求,为数据源设置安全要求等级;根据作业请求者权限,设置作业权限等级;采用基于安全约束和负载平衡的作业与数据节点映射方法,将作业映射到满足安全和负载平衡约束的数据节点上,进行基于安全约束和负载平衡的作业调度/重调度工作;

数据节点:向控制节点提供各节点的安全等级信息,接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行,根据作业分配情况进行必要的数据源复制操作和加密操作,即作业映射到数据节点上时,如果该数据节点上没有作业计算所需数据源,需要先将数据源复制过来;安全要求高的数据源存储在安全等级低的数据节点上必须加密;在作业执行的过程中采集各自的节点负载信息提交给控制节点;

宕机检测节点:进行周期性的数据节点宕机故障检测,将宕机数据节点ID反馈给控制节点。

10.如权利要求9所述的带安全约束的成批作业-资源匹配系统,其特征在于,所述控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法,计算出若干映射方案,选择代价最低方案进行执行;方案代价=设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1