云环境下MapReduce结果正确性保障机制的制作方法

技术特征：

1.一种云环境下MapReduce结果正确性保障机制，其特征在于，所述云环境下MapReduce结果正确性保障机制包括：

用户端，用于将本地数据文件上传到分布式文件存储管理模块，并且将数据处理任务递交给系统主机，同时得到任务处理结果；

分布式文件存储管理模块，与用户端，系统主机和工作者集群模块连接，用于提供数据分布式存储服务，并且代替用户存储和管理数据，同时为系统主机提供数据的分块与调度服务；

系统主机，与用户端，分布式文件存储管理模块和工作者集群模块连接，用于采用恶意工作者检测技术，剔除恶意工作者并更新工作者集群模块；

工作者集群模块，与系统主机和分布式文件存储管理模块连接，用于为分布式文件存储管理模块提供存储资源，同时为系统主机提供计算服务。

2.如权利要求1所述的云环境下MapReduce结果正确性保障机制，其特征在于，所述用户端分别将文件数据与处理任务递交到分布式文件存储管理模块和系统主机，工作者集群模块中的工作者在执行任务时只能接收到相应的任务与数据位置，无法获取整个任务信息和文件数据。

3.如权利要求1所述的云环境下MapReduce结果正确性保障机制，其特征在于，所述分布式文件存储管理模块将工作者集群模块提供的存储资源划分成固定大小的存储块，同时将用户上传数据的位置信息递交给系统主机。

4.如权利要求1所述的云环境下MapReduce结果正确性保障机制，其特征在于，所述系统主机将每个任务分配到两个不同的工作者进行处理，并将结果进行比较分析，定位恶意工作者。

5.如权利要求1所述的云环境下MapReduce结果正确性保障机制，其特征在于，所述工作者集群模块并行高效的执行系统主机分配的任务，拥有巨量的冗余计算资源。

6.一种如权利要求1所述云环境下MapReduce结果正确性保障机制的云环境下MapReduce结果正确性保障方法，其特征在于，所述云环境下MapReduce结果正确性保障方法包括以下步骤：

步骤一，用户将本地数据文件上传到分布式文件存储管理模块，并且将数据处理任务递交给系统主机，分布式文件存储管理模块将数据文件存入工作者集群模块提供的存储块中并将数据存储位置递交给系统主机，系统主机初始时根据用户递交的任务随机选取两个工作者并将任务及数据位置分别发送给这两个工作者；

步骤二，工作者执行完任务后，将结果存入本地磁盘并将结果的哈希值递交给系统主机，系统主机比较两个工作者返回的哈希值，如果结果一致，则暂时信任该结果，如果结果不一致，则重新选取两个工作者执行此任务；

步骤三，系统主机更新每个工作者的可信值与两个工作者间的权重值，利用正确性证明图定位恶意工作者，同时根据可信值对工作者进行排序并划分为可信组与不可信组；

步骤四，系统主机分别在可信组与不可信组中选取一个工作者执行相同的任务，重复步骤二，三直至用户所有任务完成。

7.如权利要求6所述的云环境下MapReduce结果正确性保障方法，其特征在于，工作者集群模块提供恶意工作者检测服务，然后恶意工作者检测实施的步骤为：

步骤一，一对工作者执行完一个任务时，系统主机比较返回的结果并记录是否一致，然后建立工作者集群模块的正确性证明图G，每个顶点代表一个工作者Vi并赋有初始值为1的可信值Ti，可信值Ti是工作者Vi与集群中所有工作者返回结果一致的次数占它所完成任务次数的比例，顶点间的边代表相互间的一致关系并赋有初始值为-1的权重Wi,j,权重值Wi,j是工作者Vi与Vj之间返回结果一致的次数占它们共同完成任务次数的比例；

步骤二，在正确性证明图G中，所有顶点个数不少于2且顶点间边的权重值为1的完全子图构成一个一致团；

步骤三，假设工作者集群模块中共有N个工作者M个恶意工作者且恶意工作者的数量少于诚实工作者，经过K轮随机选取工作者后计算新的Ti与Wi,j并更新图G，删除所有权重值Wi,j小于1的边后将所有孤立的工作者确定为恶意工作者并移出集群；

步骤四，利用Bron-Kerbosch算法寻找图G中所有工作者数量大于F的一致团，由于我们假设可靠工作者的数量大于恶意工作者，F可暂时设定为然后将不属于任何规模大于F一致团的工作者判定为恶意工作者并移出集群。

8.如权利要求6所述的云环境下MapReduce结果正确性保障方法，其特征在于，工作者选取方法，然后工作者选取实施的步骤为：

步骤一，根据K轮随机选取工作者后更新的Ti对工作者由高到低排名，将前个工作者划分到可信组R中，剩下的工作者划分到不可信组UR中；

步骤二，选取工作者对时先在不可信组UR中随机选取一个工作者Vi，然后在可信组R中选取另一个工作者；

步骤三，若可信组R中存在与工作者Vi之间边的权重值Wi,*为-1的工作者，即未与Vi一同执行过任务，从中随机选取一个与Vi执行任务；

步骤四，若可信组R中不存在与工作者Vi之间边的权重值Wi,*为-1的工作者，即均与Vi一同执行过任务，此时，若存在与工作者Vi之间边的权重值Wi,*为1的工作者，从中随机选取一个与Vi执行任务，否则，重新在不可信组UR中随机选取另一个工作者Vj并重复以上步骤。