专利名称：一种云计算方法及装置的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种云计算方法及装置。
背景技术：
云计算(Cloud Computing)是一种基于互联网将软件、信息以及其他可共享的资源作为一种类似于电网供电服务一样的服务，根据需求提供给计算机或其他联网设备。其核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。现有的云计算方法，如图1所示，原始数据(用户提交的数据)被分割成若干份，每份作为一个映射节点的输入分割数据被Map点处理后形成中间结果，中间结果经 hash(散列)分配给化简节点，化简节点处理中间结果，得到最终结果。实践中，很多具有相同或相近key的数据会被hash分配到同一个化简节点，从而导致分配给各化简节点的数据不均衡。有时，一些化简节点分配IOGB数据，而另一些化简节点只分配IGB数据，甚至还有一些化简节点没有任何数据需要处理。最严重时，可能发生，分配给某个化简节点的数据量超出了该化简节点的可用存储空间，需要该化简节点处理很长时间。可以看出，现有技术存在分配给各化简节点的数据不均衡的问题。
发明内容
本发明的实施例提供一种云计算方法及装置，在云计算时分配给各化简节点的数据更均衡。为达到上述目的，本发明的实施例采用如下技术方案一种云计算方法，包括获取用户数据经映射节点处理后得到的中间数据；确定所述中间数据对应的目的化简节点；检测所述中间数据对应的目的化简节点的状态；根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。一种云计算装置，包括获取单元，用于获取用户数据经映射节点处理后得到的中间数据；确定单元，用于确定所述中间数据对应的目的化简节点；检测单元，用于检测所述中间数据对应的目的化简节点的状态；发送单元，用于根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。采用上述技术方案，在云计算的过程中，向目的化简节点发送数据时，检测目的化简节点是否繁忙，若目的化简节点繁忙，则发送数据到一个或多个非目的化简节点。与现有技术将相同或相近的数据会分配到同一个化简节点，存在分配给各化简节点的数据不均衡的问题相比，本发明实施例提供的技术方案，在云计算时，分配给各化简节点的数据更均
图1为本发明实施图2为本发明实施图3为本发明实施图4为本发明实施图5为本发明实施
J1提供的云计算方法的流程图 J2提供的云计算装置的结构图 J3提供的云计算方法的结构图 J3提供的云计算方法的示意图 J 4提供的云计算装置的结构图。
具体实施例方式下面结合附图对本发明实施例一种云计算的方法及装置进行详细描述。实施例1本发明实施例提供的一种云计算方法，如图1所示，包括101、获取用户数据经映射节点处理后得到的中间数据；102、确定所述中间数据对应的目的化简节点；103、检测所述中间数据对应的目的化简节点的状态；104、根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。 具体地，本实施例可以由映射节点执行。本云计算方法，各化简节点的工作量大致相同，避免了某个化简节点工作量过重的问题。采用上述技术方案，在云计算的过程中，向目的化简节点发送数据时，检测目的化简节点是否繁忙，若目的化简节点繁忙，则发送数据到一个或多个非目的化简节点。与现有技术将相同或相近的数据会分配到同一个化简节点，存在分配给各化简节点的数据不均衡的问题相比，本发明实施例提供的技术方案，在云计算时，分配给各化简节点的数据更均实施例2本发明实施例提供的一种云计算装置，如图2所示，包括获取单元201、确定单元 202、检测单元203、发送单元204。获取单元201，用于获取用户数据经映射节点处理后得到的中间数据；确定单元202，用于确定所述中间数据对应的目的化简节点；检测单元203，用于检测所述中间数据对应的目的化简节点的状态；发送单元204，用于根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。本云计算装置，各化简节点的工作量大致相同，避免了某个化简节点工作量过重的问题。采用上述技术方案，在云计算的过程中，向目的化简节点发送数据时，检测目的化简节点是否繁忙，若目的化简节点繁忙，则发送数据到一个或多个非目的化简节点。与现有技术将相同或相近的数据会分配到同一个化简节点，存在分配给各化简节点的数据不均衡的问题相比，本发明实施例提供的技术方案，在云计算时，分配给各化简节点的数据更均实施例3本发明实施例提供的一种云计算方法，如图3所示，包括301、获取用户数据经映射节点处理后得到的中间数据。具体地，如图4所示，用户数据(用户提交的数据)被分割成M份，每份用户数据经映射节点处理，得到中间数据。302、确定所述中间数据对应的目的化简节点。具体地，实践中可以用hash算法确定每份中间数据对应的目的化简节点。具体地，如图4所示，每份中间数据经hash算法确定了对应的目的化简节点，例如，图中所示中间数据1的目的化简节点是化简节点1，中间数据2的目的化简节点是化简节点1，中间数据M的目的化简节点是化简节点2。接下来，检测所述中间数据对应的目的化简节点的状态。包括303、检测所述中间数据对应的化简节点是否繁忙。具体地，本步骤是实施例1中103的具体化，检测目的化简节点是否繁忙的方法包括检测所述中间数据对应的目的化简节点的中央处理器占用率是否超过设定值，若中央处理器占用率超过设定值，则所述目的化简节点繁忙；或者，检测所述中间数据对应的目的化简节点未处理的数据量是否超过设定值， 若未处理的数据量超过设定值，则所述目的化简节点繁忙。进一步，如图4中，发送中间数据1时，检测化简节点1是否繁忙；发送中间数据2 时，检测化简节点1是否繁忙；发送中间数据M时，检测化简节点2是否繁忙。再下来，根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。包括304、若检测某一目的化简节点繁忙，则对待发往所述目的化简节点的中间数据做标记后，发往一个或多个不繁忙的非目的化简节点，最终数据即为，做标记的中间数据经所述一个或多个不繁忙的非目的化简节点处理完成的数据与所述中间数据对应的目的化简节点处理完成的数据的汇总数据。具体地，选取不繁忙的非目的化简节点的方法包括随机选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照中央处理器占用率从低到高，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照未处理数据量从少到多，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点。
进一步，当只挑选一个化简节点时，可以选取挑选一个中央处理器占用率最小的化简节点做为不繁忙的非目的化简节点；当只挑选一个化简节点时，可以选取挑选一个未处理的数据量(或未处理的数据包个数)最小的化简节点做为不繁忙的非目的化简节点；例如，图4中，若检测到化简节点2繁忙，则对欲发往化简节点2的中间数据M进行标记后，发往不繁忙的化简节点R，中间数据M经不繁忙的化简节点R处理后的数据R与化简节点2处理后的数据2汇总，即为最终数据2。305、若检测某一目的化简节点不繁忙，则将待发往所述目的化简节点的中间数据发往所述当前检测的目的化简节点，中间数据经所述目的化简节点处理完成的数据，即为最终数据。例如，图4中，若检测到化简节点1不繁忙，则对欲发往化简节点1的中间数据1 和中间数据2直接发往化简节点1，中间数据1和中间数据2经化简节点1处理后，即为最终数据1。本云计算方法，各化简节点的工作量大致相同，避免了某个化简节点工作量过重的问题。采用上述技术方案，在云计算的过程中，向目的化简节点发送数据时，检测目的化简节点是否繁忙，若目的化简节点繁忙，则发送数据到一个或多个非目的化简节点。与现有技术将相同或相近的数据会分配到同一个化简节点，存在分配给各化简节点的数据不均衡的问题相比，本发明实施例提供的技术方案，在云计算时，分配给各化简节点的数据更均实施例4基于本发明的上述实施例，本实施例提供的一种云计算装置，如图5所示，包括 获取单元501、确定单元502、检测单元503、发送单元504。获取单元501，用于获取用户数据经映射节点处理后得到的中间数据；确定单元502，用于确定所述中间数据对应的目的化简节点；检测单元503，用于检测所述中间数据对应的目的化简节点的状态。检测单元503 包括以下任一检测子模块检测子模块一 5031、检测子模块二 5032。检测子模块一 5031，用于检测所述中间数据对应的目的化简节点的中央处理器占用率是否超过设定值，若中央处理器占用率超过设定值，则所述目的化简节点繁忙；检测子模块二 5032，用于检测所述中间数据对应的目的化简节点未处理的数据量是否超过设定值，若未处理的数据量超过设定值，则所述目的化简节点繁忙。此外，检测单元单元，还可以用于检测所述中间数据对应的化简节点是否繁忙。发送单元504，用于根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。具体地，发送单元504包括以下任一发送子模块发送子模块一 5041，用于若检测某一目的化简节点不繁忙，则将待发往所述目的化简节点的中间数据发往所述当前检测的目的化简节点，中间数据经所述目的化简节点处理完成的数据，即为最终数据；发送子模块二 5042，用于若检测某一目的化简节点繁忙，则对待发往所述目的化简节点的中间数据做标记后，发往一个或多个不繁忙的非目的化简节点，最终数据即为，做标记的中间数据经所述一个或多个不繁忙的非目的化简节点处理完成的数据与所述中间数据对应的目的化简节点处理完成的数据的汇总数据。进一步，所述检测子模块二，还用于随机选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照中央处理器占用率从低到高，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照未处理数据量从少到多，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点。本云计算方法，各化简节点的工作量大致相同，避免了某个化简节点工作量过重的问题。采用上述技术方案，在云计算的过程中，向目的化简节点发送数据时，检测目的化简节点是否繁忙，若目的化简节点繁忙，则发送数据到一个或多个非目的化简节点。与现有技术将相同或相近的数据会分配到同一个化简节点，存在分配给各化简节点的数据不均衡的问题相比，本发明实施例提供的技术方案，在云计算时，分配给各化简节点的数据更均 本发明主要应用在云计算的过程中，使得云计算时分配给各化简节点的数据更均 以上所述，仅为本发明的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
权利要求
1.一种云计算方法，其特征在于，包括获取用户数据经映射节点处理后得到的中间数据；确定所述中间数据对应的目的化简节点；检测所述中间数据对应的目的化简节点的状态；根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。
2.根据权利要求1所述的一种云计算方法，其特征在于，所述检测所述中间数据对应的目的化简节点的状态，包括检测所述中间数据对应的化简节点是否繁忙。
3.根据权利要求2所述的一种云计算方法，其特征在于，所述根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理， 包括若检测某一目的化简节点不繁忙，则将待发往所述目的化简节点的中间数据发往所述当前检测的目的化简节点，中间数据经所述目的化简节点处理完成的数据，即为最终数据；若检测某一目的化简节点繁忙，则对待发往所述目的化简节点的中间数据做标记后， 发往一个或多个不繁忙的非目的化简节点，最终数据即为，做标记的中间数据经所述一个或多个不繁忙的非目的化简节点处理完成的数据与所述中间数据对应的目的化简节点处理完成的数据的汇总数据。
4.根据权利要求2或3所述的一种云计算方法，其特征在于，检测所述中间数据对应的目的化简节点的状态，包括检测所述中间数据对应的目的化简节点的中央处理器占用率是否超过设定值，若中央处理器占用率超过设定值，则所述目的化简节点繁忙；或者，检测所述中间数据对应的目的化简节点未处理的数据量是否超过设定值，若未处理的数据量超过设定值，则所述目的化简节点繁忙。
5.根据权利要求4所述的一种云计算方法，其特征在于，所述若检测某一目的化简节点繁忙，则对待发往所述目的化简节点的中间数据做标记后，发往一个或多个不繁忙的非目的化简节点，还包括随机选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照中央处理器占用率从低到高，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照未处理数据量从少到多，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点。
6.一种云计算装置，其特征在于，包括获取单元，用于获取用户数据经映射节点处理后得到的中间数据；确定单元，用于确定所述中间数据对应的目的化简节点；检测单元，用于检测所述中间数据对应的目的化简节点的状态； 发送单元，用于根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。
7.根据权利要求6所述的一种云计算装置，其特征在于，所述检测单元单元，具体用于检测所述中间数据对应的化简节点是否繁忙。
8.根据权利要求7所述的一种云计算装置，其特征在于，所述发送单元包括以下任一发送子模块发送子模块一，用于若检测某一目的化简节点不繁忙，则将待发往所述目的化简节点的中间数据发往所述当前检测的目的化简节点，中间数据经所述目的化简节点处理完成的数据，即为最终数据；发送子模块二，用于若检测某一目的化简节点繁忙，则对待发往所述目的化简节点的中间数据做标记后，发往一个或多个不繁忙的非目的化简节点，最终数据即为，做标记的中间数据经所述一个或多个不繁忙的非目的化简节点处理完成的数据与所述中间数据对应的目的化简节点处理完成的数据的汇总数据。
9.根据权利要求6或7所述的一种云计算装置，其特征在于，所述检测单元，包括以下任一检测子模块检测子模块一，用于检测所述中间数据对应的目的化简节点的中央处理器占用率是否超过设定值，若中央处理器占用率超过设定值，则所述目的化简节点繁忙；检测子模块二，用于检测所述中间数据对应的目的化简节点未处理的数据量是否超过设定值，若未处理的数据量超过设定值，则所述目的化简节点繁忙。
10.根据权利要求9所述的一种云计算装置，其特征在于，所述检测子模块二，还用于 随机选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照中央处理器占用率从低到高，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点；或者，按照未处理数据量从少到多，从所述非目的节点中选取一个或多个不繁忙的非目的化简节点，对待发往所述目的化简节点的中间数据做标记后，发往所述一个或多个不繁忙的非目的化简节点。
全文摘要
本发明实施例提供一种云计算方法及装置，涉及信息领域，使得云计算时分配给各化简节点的数据更均衡。所述方法包括获取用户数据经映射节点处理后得到的中间数据；确定所述中间数据对应的目的化简节点；检测所述中间数据对应的目的化简节点的状态；根据检测的所述中间数据对应的目的化简节点的状态，将所述中间数据发往一个或多个化简节点进行数据处理。本发明主要应用在云计算的过程中，使得云计算时分配给各化简节点的数据更均衡。
文档编号H04L29/08GK102255957SQ20111017420
公开日2011年11月23日 申请日期2011年6月24日 优先权日2011年6月24日
发明者荆宇 申请人:宇龙计算机通信科技(深圳)有限公司