一种分摊减轻数据中心服务器任务的方法及系统的制作方法
【专利摘要】本发明提供了一种分摊减轻数据中心服务器任务的方法及系统，利用存储网络中的处理器来分摊服务器内处理器一些较简单的任务，服务器中的处理器可以去执行其他复杂的任务，从而可以大大降低功耗，节约成本，提高系统性能。
【专利说明】-种分摊减轻数据中心服务器任务的方法及系统
【技术领域】
[0001] 本发明涉及一种分摊减轻数据中心服务器任务的方法，尤其是涉及一种基于存储 网络中的微处理器来分摊减轻数据中心服务器任务的方法及系统。
【背景技术】
[0002] 随着云时代的来临，大数据（big data) -词越来越多地被提及，人们用它来描述 和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。数据正在迅速 膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长 带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正 如《纽约时报》2012年2月的一篇专栏中所称，"大数据"时代已经降临，在商业、经济及其 他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。大数据分析常和 云计算联系到一起，因为实时的大型数据集分析需要像Map Reduce -样的框架来向数十、 数百或甚至数千的电脑分配工作。截止到2012年，数据量已经从TB(1024GB = 1TB)级别 跃升到 PB(1024TB = 1PB)、EB(1024PB = 1EB)乃至 ZB(1024EB = 1ZB)级别。国际数据公 司（IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB， 2010年增长为1. 2ZB，2011年的数量更是高达1. 82ZB，相当于全球每人产生200GB以上的 数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的 所有话的数据量大约是5EB。
[0003] 而目前科研所关心的是如何从如此巨大的数据中查询或者搜索到用户关心的有 价值数据。传统用户查询信息的结构图如图1所示。用户通过个人计算机向网络中发送数 据请求，数据中心服务器收到命令开始从存储网络中查询和搜索用户所需要的数据信息。 我们知道，处理器只能直接处理内存中的数据信息，对于如此巨大的数据量，先要从存储网 络中的存储器中转存至服务器的内存中，然后服务器的处理器对这些信息进行数据处理和 操作，再将结果返回至客户端。显然，从存储网络导入服务器中的数据信息是远远大于服 务器返回至用户客户端的数据信息的。对于日益庞大的数据系统来说，处理器处理数据的 速率瓶颈是存储网络向服务器内存中导入数据的限制，因为不论是何种存储器，例如传统 的磁盘、固态硬盘、闪存，以及网络附属存储（NAS, Network Attached Storage,-种专用 的数据存储服务器）、直接连接存储（DAS，Direct Attached Storage，即外置存储设备通 过连接电缆直接连到服务器上的一种存储结构）或独立磁盘冗余阵列（RAID, Redundant Array of Independent Disks,让多个独立的硬盘通过不同方式组合成一个硬盘组，硬盘 组的性能较单个硬盘在性能上有大幅度的提升），对其数据读写速率要远远小于对内存数 据的读写速率。目前，为了提高服务器处理器处理数据的速度，可采用頂C(MC，In Memory Computation)技术来提高处理速度，该技术是通过增加内存的容量，从而可以一次性导入 更多的数据量，从而加快处理器处理数据的速率。这种方法固然可以加快数据处理的速度， 然而对于服务器来说，其可配置的内存容量是有上限的，如果容量达到上限，唯一的办法就 是增加服务器的数量，显然成本代价比较高，并且由于内存是易失性的处理器，需要定时刷 新，因而功耗也非常大。
[0004] 如此庞大的数据库中用户真正感兴趣的信息往往只是冰山一角，处理器大部分 时间在搜索和查询那些用户真正需要的数据，这些功能操作并非需要服务器处理器的 ALU(Arithmetic Logic Unit,算术逻辑单元）参与，可以说，服务器处理器大部分时间都在 被大材小用，存在着性能浪费。我们知道，在存储网络中也存在着大量的微处理器，不论是 磁盘、固态硬盘、闪存，还是NAS、RAID等，其内部都配置有微处理器，它们的任务就是对存 储单元进行管理和控制，例如损耗均衡、模块选择，错误检查纠错，数据读写等等。有些存在 于存储网络中的微处理器在性能上甚至不亚于一些个人计算机的处理器，相比服务器的处 理器来说，它们的集成工艺节点较高，因而功耗也较低，成本也更低，而且在大多数时候，即 并不需要对存储器进行大量写操作时，这些微处理器是处于空闲状态的。
[0005] 综上所述，存储网络中的微处理器并没有得到充分的利用，进而造成性能的浪费。
【发明内容】
[0006] 根据上述问题，本发明提供了一种分摊减轻数据中心服务器任务的方法，其中，包 括如下步骤：
[0007] 步骤S1 :用户通过电子终端设备向网络中的数据中心服务器发送数据请求指令；
[0008] 步骤S2 :所述数据中心服务器接收到所述数据请求指令后从存储网络中获取用 户所需的数据信息，并将用户所需的数据信息反馈至所述电子终端设备；
[0009] 其中，所述数据中心服务器配置有第一处理器，以进行数据运算处理任务，所述存 储网络配置有第二处理器，用于对存储网络进行维护处理；
[0010] 当所述第二处理器处于空闲状态时，所述数据中心服务器将部分所述数据运算处 理任务分配至所述第二处理器进行处理，并可以通过所述第二处理器直接将用户所需数据 反馈至所述电子终端设备。
[0011] 上述的方法，其中，所述第二处理器进行维护操作任务包括：损耗均衡操作、模块 选择操作、错误检查纠错操作和/或数据读写操作。
[0012] 上述的方法，其中，所述第一处理器的数据处理能力优于所述第二处理器的数据 处理能力。
[0013] 上述的方法，其中，所述第二处理器为所述存储网络中的存储设备中所配置的微 处理器。
[0014] 上述的方法，其中，所述存储网络中的存储设备为磁盘、固态硬盘、闪存中的一种 或多种，和/或数据中心服务器中的NAS、DAS和RAID中的一种或多种。
[0015] 一种分摊减轻数据中心服务器任务的系统，其中，所述系统包括：
[0016] 电子终端设备、数据中心服务器和存储网络，用户通过电子终端设备向网络中的 数据中心服务器发送数据请求指令；所述数据中心服务器接收到所述数据请求指令后从存 储网络中获取用户所需的数据信息，并将用户所需的数据信息反馈至所述电子终端设备；
[0017] 其中，所述数据中心服务器配置有第一处理器，以进行数据运算处理任务，所述存 储网络中配置有第二处理器，所述第二处理器用于对存储网络进行维护处理；
[0018] 当该第二处理器处于空闲状态时，所述数据中心服务器将部分所述数据运算处理 任务分配至所述第二处理器进行处理，并可以通过所述第二处理器直接将用户所需数据反 馈至所述用户终端。
[0019] 上述的系统，其中，所述第二处理器对所述数据中心服务器进行维护操作任务包 括：损耗均衡操作、模块选择操作、错误检查纠错操作和/或数据读写操作。
[0020] 上述的系统，其中，所述第一处理器的数据处理能力优于所述第二处理器的数据 处理能力。
[0021] 上述的系统，其中，所述第二处理器为存储网络中的存储设备中所配置的微处理 器。
[0022] 上述的系统，其中，所述存储网络中的存储设备为磁盘、固态硬盘、闪存中的一种 或多种，和/或数据中心服务器中的NAS、DAS和RAID中的一种或多种。
[0023] 由于本发明采用了如上技术方案，通过利用那些存储网络中的微处理器来处理一 些并不需要数据中心服务器ALU大量参与的任务，例如数据转移，数据查询等，从而减轻了 服务器的任务，提高了系统的性能。
【专利附图】
【附图说明】
[0024] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、夕卜 形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例 绘制附图，重点在于示出本发明的主旨。
[0025] 图1传统用户搜索数据信息的结构图；
[0026] 图2本发明一种减轻数据中心服务器任务的方法示意图；
[0027] 图3任务B占据内存时服务器处理器执行任务A示意图；
[0028] 图4利用内存中计算（IMC)技术解决办法示意图；
[0029] 图5利用本发明这种减轻服务器任务的方法示意图；
[0030] 图6任务B1占据内存时服务器处理器执行任务B2示意图；
[0031] 图7利用内存中计算（IMC)技术解决办法示意图；
[0032] 图8利用本发明这种减轻服务器任务的方法1示意图；
[0033] 图9利用本发明这种减轻服务器任务的方法2示意图；
[0034] 图10为硬盘中磁盘控制器的结构示意图；
[0035] 图11为本发明具体应用一示意图A ;
[0036] 图12为本发明具体应用一示意图B ;
[0037] 图13为本发明具体应用一示意图C。
【具体实施方式】
[0038] 在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然 而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以 实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进 行描述。
[0039] 应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的 实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给 本领域技术人员。在附图中，为了清楚，层和区的尺寸以及相对尺寸可能被夸大。自始至终 相同附图标记表示相同的元件。
[0040] 为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便 阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本 发明还可以具有其他实施方式。
[0041] 本发明提供了一种分摊减轻数据中心服务器任务的方法，包括如下步骤：
[0042] 步骤S1 :用户通过电子终端设备向网络中的数据中心服务器发送数据请求指令。 一个可选的实施方式为，该电子终端设备可为PC或手机。
[0043] 步骤S2 :数据中心服务器接收到数据请求指令后从存储网络中获取用户所需的 数据信息，并将用户所需的数据信息反馈至电子终端设备。
[0044] 在本发明中，数据中心服务器配置有第一处理器，以进行数据运算处理任务，存储 网络配置有第二处理器，用于对存储网络进行维护处理；当该第二处理器处于空闲状态时， 数据中心服务器将部分数据运算处理任务分配至第二处理器进行处理，并可以通过第二处 理器直接将用户所需数据反馈至电子终端设备。通过第二处理器来减轻第一处理器的压 力，进而提升整个数据中心处理速度。
[0045] 优选的，上述的第一处理器的数据处理能力优于第二处理器的数据处理能力。进 一步优选的，第二处理器是存在于存储网络中的存储设备中所配置的微处理器，存储网络 中的存储设备包括例如磁盘、固态硬盘、闪存的一种或多种，以及一些服务器存储网络中的 NAS、DAS及RAID等一切存储设备。
[0046] 优选的，利用上述的第二处理器进行维护操作任务包括：损耗均衡操作、模块选择 操作、错误检查纠错操作和/或数据读写操作。
[0047] 同时，本发明还提供了一种分摊减轻数据中心服务器任务的系统，该系统包括：电 子终端设备、数据中心服务器和存储网络，用户通过电子终端设备向网络中的数据中心服 务器发送数据请求指令；数据中心服务器接收到数据请求指令后从存储网络中获取用户所 需的数据信息，并将用户所需的数据信息反馈至电子终端设备；其中，数据中心服务器配置 有第一处理器，以进行数据运算处理任务，存储网络中配置有第二处理器，第二处理器用于 对存储网络进行维护处理；当该第二处理器处于空闲状态时，数据中心服务器将部分数据 运算处理任务分配至第二处理器进行处理，并可以通过第二处理器直接将用户所需数据反 馈至用户终端。
[0048] 优选的，利用上述的第二处理器进行维护操作任务包括：损耗均衡操作、模块选择 操作、错误检查纠错操作和/或数据读写操作。
[0049] 优选的，上述的第一处理器的数据处理能力优于第二处理器的数据处理能力。进 一步优选的，第二处理器是存在于存储网络中的存储设备中所配置的微处理器，存储网络 中的存储设备包括例如磁盘、固态硬盘、闪存，以及一些服务器存储网络中的NAS、DAS及 RAID等一切存储设备。
[0050] 下面就本发明提供一实施例进行进一步阐述：本发明提出一种分摊数据中心服务 器任务的方法。传统方式下，将服务器原先所处理的任务分成两部分，一部分为任务A，另一 部分为任务B。存储网络中微处理器所完成的任务统称为任务C。而应用本发明这种分摊 数据中心服务器任务的方法后，服务器中的处理器只完成任务A，而存储网络中的微处理器 来分摊服务器任务B，如图2所示，从而减轻了服务器处理器的任务，从而提高系统性能。
[0051 ] 其中，所述任务A是一些复杂的科学运算处理的并需要ALU大量参与的任务，其不 需要大量集群（burst)数据请求；任务B是服务器处理器除了任务A所处理的任务，是一些 简单的非科学运算处理的重复性的任务，往往需要大量的集群数据请求；任务C是存储网 络中的微处理器完成的传统维护任务，例如损耗均衡、模块选择，错误检查纠错，数据读写 等等。
[0052] 本发明可让服务器处理器集中处理任务A，即利用高性能数据处理能力的ALU来 对任务A进行处理；同时存储网络中的微处理器可在不处理任务C即空闲时并行的处理任 务B，从而可以降低存储网络和服务器内存之间的读取速度瓶颈，降低由任务B造成的大容 量内存的功耗和大容量内存与服务器之间I/O占有率，从而提高服务器系统性能。
[0053] 例如在某服务器中，任务B所需的海量数据占据了内存空间，如果此时处理器需 要处理任务A，需要将任务A所需要的大量数据从存储网络中导入服务器的内存空间，由于 内存空间被任务B的数据所占据，那么任务B的数据就会被任务A的数据所覆盖，示意图如 图3所示。如果任务B所需的数据会经常调用，那么就需要不断的从存储网络中导入内存， 功耗也随之增大，此外，从存储网络中读取数据限制了处理器的处理速度，性能上也会随之 降低。若采用内存中计算（IMC)技术，即需要增加额外的服务器以达到更多的内存需求，如 图4所示。显然这种方式可以增加系统性能，但成本也会大大增加，功耗也会增加。若采用 本发明这种分摊减轻数据中心服务器任务的方法，那么无需增加高成本大功耗的服务器， 将数据A所需数据导入服务器内存，服务器的高性能处理器来处理任务A，由存储网络中的 微处理器来处理任务B，二者可以并行执行，更加有效迅速、高性能，并且省去了将任务B的 数据导入服务器内存的功耗，结果如图5所示。
[0054] 又例如在某服务器中，任务B1所需的海量数据占据了内存空间，如果此时处理器 需要处理任务B2,需要将任务B2所需要的大量数据从存储网络中导入服务器的内存空间， 由于内存空间被任务B1的数据所占据，那么任务B1的数据就会被任务B2的数据所覆盖， 示意图如图6所示。如果任务B1所需的数据会经常调用，那么就需要不断的从存储网络中 导入内存，功耗也随之增大，此外，从存储网络中读取数据限制了处理器的处理速度，性能 上也会随之降低。若采用内存中计算（MC)技术，即需要增加额外的服务器以达到更多的 内存需求，如图7所示。显然这种方式可以增加系统性能，但成本也会大大增加，功耗也会 增加。若采用本发明这种分摊减轻数据中心服务器任务的方法，那么无需增加高成本大功 耗的服务器，服务器的处理器继续处理任务B1，存储网络中的微处理器来处理任务B2,结 果如图8所示。若为了进一步释放服务器处理器任务，还可以无需将任务B1和B2的大量 数据导入服务器内存，只需存储网络中的多个微处理器来并行执行任务B1和任务B2,服务 器的处理器可以去执行其他任务，结果如图9所示。显然本发明这种分摊减轻服务器任务 的方法功耗更低，成本更低，性能也不会降低，与内存中计算技术对比如表1所示。
[0055]
【权利要求】
1. 一种分摊减轻数据中心服务器任务的方法，其特征在于，包括如下步骤： 步骤S1 :用户通过电子终端设备向网络中的数据中心服务器发送数据请求指令； 步骤S2 :所述数据中心服务器接收到所述数据请求指令后从存储网络中获取用户所 需的数据信息，并将用户所需的数据信息反馈至所述电子终端设备； 其中，所述数据中心服务器配置有第一处理器，以进行数据运算处理任务；所述存储网 络配置有第二处理器，用于对存储网络进行维护处理； 当所述第二处理器处于空闲状态时，所述数据中心服务器将部分所述数据运算处理任 务分配至所述第二处理器进行处理，并通过所述第二处理器直接将用户所需数据反馈至所 述电子终端设备。
2. 如权利要求1所述的方法，其特征在于，所述第二处理器进行维护操作任务包括：损 耗均衡操作、模块选择操作、错误检查纠错操作和/或数据读写操作。
3. 如权利要求1所述的方法，其特征在于，所述第一处理器的数据处理能力优于所述 第二处理器的数据处理能力。
4. 如权利要求1所述的方法，其特征在于，所述第二处理器为所述存储网络中的存储 设备中所配置的微处理器。
5. 如权利要求4所述的方法，其特征在于，所述存储网络中的存储设备为磁盘、固态硬 盘、闪存中的一种或多种，和/或数据中心服务器中的NAS、DAS和RAID中的一种或多种。
6. -种分摊减轻数据中心服务器任务的系统，其特征在于，所述系统包括： 电子终端设备、数据中心服务器和存储网络，用户通过电子终端设备向网络中的数据 中心服务器发送数据请求指令；所述数据中心服务器接收到所述数据请求指令后从存储网 络中获取用户所需的数据信息，并将用户所需的数据信息反馈至所述电子终端设备； 其中，所述数据中心服务器配置有第一处理器，以进行数据运算处理任务；所述存储网 络中配置有第二处理器，所述第二处理器用于对存储网络进行维护处理； 当该第二处理器处于空闲状态时，所述数据中心服务器将部分所述数据运算处理任务 分配至所述第二处理器进行处理，并通过所述第二处理器直接将用户所需数据反馈至所述 用户终端。
7. 如权利要求6所述的系统，其特征在于，所述第二处理器对所述数据中心服务器进 行维护操作任务包括：损耗均衡操作、模块选择操作、错误检查纠错操作和/或数据读写操 作。
8. 如权利要求6所述的系统，其特征在于，所述第一处理器的数据处理能力优于所述 第二处理器的数据处理能力。
9. 如权利要求6所述的系统，其特征在于，所述第二处理器为存储网络中的存储设备 中所配置的微处理器。
10. 如权利要求9所述的系统，其特征在于，所述存储网络中的存储设备为磁盘、固态 硬盘、闪存中的一种或多种，和/或数据中心服务器中的NAS、DAS和RAID中的一种或多种。
【文档编号】H04L29/08GK104158875SQ201410394960
【公开日】2014年11月19日 申请日期:2014年8月12日 优先权日:2014年8月12日
【发明者】景蔚亮, 陈邦明 申请人:上海新储集成电路有限公司