一种云服务系统及方法
【专利摘要】本发明实施例提供了一种云服务系统及方法，以提供一种高性能、低投入的大数据存储架构。其中，该云服务系统包括至少两个物理服务器以及至少两个存储设备；所述每个物理服务器分别与一存储设备通过直连通道连接，每个存储设备分为主存储区和从存储区；当通过一物理服务器实现数据写操作时，将文档写入与所述一物理服务器连接的存储设备的主存储区，同时，将所述主存储区上的文档同步到与另一物理服务器连接的存储设备的从存储区。
【专利说明】—种云服务系统及方法
【技术领域】
[0001]本发明涉及云服务领域，特别涉及一种云存储系统及方法。
【背景技术】
[0002]云服务往往涉及海量数据的存储，图1示出了现有技术中常用的一种云服务系统。如图1所示，现有技术中的大数据存储通常采用SAN以及光纤交换机的方式，价格十分昂贵。以Hadoop为代表的云存储技术采用大量廉价服务器来构成海量存储容量，与SAN相比大大降低了成本，但每台存储设备依然需要配备相应的存储服务器，对网络带宽要求也很高，往往需要用昂贵的网络设备，而且NameNode依然存在单点故障风险，成本、性能和可靠性仍然不够理想。
[0003]为此，需要提供一种高性能、低成本的能存储大数据的云服务架构。
【发明内容】
[0004]本发明实施例提供了一种云服务系统及方法，以提供一种高性能、低投入、高可靠性的大数据存储架构。
[0005]本发明实施例提到的一种云服务系统，其中，该云服务系统包括至少一个子系统，每个子系统包括至少两个物理服务器以及至少两个存储设备；所述每个物理服务器分别与一存储设备通过直连通道连接，每个存储设备分为主存储区和从存储区；
[0006]当通过一物理服务器实现数据写操作时，将文档写入与所述一物理服务器连接的存储设备的主存储区，同时，将所述主存储区上的文档同步到与另一物理服务器连接的存储设备的从存储区。
[0007]利用本发明实施例提供的云存储系统及方法，可以实现仅仅通过物理服务器与存储设备的直连进行通信，同时，所有的数据都可以自动存储两份。即使一个物理服务器或其连接的存储设备出现故障了，可以通过另一物理服务器来对相同的数据进行访问。
【专利附图】
【附图说明】
[0008]图1为现有技术常有的云存储系统的结构框图。
[0009]图2为本发明实施例提供的云存储系统的结构框图。
[0010]图3为本发明一实施例提供的云存储系统的结构框图。
【具体实施方式】
[0011]以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0012]图2为本发明实施例提供的云服务子系统的结构框图。如图2所示，该云服务子系统由两个物理服务器200和300，以及两个存储设备400和500构成，其中两个物理服务器200和300分别与两个存储设备400和500连接。同时，每个存储设备又分为主和从存储区，并且每个存储设备的主存储区与另一个存储设备的从存储区构成一个组。如图所示，存储设备400的主存储区与存储设备500的从存储区构成一组，存储设备400的从存储区与存储设备500的主存储区构成一组。该云服务子系统还进一步包含调度服务器100，通过调度服务器100协调两物理服务器200和300的负载。
[0013]正常情况下，当一个服务被调度到服务器200需要从服务器200写数据操作时，直接向存储设备400的主存储区写数据，同时将存储设备400的主存储区中的数据同步复制到存储设备500的从存储区上。同理，当一个服务被调度到服务器300需要从服务器300写数据操作时，直接向存储设备500的主存储区写数据，同时将存储设备500的主存储区的数据同步复制到存储设备400的从存储区上。
[0014]当一个服务被调度到服务器200需要从服务器200读数据时，可以直接向存储设备400读数据(无论这个数据存储在主存储区还是从存储区中)。这里，存储设备400的从存储区和存储设备500的主存储区的数据相同。当通过物理服务器200访问数据时，即使该数据的主存储区是存储设备500，根据近读写数据的原则，物理服务器200通过直连接口(例如SAS通道)读取存储设备400从存储区的数据，而非存储设备500的主存储区的数据。同理，当一个服务被调度到服务器300需要从服务器300读数据时，可以直接向存储设备500读数据(无论这个数据存储在主存储区还是从存储区中)。
[0015]一旦物理服务器200或者存储设备400任意一个设备出现问题，则将后续服务都调度到物理服务器300，由后者为用户提供服务。这时候由于存储设备500存储有所有数据，物理服务器300只需要与存储设备500交互就可支持所有数据的访问；由于一个存储设备仅与一个物理服务器对应，也不会存在任何数据访问冲突。等故障设备恢复(修理或替换)重新投入使用后，再将故障期间所有写入存储设备500的数据同步到存储设备400，使得存储设备400与存储设备500仍然具有相同的数据。同理，一旦物理服务器300或者存储设备500任意一个设备出现问题，则将后续服务都调度到物理服务器200，等故障设备恢复后再将故障期间写入存储设备400的数据同步到储存设备500。
[0016]在本发明一实施例中，每台物理服务器中均运行着多台虚拟机。正常情况下，物理服务器200和300同时为用户提供服务，并确保所有物理服务器200的虚拟机都在物理服务器300中有同样功能的虚拟机。这时有二级负载均衡服务器协调两物理服务器200和300的虚拟机负载。调度的策略可以采用“直连通道数据访问为优先”的就近原则，也可以采取轮询调度，或者低负载优先调度等多种策略或多种策略的组合。
[0017]在本发明一实施例中，其中每台物理服务器均包含至少一台具有存储共享功能的虚拟机，同一物理服务器的其它虚拟机通过该虚拟机访问存储设备。这样就避免了多个虚拟机同时读写同一存储设备，保证了系统可靠性和数据一致性。
[0018]在本发明一实施例中，物理服务器200和300中都有运行二级负载均衡服务的虚拟机，从而保证任何一台设备故障都不会影响负载均衡服务。
[0019]在本发明一实施例中，同一物理服务器内有多个具有相同功能的虚拟机，二级负载均衡服务在前述多个虚拟机之间调度，从而提高了系统的负载能力。
[0020]在本发明一实施例中，每台物理服务器还进一步包括用于提供实时服务(例如Web服务)或和非实时服务(例如转换、索引)的虚拟机。当物理服务器200发生故障时，除了将服务导向物理服务器300外，还可以进一步将物理服务器300中一个或多个用于提供非实时服务的虚拟机停掉或转移到其他服务器，同时增加一个或多个用于响应实时服务的虚拟机，使得为用户提供实时服务的负载能力不受硬件设备故障的影响，或影响较小。
[0021]在本发明一实施例中，主存储区和从存储区是对等的，即数据既可以写入到主存储区中同步到从存储区，也可以写入到从存储区中同步到主存储区。
[0022]在本发明一实施例中，存储设备400的主存储区与存储设备500的从存储区之间，以及存储设备500的主存储区与存储设备400的从存储区之间通过软件同步保持数据的完全一致。在一实施例中，所存储的数据都是磁盘文件形式的，可以采用分布式文件系统(例如GlusterFS的2副本模式)保持两者数据的完全一致；或者采取DRBD的文件同步模式保持两者数据的完全一致。
[0023]其中，当采用分布式文件系统GlusterFS的2副本模式时，一旦通过某一物理服务器如200进行文档的写操作时，生成两个副本，一个副本通过直连的方式存储在存储系统400的主存储区中，另一个副本通过网络访问存储在存储系统500的从存储区中。
[0024]当采取DRBD的文件同步模式时，一旦通过某一物理服务器如200进行文档的写操作时，首先将该文档通过直连的方式存储在存储系统400的主存储区中，后续通过文件系统的方式，将存储系统400主存储区的数据同步或异步的方式同步到存储系统500的从存储区。
[0025]在本发明一实施例中，存储设备400和500可以是DAS存储，此时，每台物理服务器与对应的Das存储可以通过直连通道(例如SAS或SATA)连接，这样任何时候物理服务器都可以通过直连通道访问其对应存储设备主存储区或从存储区上的数据，可以实现高速的读写数据。这样做的好处，即能够使得数据保存为2份以上，实现高可靠性；又能够让物理服务器端采用就近读取的原则，尽量通过直连的高速通道读写数据，具有更高的性能。利用主从关系，实现了对直接连接中存储数据的备份，在相互备份的直接存储中任一存储发生故障均可以调用互为备份的存储，实现对数据的调用。
[0026]在本发明一实施例中，存储设备400和500都有若干存储介质(例如若干磁盘、SSD盘或磁带)，一部分存储介质构成主存储，另一部分存储介质构成从存储。
[0027]在本发明一实施例中，为了提高可靠性，主存储和/或从存储采用冗余存储方式，例如RAID或纠删码，这样当一个甚至多个存储介质出现故障时，用其它存储介质仍然可以正常读写数据，不影响系统正常操作，也无需切换到其它服务器或其它存储设备，从而提高系统可靠性。
[0028]在本发明一实施例中，每个子系统由三台或更多的物理服务器组成，所有数据也相应存储三份或多份，其实现方法和原理与两台服务器组成的子系统相似，只是用更高的成本实现了更高的可靠性。
[0029]在本发明一实施例中，每台物理服务器都有至少一个虚IP，当检测到该设备出现故障时，由另外的物理服务器启动同样的虚IP，从而实现自动接管原本由该物理服务器处理的用户请求的目的。
[0030]在以上实施例中，多台设备之间构成高可用架构，任何一台设备出现故障都可以实时由另一台设备继续提供服务。同时，该高可用架构基本上不额外增加成本，多台设备都可以同时为用户提供服务，而普通的高可用架构是备用设备平常闲置，只有主设备出现故障时才启用。
[0031]当数据量增加时，需要对云服务系统进行扩展，如图3所示。图3由两个云服务子系统构成，其中的物理服务器600和700，以及存储设备800和900构成第二个子系统。该系统还可以按照相同方式扩展为由任意多个子系统构成。
[0032]当一个服务调度到物理服务器200内的虚拟机需要读数据操作时，如果数据在存储设备400上，物理服务器200内的虚拟机直接通过直连通道，高速的获得数据。如果数据在存储设备800或存储设备900上，即跨子系统读取数据，那么物理服务器200内的虚拟机只能通过网络通道，读取该数据。
[0033]可以看出，在本系统的云服务系统中，通常用户上传和下载自己的数据时，绝大多数数据都会存储到本物理服务器对应的存储设备上，并利用高速直连通道实现对数据的读写访问。只有共享等少量操作，才存在通过网络通道的跨子系统数据操作。
[0034]在本发明一实施例中，调度服务器100采用基于数据的调度策略，即将对存储在某个子系统的数据的操作调度给该子系统完成，而不是传统的基于轮询或负载来调度的方式，从而实现最高效的数据读写性能。该实施例也可演化为将基于数据调度和其它调度策略相结合的方式，最好是基于数据的调度策略优先。
[0035]在本发明一实施例中，属于特定用户的数据都尽量存储在同一子系统中，该用户所请求的服务都尽量由该子系统完成，从而实现前述基于数据优先的调度策略。
[0036]在本发明一实施例中，调度服务器100基于用户来做调度，即每个用户都设置了一个缺省子系统，该用户所请求的服务都调度给其缺省子系统，而不是传统的基于轮询或负载来调度的方式，从而实现将特定用户的数据都尽可能存储在同一子系统中的目的。该实施例也可演化为将基于用户调度和其它调度策略相结合的方式，最好是基于用户的调度策略优先。
[0037]在本发明一实施例中，每个子系统都有自己的二级负载均衡服务器，由该子系统中的多个应用虚拟机或多个进程分担调度给该子系统的服务请求。调度的策略可以采用轮询调度，或者低负载优先调度等多种策略。
[0038]在本发明一实施例中，调度服务器100包含前述二级负载均衡服务器的功能，可以直接将用户请求的服务调度某个子系统的某个物理服务器或某个虚拟机或某个进程。
[0039]在本发明一实施例中，调度服务器100由至少两台(或两组)物理服务器组成，其中任何一台(或一组)物理服务器都可以独立承担完整的负载均衡功能，从而保证任何一台设备故障不会导致系统停止服务。
[0040]利用本发明实施例提供的云服务系统，能够大大减少系统内网络通道的流量，而直连通道又是被一台物理服务器所独享的。在实际架构中，仅仅采用普通的千兆网搭建就可以搭建大容量存储系统，不再需要SAN等光纤网络。这样不仅能够大大降低存储成本，而且系统的性能还更高，同时，通过负载调度器又保证了系统的高可用性。
[0041]在本发明一实施例，为了保证二级负载均衡服务器的高可用性，可以采取同时运行至少两个二级均衡负载服务器。这两个二级负载均衡服务器既可以存在各子系统以外的服务器中，也可以位于其中两个或多个物理服务器中，这样所述至少两个二级负载均衡服务器也可以相互备份。两个负载服务器通过物理或者虚拟心跳线进行互相监控，当一个负载服务器出现故障时，另外一个能够自动接管。
[0042]在本发明一实施例中，当一个子系统由三台以上的物理服务器和对应的存储设备组成，除了采取如上实施例所描述的两两构成一个云存储子系统外，还可以采取如下方式:依然以图3为例进行说明，可以将通过服务器200写入的数据存放在存储设备400的主数据中，以及放入到存储设备500的从数据中；将通过服务器300写入的数据存放在存储设备500的主数据中，以及放入到存储设备800的从数据中；将通过服务器600写入的数据存放在存储设备800的主数据中，以及放入到存储设备900的从数据中。还可以采取:将服务器200写入的主数据分散在不同的存储设备中，其对应的从数据也分散在不同的存储设备中。
[0043]在本发明一实施例中，当出现多组物理服务器和对应的存储设备时，调度服务器100作为第一层负载均衡调度，其调度原则为就近原则，即按照“直连通道数据访问为优先，网络数据访问其后”的原则为业务请求分配物理服务器；一旦确定了物理服务器，由物理服务器中的二级负载均衡虚拟机作为第二层负载均衡调度，其调度原则可以为低负载优先原贝U，将业务请求分配给该物理服务器中多个应用虚拟机中的一个，由该应用虚拟机通过共享虚拟机访问对应的存储设备。
[0044]本发明实施例还进一步提供一种云服务方法，用于由至少两个物理服务器以及至少两个存储设备构成的云存储系统，包括:
[0045]将每个物理服务器分别与一存储设备通过直连通道连接；
[0046]将每个存储设备分为主存储区和从存储区；
[0047]当通过一物理服务器实现数据写操作时，将文档写入与所述一物理服务器连接的存储设备的主存储区，同时，将所述主存储区上的文档同步到与另一物理服务器连接的存储设备的从存储区。
[0048]在本发明一实施例中，多个物理服务器间采用基于数据的调度策略进行负载均衡。每台物理服务器运行多个虚拟机，每个物理服务器内又有自己的二级负载均衡服务器，采用基于负载的调度策略。
[0049]本领域技术人员理解，以上适用于云服务系统的技术方案也适用于云服务方法。
[0050]本领域技术人员还可以理解，本发明各实施例描述的技术方案还可以进行各种组合，组合得到的云服务系统以及云服务方法也属于本申请公开的范围。
[0051]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种数据存储系统，其特征在于，包括至少一个子系统，每个子系统包括至少两个物理服务器以及至少两个存储设备；所述每个物理服务器分别与至少一个存储设备通过直连通道连接，每个存储设备的部分存储介质作为主存储区，部分存储介质作为从存储区； 当对所述数据存储系统写入数据时，将所述数据写入某一子系统中某一个物理服务器连接的某一个存储设备的主存储区，同时，将所述数据同步到与另一物理服务器连接的另一存储设备的从存储区。
2.根据权利要求1所述的系统，其特征在于，当从所述数据存储系统读取数据时，从一个存有该数据的存储设备相连接的物理服务器读取该数据。
3.根据权利要求1或2所述的系统，其特征在于，进一步包括:调度服务器，用于将用户请求调度到某一子系统或某一物理服务器来执行。
4.根据权利要求3所述的系统，其特征在于，所述调度服务器采用按照“离所读写的数据最近为优先”的调度策略。
5.根据权利要求3所述的系统，其特征在于，所述调度服务器的数量至少两个，当一个调度服务器出现故障时用户请求由其它调度服务器来调度。
6.根据权利要求3所述的系统，其特征在于，所述每个物理服务器包括多个应用虚拟机；当一个物理服务器被选中执行用户请求时，由所述物理服务器中的一个应用虚拟机来执行；或当一个子系统被选中执行用户请求时，由所述子系统中一个物理服务器的一个应用虚拟机来执行。
7.根据权利要求6所述的系统，其特征在于，所述每个子系统的至少一个物理服务器进一步包括一个二级负载均衡虚拟机，用于将用户请求调度给一个应用虚拟机来执行。
8.根据权利要求7所述的系统，其特征在于，所述二级负载均衡虚拟机采用轮询或低负载优先的调度策略。
9.根据权利要求6所述的系统，其特征在于，所述每个物理服务器进一步包括一具有存储共享功能的虚拟机，同一物理服务器的其它虚拟机通过该虚拟机访问与其连接的存储设备。
10.根据权利要求1所述的系统，其特征在于，将将所述与一个物理服务器连接的一个存储设备的主存储区上的数据同步到与另一物理服务器连接的另一存储设备的从存储区包括: 采用分布式文件系统GlusterFS的多副本模式或者采取DRBD的文件同步模式将所述主存储区上的数据同步到与另一物理服务器连接的另一存储设备的从存储区。
11.根据权利要求4所述的系统，其特征在于，对每个用户设置一个缺省子系统，调度服务器将该用户的请求发送到该子系统。
12.根据权利要求1或2所述的系统，其特征在于，当所述一子系统中一物理服务器或与其连接的一存储设备出现故障后，对故障设备所影响的用户数据的操作自动切换到存放有相同数据的存储设备连接的另一物理服务器。
13.根据权利要求12所述的系统，其特征在于，进一步包括:每个物理服务器都有至少一个虚IP，当一个物理服务器出现故障时，在另一物理服务器启动该虚IP。
14.根据权利要求12所述的系统，其特征在于，进一步包括:将所述另一物理服务器中一个或多个用于提供非实时服务的虚拟机停掉或转移到其他服务器，同时增加一个或多个用于响应实时服务的虚拟机。
15.根据权利要求1所述的系统，其特征在于，所述存储设备为DAS，所述每个物理服务器与其对应的存储设备通过SAS通道实现对数据的读写访问。
16.根据权利要求1所述的系统，其特征在于，指定每个存储设备上若干存储介质为主存储区，另外若干存储介质为从存储区。
17.—种云服务方法，其特征在于，用于由至少一个子系统、每个子系统至少两个物理服务器以及至少两个存储设备构成的云存储系统，包括: 将每个物理服务器分别与一存储设备通过直连通道连接； 将每个存储设备分为主存储区和从存储区； 当通过一物理服务器实现数据写操作时，将数据写入与所述一物理服务器连接的存储设备的主存储区，同时，将所述数据同步到与另一物理服务器连接的另一存储设备的从存储区。
【文档编号】H04L29/08GK104168323SQ201410422496
【公开日】2014年11月26日 申请日期:2014年8月26日 优先权日:2013年8月26日
【发明者】金友兵, 王东临 申请人:天津书生投资有限公司