分布式存储的数据存取方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据存储技术领域，尤其涉及一种分布式存储的数据存取方法及系统。
【背景技术】
[0002]常见的分布式数据存取技术方式由主控制服务器接收到数据写入(存储)与读取的需求，经由索引服务器的位置对应找到该数据相关的数据节点与数据位置，经由相关数据节点写入或读取数据，完成数据的存取。这样的运作方式，其主要缺陷是在实际上数据节点越来越多的情况下，例如在大数据应用的环境中数据节点增加会相对增加主控制服务器与索引服务器的压力，这样整体运作的性能就会遇到瓶颈。
【发明内容】
[0003]基于此，有必要提供一种能够有效解决数据节点过多造成的索引服务器和主控制服务器压力大的问题的分布式存储的数据存取方法及系统。
[0004]为实现本发明目的提供的一种分布式存储的数据存取方法，包括以下步骤:
[0005]主控制服务器接收数据存取信息，并发送所述数据存取信息到索引服务器；
[0006]所述索引服务器查找到所述数据存取信息对应的数据节点，并返回所述数据节点的信息到所述主控制服务器；
[0007]所述主控制服务器连接所述数据节点进行数据存取。
[0008]作为一种分布式存储的数据存取方法的可实施方式，当所述主控制服务器接收数据存储信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要存储的数据是否为新数据的步骤；
[0009]若是，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤:
[0010]所述数据节点产生所述要存储的数据的数据索引值；
[0011]所述数据节点将所述数据索引值存储到所述索引服务器中；
[0012]所述数据节点存储所述要存储的数据到本地磁盘；
[0013]若否，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤:
[0014]所述数据节点根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0015]所述数据节点用所述要存储的数据覆盖本地磁盘相应位置的原数据。
[0016]作为一种分布式存储的数据存取方法的可实施方式，所述方法还包括所述主控制服务器通过所述索引服务器判断所述要存储的数据是否需要分割的步骤；
[0017]若是，则所述主控制服务器连接多个所述数据节点进行数据存储；
[0018]若否，则所述主控制服务器连接单个所述数据节点进行数据存储。
[0019]作为一种分布式存储的数据存取方法的可实施方式，当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。
[0020]作为一种分布式存储的数据存取方法的可实施方式，当所述主控制服务器接收数据读取信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要读取的数据是否为分割数据的步骤；
[0021]若是，则所述主控制服务器连接多个所述数据节点进行数据读取；
[0022]若否，则所述主控制服务器连接单个所述数据节点进行数据读取。
[0023]作为一种分布式存储的数据存取方法的可实施方式，该方法还包括以下步骤:
[0024]所述主控制服务器实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常；
[0025]当所述数据存取设备异常时，所述主控制服务器控制启动相应的代理设备进行数据存取；
[0026]所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0027]基于同一发明构思的一种分布式存储的数据存取系统，包括主控制服务器、索引服务器和数据节点，其中:
[0028]所述主控制服务器接收数据存取信息，并发送所述数据存取信息到所述索引服务器；
[0029]所述索引服务器查找到所述数据存取信息对应的所述数据节点，并返回所述数据节点的信息到所述主控制服务器；
[0030]所述主控制服务器连接所述数据节点进行数据存取。
[0031]作为一种分布式存储的数据存取系统的可实施方式，该系统还包括本地磁盘，所述主控制服务器包括新数据判断模块，所述数据节点包括索引值产生模块、索引值存储模块、第一存储模块、位置查找模块和第二存储模块；
[0032]当所述主控制服务器接收数据存储信息时，所述新数据判断模块通过所述索引服务器判断要存储的数据是否为新数据；
[0033]根据所述新数据判断模块的判断结果，若是，则
[0034]所述索引值产生模块产生所述要存储的数据的数据索引值；
[0035]所述索引值存储模块将所述数据索引值存储到所述索引服务器中；
[0036]所述第一存储模块存储所述要存储的数据到本地磁盘；
[0037]若否，则
[0038]所述位置查找模块根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0039]所述第二存储模块用所述要存储的数据覆盖本地磁盘相应位置的原数据。
[0040]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括第一数据分割判断模块、多数据节点存储模块和单数据节点存储模块，其中:
[0041]所述第一数据分割判断模块通过所述索引服务器判断所述要存储的数据是否需要分割；
[0042]若是，则所述多数据节点存储模块连接多个所述数据节点进行数据存储；
[0043]若否，则所述单数据节点存储模块连接单个所述数据节点进行数据存储；
[0044]且当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。
[0045]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括第二数据分割判断模块、多数据节点读取模块和单数据节点读取模块；
[0046]当所述主控制服务器接收数据读取信息时，所述第二数据分割判断模块通过所述索引服务器判断要读取的数据是否为分割数据的步骤；
[0047]若是，则所述多数据节点读取模块连接多个所述数据节点进行数据读取；
[0048]若否，则所述单数据节点读取模块连接单个所述数据节点进行数据读取。
[0049]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括异常判断模块和异常处理模块，其中:
[0050]所述异常判断模块实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常；
[0051]当所述数据存取设备异常时，所述异常处理模块控制启动相应的代理设备进行数据存取；
[0052]所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0053]本发明的有益效果包括:
[0054]本发明提供的一种分布式存储的数据存取方