一种应用于分布式存储系统的数据处理系统及方法
【技术领域】
[0001]本发明涉及分布式存储技术领域，特别涉及一种应用于分布式存储系统的数据处理系统及方法。
【背景技术】
[0002]随着大规模的数据存储应用的发展需要，传统的集中式存储系统由于采用集中的存储服务器来存放数据，存在可靠性和安全性较低的确定，无法适应时代的发展。而分布式存储系统由于采用多台分散的存储服务器来分担存储负荷，不仅提高了系统的可靠性和安全性，还有利于人们根据实际的应用需要，对已有的多台存储服务器进行数量上的扩展。
[0003]然而，现有的分布式存储系统在接收到源数据后，通常是对源数据进行直接的存储，由于源数据可能存在的数据容量大、安全性要求较高和容易出现数据错误等问题，如果不预先对源数据进行整合处理便进行存储，可能会导致存储下来的数据出现存取速度低、安全性低等问题，并由此降低系统的扩展性。
[0004]综上所述可以看出，如何实现对数据的整合处理以提高数据的存取速度、安全性和系统扩展性是目前亟待解决的问题。
【发明内容】
[0005]有鉴于此，本发明的目的在于提供一种应用于分布式存储系统的数据处理系统及方法，实现了对数据的整合处理，从而提高了数据的存取速度、安全性和系统扩展性。其具体方案如下:
[0006]—种应用于分布式存储系统的数据处理系统，包括系统整合器和数据处理器，所述数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块；其中，
[0007]所述系统整合器，用于为用户提供整合策略选择接口，以获取用户通过所述整合策略选择接口，从预设策略数据库中选择的系统整合策略；所述系统整合策略用于规定所述数据处理器中各个模块之间对待处理数据进行处理的先后顺序；
[0008]所述数据存储模块、所述容错编码模块、所述数据压缩模块和所述加密解密模块，用于依据所述系统整合策略中规定的对数据进行处理的先后顺序，依次对待处理数据进行相应的处理。
[0009]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第一整合策略时，则，
[0010]所述加密解密模块，用于对待处理数据进行加密处理；
[0011]所述容错编码模块，用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理；
[0012]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N1个数据块，N1为正整数；
[0013]所述数据压缩模块，用于分别对所述N1个数据块中的每一个数据块进行数据压缩处理，相应地得到N1个压缩数据块。
[0014]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第二整合策略时，则，
[0015]所述数据压缩模块，用于对待处理数据进行数据压缩处理；
[0016]所述加密解密模块，用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行加密处理；
[0017]所述容错编码模块，用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理；
[0018]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N2个数据块，N2为正整数。
[0019]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第三整合策略时，则，
[0020]所述加密解密模块，用于对待处理数据进行加密处理；
[0021]所述数据压缩模块，用于对所述加密解密模块进行所述加密处理后得到的数据进行数据压缩处理；
[0022]所述容错编码模块，用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理；
[0023]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N3个数据块，N3为正整数。
[0024]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第四整合策略时，则，
[0025]所述容错编码模块，用于对待处理数据进行容错编码处理；
[0026]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N4个数据块，N4为正整数；
[0027]所述加密解密模块，用于分别对所述N4个数据块中的每一个数据块进行加密处理，相应地得到N4个加密数据块；
[0028]所述数据压缩模块，用于分别对所述N4个加密数据块中的每一个加密数据块进行数据压缩处理，相应地得到N4个压缩数据块。
[0029]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第五整合策略时，则，
[0030]所述容错编码模块，用于对待处理数据进行容错编码处理；
[0031]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N5个数据块，N5为正整数；
[0032]所述数据压缩模块，用于分别对所述N5个数据块中的每一个数据块进行数据压缩处理，相应地得到N5个压缩数据块；
[0033]所述加密解密模块，用于分别对所述N5个压缩数据块中的每一个压缩数据块进行加密处理，相应地得到N5个加密数据块。
[0034]优选的，当用户通过所述整合策略选择接口选定的系统整合策略为第六整合策略时，则，
[0035]所述数据压缩模块，用于对待处理数据进行数据压缩处理；
[0036]所述容错编码模块，用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理；
[0037]所述数据存储模块，用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理，得到N6个数据块，N6为正整数；
[0038]所述加密解密模块，用于分别对所述N6个数据块中的每一个数据块进行加密处理，相应地得到N6个加密数据块。
[0039]本发明还公开了一种应用于分布式存储系统的数据处理方法，包括:
[0040]为用户提供整合策略选择接口，以获取用户通过所述整合策略选择接口，从预设策略数据库中选择的系统整合策略；所述系统整合策略用于规定预设的四种数据处理技术中各种数据处理技术对待处理数据进行处理的先后顺序；
[0041]利用所述四种数据处理技术，并依据所述系统整合策略中规定的对数据进行处理的先后顺序，依次对待处理数据进行相应的处理；
[0042]其中，所述四种数据处理技术包括分布式存储技术、容错编码技术、数据压缩技术和加密解密技术；所述分布式存储技术用于对数据进行分布式存储处理，所述容错编码技术用于对数据进行容错编码处理，所述数据压缩技术用于对数据进行数据压缩处理，所述加密解密技术用于对数据进行加密处理或解密处理。
[0043]优选的，所述系统整合策略为第一整合策略、第二整合策略、第三整合策略、第四整合策略、第五整合策略和第六整合策略中的任意一种整合策略。
[0044]优选的，所述第一整合策略规定的先后顺序为依次对待处理数据进行加密处理、容错编码处理、分布式存储处理和数据压缩处理；
[0045]所述第二整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、加密处理、容错编码处理和分布式存储处理；
[0046]所述第三整合策略规定的先后顺序为依次对待处理数据进行加密处理、数据压缩处理、容错编码处理和分布式存储处理；
[0047]所述第四整