一种大数据云存储服务器的制作方法

1.本发明涉及云存储技术领域，具体是一种大数据云存储服务器。


背景技术：

2.随着计算机和网路的不断发展及高清视频的普及，存储多媒体所需的空间不断的增长，传统的存储架构已经很难满足需求。云存储以其海量的存储空间、高可靠性、高并发、高可扩展性及高性价比等特性逐渐展露头角；数据在进行线上存储时，当所需要存储的数据过大时，在存储的过程中，容易造成数据缺失或发生错误，从而导致用户所提取到的数据存在缺失等异常，为此，现提供一种大数据云存储服务器。


技术实现要素：

3.本发明的目的在于提供一种大数据云存储服务器。
4.本发明的目的可以通过以下技术方案实现：一种大数据云存储服务器，包括大数据中心，所述大数据中心通信连接有用户业务端口、数据处理模块、数据存储模块、数据验证模块以及数据修正模块；所述用户业务端口用于用户将所需要进行存储的数据上传至临时存储区间内；所述数据处理模块用于对临时存储区间内的数据进行处理，将临时存储区间内的数据转化为存储数据流，并完成对存储数据流的加密，获得加密数据流；所述数据验证模块用于用户提取数据的过程中，对所需要提取的数据进行验证，从而完成对加密数据流的解密，并对解密后的数据进行校验；所述数据修正模块用于对出现错误的存储数据流进行数据修正。
5.进一步的，所述用户业务端口用于用户进行个人信息注册，根据注册的个人信息获得用于登录用户业务端口的账户，通过账户进入至用户业务端口。
6.进一步的，所述用户上传数据的过程包括：建立临时存储区间，并设置临时数据传输通道，将临时存储区间与用户业务端口通过临时数据传输通道进行链接；将所需要进行存储的数据通过临时数据传输通道上传至临时存储区间内。
7.进一步的，所述数据处理模块对临时存储区间内的数据进行处理的过程包括：将临时存储区间内所需要进行存储的数据转化为数据流，并将所需要进行存储的数据所转化的数据流标记为原始数据流；将原始数据流分解为以k位单位帧为一组的数据流段，则原始数据流所获得的数据流段的数量；根据所获得的数据流段，分别生成对应的校验码，将校验码增加至相应数据流段的后面，形成新的数据流段，并将新的数据流段记为存储数据流。
8.进一步的，所述数据流段的数量为整数，且当数据流段的数量存在余数时，则将数据流段的数量的余数部分进行补0，从而余数部分的数据流段的单位帧数量为k，形成新的
数据流段。
9.进一步的，所述存储数据流的加密过程包括：获取用户业务服务端口的网络接口信息，并根据网络接口信息生成识别加密段，根据识别加密段生成识别解密密钥；通过识别加密段，对每个存储数据流进行加密，获得加密数据流，将加密数据流上传至数据存储模块内进行保存。
10.进一步的，所述数据验证模块对加密数据流进行解密的过程包括：用户在用户业务服务端口内选取所要提取的数据，在选定所要提取的数据后，获取所要提取的数据中的识别加密段，通过识别解密密钥对识别加密段进行解密；当识别解密密钥与识别加密段匹配时，则完成对所要提取的数据的解密，从而获得存储数据流。
11.进一步的，所述数据验证模块对存储数据流的校验过程包括：将所要提取的数据内的所有存储数据流进行标记，并获取每个存储数据流末尾a-1位的单位帧组成的数据流段，将所获得的数据流段标记为对应存储数据流的校验码；将存储数据流除以用于获取存储数据流对应的校验码的二进制序列，并获得结果；若结果存在余数，则表示该存储数据流在传输过程中出现错误；若结果不存在余数，则表示该存储数据流在传输过程中没有出现错误。
12.进一步的，所述数据修正模块对出现错误的数据的修正过程包括：将所标记的有错误的存储数据流，并读取存储数据流内的所有单位帧以及对应的排序；获取存储数据流在分析过程中，所获得的二进制余数的位数，将存储数据流中由低位到高位排序的单位帧中，相应位置的单位帧进行标记；将所有单位帧依次进行变化；将变化后的存储数据流除以二进制序列，获取结果，当结果不存在余数时，则将对应的单位帧进行标记；获取所有被标记的单位帧信息，并返回数据存储模块；根据单位帧信息，获取单位帧对应的数据内容，并重新发送至临时存储区间；将数据内容对存储数据流中对应位置的单位帧的数据内容进行替换。
13.与现有技术相比，本发明的有益效果是：通过将所要存储的数据分解为若干个存储数据流，从而能够对较大的存储的数据进行分段校验，相比较传统数据存储方式，能够使得当存储的数据出现错误时，快速的排查出错误点，且由于每个存储数据流之间相互独立，即当某一个存储数据流出现错误时，只需要对该存储数据流内出现错误的点对应的数据内容进行修正，即可完成整个存储数据的校正，提高了数据存储效率的同时，降低了数据修正所需要的时间。
附图说明
14.图1为本发明的原理图。
具体实施方式
15.如图1所示，一种大数据云存储服务器，包括大数据中心，所述大数据中心通信连接有用户业务端口、数据处理模块、数据存储模块、数据验证模块以及数据修正模块；所述用户业务端口用于用户进行个人信息注册，根据注册的个人信息获得用于登录用户业务端口的账户，通过账户进入至用户业务端口；所述用户业务端口还用于用户将所需要进行存储的数据进行上传，用户上传数据的过程包括：建立临时存储区间，并设置临时数据传输通道，将临时存储区间与用户业务端口通过临时数据传输通道进行链接；将所需要进行存储的数据通过临时数据传输通道上传至临时存储区间内；需要进一步说明的是，在具体实施过程中，所述临时数据传输通道在完成对用户所需要进行传输的数据的传输后，则自动进行关闭。
16.所述数据处理模块用于对临时存储区间内的数据进行处理，具体处理过程包括：将临时存储区间内所需要进行存储的数据转化为数据流，并将所需要进行存储的数据所转化的数据流标记为原始数据流；所述数据流由若干二进制的单位帧组成；获取组成原始数据流的单位帧的帧数，并将原始数据流的单位帧的数量记为m；将原始数据流分解为以k位单位帧为一组的数据流段，则原始数据流所获得的数据流段的数量sjl，sjl=m/k；需要进一步说明的是，在具体实施过程中，sjl为整数，且当sjl存在余数时，则将sjl的余数部分进行补0，从而余数部分的数据流段的单位帧数量为k，形成新的数据流段；举例说明，当原始数据流为11000011001时，将原始数据流分解为4位单位帧为一组的数据流段，则分别获得数据流段1100,0011以及001，由于001数据流段的单位帧数量为3，则对001数据流段进行补0，获得数据流段0010，从而获得三个完整的数据流段1100,0011以及0001。
17.根据所获得的数据流段，分别生成对应的校验码，将校验码增加至相应数据流段的后面，形成新的数据流段，并将新的数据流段记为存储数据流；所述存储数据流的获取过程包括：设置crc多项式，并根据crc多项式获得二进制序列，并将二进制序列的单位帧数记为a；在数据流段的后面增加（a-1）位“0”，形成新的数据流，新的数据流所增加的（a-1）位“0”为比特位，再将新的数据流除以校验码，并对结果进行取余，获得二进制余数；需要进一步说明的是，在具体实施过程中，当所获得的二进制余数的单位帧的数量不足（a-1）位时，则在所获得的二进制余数前面进行补0，之后则获得该数据流段对应的校验码，将所获得的校验码增加至数据流段的后面，从而获得存储数据流。
18.举例说明：设置crc多项式为f（x）=x4+x3+1，数据流段为10110011；则所获得的crc多项式的二进制序列为11001，即crc多项式的二进制序列的单位帧数为5；则在数据流段10110011的后面补4位“0”，从而获得新的数据流101100110000；
用新的数据流101100110000除以二进制序列11001，则获得结果的二进制余数为100；可知所获得的二进制余数的单位帧的位数为3，则在对二进制余数进行补“0”，从而获得校验码0100；则将所获得的校验码0100增加至数据流段的后面，获得存储数据流101100110100。
19.将所需要存储的数据转化为存储数据流后，则对存储数据流进行加密，所述存储数据流的加密过程包括：获取用户业务服务端口的网络接口信息，并根据网络接口信息生成识别加密段，根据识别加密段生成识别解密密钥；通过识别加密段，对每个存储数据流进行加密，获得加密数据流，将加密数据流上传至数据存储模块内进行保存。
20.需要进一步说明的是，在具体实施过程中，将加密数据流上传至数据存储模块内后，则根据用户在临时存储区间内的操作内容生成数据操作日志，并将数据操作日志和识别解密密钥发送至用户业务服务端口，最后将临时存储区间进行覆盖。
21.将加密后的数据流上传至数据存储模块进行保存。
22.所述数据验证模块用于用户提取数据的过程中，对所需要提取的数据进行验证，具体验证过程包括：用户在用户业务服务端口内选取所要提取的数据，在选定所要提取的数据后，对通过识别解密密钥对所要提取的数据进行解密，具体解密过程包括：获取所要提取的数据中的识别加密段，通过识别解密密钥对识别加密段进行解密；当识别解密密钥与识别加密段匹配时，则完成对所要提取的数据的解密，从而获得存储数据流；需要进一步说明的是，在具体实施过程中，当完成对所要提取的数据的解密过程后，建立临时存储区间，将所要提取的数据进行复制，并将所复制的数据从数据存储模块内导入临时存储区间，将数据导入临时存储区间内后，对所导入的数据的完整性进行校验，具体校验过程包括：将所要提取的数据内的所有存储数据流进行标记，并获取每个存储数据流末尾（a-1）位的单位帧组成的数据流段，将所获得的数据流段标记为对应存储数据流的校验码；将存储数据流除以用于获取存储数据流对应的校验码的二进制序列，并获得结果；若结果存在余数，则表示该存储数据流在传输过程中出现错误；若结果不存在余数，则表示该存储数据流在传输过程中没有出现错误。
23.举例说明：设存储数据流为101100110100，用于获取该存储数据流的校验码的二进制序列为11001；则将存储数据流101100110100除以二进制序列11001，则获得结果为11010100，余数为0，则表示该存储数据流在传输的过程中没有出现错误；若设存储数据流为101100110101，用于获取该存储数据流的校验码的二进制序列为11001,；
则将存储数据流101100110101除以二进制序列11001，则获得结果为11010100，余数为0001，则表示该存储数据流在传输的过程中出现错误。
24.需要进一步说明的是，在具体实施过程中，当存储数据流出现错误时，则将该存储数据流进行标记，并将被标记的存储数据流发送至数据修正模块。
25.所述数据修正模块用于对出现错误的存储数据流进行数据修正，具体过程包括：将所标记的有错误的存储数据流，并读取存储数据流内的所有单位帧以及对应的排序；获取存储数据流在分析过程中，所获得的二进制余数；根据所获得的二进制余数的位数，将存储数据流中由低位到高位排序的单位帧中，相应位置的单位帧进行标记；将所有单位帧依次进行变化，即若该单位帧为“0”，则将其变为“1”，若该单位帧为“1”，则将其变为“0”；将变化后的存储数据流除以二进制序列，获取结果，并获取结果是否存在余数；当结果不存在余数时，则将对应的单位帧进行标记；获取所有被标记的单位帧信息，并将单位帧信息进行汇总，并返回数据存储模块；所述单位帧信息包括单位帧所处的存储数据流，以及在存储数据流中的位置；根据单位帧信息，获取单位帧对应的数据内容，并将数据内容进行汇总，并重新发送至临时存储区间；将数据内容对存储数据流中对应位置的单位帧的数据内容进行替换，完成对数据内容的修正。
26.需要进一步说明的是，在具体实施过程中，通过将所要存储的数据分解为若干个存储数据流，从而能够对较大的存储的数据进行分段校验，相比较传统数据存储方式，能够使得当存储的数据出现错误时，快速的排查出错误点，且由于每个存储数据流之间相互独立，即当某一个存储数据流出现错误时，只需要对该存储数据流内出现错误的点对应的数据内容进行修正，即可完成整个存储数据的校正，提高了数据存储效率的同时，降低了数据修正所需要的时间。
27.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。