[0105]其中，当开源存储单元中的密文数据输出时，解密单元先对输出的密文数据进行解密，解密后的数据再输出到数据接收方(例如分析平台)。对于由第一加密单元加密得到的密文数据，解密单元根据第一加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对由离线加密单元加密得到的密文数据，解密单元根据离线加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对用户自行加密的密文数据，根据用户传输给数据检测单元的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密。用户可以查询解密单元所具有的解密规则和解密算法，从而选择对应的加密规则和加密算法来对数据自行加密。
[0106]所述解密单元还可以提供对用户的交互接口，获取用户输入的密钥后才对与用户的用户信息对应的密文数据进行解密。同时解密单元可以根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密。
[0107]为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0108]与本申请实施例的第一方面对应，根据本申请实施例的第二方面，提供一种大数据加解密处理方法。图3为本申请一示例性实施例示出的一种大数据加解密处理方法的流程示意图。如图3所示，所述方法包括:
[0109]步骤S301，在数据存入开源存储系统之前，检测数据是否为明文数据；
[0110]步骤S302，如果数据为明文数据，将所述明文数据加密为密文数据；
[0111]步骤S303，将密文数据存入开源存储系统；
[0112]步骤S304，核查开源存储系统中的数据是否存在明文数据；
[0113]步骤S305，当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；
[0114]步骤S306，密文数据从开源存储系统输出时，解密所述密文数据。
[0115]其中，所述开源存储系统与本申请实施例的第一方面中的开源存储单元对应。需要存入开源存储系统的数据，进入开源存储系统进行存储和处理前，检测数据是否为明文数据。存入的数据可以为明文数据，也可以为已经经过用户加密的数据。用户可以使用离线加密工具对数据进行离线加密后存入开源存储系统，也可以自行将数据进行加密后存入开源存储系统。相应的，数据检测可以根据离线加密工具对数据进行加密的加密规则和加密算法来检测数据，也可以根据用户输入的加密规则和加密算法来检测数据。
[0116]在一种可能的实施方式中，只检测数据是否被加密，不检测数据是否被正确加密，检测到数据已被加密，则数据为密文数据，否则数据为明文数据。在另一种可能的实施方式中，检测数据是否被加密，并对加密得到的密文数据检测密文数据是否被正确加密，检测密文数据是否被正确加密根据离线加密工具的加密规则和加密算法，或者用户输入的所述密文数据的加密规则和加密算法来进行。如果所述密文数据错误，即未被正确加密，则获取所述密文数据对应的明文数据，替换错误的密文数据，并将获取的明文数据根据所述加密规则和加密算法进行加密。
[0117]需要说明的是，如果数据是通过离线加密工具进行加密的，则可以从离线加密工具获取未被正确加密的密文数据对应的明文数据替换未被正确加密的密文数据，如果数据是用户自行加密后存入的密文数据，由于无法获得明文数据，则可以不检查密文数据是否被正确加密，或者，检查密文数据是否被加密正确，标记加密出错的密文数据供用户备查，但不对错误的密文数据进行替换。
[0118]由于存入开源存储系统的数据来自很多不同的用户，并通过不同接口存入开源存储系统。所述离线加密工具可以提供多种加密规则和加密算法供用户选择，每个用户也可以使用不同的加密规则和加密算法对数据进行加密，相应地，对不同用户的数据使用对应的加密规则和加密算法进行检测。
[0119]如果从离线加密工具不能获取到数据对应的加密规则和加密算法，亦未收到用户输入的数据的加密规则和加密算法，则可以判断数据为明文数据。或者检测到数据不满足任何加密规则和加密算法，则判断数据为明文数据。如果检测到数据为未加密的明文数据，则对所述明文数据进行加密。在一种可能的实施方式中，对明文数据按统一的加密规则和加密算法进行加密，例如对所有数据都进行二进制最高位和最低位互换的加密。在另一种可能的实施方式中，对明文数据进行检测，根据数据的定义、类型、格式等选择不同的加密规则和加密算法进行加密。在又一种可能的实施方式中，可以提供多个加密规则和加密算法并提供供用户进行设置的接口，根据用户设置的对应的加密规则和加密算法对用户存入到开源存储系统的明文数据进行加密。
[0120]如果检测到数据为明文数据，对所述明文数据的加密可以为在线加密，也可以为离线加密。对于非持续性的即非实时性的数据，可以使用离线加密工具对数据集中加密完毕后，再存入开源存储系统；对于持续性的即实时性的数据，则对数据进行实时地在线加密，加密后的数据存入开源存储系统。可以根据数据的时间变化特征区分数据为实时性或非实时性，也可以提供设置接口由用户选择使用在线加密模式还是离线加密模式。
[0121]需要说明的是，对于实时性的数据，使用离线加密会影响数据的实时性，用户可以自行对实时数据进行加密，或者不进行加密。通过本申请实施例提供的大数据加解密处理方法，在对实时数据进行检测后，进行在线加密，以保证数据的实时性。
[0122]用户的数据通常通过用户设定的代理由一定的IP地址和端口存入开源存储系统。由于从同一代理存入的数据通常为同一用户的数据，或者是由系统管理员规定的具有相同定义、类型和格式的数据，在一种可能的实施方式中，对从同一代理存入的明文数据使用同一加密规则和加密算法进行加密。也可以对同一代理存入的不同批次的数据使用不同的加密规则和加密算法，这种方式的加密过程会比较复杂，通常也没有如此实施的必要。
[0123]其中，通常开源存储系统还可以同时对所述密文数据进行统计、合并等处理，由于对密文数据的统计、合并等处理与对明文数据进行统计、合并的方法和规则不同，因此在一种可能的实施方式中，配置开源存储单元的密文数据处理规则，以对密文数据进行处理。
[0124]其中，步骤S304根据密文数据的加密规则和加密算法核查开源存储系统的数据中是否存在明文数据，所述加密规则和加密算法与数据存入开源存储系统前步骤301检测数据是否为明文数据时的加密规则和加密算法相同。步骤S304对开源存储单元中的密文数据进行再次检查，如果开源存储系统的数据中存在明文数据，即遗漏的未加密的数据，则根据核查时的加密规则和加密算法将所述明文数据加密，以进一步保证开源存储系统中没有遗漏的需加密而未加密的数据，保证数据的安全性。
[0125]需要说明的是，核查的数据只针对需要加密的数据，即需要保护隐私信息的数据。用户存入开源存储系统的数据可以包括需要保护的数据和不需要保护的数据，不需要保护的数据在开源存储系统中以明文数据形式存储，不会进行加密，也没有对应的加密规则和加密算法，也不会对这部分数据进行数据检测和核查。
[0126]当开源存储系统中的密文数据输出时，先对输出的密文数据进行解密，解密后的数据再输出到数据接收方(例如分析平台)。对于由第一加密单元加密得到的密文数据，解密单元根据第一加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对由离线加密单元加密得到的密文数据，解密单元根据离线加密单元进行加密的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。对用户自行加密的密文数据，根据用户传输给数据检测单元的加密规则和加密算法选择对应的解密规则和解密算法对密文数据进行解密。，如果解密单元中没有用户所使用的加密规则和加密算法对应的解密规则和解密算法，则解密单元对密文数据不进行解密，并可以向用户提示解密失败。用户可以查询解密单元所具有的解密规则和解密算法，从而选择对应的加密规则和加密算法来对数据自行加密
[0127]通常开源存储系统的数据通过不同的接口被读取或被调用而输出。在一种可能的实施方式中，根据从开源存储系统读取数据的接口的权限对对应的密文数据进行解密，例如，某个接口没有获取明文数据的权限，则对该接口读取的数据不进行解密；某个接口具有获得完全的明文数据的权限，则对该接口读取的数据进行完全的解密；某个接口具有获得部分明文数据的权限，则对该接口读取的数据中可以解密的部分进行解密。
[0128]同时还可以提供对用户的交互接口，通过交互接口获取用户输入的密钥和用户信息后才对与用户信息对应的密文数据进行解密。需要说明的是，由于开源存储系统的数据通过不同的接口被读取或调用而输出，通常不同的接