一种数据检测方法及装置与流程

[0001]
本申请实施例涉及计算机技术领域，尤其涉及一种数据检测方法及装置。


背景技术：

[0002]
在数据防泄密的产品中，使用到的内容识别检测算法，除了基础算法(如关键字算法等)，还可能因为业务需求运用到数据库指纹、向量机检测等高级检测算法。在实际应用中，需要考虑不同的算法可能引起不同的检测效果与检测效率，以及策略本身的敏感性是否存在外泄的可能。
[0003]
现有技术中，使用所有算法(包括基础算法和高级检测算法)对数据进行检测的过程都放在终端设备进行操作。然而，这种处理方式，由于高级检测算法的检测耗时一般较长，可能一次内容检测需要30秒或者更久，很难像基础算法那样快速即时反应，导致长时间占用cpu(central processing unit，中央处理器)，降低数据的检测效率，并影响终端设备的正常工作，再者，由于高级检测算法的规则文件本身携带的数据敏感度较高，导致该高级检测算法的规则文件被下载到终端设备存在数据泄露的风险。
[0004]
综上，目前亟需一种数据检测方法，用以解决现有技术中存在检测时间过长导致数据的检测效率较低的问题。


技术实现要素：

[0005]
本申请实施例提供了一种数据检测方法及装置，用以解决现有技术中存在检测时间过长导致数据的检测效率较低的问题。
[0006]
第一方面，本申请实施例提供了一种数据检测方法，包括：
[0007]
终端获取策略信息和待检测数据；
[0008]
所述终端根据所述策略信息中的基础检测算法对所述待检测数据进行基础检测，并确定所述策略信息中是否存在高级策略的描述信息；
[0009]
若是，则所述终端将所述高级策略的描述信息和所述待检测数据发送给高级检测服务器，所述高级策略的描述信息包括高级策略的id；所述高级检测服务器用于根据所述高级策略的id对应的高级检测算法对所述待检测数据进行高级检测。
[0010]
上述技术方案中，通过根据策略信息中的基础检测算法对待检测数据进行基础检测，并确定策略信息中是否存在高级策略的描述信息，在确定策略信息中存在高级策略的描述信息时将高级策略的描述信息和待检测数据发送给高级检测服务器，以便高级检测服务器根据高级策略的id对应的高级检测算法对待检测数据进行高级检测。也就是说，该处理方式是将基础检测算法对待检测数据的检测放在终端进行，将高级检测算法对待检测数据的检测放在高级检测服务器进行，由于并非每个终端都需要对待检测数据进行高级检测，因此需要判断该终端的策略信息中是否存在高级策略的描述信息，如此可以避免不论待检测数据是否需要高级检测就直接将一些策略信息和待检测数据发送给高级检测服务器，并可以减轻高级检测服务器的数据处理压力。此外，根据高级策略的id对应的高级检测
算法对待检测数据进行高级检测，而不是运用高级检测服务器中的所有高级检测算法都对待检测数据进行高级检测，如此可以减轻高级检测服务器的数据处理压力以及运行负担，并可以提高对待检测数据进行检测的性能，如此可以避免对终端的cpu的长时间占用，有助于减轻终端处理数据的压力，可以使得终端能够正常工作，并有助于减少对待检测数据进行检测的时间，从而可以提高对待检测数据进行检测的效率，进而可以解决现有技术中存在检测时间过长导致数据的检测效率较低的问题。再者，由于基础检测算法本身携带的数据敏感度较低，而高级检测算法本身携带的数据敏感度较高，将高级检测算法对待检测数据的检测放在高级检测服务器进行，可以有效地避免高级检测算法本身携带的数据被下载到终端导致数据泄露的风险。
[0011]
在一种可能的实现方式中，所述终端获取策略信息，包括：
[0012]
所述终端向web控制服务器发送策略信息请求，所述策略信息请求包括所述终端的标识，以使所述web控制服务器根据所述终端的标识确定出与所述终端的标识对应的策略信息；
[0013]
所述终端接收所述web控制服务器发送的策略信息，并将所述策略信息存储在本地。
[0014]
上述技术方案中，通过向web控制服务器发送策略信息请求，以使web控制服务器根据终端的标识可以准确地确定出与终端的标识对应的策略信息。由于每个终端所需的策略信息并非相同，因此根据终端的标识可以准确地将策略信息发送到对应的终端，以便终端根据对应的策略信息对待检测数据进行检测。
[0015]
在一种可能的实现方式中，所述终端根据所述策略信息中的基础检测算法对所述待检测数据进行基础检测，包括：
[0016]
所述终端根据所述基础检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第一敏感数据信息；
[0017]
所述终端将所述待检测数据中的第一敏感数据信息发送给web控制服务器进行存储。
[0018]
在一种可能的实现方式中，所述终端根据所述基础检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第一敏感数据信息，包括：
[0019]
所述终端根据所述基础检测算法中的关键字算法和/或正则表达式算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感数据以及所述敏感数据的位置信息。
[0020]
上述技术方案中，通过根据基础检测算法(如关键字算法和/或正则表达式算法)对待检测数据进行内容匹配检测，可以快速准确地确定出待检测数据中的敏感数据以及敏感数据的位置信息，并将该待检测数据中的敏感数据以及敏感数据的位置信息发送给web控制服务器进行存储，以便用户对该待检测数据进行核查。
[0021]
第二方面，本申请实施例提供了一种数据检测方法，包括：
[0022]
高级检测服务器获取终端发送的数据检测请求，所述数据检测请求包括高级策略的描述信息和待检测数据；
[0023]
所述高级检测服务器根据所述高级策略的描述信息中高级策略的id，确定出所述高级策略的id对应的高级检测算法；
[0024]
所述高级检测服务器根据所述高级策略的id对应的高级检测算法，对所述待检测数据进行高级检测。
[0025]
上述技术方案中，由于并非每个终端都会对待检测数据进行高级检测，且将高级检测算法对待检测数据的检测放在高级检测服务器进行，因此只有在需要对待检测数据进行高级检测的情况下，才将高级检测算法的具体id以及待检测数据发送给高级检测服务器，以便高级检测服务器根据高级检测算法的具体id对应的高级检测算法，对待检测数据进行高级检测，可以实现对待检测数据中的敏感数据进行更全面细致的检测，有助于检测出待检测数据中的所有敏感词组数据，如此可以减轻高级检测服务器的数据处理压力，并可以避免对终端的cpu的长时间占用，有助于减轻终端处理数据的压力，可以使得终端能够正常工作，也有助于减少对待检测数据进行检测的时间，从而可以提高对待检测数据进行检测的效率，进而可以解决现有技术中存在检测时间过长导致数据的检测效率较低的问题。此外，由于高级检测算法的相关信息(比如高级检测算法运行所依赖的规则文件)只被下载到高级检测服务器，并未被下载到终端，如此可以有效地避免高级检测算法本身携带的数据被下载到终端导致数据泄露的风险。
[0026]
在一种可能的实现方式中，在所述高级检测服务器获取终端发送的数据检测请求之前，还包括：
[0027]
所述高级检测服务器向web控制服务器发送高级策略请求，所述高级策略请求包括所述高级检测服务器的标识，以使所述web控制服务器根据所述高级检测服务器的标识确定出所述高级策略的描述信息和所述高级检测算法；
[0028]
所述高级检测服务器接收所述web控制服务器发送的所述高级策略的描述信息和所述高级检测算法，并将所述高级策略的描述信息和所述高级检测算法存储在本地。
[0029]
上述技术方案中，通过向web控制服务器发送高级策略请求，以使web控制服务器根据高级检测服务器的标识确定出高级策略的描述信息和高级检测算法，即只将高级检测算法发送给高级检测服务器，如此可以有效地避免高级检测算法本身携带的数据被下载到终端导致数据泄露的风险。
[0030]
在一种可能的实现方式中，所述高级检测服务器根据所述高级策略的id对应的高级检测算法，对所述待检测数据进行高级检测，包括：
[0031]
所述高级检测服务器根据所述高级检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第二敏感数据信息；
[0032]
所述高级检测服务器将所述待检测数据中的第二敏感数据信息发送给web控制服务器进行存储。
[0033]
在一种可能的实现方式中，所述高级检测服务器根据所述高级检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第二敏感数据信息，包括：
[0034]
所述高级检测服务器根据所述高级检测算法中的数据库指纹算法和/或向量机检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感词组数据以及所述敏感词组数据的位置信息。
[0035]
上述技术方案中，通过根据高级检测算法(如数据库指纹算法和/或向量机检测算法)对待检测数据进行内容匹配检测，可以快速准确地确定出待检测数据中的敏感词组数据以及敏感词组数据的位置信息，并将该待检测数据中的敏感词组数据以及敏感词组数据
的位置信息发送给web控制服务器进行存储，以便用户对该待检测数据进行核查。
[0036]
第三方面，本申请实施例还提供了一种数据检测装置，包括：
[0037]
第一获取单元，用于获取策略信息和待检测数据；
[0038]
第一处理单元，用于根据所述策略信息中的基础检测算法对所述待检测数据进行基础检测，并确定所述策略信息中是否存在高级策略的描述信息；若是，则将所述高级策略的描述信息和所述待检测数据发送给高级检测服务器，所述高级策略的描述信息包括高级策略的id；所述高级检测服务器用于根据所述高级策略的id对应的高级检测算法对所述待检测数据进行高级检测。
[0039]
在一种可能的实现方式中，所述第一处理单元具体用于：
[0040]
向web控制服务器发送策略信息请求，所述策略信息请求包括所述终端的标识，以使所述web控制服务器根据所述终端的标识确定出与所述终端的标识对应的策略信息；
[0041]
接收所述web控制服务器发送的策略信息，并将所述策略信息存储在本地。
[0042]
在一种可能的实现方式中，所述第一处理单元具体用于：
[0043]
根据所述基础检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第一敏感数据信息；
[0044]
将所述待检测数据中的第一敏感数据信息发送给web控制服务器进行存储。
[0045]
在一种可能的实现方式中，所述第一处理单元具体用于：
[0046]
根据所述基础检测算法中的关键字算法和/或正则表达式算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感数据以及所述敏感数据的位置信息。
[0047]
第四方面，本申请实施例还提供了一种数据检测装置，包括：
[0048]
第二获取单元，用于获取终端发送的数据检测请求，所述数据检测请求包括高级策略的描述信息和待检测数据；
[0049]
第二处理单元，用于根据所述高级策略的描述信息中高级策略的id，确定出所述高级策略的id对应的高级检测算法；根据所述高级策略的id对应的高级检测算法，对所述待检测数据进行高级检测。
[0050]
在一种可能的实现方式中，所述第二处理单元还用于：
[0051]
向web控制服务器发送高级策略请求，所述高级策略请求包括所述高级检测服务器的标识，以使所述web控制服务器根据所述高级检测服务器的标识确定出所述高级策略的描述信息和所述高级检测算法；
[0052]
接收所述web控制服务器发送的所述高级策略的描述信息和所述高级检测算法，并将所述高级策略的描述信息和所述高级检测算法存储在本地。
[0053]
在一种可能的实现方式中，所述第二处理单元具体用于：
[0054]
根据所述高级检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第二敏感数据信息；
[0055]
将所述待检测数据中的第二敏感数据信息发送给web控制服务器进行存储。
[0056]
在一种可能的实现方式中，所述第二处理单元具体用于：
[0057]
根据所述高级检测算法中的数据库指纹算法和/或向量机检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感词组数据以及所述敏感词组数据的位置信息。
[0058]
第五方面，本申请实施例提供一种计算设备，包括：
[0059]
存储器，用于存储计算机程序；
[0060]
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行数据检测方法的步骤。
[0061]
第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行数据检测方法的步骤。
附图说明
[0062]
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0063]
图1为本申请实施例提供的一种系统架构示意图；
[0064]
图2为本申请实施例提供的一种数据检测方法的流程示意图；
[0065]
图3为本申请实施例提供的一种训练规则文件的流程示意图；
[0066]
图4为本申请实施例提供的一种数据检测装置的结构示意图；
[0067]
图5为本申请实施例提供的另一种数据检测装置的结构示意图。
具体实施方式
[0068]
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0069]
本申请的示意性实施例及其说明用于解释本申请，但并不作为对申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
[0070]
应当理解，本申请中所使用的“第一”、“第二”等，并非特别指先后次序或顺位的意思，也非用以限定本申请，在适当情况下可以互换，其仅为了区别以相同技术用语描述的元件或操作。
[0071]
此外，本申请中所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。另外，本申请中所使用的“及/或”，包括所述事物的任一或全部组合。
[0072]
图1为本申请实施例提供的一种可能的系统架构示意图，如图1所示，该系统架构中可以包括web控制服务器110、高级检测服务器120和至少一个终端，比如终端130。其中，web控制服务器110可以分别与高级检测服务器120和每个终端连接，高级检测服务器120与每个终端连接，比如可以通过有线方式连接，也可以通过无线方式连接，具体不作限定。
[0073]
web控制服务器110用于存储终端所需的基础检测算法以及高级检测算法的描述信息、高级检测算法运行所依赖的规则文件。其中，web控制服务器110还用于根据实际应用场景的需求对训练样本进行训练得到高级检测算法运行所依赖的规则文件，以便高级检测服务器120进行下载使用。此外，web控制服务器110还用于存储高级检测服务器120利用高
级检测算法对待检测数据进行高级检测完成后上传的待核查数据(包含触发敏感的文本内容、触发的规则、文本中检测到敏感数据的位置信息等数据)，以及存储终端130利用基础检测算法对待检测数据进行基础检测完成后上传的待核查数据(包含触发敏感的文本内容、触发的规则、文本中检测到敏感数据的位置信息等数据)，并对这些待核查数据进行展示。
[0074]
高级检测服务器120用于接收终端130的高级检测请求，并根据高级策略的id对应的高级检测算法，对待检测数据进行高级检测，并将检测到敏感词组数据的待核查数据上传给web控制服务器110。此外，高级检测服务器120根据实际应用场景的需求还可以实时从web控制服务器110下载相应的高级检测算法的描述信息、高级检测算法运行所依赖的规则文件。
[0075]
终端130是一种具有无线收发功能的设备，可以包括手机、平板电脑、笔记本电脑等，具体不作限制。其中，终端130可以根据用户的实际需求从web控制服务器110实时下载相应的策略信息(包括基础检测算法)，并利用基础检测算法对待检测数据进行基础检测，并将检测到敏感数据的待核查数据上传给web控制服务器110。此外，在确定用户的实际需求存在对待检测数据进行高级检测时将该待检测数据和高级检测算法的描述信息打包在一起发送给高级检测服务器120。
[0076]
需要说明的是，图1仅是一种示例性的简单说明，其所列举的架构仅是为了便于说明本申请的技术方案，并不构成对本申请的技术方案的限定。
[0077]
图2示例性的示出了本申请实施例提供的一种数据检测方法的流程，该流程可以由数据检测装置执行。
[0078]
如图2所示，该流程具体包括：
[0079]
步骤201，终端获取策略信息和待检测数据。
[0080]
步骤202，所述终端根据所述策略信息中的基础检测算法对所述待检测数据进行基础检测，并确定所述策略信息中是否存在高级策略的描述信息。
[0081]
步骤203，所述终端在确定所述策略信息中存在高级策略的描述信息时，发送所述高级策略的描述信息和所述待检测数据给高级检测服务器。
[0082]
步骤204，所述高级检测服务器根据所述高级策略的描述信息中高级策略的id，确定出所述高级策略的id对应的高级检测算法。
[0083]
步骤205，所述高级检测服务器根据所述高级策略的id对应的高级检测算法，对所述待检测数据进行高级检测。
[0084]
在上述步骤201中，该待检测数据可以为某一产品业务的客户个人信息数据(比如姓名、年龄、家庭住址、家庭成员、电话、收入、职业等)，或者可以为某一产品的消费者的消费明细数据，或者可以为某一产品的投资相关数据，或者可以为某一业务的合同内容，对此不作限制。此外，在对待检测数据进行检测之前，终端需要向web控制服务器发送策略信息请求，策略信息请求包括终端的标识，以使web控制服务器根据终端的标识确定出与终端的标识对应的策略信息，然后终端接收web控制服务器发送的策略信息，并将策略信息进行解析存储在本地。其中，策略信息可以包括基础检测算法，或者策略信息可以包括基础检测算法和高级策略的描述信息。需要说明的是，利用基础检测算法对待检测数据的基础检测设计在终端进行，利用高级检测算法对待检测数据的高级检测设计在高级检测服务器进行，终端虽然不执行高级检测算法的运算，但是可以预先识别出该终端有无关联高级策略，如
果有，具体关联了哪些高级策略(高级策略的id集合)，也就是说，终端下载的策略信息中有可能包含高级策略的描述信息(具体涉及到哪些高级策略，也即是高级策略的id集合)，也有可能没包含高级策略的描述信息，具体的以终端的实际需求来进行设置。另外，终端由于不执行高级检测算法的运算，也就不需要下载高级检测算法运行所依赖的规则文件。
[0085]
在上述步骤202和步骤203中，终端根据策略信息中的基础检测算法对待检测数据进行基础检测，并确定策略信息中是否存在高级策略的描述信息，即，在终端对待检测数据执行基础策略检测时，同时一并识别出该终端的策略信息中否存在高级策略的描述信息，如果存在，则需要向高级检测服务器发起高级检测请求，并将高级策略的描述信息(具体涉及到哪些高级策略，也即是高级策略的id集合)和待检测数据打包在一起发送给高级检测服务器，如果不存在，则在根据基础检测算法对待检测数据进行基础检测后，就完成了对待检测数据的检测，并将检测的结果(包含触发敏感的文本内容、触发的规则、文本中检测到敏感数据的位置信息等数据)上传给web控制服务器。具体地，在根据策略信息中的基础检测算法对待检测数据进行基础检测时，根据基础检测算法中的关键字算法和/或正则表达式算法对待检测数据进行内容匹配检测，得到待检测数据中的第一敏感数据信息(待检测数据中的敏感数据以及敏感数据的位置信息)，并将待检测数据中的第一敏感数据信息发送给web控制服务器进行存储。
[0086]
在上述步骤204和步骤205中，高级检测服务器在接收到终端发送的高级检测请求后，该高级检测请求包括高级策略的描述信息和待检测数据，根据高级策略的描述信息中高级策略的id，确定出高级策略的id对应的高级检测算法，也就是说，根据终端请求的高级策略的id对应的高级检测算法对待检测数据进行检测，并不是运用高级检测服务器中的所有高级检测算法都对待检测数据进行高级检测，如此可以减轻高级检测服务器的数据处理压力以及运行负担，并可以提高对待检测数据进行检测的性能。再根据高级检测算法中的数据库指纹算法和/或向量机检测算法对待检测数据进行内容匹配检测，得到待检测数据中的第二敏感数据信息(待检测数据中的敏感词组数据以及敏感词组数据的位置信息)，并将待检测数据中的第二敏感数据信息发送给web控制服务器进行存储。之后在对待检测数据进行高级检测后将高级检测的结果(包含触发敏感的文本内容、触发的规则、文本中检测到敏感数据的位置信息等数据)上传给web控制服务器。
[0087]
其中，高级检测算法和基础检测算法相比，有一个很大的不同是，高级检测算法通常需要基于规则文件运行，无论是数据库指纹算法还是向量机算法，都需要加载比较复杂的数据，即规则文件。高级检测算法的规则描述采用规则文件形式，而非和简单规则类似的字符串形式，如数据库指纹算法、向量机检测算法。对于规则文件，是指基于一些复杂的数据文件，进行复杂的计算和抽象(可以描述为一种训练过程)得到的一组数据。数据库指纹本质上是多模式关键字组，可以理解为是对关键词组的扩展，但它是多行的关键词组集合生成的一个规则。比如多行多列的原始样本数据包含多个员工的个人信息(比如姓名、电话、住址等)，当待检测数据触发其中任意一行(即任一员工的信息)，即触发了该规则。向量机规则文件本质上是一个词典+一个词频高维向量，它是对有相似背景的一系列文档，通过算法提取得到文档特征(即提取文档词汇与计算词频)。
[0088]
比如本申请实施例所采用的策略包含算法检测条件与规则信息，策略是以json串的格式存在，终端或高级检测服务器通过解析json串，对具体的算法信息进行编译，得到终
端或高级检测服务器可以正常使用的对应算法。其中，该策略json串包含的策略描述信息有：strategy字段(即策略信息描述)、checkrule字段(即检测规则描述信息)、respondrule字段(即响应规则描述信息，触发了该规则描述的响应条件会做后续的阻断等响应动作)。例如对于一个策略json串，该策略json串中的strategy字段id＝40，即该策略的id，它关联了id为25与30的检测规则(classification字段中的checkexpr字段表示关联的检测规则id)。检测规则id＝25中的ruletype＝2表示关键字规则，检测规则id＝30中的ruletype＝4表示数据库指纹规则，由于数据库指纹规则属于高级检测算法，由此可知该策略需要进行高级算法检测。其中，可以预先定义好ruletype＝1表示正则表达式规则，ruletype＝2表示关键字规则，ruletype＝3表示向量机规则，ruletype＝4表示数据库指纹规则。
[0089]
此外，待检测任务json串格式(包含高级策略id集合与操作上下文信息)可以如表1所示。其中，strategyids字段为高级策略id集合，该属性值中包含了策略id为40与45的两个策略；properties字段为发生待检测任务的终端现场的一些信息描述，作用仅供在向web端上报核查数据时提供现场信息描述，各字段可缺省，不影响算法检测过程与检测结果。
[0090]
表1
[0091][0092][0093]
再者，在高级检测服务器获取终端发送的数据检测请求之前，高级检测服务器向web控制服务器发送高级策略请求，高级策略请求包括所述高级检测服务器的标识，以使web控制服务器根据高级检测服务器的标识确定出高级策略的描述信息和高级检测算法。再接收web控制服务器发送的高级策略的描述信息和高级检测算法，并将高级策略的描述信息和高级检测算法进行解析存储在本地。具体地，高级检测服务器在向web控制服务器发送高级策略请求，即请求下载高级策略。该高级策略的构成主要分为两个部分，一是高级策
略描述信息，声明终端关联了哪些高级策略(一般包括高级策略的id、高级策略的类型、高级策略引用的规则文件名)，一是高级策略算法具体运行需要依赖的规则文件。因此，高级策略的下载，也一般分为两个部分，一个是高级策略的描述信息的下载，一个是规则文件的下载。其中，高级策略的描述信息占用的空间内存一般较小，规则文件一般占用的空间内存一般较大(比如数据库指纹)。此外，高级检测服务器对下载的规则文件进行编译加载，并将编译解析后的规则文件存储在本地。
[0094]
需要说明的是，由于高级策略的算法运行耗时一般较长，依赖的规则文件通常内部包括较多敏感度较高的信息，因此并不适合在终端侧直接加载运行，也会引起终端cpu长时间高占用，造成用户体验不好的问题。因此，为了避免过度占用终端的cpu资源(包括内存资源)，考虑将内容识别高级检测算法的执行，从终端上转移到一组独立的服务器(即高级检测服务器)中执行。对于终端侧，只处理基础检测算法的内容检测，并向高级检测服务器发起高级检测请求。
[0095]
此外，对于高级检测服务器侧，高级检测服务器一般配置性能较高，但由于高级检测服务器，需要为多个终端提供检测服务器，因此需要加载所有终端的策略配置。这一点将对高级策略的检测产生不利影响，由于通常不同的终端可能配置有不同组合的策略，因此终端服务器往往需要能够分辨对指定终端检测哪些高级策略。然而如果需要高级检测服务器来区分对不同终端，这给高级检测服务器带来了额外的运行负担，会进一步降低整体检测的性能。另外，也并非所有的终端，都会被分配高级策略，如果终端不加任何选择地将所有外发信息和文件的文本内容都转发到高级检测服务器上，则可能造成过大的不必要的流量占用。因此，为了解决这一问题，在终端对待检测数据执行基础策略检测时，一并识别出该终端有无高级策略需要检测，并在确定有高级策略需要检测时，才将高级策略的描述信息(具体涉及到哪些高级策略，也即是高级策略的id集合)和待检测数据打包在一起发送给高级检测服务器，否则不会向高级检测服务器发送高级检测请求。
[0096]
为了更好的解释本申请对规则文件进行训练的实施例，下面通过具体的实施场景描述本申请实施例提供的一种训练规则文件的流程。其中，规则文件的训练由独立的训练服务器与web控制台人工交互完成。
[0097]
如图3所示，该流程包括以下步骤：
[0098]
步骤301，web前端向web后台发送训练规则文件的任务。
[0099]
管理工作人员根据实际业务场景的需求，通过javaweb控制台进行人工交互，即通过web前端向web后台发送训练针对实际业务场景所需高级检测算法的规则文件的任务。
[0100]
步骤302，web后台向训练服务器发起训练规则文件的任务请求。
[0101]
web后台在接收到训练规则文件的任务后，向训练服务器发起训练规则文件的任务请求。
[0102]
步骤303，训练服务器响应web后台发起的任务请求。
[0103]
训练服务器在接收到训练规则文件的任务请求后，根据自身负载情况返回响应。
[0104]
步骤304，训练服务器获取样本文件进行训练。
[0105]
如果训练规则文件的任务请求被接受，则训练服务器从约定的目录中获取样本文件，开始对文件进行训练。
[0106]
步骤305，训练服务器通知web后台规则文件训练已完成。
[0107]
训练服务器完成规则文件训练时，保存训练完的规则文件到约定目录，并向web后台发送完成规则文件训练完成的通知，web后台根据规则文件的训练结果做出不同响应。
[0108]
步骤306，web后台通知web前端训练结果。
[0109]
web后台(异步)通知web前端关于规则文件的训练结果。
[0110]
步骤307，web前端展示训练结果。
[0111]
上述实施例表明，通过根据策略信息中的基础检测算法对待检测数据进行基础检测，并确定策略信息中是否存在高级策略的描述信息，在确定策略信息中存在高级策略的描述信息时将高级策略的描述信息和待检测数据发送给高级检测服务器，以便高级检测服务器根据高级策略的id对应的高级检测算法对待检测数据进行高级检测。也就是说，该处理方式是将基础检测算法对待检测数据的检测放在终端进行，将高级检测算法对待检测数据的检测放在高级检测服务器进行，由于并非每个终端都需要对待检测数据进行高级检测，因此需要判断该终端的策略信息中是否存在高级策略的描述信息，如此可以避免不论待检测数据是否需要高级检测就直接将一些策略信息和待检测数据发送给高级检测服务器，并可以减轻高级检测服务器的数据处理压力。此外，根据高级策略的id对应的高级检测算法对待检测数据进行高级检测，而不是运用高级检测服务器中的所有高级检测算法都对待检测数据进行高级检测，如此可以减轻高级检测服务器的数据处理压力以及运行负担，并可以提高对待检测数据进行检测的性能，如此可以避免对终端的cpu的长时间占用，有助于减轻终端处理数据的压力，可以使得终端能够正常工作，并有助于减少对待检测数据进行检测的时间，从而可以提高对待检测数据进行检测的效率，进而可以解决现有技术中存在检测时间过长导致数据的检测效率较低的问题。再者，由于基础检测算法本身携带的数据敏感度较低，而高级检测算法本身携带的数据敏感度较高，将高级检测算法对待检测数据的检测放在高级检测服务器进行，可以有效地避免高级检测算法本身携带的数据被下载到终端导致数据泄露的风险。
[0112]
基于同样的技术构思，图4示例性的示出了本申请实施例提供的一种数据检测装置，该装置可以执行数据检测方法的流程。
[0113]
如图4所示，该装置包括：
[0114]
第一获取单元401，用于获取策略信息和待检测数据；
[0115]
第一处理单元402，用于根据所述策略信息中的基础检测算法对所述待检测数据进行基础检测，并确定所述策略信息中是否存在高级策略的描述信息；若是，则将所述高级策略的描述信息和所述待检测数据发送给高级检测服务器，所述高级策略的描述信息包括高级策略的id；所述高级检测服务器用于根据所述高级策略的id对应的高级检测算法对所述待检测数据进行高级检测。
[0116]
在一种可能的实现方式中，所述第一处理单元402具体用于：
[0117]
向web控制服务器发送策略信息请求，所述策略信息请求包括所述终端的标识，以使所述web控制服务器根据所述终端的标识确定出与所述终端的标识对应的策略信息；
[0118]
接收所述web控制服务器发送的策略信息，并将所述策略信息存储在本地。
[0119]
在一种可能的实现方式中，所述第一处理单元402具体用于：
[0120]
根据所述基础检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第一敏感数据信息；
[0121]
将所述待检测数据中的第一敏感数据信息发送给web控制服务器进行存储。
[0122]
在一种可能的实现方式中，所述第一处理单元402具体用于：
[0123]
根据所述基础检测算法中的关键字算法和/或正则表达式算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感数据以及所述敏感数据的位置信息。
[0124]
基于同样的技术构思，图5示例性的示出了本申请实施例提供的一种数据检测装置，该装置可以执行数据检测方法的流程。
[0125]
如图5所示，该装置包括：
[0126]
第二获取单元501，用于获取终端发送的数据检测请求，所述数据检测请求包括高级策略的描述信息和待检测数据；
[0127]
第二处理单元502，用于根据所述高级策略的描述信息中高级策略的id，确定出所述高级策略的id对应的高级检测算法；根据所述高级策略的id对应的高级检测算法，对所述待检测数据进行高级检测。
[0128]
在一种可能的实现方式中，所述第二处理单元502还用于：
[0129]
向web控制服务器发送高级策略请求，所述高级策略请求包括所述高级检测服务器的标识，以使所述web控制服务器根据所述高级检测服务器的标识确定出所述高级策略的描述信息和所述高级检测算法；
[0130]
接收所述web控制服务器发送的所述高级策略的描述信息和所述高级检测算法，并将所述高级策略的描述信息和所述高级检测算法存储在本地。
[0131]
在一种可能的实现方式中，所述第二处理单元502具体用于：
[0132]
根据所述高级检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的第二敏感数据信息；
[0133]
将所述待检测数据中的第二敏感数据信息发送给web控制服务器进行存储。
[0134]
在一种可能的实现方式中，所述第二处理单元502具体用于：
[0135]
根据所述高级检测算法中的数据库指纹算法和/或向量机检测算法对所述待检测数据进行内容匹配检测，得到所述待检测数据中的敏感词组数据以及所述敏感词组数据的位置信息。
[0136]
基于同样的技术构思，本发明实施例提供一种计算设备，包括：
[0137]
存储器，用于存储计算机程序；
[0138]
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行数据检测方法的步骤。
[0139]
基于同样的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行数据检测方法的步骤。
[0140]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0141]
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或
方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0142]
这些计算机程序指令可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0143]
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。