日志分类方法及系统与流程

本申请涉及网络安全领域，具体而言，涉及一种日志分类方法及系统。

背景技术：

1、在网络安全领域中，对于各类系统、设备或产品生成的日志或告警的泛化结果的分析是其最为主要的基础能力之一，是否合理分类或聚类、能否泛化得当是日志能否被正确分析、是否能向用户提供关键信息的保证，所以对于此领域的相关研究和方法也不断被提出，主要集中在对于日志信息的自动分类上。

2、目前，对于一般的日志自动分类，主要采用的方法基本上是基于利用分词后的文本，使用tfidf方法进行分类，虽然基于tfidf的方法比较简单而且也比较迅速，但不能反映分词之间的词序关系，故可能导致效果不佳，分类错误；而更为准确的方式是将分词结果向量化，综合运用隐马尔可夫的方式、递归神经网络或长短时记忆网络对可能存在的不同模式的日志进行分类。

3、另外，由于目前环境下，对于日志分类的计算量较大，而直接获取日志信息的分布式采集设备一般计算能力有限，它们只能根据具体的、已经组织好的泛化模型进行，对于新的、历史上不能识别的模式直接进行分类会影响分类准确性，故分类的工作一般会在其它计算能力更强的专用节点进行，但这些节点可能在用户本地，也可能在云端，计算任务仍然过于集中，而且在传输过程中使用强度较高的加密算法，计算量较大对于云端和采集设备的负荷较大，并不能满足实际需要。

4、针对相关技术中对于新模式进行分类的准确性低，且计算负荷大的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请的主要目的在于提供一种日志分类方法及系统，以解决对于新模式进行分类的准确性低，且计算负荷大的问题。

2、为了实现上述目的，根据本申请的一个方面，提供了一种日志分类方法。

3、根据本申请的日志分类方法包括：日志采集节点生成素数集合，并将其组成素数矩阵；利用素数矩阵对待分类日志进行同余运算；将待分类日志、素数矩阵和同余运算结果传输至存储节点保存；存储节点向云端服务节点发起分类请求，使用加密算法将待分类日志、素数矩阵和同余运算结果上传至云端服务节点；云端服务节点根据素数矩阵和同余运算结果进行待分类日志的划分；使用聚类算法对划分结果进行聚类运算。

4、进一步的，待分类日志的获取包括：日志采集节点对原始日志进行分词并去除停用词，得到待分类日志。

5、进一步的，利用素数矩阵对待分类日志进行同余运算的之后还包括：对同余运算结果进行有限域的数论逆运算，生成校验数据；将待分类日志、素数矩阵、同余运算结果和校验数据传输至存储节点保存；存储节点向云端服务节点发起分类请求，使用加密算法将待分类日志、素数矩阵、同余运算结果和校验数据上传至云端服务节点；云端服务节点基于校验数据进行待分类日志的数论逆验证；根据同余运算结果进行验证通过的待分类日志的划分；使用聚类算法对划分结果进行聚类运算。

6、进一步的，素数集合以固定的频率重新生成。

7、进一步的，利用素数矩阵对待分类日志进行同余运算包括：定义素数矩阵p={pij}；定义待分类日志w={wi}，并将其转换为全字符串集合s={ci}；将s中的字符串按16字节分组，不足16字节的字符串通过预设字符串进行填充；对于s中的同一个分组，则使用{p.,j}进行同余运算，对于下个分组，则使用{p.,(j+1)modn}进行同余运算。

8、进一步的，聚类算法为dbscan算法、余弦相似性算法或jaccard相似算法。

9、进一步的，使用聚类算法对划分结果进行聚类运算之后还包括：云端服务节点将聚类运算结果使用加密算法回传给存储节点；存储节点根据聚类运算结果进行存储。

10、进一步的，素数矩阵的列为纵向同余运算因子，用于对同一块待计算内容结果进行不同模的简单同余计算；素数矩阵的行为横向同余计算片段，用于针对不同的待计算内容进行计算。

11、为了实现上述目的，根据本申请的另一方面，提供了一种日志分类系统。

12、根据本申请的日志分类系统包括：日志采集节点，用于生成素数集合，并将其组成素数矩阵；利用素数矩阵对待分类日志进行同余运算；将待分类日志、素数矩阵和同余运算结果传输至存储节点保存；存储节点，用于向云端服务节点发起分类请求，使用加密算法将待分类日志、素数矩阵和同余运算结果上传至云端服务节点；云端服务节点，用于根据素数矩阵和同余运算结果进行待分类日志的划分；使用聚类算法对划分结果进行聚类运算。

13、进一步的，日志采集节点，还用于对同余运算结果进行有限域的数论逆运算，生成校验数据；将待分类日志、素数矩阵、同余运算结果和校验数据传输至存储节点保存；存储节点，还用于向云端服务节点发起分类请求，使用加密算法将待分类日志、素数矩阵、同余运算结果和校验数据上传至云端服务节点；云端服务节点，还用于基于校验数据进行待分类日志的数论逆验证；根据同余运算结果进行验证通过的待分类日志的划分；使用聚类算法对划分结果进行聚类运算。

14、在本申请实施例中，采用日志采集节点、存储节点和云端服务节点相配合的多级日志分类架构，能够均衡分摊计算任务；采用多个不同的素数模运算对待分类日志进行一定程度的同余运算，能够使用简单加密算法替代复杂加密算法进行通信，且基于同余运算结果进行聚类，从而实现了提升对于新模式进行分类的准确性，且有效降低计算负荷的技术效果，进而解决了对于新模式进行分类的准确性低，且计算负荷大的技术问题。

技术特征：

1.一种日志分类方法，其特征在于，包括：

2.根据权利要求1所述的日志分类方法，其特征在于，待分类日志的获取包括：

3.根据权利要求1所述的日志分类方法，其特征在于，利用素数矩阵对待分类日志进行同余运算的之后还包括：

4.根据权利要求1所述的日志分类方法，其特征在于，素数集合以固定的频率重新生成。

5.根据权利要求1所述的日志分类方法，其特征在于，利用素数矩阵对待分类日志进行同余运算包括：

6.根据权利要求1或3所述的日志分类方法，其特征在于，聚类算法为dbscan算法、余弦相似性算法或jaccard相似算法。

7.根据权利要求1或3所述的日志分类方法，其特征在于，使用聚类算法对划分结果进行聚类运算之后还包括：

8.根据权利要求1所述的日志分类方法，其特征在于，素数矩阵的列为纵向同余运算因子，用于对同一块待计算内容结果进行不同模的简单同余计算；素数矩阵的行为横向同余计算片段，用于针对不同的待计算内容进行计算。

9.一种日志分类系统，其特征在于，包括：

10.根据权利要求9所述的日志分类系统，其特征在于，

技术总结
本申请公开了一种日志分类方法及系统。该方法包括：日志采集节点生成素数集合，并将其组成素数矩阵；利用素数矩阵对待分类日志进行同余运算；将待分类日志、素数矩阵和同余运算结果传输至存储节点保存；存储节点向云端服务节点发起分类请求，使用加密算法将待分类日志、素数矩阵和同余运算结果上传至云端服务节点；云端服务节点根据素数矩阵和同余运算结果进行待分类日志的划分；使用聚类算法对划分结果进行聚类运算。均衡分摊计算任务，且使用简单加密算法替代复杂加密算法进行通信，同时基于同余运算结果进行聚类，提升对于新模式进行分类的准确性，有效降低计算负荷。本申请解决了对于新模式进行分类的准确性低，且计算负荷大的技术问题。

技术研发人员：请求不公布姓名,请求不公布姓名
受保护的技术使用者：南京聚铭网络科技有限公司
技术研发日：
技术公布日：2024/2/1