一种基于边缘计算的标识解析日志采集方法与流程

本发明涉及工业互联网标识解析，具体为一种基于边缘计算的标识解析日志采集方法。

背景技术：

1、工业互联网是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态，工业互联网不是互联网在工业的简单应用，而是具有更为丰富的内涵和外延。它以网络为基础、平台为中枢、数据为要素、安全为保障，既是工业数字化、网络化、智能化转型的基础设施，工业互联网标识解析体系是实现全球供应链系统和企业生产系统精准对接、产品全生命周期管理和智能化服务的前提和基础，部分企业在信息化过程中，使用了自有标识，并开发了部分应用。边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。

2、随着工业互联网的快速发展和标识解析节点建设的推动，会产生大量的数据，工业互联网应用会要求极快的响应时间，数据的私密性等，边缘计算其应用程序在邻近侧发起，产生更快的网络服务响应，尤其适合应用在工业领域，满足工业在实时业务、应用智能、安全与隐私保护等方面的业务需求。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于边缘计算的标识解析日志采集方法，解决了目前工业互联网标识解析平台中边缘计算边界海量信息交互采集分析能力的不足的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于边缘计算的标识解析日志采集方法，具体包括以下步骤：

3、s1、使用数据流镜像技术通过边缘计算对面向边缘计算交互日志数据流进行复制，对边缘计算交互日志数据流的完整复制并确认身份；

4、s2、使用深度包解析和动态流检测相结合对流量数据分析处理；

5、s3、使用基于边缘计算的数据库访问还原技术对日志精确还原，对原始数据流通过统一的格式进行归一化处理生成原始事件；

6、s4、通过对日志特征值提取和相关分析，削减原始事件的特征值维度，优化日志聚合算法，将冗余的原始事件聚合重构为单个聚合事件，对单个网络行为进行完整的描述。

7、优选的，所述s1中，数据流镜像包括基于内存镜像的数据流复制和基于数据包转发的数据流复制，基于内存镜像的数据流复制技术直接从内存中取出日志信息，主要包括基于linux内核驱动和虚拟地址翻译的内存访问技术，内存镜像实现行为事件信息的采集，基于数据包转发的数据流复制技术直接从缓冲区中复制出流量信息，主要包括基于私有协议的数据流分发技术、数据包缓冲区预分配技术和缓冲区数据流高速转发技术，数据包转发镜像实现流量信息的采集，在采集到正常的操作数据之后，要从中最大程度的获取有效信息。主要包括时间戳、用户名、登录地址、主机地址、协议类型、用户操作和命令属性等，结合上述有效信息构建正常用户的行为模型。

8、优选的，所述s2中，通过深度包解析和动态流检测技术提取特征、构建特征模型，通过深度包解析对数据包应用层内容进行分析，包括采用基于特征的识别技术提取控制流数据包中可能存在的特定端口、特定字符串或者特定序列与特征库进行匹配识别，动态流检测技术提取多种流相关特征，包括数据包长度、持续时间、传输速率、平均数据包时间间隔等，结合深度包解析技术所提取特征，构建特征模型，最后利用机器学习算法对未知流量和特征模型进行匹配。

9、优选的，所述s3中，从协议分析数据流的特征中抽取出不同数据库访问行为的特征，为不同的数据库访问行为建立相应的匹配模型，然后通过数据库行为特征还原，提取出有价值的数据库访问行为信息，生成标准化的日志事件，最后为不同的数据库建立不同的行为匹配模型，使不同数据库的访问行为的还原透明化。

10、优选的，所述s4中，根据日志特征值映射的方法降低事件特征值的维度，提取特征值，特征值选择算法用于对原始特征值集合中的特征值选择，特征值选择根据某种评估标准，从原始特征值空间中选取一个最优或最有效的特征子集代替原始特征值空间，达到降低特征值空间维数的目的。

11、优选的，所述s4中，优化日志聚合算法生成特征值提取和特征值选择算法处理后的低维度特征值集合，包括日志的某些特征(时间、源地址、目的地址、通信协议等)，将重复的日志数据归并为简洁的数据。

12、有益效果

13、本发明提供了一种基于边缘计算的标识解析日志采集方法。与现有技术相比具备以下有益效果：

14、该基于边缘计算的标识解析日志采集方法，针对目前工业互联网标识解析平台中边缘计算边界海量信息交互采集分析能力的不足提出了解决方案，解决边缘计算边界标识解析数据流和数据库访问行为日志的处理延迟问题，解决数据流协议解析、行为还原和日志聚合问题，消除边缘计算标识解析节点边界信息态势检测的盲区。

技术特征：

1.一种基于边缘计算的标识解析日志采集方法，其特征在于：具体包括以下步骤：

2.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述s1中，数据流镜像包括基于内存镜像的数据流复制和基于数据包转发的数据流复制，基于内存镜像的数据流复制技术直接从内存中取出日志信息，主要包括基于linux内核驱动和虚拟地址翻译的内存访问技术，内存镜像实现行为事件信息的采集，基于数据包转发的数据流复制技术直接从缓冲区中复制出流量信息，主要包括基于私有协议的数据流分发技术、数据包缓冲区预分配技术和缓冲区数据流高速转发技术，数据包转发镜像实现流量信息的采集，在采集到正常的操作数据之后，要从中最大程度的获取有效信息。主要包括时间戳、用户名、登录地址、主机地址、协议类型、用户操作和命令属性等，结合上述有效信息构建正常用户的行为模型。

3.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述s2中，通过深度包解析和动态流检测技术提取特征、构建特征模型，通过深度包解析对数据包应用层内容进行分析，包括采用基于特征的识别技术提取控制流数据包中可能存在的特定端口、特定字符串或者特定序列与特征库进行匹配识别，动态流检测技术提取多种流相关特征，包括数据包长度、持续时间、传输速率、平均数据包时间间隔等，结合深度包解析技术所提取特征，构建特征模型，最后利用机器学习算法对未知流量和特征模型进行匹配。

4.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述s3中，从协议分析数据流的特征中抽取出不同数据库访问行为的特征，为不同的数据库访问行为建立相应的匹配模型，然后通过数据库行为特征还原，提取出有价值的数据库访问行为信息，生成标准化的日志事件，最后为不同的数据库建立不同的行为匹配模型，使不同数据库的访问行为的还原透明化。

5.根据权利要求1所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述s4中，根据日志特征值映射的方法降低事件特征值的维度，提取特征值，特征值选择算法用于对原始特征值集合中的特征值选择，特征值选择根据某种评估标准，从原始特征值空间中选取一个最优或最有效的特征子集代替原始特征值空间，达到降低特征值空间维数的目的。

6.根据权利要求5所述的一种基于边缘计算的标识解析日志采集方法，其特征在于：所述s4中，优化日志聚合算法生成特征值提取和特征值选择算法处理后的低维度特征值集合，包括日志的某些特征(时间、源地址、目的地址、通信协议等)，将重复的日志数据归并为简洁的数据。

技术总结
本发明公开了一种基于边缘计算的标识解析日志采集方法，具体包括以下步骤：S1、使用数据流镜像技术通过边缘计算对面向边缘计算交互日志数据流进行复制，对边缘计算交互日志数据流的完整复制并确认身份；S2、使用深度包解析和动态流检测相结合对流量数据分析处理；S3、使用基于边缘计算的数据库访问还原技术对日志精确还原，对原始数据流通过统一的格式进行归一化处理生成原始事件，本发明涉及工业互联网标识解析技术领域。该基于边缘计算的标识解析日志采集方法，解决边缘计算边界标识解析数据流和数据库访问行为日志的处理延迟问题，解决数据流协议解析、行为还原和日志聚合问题，消除边缘计算标识解析节点边界信息态势检测的盲区。

技术研发人员：刘胜,刘洁,侯志国,史英
受保护的技术使用者：东华软件股份公司
技术研发日：
技术公布日：2024/1/11