一种针对工业安全设备Json类型Syslog的预处理方法与流程

一种针对工业安全设备json类型syslog的预处理方法
技术领域
1.本发明涉及数据预处理技术领域，具体涉及一种针对工业安全设备json类型syslog的预处理方法。


背景技术：

2.随着工业安全设备的复杂性不断增加，系统规模日益庞大以及模块化程度越来越高，使得被管理的对象呈现分散式的结构，管理者所关心的问题已经侧重于对工业安全设备系统整体的实时的事件监控。为了及时准确获知工业设备系统的状态，需要通过对syslog进行分析处理。
3.然而，针对不同syslog的分析处理，通常需要进行定制化的字段提取，这是一项非常耗时且复杂的工作，使得基于syslog的分析处理效率低下。


技术实现要素：

4.本发明的目的在于，针对上述现有技术的不足，提供一种针对工业安全设备json类型syslog的预处理方法，以解决基于syslog的分析处理效率低下的问题。
5.为实现上述目的，本发明采用的技术方案如下：
6.本发明提供了一种针对工业安全设备json类型syslog的预处理方法，该方法包括：
7.选定一套用于最终输出的工业安全设备的数据指标，并且确定数据指标的字段名称和排序；
8.根据实际业务需求，对syslog进行分类和特征提取，并且建立特征索引表；
9.根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表；
10.根据数据指标字段映射表，在syslog中找到数据指标对应的原始字段以及对应值，将所有对应值转化为文本字符类型，得到一套有序的数据指标和对应值的键值对；
11.将有序的数据指标和对应值的键值对生成一段新的json，作为预处理完毕后的头部信息，附加到syslog原始主体信息前，将预处理完成的syslog，输出到后续处理环节。
12.可选地，数据指标包括源ip、源端口、目的ip、目的端口、日志类型。
13.可选地，对syslog进行分类和特征提取，并且建立特征索引表，包括：根据实际业务需求，对syslog进行分类，将同类的业务或者相同设备发出的syslog归为一类；在同类的syslog中，提取共同的、唯一的特征；对全部syslog分类都提取特征，全部提取的特征共同了构成了特征索引表。
14.可选地，在特征索引表中，每个特征包含一个键或多个键值对的组合，特征共分为五种：单个键名、单个键值对、多个键名组合、多个键值对组合、多键名和键值对混合组成；如果特征由多个词组合构成，则构成词之间是先后有序的；特征之间，互不为子集；每个特征对应了一类syslog，该类syslog既完整地包含了该特征，而且能够通过该特征被唯一的
识别到。
15.可选地，在根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表的步骤中，如果某个数据指标字段没有找到原始字段映射，则映射到空字符。
16.可选地，在根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表的步骤中，如果某个数据指标字段存在两个或两个以上的原始字段映射，需求重新分配，增加一类特征，将此syslog分为两类，原对应的特征增加该原始字段，作为一个新的特征，加入到特征索引表中，重新建立数据指标字段映射关系，以此类推，直到每类特征对应的syslog都建立一套数据指标字段和原始字段的一一映射关系。
17.可选地，使用syslog接收工具收到syslog，找到接收工具对该syslog额外附加头部信息，找到额外附加头部信息的结束位置，得到syslog原始主体信息。
18.可选地，接收工具附加syslog头部信息为时间和接收器的ip。
19.可选地，在根据数据指标字段映射表，在syslog中找到数据指标对应的原始字段以及对应值，将所有对应值转化为文本字符类型，得到一套有序的数据指标和对应值的键值对的步骤中，如果对应值是整数、浮点数、布尔值、字符串，则统一转化为文本字符类型；如果对应值为null，则对应值设置为空字符；如果某个数据指标字段映射到空字符，则不再从syslog中查找原始字段，将该数据指标字段的对应值设置为空字符，继续处理下一个数据指标字段。
20.本发明的有益效果包括：
21.本发明提供的针对工业安全设备json类型syslog的预处理方法包括：选定一套用于最终输出的工业安全设备的数据指标，并且确定数据指标的字段名称和排序；根据实际业务需求，对syslog进行分类和特征提取，并且建立特征索引表；根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表；根据数据指标字段映射表，在syslog中找到数据指标对应的原始字段以及对应值，将所有对应值转化为文本字符类型，得到一套有序的数据指标和对应值的键值对；将有序的数据指标和对应值的键值对生成一段新的json，作为预处理完毕后的头部信息，附加到syslog原始主体信息前，将预处理完成的syslog，输出到后续处理环节。本发明通过对syslog进行预处理后，后续处理环节可以使用统一的预处理数据指标字段，不再需要对不同syslog做定制化字段提取，且可以动态增减调整预处理数据指标字段，对所有syslog进行适配，极大提升处理效率。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了本发明一实施例提供的针对工业安全设备json类型syslog的预处理方法的流程示意图；
24.图2示出了本发明另一实施例提供的针对工业安全设备json类型syslog的预处理方法的流程示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.针对不同syslog的分析处理，通常需要进行定制化的字段提取，这是一项非常耗时且复杂的工作，使得基于syslog的分析处理效率低下。因此，需要提供一种针对工业安全设备json类型syslog的预处理方法，以提高基于syslog的处理效率。
27.图1示出了本发明一实施例提供的针对工业安全设备json类型syslog的预处理方法的流程示意图。如图1所示，本发明提供的针对工业安全设备json类型syslog的预处理方法包括：
28.步骤101、选定一套用于最终输出的工业安全设备的数据指标，并且确定数据指标的字段名称和排序。
29.步骤102、根据实际业务需求，对syslog进行分类和特征提取，并且建立特征索引表。
30.步骤103、根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表。
31.步骤104、根据数据指标字段映射表，在syslog中找到数据指标对应的原始字段以及对应值，将所有对应值转化为文本字符类型，得到一套有序的数据指标和对应值的键值对。
32.步骤105、将有序的数据指标和对应值的键值对生成一段新的json，作为预处理完毕后的头部信息，附加到syslog原始主体信息前，将预处理完成的syslog，输出到后续处理环节。
33.可选地，数据指标包括源ip、源端口、目的ip、目的端口、日志类型。可选地，对syslog进行分类和特征提取，并且建立特征索引表，包括：根据实际业务需求，对syslog进行分类，将同类的业务或者相同设备发出的syslog归为一类；在同类的syslog中，提取共同的、唯一的特征；对全部syslog分类都提取特征，全部提取的特征共同了构成了特征索引表。
34.可选地，在特征索引表中，每个特征包含一个键或多个键值对的组合，特征共分为五种：单个键名、单个键值对、多个键名组合、多个键值对组合、多键名和键值对混合组成；如果特征由多个词组合构成，则构成词之间是先后有序的；特征之间，互不为子集；每个特征对应了一类syslog，该类syslog既完整地包含了该特征，而且能够通过该特征被唯一的识别到。可选地，在根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表的步骤中，如果某个数据指标字段没有找到原始字段映射，则映射到空字符。
35.可选地，在根据最终输出的数据指标的字段含义，对特征索引表中的每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，以得到数据指标字段映射表的步骤中，如果某个数据指标字段存在两个或两个以上的原始字段映射，需求重新分配，增加一类特征，将此syslog分为两类，原对应的特征增加该原始字段，作为一个新的特征，加入到特征索引表中，重新建立数据指标字段映射关系，以此类推，直到每类特征对应的syslog都建立一套数据指标字段和原始字段的一一映射关系。可选地，使用syslog接收工具收到syslog，找到接收工具对该syslog额外附加头部信息，找到额外附加头部信息的结束位置，得到syslog原始主体信息。
36.接收工具附加syslog头部信息为时间和接收器的ip。在根据数据指标字段映射表，在syslog中找到数据指标对应的原始字段以及对应值，将所有对应值转化为文本字符类型，得到一套有序的数据指标和对应值的键值对的步骤中，如果对应值是整数、浮点数、布尔值、字符串，则统一转化为文本字符类型；如果对应值为null，则对应值设置为空字符；如果某个数据指标字段映射到空字符，则不再从syslog中查找原始字段，将该数据指标字段的对应值设置为空字符，继续处理下一个数据指标字段。
37.本发明通过对syslog进行预处理后，后续处理环节可以使用统一的预处理数据指标字段，不再需要对不同syslog做定制化字段提取，且可以动态增减调整预处理数据指标字段，对所有syslog进行适配，极大提升处理效率。
38.图2示出了本发明另一实施例提供的针对工业安全设备json类型syslog的预处理方法的流程示意图。
39.下面将参照图2详细描述本发明提供的针对工业安全设备json类型syslog的预处理方法。
40.在实际应用中，本发明提供的针对工业安全设备json类型syslog的预处理方法的详细步骤如下：
41.1.选择并确定一套最终输出的数据指标，基本的工业安全设备数据指标例如：源ip、源端口、目的ip、目的端口、日志类型等；
42.2.定义最终输出数据指标的字段名称，同时确定这些数据指标字段的排序；
43.3.对可被接收的syslog进行归类和特征提取。根据实际业务需求，对syslog进行分类，例如同类的业务、或者相同设备发出的syslog归为一类。在同类的syslog中，提取共同的、唯一的特征。对全部syslog分类都提取特征，共同了构成一个特征索引表。
44.特征索引表：全部特征的合集。每个特征包含一个键或多个键值对的组合，共分为五种：单个键名，单个键值对，多个键名组合，多个键值对组合，多键名和键值对混合组成。如果特征由多个词组合构成，那么构成词之间是先后有序的。特征之间，互不为子集。每个特征对应了一类syslog，这类syslog既完整地包含了这个特征，而且可以通过这个特征被唯一的识别到。如下是五种特征索引表示例：
[0045][0046]
如下是特征提取、构造特征索引表的示例：
[0047]
(1)根据json的键名进行归类。示例中4组json键值对，值无规律变化，因此取键名作为特征。示例syslog如下：
[0048]
{"dev_name":"oij","src_ip":"1.1.1.1","dst_ip":"1.1.1.1"}
[0049]
{"dev_name":"nrs","src_ip":"1.1.1.2"}
[0050]
{"apt_name":"rtf","src_ip":"1.1.1.3"}
[0051]
{"apt_name":"nik","src_ip":"1.1.1.4","dst_ip":"1.1.1.2"}
[0052]
a)特征索引表，使用一个字段：
[0053][0054]
b)特征索引表，使用字段组合：
[0055][0056]
(2)根据json的键值对进行归类。示例中4组json键值对，健和值都是有共同点和变化点，因此根据实际需求提取特征。示例syslog如下：
[0057]
{"dev_name":"ids-1","src_ip":"1.1.1.1"}
[0058]
{"dev_name":"ids-1","src_ip":"1.1.1.2"}
[0059]
{"dev_name":"ids-1","src_ip":"1.1.1.3"}
[0060]
{"dev_name":"ids-2","src_ip":"1.1.1.4"}
[0061]
a)特征索引表，提取键名，只归为一类：
[0062][0063][0064]
b)特征索引表，提取键和值，归为两类：
[0065][0066]
4.根据最终输出数据指标的字段含义，对特征索引表中每一类syslog，找出含义一致的原始字段，与数据指标建立一一映射关系，得到数据指标字段映射表。示例如下：
[0067]
(1)最终输出数据指标，示例如下：
[0068]
字段含义数据指标产品product
源ipfrom_ip目的ipto_ip
[0069]
(2)特征索引表中的一类，示例如下：
[0070][0071]
(3)确定最终输出数据指标和原始syslog字段之间的一一映射关系。根据数据指标的字段含义，在原始syslog字段中，找到实际含义用途一致的字段，这两个字段构建一对映射，示例如下：
[0072]
字段含义原始syslog字段数据指标产品dev_nameproduct源ipsrc_ipfrom_ip目的ipdst_ipto_ip车间apt_name [0073]
(4)如果某个数据指标字段没有找到原始字段映射，则映射到空字符：
[0074]
a)如下示例中，只有src_ip一个字段可映射到数据指标，其余字段映射到空字符：{"apt_name":"rtf","src_ip":"1.1.1.3"}
[0075]
数据指标原始syslog字段product空from_ipsrc_ipto_ip空
[0076]
b)如下示例中，只有dev_name和dst_ip两个字段可映射到数据指标，其余字段映射到空字符：
[0077]
{"apt_name":"nik","dev_name":"ids","dst_ip":"1.1.1.2"}
[0078]
数据指标原始syslog字段productdev_namefrom_ip空to_ipdst_ip
[0079]
5.如果某个数据指标字段存在两个或两个以上的原始字段映射，需求重新分配，增加一类特征。将此syslog分为两类，原对应的特征的增加这个原始字段，作为一个新的特征，加入到特征索引表中，重新建立数据指标字段映射关系，以此类推，直到每类特征对应的syslog都建立一套数据指标字段和原始字段的一一映射关系。示例如下：
[0080]
(1)最终输出数据指标，示例如下：
[0081]
字段含义数据指标产品product源ipfrom_ip
[0082]
(2)特征索引表中的一类，示例如下：
[0083][0084]
(3)确定最终输出数据指标和原始syslog字段之间的一一映射关系，源ip字段存在两个原始字段映射。
[0085]
字段含义原始syslog字段数据指标产品dev_nameproduct源ipsrc_ip，ssrc_ipfrom_ip车间apt_name [0086]
(4)重新分类，原对应的特征的增加这个原始字段，作为一个新的特征，加入到特征索引表中，示例如下：
[0087][0088]
(5)重新建立数据指标字段映射关系，每类特征对应的syslog都建立一套数据指标字段和原始字段的一一映射关系，示例如下：
[0089]
a)对于特征【apt_name，src_ip】，得到字段映射表示例如下：
[0090]
字段含义原始syslog字段数据指标产品dev_nameproduct源ipsrc_ipfrom_ip车间apt_name [0091]
b)对于特征【apt_name，ssrc_ip】，得到字段映射表示例如下：
[0092]
字段含义原始syslog字段数据指标产品dev_nameproduct源ipssrc_ipfrom_ip车间apt_name [0093]
6.使用syslog接收工具收到syslog，找到接收工具对该syslog额外附加头部信息，找到额外附加头部信息的结束位置，得到syslog原始主体信息；
[0094]
7.在syslog原始主体信息中，确定json文本开始的位置，开始字符为"{"和"["两
种之一，得到完整的json信息，示例如下：
[0095]
2022-04-24t16:48:47.149+08:00 10.12.103.199 47cosmos-{"apt_name":"rtf","src_ip":"1.1.1.3"}
[0096]
接收工具附加syslog头部信息为时间和接收器的ip，【2022-04-24t16:48:47.149+08:00 10.12.103.199】，实际主体信息为【47cosmos-{"apt_name":"rtf","src_ip":"1.1.1.3"}】，截取开始字符"{"到结尾，得到完整的json信息【{"apt_name":"rtf","src_ip":"1.1.1.3"}】
[0097]
8.在特征索引表中找到该syslog所属的分类，得到对应的数据指标字段映射表，得到该syslog数据指标字段和原始字段的一一映射关系；
[0098]
9.根据映射关系，在syslog中找到数据指标对应的原始字段、以及对应值，得到一套有序的数据指标和对应值的键值对：
[0099]
(1)如果对应值是整数、浮点数、布尔值、字符串，统一转化为文本字符类型；
[0100]
(2)如果对应值为null，则对应值设置为空字符；
[0101]
(3)如果某个数据指标字段映射到空字符，则不再从syslog中查找原始字段，将该数据指标字段的对应值设置为空字符，继续处理下一个数据指标字段。
[0102]
示例如下：
[0103]
a)特征索引表，示例如下：
[0104][0105]
b)字段映射表，示例如下：
[0106]
字段含义原始syslog字段数据指标产品dev_nameproduct源ipsrc_ipfrom_ip目的ipdst_ipto_ip车间apt_name [0107]
c)如下示例中，根据字段映射表，为数据指标取值，示例如下：
[0108]
·
{"apt_name":"rtf","src_ip":"1.1.1.3"}
[0109]
数据指标原始syslog字段对应值product空""from_ipsrc_ip1.1.1.3to_ip空""
[0110]
输出json：
[0111]
{"product":"","from_ip":"1.1.1.3","to_ip":""}
[0112]
·
{"apt_name":"nik","dev_name":"ids","dst_ip":"1.1.1.2"}
[0113]
数据指标原始syslog字段对应值
productdev_nameidsfrom_ip空""to_ipdst_ip1.1.1.2
[0114]
输出json：
[0115]
{"product":"ids","from_ip":"","to_ip":"1.1.1.2"}
[0116]
10.处理完全部数据指标字段后，将得到的一套有序的数据指标和对应值的键值对，生成一段新json，作为预处理完毕后的头部信息，附加到syslog原始主体信息前；
[0117]
11.将预处理完成的syslog，输出到后续处理环节。
[0118]
上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围内。