本发明涉及计算机
技术领域：
，具体涉及一种消息归一化处理方法及系统。
背景技术：
：在计算机技术高速发展的今天，各行各业的企事业单位普遍部署有局域网，而一个企业的计算机系统包含了多个局域网的情况也非常多见，由于组成局域网的硬件设备包括交换机，路由器，防火墙，服务器等，对局域网设备的管理是整个系统集中监控和管理中重要的组成部分。具体的，传感器发送基于TCP协议或者UDP协议的Syslog、SNMPTrap等类型的系统消息，系统消息负责记录一个设备中包括运行程序和系统软件的执行情况以及硬件的运行情况，通过分析这些系统消息，可追踪和掌握系统中设备的运转情况。但由于组成局域网的设备种类繁多，型号多变，又由于生产厂商的不同，各自遵循不同生产厂商的企业标准，即使一个相同事件的系统消息经由不同厂商生产的同类型设备发出也可能完全不同，系统消息从编码方法，事件的语句表达，事件级别定义等各方面千差万别，如何从根本上统一系统消息的格式，管理系统中的系统消息，实现对系统内所有设备的集中监控管理，是计算机
技术领域：
亟待解决的问题。技术实现要素：本发明所要解决的技术问题是针对现有技术中所存在的上述缺陷，提供一种消息归一化处理方法及系统，用以解决现有技术中存在的包含多个局域网的系统中所有系统消息的集中监控和管理问题。为实现上述目的，本发明提供一种消息归一化处理方法，所述方法包括：接收局域网控制中心发送的原始消息；根据所述原始消息确定回填属性和提取属性，所述回填属性为根据原始消息生成且在原始消息中没有包含的属性，所述提取属性为根据原始消息直接提取的属性；将所述回填属性和提取属性合并生成归一化属性；根据所述归一化属性确定第一回填属性，并将所述第一回填属性和所述归一化属性合并生成归一化事件。优选的，根据所述归一化属性确定第一回填属性，包括：识别所述归一化属性的业务类型；根据预设的业务分析规则和所述归一化属性的业务类型，确定所述原始消息的第一回填属性，所述预设的业务分析规则为根据业务类型将所述归一化属性进行归类的规则的集合。优选的，所述回填属性包括第二回填属性和第三回填属性，所述第二回填属性为对传感器进行标识的回填属性，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性；第二回填属性包括厂商事件标识和传感器类型；第三回填属性包括事件类型、事件子类型、事件扩展分类、源资产标识，源资产IP归属，目的资产标识，目的资产IP归属。优选的，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性，其回填方法包括：根据第二回填属性中的厂商事件标识、传感器类型，以及预设的事件归一化对应关系，确定所述第三回填属性中的原始消息的事件类型、事件子类型和事件扩展分类；所述预设的事件归一化对应关系是所述第二回填属性中的厂商事件标识、传感器类型，和事件归一化后的所述第三回填属性中的事件类型、事件子类型和事件扩展分类之间一一对应的关系。优选的，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性，其回填方法还包括：根据原始消息的源IP地址和目的IP地址，查找系统IP段信息对应关系，确定所述第三回填属性中的资源资产标识、源资产IP归属、目的资产标识和目的资产IP归属，所述系统IP段信息对应关系是系统内资产的标识、IP归属与资产IP地址之间的对应关系。本发明还提供一种消息归一化处理系统，包括：接收模块，用于接收局域网控制中心发送的原始消息；数据处理模块，用于根据所述原始消息确定回填属性和提取属性，所述回填属性为根据原始消息生成且在原始消息中没有包含的属性，所述提取属性为根据原始消息直接提取的属性；并将所述回填属性和提取属性合并生成归一化属性；分析模块，用于根据所述归一化属性确定第一回填属性，并将所述第一回填属性和所述归一化属性合并生成归一化事件。优选的，所述分析模块，具体用于识别所述归一化属性的业务类型；根据预设的业务分析规则和所述归一化属性的业务类型，确定所述原始消息的第一回填属性，所述预设的业务分析规则为根据业务类型将所述归一化属性进行归类的规则的集合。优选的，所述数据处理模块，具体用于确定所述回填属性，所述回填属性包括第二回填属性和第三回填属性，所述第二回填属性为对传感器进行标识的回填属性，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性；第二回填属性包括厂商事件标识和传感器类型；第三回填属性包括事件类型、事件子类型、事件扩展分类、源资产标识，源资产IP归属，目的资产标识，目的资产IP归属。优选的，所述数据处理模块，具体用于根据第二回填属性中的厂商事件标识、传感器类型，以及预设的事件归一化对应关系，确定所述第三回填属性中的原始消息的事件类型、事件子类型和事件扩展分类；所述预设的事件归一化对应关系是所述第二回填属性中的厂商事件标识、传感器类型，和事件归一化后的所述第三回填属性中的事件类型、事件子类型和事件扩展分类之间一一对应的关系。优选的，所述数据处理模块，具体用于根据原始消息的源IP地址和目的IP地址，查找系统IP段信息对应关系，确定所述第三回填属性中的资源资产标识、源资产IP归属、目的资产标识和目的资产IP归属，所述系统IP段信息对应关系是系统内资产的标识、IP归属与资产IP地址之间的对应关系。本发明所提供的消息归一化处理方法及系统，通过接收局域网发送的各种系统消息，将不同厂商以及不同设备之间的系统消息进行归一化的处理，生成具有统一的事件类型分类、事件内容分析属性的归一化事件表，可以供系统进行集中监控管理，以及供第三方业务平台进行各种业务分析时使用，其归一化的归类方法简单，但内容完备，其中，将不同厂商的原件进行统一的分类标识，以及将系统消息中涉及到的系统中的资产也进行了详细的标识，进行使整个系统中的复杂的系统消息都被很好的归类，能够方便的进行后续的各种应用。附图说明为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本发明提供的消息归一化处理方法的流程示意图；图2为本发明提供的消息归一化处理系统的结构示意图；图3为本发明提供的采用消息归一化处理方法获取的归一化事件集合；图4为本发明提供的消息归一化处理方法中事件类型的回填流程；图5为本发明提供的消息归一化处理方法中资产的回填流程。具体实施方式为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和实施例对本发明作进一步详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在一个局域网中，需要进行管理的设备，包括交换机，路由器，防火墙，服务器等设备，均能够发送系统消息，为更好的说明本发明的方法，将发送系统消息的设备统称为传感器，而本发明中的消息收集器，相当于局域网中的网关，主要完成收集局域网内的系统消息并向系统进行转发的功能。本领域技术人员很容易理解的是，根据系统的实际配置情况或管理的需求，传感器输出的系统消息，可以由消息收集器负责转发至系统进行管理，也可以在消息收集器之上再设置一个代理中心，用于综合管理局域网中多个传感器输出的系统消息，使系统消息的管理更加集中化，本发明不再对此设置进行详述。图1为本发明提供的消息归一化处理方法的流程示意图，如图1所示的消息归一化处理方法的流程包括：步骤S101，接收局域网控制中心发送的原始消息。具体的，所述原始消息包括传感器发送的记录原始事件的系统日志。局域网中的各种能够发送系统消息的设备，本发明称为传感器，传感器所发送的系统消息记录了设备的运行情况，软件运行情况等，在系统中，为实现集中监控或集中管理，需要将所有设备的系统消息统一接收后进行后续处理。步骤S102，根据所述原始消息确定回填属性和提取属性，所述回填属性为根据原始消息生成且在原始消息中没有包含的属性，所述提取属性为根据原始消息直接提取的属性。具体的，系统接收到所有局域网中传感器发送的系统消息后，提取属性从原始消息中直接提取，可以理解的是，所述的提取属性也是整个系统统一的，用于将不同厂商的系统消息进行归一化处理。由于需要对系统消息进行进一步的后续分析和处理，在进行归一化处理的过程中，为归一化的消息添加更多的标识，如对发送消息的设备型号，厂商名称等进行进一步的标识，包括对系统消息中的事件类型进行进一步的规范统一，以使系统集中监控或后期业务分析使用时更加方便，数据更加准确。这部分的数据标识需要使用系统预设的回填规则，根据接收到的原始消息和预设的回填规则，获取可以对系统消息进行更加详尽的标识的回填属性。将获取属性和回填属性进行合并后，生成归一化属性集合，完成对系统中所有系统消息的归一化处理，所述的归一化属性集合，将不同厂商的不同设备发送的系统消息，进行了格式及内容的归一化处理。所述回填属性包括第二回填属性和第三回填属性，所述第二回填属性为对传感器进行标识的回填属性，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性，包括对原始事件的事件类型，以及原始事件所涉及的源资产及目的资产的情况，所述的资产为硬件设备，软件或业务系统的总称。在归一化的消息中，添加与事件相关的标识，是对消息数据的更深入的挖掘，能够将系统消息所携带的内容信息进行更完整的呈现。。例如，第二回填属性包括客户标识，厂商事件标识，消息收集器标识，传感器掩码，传感器类型，传感器标识，传感器IP，消息收集器接收消息时间，原始日志名称；第三回填属性包括事件标识，组织结构标识，事件类型，事件子类型，事件扩展分类，归一化事件级别，源资产标识，源资产IP归属，目的资产标识，目的资产IP归属，CVE编号，漏洞编号，机密性，完整性，可用性，网域类型。其中，所述第三回填属性原始消息的事件类型、事件子类型和事件扩展分类，其回填方法包括：根据第二回填属性中的厂商事件标识、传感器类型，以及预设的事件归一化对应关系，确定所述第三回填属性中的；所述预设的事件归一化对应关系是所述第二回填属性中的厂商事件标识、传感器类型，和事件归一化后的所述第三回填属性中的事件类型、事件子类型和事件扩展分类之间一一对应的关系。举例说明，clazzsubclassfamily简称CSF如图4所示为事件类型的回填在数据库中的详细处理流程。在实际应用中，还有其他具体的实现方式不再详述。所述第三回填属性中资源资产标识、源资产IP归属、目的资产标识和目的资产IP归属，其回填方法还包括：根据原始消息的源IP地址和目的IP地址，查找系统IP段信息对应关系，确定所述第三回填属性中的资源资产标识、源资产IP归属、目的资产标识和目的资产IP归属，所述系统IP段信息对应关系是系统内资产的标识、IP归属与资产IP地址之间的对应关系。举例说明，图5所示为资产的回填在数据库中的详细处理流程。在实际应用中，还有其他具体的实现方式不再详述。优选的，在实际的应用中，整个系统的结构相对复杂的情况下，本实施例提供的由局域网的消息收集器对局域网中的系统消息进行初步的归一化处理后，再发送给系统进行后续的归一化处理的方法，能够降低系统集中处理的压力，从而降低系统归一化处理设备的硬件配置，节省成本。由于系统中的归一化处理没有完成，局域网发送给系统集中处理的消息，可以是同时原始消息和第二回填属性，后续的第三回填属性的获取根据原始消息或第二回填属性；也可以是局域网发送第二回填属性和提取属性，后续的第三回填属性基于第二回填属性和提取属性的基础之上进行，完成最后的归一化处理，可以根据实际情况进行灵活的设置。举例说明，在图3所示的归一化事件集合中，第二回填属性如下：customer_标识客户标识，通过管理平台下发的数据。collector_标识代理中心给消息收集器分配的标识。collector_ip消息收集器客户端使用的ip地址。sensor_mask通过匹配规则得到设备大类编号。sensor_model通过匹配规则得到设备小类编号。sensor_标识消息收集器分配的sensor标识。sensor_ip消息收集器接收到该设备ip发送过来的syslog。receive_time消息收集器接受原始网络报文的时间。original消息收集器对原始网络报文编码后的网络消息字符串。并且，还可以对资产进行如下的标识：数字为标识值，以及此标识值的实际含义。1：属于资产且在内网；2：属于资产且在DMZ；3：互联网IP；4：不属于资产且在内网；5：不属于资产且在DMZ区；除第二回填属性和第三回填属性外，提取属性为直接从原始消息中提取的内容，会完整的将原始消息的内容按照归一化的提取属性进行格式的规范。提取属性包括用户帐号，厂商事件标识，厂商事件LEVEL，源IP4，源IPV6，源端口，目的IP4，目的IPV6，目的端口，协议类型，发送时间，结束时间，接收时间，事件发生次数，事件摘要，原始日志，访问的网站，访问的DNS，发件人邮箱地址，收件人邮箱地址，抄送邮箱地址，密送邮箱地址。步骤S103，将所述回填属性和提取属性合并生成归一化属性。步骤S104，根据所述归一化属性确定第一回填属性，并将所述第一回填属性和所述归一化属性合并生成归一化事件。具体的，根据所述归一化属性确定第一回填属性，包括识别所述归一化属性的业务类型；根据预设的业务分析规则和所述归一化属性的业务类型，确定所述原始消息的第一回填属性，所述预设的业务分析规则为根据业务类型将所述归一化属性进行归类的规则的集合。所述归一化事件集合不但能够对系统消息进行统一的监控和管理，也可以提供给第三方业务平台使用，如对系统内的事件进行分析归类后，根据业务的需求，进一步对恶意邮件、垃圾邮件、重要客户等进行分析，如可对恶意邮件的发件人邮箱，发件人IP地址等进行归类，按照业务需求制定不同的分析规则，生成第一回填属性，即按照业务需求对归一化后的系统消息进行进一步分类的标识，可以理解的是，在按照分析规则获取第一回填属性的过程中，需要调用系统存储的基础数据，如IP地址及设备标识的对应关系等。根据不同的业务需求，进一步的对不同的业务类型进行归一化分析后，生成的归一化事件集合，可以直接供第三方业务平台作为业务分析使用。最后生成的归一化事件集合见图3所示，其中第一回填属性如下：bad_url根据恶意url地址判断是否是恶意url；bad_srcip根据恶意ip地址库判断源ip是否是恶意ip地址；bad_dstip根据恶意ip地址库判断目的ip是否是恶意ip地址；bad_mail_from根据恶意邮箱地址判断发件箱地址是否为恶意邮箱地址；bad_mail_to根据恶意邮箱地址判断收件箱地址是否为恶意邮箱地址；bad_mail_cc根据恶意邮箱地址判断抄送邮箱地址是否为恶意邮箱地址；bad_mail_bcc根据恶意邮箱地址判断密送邮箱地址是否为恶意邮箱地址；bad_code根据original在恶意代码库中比对是否是恶意代码；并且，由此可以得出ip攻击或者访问的方向如下，其中数值为标识值。值含义1内对内；2内对公网；4内对外；8公网对内；16公网对公网；32公网对外；64外对内；128外对公；256外对外；优选的，本发明还可以据预设的时长汇总归一化事件集合，获取归一化事件表，存储所述归一化时间表，以使第三方业务平台可以通过事件条件查询的方式调取相关归一化事件表。在不借助大数据的运行环境的情况下，本实施例提供一种单数据库读写归一化集合的方法，首先按照时间序列对归一化事件集合进行存储，生成归一化事件表，可以以一个月或一天为单位。在读取归一化事件表时，可以将不同的事件条件进行组合进行查询，并且同时调取多个事件表进行查询，实现大数据量的情况下，方便的做到组合查询条件的快速实现。本发明所提供的消息归一化处理方法，能够将包含多个局域网的系统中的系统消息，进行归一化的处理，其中归一化的内容不但包括系统消息中直接提取的提取属性，包括对系统消息进行进一步的标识的回填属性，还包括按照不同的业务需求，对系统消息进行基于业务分析的归一化处理，不但使得系统可以将所有的局域网设备进行统一的管理，还能供第三方业务平台方便的使用。图2为本发明提供的消息归一化处理系统的结构示意图，如图2示的消息归一化处理系统包括：接收模块201，用于接收局域网控制中心发送的原始消息。数据处理模块202，用于根据所述原始消息确定回填属性和提取属性，所述回填属性为根据原始消息生成且在原始消息中没有包含的属性，所述提取属性为根据原始消息直接提取的属性；并将所述回填属性和提取属性合并生成归一化属性；具体用于确定所述回填属性，所述回填属性包括第二回填属性和第三回填属性，所述第二回填属性为对传感器进行标识的回填属性，所述第三回填属性为对原始消息中的原始事件进行标识的回填属性；第二回填属性包括厂商事件标识和传感器类型；第三回填属性包括事件类型、事件子类型、事件扩展分类、源资产标识，源资产IP归属，目的资产标识，目的资产IP归属。具体用于根据第二回填属性中的厂商事件标识、传感器类型，以及预设的事件归一化对应关系，确定所述第三回填属性中的原始消息的事件类型、事件子类型和事件扩展分类；所述预设的事件归一化对应关系是所述第二回填属性中的厂商事件标识、传感器类型，和事件归一化后的所述第三回填属性中的事件类型、事件子类型和事件扩展分类之间一一对应的关系。具体用于根据原始消息的源IP地址和目的IP地址，查找系统IP段信息对应关系，确定所述第三回填属性中的资源资产标识、源资产IP归属、目的资产标识和目的资产IP归属，所述系统IP段信息对应关系是系统内资产的标识、IP归属与资产IP地址之间的对应关系。分析模块303，用于根据所述归一化属性确定第一回填属性，并将所述第一回填属性和所述归一化属性合并生成归一化事件。具体用于识别所述归一化属性的业务类型；根据预设的业务分析规则和所述归一化属性的业务类型，确定所述原始消息的第一回填属性，所述预设的业务分析规则为根据业务类型将所述归一化属性进行归类的规则的集合。本领域的技术人员很容易理解的是，在系统中负责进行消息归一化处理的模块设置中，上述给出的模块，可以在网状连接的硬件设备中实现，也可以在星形或分级的网络结构中实现，如在星形的网络中实现，可以通过设置调度中心的方式，统一分配接收模块301、数据处理模块302，分析模块303之间的资源，以使整个系统的负载均衡。此处不再详述。本发明所提供的消息归一化处理系统，能够将全网的系统消息进行统一模式的归一化处理，其中归一化的部分功能可以放到局域网的消息收集器完成，降低系统集中处理的压力，在对发送系统消息的传感器，以及系统消息所涉及的资产进行进一步标识后，生成的归一化事件集合，能够使不同厂商不同设备的系统消息，以统一的归一化属性，供系统集中监控及管理使用，同时也能供给第三方业务平台进行深度分析。在本申请所提供的实施例中，应该理解到，所揭露的方法、设备和系统，可以通过其它的方式实现。例如，以上所描述的设备实施例仅是是示意性的，所述功能模块的划分，仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或者一些特征可以忽略，或不执行。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页1 2 3