一种基于资产探测的网络空间知识图谱构建方法与流程

本发明涉及网络资产识别，特别是涉及一种基于资产探测的网络空间知识图谱构建方法。

背景技术：

1、网络空间资产的实质在于其所承载的信息和资源。除了主机和服务器作为固定资产外，网络空间资产还包括ip资源、运行在主机和服务器上的web服务、文件服务器、各类系统，以及组织单位的人员等。

2、随着信息化时代的来临，网络空间已成为人们生活中不可或缺的一部分。物联网、大数据、云计算等信息技术的发展，促进了网络空间中资产数量与种类的飞速增长。这些网络资产与民生和关键信息基础设施息息相关，是保护信息化资产和维护网络安全的基础。

3、网络环境错综复杂，各类终端系统数量庞大且更新换代快。现有的人力手工台账的记录方式容易出现遗漏或错误，难以快速统计与分类网络空间中各类资产信息。网络资产知识图谱的构建，可全面地记录网络空间中的资产信息和资产间的关联关系，全面了解和管理网络资产，从而更好地进行规划、维护和保护。

技术实现思路

1、为了解决上述现有技术中的不足，本发明的目的在于提供一种基于资产探测的网络空间知识图谱构建方法，采用混合扫描技术对不同网络空间内的资产进行探测。对内网，分别依次使用扫描工具发送特定数据包和分析网段节点流量数据，以获取网段内存活资产。对公开互联网资产，使用网络安全搜索引擎获取联网信息；综合以上方法完成资产探测。根据探测结果，提取关键字，生成不同类别资产的数据指纹特征。使用web指纹识别和基于cnn模型的操作系统识别，完成资产分类和识别。采用bart标注工具，按bieo格式标注资产数据，并使用知识抽取模型(如ernie chinese unirel,ecnunirel和ernie-bilstm-idcnn-crf,ebdc)提取实体关系和实体。导入数据库形成完整的资产知识图谱。通过知识图谱综合集成不同类型的资产信息。资产关系和依赖管理揭示相互关系，有助于规划网络架构；资产属性和特征管理记录资产信息，支持维护和配置管理；知识图谱实现完整的资产生命周期管理，确保可用性和合规性。综合运用这些方法，提升网络资产管理的效率和可靠性。

2、本发明解决其技术问题所采用的技术方案为：

3、提供了一种基于资产探测的网络空间知识图谱构建方法，包括以下步骤：

4、s1：采用混合探测方法扫描目标网络内的网络资产；

5、s2：根据所获得的网络资产数据进行资产识别；

6、s3：构建面向网络空间的网络资产本体；

7、s4：利用知识抽取模型抽取三元组，构建网络资产知识图谱；

8、s5：根据网络资产知识图谱进行资产管理。

9、进一步的，步骤s1中，具体方法包括：

10、s101：使用主动扫描技术对目标网络内的资产进行，获得第一扫描数据；

11、s102：使用流量分析方法对目标网络内的终端设备和进行日志扫描，获得第二扫描数据；

12、s103：提取第一扫描数据和第二扫描数据的指纹特征，获得第一网络资产信息；

13、s104：使用网络空间搜索引擎对公开互联网进行扫描，获得第二网络资产信息。

14、进一步的，步骤s101中，获得第一扫描数据的方法为：

15、在对目标网络内的资产进行扫描之前，安装扫描工具nmap和masscan；结合两种扫描工具进行资产探测；

16、通过扫描工具主动向目标网络资产发送构造的特定数据包，并从返回数据包的相关信息(包括各层协议内容、包重传时间等)中获取目标资产信息；

17、或者，特定数据包的构造方法为：分别向目标网络的网络层、传输层和应用层发送对应数据包，探测存活资产。

18、具体的：

19、网络层：向该层发送探测协议，网际控制报文协议(internet control messageprotocol,icmp)和地址解析协议(address resolution protocol,arp)探测网络内主机的存活性；

20、传输层：向该层发送探测协议，传输控制协议(transmission control protocol,tcp)和用户数据报协议(user datagram protocol,udp)探测存活主机开放端口、端口服务、操作系统等信息；

21、应用层：向该层发送探测协议，简单网络管理协议(simple network managementprotocol,snmp)探测操作系统和应用服务信息。

22、进一步的，步骤s102中，获得第二扫描数据的方法为：

23、终端设备信息：包括所述一项或多项；设备名称、设备类型、设备地址、操作系统、mac地址、地址类型、生产厂商、系统首次启动时间、首次发现时间、最后通信时间和端口信息；

24、网络设备信息：包括所述一项或多项；vlan接口、路由信息、集线器信息和交换机信息；

25、网络流量分析方法：通过在网络节点处部署探测器采集设备中的网络流量日志，进行流量数据字段分析；

26、分析tcp响应数据包中的端口字段，获取端口及端口服务信息；根据ip响应数据包中ttl字段获取设备操作系统信息；通过分析动态主机配置协议(dynamic hostconfiguration protocol,dhcp)响应数据中的其他字段，获取目标主机的ip地址、子网掩码、网关地址和dns服务器地址等信息；

27、或者，

28、步骤s103中，获得第一网络资产信息的方法为：

29、根据第一扫描数据和第二扫描数据的指纹特征，使用指纹库中已有的资产指纹特征进行匹配，识别出目标网络内的资产信息。

30、进一步的，步骤s104中，获得第二网络资产信息的方法为：

31、作为第一网络资产信息的补充，基于网络空间搜索引擎对公开互联网资产进行扫描，获取接入互联网中各网络设备、安全设备、服务器、打印机、摄像头等的类型及版本、所处位置、开放端口及端口服务等网络资产信息；

32、使用网络空间搜索引擎探测存活主机和扫描存活端口，通过发送网络请求并观察响应，确定主机是否存活，并获取主机上开放的端口号及端口信息；

33、将网络空间搜索引擎获取到的信息进行整理和分析，获得第二网络资产信息。

34、进一步的，步骤s2中，资产识别的具体处理流程为：

35、s201：基于指纹规则特征库匹配方法，对网络设备、安全设备、通信设备和服务器等常见资产进行识别，获得资产数据，具体步骤如下：

36、(1)基于探测到的网络资产，通过提取网络资产数据中的关键词或预设资产类别-指纹特征相对应的资产特征字典，提取不同类别资产数据的指纹特征；

37、(2)根据指纹类别与重要性，为预先存储的常见资产指纹数据设置指纹命中率；

38、(3)对所提取资产指纹特征进行指纹规则特征库匹配，根据指纹命中率选择最优的资产指纹信息；其中，指纹命中率对每个指纹的命中率进行标识，在使用指纹时优先使用命中率高的指纹；

39、其中，资产类别分为：软件资产类，其指纹包括应用程序名称和版本信息、协议和端口号、关键词和特征等；硬件资产类，其指纹包括mac地址、硬件类别名标识、硬件配置参数。各类资产具体包括，硬件类资产包括物理设备，例如服务器、路由器、交换机、防火墙和存储设备等；软件资产包括安装在硬件设备上的软件，例如数据库管理系统和应用程序等；

40、s202：利用爬虫技术识别web服务信息，获取更丰富的资产数据，作为s201资产数据的补充，具体步骤如下：

41、(1)根据第一和第二网络资产筛选出启用http/https服务的资产；

42、(2)通过爬虫技术，采用python request get请求爬取网页内容；

43、(3)利用指纹识别引擎对header/body内容进行分析，识别主机响应头、标题、关键词、应用组件、开发框架、脚本语言和xms等信息；

44、其中，爬虫技术可以获取网页内容(如，响应头、标题、关键词、应用组件等信息)，补充指纹规则特征库的识别结果，提供更详细的we b服务信息(如web应用程序类型、版本号、开发框架等)；

45、s203：利用基于cnn的深度学习方法识别操作系统、数据库、应用程序信息，获得未知资产或难以准确匹配资产的数据，作为s201资产数据的补充，具体步骤如下：

46、(1)筛选指纹特征，获得与目标资产相关的指纹特征；

47、(2)对获取的资产指纹特征进行分词、转换等预处理操作；

48、(3)将目标指纹特征与映射文件中的特征向量进行匹配，得到所述目标指纹特征对应的输入向量；

49、(4)采用训练好的基于cnn的资产识别深度学习模型，对所述输入向量进行识别，得到目标资产的信息。

50、进一步的，步骤s3中，构建面向网络空间的网络资产本体，包括如下概念、属性与关系：资产信息包含如下类别与属性：

51、(1)服务协议类：属性包括请求头、端口号、ip信息、域名；

52、(2)操作系统类：属性包括系统类型标识、系统版本号、系统名称；

53、(3)业务层类：属性包括业务标识信息、应用软件名标识、ip信息、请求头；

54、(4)硬件类：属性包括mac地址、硬件类别名标识、硬件配置参数。

55、其中，硬件类资产包括物理设备，例如服务器、路由器、交换机、防火墙和存储设备等。软件资产包括安装在硬件设备上的软件，例如操作系统、数据库管理系统和应用程序等。网络服务协议包括ip协议(internet protocol)、tcp协议(transmission controlprotocol)、udp协议(user datagram protocol)、http协议(hypertext transferprotocol)、ftp协议(file transfer protocol)、dns协议(domain name system)和smtp协议(simple mail transfer protocol)等。

56、硬件资产相关本体包括：

57、(1)网络设备类：设备名称、设备型号、设备ip地址、设备状态、厂商信息；

58、(2)安全设备类：设备名称、设备型号、设备ip地址、设备状态、厂商信息：

59、(3)通信设备类：设备名称、设备型号、设备ip地址、设备状态、厂商信息；

60、(4)服务器类：服务器名称、服务器ip地址、操作系统、cpu信息、内存信息；

61、软件资产相关本体包括：

62、(1)操作系统类：属性包括系统名称、系统类型标识、系统版本号；

63、(2)数据库类：数据库名称、数据库类型、版本号、数据库ip地址、数据库管理员；

64、(3)应用程序类：程序名称、程序类型、程序版本号；

65、(4)服务协议类：属性包括请求头、端口号、ip信息、域名；

66、企业相关本体包括：

67、(1)权属部门类：属性包括部门名称；

68、(2)负责人类：属性包括负责人名称、职位、联系方式；

69、(3)制造商类：属性包括公司名、主要业务、联系方式、公司地址；

70、(4)风险类：属性包括风险类型、风险等级、风险来源；

71、其中，网络设备包括路由器、交换机、防火墙、负载均衡器、vpn设备等；安全设备包括防火墙、入侵检测系统、入侵防御系统、安全信息和事件管理系统、防病毒和发恶意软件系统；通信设备包括ip电话、视频会议设备、语音网关、路由器、网关、交换机、中继器、集线器和网卡等；服务器类包括物理服务器(机架式服务器或塔架式服务器)、虚拟服务器、云服务器、数据库服务器、文件服务器、web服务器、邮件服务器和dns服务器等；操作系统包括windows、linux、macos、android和ios等；数据库包括oracle database、microsoft sqlserver、postgresql、mongodb和redis等；终端设备类包括个人电脑、笔记本电脑、手机、平板电脑、打印机、网络摄像头等；应用程序和服务类包括中间件、邮件客户端、网络浏览器和即时通讯工具等。

72、实体间关系包括：

73、(1)面临关系：网络设备类、安全设备类、通信设备类与风险类之间存在面临关系，记录设备面临的风险，如硬件故障、网络攻击等；服务器类与风险类之间存在面临关系，记录服务器面临的风险，如服务器宕机、数据泄露、安全漏洞等；操作系统类、数据库类、应用程序类、服务协议类与风险类之间存在面临关系，记录软件资产面临的特定风险，如软件漏洞、未经授权访问、拒绝服务攻击等；

74、(2)负责关系：网络设备类、安全设备类、通信设备类、服务器类与负责人类关联，记录硬件资产的负责人；

75、(3)生产关系：网络设备类、安全设备类、通信设备类与制造商类关联，记录硬件资产的制造商；

76、(4)隶属关系：负责人类与权属部门关联，记录每个负责人隶属的部门。

77、进一步的，步骤s4中，三元组标注的具体流程如下：

78、首先，采用表填充方法对头实体-尾实体、尾实体-头实体、头实体-关系、关系-尾实体和关系-关系间的交互进行标注，将头实体-尾实体、尾实体-头实体、头实体-关系、关系-尾实体和关系-关系交互的位置在表中标注为1，其余位置标注为0，标注出(头实体，关系，尾实体)三元组；

79、其次，采用bieo(begin,intermediate,end,other)标注法对一句话中的所有实体的起始位置、中间位置和结束位置进行标注，抽取出一句话中所有的完整实体。其中“b”表示实体首字，“i”表示实体中间字，“e”表示实体结束字，“o”表示非实体字或标点；

80、最后，采用brat标注工具对数据集中的句子进行实体和三元组进行标注，生成训练语料。

81、进一步的，步骤s4中，构建网络资产知识图谱包括：

82、s401：根据网络资产指纹库，对识别后的资产进行筛选，去除冗余、错误、不完整的数据，并进行归一化处理；

83、s402：在经数据预处理的数据集上对ernie模型进行预训练，构建面向网络资产的ernie模型；

84、(1)三元组抽取

85、所述知识抽取模型包括三元组抽取模型(ernie-chinese-unirel,ecnunirel)；其中，ernie用于对句子中的上下文语义信息进行融合，使得向量能够更好的表示整句话的语义关系；在中文环境下对unirel模型进行了微调，将原来的一个单词构成的关系词扩展为多个字组成的中文词语，在获得词语的上下文表示后再池化为一个字向量，以便于更好地捕捉中文环境下的语义特征；除了捕捉实体和实体、实体和关系间的交互，还增加了对关系和关系间的交互的捕捉，融合了更多的关系特征，降低矩阵的稀疏性；

86、s403：为每个预定义关系选取最能定义该关系的一个词作为关系词；

87、s404：将句子文本和所有的关系词拼接，输入经过预训练的ernie模型，得到最后一层transformer块的注意力分数矩阵，作为词级别的文本-关系交互矩阵tword；

88、s405：按照关系词的构成，采用平均池化将超过一个字的关系词表示池化为一个字的向量表示，并替代原来以词为单位的向量表示，得到最终字级别的文本-关系交互矩阵t；

89、s406：采用sigmoid函数作为激活函数，将所述步骤s405中的矩阵的每个元素映射到0-1之间，得到文本-关系交互得分矩阵tscore；

90、s407：对ecnunirel(ernie-chinese-unirel)三元组抽取模型进行训练，计算损失函数：

91、

92、其中，n和m分别表示句子的长度和预定义的关系数量；

93、s408：采用训练好的模型对语料库中的三元组进行抽取；

94、(2)实体抽取

95、所述知识抽取模型还包括命名实体识别模型(ernie-bilstm-idcnn-crf,ebdc)；其中，ernie用于提升模型对中文文本表示的能力，而bilstm和idcnn用于捕获输入特征的全局和局部信息，分别关注句子之间和句子内部单词之间的不同距离的特征。crf作为分类输出层，通过比较输出标签的相关性，选择全局最优的输出标签；

96、s409：将句子输入经过预训练的ernie模型，得到句子表示h；

97、s410：将所述步骤s409中的句子表示h输入bi-lstm层，得到充分融合上下文信息的句子表示hlstm；

98、s411：将所述步骤s410的输出向量hlstm，输送至不同膨胀率l(例如，l∈[1,2,3])的多个二维膨胀卷积(dilated convolution)中捕捉不同距离单词之间的相互作用，在标准卷积的基础上注入空洞，能够在不通过池化损失信息的情况下，增加感受视野，减少信息损失；一个膨胀卷积中的计算可以公式化为：

99、ql＝σ(dconvl(hlstm))

100、式中，σ是gelu激活函数，最终可以得到q＝[q1,q2,q3]；

101、s412：采用条件随机场(conditional random field，crf)对所述步骤s411中的句子表示q进行解码，得到全局最优的标签序列hcrf；

102、s413：对ebdc模型进行训练，计算损失；

103、s414：采用训练好的ebdc模型对语料库中的数据进行实体抽取；

104、s415：将抽取出的实体和三元组消歧匹配，获得完整的实体关系三元组；

105、s416：将所述步骤s415中的知识导入neo4j数据库，利用“load_csv”命令将import目录中的实体和关系批量导入，生成网络资产知识图谱。

106、进一步的，步骤s5中，进行资产管理的内容包括：

107、综合信息集成：知识图谱可以将不同类型的资产信息进行整合，包括内部网络、外部网络和互联网上的资产；通过关联和连接，可以建立全面的网络资产关系和属性信息；

108、资产关系和依赖管理：在知识图谱中建立资产之间的连接和关联，追踪资产之间的依赖关系，包括硬件设备之间的连接、软件应用程序与操作系统的关系等，有助于理解资产之间的相互作用，揭示资产之间的关系和依赖性，更好地管理和规划网络架构；

109、资产属性和特征管理：记录并管理资产的属性和特征信息。包括硬件设备的型号、配置参数，软件应用程序的版本和网络协议的规范，通过将这些属性信息存放在知识图谱中，更好地管理和维护资产，例如软件升级和配置管理等；

110、资产生命周期管理：基于网络资产构建的知识图谱可以支持资产的完整生命周期管理，从资产的引入和部署到维护和退役，知识图谱可以记录和追踪资产的状态和变化，有助于确保资产的可用性、安全性和合规性，并能够规划和预测资产的更新和替换需求。

111、与现有技术相比，本发明的有益效果在于：

112、1、全面探测能力。通过采用混合扫描技术，结合内网和公开互联网的探测方法，实现对不同网络空间内资产的全面探测。从内网使用nmap和masscan工具获取存活资产，通过被动流量分析获取设备信息，通过网络安全搜索引擎获取公开互联网资产信息，综合以上方法完成资产探测任务，获取资产完整信息；

113、2、高效的资产识别和分类能力。根据探测到的网络资产信息，提取关键字并生成数据指纹特征，运用web指纹识别和基于cnn的资产识别深度学习模型，实现对资产的识别和分类，该方法能够快速准确地区分不同类别的资产，提高资产识别的效率；

114、3、构建完整的网络资产知识图谱。通过使用bart标注工具按照bieo格式对资产数据进行标注，以及利用知识抽取模型进行实体关系三元组抽取和实体抽取，将提取的信息导入数据库，构建完整的网络资产知识图谱，可以更好地管控资产安全和建立全面的网络资产关系和属性信息。