一种服务路径自动发现方法、系统及介质与流程

1.本发明涉及网络流量分析技术领域，具体地，涉及一种服务路径自动发现方法、系统及介质。


背景技术：

2.网络流量分析是实时监测用户网络七层结构中各层的流量分布，进行协议、流量的综合分析，从而有效的发现、预防网络流量和应用上的瓶颈，为网络性能的优化提供依据。
3.在网络流量分析领域中，分析大量混杂的流量，从大量混杂的流量中找出服务和服务之间的关系图(服务路径图)是一个常见的任务，而这个任务又是开展下游任务，比如网络性能管理、业务性能管理等等的基础。
4.针对上述现有技术，本发明存在以下技术问题，在相关技术中存在一些自动化的方法能够对流量进行分类或者聚类，但是这些方法都只仅仅只停留在流量分类上，没有考虑服务之间关系的发现，单独的服务发现无法发现服务之间的关系和整体服务路径图。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种服务路径自动发现方法、系统及介质，能够在对流量进行分类的同时，发现服务之间的关系和整体服务路径。
6.根据本发明提供的一种服务路径自动发现方法及系统，所述方案如下：
7.第一方面，提供了一种服务路径自动发现方法，所述方法包括：
8.获取网络数据包，在网络数据包中寻找服务端点；
9.寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
10.根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径。
11.优选的，寻找服务端点包括：
12.解析所述网络数据包，找出所有通讯端点，所述通讯端点包括ip和通讯对端；
13.统计每个所述通讯端点的通信对端的数目；
14.针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为所述服务端口；
15.若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为所述服务端点。
16.优选的，对服务端点进行聚类，并找寻服务包括：
17.对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
18.对网络流量特征进行提取和转换，对所述网络特征的提取包括端口号、流量最多的若干个客户端的ip地址、以及流入数据包和流出数据包的字符统计特征；
19.合并以上所述特征，并生成一个特征向量；
20.对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服
务。
21.优选的，分析各服务之间的关联关系，找出相应的服务路径包括：
22.对于每个所述服务，按照时间窗口w计算收到的包数，进而形成流量时间序列；
23.对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值t的服务队加入路径候选集合；
24.将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出系统的输出。
25.第二方面，提供了一种服务路径自动发现系统，所述系统包括：
26.寻找模块，获取网络数据包，在网络数据包中寻找服务端点；
27.聚类模块，寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
28.分析模块，根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径。
29.优选的，所述寻找模块具体包括：
30.解析所述网络数据包，找出所有通讯端点，所述通讯端点包括ip和通讯对端；
31.统计每个所述通讯端点的通信对端的数目；
32.针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为所述服务端口，若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为所述服务端点。
33.优选的，所述聚类模块具体包括：
34.对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
35.对网络流量特征进行提取和转换，对所述网络特征的提取包括端口号、流量最多的若干个客户端的ip地址、以及流入数据包和流出数据包的字符统计特征；
36.合并以上所述特征，并生成一个特征向量；
37.对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服务。
38.优选的，所述分析模块具体包括：
39.对于每个所述服务，按照时间窗口w计算收到的包数，进而形成流量时间序列；
40.对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值t的服务队加入路径候选集合；
41.将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出系统的输出。
42.与现有技术相比，本发明具有如下的有益效果：
43.1.根据以上步骤，能够自动化从大量的流量中发现服务，进而进少了人共梳理的成本投入；
44.2.发现了服务之间的的关系，实现了服务路径，进而有助于对实际的网络拓扑有更好的理解。
附图说明
45.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
46.图1为本发明一种服务路径自动发现方法的结构示意图；
具体实施方式
47.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
48.本发明实施例提供了一种服务路径自动发现方法，参照图1所示，首先获取网络数据包，并对获取的网络数据包进行解析，在解析的过程中寻找出所有的通讯端点，所要找出的通讯端点包括有ip以及通讯对端，找出相应的ip和通讯对端之后，需要对通讯对端的数目进行统计。对于每个网络通讯对上的两个通讯端点，将通讯对端多的端口就作为服务端口，并相应标记；如果出现通讯对端数目相同的情况，则可以将端口号进行比较，进而将端口号小的通讯端点作为服务端点，并做好相应的标记。
49.在网络数据包中寻找服务端点后，需要对服务端点进行聚类，先收集与寻找到的服务端点所相关的网络流量特征，而网络流量特征中包含了端口号、通讯对端集合、接收到的数据包和发出去的数据包。收集到的网络流量特征需要进行提取和转换，而对于网络特征的提取则包括了端口号、流量最多的若干个客户端的ip地址、流入数据包和流出数据包的字符统计特征，比如字符级的tf
‑
idf值。提取到以上相关信息后，将提取到的以上特征进行合并，并以此生成一个特征向量。最后可对这些服务端点的特征向量应用聚类算法，通过聚类算法的计算，将聚类算法输出的每个聚类作为一个服务，如此便可以实现寻找服务。
50.找到服务之后，根据服务间的特性，对于每个服务，都按照时间窗口w计算出收到的包数，使得时间窗口w内收到的包数形成流量时间序列，本实施中的w设定为时间窗口的参数，具体来说该参数w可以选择1秒、10秒或者1分钟等。
51.其次，需要分析出各服务之间的关联关系，对于其中任意的两个服务，得到该任意两个服务所对应的流量时间序列，并计算出两流量时间序列的相关性，其相关性如果超过阈值t的服务队，则可以加入路径候选集合，其中t为设定的阈值参数，为基准数值，进而对服务进行筛选，若相关性未超过阈值t，则不能加入路径候选集合。
52.最后将各服务作为节点，再将已经确定的路径候选集合的每个元素作为边，进而构成服务路径图，作出系统的最终输出，由此已得到所需要的的服务路径。
53.本发明实施例提供了一种服务路径自动发现方法，通过先寻找服务端点，再对各服务端点进行聚类，进而找出相应的服务，最后再对各服务之间的关联关系进行分析，寻找服务路径。在传统梳理流量成生成流量路径图的过程，需要花费较多的人力和时间，而本发明中提供的自动化方式从大量流量中发现服务，从而减少了人工梳理的成本，同时，能够发现服务之间的关系寻找服务路径，进而有助于理解实际的网络拓扑。
54.本发明实施例还提供了一种服务路径自动发现系统，该系统包含寻找模块、聚类模块以及分析模块三大类，其中寻找模块主要用于获取网络数据包，从而能够在网络数据包中去寻找服务端点。在寻找服务端点的过程中，解析所获得的网络数据包，在解析网络数据包的同时，从中找出所有通讯端点，其中通讯端点包括ip和通讯对端，找出通讯端点之后，再对通讯对端的数目进行统计。
55.每个网络通讯对有两个相应的通讯端点，针对每个网络通讯对中的两个通讯端点，在刚统计完成的通讯对端中，将通讯对端多的端口作为服务端口，并做出相应的标记；当遇到通讯对端的数目出现相同的情形时，则可以将端口号小的通讯端点作为服务端点，并作出相应的标记。
56.在聚类模块当中，聚类模块主要用于将寻找的服务端点进行聚类，从中找出服务。针对于每个寻找到的服务端点，开始收集与服务端点相关的网络流量特征，本实施例中的网络流量特征包含了端口号、通讯对端集合、接收到的数据包及发出的数据包。收集完成网络流量特征之后，需要对相应的网络流量特征进行提取和转换，其中对网络流量特征的提取包括了端口号、流量最多的若干个客户端的ip地址、以及流入数据包和流出数据包的字符统计特征。将以上提取的网络流量特征进行合并，由此生成一个特征向量，再对生成的特征向量应用聚类算法进行计算，由聚类算法计算得到的聚类，最终会作为服务进行输出。
57.找到相应的服务之后，需要进行分析，而分析模块就是依据找到的服务，进而对各服务之间的关系进行分析，得到彼此之间的关联关系，进而再寻找相应的服务路径。在分析模块当中，对每个服务我们都需要在设定的时间内计算出收到的包数，我们将w作为时间窗口的参数，而时间窗口w可以任意选择为1秒、10秒或1分钟等，对该选择的时间窗口w内所收到的所有包数进行计算，进而形成流量时间序列。
58.选择出众多服务当中的任意两个，并计算出与之相对应的两个流量时间序列的相关性，再设定一个基准值作为阈值t，将计算得到的相关性与阈值t做对比，由此可将相关性超过阈值t的服务队加入路径候选集合。最后经各服务作为节点，再将得到的路径候选集合内的每个元素作为边，进而能够构成一幅图，即索要得到的服务路径图，并将其作为系统的输出。
59.本发明实施例提供了一种服务路径自动发现系统，通过寻找模块、聚类模块以及分析模块三者，依次实现寻找服务端点、寻找服务、以及分析服务之间的关系并得到服务路径。由此在服务发现的同时能够发现服务的关系及整体路径图，使发现服务变得更加简单，减少了人工投入的成本。
60.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
61.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。