一种网络被动性能测量系统及其方法

文档序号:7802928阅读:219来源:国知局
一种网络被动性能测量系统及其方法
【专利摘要】本发明公开了一种网络被动性能测量方法,该测量方法应用于网络通信的端节点、中介节点或网络通信的通信路径中,对网络中不同协议和/或业务的被动性能进行测量,该测量方法包括:基本指标测量步骤和指标汇总步骤,基本指标测量步骤用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量不同协议和/或业务的被动性能的基本指标,指标汇总步骤用于对被动性能的基本指标进行汇总统计得到不同协议和/或业务的汇总指标。本发明还公开了一种网络被动性能测量系统。
【专利说明】一种网络被动性能测量系统及其方法
【技术领域】
[0001]本发明涉及计算机网络性能测量,特别涉及一种网络被动性能测量系统及其方法。
【背景技术】
[0002]网络性能测量可以为网络设备和协议的设计开发以及互联网流量工程和网络行为学的研究提供辅助验证平台,对于了解网络运行状况,对网络进行有效的监控和管理,提供网络应用的QoS保证,保障网络安全,防范网络攻击等方面都有重要意义。
[0003]网络性能测量又可分为主动性能测量和被动性能测量,主动测量是在选定的测量点上利用测量工具有目的地主动产生测量流量注入网络,并根据测量数据流的传送情况来分析网络的性能;被动测量是指在链路或设备(如路由器,交换机等)上对网络进行监测,而不需要产生流量的测量方法。主动测量通过人为的控制可以获得精确的性能指标数据,但主动向网络中注入的流量对网络会造成影响;被动测量不会影响网络的运行,所获得的都是网络运行的真实客观数据,但限于所处的网络环境,对有些性能指标如往返RTT等不能得到精确的数据。但被动测量可以客观反映网络运行状况,可以在用户感知的角度评价网络,因此也是网络性能测量的重要组成部分。
[0004]当前在网络性能测量领域,多数研究和系统集中于主动性能测量,对于被动性能测量少有涉及,但被动性能测量对网络应用运行状况的客观反映是网络运行数据的第一手资料,对于有效的网络监控管理以及网络应用性能提升等都很有价值。

【发明内容】

[0005]本发明所要解决的技术问题在于提供一种网络被动性能测量系统及其方法,应用于真实网络中业务及协议的被动性能测量,以克服现有技术中的被动性能测量的灵活性和测量粒度问题。
[0006]为达上述目的,本发明提供了一种网络被动性能测量方法,所述测量方法应用于网络通信的端节点、中介节点或网络通信的通信路径中,对网络中不同协议和业务的被动性能进行测量,其特征在于,所述测量方法包括:
[0007]基本指标测量步骤:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量所述不同协议和/或业务的所述被动性能的基本指标;
[0008]指标汇总步骤:用于对所述被动性能的基本指标进行汇总统计得到所述不同协议和/或业务的汇总指标。
[0009]上述网络被动性能测量方法,其特征在于,所述特征包括:控制协议特征和数据协议特征;所述层次包括:业务层次和协议层次;所述输出方式包括:基本指标输出方式和汇总指标输出方式;所述测量内容包括:时延指标、流量指标和传输指标。
[0010]上述网络被动性能测量方法,其特征在于,所述基本指标测量步骤包括:
[0011 ] 控制协议基本指标测量步骤:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标;
[0012]数据协议基本指标测量步骤:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标;
[0013]混合协议基本指标测量步骤:以混合协议最小测量粒度,在混合协议测量时刻,测量混合协议基本指标,所述混合协议基本指标中包含所述混合协议控制部分的基本指标和所述混合协议数据部分的基本指标以及所述混合协议整体的基本指标;
[0014]业务基本指标测量步骤:测量业务基本指标,所述业务基本指标包含所述业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
[0015]上述网络被动性能测量方法,其特征在于,所述控制协议及所述混合协议的控制部分的最小测量粒度为一个网络请求响应对,所述控制协议及所述混合协议的控制部分的测量时刻为请求方收到响应时或超时仍未收到响应时。
[0016]上述网络被动性能测量方法,其特征在于,所述数据协议及所述混合协议的数据部分的最小测量粒度为一次端到端的传输过程,所述数据协议及所述混合协议的数据部分的测量时刻为按照周期测量。
[0017]上述网络被动性能测量方法,其特征在于,所述混合协议整体及所述业务整体的最小测量粒度为一次混合协议或业务操作过程,所述混合协议整体及所述业务整体的测量时刻为混合协议或业务操作过程的各个关键节点完成时或某个关键节点超时时。
[0018]上述网络被动性 能测量方法,其特征在于,所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标都包含:基本?目息、时延指标、流量指标和传输指标。
[0019]上述网络被动性能测量方法,其特征在于,所述业务基本指标测量步骤还包括:
[0020]业务指标关联步骤:同一个业务所含的各个协议指标通过所述控制协议基本指标的基本彳目息、所述数据协议基本指标的基本彳目息和所述混合协议基本指标的基本彳目息中的共同的业务标识进行相互关联,输出业务基本指标。
[0021]上述网络被动性能测量方法,其特征在于,所述混合协议基本指标测量步骤还包括:
[0022]协议指标关联步骤:所述混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出所述混合协议基本指标。
[0023]上述网络被动性能测量方法,其特征在于,所述指标汇总步骤包括:
[0024]控制协议基本指标汇总步骤:汇总所述控制协议基本指标测量步骤产生的所述控制协议基本指标;
[0025]数据协议基本指标汇总步骤:汇总所述数据协议基本指标测量步骤产生的所述数据协议基本指标;
[0026]混合协议基本指标汇总步骤:汇总所述混合协议基本指标测量步骤产生的所述混合协议基本指标;
[0027]业务基本指标汇总步骤:汇总所述业务基本指标测量步骤产生的所述业务基本指标。
[0028]上述网络被动性能测量方法,其特征在于,所述控制协议基本指标汇总步骤、数据协议基本指标汇总步骤、混合协议基本指标汇总步骤和业务基本指标汇总步骤都包括:
[0029]汇总指标关联步骤:根据所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联。
[0030]上述网络被动性能测量方法,其特征在于,所述控制协议基本指标汇总步骤、数据协议基本指标汇总步骤、混合协议基本指标汇总步骤和业务基本指标汇总步骤都还包括:
[0031]基本信息汇总步骤:汇总基本指标的基本信息,所述基本信息包括:所述控制协议基本指标的基本彳目息、所述数据协议基本指标的基本彳目息、所述混合协议基本指标的基本信息或所述业务基本指标的基本信息;
[0032]时延指标汇总步骤:汇总基本指标的时延指标,所述时延指标包括:所述控制协议时延指标、所述数据协议时延指标、所述混合协议时延指标或所述业务时延指标;
[0033]流量指标汇总步骤:汇总基本指标的流量指标,所述流量指标包括:所述控制协议流量指标、所述数据协议流量指标、所述混合协议流量指标或所述业务流量指标;
[0034]传输指标汇总步骤:汇总基本指标的传输指标,所述传输指标包括:所述控制协议传输指标、所述数据协议传输指标、所述混合协议传输指标或所述业务传输指标。
[0035]本发明还提供一种网络被动性能测量系统,采用如权利要求1-12中任一项所述网络被动性能测量方法,其特征在于,所述测量系统包括:
[0036]基本指标测量模块:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量所述不同协议和/或业务的所述被动性能的基本指标;
[0037]指标汇总模块:用于对所述被动性能的基本指标进行汇总统计得到所述不同协议和/或业务的汇总指标。
[0038]上述网络被动性能测量系统,其特征在于,所述特征包括:控制协议特征和数据协议特征;所述层次包括:业务层次和协议层次;所述输出方式包括:基本指标输出方式和汇总指标输出方式;所述测量内容包括:时延指标、流量指标和传输指标。
[0039]上述网络被动性能测量系统,其特征在于,所述基本指标测量模块包括:
[0040]控制协议基本指标测量模块:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标;
[0041]数据协议基本指标测量模块:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标;
[0042]混合协议基本指标测量模块:以混合协议最小测量粒度,在混合协议测量时刻,测量混合协议基本指标,所述混合协议基本指标中包含所述混合协议控制部分的基本指标和所述混合协议数据部分的基本指标以及所述混合协议整体的基本指标;
[0043]业务基本指标测量模块:测量业务基本指标,所述业务基本指标包含所述业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
[0044]上述网络被动性能测量系统,其特征在于,所述控制协议基本指标、数据协议基本指标、混合协议基本指 标和业务基本指标都包含:基本?目息、时延指标、流量指标和传输指标。
[0045]上述网络被动性能测量系统,其特征在于,所述业务基本指标测量模块还包括:[0046]业务指标关联模块:同一个业务所含的各个协议指标通过所述控制协议基本指标的基本信息、所述数据协议基本指标的基本信息和所述混合协议基本指标的基本信息中共同的业务标识进行相互关联,输出整个业务基本指标。
[0047]上述网络被动性能测量系统,其特征在于,所述混合协议基本指标测量模块还包括:
[0048]协议指标关联模块:所述混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出所述混合协议基本指标。
[0049]上述网络被动性能测量系统,其特征在于,所述指标汇总模块包括:
[0050]控制协议基本指标汇总模块:汇总所述控制协议基本指标测量模块产生的所述控制协议基本指标;
[0051 ] 数据协议基本指标汇总模块:汇总所述数据协议基本指标测量模块产生的所述数据协议基本指标;
[0052]混合协议基本指标汇总模块:汇总所述混合协议基本指标测量模块产生的所述混合协议基本指标;
[0053]业务基本指标汇总模块:汇总所述业务基本指标测量模块产生的所述业务基本指标。
[0054]上述网络被动性能测量系统,其特征在于,所述控制协议基本指标汇总模块、数据协议基本指标汇总模块、混合协议基本指标汇总模块和业务基本指标汇总模块都包括:
[0055]汇总指标关联模块:根据所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联。
[0056]上述网络被动性能测量系统,其特征在于,所述控制协议基本指标汇总模块、数据协议基本指标汇总模块、混合协议基本指标汇总模块和业务基本指标汇总模块都还包括:
[0057]基本信息汇总模块:汇总基本指标的基本信息,所述基本信息包括:所述控制协议基本指标的基本彳目息、所述数据协议基本指标的基本彳目息、所述混合协议基本指标的基本信息或所述业务基本指标的基本信息;
[0058]时延指标汇总模块:汇总基本指标的时延指标,所述时延指标包括:所述控制协议时延指标、所述数据协议时延指标、所述混合协议时延指标或所述业务时延指标;
[0059]流量指标汇总模块:汇总基本指标的流量指标,所述流量指标包括:所述控制协议流量指标、所述数据协议流量指标、所述混合协议流量指标或所述业务流量指标;
[0060]传输指标汇总|吴块:汇总基本指标的传输指标,所述传输指标包括:所述控制协议传输指标、所述数据协议传输指标、所述混合协议传输指标或所述业务传输指标。
[0061]与现有技术相比,本发明的有益效果在于:本发明提出的网络被动性能测量的指标体系和测量方法能够适用于多种网络业务及协议的被动性能测量,通过区分基本指标与汇总指标以及全面覆盖时延指标、流量指标和传输指标,实现了最细粒度的测量与最灵活全面的数据输出,本方法对被动性能测量在网络中得到全面有效的应用有很大的意义。
【专利附图】

【附图说明】
[0062]图1为本发明网络被动性能测量方法步骤示意图;[0063]图2为本发明指标关联步骤示意图;
[0064]图3A~图3D为本发明基本指标汇总详细步骤示意图;
[0065]图4为本发明网络被动性能测量方法具体实施例步骤示意图;
[0066]图5为本发明网络被动性能测量系统结构示意图;
[0067]图6A~图6D为本发明基本指标汇总模块结构示意图。
[0068]其中,附图标记:
[0069]I基本指标测量模块2指标汇总模块
[0070]11控制协议基本指标测量模块 12数据协议基本指标测量模块
[0071]13混合协议基本指标测量模块 14业务基本指标测量模块
[0072]21控制协议基本指标汇总模块 22数据协议基本指标汇总模块
[0073]23混合协议基本指标汇总模块 24业务基本指标汇总模块
[0074]131协议指标关联|吴块141业务指标关联I旲块
[0075]211汇总指标关联模块
[0076]212基本信息汇总模块213时延指标汇总模块
[0077]214流量指标汇总模块215传输指标汇总模块
[0078]221汇总指标关联模块
[0079]222基本信息汇总模块223时延指标汇总模块
[0080]224流量指标汇总模块225传输指标汇总模块
[0081]231汇总指标关 联模块
[0082]232基本信息汇总模块233时延指标汇总模块
[0083]234流量指标汇总模块235传输指标汇总模块
[0084]241汇总指标关联模块
[0085]242基本信息汇总模块243时延指标汇总模块
[0086]244流量指标汇总模块245传输指标汇总模块
[0087]SI ~S2、S11 ~S14、S21 ~S24、S211 ~S215、S221 ~S225、S231 ~S235、S101 ~S104、S201~S204:本发明各实施例的施行步骤
【具体实施方式】
[0088]下面给出本发明的【具体实施方式】,结合图示对本发明做出了详细描述。
[0089]本发明的目的是提出一种在实际网络环境中对网络业务及协议能进行全面有效的被动性能测量的通用的指标体系和测量方法。网络中存在多种业务及协议,用户对网络性能的感知基本上是通过所运行的网络协议或业务的性能来感知的。本发明在全面分析网络业务及协议特点的基础上,提出了通用于各种网络业务及协议的被动性能测量指标体系及其测量方法,可以应用于各种网络业务或协议,或业务和协议的被动性能测量。
[0090]图1为本发明网络被动性能测量方法步骤示意图,如图1所示,本发明提供的一种网络被动性能测量方法,测量方法应用于网络通信的端节点、中介节点或网络通信的通信路径中,对网络中不同协议和业务的被动性能进行测量,测量方法包括:
[0091]基本指标测量步骤S1:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量不同协议和/或业务的被动性能的基本指标;[0092]指标汇总步骤S2:用于对被动性能的基本指标进行汇总统计得到不同协议和/或业务的汇总指标。
[0093]其中,不同协议和业务的特征包括:控制协议特征和数据协议特征;层次包括:业务层次和协议层次;输出方式包括:基本指标输出方式和汇总指标输出方式;测量内容包括:时延指标、流量指标和传输指标。
[0094]其中,基本指标测量步骤SI包括:
[0095]控制协议基本指标测量步骤Sll:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标;
[0096]数据协议基本指标测量步骤S12:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标;
[0097]混合协议基本指标测量步骤S13:以混合协议最小测量粒度,在混合协议测量时亥Ij,测量混合协议基本指标,混合协议基本指标中包含混合协议控制部分的基本指标和混合协议数据部分的基本指标以及混合协议整体的基本指标;
[0098]业务基本指标测量步骤S14:测量业务基本指标,业务基本指标包含业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
[0099]其中,图2为本发明指标关联步骤示意图,如图2所示,业务基本指标测量步骤S14还包括:
[0100]业务指标关联步骤S141:同一个业务所含的各个协议指标通过控制协议基本指标的基本彳目息、数据协议基本指标的基本彳目息和混合协议基本指标的基本信息中的共同的业务标识进行相互关联,输出业务基本指标。
[0101]其中,如图2所示,混合协议基本指标测量步骤S13还包括:
[0102]协议指标关联步骤S131:混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出混合协议基本指标。
[0103]其中,控制协议及混合协议的控制部分的最小测量粒度为一个网络请求响应对,控制协议及混合协议的控制部分的测量时刻为请求方收到响应时或超时仍未收到响应时。
[0104]其中,数据协议及混合协议的数据部分的最小测量粒度为一次端到端的传输过程,数据协议及混合协议的数据部分的测量时刻为按照周期测量。
[0105]其中,混合协议整体及业务整体的最小测量粒度为一次混合协议或业务操作过程,混合协议整体及业务整体的测量时刻为混合协议或业务操作过程的各个关键节点完成时或某个关键节点超时时。
[0106]其中,控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标都包含:基本信息、时延指标、流量指标和传输指标。
[0107]其中,指标汇总步骤S2包括:
[0108]控制协议基本指标汇总步骤S21:汇总控制协议基本指标测量步骤产生的控制协议基本指标;
[0109]数据协议基本指标汇总步骤S22:汇总数据协议基本指标测量步骤产生的数据协议基本指标;
[0110]混合协议基本指标汇总步骤S23:汇总混合协议基本指标测量步骤产生的混合协议基本指标;
[0111]业务基本指标汇总步骤S24:汇总业务基本指标测量步骤产生的业务基本指标。
[0112]其中,图3A?图3D为本发明基本指标汇总详细步骤示意图,如图3A?图3D所示,控制协议基本指标汇总步骤S21还包括:
[0113]汇总指标关联步骤S211:根据控制协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0114]基本信息汇总步骤S212:汇总控制协议基本指标的基本信息;
[0115]时延指标汇总步骤S213:汇总控制协议基本指标的时延指标;
[0116]流量指标汇总步骤S214:汇总控制协议基本指标的流量指标;
[0117]传输指标汇总步骤S215:汇总控制协议基本指标的传输指标。
[0118]其中,数据协议基本指标汇总步骤S22还包括:
[0119]汇总指标关联步骤S221:根据数据协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0120]基本信息汇总步骤S222:汇总数据协议基本指标的基本信息;
[0121 ] 时延指标汇总步骤S223:汇总数据协议基本指标的时延指标;
[0122]流量指标汇总步骤S224:汇总数据协议基本指标的流量指标;
[0123]传输指标汇总步骤S225:汇总数据协议基本指标的传输指标。
[0124]其中,混合协议基本指标汇总步骤S23还包括:
[0125]汇总指标关联步骤S231:根据混合协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0126]基本信息汇总步骤S232:汇总混合协议基本指标的基本信息;
[0127]时延指标汇总步骤S233:汇总混合协议基本指标的时延指标;
[0128]流量指标汇总步骤S234:汇总混合协议基本指标的流量指标;
[0129]传输指标汇总步骤S235:汇总混合协议基本指标的传输指标。
[0130]其中,业务基本指标汇总步骤S24还包括:
[0131]汇总指标关联步骤S241:根据业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0132]基本信息汇总步骤S242:汇总业务基本指标的基本信息;
[0133]时延指标汇总步骤S243:汇总业务基本指标的时延指标;
[0134]流量指标汇总步骤S244:汇总业务基本指标的流量指标;
[0135]传输指标汇总步骤S245:汇总业务基本指标的传输指标。
[0136]以下结合图示说明本发明具体实施例的步骤,图4为本发明网络被动性能测量方法具体实施例步骤示意图,如图4所示,本发明测量方法的一具体实施例,说明网络被动性能测量方法。
[0137]本发明提出的被动性能测量方法具有以下特征:
[0138]测量分为业务层面和协议层面,将业务看作它的所有相关协议的一个组合,支持网络各层协议的性能以及应用层数据、话音、视频、多媒体等业务的性能的实时测量,支持多种协议多层协议的组合测量。
[0139]将协议分为控制协议和数据协议,根据各自不同的特征分别测量输出不同的性能指标;
[0140]按性能指标测量及输出方式的不同,分为基本指标和汇总指标,基本指标通过网络实时测量获得,测量粒度为能达到的最小粒度,从而获得最多的客观性能数据;汇总指标通过对基本指标作进一步的计算统计汇总得到,可以对多种类多层次的对象做汇总,灵活满足用户的需求;
[0141]按照指标测量内容的不同,分为时延指标、流量指标、传输指标三类,全面覆盖网络性能测量的各个方面;
[0142]测量点的设置没有限制,可以设在网络通信的端节点,也可以设在网络通信的中间节点或是网络通信路径中,只要能够接收到要测量的网络业务或协议通信的数据包就可以。
[0143]按照指标计算层次的不同,可以分为基本指标和汇总指标,基本指标由测量系统实时测量得到,需要精确到测量可以实现的最小粒度,以提供最丰富的第一手客观数据;汇总指标从基本指标通过计算统计转化得到,可以按需要做多级测量粒度的汇总。根据测量内容的不同,指标可以分为三个部分:流量指标、时延指标、传输指标。此外指标每次输出时还需要携带有一些指标基本信息,主要包括指标输出时间、统计时间段、输出指标的测量系统相关彳目息、指标标识彳目息和指标对应的协议/业务相关彳目息等。这些指标基本彳目息主要用于区分不同测量输出的指标,也便于作进一步的计算统计等。指标之间有三种关联关系:协议关联、业务关联与汇总关联。
[0144]以下具体说明各种网络业务及协议的指标及测量方法。
[0145]按照协议流量在网络上传输的特点及起到的作用,协议可以分为控制和数据两部分,有的协议是纯粹的控制协议,如RTSP协议,有的协议是纯粹的数据协议,如RTP协议,有的协议是两者的混合,如FTP协议,业务则一般都是两者的混合。控制协议流量的特点就是存在请求应答这样的双向互动,传输的数据内容不多;数据协议流量的特点是一般是单向的数据传输,传输的数据量很大。根据这两类流量的不同特点,在指标设计与输出上都有不同,控制协议侧重控制响应的成功率及响应时延等,数据协议则侧重数据传输的速率、丢包率和抖动等;控制协议可以在一次请求响应对完成时输出,数据协议由于传输过程较长,则需要针对一次传输过程作周期输出。对于混合协议或业务,可以针对控制部分和数据部分,分别设计独立的指标输出接口,同时针对一次混合协议或业务操作过程,可以通过协议关联或业务关联输出整体的指标。
[0146]步骤SlOl:对于没有请求应答这样的双向互动的数据传输类协议,测量的最小粒度就是一次端到端的传输过程,由于传输过程持续时间不定,有可能很长,指标输出采用周期输出的方式。各部分指标说明如下:
[0147]基本信息:指标标识信息为能唯一有效标识一次传输过程的标志性信息,对于传输层以上,一般是流的五元组,对于网络层是网络层源目地址对,对于链路层是链路层源目地址对。协议/业务相关信息与具体协议/业务相关,如FTP的文件名等。这类指标通过记录接收数据包的相关信息来得到。
[0148]时延指标:时间相关的指标,如传输持续时间、传输报文间隔时延等。这类指标通过记录接收数据包的时间来测量。
[0149]流量指标:流量相关的指标,主要是不同类型报文个数及大小的统计。这类指标通过对接收数据包进行相关统计来测量。
[0150]传输指标:传输相关的指标,如传输速率等。这类指标通过相关时延指标和流量指标进行相应计算得到。
[0151]如以太网协议、IP协议、UDP协议、RTP协议以及其他协议/业务的数据部分等都
属于这类数据协议。
[0152]步骤S102:对于控制协议,测量的最小粒度是一个请求响应对。指标输出时机为收到响应时或超时仍未收到响应时。各部分指标说明如下:
[0153]基本信息:指标标识信息为能唯一有效标识一个请求响应对所属会话的标志性信息。协议/业务相关信息与具体协议/业务相关,如请求响应类型及携带参数等。这类指标通过记录接收数据包的相关信息来得到。
[0154]时延指标:时间相关的指标,如请求时间、响应时间、响应时延等。这类指标通过记录接收数据包的时间来测量。
[0155]流量指标:流量相关的指标,如请求响应的报文字节数等。这类指标通过对接收数据包进行相关统计来测量。
[0156]传输指标:传输相关的指标,如请求响应的重传次数等。这类指标通过接收时对特定数据包的判断和相关信息记录来得到。
[0157]如RTSP协议、SIP协议以及其他协议/业务的控制部分等都属于这类控制协议。
[0158]步骤S103:对于混合协议,测量的最小粒度是一次混合协议操作过程。指标输出时机为混合协议操作过程的各个关键节点完成时或某个关键节点未发生而超时时。各部分指标说明如下:
[0159]基本信息:指标标识信息为能唯一有效标识一次混合协议操作过程的标志性信息,如FTP协议的会话标识。协议/业务相关信息与具体协议/业务相关,如FTP协议的下载文件名等。这类指标通过记录接收数据包的相关信息来得到。
[0160]时延指标:时间相关的指标,如混合协议操作过程各个阶段的时延等。这类指标通过记录接收数据包的时间来测量。
[0161]流量指标:流量相关的指标,如混合协议的各类报文个数和字节数统计等。这类指标通过对接收数据包进行相关统计来测量。
[0162]传输指标:传输相关的指标,如混合协议操作过程各个阶段的传输速率、报文重传率等。这类指标通过相关时延指标和流量指标进行相应计算得到或是通过接收时对特定数据包的判断和相关信息记录来得到。
[0163]步骤S1031:协议指标关联,同属一次混合协议操作过程的控制部分和数据部分具有相同的标志性信息,从而可以相互关联输出混合协议的基本指标。
[0164]步骤S104:业务是协议的集合,一般包括控制协议、数据协议及混合协议中的任一种或任意组合,包括多个层次的多个协议。
[0165]测量的最小粒度是一次业务操作过程。指标输出时机为业务操作过程的各个关键节点完成时或某个关键节点未发生而超时时。各部分指标说明如下:
[0166]基本信息:指标标识信息为能唯一有效标识一次业务操作过程的标志性信息,如FTP协议的会话标识。协议/业务相关信息与具体协议/业务相关,如FTP协议的下载文件名等。这类指标通过记录接收数据包的相关信息来得到。[0167]时延指标:时间相关的指标,如业务操作过程各个阶段的时延等。这类指标通过记录接收数据包的时间来测量。
[0168]流量指标:流量相关的指标,如业务的各类报文个数和字节数统计等。这类指标通过对接收数据包进行相关统计来测量。
[0169]传输指标:传输相关的指标,如业务操作过程各个阶段的传输速率、报文重传率等。这类指标通过相关时延指标和流量指标进行相应计算得到或是通过接收时对特定数据包的判断和相关信息记录来得到。
[0170]步骤S1041:同一业务的各个协议指标需要通过业务标识信息相互关联输出;业务指标中包括控制协议、数据协议及混合协议中任一种或任意组合,包括多个层次的多个协议。同属一次业务操作过程的业务所含协议具有相同的标志性信息,从而可以相互关联输出业务的基本指标。
[0171]例如一次视频业务过程可以包括TCP协议的三次握手过程、DNS协议解析过程、RTSP协议控制信令交互过程、RTP协议数据传输过程,以及这些协议在IP层、以太网层的传输过程。这些协议过程的共同点是同属于一次视频业务过程,这可以通过解析这些协议的IP地址、端口号以及控制协议中协商的相关信息的关联来得到,因此可以对这些协议的指标设定相同的业务标识信息,测量时对每种协议都可以得出各自相应的指标,所有指标通过相同的业务标识信息相互关联输出。
[0172]以上详细说明了各种协议、业务的基本指标设计和测量方法,汇总指标则是由上述基本指标按需要汇总得到的。汇总对象可以是测量对象、测量时间、测量用户、测量协议/业务、测量系统等。汇总指标涉及到的一个关键问题是基本指标的关联,这主要通过基本指标的基本信息部分来实现,有时其他部分的指标信息也可能需要用到,根据基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,与汇总对象的信息相符合的基本指标就是需要汇总的基本指标。例如对两个测量对象A和B,测量时间Tl到T2的基本指标进行汇总,所有基本指标的关联就通过基本指标中的测量对象和测量时间信息来实现,检索基本指标中的测量对象和测量时间信息,符合指定的汇总对象信息,即测量对象为A或B,且测量时间落在Tl到T2的区间范围的基本指标就是需要汇总的基本指标。
[0173]各部分指标的汇总方式说明如下:
[0174]步骤S201:控制协议汇总指标步骤:
[0175]基本信息:这部分直接汇总为一个信息集合,作为汇总指标对应的基本信息部分,根据情况不同,基本指标的基本信息部分沿用为汇总指标的基本信息或成为汇总指标的基本信息的子集。其中作为检索关联信息的基本信息必须以汇总形式出现在汇总指标中,其余基本信息可以看情况忽略或汇合成信息集合展示。
[0176]时延指标:汇总指标的开始时间取所有被汇总的基本指标的最早时间;汇总指标的结束时间取所有被汇总的基本指标的最晚时间;汇总指标的持续时间/时延为汇总指标的结束时间与汇总指标的开始时间之差,或是被汇总的基本指标的持续时间/时延的累加和,或是被汇总的基本指标的持续时间/时延的最大值、最小值、平均值、中值、方差等。
[0177]流量指标:汇总指标的不同类型报文个数及大小的统计值为所有被汇总的基本指标的不同类型报文个数及大小的统计值的累加和,看情况也可以取最大值、最小值、平均值
坐寸ο[0178]传输指标:对于控制协议,汇总指标的重传次数由所有被汇总的基本指标的重传次数计算累加和或计算最大值、最小值、平均值、中值等。
[0179]步骤S2011:汇总关联步骤,汇总指标涉及到的一个关键问题是基本指标的关联,这主要通过基本指标的基本信息部分来实现,有时其他部分的指标信息也可能需要用到,根据基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,与汇总对象的信息相符合的基本指标就是需要汇总的基本指标。
[0180]步骤S202:数据协议汇总指标步骤:
[0181]基本信息:这部分直接汇总为一个信息集合,作为汇总指标对应的基本信息部分,根据情况不同,基本指标的基本信息部分沿用为汇总指标的基本信息或成为汇总指标的基本信息的子集。其中作为检索关联信息的基本信息必须以汇总形式出现在汇总指标中,其余基本信息可以看情况忽略或汇合成信息集合展示。
[0182]时延指标:汇总指标的开始时间取所有被汇总的基本指标的最早时间;汇总指标的结束时间取所有被汇总的基本指标的最晚时间;汇总指标的持续时间/时延为汇总指标的结束时间与汇总指标的开始时间之差,或是被汇总的基本指标的持续时间/时延的累加和,或是被汇总的基本指标的持续时间/时延的最大值、最小值、平均值、中值、方差等。
[0183]流量指标:汇总指标的不同类型报文个数及大小的统计值为所有被汇总的基本指标的不同类型报文个数及大小的统计值的累加和,看情况也可以取最大值、最小值、平均值
坐寸ο
[0184]传输指标:对于数据协议,汇总指标的传输速率为:(所有被汇总的基本指标的传输速率X该传输速率对应的测量周期时长)/汇总指标的传输速率对应的测量周期时长。
[0185]步骤S2021:汇总关联步骤,汇总指标涉及到的一个关键问题是基本指标的关联,这主要通过基本指标的基本信息部分来实现,有时其他部分的指标信息也可能需要用到,根据基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,与汇总对象的信息相符合的基本指标就是需要汇总的基本指标。
[0186]步骤S203:混合协议汇总指标步骤:
[0187]基本信息:汇总混合协议数据部分和控制部分基本信息;
[0188]时延指标:汇总混合协议数据部分和控制部分时延指标信息;
[0189]流量指标:汇总混合协议数据部分和控制部分流量指标信息;
[0190]传输指标:汇总混合协议数据部分和控制部分传输指标信息。
[0191]步骤S2031:汇总关联步骤,汇总指标涉及到的一个关键问题是基本指标的关联,这主要通过基本指标的基本信息部分来实现,有时其他部分的指标信息也可能需要用到,根据基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,与汇总对象的信息相符合的基本指标就是需要汇总的基本指标。
[0192]步骤S204:业务汇总指标步骤:
[0193]基本信息:汇总业务的基本信息;
[0194]时延指标:汇总业务的时延指标信息;
[0195]流量指标:汇总业务的流量指标信息;
[0196]传输指标:汇总业务的传输指标信息。
[0197]步骤S2041:汇总指标关联步骤,汇总指标涉及到的一个关键问题是基本指标的关联,这主要通过基本指标的基本信息部分来实现,有时其他部分的指标信息也可能需要用到,根据基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,与汇总对象的信息相符合的基本指标就是需要汇总的基本指标。
[0198]如上所述,本发明提出的指标体系和测量方法适用于各类网络业务及协议的被动性能测量。
[0199]图5为本发明网络被动性能测量系统结构示意图,如图5所示,本发明提供的一种网络被动性能测量系统,该测量系统包括:
[0200]基本指标测量模块1:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量不同协议和/或业务的被动性能的基本指标;
[0201]指标汇总模块2:用于对被动性能的基本指标进行汇总统计得到不同协议和/或业务的汇总指标。
[0202]其中,基本指标测量模块I中的特征包括:控制协议特征和数据协议特征;层次包括:业务层次和协议层次;输出方式包括:基本指标输出方式和汇总指标输出方式;测量内容包括:时延指标、流量指标和传输指标。
[0203]其中,基本指标测量模块I包括:
[0204]控制协议基本指标测量模块11:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标;
[0205]数据协议基本指标测量模块12:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标;
[0206]混合协议基本指标测量模块13:以混合协议最小测量粒度,在混合协议测量时刻,测量混合协议基本指标,混合协议基本指标中包含混合协议控制部分的基本指标和混合协议数据部分的基本指标以及混合协议整体的基本指标;
[0207]业务基本指标测量|旲块14:测量业务基本指标,业务基本指标包含业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
[0208]其中,业务基本指标测量模块14还包括:
[0209]业务指标关联模块141:同一个业务所含的各个协议指标通过控制协议基本指标的基本/[目息、数据协议基本指标的基本/[目息和混合协议基本指标的基本/[目息中共同的业务标识进行相互关联,输出整个业务基本指标。
[0210]其中,混合协议基本指标测量模块13还包括:
[0211]协议指标关联|吴块131:混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出混合协议基本指标。
[0212]其中,指标汇总申旲块2包括:
[0213]控制协议基本指标汇总模块21:汇总控制协议基本指标测量模块产生的控制协议基本指标;
[0214]数据协议基本指标汇总模块22:汇总数据协议基本指标测量模块产生的数据协议基本指标;
[0215]混合协议基本指标汇总模块23:汇总混合协议基本指标测量模块产生的混合协议基本指标;[0216]业务基本指标汇总模块24:汇总业务基本指标测量模块产生的业务基本指标。
[0217]其中,图6A?图6D为本发明基本指标汇总模块结构示意图,如图6A?图6D所示,控制协议基本指标汇总模块21还包括:
[0218]汇总指标关联模块211:根据控制协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0219]基本信息汇总模块212:汇总控制协议基本指标的基本信息;
[0220]时延指标汇总模块213:汇总控制协议基本指标的时延指标;
[0221]流量指标汇总|吴块214:汇总控制协议基本指标的流量指标;
[0222]传输指标汇总模块215:汇总控制协议基本指标的传输指标。
[0223]其中,数据协议基本指标汇总模块22还包括:
[0224]汇总指标关联模块221:根据数据协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0225]基本信息汇总模块222:汇总数据协议基本指标的基本信息;
[0226]时延指标汇总模块223:汇总数据协议基本指标的时延指标;
[0227]流量指标汇总模块224:汇总数据协议基本指标的流量指标;
[0228]传输指标汇总模块225:汇总数据协议基本指标的传输指标。
[0229]其中,混合协议基本指标汇总模块23还包括:
[0230]汇总指标关联模块231:根据混合协议基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0231]基本信息汇总模块232:汇总混合协议基本指标的基本信息;
[0232]时延指标汇总模块233:汇总混合协议基本指标的时延指标;
[0233]流量指标汇总模块234:汇总混合协议基本指标的流量指标;
[0234]传输指标汇总模块235:汇总混合协议基本指标的传输指标。
[0235]其中,业务基本指标汇总模块24还包括:
[0236]汇总指标关联模块241:根据业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联;
[0237]基本信息汇总模块242:汇总业务基本指标的基本信息;
[0238]时延指标汇总模块243:汇总业务基本指标的时延指标;
[0239]流量指标汇总模块244:汇总业务基本指标的流量指标;
[0240]传输指标汇总模块245:汇总业务基本指标的传输指标。
[0241]如上所述,本发明提出的被动测量系统适用于各类网络业务及协议的被动性能测量。
[0242]当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
【权利要求】
1.一种网络被动性能测量方法,所述测量方法应用于网络通信的端节点、中介节点或网络通信的通信路径中,对网络中不同协议和业务的被动性能进行测量,其特征在于,所述测量方法包括: 基本指标测量步骤:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量所述不同协议和/或业务的所述被动性能的基本指标; 指标汇总步骤:用于对所述被动性能的基本指标进行汇总统计得到所述不同协议和/或业务的汇总指标。
2.根据权利要求1所述网络被动性能测量方法,其特征在于,所述特征包括:控制协议特征和数据协议特征;所述层次包括:业务层次和协议层次;所述输出方式包括:基本指标输出方式和汇总指标输出方式;所述测量内容包括:时延指标、流量指标和传输指标。
3.根据权利要求2所述网络被动性能测量方法,其特征在于,所述基本指标测量步骤包括: 控制协议基本指标测量步骤:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标; 数据协议基本指标测量步骤:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标; 混合协议基本指标测量步骤:以混合协议最小测量粒度,在混合协议测量时刻,测量混合协议基本指标,所述混合协议基本指标中包含所述混合协议控制部分的基本指标和所述混合协议数据部分的基 本指标以及所述混合协议整体的基本指标; 业务基本指标测量步骤:测量业务基本指标,所述业务基本指标包含所述业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
4.根据权利要求3所述网络被动性能测量方法,其特征在于,所述控制协议及所述混合协议的控制部分的最小测量粒度为一个网络请求响应对,所述控制协议及所述混合协议的控制部分的测量时刻为请求方收到响应时或超时仍未收到响应时。
5.根据权利要求3所述网络被动性能测量方法,其特征在于,所述数据协议及所述混合协议的数据部分的最小测量粒度为一次端到端的传输过程,所述数据协议及所述混合协议的数据部分的测量时刻为按照周期测量。
6.根据权利要求3所述网络被动性能测量方法,其特征在于,所述混合协议整体及所述业务整体的最小测量粒度为一次混合协议或业务操作过程,所述混合协议整体及所述业务整体的测量时刻为混合协议或业务操作过程的各个关键节点完成时或某个关键节点超时时。
7.根据权利要求3所述网络被动性能测量方法,其特征在于,所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标都包含:基本?目息、时延指标、流量指标和传输指标。
8.根据权利要求3或7所述网络被动性能测量方法,其特征在于,所述业务基本指标测量步骤还包括: 业务指标关联步骤:同一个业务所含的各个协议指标通过所述控制协议基本指标的基本信息、所述数据协议基本指标的基本信息和所述混合协议基本指标的基本信息中的共同的业务标识进行相互关联,输出业务基本指标。
9.根据权利要求3或7所述网络被动性能测量方法,其特征在于,所述混合协议基本指标测量步骤还包括: 协议指标关联步骤:所述混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出所述混合协议基本指标。
10.根据权利要求1或3所述网络被动性能测量方法,其特征在于,所述指标汇总步骤包括: 控制协议基本指标汇总步骤:汇总所述控制协议基本指标测量步骤产生的所述控制协议基本指标; 数据协议基本指标汇总步骤:汇总所述数据协议基本指标测量步骤产生的所述数据协议基本指标; 混合协议基本指标汇总步骤:汇总所述混合协议基本指标测量步骤产生的所述混合协议基本指标; 业务基本指标汇总步骤:汇总所述业务基本指标测量步骤产生的所述业务基本指标。
11.根据权利要求10所述网络被动性能测量方法,其特征在于,所述控制协议基本指标汇总步骤、数据协议基本指标汇总步骤、混合协议基本指标汇总步骤和业务基本指标汇总步骤都包括: 汇总指标关联步骤:根据所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联。
12.根据权利要求10所述网络被动性能测量方法,其特征在于,所述控制协议基本指标汇总步骤、数据协议基本指标汇总步骤、混合协议基本指标汇总步骤和业务基本指标汇总步骤都还包括: 基本信息汇总步骤:汇总基本指标的基本信息,所述基本信息包括:所述控制协议基本指标的基本信息、所述数据协议基本指标的基本信息、所述混合协议基本指标的基本信息或所述业务基本指标的基本信息; 时延指标汇总步骤:汇总基本指标的时延指标,所述时延指标包括:所述控制协议时延指标、所述数据协议时延指标、所述混合协议时延指标或所述业务时延指标; 流量指标汇总步骤:汇总基本指标的流量指标,所述流量指标包括:所述控制协议流量指标、所述数据协议流量指标、所述混合协议流量指标或所述业务流量指标; 传输指标汇总步骤:汇总基本指标的传输指标,所述传输指标包括:所述控制协议传输指标、所述数据协议传输指标、所述混合协议传输指标或所述业务传输指标。
13.—种网络被动性能测量系统,采用如权利要求1-12中任一项所述网络被动性能测量方法,其特征在于,所述测量系统包括: 基本指标测量模块:用于根据不同协议和/或业务的特征、层次、输出方式和测量内容,组合测量所述不同协议和/或业务的所述被动性能的基本指标; 指标汇总模块:用于对所述被动性能的基本指标进行汇总统计得到所述不同协议和/或业务的汇总指标。
14.根据权利要求13所述网络被动性能测量系统,其特征在于,所述特征包括:控制协议特征和数据协议特征;所述层次包括:业务层次和协议层次;所述输出方式包括:基本指标输出方式和汇总指标输出方式;所述测量内容包括:时延指标、流量指标和传输指标。
15.根据权利要求14所述网络被动性能测量系统,其特征在于,所述基本指标测量模块包括: 控制协议基本指标测量模块:以控制协议最小测量粒度,在控制协议测量时刻,测量控制协议基本指标; 数据协议基本指标测量模块:以数据协议最小测量粒度,在数据协议测量时刻,测量数据协议基本指标; 混合协议基本指标测量模块:以混合协议最小测量粒度,在混合协议测量时刻,测量混合协议基本指标,所述混合协议基本指标中包含所述混合协议控制部分的基本指标和所述混合协议数据部分的基本指标以及所述混合协议整体的基本指标; 业务基本指标测量模块:测量业务基本指标,所述业务基本指标包含所述业务整体的基本指标以及其中所含协议的基本指标,所含协议的基本指标包含控制协议、数据协议及混合协议基本指标之任一或任意的组合。
16.根据权利要求15所述网络被动性能测量系统,其特征在于,所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标都包含:基本/[目息、时延指标、流量指标和传输指标。
17.根据权利要求15 所述网络被动性能测量系统,其特征在于,所述业务基本指标测量模块还包括: 业务指标关联模块:同一个业务所含的各个协议指标通过所述控制协议基本指标的基本信息、所述数据协议基本指标的基本信息和所述混合协议基本指标的基本信息中共同的业务标识进行相互关联,输出整个业务基本指标。
18.根据权利要求15所述网络被动性能测量系统,其特征在于,所述混合协议基本指标测量模块还包括: 协议指标关联1旲块:所述混合协议的控制部分基本指标和数据部分基本指标具有相同的标志性信息,相互关联输出所述混合协议基本指标。
19.根据权利要求13所述网络被动性能测量系统,其特征在于,所述指标汇总模块包括: 控制协议基本指标汇总模块:汇总所述控制协议基本指标测量模块产生的所述控制协议基本指标; 数据协议基本指标汇总模块:汇总所述数据协议基本指标测量模块产生的所述数据协议基本指标; 混合协议基本指标汇总模块:汇总所述混合协议基本指标测量模块产生的所述混合协议基本指标; 业务基本指标汇总模块:汇总所述业务基本指标测量模块产生的所述业务基本指标。
20.根据权利要求19所述网络被动性能测量系统,其特征在于,所述控制协议基本指标汇总模块、数据协议基本指标汇总模块、混合协议基本指标汇总模块和业务基本指标汇总模块都包括: 汇总指标关联1?块:根据所述控制协议基本指标、数据协议基本指标、混合协议基本指标和业务基本指标中具有的汇总所需要的检索信息以及汇总对象的信息,两相匹配,进行汇总指标关联。
21.根据权利要求19所述网络被动性能测量系统,其特征在于,所述控制协议基本指标汇总模块、数据协议基本指标汇总模块、混合协议基本指标汇总模块和业务基本指标汇总模块都还包括: 基本信息汇总模块:汇总基本指标的基本信息,所述基本信息包括:所述控制协议基本指标的基本信息、所述数据协议基本指标的基本信息、所述混合协议基本指标的基本信息或所述业务基本指标的基本信息; 时延指标汇总1旲块:汇总基本指标的时延指标,所述时延指标包括:所述控制协议时延指标、所述数据协议时延指标、所述混合协议时延指标或所述业务时延指标; 流量指标汇总模块:汇总基本指标的流量指标,所述流量指标包括:所述控制协议流量指标、所述数据协议流量指标、所述混合协议流量指标或所述业务流量指标; 传输指标汇总1?块:汇总基本指标的传输指标,所述传输指标包括:所述控制协议传输指标、所述数 据协议传输指标、所述混合协议传输指标或所述业务传输指标。
【文档编号】H04L12/26GK103997429SQ201410184291
【公开日】2014年8月20日 申请日期:2014年5月4日 优先权日:2014年5月4日
【发明者】郑红霞, 张广兴, 谢高岗, 张俊 申请人:中国科学院计算技术研究所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1