专利名称：一种网络设备混帧长转发性能的测量系统及其测试方法
技术领域：
本发明属于网络设备测量技术领域，具体是指一种网络设备混帧长转发性能的测 量系统及其测试方法。
背景技术：
伴随着互联网络规模的不断扩大，投入运营的网络设备的种类及数目也在快速增 长，各种各样的网络设备有机组合成为整个互联网络，网络设备转发性能直接影响着网络 整体性能的有效发挥，网络设备数据包转发性能的自动有效测量，对网络设备自身的性能 及网络整体性能的准确评估和改善意义重大。网络设备的转发性能包括吞吐量和背靠背两项指标，吞吐量测试侧重测 试转发引擎的转发能力，背靠背测试侧重测试接口的缓存能力。互联网标准文件 RFC1242 (Benchmarking terminology for network interconnection devices)、 RFC2544(Benchmarking Methodology for Network Interconnect Devices)定义了这两 项指标，并给出测试方法的建议。RFC2M4中建议的测试方法即为传统的网络设备转发性 能测试方案，包括单帧长吞吐量测试及单帧长背靠背测试。鉴于测试时间开销及存储测量 结果空间开销的限制，施行两个测试方案时一般都采用包含若干离散帧长的一个集合来替 代连续帧长。离散帧长集合应具备完整性，包括网络允许的最小帧长、最大帧长及一些中间 值，例子如RFC2544建议的包含7个离散帧长的一个集合64B，128B, 256B, 512B, 4B, 1280B， 1518B。传统的单帧长测试方案只能反映被测设备在特定帧长下的转发性能，并根据测量 结果绘制的曲线图估计被测设备在其他未进行测量的单帧长数据帧处的转发性能。但实际 网络环境中数据流并不是单帧长模式，一段时间内的数据流中往往包含了多种帧长，因此， 单帧长测试方案并不能很准确地反映被测设备在混合帧长的真实网络环境中的转发性能。 混合帧长测试方案较好地解决了这个问题，通过适当地选取，测试时采用的数据帧帧长分 布能较好地逼近真实网络的数据帧帧长分布，从而测量结果能更准确地反映被测设备在真 实网络环境中的转发性能。RFC2M4中提到与混和帧长测试方案相同概念的多帧长测试方 案，但未给出具体的测试要求、实现方法及测量结果的显示格式等。目前在网络设备测试中 采用混合帧长方案的研究比较少，但混合帧长测试方案在准确测量、估计及预测网络设备 在真实网络环境中的转发性能却有重要作用，从而设计一个能在网络设备上实现混和帧长 转发性能测量、结果分析及评估的自动化、可视化系统的意义重大。
发明内容
本发明的目的之一在于提供一种网络设备混帧长转发性能的测量系统。本发明的这一目的通过如下技术方案来实现的一种网络设备混帧长转发性能的 测量系统，其特征在于该测试系统包括测量模块、曲面图绘制模块、存储模块、分析模块、 评价模块和显示模块，所述的测量模块分别与曲面图绘制模块和存储模块相连，所述的测量模块用于选定多个不同帧长的离散的混合帧，通过调整混合帧中不同帧长的帧数量在全 部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变化，并且能够测试网络设 备在不同帧长分布下的转发性能，输出测量结果；所述的曲面图绘制模块接收测量模块输 出的测量结果，并且将该测量结果绘制成曲面图；所述的存储模块用于储存测量模块的测 量结果以及曲面图绘制模块绘制的曲面图；所述的存储模块还分别与曲面图绘制模块、分 析模块和评价模块相连，所述的分析模块能够从存储模块中调用存储模块中储存的测量结 果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行 显示；所述的评价模块能够接收测量模块输出的测量结果，并且给出测量结果的可信度评 价结果；所述的显示模块分别与曲面图绘制模块分析模块和评价模块相连，所述的显示模 块用于提供用户界面，该显示模块能够显示曲面图绘制模块绘制的曲面图、分析模块的分 析结果以及评价模块的可信度评价结果。(1)测量模块混合帧长测试方案，确定好若干个离散帧长集合后，首先从中选定一个集合，并通 过改变不同帧长之间帧数量的比例关系来实现帧长分布的变化。后续步骤与传统的单帧长 网络设备转发性能测试方案相类似。传统的单帧长测试方案为混合帧长测试方案的一个特例。因为当离散帧长集合中 的某一帧长占数据流的比重为100%，而其他帧长所占比重为0时，混合帧长测试方案即为 单帧长测试方案。用户能对系统已有的离散帧长集合进行选定，也可以自行定制离散帧长集合，此 功能由显示模块实现。(2)曲面图绘制模块将测量结果在三维直角坐标上绘制成绘制成曲面图，这里分三种情况。1)帧长分布为单峰值分布x(X，Y)，即X帧长的数据帧在数据流中占比例为Y，而 使用的离散帧长集合中其他帧长所占比重均为(1-Y)/(N-1)，其中0彡Y彡1，N为离散帧 长集合中元素的个数。被测设备在x(X，Y)下的测量结果为Z，则可按照每组(X，Y，Z)值在 三维直角坐标上绘制成曲面图。2)帧长分布为非单峰值分布I型，即X帧长的数据帧在数据流中占比例为Y，而使 用的离散帧长集合中其他帧长所占比重相差不大，近似都为(I-Y)/(N-I)，则非单峰值分布 I近似认为是单峰值分布Χ(χ，Y)，采用单峰分布测量结果的绘图方法进行绘图。3)帧长分布为非单峰值分布II型，即不同于非单峰值分布I型，即&帧长的数据 帧在数据流中占比例为Y1, X2帧长的数据帧占比例为\，……，\帧长的数据帧占比例为Yi,而使用的离散帧长集合中其他帧长所占比重均为(1 - χ) / — -1)，其中0彡Yj彡1，；=1j = 1,2,……i ;i = 1,2,……N，N为离散帧长集合中元素的个数。为了绘制曲面图及具 有可比性，需要先将非单峰值分布转化为近似的单峰值分布并依据测量结果作图。(3)分析模块对于帧长分布为单峰值分布x(X，Y)，从曲面图可以直观地观察到被测设备在不同 帧长分布下的吞吐量值或背靠背值及其变化趋势，从而分析被测设备在不同帧长分布下的 转发性能。由于非单峰值分布I/II型能近似认为或转化成为单峰值分布，故其测量结果的分析方法同单峰值分布测量结果的分析方法。显示模块提供一种系统与用户互动的方式，用户选择某部分数据及分析项目后， 分析模块从存储模块调用相关数据进行计算及分析，并将得到的结果送显示模块进行显7J\ ο(4)评价模块采用不确定的计算方法来衡量测量结果的可信度。测量结果的不确定度分量包含 两类一类是通过统计分析的方法获得的A类不确定度，如等精度条件下多次测量的离散 性对应的不确定分量；另一类是通过非统计分析的方法获得的B类不确定度，如测量仪器 本身的不准确性带入的不确定分量。计算出A、B类不确定度后，需要将这些分量合成标准 不确定度，另外一般还要根据选定的置信水平计算扩展不确定度，以便提供一个包含大部 分测量结果的可信区间。显示模块提供一种系统与用户互动的方式，用户选择某部分数据及分析项目后， 评价模块从存储模块调用相关数据进行计算及分析，并将得到的结果送显示模块进行显7J\ ο(5)显示模块及存储模块显示模块实现的功能包括方便操作的用户界面及上述技术方案所提及的功能。 存储模块及时地储存测量结果及绘制的曲面图，以供显示模块调用或人工调用。本发明的测量系统在界定网络设备的转发性能包括吞吐量及背靠背两项指标的 基础上，将混合帧长方案引入到网络设备的转发性能测试中，测量模块通过调整不同帧长 的数据帧在数据流中所占比重来实现不同帧长分布下设备转发性能的测量，曲面图绘制模 块根据测量结果绘制曲面图，分析模块对测量结果进行计算分析，评价模块计算测量结果 的可信度，显示模块则以直观的可视化方式将曲面图及测量结果的分析和可信度显示出 来。本发明可实现网络设备和帧长转发性能的测量、结果分析及评估的一体化、自动化、可 视化。本发明的目的之二在于提供上述测量系统的测试方法。本发明的这一目的通过如下技术方案来实现的一种网络设备混帧长转发性能的 测试方法，该方法包括如下步骤(1)测量步骤通过测量模块选定多个不同帧长的离散的混合帧，并且调整混合 帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布 的变化，然后测试网络设备在不同帧长分布下的转发性能，输出测量结果；(2)曲面图绘制步骤通过曲面图绘制模块接收测量模块输出的测量结果，并且 将该测量结果绘制成曲面图；(3)存储步骤通过存储模块储存测量模块的测量结果以及曲面图绘制模块绘制 的曲面图；(4)分析步骤通过分析模块从存储模块中调用存储模块中储存的测量结果，并 根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；(5)评价步骤通过评价模块接收测量模块输出的测量结果，并且给出测量结果 的可信度评价结果；(6)结果显示步骤通过显示模块提供用户界面，并且显示曲面图绘制模块绘制5的曲面图、分析模块的分析结果以及评价模块的可信度评价结果。
下面结合附图和具体实施方式
对本发明做进一步的详细说明。图1为本发明测量系统的框架图。
具体实施例方式如图1所示的一种网络设备混帧长转发性能的测量系统，该测试系统包括测量模 块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，测量模块分别与曲面图绘 制模块和存储模块相连，测量模块用于选定多个不同帧长的离散的混合帧，通过调整混合 帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布 的变化，并且能够测试网络设备在不同帧长分布下的转发性能，输出测量结果；曲面图绘制 模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面图；存储模块用于储存 测量模块的测量结果以及曲面图绘制模块绘制的曲面图；存储模块还分别与曲面图绘制模 块、分析模块和评价模块相连，分析模块能够从存储模块中调用存储模块中储存的测量结 果，并根据该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行 显示；评价模块能够接收测量模块输出的测量结果，并且给出测量结果的可信度评价结果； 显示模块分别与曲面图绘制模块分析模块和评价模块相连，显示模块用于提供用户界面， 该显示模块能够显示曲面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的 可信度评价结果。用户通过显示模块提供的用户界面对测量过程的初始参数进行设置，设置完毕后 测量开始进行，测量结束后，测量结果自动存入存储模块，以供后续操作调用。系统依据用 户的设定，调用绘图模块依据测量结果来绘图，调用分析模块对测量结果进行分析，调用评 价模块对测量结果进行可信度评价，三个模块的处理结果送显示模块显示。本发明中各个模块的实现过程及原理如下(1)测量模块混合帧长吞吐量测试方案，确定好若干个离散帧长集合后，首先从中选定一个集 合，并通过改变不同帧长之间帧数量的比例关系来实现帧长分布的变化。每一轮测试中以 一恒定速率向被测设备发送测试帧，并统计被测设备转发的帧数目，若接收的帧数目与发 送的帧数目相等，则提高下一轮测试的帧发送速率，否则降低下一轮测试的帧发送速率。如 此反复进行多轮测试，直至最新两轮测试的误差小于或等于预先设定的测试粒度，即可结 束当次测量，测试结果以fps、pps、bps或线速的百分比来表示。每轮测试之后，重新计算下 一轮测试的帧发送速率改变量的算法称为吞吐量搜索算法，常用方法为二分法、步进法及 两者的混合方法。对于每种帧长分布，可根据实际情况进行单词或重复进行若干次测量，多 次测量时取平均值作为设备在该帧长分布下的混合帧长吞吐量值。混合帧长背靠背测试方案，确定好离散帧长集合后，确定好若干个离散帧长集合 后，首先从中选定一个集合，并通过改变不同帧长之间帧数量的比例关系来实现帧长分布 的变化。使用最小的合法帧间隔向被测设备发送一串测试帧序列，并记录被测备转发的帧 数量。如果转发的帧数目少于发送的帧数目，则减少测试持续时间(或帧流量串的长度)，否则增加测试持续时间(或帧流量串的长度)。重复上述测试过程，直到找到没有丢帧时被 测设备所能处理的最长帧流量串，该流量串的帧数目即为背靠背的数值。根据实际情况重 复进行若干次测量，并取平均值作为该帧长分布下的混合帧长背靠背值。(2)曲面图绘制模块对于帧长分布为单峰值分布x(X，Y)及非单峰值分布I型，测试得到若干组测量值(Xi ？ Y” Z11)、(X1 j Y2 Z12)、......、(Χχ ？ Yj Z1j-) λ ......、(Xi j Y1 j Zil)、......、(Xi j Yj j Zij-)、......j其中Zu为被测设备在X (Xi, Yj)下的测量结果，则可按照每组(X，Y，Ζ)值在三维直角坐标 上绘制成曲面图。对于帧长分布为非单峰值分布II型，为了绘制曲面图及具有可比性，需要先将非 单峰值分布转化为近似的单峰值分布并依据测量结果作图。一种可行的具体做法如下每 次对集合{X”……，XJ中选定一种帧长Xp固定该集合中其他帧长数据帧数目在数据流中 所占比例，只改变Yj，从而离散帧长集合中剩下的(N-i)个帧长)(i+1，……，\的数据帧占 比重随Yj改变，进行测量。而后将Xj与)(i+1，……，\中的一种帧长对调，改变新的Xj帧长 据帧数目在数据流中所占比例并进行测量，重复上述步骤，直到)(i+1，……，\都与&对调 过。由于集合{X”……，XJ有i个元素，故共有i个单峰值分布的曲线图，从而可用单峰 值分布的分析方法对其测量结果进行分析。(3)分析模块对于吞吐量值，固定X，当Y = 1时，相应的Z值即为设备在帧长为X的单帧长情 况下的吞吐量；当0 < Y < 1时，若相应的Z值大于设备在帧长为X的单帧长情况下的吞吐 量，则说明被测设备处理X帧长的数据帧的能力较差(或额外开销较大)；反之，则说明被 测设备处理X帧长的数据帧的能力较好(或额外开销较小)。对于背靠背值，固定X，当Y =1时，相应的Z值即为设备在帧长为X的单帧长情况下的背靠背值；当0 < Y < 1时，若 相应的Z值大于设备在帧长为X的单帧长情况下的背靠背值，则说明被测设备对X帧长的 数据帧的缓存能力较差；反之，则说明被测设备对X帧长的数据帧的缓存能力较好。固定Y， 当任意两个X值对应的Z值相差较大时，被测设备对这两种帧长数据帧的转发能力有明显 差异，当任意两个X值对应的Z值相差较小时，被测设备对这两种帧长数据帧的转发能力无 明显差异。(4)评价模块计算A类不确定度在不是一般性的情况下，假设测量结果为有限数列IxJ，{xn}的元素个数为η。首先计算样本的平均值I = A。采用贝塞尔(Bessel)公式计算标准偏差n i=lS =拉(χ, -Χ)' / ( -1)。计算平均值的实验标准偏差“ =^▲，自由度为V1 = Ii-I0计算B类不确定度B类不确定度可根据查询有关信息等非统计方式得到，这类信息包括测量仪器仪 表的特性、校准证书或说明书提供的数据等等。在不是一般性的情况下，假设B类不确定度 的来源有t-Ι个，为U2,……，Ut，其自由度一般认为是无穷大，即V2 =①，……，Vt=①。
计算标准不确定度和扩展不确定度由于各个不确定度分量之间是相互独立的，因此合成的标准不确定为
权利要求
1.一种网络设备混帧长转发性能的测量系统，其特征在于该测试系统包括测量模 块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，所述的测量模块分别与曲 面图绘制模块和存储模块相连，所述的测量模块用于选定多个不同帧长的离散的混合帧， 通过调整混合帧中不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现 不同帧长分布的变化，并且能够测试网络设备在不同帧长分布下的转发性能，输出测量结 果；所述的曲面图绘制模块接收测量模块输出的测量结果，并且将该测量结果绘制成曲面 图；所述的存储模块用于储存测量模块的测量结果以及曲面图绘制模块绘制的曲面图；所 述的存储模块还分别与曲面图绘制模块、分析模块和评价模块相连，所述的分析模块能够 从存储模块中调用存储模块中储存的测量结果，并根据该测量结果来分析网络设备的转发 性能，然后将分析结果输送给显示模块进行显示；所述的评价模块能够接收测量模块输出 的测量结果，并且给出测量结果的可信度评价结果；所述的显示模块分别与曲面图绘制模 块分析模块和评价模块相连，所述的显示模块用于提供用户界面，该显示模块能够显示曲 面图绘制模块绘制的曲面图、分析模块的分析结果以及评价模块的可信度评价结果。
2.一种实现权利要求1所述的网络设备混帧长转发性能的测量系统的测试方法，该方 法包括如下步骤(1)测量步骤通过测量模块选定多个不同帧长的离散的混合帧，并且调整混合帧中 不同帧长的帧数量在全部混合帧中的总体帧数量所占的百分比来实现不同帧长分布的变 化，然后测试网络设备在不同帧长分布下的转发性能，输出测量结果；(2)曲面图绘制步骤通过曲面图绘制模块接收测量模块输出的测量结果，并且将该 测量结果绘制成曲面图；(3)存储步骤通过存储模块储存测量模块的测量结果以及曲面图绘制模块绘制的曲 面图；(4)分析步骤通过分析模块从存储模块中调用存储模块中储存的测量结果，并根据 该测量结果来分析网络设备的转发性能，然后将分析结果输送给显示模块进行显示；(5)评价步骤通过评价模块接收测量模块输出的测量结果，并且给出测量结果的可 信度评价结果；(6)结果显示步骤通过显示模块提供用户界面，并且显示曲面图绘制模块绘制的曲 面图、分析模块的分析结果以及评价模块的可信度评价结果。
全文摘要
本发明公开了一种网络设备混帧长转发性能的测量系统及其测试方法，该测试系统包括测量模块、曲面图绘制模块、存储模块、分析模块、评价模块和显示模块，在界定网络设备的转发性能包括吞吐量及背靠背两项指标的基础上，本发明将混合帧长方案引入到网络设备的转发性能测试中，测量模块通过调整不同帧长的数据帧在数据流中所占比重来实现不同帧长分布下设备转发性能的测量，曲面图绘制模块根据测量结果绘制曲面图，分析模块对测量结果进行计算分析，评价模块计算测量结果的可信度，显示模块则以直观的可视化方式将曲面图及测量结果的分析和可信度显示出来。本发明可实现网络设备和帧长转发性能的测量、结果分析及评估的一体化、自动化、可视化。
文档编号H04L12/26GK102064982SQ20101061555
公开日2011年5月18日 申请日期2010年12月30日 优先权日2010年12月30日
发明者叶千里, 周伊琳, 梁志宏, 梁晓兵, 梁智强, 范颖, 谢善益, 陈炯聪, 高雅 申请人:广东电网公司电力科学研究院