S是通过第一公式计算得到的，所述第一公式为：
[0193] 其中，所述网络数据流中的数据包用i表示，Hi1为数据包i在网络数据流中出现的 频数，i e {1，2，…，24b}，b为所述网络数据流中单个数据包的字节长度。
[0194] 在具体应用中，所述第四获取模块，可具体用于
[0195] 根据所述通过第二公式，获取网络流量的熵值的估计值fi;:
[0196] 所述第二公式为：
[0198]其中，m为网络数据流的总长度，m是通过第三公式计算得到的；
[0199]所述第三公式为：
[0201 ] η为正整数。
[0202]本实施例的基于中位数的网络流量熵值估算装置，通过Storm平台并行实时计算， 能够在不增加存储空间和计算复杂度的情况下提高熵值估算的准确率。
[0203]本实施例的基于中位数的网络流量熵值估算装置，可以用于执行前述图1所示方 法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0204]在本发明实施方式中"第一"和"第二"等并不是对先后顺序做出规定，只是对名称 做出区别，在本发明实施方式中，不做出任何的限定。
[0205]本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或 者光盘等各种可以存储程序代码的介质。
[0206]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种基于中位数的网络流量熵值估算方法，其特征在于，包括： 获取网络数据流的数据包，并发送至Storm集群的各从节点中； 接收所述Storm集群的各从节点返回的中间项S的估计值，所述S的估计值为所述Storm 集群的各从节点根据接收的数据包，通过预设熵值估算算法获取的； 将接收的S的估计值按照大小进行排序； 获取排序后的所有S的估计值的中位数，将所述中位数作为S最终的估计值 根据所述获取所述网络数据流网络流量的熵值的估计值 其中，所述Storm集群包括至少一个从节点。2. 根据权利要求1所述的方法，其特征在于，所述中间项S是通过第一公式计算得到的， 所述第一公式为： 其中，所述网络数据流中的数据包用i表示，ΠΗ为数据包i在网络数据流中出现的频数，i e{l，2，~，24b}，b为所述网络数据流中单个数据包的字节长度。3. 根据权利要求2所述的方法，其特征在于，所述根据所述§，获取网络流量的熵值的估 计值奸,包括： 根据所述§,通过第二公式，获取网络流量的熵值的估计值Fi; 所述第二公式为： Η = log{m) - S 其中，m为网络数据流的总长度，m是通过第三公式计算得到的； 所述第三公式为： m - Σ7ι^ι > η为正整数。4. 根据权利要求3所述的方法，其特征在于，所述预设熵值估算算法为熵值估算近似算 法，包括： 在所述网络数据流中随机选取g X ζ个位置，生成随机位置集合； 对于所述网络数据流中第j个数据包^ = 1判断j是否属于所述随机位置集合，若j属于 所述随机位置集合，则为i增加一个计数器，并将与i相关联的计数器集合全都加1;若j不属 于所述随机位置集合，且存在与i相关联的计数器，则将与i相关联的计数器加1; 在判断完所述网络数据流中所有数据包的j是否属于所述随机位置集合之后，得到gx z的计数器矩阵C=(CM); 根据所述计数器矩阵C，构建矩阵X= (XPq); 获取所述矩阵X每一行元素的平均值； 获取所有平均值的中位数，并将该中位数作为S的估计值； 其中，Xpq = mX (Cpql〇gCpq_(Cpq_l ) l〇g(Cpq_l ))，沒 =2 log (舍)，z =「32 logm/f:2l，e 为相对估计误差，1-S为估计准确率。5. 根据权利要求4所述的方法，其特征在于，所述获取所述矩阵X每一行元素的平均值， 包括： 通过第四公式，获取所述矩阵X每一行元素的平均值avg[p]; 其中，所述第四公式为： avg[p]二 |Σ5=ιΛ：ρ(? ,ρ = 1,2,…，則=1,2, ...,ζ。6. 根据权利要求3所述的方法，其特征在于，所述预设熵值估算算法为熵值估算筛选算 法，包括： 按照预设采样率，对获取的网络数据流中的数据包进行采样； 判断所述网络数据流中第j个数据包W = i是否被选中以及是否存在与i相关联的计数 器； 若网络数据流中第j个数据包^ = 1被选中，且不存在与i相关联的计数器，则为i创建一 个计数器并将i标记为小流； 若网络数据流中第j个数据包^ = 1被选中，且存在与i相关联的计数器，则将i标记为大 流； 若网络数据流中第j个数据包^ = 1未被选中，且存在与i相关联的计数器，则将与i相关 联的计数器加1; 在判断完网络数据流中第j个数据包w=i是否被选中以及是否存在与i相关联的计数 器之后，得到标记为大流的计数器矩阵E和标记为小流的计数器矩阵M; 根据所述标记为大流的计数器矩阵E，获取大流的贡献值Se; 根据所述标记为小流的计数器矩阵M，构建矩阵Y= (yPq); 获取所述矩阵Y每一行元素的平均值； 获取所有平均值的中位数，并将该中位数作为小流的贡献值Sm; 根据所述和Sm，获取S的估计值； 其中，E=(Et)，t = l，2,…，e;e为正整数； M=(MPq) ,p=l ,2,··· ,g;<i=l ,2,···，^; yPq=mX (MPqlogMPq-(MPq-l)log(MPq-l))，p = l，2，."，g;q=l，2，."，z〇7. 根据权利要求6所述的方法，其特征在于，所述根据所述标记为大流的计数器矩阵E， 获取大流的贡献值，包括： 根据所述标记为大流的计数器矩阵E，通过第五公式，获取大流的贡献值Se; 其中，所述第五公式为： Sg - y,^--? ￡*t ^~ i；2, i.> j θ5 和/或， 所述根据所述S4PSm，获取s的估计值，包括： 根据所述S4PSm，通过第六公式，获取S的估计值； 其中，所述第六公式为： ：S = Sg * 和/或， 所述获取所述矩阵Y每一行元素的平均值，包括： 通过第七公式，获取所述矩阵Y每一行元素的平均值avg[p]; 其中，所述第七公式为： 前滅P.3 = ;Σ^=ιypq = 沒,q = 1,.2.,.…8. -种基于中位数的网络流量熵值估算装置，其特征在于，包括： 第一获取模块，用于获取网络数据流的数据包，并发送至Storm集群的各从节点中； 接收模块，用于接收所述Storm集群的各从节点返回的中间项S的估计值，所述S的估计 值为所述Storm集群的各从节点根据接收的数据包，通过预设熵值估算算法获取的； 排序模块，用于将接收的S的估计值按照大小进行排序； 第二获取模块，用于获取排序后的所有S的估计值的中位数，将所述中位数作为S最终 的估计值§; 第三获取模块，用于根据所述§,获取所述网络数据流网络流量的熵值的估计值,1; 其中，所述Storm集群包括至少一个从节点。9. 根据权利要求8所述的装置，其特征在于，所述中间项S是通过第一公式计算得到的， 所述第一公式为： s = ^im^ogmr， 其中，所述网络数据流中的数据包用i表示，ΠΗ为数据包i在网络数据流中出现的频数，i e{l，2，~，24b}，b为所述网络数据流中单个数据包的字节长度。10. 根据权利要求9所述的装置，其特征在于，所述第四获取模块，具体用于 根据所述§，通过第二公式，获取网络流量的熵值的估计值0; 所述第二公式为： Η = log(m) - S, 其中，m为网络数据流的总长度，m是通过第三公式计算得到的； 所述第三公式为： 州=Σ?=ι 爪 /， η为正整数。
【专利摘要】本发明提供一种基于中位数的网络流量熵值估算方法及装置，该方法包括：获取网络数据流的数据包，并发送至Storm集群的各从节点中；接收Storm集群的各从节点返回的中间项S的估计值，该S的估计值为Storm集群的各从节点根据接收的数据包，通过预设熵值估算算法获取的；将接收的S的估计值按照大小进行排序；获取排序后的所有S的估计值的中位数，将该中位数作为S最终的估计值根据获取网络数据流网络流量的熵值的估计值其中，Storm集群包括至少一个从节点。该方法能在不增加存储空间和计算复杂度的情况下提高熵值估算的准确率。
【IPC分类】H04L12/24
【公开号】CN105471639
【申请号】CN201510816499
【发明人】杨家海, 王子玉, 李晨曦, 张世泽
【申请人】清华大学
【公开日】2016年4月6日
【申请日】2015年11月23日