一种自适应的数据分流方法

专利名称：一种自适应的数据分流方法
技术领域：
本发明属于网络数据处理领域，具体涉及一种自适应的数据分流方法。
背景技术：
随着网络的高速发展，网络数据流量也迅速增长，为了实时的处理网络数据流量， 出现了一些高性能的服务器，这些服务器大多是多路多核的，为了充分利用各个处理器，处理大量的网络数据，一般采用网络数据的聚合和分散技术。首先，聚合从外网输入的所有数据流，然后，根据一定的分流策略包聚合的数据流分散到多个队列中去，队列与CPU —一对应，也就是一个CPU处理一个队列中的数据，这样充分利用的多路多核的CPU资源。一些传统的分流策略是，轮流分流和hash分流。所谓的轮流分流是指分流器根据队列的个数，依次轮流分发数据流到每个队列，每个队列都是均等的获得数据流。hash分流方法是指根据某些指定的域(如四元组，五元组等)计算hash值，然后根据hash值与队列的映射关系，把数据分发到某个特定的队列中去，其中hash值与队列的映射关系可以均等的，也可以是不均等的(可以根据某种比例)，当然不管怎么说，这种映射关系的在网络设备初始化时就固定了，是一种静态的方法。专利号CN00118075.4(根据网络带宽自适应地控制数据传输速率的装置)公开了一种根据经时变化的网络带宽自适应地控制图像数据的传输速率的装置，包括图像压缩器，按照预定量化级量化输入的图像数据并压缩量化图像数据；发送器，缓存经压缩的图像数据然后再发送给网络；复杂度估计器，根据先前编码图像数据的复杂度来估计要编码的图像数据的复杂度；控制器，根据缓存数据量、估计复杂度和网络带宽来确定图像压缩器的量化级，并控制量化级以使缓存数据量等于在带宽范围内的先前设置目标值。专利号CN200810166038.0(内容自适应装置和内容自适应方法)公开了内容自适应装置和内容自适应方法。该装置具有对多个分段(segment)组成的数据((110 记载赋予每个分段的分段观点的元数据(dlOl)、以及将用户的嗜好作为用户观点记载的用户偏好 (preference) (dl03)，通过根据所述用户观点对所述分段观点进行比较，提取数据中的分段，以此适应用户的嗜好显示数据。上述技术不能根据多个CPU的负载动态的调整分流方法，不管是轮流分流还是 hash分流，都是一种静态的分流方法。从外网进入的数据流在系统初始化后就决定了要流向哪个队列，交给哪个CPU来处理，而和CPU的运行处理能力，运行状态没有任何关系。因此，可能导致不能有效的利用CPU资源，甚至导致较大负载的CPU不能及时处理队列中的数据，引起丢包。

发明内容
本发明克服现有技术的不足，目的是动态的自适应的调整分流方法，充分利用系统资源，防止因为局部资源有限引起数据流量处理不过来而丢包。对输入网络设备的外网数据进行自适应分流；
本发明提供一种自适应的数据分流方法，利用多层次的分流思想；首先，做初步分流，包数据流分成组。可以把某些数据按组分开，便于后期处理；之后，在组内按某种传统分流方法。动态调整的自适应分流；可以根据CPU负载情况选择所述分流方法或分流方法的比例。所述流程为1) 一种自适应的数据分流方法，其特征在于，聚合输入设备的所有外网数据流；2)根据某种方法初步分流，分成不同的组(IPV4/IPV6，或VALN/其他)；3)根据某种分流方法把组分到队列中，如轮流，hash分流。4)根据CPU负载，性能等情况，动态调整步骤3的分流方法，或分流比例。与现有技术相比，本发明的有益效果在于多层次分流使分流更清晰合理，动态调整能有效地使用系统资源，防止数据丢包并且充分利用系统资源。


图1是本发明的流程示意图。
具体实施例方式图1是本发明的流程示意图，分层的分流方法是多层次的分流方法；首先，做初步分流，包数据流分成组。可以把某些数据按组分开，便于后期处理。然后，在组内按某种传统分流方法进行队列划分。2.动态调整的自适应分流；可以根据CPU负载情况选择分流方法或分流方法的比例。方案详细步骤如下1.聚合输入设备的所有外网数据流；2.根据某种方法初步分流，分成不同的组(IPV4/IPV6，或VALN/其他)；3.根据某种分流方法把组分到队列中，如轮流，hash分流。4.根据CPU负载，性能等情况，动态调整步骤3的分流方法，或分流比例。本发明根据多个CPU的负载动态的调整分流方法，不管是轮流分流还是hash分流。从外网进入的数据流在系统初始化后可以动态流向不能有效的利用的队列和CPU资源，因此，满足了较大负载的CPU和较小负载的CPU能及时协调并处理队列中的数据，从而防止丢包。以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所述领域的普通技术人员应当理解依然可以对本发明的具体实施方式
进行修改或者同等替换，而未脱离本发明精神和范围的任何修改或者等同替换， 其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种自适应的数据分流方法，其特征在于，利用多层次的分流方法；首先，做初步分流，包数据流分成组。可以把某些数据按组分开，便于后期处理； 之后，在组内按某种传统分流方法。
2.根据权利要求1所述的分流方法，其特征在于，动态调整的自适应分流；可以根据 CPU负载情况选择所述分流方法或分流方法的比例。
3.根据权利要求1-2所述的分流方法，其特征在于，所述分流流程为1)聚合输入设备的所有外网数据流；2)根据某种方法初步分流，分成不同的组；3)根据某种分流方法把组分到队列中；4)根据CPU负载，性能等情况，动态调整步骤3的分流方法或分流比例；5)采取特定方法或分流比例分流。
4.根据权利要求1-3所述的分流方法，其特征在于按照IPV4、IPV6、VALN或其他类别初步分组。
5.根据权利要求1-4所述的分流方法，其特征在于按照轮流方法把组分到队列。
6.根据权利要求1-5所述的分流方法，其特征在于按照hash分流方法把组分到队列。
全文摘要
本发明提供一种自适应的数据分流方法，利用多层次的分流思想首先，做初步分流，包数据流分成组。可以把某些数据按组分开，便于后期处理；然后，在组内按某种传统分流方法。与现有技术相比，本发明的有益效果在于多层次分流使分流更清晰合理，动态调整能有效地使用系统资源，防止数据丢包，有效利用资源。
文档编号H04N21/647GK102497601SQ201110413479
公开日2012年6月13日 申请日期2011年12月13日 优先权日2011年12月13日
发明者刘兴奎, 刘朝辉, 刘灿, 李静, 邵宗有 申请人:曙光信息产业(北京)有限公司