一种统一下载管理及下载限速方法
【专利摘要】本发明提供一种统一下载管理及下载限速方法，该统一下载管理及下载限速方法包括：启动下载任务，通过检测外接接插件和数据节点挖掘来进行数据传输，在传输过程中，虚拟服务端判断是否有用户触发限速请求，当所述虚拟服务端判断有用户触发限速请求，设置下载限速值时，所述虚拟服务端启动网络检测模块，对当前下载速度进行检测，当所述网络检测模块检测到所述当前下载速度超过所述下载限速值时，进行下载指令过滤，随后对下载数据进行存储控制。本发明中的统一下载管理及下载限速方法，避免了外网流量的损失，其结合传统限速方法来达到有效限速目的，使下载达到高效稳定。
【专利说明】—种统一下载管理及下载限速方法
[0001]本发明请求本 申请人:于2012年11月29日向中国国家知识产权局提交的申请号为CN201210497997.7，发明名称为“统一下载管理及智能限速方法”的中国发明专利申请的优先权，上述申请的全部内容以引用方式并入本文。
【技术领域】
[0002]本发明涉及智能下载方法，特别是涉及到一种统一下载管理及智能限速方法。
【背景技术】
[0003]互联网行业迅猛发展的今天，网络资源日益丰富，人们对于资源分享的需求与日俱争，其中作为分享技术之一的下载技术呈现出多样化的趋势，本专利针对当前情况，提出一种统一的下载管理技术方案，并提供一种智能限速方法。
[0004]传统下载技术主要针对于特定的下载环境进行设计，比如P2P，P2SP下载，BT下载等，P2P下载对正在下载或者下载后没有关闭程序的用户有做种子的要求。BT是强制的。由于做种子时，其他用户不停通过互联网读写你的磁盘，会对磁盘有损伤而且会占用方法资源，导致机器的反应变慢，甚至导致死机。
[0005]智能限速，即对于“好”的流量，就要进行优化保障，对于“坏”的流量就要进行限制管控。但是，不是所有对于“坏”流量的管控都能起到应有的效果。
[0006]传统限速一般采用丢包来进行限速，算法叫做单/双速率三色令牌桶。既然是标准的限速方法，大家这么用的，但是在网络技术日新月异的今天，这种方法存在致命问题。问题出在P2P下载上。根据网络限速的原理，如果网络传输途径中被限速了，通信的发送方会调低发送速率适应这种速度限制。这样，在限速的时候，一开始会被丢包，过了一会，发送方发送的数据会变成被限速的速度，就达到了限速效果。但是遇到P2P协议就不一样了。
[0007]比如设备发现P2P超速了，就开始丢包，但是P2P协议根据运作模式，并不会调低速率，而是会发起更多的请求，请求更多的Peer发送给他数据。这样造成的结果就是，从内网看，限速后确实是想要的速率，但是从外网看，速度却远远高于限制后的速率，而且这个落差始终维持。
[0008]这个就造成了流控失效，或者说带宽资源的损失。举个例子:一所实验机房租用了一条千兆链路，现在将P2P限制到200M。他期望空出的800M可以用来传输P2P以外的流量。但是由于上述原因，虽然从内网角度看，在限速后P2P为200M，但是外网角度看，限速前后始终是600M。实际相当于损失了 400M流量。
[0009]本发明在应用层进行数据节点数目处理，同时对于不同的消息进行智能带宽分别策略，并结合传统限速方法来达到智能限速目的，这样做避免了 P2P协议的缺点，达到了限速的目的，同时本发明数据存储于内存，避免了数据存储硬盘的硬件损坏。
【发明内容】
[0010]本发明的目的是提供一种统一下载管理及智能限速方法，其结合传统限速方法来达到智能限速目的，使下载达到高效稳定。
[0011]本发明的目的可通过如下技术方案来实现:统一下载管理及智能限速方法，该统一下载管理包括:包含以下三个分层九大功能:这三个分层分别是应用层、中间层和系统层。
[0012]其中，应用层包括防盗链解析、数据节点发掘、数据连接和外接插件接口四个功能；中间层包括数据传输、消息处理和下载限速三个功能；系统层包括设备检索、存储控制两个功能；数据连接具体为:发现最近节点后进行连接交互过程。
[0013]步骤11，根据用户下载请求，启动下载任务。
[0014]步骤12，在数据连接时，检测是否有外接插件，如果有，则进行外接接插件进程，随后进入步骤14 ;如果没有，则进入步骤13。
[0015]步骤13，进行数据节点挖掘，检测是否有可用CDN节点，如果有，则进行防盗链解析，再进入步骤14 ;如果有没有，则重新进行步骤12的数据连接；
数据节点挖掘具体为，发现并查找最邻近的节点，首先与最近的CDN节点进行数据交互，同时分析当前节点的吞吐量，如果不够需求，继续跳转选择，以此类推，邻近选择；
所述防盗链解析具体为，在接受数据时，同时接收来自不同运营商发送的根据运营商具体需要制定的防盗链规则，再根据这些规则，针对不同的情况进行防盗链解析。
[0016]步骤14，在外接接插件进程或者防盗链解析后，开始数据传输，在传输过程中进行下载限速处理和存储控制；外接插件接口功能为，通过注册的方式进行与本系统的连接，还可以外扩P2P接口及BT接口。
[0017]该下载限速具体包括:
步骤21，利用虚拟服务端与外网进行通讯，以进行数据传输，该传输是支持http协议，ftp协议进行的数据传输，而且在应用层、中间层和系统层之间通讯通过消息机制进行处理，流程进入到步骤22。
[0018]步骤22，虚拟服务端判断是否有用户触发限速请求，如果有，则通过用户输入来设置下载限速值，流程进入到步骤24 ;当没有限速请求时，流程进入到步骤23。
[0019]步骤23，虚拟服务端不对下载进行任何控制和干预，保证下载的全速运行，随后对下载数据进行存储控制。
[0020]步骤24，启动网络检测模块，对当前下载速度进行检测，如果超出下载限速值，将通知服务端，当前下载超速，需要对申请网络资源指令进行过滤处理，流程进入到步骤25 ；当前下载速度没有超过限速值时，进行正常下载，随后对下载数据进行存储控制。
[0021]步骤25，服务端发现下载超速，启动下载指令过滤功能，截取下载模块访问外网指令，屏蔽掉多余指令，保证满足下载限速值的指令与外网的通信，随后对下载数据进行存储控制。
[0022]优选的是，过滤和屏蔽指令具体为:根据各个指令的下载的限速值中的优先权值来进行过滤，对于优先权值较低的指令进行屏蔽，不允许这些指令与外网的通信，而对于优先权值高的指令，保证这些指令与外网的正常通信，且按照所需要的下载的限速值进行正常下载；而对于中等优先权值的指令，则进行暂时的屏蔽处理，待高优先权值的指令完成后，在允许这些指令与外网的通信并以第一流速阈值进行下载的限速控制。
[0023]优选的是，存储控制方法包括:在对下载数据进行智能存储时，优先使用内存进行临时保存，并且自动检测存储设备，默认存储硬盘，同时兼容USB设备，SD卡等如果有数据需要上传，优先从内存中读取，读取数据与下载到内存中的数据同步；待下载完成后，检查上传数据完整性，如果不完整，从已下载内容中读取，并继续上传；下载过程中，如果内存使用满，则进行固件存储。
[0024]技术人员不难看出，上述各优选方案的任意组合所构成的方案都是本发明的一部分。
[0025]本发明中的统一下载管理及智能限速方法，采用下载系统内建虚拟服务端，对于外网的访问统一接管，避免了外网流量的损失。下载模块统一与内建服务端进行交互，在没有限速处理的情况下，服务端完全转发下载模块请求，不对下载模块进行任何干预。如果触发限速条件，服务端会启动网速监测模块，同时服务端接管下载模块外网访问权限，对下载请求进行处理，以达到智能限速目的。
【专利附图】
【附图说明】
[0026]图1为本发明的统一下载管理方法一优选实施例的流程图。
[0027]图2为本发明的下载限速方法一优选实施例的流程图。
【具体实施方式】
[0028]为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下。
[0029]本发明的方法意在解决现在下载技术中存在的问题，同时针对智能限速技术进行优化处理，包含以下三个分层九大功能:这三个分层分别是应用层、中间层和系统层。
[0030]其中，应用层包括防盗链解析、数据节点发掘、数据连接和外接插件接口四个功能；中间层包括数据传输、消息处理和下载限速三个功能；系统层包括设备检索、存储控制两个功能。
[0031]防盗链解析一针对于不同运营商制定的防盗链规则进行解析。
[0032]数据节点发掘一发现并查找最邻近的节点，首先与最近的CDN节点进行数据交互，同时分析当前节点的吞吐量，如果不够需求，继续跳转选择，以此类推，邻近选择。
[0033]数据连接一发现最近节点后进行连接交互过程。
[0034]外接插件接口 一外接插件可通过注册的方式进行与本系统的连接，我们可以外扩P2P接口及BT接口。
[0035]数据传输一支持http协议，ftp协议进行数据传输。
[0036]消息处理一三层之间通讯通过消息机制进行处理。
[0037]下载限速一对于“好”的流量，就要进行优化保障，对于“坏”的流量就要进行限制管控。
[0038]设备检索一自动检测存储设备，默认存储硬盘，同时兼容USB设备，SD卡等。
[0039]存储控制一自动对数据进行存储处理。
[0040]在统一下载管理的具体步骤如下:
数据连接具体为:发现最近节点后进行连接交互过程；
步骤11，根据用户下载请求，启动下载任务； 步骤12，在数据连接时，检测是否有外接插件，如果有，则进行外接接插件进程，随后进入步骤4 ;如果没有，则进入步骤3 ；
步骤13，进行数据节点挖掘，检测是否有可用CDN节点，如果有，则进行防盗链解析，再进入步骤4 ;如果有没有，则重新进行步骤2的数据连接；
数据节点挖掘具体为，发现并查找最邻近的节点，首先与最近的CDN节点进行数据交互，同时分析当前节点的吞吐量，如果不够需求，继续跳转选择，以此类推，邻近选择；
所述防盗链解析具体为，在接受数据时，同时接收来自不同运营商发送的根据运营商具体需要制定的防盗链规则，再根据这些规则，针对不同的情况进行防盗链解析；
步骤14，在外接接插件进程或者防盗链解析后，开始数据传输，在传输过程中进行下载限速处理和存储控制；
外接插件接口功能为，通过注册的方式进行与本系统的连接，还可以外扩P2P接口及BT 接口。
[0041]该下载限速和存储控制方法具体包括:
步骤21，利用虚拟服务端与外网进行通讯，以进行数据传输，该传输是支持http协议，ftp协议进行的数据传输，而且在应用层、中间层和系统层之间通讯通过消息机制进行处理，流程进入到步骤22。
[0042]步骤22，虚拟服务端判断是否有用户触发限速请求，如果有，则通过用户输入来设置下载限速值，流程进入到步骤24 ;当没有限速请求时，流程进入到步骤23，也就是对于“好”的流量，就要进行优化保障，对于“坏”的流量就要进行限制管控。
[0043]步骤23，虚拟服务端不对下载进行任何控制和干预，保证下载的全速运行，流程进入到步骤26。
[0044]步骤24，启动网络检测模块，对当前下载速度进行检测，如果超出下载限速值，将通知服务端，当前下载超速，需要对申请网络资源指令进行过滤处理，流程进入到步骤25 ；当前下载速度没有超过限速值时，流程进入到步骤26 ；
该下载速度控制方法具体为:用于判断下载时的流速是否超过设定的流速阈值；如果超过设定的流速阈值，则将所述下载的限速值标记为较低的优先权值；如果未超过设定的流速阈值，则将所述下载的限速值标记为较高的优先权值，其中，优先权值就是用于标识下载优先权的数字等任何的表示方式；
如果下载的流速超过设定的第一流速阈值，则将所述下载的限速值标记为较低的优先权值；如果待跟踪业务流的流速未超过设定的第二流速阈值，则将所述业务流的限速值标记为中等的优先权值，其中，该中等的优先权值大于较低的优先权值且小于较高的优先权值，第一流速阈值小于第二流速阈值。周期性地根据检测的下载流速控制实际的下载的流速，或经过设定的间隔时间，根据调整下载的流速；
在步骤25，服务端发现下载超速，启动下载指令过滤功能，截取下载模块访问外网指令，屏蔽掉多余指令，保证满足下载限速值的指令与外网的通信，避免外网接收到下载指令后，频繁的下推数据，导致外网带宽的浪费，流程进入到步骤26;
过滤和屏蔽指令具体为:根据各个指令的下载的限速值中的优先权值来进行过滤，对于优先权值较低的指令进行屏蔽，不允许这些指令与外网的通信，而对于优先权值高的指令，保证这些指令与外网的正常通信，且按照所需要的下载的限速值进行正常下载；而对于中等优先权值的指令，则进行暂时的屏蔽处理，待高优先权值的指令完成后，在允许这些指令与外网的通信并以第一流速阈值进行下载的限速控制；
在步骤26，对下载数据进行存储控制，优先使用内存进行临时保存，并且自动检测存储设备，默认存储硬盘，同时兼容USB设备，SD卡等；如果有数据需要上传，优先从内存中读取，读取数据与下载到内存中的数据同步，待下载完成后，检查上传数据完整性，如果不完整，从已下载内容中读取，并继续上传。下载过程中，如果内存使用满，则进行固件存储。流程结束。利用该优先级来分配下载顺序，有效利用了网络的带宽资源；并且由于在对各个优先级的流量进行了限制，因此避免了在网络的拥塞和下载数据的丢失，节约了带宽资源和使得用户在使用网络下载的过程中也是流畅且高效地接收所需要的数据信息。
[0045]本领域技术人员在阅读了本说明书后不难理解，本发明的统一下载管理及智能限速方法由现有技术结合而构成，这些现有技术虽然并没有事无巨细地全部一一描述，但在阅读了本说明书后本领域技术人员会知其所云。本说明书中描述了上述现有技术的结合而构成本发明的各个方案，本领域技术人员可以理解，这些方案的各种结合，以及构成这些方案的各个部分和/或特征的结合都属于本发明的方案的范畴。本领域技术人员显然可以理解的是，将上述现有技术结合起来构成本发明，这需要大量创造性劳动付出，是多年理论研究和大量实验的结晶。
[0046]本发明所述并不限于【具体实施方式】所述的实施例，只要是本领域技术人员根据本发明方案得出其他的实施方式，同样属于本发明的技术创新及保护的范围。
【权利要求】
1.统一下载管理及下载限速方法，包括以下步骤: 步骤11，根据用户下载请求，启动下载任务； 步骤12，在数据连接时，检测是否有外接插件，如果有，则进行外接接插件进程，随后进入步骤14 ;如果没有，则进入步骤13 ； 步骤13，进行数据节点挖掘，检测是否有可用CDN节点，如果有，则进行防盗链解析，再进入步骤14 ;如果有没有，则重新进行步骤12的数据连接； 步骤14，在外接接插件进程或者防盗链解析后，开始数据传输，在传输过程中进行下载限速处理和存储控制。
2.根据权利要求1所述的方法，其特征在于，所述下载限速处理具体包括: 步骤21，利用虚拟服务端与外网进行通讯，以进行数据传输，而且在应用层、中间层和系统层之间通讯通过消息机制进行处理，流程进入到步骤22 ； 步骤22，虚拟服务端判断是否有用户触发限速请求，如果有，则通过用户输入来设置下载限速值，流程进入到步骤24 ;当没有限速请求时，流程进入到步骤23 ； 步骤23，虚拟服务端不对下载进行任何控制和干预，保证下载的全速运行，随后对下载数据进行存储控制； 步骤24，启动网络检测模块，对当前下载速度进行检测，如果超出下载限速值，将通知服务端当前下载超速，需要对申请网络资源指令进行过滤处理，流程进入到步骤25 ;当前下载速度没有超过限速值时，进行正常下载，随后对下载数据进行存储控制；` 步骤25，服务端发现下载超速，启动下载指令过滤功能，截取下载模块访问外网指令，屏蔽掉多余指令，保证满足下载限速值的指令与外网的通信，随后对下载数据进行存储控制。
3.根据权利要求2所述的方法，其特征在于，过滤和屏蔽指令具体为:根据各个指令的下载的限速值中的优先权值来进行过滤，对于优先权值较低的指令进行屏蔽，不允许这些指令与外网的通信，而对于优先权值高的指令，保证这些指令与外网的正常通信，且按照所需要的下载的限速值进行正常下载；而对于中等优先权值的指令，则进行暂时的屏蔽处理，待高优先权值的指令完成后，在允许这些指令与外网的通信并以第一流速阈值进行下载的限速控制。
4.根据权利要求1所述的方法，其特征在于，所述存储控制方法具体为:在对下载数据进行智能存储时，优先使用内存进行临时保存，如果有数据需要上传，优先从内存中读取，读取数据与下载到内存中的数据同步；待下载完成后，检查上传数据完整性，如果不完整，从已下载内容中读取，并继续上传；下载过程中，如果内存使用已满，则进行固件存储。
5.根据权利要求1所述的方法，其特征在于，数据节点挖掘具体为，发现并查找最邻近的节点，首先与最近的CDN节点进行数据交互，同时分析当前节点的吞吐量，如果不够需求，继续跳转选择，以此类推，邻近选择。
6.根据权利要求1所述的方法，其特征在于，所述防盗链解析具体为，在接受数据时，同时接收来自不同运营商发送的根据运营商具体需要制定的防盗链规则，再根据这些规贝U，针对不同的情况进行防盗链解析。
7.根据权利要求1所述的方法，其特征在于，外接插件接口功能为，通过注册的方式进行与本系统的连接，还可以外扩P2P接口及BT接口。
8.根据权利要求1所述的方法，其特征在于，所述数据传输是支持http协议，ftp协议进行的数据传输。`
【文档编号】H04L29/08GK103685465SQ201310568542
【公开日】2014年3月26日 申请日期:2013年11月15日 优先权日:2012年11月29日
【发明者】宫成志, 于刚 申请人:乐视致新电子科技（天津）有限公司