资源离线下载方法及装置与流程

技术特征：
1.一种资源离线下载方法，其包括：根据用户标识和资源地址在用户任务表中查找该用户是否已经提交了相同的下载任务，以及，获取需要离线下载的资源的消重特征，判断所述需要离线下载的资源的消重特征是否与全局消重表中存储的已经离线下载的资源的消重特征相同；根据需要离线下载的资源的网络属性确定所述资源所归属的网络运营商；根据设定的任务调控策略，从所述网络运营商的离线下载服务器集群中选择离线下载服务器，其中，所述离线下载服务器用于对资源进行离线下载；将所述资源的离线下载任务分配给所选择的离线下载服务器以进行离线下载。2.如权利要求1所述的方法，其中，所述根据需要离线下载的资源的网络属性确定所述资源所归属的网络运营商，进一步包括：获取与所述资源的统一资源定位符URL对应的域名信息，并解析出与所述域名信息对应的IP地址；根据与所述域名信息对应的IP地址查询数据库以获取与所述IP地址对应的网络运营商并将其确定为所述资源所归属的网络运营商，所述数据库存储有网络运营商及其IP地址。3.如权利要求1或2所述的方法，其中，所述任务调控策略为将所述资源的离线下载任务分配给当前负载权值最小的离线下载服务器。4.如权利要求3所述的方法，其中，所述负载权值为：k1*cpu使用量+k2*磁盘余量+k3*内存余量+k4*带宽资源，其中，所述k1为cpu使用量对应的权值，所述k2为磁盘余量对应的权值，所述k3为内存余量对应的权值，所述k4为带宽资源对应的权值。5.如权利要求1或2任一项所述的方法，其中，在所述根据需要离线下载的资源的网络属性确定所述资源所归属的网络运营商之前，还包括：获取所述需要离线下载的资源的消重特征，所述消重特征是指所述资源的身份标识且其根据所述资源的URL、大小和内容片段生成；判断所述需要离线下载的资源的消重特征是否与全局消重表中存储的已经离线下载的资源的消重特征相同，以及所述需要离线下载的资源和所述已经离线下载的资源之间的时间间隔是否小于设定时间值，所述全局消重表存储有已经离线下载的资源的消重特征；如果消重特征相同且时间间隔小于设定时间值，则不下载所述需要离线下载的资源；否则，建立所述需要离线下载的资源的离线下载任务。6.如权利要求5所述的方法，其中，所述消重特征通过下列步骤生成：提取所述资源的头100k内容、中间随机位置100k内容、尾部100k内容作为资源的内容片段；将所述资源的URL、资源大小与所述内容片段拼接成字符串；对所述字符串进行MD5计算以得到所述消重特征。7.一种资源离线下载装置，其包括：消重处理模块，适于根据用户标识和资源地址在用户任务表中查找该用户是否已经提交了相同的下载任务，以及，获取需要离线下载的资源的消重特征，判断所述需要离线下载的资源的消重特征是否与全局消重表中存储的已经离线下载的资源的消重特征相同；网络运营商确定模块，适于根据需要离线下载的资源的网络属性确定所述资源所归属的网络运营商；离线下载服务器选择模块，适于根据设定的任务调控策略，从所述网络运营商的离线下载服务器集群中选择离线下载服务器，其中，所述离线下载服务器用于对资源进行离线下载；任务执行模块，适于将所述资源的离线下载任务分配给所选择的离线下载服务器以进行离线下载。8.如权利要求7所述装置，其中，所述网络运营商确定模块进一步包括：第一获取模块，适于获取与所述资源的统一资源定位符URL对应的域名信息，并解析出与所述域名信息对应的IP地址；第二获取模块，适于根据与所述域名信息对应的IP地址查询数据库以获取与所述IP地址对应的网络运营商并将其确定为所述资源所归属的网络运营商，所述数据库存储有网络运营商及其IP地址。9.如权利要求7或8所述的装置，其中，所述任务调控策略为将所述资源的离线下载任务分配给当前负载权值最小的离线下载服务器。10.如权利要求9所述的装置，其中，所述负载权值为：k1*cpu使用量+k2*磁盘余量+k3*内存余量+k4*带宽资源，其中，所述k1为cpu使用量对应的权值，所述k2为磁盘余量对应的权值，所述k3为内存余量对应的权值，所述k4为带宽资源对应的权值。11.如权利要求7或8任一所述的装置，其中，还包括：消重处理模块，适于：获取所述需要离线下载的资源的消重特征，所述消重特征指所述资源的身份标识且其根据所述资源的URL、大小和内容片段生成；判断所述需要离线下载的资源的消重特征是否与全局消重表中存储的已经离线下载的资源的消重特征相同，以及所述需要离线下载的资源和所述已经离线下载的资源之间的时间间隔是否小于设定时间值，所述全局消重表存储有已经离线下载的资源的消重特征；如果消重特征相同且时间间隔小于设定时间值，则不下载所述需要离线下载的资源；否则，建立所述需要离线下载的资源的离线下载任务。12.如权利要求11所述的装置，还包括消重特征生成模块，其包括：提取单元，适于提取所述资源的头100k内容、中间随机位置100k内容、尾部100k内容作为资源的内容片段；拼接单元，适于将所述资源的URL、资源大小与所述内容片段拼接成字符串；计算单元，适于对所述字符串进行MD5计算。