一种文件内容同步方法和系统的制作方法

专利名称：一种文件内容同步方法和系统的制作方法
技术领域：
本发明涉及网络通信技术领域，更具体地说，涉及一种文件内容同步方法和系统。
技术背景
内容分发网络⑶N是一种新型的网络构建方式，将网站的内容以同步形式发布到 最接近用户的网络边缘，使用户就进取得所需的内容，解决网络拥挤情况，提高了用户访问 网站的响应速度。
现有的内容分发网络基于固定的节点缓存服务器，通过下载形成内容提供源服务 器内容的镜像，以及通过用户就进行和服务器负载的判断，确保请求同步的内容以高效的 方式针对用户的请求提供文件内容同步服务，并且减轻了主控服务器的压力，提升了网站 的性能和可扩展性。
然而现有的文件内容同步方法至少存在以下缺点随着用户越来越注重将文件快 速推送到服务节点，对于设计新闻类的流媒体文件，实时性和及时性则显得尤为重要。现有 的文件内容同步方法通过设置的固定节点从源服务器获取文件，而会受到源服务器网络带 宽影响或在同步过程中的网络波动的影响，达不到用户的要求的指定时间要求。发明内容
有鉴于此，本发明提供一种文件内容同步方法和系统，以保证文件内容的同步及 下载的及时性。
一种文件内容同步方法，包括
接收主控服务器根据用户发出的同步请求，并按照最小时延原则发送的同步任 务，所述同步请求包含有文件标识；
依照所述同步任务下载源文件并供给其他节点同步服务器下载；
若下载失败，将所述同步任务按照最小时延原则将同步任务发送至另一个节点的 同步服务器中，直至完成内容分发。
本实施方式中，主控服务器根据同步请求将任务分发到某一节点同步服务器，分 发原则是源文件服务器到节点同步服务器延时最小的目标节点同步服务器，一个文件从源 站下载一份，其他节点的同步服务器根据下载成功的同步服务器中进行下载，若该节点同 步服务器下载失败，则继续利用所述最小时延原则将同步任务发送至所述其他节点的同步 服务器中，直至完成内容分发。该实施方式优选任务下发路径并且节点同步服务器之间进 行文件互相下载，实现了文件内容同步及下载的及时性。
优选地，所述方法还包括
监测文件内容下载通路传输速度；
当某节点同步服务器文件内容下载的网络传输速度低于预设速度值时，放弃该条 通路文件内容下载，并搜索最佳源文件下载路径。
上述的实施方式解决了由于下载任务的地域网络带宽及传输路径中的网络波动4导致下载及时性受到影响的问题。
优选地，所述方法还包括当所述源文件大小大于预设处理文件大小时
生成重定向文件列表；
按照该重定向文件列表发送至目标节点同步服务器指定目录下；
根据该指定目录的指示将文件重新定向到多个域进行同步动态传输。
上述实施方式表明，在用户同步文件数量巨大的情况下，各个节点文件无法存放 承载，此时通过建立多个域并进行文件的重定向的方式，加快各节点同步服务器的同步速度。
优选地，所述方法还包括构建节点网络，具体实现为
根据源文件的文件大小，以节点的同步服务器对应多个域；
各个域对应存储服务器及一组高速缓冲服务器。
所述存储服务器的类型及与高速缓冲服务器之间的配置方式可有多种形式。
优选地，所述方法还包括按照预设时间间隔或所述重定向文件列表预设大小重 新读取及发送所述重定向文件列表。
作为优选在文件分发完成后，对于需要重定向的用户，当所述重定向列表文件大 于6K或生成时间大于一小时上传重定向列表。
优选地，所述方法还包括通过重新定向的域名检查文件，并确定被解析后向用户 发送文件内容下载成功。
当文件被解析或者可被访问时，则向用户发送成功报告或反馈信息。
一种文件内容同步系统，包括主控服务器、多个节点同步服务器和源文件服务 器，其中
多个节点同步服务器包含有一个目标节点同步服务器，根据最小时延原则确定；
所述目标节点同步服务器接收主控服务器根据用户发出的同步请求得到的同步 任务；
依照所述同步任务从所述源文件服务器中下载源文件并供给其他节点同步服务 器下载；
当该目标节点同步服务器下载失败时，按照最小时延原则将该同步任务发送至另 一个节点的同步服务器中，直至完成内容分发。
所述系统与方法对应，通过优化任务下发路径并能够在节点同步服务器之间进行 文件相互下载，保证了内容同步及下载文件内容的及时性。
优选地，所述系统还包括
节点文件传输监测单元，用于监测文件内容下载通路传输速度；
当某节点同步服务器文件内容下载的网络传输速度低于预设速度值时，放弃该条 通路文件内容下载，并搜索最佳源文件下载路径。
该节点文件传输监测单元通过及时了解节点同步服务器及源站的通路传输速度， 在客户有文件需要同步时，选择最优化的传输线路，完成所有节点上文件的及时地分发传输。
优选地，所述系统还包括重定向服务器，用于当所述源文件大小大于预设处理文 件大小时，接收由所述主控服务器生成的重定向文件列表；
按照该重定向文件列表发送至目标节点同步服务器指定目录下；
所述目标节点同步服务器根据该指定目录的指示将文件重新定向到多个域进行 同步动态传输。
所述重定向服务器可设置为两个，一主一备，并循环反复读取主控服务器下发的 重定向列表。
优选地，所述各个域由存储服务器及一组高速缓冲服务器。
所述存储服务器与高速缓冲服务器的构架方式根据实际的文件大小进行选择，可 为一个存储器和一组cache服务器的组合或一组NetApp服务器与对应连接的一组cache 服务器的组合。
从上述的技术方案可以看出，本发明实施例本发明中的文件内容同步方法采用主 控服务器依照最小时延原则向目标节点同步服务器发送同步任务，该目标节点同步服务器 从源站成功下载一份文件内容，由其他节点的同步服务器下载，从而完成内容分发；若该目 标节点同步服务器下载失败，则再次利用最小时延原则进行任务下发，直至内容同步及下 载全部位置，本实施例中的系统与所述方法对应，所述系统构建了以主控服务器为核心，以 目标节点同步服务器为下载源，由多个节点同步服务器相互下载的网络构成，针对现有的 文件内容同步方法及时性不足的缺点，实现了同步及文件内容下载及时性的提高；另外，本 发明的实施例应用了对节点与源站之间通路的传输速度的监测及搜索最佳下载源文件路 径的方式，文件下载的及时性进一步得到提高。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1为本发明实施例公开的一种文件内容同步方法流程图2为本发明又一实施例公开的一种文件内容同步方法流程图3为本发明又一实施例公开的一种文件内容同步方法流程图4为本发明实施例公开的一种文件内容同步系统结构示意图fe为本发明又一实施例公开的一种文件内容同步系统结构示意图恥中本发明实施例公开的一个域服务器结构示意图5c中本发明实施例公开的一个域服务器结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下
Cache 高速缓冲存储器；
NetApp 美国网域存储技术有限公司；
CDN Content Delivery Network，艮口 内容分发网络；
Wget 是一个从网络上自动下载文件的自由工具；
URL Universal Resource Locator 统一资源定位符。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
本发明公开了一种文件内容同步方法和系统，以保证文件内容的同步及下载的及 时性。图1示出了一种文件内容同步方法，需要说明的是，本发明站在目标节点同步服务器 侧进行描述，该方法包括
步骤101 接收主控服务器根据用户发出的同步请求，并按照最小时延原则发送 的同步任务，所述同步请求包含有文件标识；
所述文件标识包含有文件标识号、文件下载URL、操作指令信息、文件存放路径 和同步密码等信息。
步骤102 依照所述同步任务下载源文件并供给其他节点同步服务器下载；
主控服务器根据同步请求将任务分发到某一节点同步服务器，分发原则为源站距 离节点同步服务器延时最小节点优先。一个文件只从源站下载一份，而由其他的节点同步 服务器从已下载成功的目标节点同步服务器上下载；
步骤103 若下载失败，将所述同步任务按照最小时延原则将同步任务发送至另 一个节点的同步服务器中，直至完成内容分发。
若所有的节点下载均失败，将向用保护汇报同步失败信息。
本实施例中通过优化任务下发路径并能够在节点同步服务器之间进行文件相互 下载，保证了内容同步及下载文件内容的及时性。
图2示出又一种文件内容同步方法，包括
步骤201 接收主控服务器根据用户发出的同步请求，并按照最小时延原则发送 的同步任务，所述同步请求包含有文件标识；
所述文件标识包含有文件标识号、文件下载URL、操作指令信息、文件存放路径 和同步密码等信息。
步骤202 依照所述同步任务下载源文件并供给其他节点同步服务器下载；
步骤203 将所述同步任务按照最小时延原则将同步任务发送至另一个节点的同 步服务器中，直至完成内容分发。
步骤204 监测文件内容下载通路传输速度；
步骤205 当某节点同步服务器文件内容下载的网络传输速度低于预设速度值 时，放弃该条通路文件内容下载，并搜索最佳源文件下载路径。
对于同地区、同运营商之间的传输基本都是正常的，比如同样为广东省内的2个 电信节点之间遂宁与湛江，湛江与佛山之间，传输速度常年维持在lOMB/s，则可关闭该2 天之间的监测。同样的，在哈尔滨、沈阳、青岛三地网通节点之间的监测也可以关闭，而之间 的下载却可以一直开启。
而对于南北互联的节点，如湛江电信与沈阳网通，传输速度波动比较大，当探测速 度小于500KB/S，甚至小于lOOKB/s时，系统需要动态的关闭该两点点之间的传输。极端情 况下，假设客户的源文件在北方网通，那么所有南方的节点都无法保证500KB从源下载文 件，那么就要从北方节点获取文件，而此时所有涉及南北传输的速度都不理想，那么节点需要根据探测的结果，选择最快的传输路线去获取文件。
图3示出了又一种文件内容同步方法，包括
步骤301 接收主控服务器根据用户发出的同步请求，并按照最小时延原则发送 的同步任务，所述同步请求包含有文件标识；
所述文件标识包含有文件标识号、文件下载URL、操作指令信息、文件存放路径 和同步密码等信息。
步骤302 依照所述同步任务下载源文件并供给其他节点同步服务器下载；
步骤303 当所述源文件大小大于预设处理文件大小时，生成重定向文件列表；
步骤304 按照该重定向文件列表发送至目标节点同步服务器指定目录下；
步骤305 根据该指定目录的指示将文件重新定向到多个域进行同步动态传输；
举例说明在实现步骤302-步骤305时，需要进行节点网络的构建，具体实现为 根据源文件的文件大小，以节点的同步服务器对应多个域；各个域对应存储服务器及一组 高速缓冲服务器。
若同步文件大小巨大，各节点文件无法存放到一台存储上，这时就需要建 立多个域，每个域在每个节点对应一组服务器。设定一台或两台重定向服务器，对 夕卜域名为 “21newhot. tudou. com，，，例如当用户访问:http //21newhot. tudou, com/ flv/018/415/998/18415998. flv文件时，重定向服务器会根据列表将文件重定向到
http//wd. tudou0103. okcdn. com/fiv/018/415/998/18415998. flv 文件。
而“wd. tudou0103. okcdn. com” 是文件实际存在的域。
同样用户可以通过 “21newhot. tudou. com” 域访问到:"wd. tudou0104. okcdn. com"域的文件。要达到重定向的目的，必须将不同域的文件列表上传到同步服务器指定目 录下，所述重定向服务器从主控服务器每十分钟读取一次新的列表文件。
在文件分发完成后，对于需要重定向的用户，在所述列表文件大于6K或列表文件 生成时间大于一小时上传重定向列表。然后通过"wd. tudou0103. okcdn. com”域名检查文 件是否被解析。当文件被解析或可以访问就会向用户报告成功。
而对于文件数量较少用户不需要重定向。只需要一个域即可解决文件访问问题， 不需要重定向文件程序会通过域名检查文件是否可以被访问。
步骤306 若下载失败，将所述同步任务按照最小时延原则将同步任务发送至另 一个节点的同步服务器中，直至完成内容分发。
步骤307 监测文件内容下载通路传输速度；
步骤308 当某节点同步服务器文件内容下载的网络传输速度低于预设速度值 时，放弃该条通路文件内容下载，并搜索最佳源文件下载路径。
图4示出了一种文件内容同步系统结构，包括主控服务器401、多个节点同步服 务器402和源文件服务器403，其中
多个节点同步服务器402包含有一个目标节点同步服务器4021，根据最小时延原 则确定；
所述目标节点同步服务器4021接收主控服务器401根据用户发出的同步请求得 到的同步任务；
依照所述同步任务从所述源文件服务器403中下载源文件并供给其他节点同步服务器下载；
当该目标节点同步服务器403下载失败时，按照最小时延原则将该同步任务发送 至另一个节点同步服务器中，直至完成内容分发。
所述系统与方法对应，通过优化任务下发路径并能够在节点同步服务器之间进行 文件相互下载，保证了内容同步及下载文件内容的及时性。
图fe示出了又一种文件内容同步系统结构，相同结构组成参见图4的附图及说 明，现仅就不同之处进行描述图fe中，示出了节点文件传输监测单元501和重定向服务器 502 ；
所述节点文件传输监测单元501，用于监测文件内容下载通路传输速度；
当某节点同步服务器文件内容下载的网络传输速度低于预设速度值时，放弃该条 通路文件内容下载，并搜索最佳源文件下载路径。该节点文件传输监测单元通过及时了解 节点同步服务器及源站的通路传输速度，在客户有文件需要同步时，选择最优化的传输线 路，完成所有节点上文件的及时地分发传输。
所述重定向服务器502，用于当所述源文件大小大于预设处理文件大小时，接收由 所述主控服务器生成的重定向文件列表；
按照该重定向文件列表发送至目标节点同步服务器指定目录下；
所述目标节点同步服务器根据该指定目录的指示将文件重新定向到多个域进行 同步动态传输。
所述重定向服务器可设置为两个，一主一备，并循环反复读取主控服务器下发的 重定向列表。
图釙中标示了一个域服务器结构形式，为一个存储器和一组cache服务器的组 合
在每个节点有不同的域，一个域由一个存储服务器和一组cache服务器构成，对 于同一个域在每个节点都有一组服务器。如果一个文件属于一个域，则每个节点这个文件 都应当存储在这个域对应的存储服务器中。
需要特别之处的是顶层点即节点同步服务器，使用Wget方式获取客户源文件， 下层节点间使用互相同步的动态传输方式同步文件。
该种分层的传输方式保证了大容量的文件快速传输。
图5c中标示了域服务器结构形式，为一组NetApp服务器与对应连接的一组cache 服务器的组合。
在每个节点有一台NetApp服务器，专门负责存储文件。它以目录形势挂载到下载 服务器的一个目录下。结构如图示出了 3台NetApp服务器，挂载到三个目录下。NetApp服 务器同时也挂载到父cache服务器上分别属于3个域，通过域名可以访问到同步目录下的 文件。使用该中方式中，同时开启多个NetApp服务器，多个NetApp服务器之间使用同步动 态传输方式，互相进行同步。只有底层在发布时，同时开启的实际服务cache节点其实为挂 载目录。
需要说明的是对于文件数量较少的用户，一般文件总量不超过1.5T，用户只有 一个域，可以直接将同步服务器和存储服务器合并使用。即同步服务器同时作为父cache 的源使用。该方案只针对小客户，不涉及多台设备的互相传输问题。
综上所述
本发明中的文件内容同步方法采用主控服务器依照最小时延原则向目标节点同 步服务器发送同步任务，该目标节点同步服务器从源站成功下载一份文件内容，由其他节 点的同步服务器下载，从而完成内容分发；若该目标节点同步服务器下载失败，则再次利用 最小时延原则进行任务下发，直至内容同步及下载全部位置，本实施例中的系统与所述方 法对应，所述系统构建了以主控服务器为核心，以目标节点同步服务器为下载源，由多个节 点同步服务器相互下载的网络构成，针对现有的文件内容同步方法及时性不足的缺点，实 现了同步及文件内容下载及时性的提高；
另外，本发明的实施例应用了对节点与源站之间通路的传输速度的监测及搜索最 佳下载源文件路径的方式，文件下载的及时性进一步得到提高。
进一步地，本发明的实施例根据源文件的文件大小，以节点的同步服务器对应多 个域；各个域对应存储服务器及一组高速缓冲服务器。在该种情况下，顶层点即节点同步 服务器，使用wget方式获取客户源文件，下层节点间使用互相同步的动态传输方式同步文 件，该种分层的传输方式保证了大容量的文件传输。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他 实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统 而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说 明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元 及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和 软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些 功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业 技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应 认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执 行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存 储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术 领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明 将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。10
权利要求
1.一种文件内容同步方法，其特征在于，包括接收主控服务器根据用户发出的同步请求，并按照最小时延原则发送的同步任务，所 述同步请求包含有文件标识；依照所述同步任务下载源文件并供给其他节点同步服务器下载； 若下载失败，将所述同步任务按照最小时延原则将同步任务发送至另一个节点的同步 服务器中，直至完成内容分发。
2.根据权利要求1所述的方法，其特征在于，还包括 监测文件内容下载通路传输速度；当某节点同步服务器文件内容下载的网络传输速度低于预设速度值时，放弃该条通路 文件内容下载，并搜索最佳源文件下载路径。
3.根据权利要求1所述的方法，其特征在于，还包括当所述源文件大小大于预设处理 文件大小时生成重定向文件列表；按照该重定向文件列表发送至目标节点同步服务器指定目录下； 根据该指定目录的指示将文件重新定向到多个域进行同步动态传输。
4.根据权利要求3所述的方法，其特征在于，还包括构建节点网络，具体实现为 根据源文件的文件大小，以节点的同步服务器对应多个域；各个域对应存储服务器及一组高速缓冲服务器。
5.根据权利要求3所述的方法，其特征在于，还包括按照预设时间间隔或所述重定向 文件列表预设大小重新读取及发送所述重定向文件列表。
6.根据权利要求3所述的方法，其特征在于，还包括通过重新定向的域名检查文件， 并确定被解析后向用户发送文件内容下载成功。
7.一种文件内容同步系统，其特征在于，包括主控服务器、多个节点同步服务器和源 文件服务器，其中多个节点同步服务器包含有一个目标节点同步服务器，根据最小时延原则确定； 所述目标节点同步服务器接收主控服务器根据用户发出的同步请求得到的同步任务；依照所述同步任务从所述源文件服务器中下载源文件并供给其他节点同步服务器下载；当该目标节点同步服务器下载失败时，按照最小时延原则将该同步任务发送至另一个 节点的同步服务器中，直至完成内容分发。
8.根据权利要求7所述的系统，其特征在于，还包括节点文件传输监测单元，用于监测文件内容下载通路传输速度； 当某节点同步服务器文件内容下载的网络传输速度低于预设速度值时，放弃该条通路 文件内容下载，并搜索最佳源文件下载路径。
9.根据权利要求7所述的系统，其特征在于，还包括重定向服务器，用于当所述源文 件大小大于预设处理文件大小时，接收由所述主控服务器生成的重定向文件列表；按照该重定向文件列表发送至目标节点同步服务器指定目录下； 所述目标节点同步服务器根据该指定目录的指示将文件重新定向到多个域进行同步动态传输。
10.根据权利要求9所述的系统，其特征在于，所述各个域由存储服务器及一组高速缓 冲服务器。
全文摘要
本发明实施例公开了一种文件内容同步方法和系统，本发明中的文件内容同步方法采用主控服务器依照最小时延原则向目标节点同步服务器发送同步任务，该目标节点同步服务器从源站成功下载一份文件内容，由其他节点的同步服务器下载，从而完成内容分发，本实施例中的系统与所述方法对应，所述系统构建了以主控服务器为核心，以目标节点同步服务器为下载源，由多个节点同步服务器相互下载的网络构成，针对现有的文件内容同步方法及时性不足的缺点，实现了同步及文件内容下载及时性的提高。另外，本发明的实施例应用了对节点与源站之间通路的传输速度的监测及搜索最佳下载源文件路径的方式，文件下载的及时性进一步得到提高。
文档编号H04L29/08GK102045400SQ20101061195
公开日2011年5月4日 申请日期2010年12月29日 优先权日2010年12月29日
发明者井卫军, 姚福源, 张永森, 蒋建平 申请人:北京世纪互联工程技术服务有限公司, 北京云快线软件服务有限公司