数据中心上线时视频文件的同步方法及同步调度器与流程

本发明涉及网络技术领域，尤其涉及一种数据中心上线时视频文件的同步方法及同步调度器。

背景技术：

IDC(Internet Data Center，互联网数据中心)，也称机房，是伴随着互联网不断发展的需求而迅速发展起来的，从而成为了互联网产业中不可或缺的重要一环。它为互联网内容提供商、企业、媒体和各类网站提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络带宽等业务。目前，当一个新的CDN(Content Delivery Network，内容分发网络)视频机房(vIDC)设备准备完毕后，在上线前需要进行视频文件的同步工作，将大量的热点文件在线拷贝到机房服务器的硬盘上。目前使用的同步方法如图1所示：

第一步、运维人员配置源IDC列表，配置好新IDC向哪个或哪几个(一般为4个)源IDC请求列表中的文件，并发送给同步管理器；

第二步、同步管理器接到配置列表后，立即向数据管理器请求一个热点文件列表；

第三步、同步管理器通过匹配热点文件列表与源IDC列表，生成任务列表，然后将任务列表分发给新IDC；

第四步、新IDC根据任务列表，向源IDC下载内容；当下载的内容量达到一定数量时，认为符合上线条件，机房上线，同步流程结束。

现有的同步方法中存在以下技术缺陷：源IDC列表需要运维人员手动配置，不仅消耗大量人力成本，而且配置方式是静态的、基于经验的，不够灵活；且运维人员配置源IDC时，无法实时知道源IDC的状况，无法实时知道链路的状况，也就无法保证同步过程的服务质量，无法确定需要同步的大量任务会不会给系统带来其他问题。

技术实现要素：

本发明的主要目的在于提供一种数据中心数据中心上线时视频文件的同步方法，旨在解决现有技术中需要运维人员手动配置，耗时耗力的技术问题。

为实现上述目的，本发明提供的一种数据中心上线时视频文件的同步方法，所述方法包括以下步骤：

同步调度器接收同步通知；所述同步通知中包含数据中心的相关信息及开始同步的时间；

向数据管理器请求热度文件列表；

向与数据中心物理位置相近的所有其他机房请求其过去预设时间内热度最高的区域文件列表；

将热度文件列表与区域文件列表合并并去除重复项，得到主文件列表；

在本地查询主文件列表中文件的位置，并发送给数据中心，以供数据中心下载。

优选地，上述方法还包括以下步骤：

接收数据中心在下载任务完成时反馈的下载结果。

优选地，所述在本地查询主文件列表中文件的位置，并发送给数据中心的步骤包括：

将数据中心看做用户、将主文件列表中的每一个文件看做一个请求，根据实时信息进行查询主文件列表中文件的位；

将每一个请求所对应的下载方式与地址组合在一个文件中发送至机房。

优选地，上述方法还包括以下步骤：

在下载的文件量达到阈值时以及所述区域文件列表中下载的问题件超过预设百分比时执行数据中心上线动作。

优选地，所述物理位置以“省”为单位。

本发明还提供一种同步调度器，所述同步调度器包括：

接收模块，用于接收同步通知；所述同步通知中包含数据中心的相关信息及开始同步的时间；

文件列表请求模块，用于向数据管理器请求热度文件列表；以及向与数据中心物理位置相近的所有其他机房请求其过去预设时间内热度最高的区域文件列表；

主文件列表获取模块，用于将热度文件列表与区域文件列表合并并去除重复项，得到主文件列表；

文件处理模块，用于在本地查询主文件列表中文件的位置，并发送给数据中心。

优选地，所述接收模块还用于：

接收数据中心在下载任务完成时反馈的下载结果。

优选地，所述文件处理模块用于：

将数据中心看做用户、将主文件列表中的每一个文件看做一个请求，根据实时信息进行查询；

将每一个请求所对应的下载方式与地址组合在一个文件中发送至机房。

优选地，上述同步调度器还包括：

上线执行模块，用于在下载的文件量达到阈值时以及所述区域文件列表中下载的问题件超过预设百分比时执行数据中心上线动作。

本发明提出的数据中心数据中心上线时视频文件的同步方法，将数据中心的同步任务看成大量用户请求视频的过程，使用一个专为同步而设计的调度器来处理这些请求，可节省人力、带宽等成本，也提高了灵活性和服务的质量。

附图说明

图1为现有技术中同步方法流程示意图；

图2为本发明数据中心数据中心上线时视频文件的同步方法的步骤流程示意图；

图3为本发明一实施例的数据中心数据中心上线时视频文件的同步方法在本地查询主文件列表中文件的位置，并发送给数据中心的步骤示意图；

图4为本发明一实施例的同步调度器的模块结构示意图；

图5为本发明一实施例的同步架构和同步方法流程示意图。

具体实施方式

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种数据中心数据中心上线时视频文件的同步方法，参照图2，在一实施例中，该数据中心数据中心上线时视频文件的同步方法包括以下步骤：

步骤S10，同步调度器接收同步通知；所述同步通知中包含数据中心的相关信息及开始同步的时间；本发明实施例中，数据中心即新vIDC或者新机房，其相关信息包括所在区域、地址等，同步通知可以由运维人员发送。

步骤S20，向数据管理器请求热度文件列表；向与数据中心物理位置相近的所有其他机房请求其过去预设时间(例如24小时)内热度最高的区域文件列表；热度文件列表即Top热度文件列表。每个区域(例如相同省、市、区)内都有一些热点文件，现有技术中，通过同步管理器向数据管理器请求的热点文件列表，往往不包含最近一天的热点文件，因此导致即使新vIDC完成了几乎所有的下载任务，在刚上线后的几个小时内也会产生大量的回源请求，从而增加系统的不稳定性，且影响性能。本发明实施例中，同步调度器不再只考虑热度文件列表，也考虑新vIDC所在区域Top热度的文件，新vIDC完成了下载任务后，不会或者很少产生回源请求，从而减少了回源率，提高系统的稳定性和性能。

步骤S30，将热度文件列表与区域文件列表合并并去除重复项，得到主文件列表；目前同步管理器生成任务列表的方式，是将所有任务均分至所有运维人员配置中提供的源IDC，并不考虑此时的源IDC负载压力、网络状况等，甚至也不考虑源IDC是否有所请求的文件，因此也可能使源IDC产生较多的回源请求。本发明从新vIDC所在区域(省份)的其他IDC或邻近省份的IDC获取当天最热的文件列表，从而对从数据管理器得到的文件列表进行补充。这样做的依据是，物理位置相近的IDC，其服务的用户群体往往具有近似的观看视频的偏好，从而可以保证命中率。

步骤S40，在本地查询主文件列表中文件的位置，并发送给数据中心，以供数据中心下载。

本发明提出的数据中心数据中心上线时视频文件的同步方法，将数据中心的同步任务看成大量用户请求视频的过程，使用一个专为同步而设计的调度器来处理这些请求，运维人员不再需要配置源IDC，而只需要提供新vIDC的信息，大大节省了人力、带宽等成本；同时，同步调度器不再只考虑热度文件列表，也会考虑新vIDC所在区域Top热度的文件可降低回源率，提高了系统的稳定性和性能。

本发明一较佳实施例中，上述方法还包括以下步骤：

接收数据中心在下载任务完成时反馈的下载结果。新vIDC根据同步调度器返回的结果，对于每一个文件下载任务，采取最适合的方式获取，同时当该任务完成时汇报给同步调度器，由同步调度器接收数据中心在下载任务完成时反馈的下载结果，以便执行上线任务。

参照图3所示，本发明实施例中，前述步骤S40可包括：

步骤S41，将数据中心看做用户、将主文件列表中的每一个文件看做一个请求，根据实时信息进行查询；其中，查询算法复用CDN常规调度器的算法，即把新vIDC看做用户，主文件列表中的每一个文件看做一个请求，根据实时的信息进行查询。

步骤S42，将每一个请求所对应的下载方式与地址组合在一个文件中发送至机房。对于每一个请求，得到的结果都应该是一个多种下载方法、多个地址的组合，可以使用metalink文件格式实现(metalink文件实际上是一个中包含了下载链接地址和下载优先级的XML文件)。

在一实施例中，上述方法还可包括以下步骤：

在下载的文件量达到阈值时以及所述区域文件列表中下载的问题件超过预设百分比时执行数据中心上线动作。新vIDC上线条件不再只以文件完成的数据量为标准，也会考虑重要文件的完成情况，从而进一步降低回源率。

前述实施例中，物理位置以“省”为单位。例如，本发明从新vIDC所在区域(省份)的其他IDC或邻近省份的IDC获取当天最热的文件列表，从而对从数据管理器得到的文件列表进行补充。

参见图4，本发明还提供一种同步调度器，用于实现上述方法。在一实施例中，该同步调度器包括：

接收模块10，用于接收同步通知；所述同步通知中包含数据中心的相关信息及开始同步的时间；

文件列表请求模块20，用于向数据管理器请求热度文件列表；以及向与数据中心物理位置相近的所有其他机房请求其过去预设时间内热度最高的区域文件列表；

主文件列表获取模块30，用于将热度文件列表与区域文件列表合并并去除重复项，得到主文件列表；

文件处理模块40，用于在本地查询主文件列表中文件的位置，并发送给数据中心。

在一实施例中，接收模块10还用于：

接收数据中心在下载任务完成时反馈的下载结果。

在一实施例中，文件处理模块40用于：

将数据中心看做用户、将主文件列表中的每一个文件看做一个请求，根据实时信息进行查询；

将每一个请求所对应的下载方式与地址组合在一个文件中发送至机房。

优选地，上述同步调度器还包括：

上线执行模块，用于在下载的文件量达到阈值时以及所述区域文件列表中下载的问题件超过预设百分比时执行数据中心上线动作。

参照图5所示，本发明同步调度器实施例中，其通信流程包括以下步骤：

步骤1：运维人员发送一条同步通知至同步调度器，通知中仅需要包含新IDC的相关信息及开始同步的时间；

步骤2：同步调度器向数据管理器请求Top热度文件列表(即热度文件列表)；

步骤3：同步调度器向与新vIDC物理位置相近的所有其他vIDC请求其过去预设时间内最热的文件列表(即区域文件列表)；将热度文件列表与区域文件列表合并并去除重复项，得到主文件列表；

步骤4：同步调度器向自身查询主文件列表中文件的位置，并返回给新vIDC。其中，查询算法复用CDN常规调度器的算法，即把新vIDC看做用户，主文件列表中的每一个文件看做一个请求，根据实时的信息进行查询；对于每一个请求，得到的结果都应该是一个多种下载方法、多个地址的组合，可以使用metalink文件格式实现，可以使用metalink文件格式实现(metalink文件实际上是一个中包含了下载链接地址和下载优先级的XML文件)；

步骤5：根据同步调度器返回的结果，对于每一个文件下载任务，采取最适合的方式获取，同时当该任务完成时汇报给同步调度器。确定能够上线的条件为，第一，下载的文件量必须达到一定的规模，第二，区域文件列表中超过一定百分比的文件必须下载完成。

本发明实施例中，同步调度器可以通过计算机程序实现，用于实施前述图2至3及其文字部分所对应的实施例，各模块的作用、原理及效果可参见前述方法实施例，在此不作详述。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。