一种实现跨机房数据传输的方法、装置和系统的制作方法
【专利摘要】本发明公开了一种实现跨机房数据传输的方法、装置和系统。所述方法包括：将发送方机房的待发送数据放入发送缓存中；向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。本发明的技术方案，由于发送方会根据接收方的能力进行数据传输，因此可以减少数据传输失败的概率，进而减少数据重传的次数，提高了数据传输的效率。
【专利说明】一种实现跨机房数据传输的方法、装置和系统
【技术领域】
[0001]本发明涉及网络通信【技术领域】，具体涉及一种实现跨机房数据传输的方法和、装置和系统。
【背景技术】
[0002]在如今的信息社会的背景下，各个互联网公司以其他大型企业几乎都会存储着大量的信息数据。当公司业务较广，数据存储分布在不同的地域时，不可避免的会需要进行跨机房的数据传输。
[0003]而在跨机房数据传输时，面临的主要问题是:数据在跨机房的公网传输时，失败率较高，常常会丢失一定比例的数据，特别是将电信机房的数据传输到联通机房(反之亦然)，这种跨运营供应商时的数据传输时,失败率会更高,而且传输速度更慢；
[0004]现有的解决跨机房数据传输的方法是:将数据传输至别的机房，如果数据传输失败，则进行无限或有限次数的数据重传，当多次数据传输均告失败时，则放弃传输那条数据。
[0005]现有的跨机房数据传输方法有如下不足:若数据传输失败是因为网络拥塞或者接收端处理能力限制，此时再进行大量的数据重传，可能会使得网络拥塞加剧或者导致接收端宕机，从而导致更多的数据传输失败。
【发明内容】
[0006]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实现跨机房数据传输的方法、装置和系统。
[0007]依据本发明的一个方面，提供了一种实现跨机房数据传输的方法，包括:
[0008]将发送方机房的待发送数据放入发送缓存中；
[0009]向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；
[0010]根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0011]可选地，所述根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧包括:
[0012]当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存中的发往接收方机房的数据并进行发送；
[0013]当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存中的发往接收方机房的数据进行延时发送。
[0014]可选地，所述接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。
[0015]可选地，该方法进一步包括:
[0016]当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。[0017]可选地，该方法进一步包括:
[0018]当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存中的待发往接收方机房的数据进行延时发送，或者降低发送频率。
[0019]可选地，所述将发送缓存中的待发往接收方机房的数据进行延时发送包括:
[0020]所述发送缓存采用redis中排序集合实现，其中数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序；当发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送；
[0021]数据延时发送是在该数据的原key值上加上一个延时时间作为该数据的新key值。
[0022]可选地，该方法进一步包括:
[0023]获取包含各机房间传输速度的全局路由表；
[0024]在所述向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；
[0025]如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；
[0026]如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0027]可选地，该方法进一步包括:将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0028]可选地，该方法进一步包括:
[0029]当发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，
[0030]当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息，则先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0031]可选地，所述根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径包括:
[0032]优先选择中转节点少于第三预设值路径，其次选择传输耗时不高于第四预设值的路径。
[0033]可选地，所述根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达包括:
[0034]根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断发送方机房到接收方机房之间可达，否则判断发送方机房到接收方机房之间不可达。
[0035]可选地，所述获取包含各机房间传输速度的全局路由表包括:
[0036]定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；
[0037]接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0038]依据本发明的另一方面，提供了一种实现跨机房数据传输的装置，该装置包括:[0039]发送缓存单元，适于缓存发送方机房的待发送数据；
[0040]发送数据处理单元，适于向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0041]可选地，所述发送数据处理单元，适于当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存单元中的发往接收方机房的数据并进行发送；以及适于当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存单元中的发往接收方机房的数据进行延时发送。
[0042]可选地，所述发送数据处理单元接收的所述接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。
[0043]可选地，所述发送数据处理单元，进一步适于当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。
[0044]可选地，所述发送数据处理单元，进一步适于当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存单元中的待发往接收方机房的数据进行延时发送，或者降低发送频率。
[0045]可选地，所述发送缓存单元采用redis中排序集合实现；
[0046]所述发送数据处理单元，进一步适于将数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序，当发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送，当需要进行数据延时发送时，在该数据的原key值上加上一个延时时间作为该数据的新key值。
[0047]可选地，该装置进一步包括:路由表获取单元，适于获取包含各机房间传输速度的全局路由表；
[0048]所述发送数据处理单元，适于在向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0049]可选地，路由表获取单元，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0050]可选地，所述发送数据处理单元，进一步适于在发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0051]可选地，所述发送数据处理单元，适于在根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径时，优先选择中转节点少于第三预设值路径，其次选择传输耗时不高于第四预设值的路径。[0052]可选地，所述发送数据处理单元，适于根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断发送方机房到接收方机房之间可达，否则判断发送方机房到接收方机房之间不可达。
[0053]可选地，所述路由表获取单元，适于定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；以及接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0054]依据本发明的又一个方面，提供了一种实现跨机房数据传输的系统，其中，该系统包括:设置在接收方机房中的如上述任一项所述的实现跨机房数据传输的装置，以及设置在接收方机房中的接收数据处理装置；所述接收数据处理装置包括:
[0055]接收缓存单元，适于缓存接收方机房所接收的数据；
[0056]接收数据处理单元，适于在接收到发送方机房侧的准备接收数据的通知时，向发送方机房侧返回接收缓存单元的状态信息。
[0057]可选地，所述接收数据处理单元，进一步适于在接收到发送方机房侧发送的一条数据时，向发送方机房侧返回接收确认消息。
[0058]根据本发明的这种将发送方机房的待发送数据放入发送缓存中；向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧的技术方案，由于发送方会根据接收方的能力进行数据传输，因此可以减少数据传输失败的概率，进而减少数据重传的次数，提高了数据传输的效率。
[0059]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0060]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0061]图1示出了根据本发明一个实施例的一种实现跨机房数据传输的方法的流程图；
[0062]图2示出了根据本发明一个实施例的A机房向B机房传输数据的流程图；
[0063]图3示出了根据本发明一个实施例的一种实现跨机房数据传输的装置的结构图；
[0064]图4示出了根据本发明又一个实施例的一种实现跨机房数据传输的装置的结构图；
[0065]图5示出了根据本发明一个实施例的一种实现跨机房数据传输的系统的示意图。【具体实施方式】
[0066]前面提到各个互联网公司以其他大型企业几乎都会存储着大量的信息数据。当公司业务较广，数据存储分布在不同的地域时，不可避免的会需要进行跨机房的数据传输。此外还有很多需要进行跨机房进行数据传输的场景。
[0067]Web蜘蛛(爬虫)通常是通过网络请求，访问互联网上的各个站点，来获取一些有价值的信息。当需要访问的站点或网页数量较多时，单个机器或单个机房中蜘蛛的获取信息的能力将非常有限。这个时候就会需要使用到多个机器或多个机房的蜘蛛，来对大量的站点及网页进行抓取。例如，在白名单的业务(例如安全网址白名单、安全文件白名单等等)中，蜘蛛进程由于IP问题，需要部署在多个IP环境下，这样蜘蛛进程基本就分布于各个机房。而对这些蜘蛛的任务分配程序却只部署在一个指定的机房中，任务分配程序需要非常频繁的将任务分配至各个机房的蜘蛛抓取进程。而所述指定机房到其他机房，电信到网通跨公网的传输会导致任务分配经常丢失。本例中，蜘蛛任务分配程序所在的机房是发送方机房，蜘蛛抓取程序所在的机房是接收方机房。
[0068]因此本发明的实施例中提供了实现跨机房数据传输的方案，以解决现有的跨机房数据传输中存在的问题。
[0069]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0070]图1示出了根据本发明一个实施例的一种实现跨机房数据传输的方法的流程图。如图1所示，该方法包括:
[0071]步骤S110，将发送方机房的待发送数据放入发送缓存中。
[0072]在本发明的实施例中，为机房设置的发送缓存，用来缓存需要发送到其他机房的数据。
[0073]步骤S120，向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息。
[0074]在本发明的实施例中，接收缓存的状态信息表示接收缓存的负荷状态。
[0075]步骤S130，根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0076]图1所示方法的技术方案中，由于发送方会根据接收方的能力进行数据传输，因此可以减少数据传输失败的概率，进而减少数据重传的次数，提高了数据传输的效率。
[0077]在本发明的一个实施例中，图1所示方法中的步骤S130所述根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧包括:当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存中的发往接收方机房的数据并进行发送；当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存中的发往接收方机房的数据进行延时发送。例如，该第一预设值可以设定为接收方机房的接收缓存的总存储容量的80%。
[0078]在本发明的一个实施例中，接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。根据接收缓存的总容量和接收缓存的吞吐量可以计算出接收缓存的负荷。
[0079]在本发明的一个实施例中，图1所示方法进一步包括:当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。这样可以确保发送方的数据都能被无误地发送出去。
[0080]在本发明的一个实施例中，图1所示方法进一步包括:当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存中的待发往接收方机房的数据进行延时发送，或者降低发送频率。该第二预设值可以根据实际的网络带宽等因素进行确定，其单位可以是数据条数。例如当有已发出的100条数据未收到接收确认消息时进行延时发送或者降低发送频率。
[0081]在本发明的一个实施例中，所述将发送缓存中的待发往接收方机房的数据进行延时发送包括:发送缓存采用redis中排序集合实现，其中数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序；每个发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送；数据延时发送是在该数据的原key值上加上一个延时时间作为该数据的新key值,该数据以新的key值进行排序。
[0082]下面列举一个具体的实施例对上述基于缓存的跨机房数据传输方法进行说明:
[0083]每个机房设置一个传输数据的client，一个用于缓存本机房待传输数据的发送缓存；同时每个机房设置一个接收数据的worker，以及用于缓存本机房接收数据的接收缓存。当A机房的某台机器需要传输数据至B机房时，A机房的client A将待传输的数据写至A机房的发送缓存A中，并告知目的机房B及相应的机器。目的机房B的worker B收到A机房的通知之后，将自己机房的接收缓存B的状态反馈给A机房。A机房收到B机房的反馈之后，就能根据反馈信息，决定数据发送的策略，具体为:
[0084]1、若B机房的接收缓存B的负荷低于接收缓存B的存储容量的80%，则A机房的client A会立即将数据传输给B机房；
[0085]2、若B机房的接收缓存B的负荷高于或等于接收缓存B的存储容量的80%，则A机房的client A延时将数据传输给B机房。
[0086]同时，A机房传输给B机房的数据，只有在收到B机房的确认消息之后，client A才将该条数据从发送缓存A中删除；若A机房传输给B机房的数据中，有大量数据未收到确认消息，则可能是A到B的网络发生拥塞，或者别的原因导致传输数据丢失，这个时候，clientA会将A机房传输给B机房的数据延时发送或者降低发送频率。
[0087]可见，在上述种方法中，发送端会根据接收端的接收能力进行发送速率的调整，并且当网络传输大量失败时，进行延时重传。
[0088]此外，现有的跨机房数据传输还面临如下问题:需要进行数据传输的两个机房间，网络发生中断等故障时，传输的数据将会全部失败。如果两个机房间的网络光纤断了，则重传的数据依然会失败，大量的重传只会增加无用功，这时现有的传输方法只能等待光纤再次恢复才能够重传成功。
[0089]为此，本发明还提供了如下的基于自适应路由的数据传输机制，具体包括:获取包含各机房间传输速度的全局路由表；在所述向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0090]在本发明的一个实施例中，该方法进一步包括:将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0091]在本发明的一个实施例中，所述根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达包括:根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断为可达，否则判断为不可达。一般，该第五预设值要远小于两个机房间正常情况下的传输速度。
[0092]在本发明的一个实施例中，该方法进一步包括:在发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中:当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息，则先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0093]其中，所述根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径包括:优先选择中转节点少于第三预设值路径，如果不存在，其次选择传输耗时不高于第四预设值的路径。
[0094]在本发明的一个实施例中，所述获取包含各机房间传输速度的全局路由表包括:定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0095]例如:传输一定大小的数据时，A机房到B机房所需的时间为ab，B机房到C机房所需的时间为be, B机房到D机房所需的时间为bd,则整合后，A机房中的路由表为A机房到B机房所需时间为ab，A机房从B机房转C机房的时间为abc，A机房从B机房转D机房的时间为abd。以此类推。
[0096]以下仍以一个具体实施例为例对上述方案进行说明:每个机房的client都定期测试本机房到其他所有机房之间的数据传输速度，并将测试结果保存下来，同时将这份测试结果发送给其他可达的所有机房。这样每个机房都会保存一份全局的包含各机房间传输速度的路由表，这里称为全局路由表。当A机房向B机房传输数据时的具体流程如图2所
/j、l Ο
[0097]图2示出了根据本发明一个实施例的Α机房向Β机房传输数据的流程图。如图2所示，包括:
[0098]步骤S201，A机房的client A先查询全局路由表；
[0099]步骤S202，根据全局路由表判断A机房到B机房是否直接可达，是则执行步骤203，否则执行步骤S205。
[0100]步骤S203，client A将A机房的数据向B机房传输。
[0101]本步骤中的具体传输方案，可参考图1中的方法。
[0102]步骤S204，判断是否有大量数据传输失败，是则执行步骤S205，否则数据传输完毕，结束流程。
[0103]本步骤中，可以设定一个阈值，如果有超过该阈值的数据未接收到接收确认消息，则认为有大量数据传输失败。
[0104]步骤S205，根据所述全局路由表查找一条通过其他机房中转能够将A机房的数据传输到B机房的路径。
[0105]步骤S206，判断是否能够查找到可用路径，是则执行步骤S207，否则执行步骤S208。
[0106]例如，存在通过C机房中转的路径。
[0107]步骤S207，将A机房的数据通过路径A-C-B进行传输。数据传输完毕，结束流程。
[0108]在本步骤中，需要在数据中携带路径信息，已使得中转机房能够根据该路径信息转发数据。
[0109]步骤S208，client A延时发送数据或者降低发送速率。数据传输完毕，结束流程。
[0110]上述方法中，如果A机房与B机房之间的网络中断，则会寻找一个C机房，将数据由A机房传输到C机房，再由C机房传输到B机房。而不需要被动地等待A机房与B机房之间的网络恢复。
[0111]图3示出了根据本发明一个实施例的一种实现跨机房数据传输的装置的结构图。如图3所示，该实现跨机房数据传输的装置300包括:
[0112]发送缓存单元301，适于缓存发送方机房的待发送数据；
[0113]发送数据处理单元302，适于向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0114]图3所示装置中，由于发送方会根据接收方的能力进行数据传输，因此可以减少数据传输失败的概率，进而减少数据重传的次数，提高了数据传输的效率。
[0115]图4示出了根据本发明又一个实施例的一种实现跨机房数据传输的装置的结构图。如图4所示，该实现跨机房数据传输的装置400包括:
[0116]发送缓存单元401，适于缓存发送方机房的待发送数据；
[0117]发送数据处理单元402，适于向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0118]在本发明的一个实施例中，所述发送数据处理单元402，适于当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存单元中的发往接收方机房的数据并进行发送；以及适于当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存单元中的发往接收方机房的数据进行延时发送。例如，该第一预设值可以设定为接收方机房的接收缓存的总存储容量的80%。
[0119]在本发明的一个实施例中，所述发送数据处理单元接收的所述接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。根据接收缓存的总容量和接收缓存的吞吐量可以计算出接收缓存的负荷。
[0120]在本发明的一个实施例中，所述发送数据处理单元402，进一步适于当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。这样可以确保发送方的数据都能被无误地发送出去。
[0121]在本发明的一个实施例中，所述发送数据处理单元402，进一步适于当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存单元中的待发往接收方机房的数据进行延时发送，或者降低发送频率。例如当有已发出的100条数据未收到接收确认消息时进行延时发送或者降低发送频率。
[0122]在本发明的一个实施例中，所述发送缓存单元401采用redis中排序集合实现；所述发送数据处理单元402，进一步适于将数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序，当发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送，当需要进行数据延时发送时，在该数据的原key值上加上一个延时时间作为该数据的新key值。
[0123]在本发明的一个实施例中，所该装置400进一步包括:路由表获取单元403，适于获取包含各机房间传输速度的全局路由表；
[0124]所述发送数据处理单元402，适于在向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0125]在本发明的一个实施例中，路由表获取单元403，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0126]在本发明的一个实施例中，所述发送数据处理单元402，进一步适于在发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0127]在本发明的一个实施例中，所述发送数据处理单元402，适于在根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径时，优先选择中转节点少于第三预设值路径，其次选择传输耗时不高于第四预设值的路径。
[0128]在本发明的一个实施例中，所述发送数据处理单元402，适于根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断发送方机房到接收方机房之间可达，否则判断发送方机房到接收方机房之间不可达。
[0129]在本发明的一个实施例中，所述路由表获取单元403，适于定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；以及接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0130]图5示出了根据本发明一个实施例的一种实现跨机房数据传输的系统的示意图。如图5所示，该系统包括:设置在接收方机房中的如图3或4所示的实现跨机房数据传输的装置400，以及设置在接收方机房中的接收数据处理装置500 ;所述接收数据处理装置500包括:
[0131]接收缓存单元501，适于缓存接收方机房所接收的数据；
[0132]接收数据处理单元502，适于在接收到发送方机房侧的准备接收数据的通知时，向发送方机房侧返回接收缓存单元的状态信息。
[0133]在本发明的一个实施例中，所述接收数据处理单元502，进一步适于在接收到发送方机房侧发送的一条数据时，向发送方机房侧返回接收确认消息。
[0134]需要说明的是，一个机房即作为发送方机房，又作为接收方机房时，其即包括实现跨机房数据传输的装置400，又包括接收数据处理装置500。
[0135]综上所述，根据本发明的这种将发送方机房的待发送数据放入发送缓存中；向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧的技术方案，由于发送方会根据接收方的能力进行数据传输，因此可以减少数据传输失败的概率，进而减少数据重传的次数，提高了数据传输的效率。
[0136]需要说明的是:
[0137]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0138]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0139]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0140]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0141]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0142]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的实现跨机房数据传输的装置和系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0143]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0144]本发明公开了 A1、一种实现跨机房数据传输的方法，其中，包括:将发送方机房的待发送数据放入发送缓存中；向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0145]A2、如A1所述的方法，其中，所述根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧包括:当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存中的发往接收方机房的数据并进行发送；当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存中的发往接收方机房的数据进行延时发送。
[0146]A3、如A2所述的方法，其中，所述接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。
[0147]A4、如A1所述的方法，其中，该方法进一步包括:当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。
[0148]A5、如A4所述的方法，其中，该方法进一步包括:当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存中的待发往接收方机房的数据进行延时发送，或者降低发送频率。
[0149]A6、如A5所述的方法，其中，所述将发送缓存中的待发往接收方机房的数据进行延时发送包括:所述发送缓存采用redis中排序集合实现，其中数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序；当发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送；数据延时发送是在该数据的原key值上加上一个延时时间作为该数据的新key值。
[0150]A7、如A1至A6中任一项所述的方法，其中，该方法进一步包括:获取包含各机房间传输速度的全局路由表；在所述向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0151]A8、如A7所述的方法，其中，该方法进一步包括:将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0152]A9、如A7所述的方法，其中，该方法进一步包括:当发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息，则先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0153]A10、如A7所述的方法，其中，所述根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径包括:优先选择中转节点少于第三预设值路径，其次选择传输耗时不高于第四预设值的路径。
[0154]All、如A7所述的方法，其中，所述根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达包括:
[0155]根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断发送方机房到接收方机房之间可达，否则判断发送方机房到接收方机房之间不可达。
[0156]A12、如A7所述的方法，其中，所述获取包含各机房间传输速度的全局路由表包括:
[0157]定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；
[0158]接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0159]本发明还公开了 B13、一种实现跨机房数据传输的装置，该装置包括:
[0160]发送缓存单元，适于缓存发送方机房的待发送数据；
[0161]发送数据处理单元，适于向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
[0162]B14、如B13所述的装置，其中，所述发送数据处理单元，适于当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存单元中的发往接收方机房的数据并进行发送；以及适于当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存单元中的发往接收方机房的数据进行延时发送。
[0163]B15、如B14所述的装置，其中，所述发送数据处理单元接收的所述接收缓存的状态信息包括:接收缓存数量、接收缓存总容量和接收缓存的吞吐量。
[0164]B16、如B13所述的装置，其中，所述发送数据处理单元，进一步适于当接收到接收方机房侧发送的接收确认消息时，从发送缓存中删除对应的数据。
[0165]B17、如B16所述的装置，其中，所述发送数据处理单元，进一步适于当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，将发送缓存单元中的待发往接收方机房的数据进行延时发送，或者降低发送频率。
[0166]B18、如B12所述的装置，其中，所述发送缓存单元采用redis中排序集合实现；所述发送数据处理单元，进一步适于将数据作为value，时间戳作为key存储到所述排序集合中，排序集合中的数据按照key值大小进行排序，当发送数据时，从排序集合中取出key值小于当前时间戳的数据进行发送，当需要进行数据延时发送时，在该数据的原key值上加上一个延时时间作为该数据的新key值。
[0167]B19、如B13所述的装置，其中，该装置进一步包括:路由表获取单元，适于获取包含各机房间传输速度的全局路由表；
[0168]所述发送数据处理单元，适于在向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
[0169]B20、如B19所述的装置，其中，路由表获取单元，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上；或者，适于将获取的所述全局路由表存储在发送方机房中的一台或多台设备上，且进行主从备份。
[0170]B21、如B19所述的装置，其中，所述发送数据处理单元，进一步适于在发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
[0171]B22、如B19所述的装置，其中，所述发送数据处理单元，适于在根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径时，优先选择中转节点少于第三预设值路径，其次选择传输耗时不高于第四预设值的路径。
[0172]B23、如B19所述的装置，其中，所述发送数据处理单元，适于根据全局路由表查看发送方机房到接收方机房的传输速度是否大于第五预设值，是则判断发送方机房到接收方机房之间可达，否则判断发送方机房到接收方机房之间不可达。
[0173]B24、如B19所述的装置，其中，所述路由表获取单元，适于定期测试发送方机房到其他各机房的传输速度，保存测试结果，并将测试结果分别发送给其他各机房；以及接收其他各机房的测试结果，与所保存的测试结果进行整合，获得全局路由表。
[0174]本发明还公开了 C25、一种实现跨机房数据传输的系统，其中，该系统包括:设置在接收方机房中的如B13B-24中任一项所述的实现跨机房数据传输的装置，以及设置在接收方机房中的接收数据处理装置；所述接收数据处理装置包括:
[0175]接收缓存单元，适于缓存接收方机房所接收的数据；
[0176]接收数据处理单元，适于在接收到发送方机房侧的准备接收数据的通知时，向发送方机房侧返回接收缓存单元的状态信息。
[0177]C26、如C25所述的系统，其中，
[0178]所述接收数据处理单元，进一步适于在接收到发送方机房侧发送的一条数据时，向发送方机房侧返回接收确认消息。
【权利要求】
1.一种实现跨机房数据传输的方法，其中，包括:将发送方机房的待发送数据放入发送缓存中；向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态fe息;根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
2.如权利要求1所述的方法，其中，所述根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧包括:当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存中的发往接收方机房的数据并进行发送；当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存中的发往接收方机房的数据进行延时发送。
3.如权利要求1或2所述的方法，其中，该方法进一步包括:获取包含各机 房间传输速度的全局路由表；在所述向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
4.如权利要求3所述的方法，其中，该方法进一步包括:当发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息，则先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
5.一种实现跨机房数据传输的装置，其中，该装置包括:发送缓存单元，适于缓存发送方机房的待发送数据；发送数据处理单元，适于向接收方机房侧发送准备接收数据的通知，并接收接收方机房侧返回的接收缓存的状态信息；根据接收缓存的状态信息，将发送缓存中的数据发送到接收方机房侧。
6.如权利要求5所述的装置，其中，所述发送数据处理单元，适于当所述接收缓存的状态信息表示接收缓存的负荷低于第一预设值时，获取发送缓存单元中的发往接收方机房的数据并进行发送；以及适于当所述接收缓存的状态信息表示接收缓存的负荷高于或等于第一预设值时，则将发送缓存单元中的发往接收方机房的数据进行延时发送。
7.如权利要求5所述的装置，其中，该装置进一步包括:路由表获取单元，适于获取包含各机房间传输速度的全局路由表;所述发送数据处理单元，适于在向接收方机房侧发送准备接收数据的通知之前，先根据所述全局路由表判断发送方机房到接收方机房之间是否直接可达；如果直接可达，则执行所述向接收方机房侧发送准备接收数据的通知的步骤；如果不直接可达，则根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径，并根据该路径进行数据传输。
8.如权利要求7所述的装置，其中， 所述发送数据处理单元，进一步适于在发送方机房到接收方机房之间直接可达并通过该直达路径发送数据的过程中，当超出第二预设值的已发往接收方机房侧的数据未接收到接收确认消息时，先根据所述全局路由表选择一条通过其他机房中转能够将发送方机房的数据传输到接收方机房的路径；如果路径存在，则根据该路径进行数据传输，如果路径不存在，则将发送缓存获中的发往接收方机房的数据进行延时发送，或者降低发送频率。
9.一种实现跨机房数据传输的系统，其中，该系统包括:设置在接收方机房中的如权利要求5-8中任一项所述的实现跨机房数据传输的装置，以及设置在接收方机房中的接收数据处理装置；所述接收数据处理装置包括:接收缓存单元，适于缓存接收方机房所接收的数据；接收数据处理单元，适于在接收到发送方机房侧的准备接收数据的通知时，向发送方机房侧返回接收缓存单元的状态信息。
10.如权利要求9所述的系统，其中，所述接收数据处理单元，进一步适于在接收到发送方机房侧发送的一条数据时，向发送方机房侧返回接收确认消息。
【文档编号】H04L12/801GK103647622SQ201310651875
【公开日】2014年3月19日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】徐锐波, 付赟 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司