用于数据库和存储器感知路由器的方法和设备的制造方法
【技术领域】
[0001]本发明的各个实施例涉及用于维护网络环境中的分布式存储器的设备和相关方法，具体而言涉及但不限于一种用于优化分布式存储器的网络环境的系统和方法。
【背景技术】
[0002]分布式存储器为当今企业最重要的关键需求之一。数据跨地域保存并且维护专用系统，以确保了跨地域的冗余备份。
[0003]具有分布式结构最重要的原因之一包括但不限于:数据量及其庞大、为了使程序可扩展及利用多系统和多核CHJ架构的优势。另一方面，网站服务器需要在全球分布以保证低延迟和故障倒换等。
[0004]在典型场景中，系统管理员可以跨越多个物理位置分发(例如，数据库中的)数据集。分布式数据库可以位于因特网、公司内网或其他公司网络的网络服务器上。由于分布式数据库存储了多台计算机的数据，分布式数据库通过允许事务在许多机器(而非限制为一台机器)上处理改善了终端用户感知的性能。
[0005]本发明范围内的分布式存储器可表示信息(例如，以复制方式)存储在多个网络节点上的计算机网络。因此，分布式存储还可表示用户在多个网络节点上存储信息的分布式数据库，或者用户在多个对等网络节点上存储信息的计算机网络。
[0006]所述领域的普通技术人员可能很了解，在通信网络中，一个节点是一个连接点，表示再分发点(redistribut1n point)或通信端点(例如，一些终端设备)。物理网络节点是连接到网络的有源电子设备，能够通过通信信道发送、接收或转发信息(例如，数据包)。
[0007]通常复制涉及利用查找分布式数据库中的变化的专门软件模块。一旦识别了变化，复制过程使得所有数据库看起来相同，即包含相似的数据。复制过程取决于分布式数据库的大小和数目，可能繁琐、复杂且耗时。该过程还需要大量计算机资源。
[0008]因此，长久以来一直存在优化数据库复制以节省内存、CPU周期等宝贵的网络资源的需求。
[0009]已提出了许多方案来降低由于在网络的多个节点上复制数据而导致的网络资源的损耗。然而，现有方案在具有集群拓扑感知的应用级别或不具有数据库集群拓扑感知的路由器级别(L2/L3)上操作。
[0010]仅基于“路由器级别”方法论的方案存在很多缺点，包括但不限于由于主节点侧的过多订阅而导致的网络中的冗余。冗余消除技术本身很昂贵，其被统一应用而不考虑信息的性质(即，不是上下文特定的)。
[0011 ]如果不了解底层数据库的拓扑，多余的内容会被缓存或者缓存未被最优地使用。
[0012]此外，传统方案无法基于数据库内容为各种内容提供策略。例如，不可以使用这些方案来实施例如特殊路径，该特殊路径尝试为初始镜像信息最大化MTU(最大传输单元)。
[0013]因此，长久以来一直存在提供一种用于分布式存储器的优化方法和系统的需求，该方法和系统避免了传统方法呈现的上述缺点及许多其他缺点。确切地说，需要一种用于分布式存储器的优化方法和系统，该方法和系统可以在任意数据存储方案或任意数据库中使用并且无论使用何种复制机制都能最优地运行。这种方案应当具有成本效益并且优先使用现有的路由器基础结构(例如，MPLS、MPLS-TE、CSPF)来实现所需的改进。
【发明内容】
[0014]出于总结的目的，本文已描述了一些方面、优点以及新颖的特征。应理解的是，并不是按照任何一个特定实施例就可以实现所有此类优点。因此，本发明可以以如下方式体现或执行:实现或优化本文教导的一个优点或一组优点，而无需实现本文可能教导或建议的其他优点。
[0015]本发明的一个目的在于消除上述提到的和许多其他缺点，本发明提供了一种通过使存储器/数据库路由器感知底层的数据存储器/数据库集群拓扑和复制流来优化存储器和数据库复制的方法和系统。
[0016]本发明的典型实施例中的系统和对应方法提供了一种路由器(用户对其进行最低配置)确定存储器/数据库复制拓扑，以及利用拓扑感知装备路由器以优化数据存储器/数据库复制流的机制。
[0017]本发明的实施例提供了路由器对底层网络的集群拓扑的确定。
[0018]—种用于优化分布式网络环境中的复制的方法和系统，该环境用于承载多个数据包和数据库【服务器】以及用于多个数据包和数据库【服务器】之间的通信，所述方法和系统包括所述网络中运行的一个或多个路由器设备确定所述网络环境的当前集群拓扑;所述路由器识别并优化网络环境中正使用的数据复制流/服务;所述路由器设备基于所述集群拓扑确定路由方案;基于所述路由方案对所述网络环境内的数据包进行路由；所述路由器将预定义的策略应用到对应于所述识别的数据复制流的预定义的路由器组。
[0019]在本发明的另一实施例中，路由器设备使用一组边缘路由器确定所述网络环境的当前集群拓扑，最靠近所述数据库服务器运行的边缘路由器为数据库节点边缘路由器。
[0020]在本发明的另一实施例中，数据库节点边缘路由器包含配置的数据，包括数据库节点边缘路由器的互联网协议地址、数据库集群的唯一标识符、信道和相关的策略配置。
[0021]在本发明的又一实施例中，主边缘路由器通过在边缘路由器上开启缓存并将指纹附着到与所述缓存关联的净荷上来优化数据复制流。
[0022]在本发明的又一实施例中，本发明上下文内的数据包的路由包括第一路由器创建路径和标签用于通过使用第二路由器的缓存数据将第一数据包路由到第三路由器，第一路由器确定待传输到第三路由器的数据包在所述第二路由器中缓存并使用已缓存的指纹和所述路径标签;第二路由器接收所述指纹和对应的标签，处理所述接收的包数据，将所述包数据转换为实际数据，并将所述实际数据转发到第三路由器。
[0023]在本发明的又一实施例中，所述方法和系统用于通过所述边缘路由器在所述网络环境中通告/发布所述识别的数据复制流/服务;通过数据库感知路由器接收并存储所述通告/发布的信息;通过所述数据库感知路由器订阅主数据库边缘路由器;在所述订阅后将集群中的所述数据库感知路由器添加为SDER(订阅数据库边缘路由器)；为每个添加的数据库感知路由器配置对应的SDER(订阅数据库边缘路由器)，其中主数据库边缘路由器(MDER)在接收订阅请求时用于检查是否已订阅所请求的数据库感知路由器或SDER;以及在确定已订阅所请求的数据库感知路由器或SDER后在MDER-SDER链路上开启缓存。
[0024]在本发明的又一实施例中，所述方法和系统用于通过订阅者节点对应的主DB节点将REDO日志信息作为数据包发送到订阅者节点；通过MDER(主数据库边缘路由器)拦截所述包数据用于确定REDO日志信息;在确定所述包数据包含REDO日志信息并且未开启缓存后缓存所述包数据。
[0025]在本发明的又一实施例中，所述方法和系统用于通过主数据库边缘路由器使用查找边缘路由器信息提取数据包的目的地址;为开启缓存的边缘路由器生成所述包数据的指纹并存储和转发指纹数据和包;给所述包数据贴上标签并转发指纹；以及当确定已存在指纹时通过主数据库边缘路由器生成所述包数据的标签并仅转发指纹。
[0026]在本发明的另一实施例中，基于DB集群确定的拓扑的主数据库边缘路由器呈现出对缓存的最优利用。
[0027]在本发明的另一实施例中，本发明提供了多个路由器对复制流或重做流的优化。
[0028]在本发明的另一实施例中，描述了一种用于对包进行路由和缓存的方法。
[0029]本发明的实施例中公开的内容提供了一种系统(和方法)，为从DB(数据库操作)角度表达的不同性质的流应用特定策略。
[0030]参照本发明的本文中所述的所有实施例适用于所述方法和所述对应系统。
[0031]所述领域的技术人员将参照附图，从实施例的详细描述中易明了本发明的这些和其他实施例，本发明不限于所公开的任意特定实施例。
【附图说明】
[0032]为了更好地理解本文所述的系统和方法的实施例，并为了更清楚地示出如何实现这些实施例，将通过示例对附图进行参照，其中:
[0033]图1示出了现有的单主复制机制。
[0034]图2示出了现有的多主复制。
[0035]图3示出了传统复制中的冗余。
[0036]图4示出了用于解决分布式网络环境中的过多订阅的现有组播方案的图解表示。
[0037]图5示出了用于冗余消除的现有方案的图解表示。
[0038]图6示出了用于包级冗余检测的现有方案的图解表示。
[0039]图7示出了示例性分布式/复制数据库。
[0040]图8示出了基于缓存和拓扑感知的最优路由方法。
[0041]图9示出了示例性MDER(主DB节点边缘路由器)中配置的数据。
[0042]图10示出了MDER(主DB节点边缘路由器)在分布式网络环境中进行通告和订阅的流程图。
[0043]图11示出了REDO缓存优化的流程图。
[0044]图12示出了用于REDO缓存的序列图。
[0045]图13示出了基于缓存的最优路由的示例性网络图。
[0046]图14示出了基于缓存的最优路由的路径创建。
[0047]图15示出了地理分布式多主DB集群。
【具体实施方式】
[0048]现将参考附图描述示例性实施例。但是，本发明可以具体体现为许多不同的形式且不应被解释为仅限于本文所阐述的实施例;提供这些实施例是为使本发明详尽完整并向本领域技术人员充分传达本发明的范围。在附图中所示的特定的示例性实施例的详细描述中使用的术语并非意在限制。在附图中，相同的数字指相同的元件。
[0049]说明书在若干位置可能涉及“一种”、“一个”或“一些”实施例。这并不一定意味着每个这样的引用都是相同的实施例，或者该特征仅应用于单个实施例。也可以组合不同实施例的单独的特征以提供其他实施例。
[0050]除非另外明确规定，否则本文所用的单数形式“一”和“所述”包括其复数形式。应进一步了解，本说明书中所用的术语“包括”用于说明存在所述特征、