集群缓存共享方法、系统、设备及存储介质与流程

本发明涉及数据缓存服务技术领域，尤其涉及一种集群缓存共享方法、系统、设备及存储介质。

背景技术：

后端服务领域内常用的缓存一般分两种，服务内直接内存缓存和第三方外部缓存。内部缓存框架目前有guava，mapdb等。外部缓存如redis和memcache之类。其中，guava是一种基于开源的java库，用于提供缓存功能。mapdb是一个嵌入式java数据库引擎，主要提供map和set形式的数据存储。redis(remotedictionaryserver，远程字典服务)是一个开源的使用ansic语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库。memcache是一套分布式的高速缓存系统。

在单机情况下，guava等框架可以很好地管理缓存数据。然而直接内存常用于缓存数量级不大的配置类数据或基础信息，譬如说电商网站中的商品类目等。如果需要缓存大量的业务数据，直接内存是无法缓存下全量业务数据的，因此一般首选外部缓存。目前常用的外部缓存一般使用在集群部署的情况下。然而，在集群场景下，由于服务之间相互独立，对于数据刷新操作可能每个服务都要执行一遍，这产生了比较多的性能浪费，也可能会存在数据刷新不及时、数据重复加载或数据之间不一致的问题。

技术实现要素：

针对现有技术中的问题，本发明的目的在于提供一种集群缓存共享方法、系统、设备及存储介质，基于服务节点间心跳机制实现集群中各个服务节点的相互感知，解决集群缓存数据一致性问题。

本发明实施例提供一种集群缓存共享方法，包括如下步骤：

新增服务节点从注册中心获取服务节点列表，所述服务节点列表中各个服务节点与对应的前置服务节点保持心跳通信；

所述新增服务节点从所述服务节点列表中查询到前置服务节点；

所述新增服务节点向所述前置服务节点发送心跳请求；

所述新增服务节点更新所述服务节点列表。

可选地，所述新增服务节点从所述服务节点列表中查询到前置服务节点，包括所述新增服务节点从所述服务节点列表中查询到最后一个服务节点，作为自身的前置服务节点。

可选地，所述新增服务节点更新所述服务节点列表之后，还包括所述新增服务节点查询所述服务节点列表中的第一个服务节点，将更新后的服务节点列表发送至所述第一个服务节点；

所述服务节点列表中第一个服务节点接收到更新的服务节点列表之后，将所述服务节点列表中最后一个服务节点作为自身的前置服务节点。

可选地，所述服务节点列表中各个服务节点与前置服务节点进行心跳通信时，从所述前置服务节点获取服务节点列表和节点缓存数据。

可选地，各个所述服务节点采用如下步骤从前置服务节点中获取节点缓存数据：

所述服务节点判断从所述前置服务节点获取到的节点缓存数据的缓存模式；

对于同步模式的数据，所述服务节点与所述前置服务节点进行数据同步；

对于映射模式的数据，所述服务节点存储数据的映射。

可选地，所述方法还包括如下步骤：

一所述服务节点接收到数据查询请求时，查找自身存储的数据和映射；

如果查询到被请求的数据，则该服务节点返回查询到的数据；

如果查询到被请求的数据的映射，则该服务节点根据所述数据的映射从对应的服务节点获取被请求的数据并返回。

可选地，所述新增服务节点更新所述服务节点列表之后，更新所述注册中心的服务节点列表，所述注册中心将更新后的服务节点列表发送至各个服务节点；

各个所述服务节点比较从前置服务节点接收到的服务节点列表和从所述注册中心接收到的服务节点列表，如果存在不一致，则进行告警。

可选地，所述方法还包括如下步骤：

一所述服务节点检测到前置服务节点为故障节点时，将所述故障节点的前置服务节点作为自身的前置服务节点，将所述故障节点从所述服务节点列表中删除，并更新所述服务节点列表。

本发明实施例还提供一种集群缓存共享系统，应用于所述的集群缓存共享方法，所述系统包括注册中心和多个服务节点，所述注册中心存储有管理所述多个服务节点的服务节点列表，所述服务节点列表中各个服务节点与对应的前置服务节点保持心跳通信；

新增一服务节点时，新增服务节点从所述注册中心获取服务节点列表；

所述新增服务节点从所述服务节点列表中查询到前置服务节点；

所述新增服务节点向所述前置服务节点发送心跳请求；

所述新增服务节点更新所述服务节点列表。

本发明实施例还提供一种集群缓存共享设备，包括：

处理器；

存储器，其中存在所述处理器的可进行指令；

其中，所述处理器配置为经由进行所述可进行指令来进行所述的集群缓存共享方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被进行时实现所述的集群缓存共享方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明所提供的集群缓存共享方法、系统、设备及存储介质具有下列优点：

本发明解决了现有技术中的问题，提供了一种集群缓存共享方法和系统，针对直接内存容量有限的问题，提出了包括多个服务节点的集群缓存，并且基于服务节点间心跳机制实现集群中各个服务节点的相互感知，维护完善的服务节点列表，方便服务节点的管理；在得到服务节点列表的基础上，可以按照业务逻辑去加载缓存，数据可以只存在于一个节点上，其他节点只维护缓存的映射，从而避免数据的重复加载，也解决了集群缓存数据一致性问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的集群缓存共享方法的流程图；

图2是本发明一实例的集群缓存共享方法的具体流程图；

图3是本发明一实施例的集群缓存共享系统的结构示意图；

图4是本发明一实施例的集群建立环式心跳机制的示意图；

图5是本发明一实施例的集群中新增服务节点的示意图；

图6是本发明一实施例的集群中检测到故障节点的示意图；

图7是本发明一实施例的集群缓存共享设备的示意图；

图8是本发明一实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了解决现有技术中的技术问题，本发明实施例提供一种集群缓存共享方法和系统，基于心跳机制实现多个缓存服务节点之间的缓冲服务共享和相互感知，区别于现有技术中的各个服务节点之间相互独立的情况，本发明中的服务节点集群在缓存数据时，只需要一个节点去完成缓冲，而其他服务节点则只需要存储数据映射即可，从而避免数据的重复加载，也解决了集群缓存数据一致性问题。该方法和系统可以应用于java服务端缓存服务，但本发明不限于此，也可以应用于其他缓存服务集群的管理中。

如图1所示，在本发明一实施例中，所述集群缓存共享方法包括如下步骤：

s100：新增服务节点从注册中心获取服务节点列表，所述服务节点列表中各个服务节点与对应的前置服务节点保持心跳通信，此处服务节点可以为jvm(javavirtualmachine，java虚拟机)服务器，但本发明不限于此，所述集群缓存共享方法应用于其他场景时，所述服务节点也可以是对应的服务器、虚拟机、容器等，均属于本发明的保护范围之内；

s200：所述新增服务节点从所述服务节点列表中查询到前置服务节点；

s300：所述新增服务节点向所述前置服务节点发送心跳请求；

s400：所述新增服务节点更新所述服务节点列表。

所述服务节点列表中可以存储有各个服务节点的id、各个服务节点的地址等信息。在新增服务节点时，通过步骤s100～s300，实现新增服务节点与服务节点列表中已有服务节点的心跳通信，并通过步骤s400实时更新完善的服务节点列表。因此，本发明通过注册中心维护完善的服务节点列表，服务节点列表中各个服务节点与对应的前置服务节点保持心跳通信，从而实现了各个服务节点之间的相互感知，解决了现有技术中服务节点间相互独立而对于数据刷新操作需要每个服务节点都执行一遍的问题。

如图2所示，为本发明一具体实例的集群缓存共享方法的具体流程图。通过在服务节点启动时，服务节点向注册中心注册服务，每个服务节点启动时都会拉取到注册中心上的服务节点列表，然后向其他服务节点发送tcp(transmissioncontrolprotocol，传输控制协议)心跳请求以确认服务的在线状态，并可以剔除掉已下线的服务节点，保证服务节点列表的实时性和准确性。

如图2所示，所述步骤s100：新增服务节点从注册中心获取服务节点列表，包括如下步骤：

s110：新增服务节点启动，服务节点启动必然存在先后顺序，启动后各个新增服务节点依次执行该集群缓存共享方法；

s120：新增服务节点从注册中心获取服务节点列表；

s130：新增服务节点判断所述服务节点列表中是否存在其他服务节点；

如果所述服务节点列表中没有其他服务节点，则说明该新增服务节点为第一个服务节点，继续步骤s140：开始执行自定义的缓冲数据初始化工作，并等待后续服务节点接入；

如果所述服务节点列表中已存在其他服务节点，则继续步骤s200从所述服务节点列表中选择前置服务节点。

如图3所示，本发明实施例还提供一种集群缓存共享系统，应用于所述的集群缓存共享方法，所述系统包括注册中心m100和多个服务节点m200，所述注册中心存储有管理所述多个服务节点m200的服务节点列表，所述服务节点列表中各个服务节点m200的均可以与所述注册中心m100进行通信，并且各个所述服务节点m200的分别与对应的前置服务节点保持心跳通信，从而保持各个服务节点之间的相互感知。

在该实施例中，各个所述服务节点之间建立如图4所示的环式心跳机制。即每个服务节点与前一个服务节点建立心跳通信连接，通过心跳机制确定前一个服务节点的状态。所述步骤s200：新增服务节点从所述服务节点列表中查询到前置服务节点，包括所述新增服务节点从所述服务节点列表中查询到最后一个服务节点，作为自身的前置服务节点。

如图2所示，所述步骤s400：新增服务节点更新所述服务节点列表之后，还包括如下步骤：

s510：所述新增服务节点查询所述服务节点列表中的第一个服务节点，将更新后的服务节点列表发送至所述第一个服务节点；

s520：所述服务节点列表中第一个服务节点接收到更新的服务节点列表之后，将所述服务节点列表中最后一个服务节点作为自身的前置服务节点。

下面结合图4和图5来具体介绍一实例中新增服务节点的流程。如图4所示，以当前集群中有四个服务节点m201～m204为例说明。各个服务节点均可以与注册中心m100进行通信。第一个服务节点m201为第二服务节点m202的前置服务节点，第二个服务节点m202为第三个服务节点m203的前置服务节点，第三个服务节点m203为最后一个服务节点m204的前置服务节点，最后一个服务节点m204为第一个服务节点m201的前置服务节点。各个服务节点均与前置服务节点保持心跳通信连接，对前置服务节点的状态进行监测。

如图5所示，新的服务节点m205启动，并从注册中心s100获取到服务节点列表，新的服务节点m205查找到最后一个服务节点m204，将服务节点m204作为服务节点m205的前置节点，并且向服务节点m204发送心跳请求，与服务节点m204建立心跳通信连接，服务节点m205更新服务节点列表，将服务节点m205作为服务节点列表中最后一个服务节点，并且服务节点n205将更新后的服务节点列表发送至注册中心和第一个服务节点m201，第一个服务节点m201将自身的前置服务节点更改为服务节点m205，并与服务节点m205建立心跳通信连接。

在该实施例中，所述服务节点列表中各个服务节点与前置服务节点进行心跳通信时，从所述前置服务节点获取节点缓存数据。具体地，各个所述服务节点采用如下步骤从前置服务节点中获取节点缓存数据：

所述服务节点判断从所述前置服务节点获取到的节点缓存数据的缓存模式；

对于同步模式的数据，所述服务节点与所述前置服务节点进行数据同步；例如，对于全量数据，需要在每个服务节点中均进行缓存，则所述服务节点将所述前置服务节点中存储的全量数据进行数据同步，在本地进行全量数据的存储；

对于映射模式的数据，所述服务节点存储数据的映射。例如，对于只需要存储在一个服务节点的数据，如果已经有一个服务节点已经存储了该元数据，则其他服务节点只需要存储这些数据的映射即可，数据的映射即指的是对数据记录的id或数据记录的关键字段与数据存储的实际位置的记录。此处，所述前置服务节点中的映射模式的数据有两种情况：一种是前置服务节点中存储的映射，所述服务节点直接同步所述映射即可，另一种是所述前置服务节点中存储的缓存数据，所述服务节点可以根据该些缓存数据创建新的映射，新的映射中的数据存储的实际位置为其前置服务节点的id或ip地址。

在各个服务节点从前置服务节点完成数据同步之后，后续的服务节点也可以与其进行数据同步。由于在该实施例中，建立的是环形心跳机制，因此可以保持各个服务节点中的数据一致性，并且对于非全量数据来说，只需要一个服务节点存储即可，此外，通过建立映射，任意一个服务节点均可以查询到集群中所有数据的具体存储位置。

在该实施例中，所述集群缓存共享方法还包括如下步骤：

一所述服务节点接收到数据查询请求时，查找自身存储的数据和映射；

如果查询到被请求的数据，则该服务节点返回查询到的数据；

如果查询到被请求的数据的映射，则该服务节点根据所述数据的映射确定所述数据存储的实际位置，该实际位置可以是对应的数据存放的服务器的id或地址，根据所述实际位置从对应的服务节点获取被请求的数据并返回。

因此，在该实施例中，任意一个服务节点均可以实现集群中所有数据的查询功能，各个服务节点之间实现了缓存服务共享，并且也无需在每个服务节点上均存储所有的元数据，避免了资源的不合理占用。

此外，在该实施例中，所述服务节点列表中各个服务节点与前置服务节点进行心跳通信时，还从所述前置服务节点获取服务节点列表。因此，在服务节点列表存在更新时，通过各个服务节点之间的环式心跳数据传输，可以保证各个服务节点之间存储的服务节点列表的内容均保持一致。

在该实施例中，所述新增服务节点更新所述服务节点列表之后，所述新增服务节点还更新所述注册中心的服务节点列表，从而保持注册中心的服务节点列表的实时性和准确性。在后续有新的服务节点启动时，可以从注册中心获取到最新的服务节点列表。

此外，在该实施例中，由于每个服务节点既可以从注册中心获取到服务节点列表，也可以从前置服务节点中获取到服务节点列表，可以将两个渠道获取的服务节点列表进行比较，以确保服务节点列表的正确性。具体地，所述注册中心在服务节点列表有更新时，将更新后的服务节点列表发送至各个服务节点；各个所述服务节点比较从前置服务节点接收到的服务节点列表和从所述注册中心接收到的服务节点列表，如果存在不一致，则进行告警。在比较时，所述服务节点可以根据服务节点列表的更新时间或版本号将同一时间更新的服务节点列表进行比较，以确定服务节点列表是否存在异常。

在该实施例中，所述集群缓存共享方法中，还可以通过心跳检测机制实现对故障节点的检测和出现故障节点后的处理。具体地，故障节点检测和处理包括如下步骤：

一所述服务节点检测到前置服务节点为故障节点时，将所述故障节点的前置服务节点作为自身的前置服务节点，将所述故障节点从所述服务节点列表中删除，并更新所述注册中心的服务节点列表。

以图4中的集群服务节点架构为例，如图6所示，当服务节点m203出现异常或下线时，其后一个服务节点m204在心跳通信时可以检测到，服务节点m204将服务节点m203从服务节点列表中剔除，并且将服务节点m202作为自身新的前置服务节点，向服务节点m202发送心跳请求，重新建立心跳通信连接。服务节点m201从服务节点m204中获取到更新的服务节点列表，可以知道服务节点m203被删除，服务节点m202从服务节点m201中获取最新的服务节点列表，也可以知道服务节点m203被删除。此外，服务节点m204可以更新注册中心m100的服务节点列表，保持注册中心m100的服务节点列表与各个服务节点的服务节点列表的一致性。

因此，通过采用本发明的集群缓存共享方法和系统，在得到完善的服务节点列表的基础上，可以按照业务逻辑去加载缓存，并且根据不同的缓存模式去选择同步缓存数据或者缓存映射。当有新的服务节点被部署并启动时，可以通过其他服务节点更新服务节点列表，并同步现有缓存映射和数据。当有服务节点下线时，可以通过后置服务节点的心跳监听下线事件，通知其他服务节点更新服务节点列表和缓存映射。

由此，在将本发明的集群缓存共享方法和系统应用到集群缓存服务中时，可以方便地在集群中增加部署服务节点以进行扩容，也可以在数据量较小时减少部分服务节点以降低资源损耗，各个服务节点和注册中心均具有自适应的功能，无需再由工作人员人工进行配置。因此，该集群缓存共享方法和系统可以很好地适用于容量自适应伸缩的场景中。此外，通过心跳监听，也可以对集群中各个服务节点的状态进行实时监测，及时发现异常服务节点，避免一个服务节点故障而影响其他的服务节点的正常运行。对于数据查询来说，工作人员可以在任意一个服务节点中进行数据查询，服务节点可以根据映射从其他服务节点中通过内网获取到目标数据，在不浪费存储资源的基础上真正实现缓存服务共享。

本发明实施例还提供一种集群缓存共享设备，包括处理器；存储器，其中存在所述处理器的可进行指令；其中，所述处理器配置为经由进行所述可进行指令来进行所述的集群缓存共享方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组合可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组合(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存在程序代码，所述程序代码可以被所述处理单元610进行，使得所述处理单元610进行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以进行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被进行时实现所述的集群缓存共享方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备进行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令进行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令进行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于进行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上进行、部分地在用户设备上进行、作为一个独立的软件包进行、部分在用户计算设备上部分在远程计算设备上进行、或者完全在远程计算设备或服务器上进行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，与现有技术相比，本发明所提供的集群缓存共享方法、系统、设备及存储介质具有下列优点：

本发明解决了现有技术中的问题，提供了一种集群缓存共享方法和系统，针对直接内存容量有限的问题，提出了包括多个服务节点的集群缓存，并且基于服务节点间心跳机制实现集群中各个服务节点的相互感知，维护完善的服务节点列表，方便服务节点的管理；在得到服务节点列表的基础上，可以按照业务逻辑去加载缓存，数据可以只存在于一个节点上，其他节点只维护缓存的映射，从而避免数据的重复加载，也解决了集群缓存数据一致性问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。