缓存数据的刷脏方法和系统与流程

1.本发明涉及存储领域，尤其是涉及一种缓存数据的刷脏方法和系统。


背景技术：

2.bcache是一种硬盘加速缓冲插件，由linux内核模块直接提供。bcache缓存过程中产生的脏数据（缓存数据），目前的处理方式是通过缓存水位来设置刷脏速率，当缓存水位较低时，刷脏速率较慢，当缓存水位较高时，刷脏速率较快。当刷脏速率较高而业务io读取速率较低时，刷脏和读取操作会抢占磁盘性能，造成业务磁盘性能受影响；当刷脏速率较低而业务io读取速率较高时，较低的刷脏速率会造成脏数据堆叠，进而使脏数据堆叠至警戒水位线，触发缓存强制下刷，进而影响正常的生产业务。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种缓存数据的刷脏方法和系统，通过缓存水位线所述水位级别和读取速率计算缓存数据的刷脏速率，从而在保证磁盘性能的同时进行刷脏，以最大化利用磁盘能力，进而保证磁盘的高性能。
4.第一方面，本发明实施例提供了一种缓存数据的刷脏方法，包括：遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；基于调整后的刷脏速率和数据热度对缓存进行刷脏处理。
5.进一步的，基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率的步骤，包括：当当前水位属于低水位时，不对缓存进行刷脏处理。
6.进一步的，基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率的步骤，还包括：当当前水位属于中水位时，根据当前水位线计算缓存的初始刷脏速比较当前读取速率与上一时间点的历史读取速率；如果所述当前读取速率大于所述历史读取速率，按照第一减小速率减小所述初始刷脏速率；如果所述当前读取速率小于所述历史读取速率，按照第一增大速率增大所述初始刷脏速率。
7.进一步的，基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率的步骤，还包括：当当前水位属于高水位时，根据当前水位线计算脏数据的初始刷脏速率；比较当前读取速率与上一时间点的历史读取速率；如果所述当前读取速率大于所述历史读取速率，按照第二减小速率减小所述初始刷脏速率；如果所述当前读取速率小于所述历史读取速率，按照第二增大速率增大所述初始刷脏速率。
8.进一步的，基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率的步骤，还包括：当当前水位属于警戒水位时，根据当前水位线计算缓存的刷脏速率。
9.进一步的，基于调整后的刷脏速率对缓存进行刷脏处理的步骤，包括：根据缓存数据的数据热度，按照由热度低到热度高的顺序依次对缓存数据进行排序，得到排序后的热度数据表；基于调整后的刷脏速率，按照热度数据表，由热度低到热度高的顺序依次对缓存进行刷脏处理。
10.进一步的，水位级别基于磁盘的数量进行分级得到。
11.第二方面，本发明实施例提供了一种缓存数据的刷脏系统，包括：数据获取模块，用于遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；缓存水位判断模块，用于确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；刷脏速率计算模块，用于基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；刷脏模块，用于基于调整后的刷脏速率对缓存进行刷脏处理。
12.第三方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
13.第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述程序代码使所述处理器执行如上所述的方法。
14.本发明实施例提供了一种缓存数据的刷脏方法和系统，包括：遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；基于调整后的刷脏速率和数据热度对缓存进行刷脏处理。该方式中，通过缓存储脏数据的当前水位所属的水位级别计算缓存数据的刷脏速率，根据读取速率对缓存数据的刷脏速率进行调整，从而在保证磁盘性能的同时进行刷脏，以达到刷脏速率和读取速率的最适配的临界点，进而最大化利用磁盘能力，保证磁盘的高性能。
15.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
16.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例一提供的缓存数据的刷脏方法流程图；图2为本发明实施例一提供的当前水位线属于中水位时调整刷缓存的脏速率流程图；
图3为本发明实施例一提供的当前水位线属于高水位时调整刷缓存的脏速率流程图；图4为本发明实施例一提供的基于调整后的刷脏速率和数据热度对缓存进行刷脏处理流程图；图5为本发明实施例二提供的缓存数据刷脏系统示意图。
19.图标：1-数据获取模块；2-缓存水位判断模块；3-刷脏速率计算模块；4-刷脏模块。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明通过现有bcache缓存技术，可根据用户态应用，动态调整缓存刷脏规则，可根据不同生产场景中的用户不同读取速率定制刷脏规则。其中，不同场景包括朝夕场景，全服务场景和随机爆发业务场景等。
22.为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。
23.实施例一：图1为本发明实施例一提供的缓存数据的刷脏方法流程图。
24.参照图1，缓存数据的刷脏方法包括以下步骤：步骤s101，遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数。
25.这里，b+树中用于记录缓存数据和磁盘上后端设备数据的映射对应关系、缓存数据的当前读取速率和缓存数据的数据热度。其中，缓存数据的当前读取速率由用户遍历b+树的次数确定；缓存数据的数据热度为缓存数据被读取的次数。
26.步骤s102，确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位。
27.这里，水位级别基于磁盘的数量进行分级得到。为了使水位分级更加多样性，水位级别可以根据磁盘数量进行调整，磁盘数量越多，水位级别越多。
28.步骤s103，基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率。
29.在一实施方式中，步骤s103包括：当当前水位属于低水位时，不对缓存进行刷脏处理。
30.在一实施方式中，参照图2步骤s103还包括：步骤s201，当当前水位属于中水位时，根据当前水位线计算缓存的初始刷脏速率。
31.步骤s202，比较当前读取速率与上一时间点的历史读取速率。
32.步骤s203，如果所述当前读取速率大于所述历史读取速率，按照第一减小速率减小所述初始刷脏速率。
33.步骤s204，如果所述当前读取速率小于所述历史读取速率，按照第一增大速率增大所述初始刷脏速率。
34.这里，当当前水位属于中水位时，循序优先保证磁盘性能的原则。
35.根据bcache的pd控制器（pd-controller，比例-微分控制器）计算当前水位线的初始刷脏速率，初始刷脏速率遵循当水位线越高，或者水位增高速度越快时，刷脏速度也越快的原则。
36.当当前水位属于中水位时且读取速率较大时，根据第一减小速率相应减小初始刷脏速率；当当前水位属于中水位时且读取速率较小时，根据第一增大速率相应增大初始刷脏速率。在保证业务磁盘性能的同时降低脏水水位线。
37.在一实施方式中，参照图3步骤s103还包括：步骤s301，当当前水位属于高水位时，根据当前水位线计算脏数据的初始刷脏速率。
38.步骤s302，比较当前读取速率与上一时间点的历史读取速率。
39.步骤s303，如果所述当前读取速率大于所述历史读取速率，按照第二减小速率减小所述初始刷脏速率。
40.步骤s304，如果所述当前读取速率小于所述历史读取速率，按照第二增大速率增大所述初始刷脏速率。
41.这里，当当前水位属于高水位时，循序优先保证磁盘性能的原则。
42.当当前水位属于中水位时且读取速率较大时，根据第二减小速率进行微调适量减小初始刷脏速率；当当前水位属于中水位时且读取速率较小时，根据第二增大速率大幅增大初始刷脏速率。在优先保证业务磁盘性能的同时，降低脏水水位线。
43.具体地，上述第一减小速率、第二减小速率、第一增大速率和第二增大速率均可根据实际应用场景进行设定，第一减小速率大于第二减小速率，第一增大速率小于第二增大速率。
44.在一实施方式中，步骤s103还包括：当当前水位属于警戒水位时，根据当前水位线计算缓存的刷脏速率。
45.这里，当当前水位数据警戒水位时，全面保证刷脏速率。
46.步骤s104，基于调整后的刷脏速率和数据热度对缓存进行刷脏处理。
47.参照图4，步骤s104还包括一下步骤：步骤s401，根据缓存数据的数据热度，按照由热度低到热度高的顺序依次对缓存数据进行排序，得到排序后的热度数据表。
48.步骤s402，基于调整后的刷脏速率，按照热度数据表，由热度低到热度高的顺序依次对缓存进行刷脏处理。
49.这里，按照数据热度，优先将数据低的缓存数据进行刷脏数理。
50.本发明实施例提供了一种缓存数据的刷脏方法，包括：遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；基于调整后的刷脏速率和数据热度对缓存进行刷脏处理。该方式中，通过缓存储脏数据的当前水位所属的水位级别计算缓存数据的刷脏速率，根据读取速率对缓存数据的刷脏速率进行调整，从而在保证磁盘性能的同时进行刷脏，
以达到刷脏速率和读取速率的最适配的临界点，在确保缓存空间安全的情况下保证磁盘的高性能。
51.实施例二：图5为本发明实施例二提供的缓存数据刷脏系统示意图。
52.参照图5，缓存数据刷脏系统包括：数据获取模块1，用于遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；缓存水位判断模块2，用于确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；刷脏速率计算模块3，用于基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；刷脏模块4，用于基于调整后的刷脏速率对缓存进行刷脏处理。
53.本发明实施例提供了一种缓存数据的刷脏系统，包括：遍历缓存中缓存数据的b+树，得到缓存数据的数据热度和当前读取速率；b+树用于记录每次读取缓存数据的读取速率和读取缓存数据的读取次数；确定缓存存储脏数据的当前水位线所属的水位级别；水位级别包括低水位、中水位、高水位和警戒水位；基于当前水位线所属的水位级别、缓存数据的当前读取速率，调整缓存的刷脏速率；基于调整后的刷脏速率和数据热度对缓存进行刷脏处理。该方式中，通过缓存储脏数据的当前水位所属的水位级别计算缓存数据的刷脏速率，根据读取速率对缓存数据的刷脏速率进行调整，从而使该系统可以适配各种生产场景，在保证磁盘性能的同时进行刷脏，以达到刷脏速率和读取速率的最适配的临界点，在确保缓存空间安全的情况下保证磁盘的高性能。
54.本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的缓存数据的刷脏方法的步骤。
55.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的缓存数据的刷脏方法的步骤。
56.本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
57.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
58.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
59.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
60.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
61.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。