动态主机配置协议租用分派的制作方法

动态主机配置协议租用分派


背景技术：

1.计算机网络可以包括使用互联网协议(ip)进行通信的设备。ip地址可以被分配给计算机网络中的每个设备。ip地址可以在设备加入网络时动态分配，也可以基于设备的硬件/软件配置来静态分配。动态ip地址可以由动态主机配置协议(dhcp)服务器分配给设备。dhcp允许设备在网络上共享ip地址范围。
附图说明
2.本公开的一些实现关于以下附图进行描述。
3.图1是用于dhcp租用分派的示例网络设备的框图；
4.图2是用于dhcp租用分派的示例方法的流程图；
5.图3a是用于调节用于dhcp租用分派的奖励值的示例方法的流程图；
6.图3b是用于调节用于dhcp租用分派的奖励值的另一示例方法的流程图；
7.图4是用于为租用续订分派租用时间块的另一示例方法的流程图；以及
8.图5是存储用于dhcp租用分派的机器可读指令的示例存储介质的框图。
9.在整个附图中，相同的附图标记表示相似但不一定相同的元素。这些图不一定按比例绘制，并且某些部件的尺寸可能被夸大以更清楚地说明所示示例。此外，附图提供了与说明书一致的示例和/或实现；然而，说明书不限于附图中提供的示例和/或实现。
具体实施方式
10.通常，dhcp是一种在ip网络上使用的网络管理协议，该网络管理协议用于使用客户端服务器架构将ip地址和其他通信参数自动分配给连接到网络的设备。dhcp消除了手动个体配置设备的需要。dhcp服务器可以使用dhcp为连接到网络的设备分配ip地址。在一个示例中，dhcp服务器可以实现为网络交换机或路由器或单独的计算设备中的硬件和软件的组合。网络可以包括多个dhcp服务器。
11.当诸如膝上型电脑、计算机、智能手机等客户端设备连接到网络时，它可以在网络中广播dhcp发现消息以获取网络中的dhcp服务器。dhcp服务器可以具有ip地址池，dhcp服务器可以将ip地址分配给请求客户端设备。dhcp服务器可以通过发送dhcp提供消息来响应于dhcp发现消息。dhcp提供消息可以包括可用于分配给客户端设备的ip地址、与ip地址相关联的租用时间、以及dhcp服务器的ip地址。租用时间是指分配给客户端设备的ip地址保持有效的持续时间。客户端设备可以请求续订ip地址的租用。如果在租用时间到期之前客户端设备没有续订租用，则在租用时间到期之后，ip地址可以被分配给另一设备。在接收到dhcp提供消息时，客户端设备可以向dhcp服务器发送dhcp请求消息，以接受可用于租用给客户端设备的ip地址。响应于接收到dhcp请求消息，dhcp服务器可以做出具有诸如客户端设备的媒体访问控制(mac)地址等客户端标识符的条目，并且将所提供的ip地址与客户端标识符和租用时间相关联。
12.随着连接到网络的设备的激增，管理dhcp服务器中的ip地址池可能具有挑战性。
需要对分配给客户端设备的ip地址的租用时间进行最佳选择，以便有效使用ip地址池。通常，一旦dhcp服务器将ip地址分配给客户端设备，ip地址在租用时间内保持分配给客户端设备，直到到期，即使客户端设备可能未处于活动状态(例如，处于睡眠模式)或可能退出网络。因此，如果分配给客户端设备的ip地址的租用时间长于客户端设备保持活动或连接到网络的持续时间，则分配给客户端设备的ip地址可能会保持不必要的阻塞更长的时间，这可能会导致用于新设备加入网络的ip地址不可用。另一方面，如果分配给客户端设备的ip地址的租用时间短于客户端设备保持连接到网络的持续时间，则客户端设备可以请求续租。如果客户端设备长时间保持连接到网络，它可以请求频繁的租用续订，这可能会导致网络业务增加并且可能阻塞网络。因此，在上面讨论的场景中，租用分配可能效率低下，并且优化dhcp租用时间可能具有挑战性。
13.在本公开中，公开了管理客户端设备的dhcp租用时间的技术。在一个示例中，诸如dhcp服务器等网络设备可以从客户端设备接收dhcp租用请求。在一个示例中，客户端设备可以响应于从dhcp服务器接收到dhcp提供消息而发送dhcp租用请求。dhcp租用请求可以指示接受在dhcp提供消息中提供给客户端设备的ip地址。基于dhcp租用请求，网络设备可以在租用时间将ip地址分配给客户端设备。在一个示例中，租用时间可以被包括在dhcp提供消息中。网络设备可以从客户端设备接收第一租用续订请求。在一个示例中，客户端设备可以在租用时间的一半到期时发送第一租用续订请求。网络设备可以基于以下项来预测针对来自多个租用时间块中的租用时间块的利用概率：与客户端设备相关联的历史租用模式、设备特性、业务信息和dhcp信息。
14.在一个示例中，预测可以使用人工神经网络(ann)来执行。基于租用时间块的利用概率和奖励值的组合，网络设备可以将租用时间块分派给客户端设备以用于ip地址的租用续订。在一个示例中，奖励值来自耦合到ann的强化学习(rl)模型。对于租用时间块的每次分派，网络设备可以基于以下项来调节租用时间块的奖励值：网络的部署特性、网络中的业务负载、以及客户端设备的网络连接持续时间。基于针对多个分派之上的租用时间块的奖励值，网络设备可以确定针对租用时间块的归一化奖励值。使用基于奖励值而调节的利用概率的组合允许更好地预测租用时间块的利用概率，并且进而导致更准确地分派租用时间块以用于续租。
15.此外，利用本技术，由于使用客户端特定参数来预测利用概率，诸如与客户端设备相关联的历史租用模式、设备特性、业务信息和dhcp信息，租用时间块的分派可以针对不同客户端进行选择性优化。此外，由于利用概率与基于网络的部署特性、网络中的业务负载和客户端设备的网络连接持续时间而调节的奖励值相结合，因此在为续订分派租用时间块时也考虑总体网络性能。因此，利用本技术，可以使用利用概率和奖励值的组合来有效地管理ip地址的租用续订。
16.所描述的系统和方法可以在网络中实现dhcp的各种网络设备中实现。尽管本文中的描述参考在网络环境中实现的dhcp服务器，但这些方法和所描述的技术可以在实现dhcp功能的其他类型的设备(诸如网关、路由器等)中实现，尽管有一些变化。下面通过参考几个示例描述了本主题的各种实现。
17.参考图1至图5进一步描述了上述系统和方法。应当注意，描述和附图仅连同本文中描述的示例一起说明了本主题的原理，而不应当被视为被解释为对本主题的限制。因此
应当理解，可以设计各种布置，这些布置尽管本文中没有明确地描述或示出，但体现了本主题的原理。此外，本文中引用本主题的原理、方面和实施例以及其具体示例的所有陈述旨在涵盖其等同物。
18.图1是用于dhcp租用分派的示例网络设备100的框图。在一个示例中，网络设备100可以是dhcp服务器、路由器、网关等。网络设备100可以包括处理器102和存储器104，处理器102和存储器104可以通过通信链路(例如，总线)彼此耦合。处理器102可以包括单个或多个中央处理单元(cpu)或另一(多个)合适的硬件处理器，诸如网络asic。存储器102可以存储可以由处理器102执行的机器可读指令。存储器104可以包括易失性和/或非易失性存储器的任何合适组合，诸如随机存取存储器(ram)、只读存储器(rom)的组合)、闪存和/或其他合适的存储器。
19.存储器104存储要由处理器102执行的指令，包括用于租用请求接收器106、ip地址管理器108、续订请求接收器110、概率生成器112、租用续订管理器114和奖励生成器116的指令。
20.处理器102可以执行租用请求接收器106，租用请求接收器106引起网络设备100从连接到网络的客户端设备接收dhcp租用请求。在一个示例中，响应于从网络设备100接收到dhcp提供消息，客户端设备可以在网络中广播dhcp租用请求。dhcp提供消息可以包括提供给客户端设备的ip地址和与ip地址相关联的租用时间。客户端设备可以在网络中广播dhcp租用请求，以在租用时间内接受ip地址。
21.在一个示例中，dhcp提供消息中的租用时间可以是固定的或预定义的。例如，可以向第一次连接到网络的客户端设备提供24小时的租用时间。预定义租用时间可以由网络管理员基于网络部署的类型(诸如校园网、公网、专网等)和客户端设备的类型来定义。例如，对于办公网络，提供给办公室桌面的预定义租用时间可能比提供给访客智能手机的租用时间要长。在另一示例中，dhcp提供消息中的租用时间可以由网络设备使用机器学习(ml)技术基于不同参数来确定，诸如客户端设备连接到网络的日期和时间、客户端设备的位置(诸如访客区、员工区等)、客户端设备的设备类型(诸如笔记本电脑、台式机、智能手机等)。
22.处理器102可以执行ip地址管理器108，ip地址管理器108引起网络设备100基于dhcp租用请求在租用时间内向客户端设备分配ip地址。在一个示例中，响应于接收到dhcp租用请求，网络设备100可以在dhcp提供消息中提到的租用时间内分配提供给客户端设备的ip地址。在一个示例中，分配ip地址可以包括将ip地址映射到客户端设备的标识符，诸如客户端设备的mac地址。客户端设备的mac地址可以被包括在dhcp租用请求中。
23.处理器102可以执行续订请求接收器110，续订请求接收器110引起网络设备100从客户端设备接收第一租用续订请求。第一租用续订请求可以包括客户端设备的mac地址、客户端设备的ip地址、剩余租用时间等。在一个示例中，响应于与分配给客户端设备的ip地址相关联的租用时间的一半到期，客户端设备可以向网络设备100发送第一租用续订请求。租用续订请求指示客户端设备请求续订客户端设备的ip地址的租用。在一个示例中，如果ip地址被分配的租用时间是2小时，则客户端设备可以在ip地址被分配1小时之后发送第一租用续订请求。
24.处理器102可以执行概率生成器112，概率生成器112引起网络设备100基于与客户端设备关联的历史租用模式、设备特性、业务信息和dhcp信息来预测多个租用时间块中的
租用时间块的利用概率。在一个示例中，可以向客户端设备授予租用续订的最大持续时间被划分为相等时隙。例如，可以授予续租的最大持续时间可以是24小时，该24小时可以划分为48个时隙，每个时隙对应于30分钟的租用时间。租用时间块可以将租用时间表示为这种时隙的倍数。在该示例中，可以有48个租用时间块。因此，第一租用时间块可以包括1个时隙，第二租用时间块可以包括2个时隙，并且第四十八租用时间块可以包括48个时隙。可以计算每个租用时间块的利用概率。
25.可以指示客户端设备的历史租用模式的一些示例参数可以包括客户端设备过去的租用续订总数、租用开始时间、租用到期时间和过去的连续租用续订次数等。可以指示客户端设备的设备特性的一些示例参数可以包括客户端设备的操作系统、基于设备指纹的设备类型、客户端设备的vlan类别(例如，内部设备、访客设备和管理设备)、以及客户端地点。可以指示与客户端设备相关联的业务信息的一些示例参数可以包括由客户端设备基于业务来源而访问的网络业务类别(例如，直接业务、推荐业务、搜索业务等)、由客户端设备基于可以由不同深度分组检测(dpi)分类算法维护的主机名的安全配置文件而访问的业务的信誉(例如，高风险、低风险、安全等)、以及由客户端设备基于传入业务的比特率而消耗的带宽的百分比。可以指示与客户端设备相关联的dhcp信息的一些示例参数可以包括基于客户端设备的偏好的dhcp选项请求列表(例如，将应用于请求ip地址的客户端设备的网络接口上的子网掩码、客户端设备的网络接口的默认路由器或最后手段网关、用于包括在ip配置中以进行名称解析的优选域名服务器(dns)、和该ip地址的请求租用时间)以及网络设备中dhcp服务器上的负载。
26.在一个示例中，使用人工神经网络(ann)来预测多个租用时间块中的每个租用时间块的利用概率。在本文中描述的示例中，人工神经网络(ann)是指信息处理系统，该信息处理系统包括互连的处理元件，这些处理元件以生物神经网络的结构为被建模。互连的处理元件可以称为“人工神经元”或“节点”。ann可以包括多个人工神经元，这些人工神经元可以被组织成多个层。在一个实例中，ann可以包括多个层：输入层、(多个)隐藏层和输出层。在一个实例中，ann可以是前馈神经网络，其中单元之间的连接可能不形成循环。在前馈神经网络中，该信息可以沿一个方向从输入层通过(多个)隐藏层移动到输出层。网络中可能没有循环或环路。
27.在另一示例中，ann可以基于反向传播架构。反向传播可以用于训练ann。当输入向量被呈现给ann时，它可以通过ann一层一层地向前传播，直到它到达输出层。可以使用损失函数将网络的输出与期望输出进行比较，并且可以为输出层中的每个人工神经元计算误差值。误差值可以从输出开始向后传播，直到每个人工神经元具有相关联的误差值，该误差值大致表示它对原始输出的贡献。反向传播可以使用这些误差值来计算损失函数相对于网络中权重的梯度。该梯度可以被提供给优化方法，该优化方法继而可以使用它来更新权重以最小化损失函数。随着人工神经网络的训练，中间层中的神经元可以组织自己以使得不同神经元可以学习识别总输入的不同特性。在将任意输入模式的训练呈现给ann之后，如果新输入包含类似于个体神经元在其训练过程中学会识别的特征的模式，则网络的(多个)隐藏层中的神经元可以使用输出进行响应。
28.在本文中描述的示例中，指示与客户端设备相关联的历史租用模式、设备特性、业务信息和dhcp信息的参数可以作为输入提供给ann的输入层。在一个示例中，在将参数提供
给输入层之前，可以使用不同编码技术(诸如热编码)将参数编码为由(多个)数值表示。在另一示例中，在将参数提供给输入层之前，还可以通过使用不同降维技术来处理参数。ann的输出层可以提供多个租用时间块中的每个租用时间块的利用概率。在一个示例中，输出层是在对多个租用时间块中的每个租用时间块的利用概率进行归一化之前的ann层。在一个示例中，如上所述，可以有48个租用时间块，并且可以预测其中的每个租用时间块的利用概率。
29.下面的表1示出了来自ann的示例输出，包括多个租用时间块中的每个租用时间块的利用概率。
30.表1
[0031][0032]
如表1所示，对于具有mac 1的第一客户端设备，n个租用时间块中的每个的利用概率为pu＝[0.001,0.08,
……
,0.04]，对于具有mac 2的第二客户端设备，n个租用时间块中的每个的利用概率是pu＝[0.01,0.002,
……
,0.07]，对于具有mac 3的第三客户端设备，n个租用时间块中的每个的利用概率是pu＝[0.007,0.08,
……
,0.005]，并且对于具有mac 4的第四客户端设备，n个租用时间块中的每个的利用概率是pu＝[0.002,0.07,
……
,0.06]。因此，为连接到网络的每个客户端设备的每个租用时间块预测利用概率。
[0033]
处理器102可以执行租用续订管理器114，租用续订管理器114引起网络设备100将多个租用时间块中的租用时间块分派给客户端设备以用于ip地址的租用续订。基于租用时间块的利用概率和奖励值的组合来分派租用时间块。租用时间块的奖励值可以从耦合到ann的强化学习(rl)模型中导出。奖励值是指与rl模型的动作相关联的强化信号，其中每次迭代时，rl模型都会学习用于最大化该动作的归一化奖励值的策略。归一化奖励值是指将租用时间块的调节后的奖励值调节到概念上常见的比例，并且在一些示例中可以包括在多次迭代之上对奖励值求平均。在一个示例中，可以基于租用时间块的分派的反馈来训练rl模型。
[0034]
在一个示例中，rl模型可以使用探索利用技术，其中rl模型可以使用epsilon-greedy算法在探索阶段或利用阶段操作。在强化学习中，代理或决策者学习如何将情况映射到动作以最大化奖励。代理没有明确发信号通知要采取哪些动作，而是通过反复试验发现哪个动作产生最大奖励。通过探索，响应于先前已知或未知的情况，代理执行新动作的试验。在探索阶段，代理可能不依赖对rl模型的先前学习来选择动作。探索允许代理改进其对每个动作的学习，从而可以通过提高情况与动作之间映射的准确性来带来长期利益。在“探索”阶段，代理不断探索以动态找到更合适的动作。另一方面，在利用中，代理通过利用代理的学习来选择动作以获取最大奖励。但是，如果代理选择在所有或大部分迭代中利用其学
习，从长远来看，代理实际上可能不会获取最多累积奖励，因为只有通过探索才能获取新的学习和提高学习的准确性。由于代理不能同时进行探索和利用，为了rl模型的最佳行为，需要平衡探索和利用阶段。在一个示例中，epsilon-greedy算法提供了一种用于通过随机选择探索和利用来平衡探索和利用的方法。根据epsilon-greedy算法，epsilon(ε)是指选择探索的概率。因此，根据epsilon-greedy算法，可以在探索中以概率ε选择随机动作，否则在利用阶段以概率(1-ε)选择产生最大奖励的动作。在rl模型的探索阶段，处理器102可以执行租用续订管理器114，租用续订管理器114引起网络设备100响应于接收到第一租用时间块而从多个租用时间块中选择随机租用时间块用于分派续租请求。
[0035]
在一些示例中，网络设备100可以将奖励值与多个租用时间块中的每个租用时间块相关联。例如，对于第一客户端设备，在第一次迭代中，网络设备100可以将奖励值与多个租用时间块中的每个租用时间块相关联，例如，奖励值(rv)＝[0.0003,0.002,
……
,0.001]，其中第一租用时间块的奖励值为0.0003，第二租用时间块的奖励值为0.002，第n租用时间块的奖励值为0.001。在一些示例中，处理器102可以执行租用续订管理器114，租用续订管理器114引起网络设备100将租用时间块的利用概率与归一化奖励值相乘以获取租用时间块的续订概率。因此，每个租用时间块的续订概率可以通过将租用时间块的利用概率与其对应归一化奖励值相乘来获取。在一个示例中，对于第一客户端设备，续订概率(rp)＝pu*rv＝[0.001*0.0003,0.08*0.002,
……
,0.04*0.001]＝[0.0000003,0.00016,
……
,0.00004]，其中第一租用时间块的续订概率为0.0000003，第二租用时间块的续订概率为0.00016，第n租用时间块的续订概率为0.00004。在一些示例中，在rl模型的开发阶段，处理器102可以执行租用续订管理器114，租用续订管理器114引起网络设备100从多个租用时间块中选择具有最大续订概率的租用时间块用于分派。因此，在以上示例中，确定[0.0000003,0.00016,
……
,0.00004]中的最大值，并且可以选择具有最大续订概率的租用时间块用于分派。
[0036]
处理器102可以执行奖励生成器116以针对租用时间块的每次分派调节租用时间块的奖励值。对于多个租用时间块中的每个租用时间块的每次分派，调节与多个租用时间块中的每个租用时间块相关联的奖励值。奖励值基于以下项而被调节：网络的部署特性、网络中的业务负载、以及客户端设备的网络连接持续时间。
[0037]
在一个示例中，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100确定网络具有稀疏客户端设备部署，诸如在家庭网络中。在一个示例中，网络设备100可以确定网络中客户端设备的部署密度。如果网络中客户端设备的不太集中，例如，客户端设备的部署密度小于1个客户端/3平方米，则网络设备100可以确定网络具有稀疏客户端设备部署。此外，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100确定网络具有高业务负载，即，高于特定阈值的业务流率。对于具有稀疏客户端设备部署或高业务负载的网络，响应于客户端设备在所分派的租用时间块到期之前与网络断开连接，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100将奖励值增加未使用租用时间的一小部分。未使用租用时间对应于从客户端设备与网络断开连接到所分派的租用时间到期的持续时间。在一个示例中，奖励值可以增加比率“未使用租用时间/所分派的租用时间”。
[0038]
在另一示例中，对于具有稀疏客户端设备部署或高业务负载的网络，响应于网络
设备从客户端设备接收到第二租用续订请求，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100将奖励值减少预定义惩罚。在一个示例中，预定义惩罚是由网络管理员指定的固定整数值。
[0039]
例如，在具有稀疏部署或高业务负载的网络中，如果第一客户端设备在分派给它的第一租用时间块到期之前与网络断开连接，则与第一租用时间块相关联的奖励值0.0003可以增加。考虑到第一客户端设备在第一租用时间块的一半到期之后与网络断开连接，因此奖励值的增量＝(未使用租用时间/所分派的租用时间)＝(0.5个租用时间块/1个租用时间块)＝0.5。因此，奖励值增加到0.0003+0.5＝0.50003。备选地，如果第一客户端设备向网络设备100发送第二租用续订请求，第二租用续订请求指示第一客户端设备打算在第一租用时间块到期之后保持连接到网络，则第一租用时间块的奖励值降低。在一个示例中，奖励值的减少＝0.0003-2＝-0.1997。可以注意到，在上述示例中，响应于接收到第二租用续订请求而减少奖励值表明，调节奖励值以支持更高的租用时间分派，以便检查租用续订请求次数。结果，可以防止已经具有高业务负载的网络被来自客户端设备的频繁租用续订请求阻塞。此外，由于网络具有稀疏客户端设备部署，因此将更长的租用时间分派给连接的客户端可能不会对可用于分派的ip地址的dhcp池产生重大影响。
[0040]
在另一示例中，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100确定网络具有密集客户端设备部署，诸如办公网络或公共网络。如果网络中客户端设备高度集中，例如，客户端设备的部署密度大于1个客户端/1.5平方米，如会议厅、教室、报告厅、礼堂、运动场等，则网络设备图100可以确定网络具有非常密集的客户端设备部署。在另一示例中，如果网络具有多于1个客户端/10平方米的客户端设备的部署密度，诸如在会议厅、教室、报告厅、礼堂或运动场中，则网络设备100可以确定网络具有密集客户端设备部署。此外，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备确定网络具有低业务负载，即，低于特定阈值的业务流率。对于具有密集部署客户端设备或低业务负载的网络，响应于客户端设备在所分派的租用时间块到期之前与网络断开连接，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100将奖励值减少未使用租用时间的一小部分。未使用租用时间对应于从客户端设备与网络断开连接到所分派的租用时间到期的持续时间。在一个示例中，奖励值可以减少比率“未使用租用时间/所分派的租用时间”。
[0041]
在另一示例中，对于具有密集部署客户端设备或低业务负载的网络，响应于网络设备从客户端设备接收到第二租用续订请求，处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100将奖励值增加预定义奖金。在一个示例中，预定义奖金是由网络管理员指定的固定整数值。
[0042]
在一些示例中，在具有密集部署或低业务负载的网络中，如果第一客户端设备在分派给它的第一租用时间块到期之前与网络断开连接，则与第一租用时间块相关联的奖励值0.0003可以减少。考虑到第一客户端设备在第一租用时间块的一半到期之后与网络断开连接，因此奖励值的减少＝(未使用租用时间/所分配的租用时间)＝(0.5个租用时间块/1个租用时间块)＝0.5。因此，奖励值减少到0.0003-0.5＝-0.4997。备选地，如果第一客户端设备向网络设备100发送第二租用续订请求，第二租用续订请求指示第一客户端设备打算在所分派的第一租用时间块到期之后保持连接到网络，则第一租用时间块的奖励值增加。在一个示例中，奖励值增加到＝0.0003+2＝2.0003，其中预定义奖金为“2”。在上面的示例
中，响应于客户端设备发送第二租用续订请求而增加奖励值表明，调节奖励值以支持较短的租用时间分派，以防止不必要地阻塞可用于分派的ip地址池中的ip地址，因为网络已经部署密集的客户端设备。尽管参考第一客户端设备和第一租用时间块解释调节奖励值的上述示例，但在其他示例中，可以针对每个客户端设备类似地调节每个租用时间块的奖励值。
[0043]
处理器102可以执行奖励生成器116，奖励生成器116引起网络设备100基于针对多个分派之上的租用时间块的奖励值来确定针对租用时间块的归一化奖励值。在一个示例中，奖励生成器116可以包括用于实施强化学习(rl)模型以确定归一化奖励值的指令。在一个示例中，rl模型可以使用探索利用技术来确定奖励值，其中rl模型可以使用epsilon-greedy算法在探索阶段或利用阶段操作。可以为多个租用时间块中的每个租用时间块确定归一化奖励值。在一个示例中，租用时间块的归一化奖励值可以计算为“n次迭代的租用时间块的总奖励值/n”。在一个示例中，归一化奖励值可以用于确定后续迭代中的续订概率。
[0044]
图2是用于dhcp租用分派的示例方法200的流程图。在其中执行方法200的系统可以类似于上述网络设备100。
[0045]
参考图2，在框202，方法200可以包括由网络设备从连接到网络的客户端设备接收dhcp租用请求。在一个示例中，客户端设备可以响应于从网络设备(例如，dhcp服务器)接收到dhcp提供消息而发送dhcp租用请求。在框204，方法200可以包括由网络设备基于来自客户端设备的dhcp租用请求来在租用时间内向客户端设备分配ip地址。
[0046]
在框206，方法200可以包括由网络设备从客户端设备接收第一租用续订请求。在框208，方法200可以包括基于以下项来预测针对来自多个租用时间块中的租用时间块的利用概率：与客户端设备相关联的历史租用模式、设备特性、业务信息和dhcp信息。
[0047]
在框210，方法200可以包括基于租用时间块的利用概率和奖励值的组合来将租用时间块分派给客户端设备用于ip地址的租用续订。租用时间块的奖励值可以从耦合到ann的强化学习(rl)模型中导出。在框212，该方法可以包括：对于租用时间块的每次分派，调节租用时间块的奖励值。在框214，方法200可以包括基于针对多个分派之上的租用时间块的奖励值来确定针对租用时间块的归一化奖励值。
[0048]
图3a是用于调节用于租用时间块的奖励值的示例方法的流程图。在其中执行方法300的系统可以类似于上述网络设备100。在一个示例中，方法300可以在具有低客户端密度的网络中实现。
[0049]
参考图3a，在框302，方法300可以包括确定网络具有稀疏客户端设备部署或网络具有高业务负载。在一个示例中，网络设备可以基于网络中客户端设备的部署密度确定网络具有稀疏部署。高业务负载可以对应于高于特定阈值的业务流率。
[0050]
在确定网络具有稀疏客户端设备部署或网络具有高业务负载时，在框304，方法300可以包括检查客户端设备是否在所分派的租用时间块到期之前与网络断开连接。在框306(框304的“是”分支)，响应于确定客户端设备在所分派的租用时间块到期之前与网络断开连接，方法300可以包括将奖励值增加未使用租用时间的一小部分。
[0051]
在框308(框304的“否”分支)，响应于确定在所分派的租用时间块到期之前客户端设备没有与网络断开连接，方法300可以包括检查是否在网络设备接收到续订请求。响应于确定接收到续订请求(框308的“是”分支)，在框310，方法300可以包括将奖励值减少预定义惩罚。响应于确定未接收到续订请求(框308的“否”分支)，在框312，租用时间可以保持不
变。
[0052]
图3b是用于调节用于租用时间块的奖励值的示例方法350的流程图。在其中执行方法350的系统可以类似于上述网络设备100。在一个示例中，方法350可以在具有高客户端密度的网络中实现。
[0053]
参考图3b，在框352，方法350可以包括确定网络具有密集客户端设备部署或网络具有低业务负载。在一个示例中，网络设备可以基于网络中客户端设备的部署密度确定网络具有密集部署。低业务负载可以对应于网络中低于特定阈值的业务流率。
[0054]
在确定网络具有密集客户端设备部署或网络具有低业务负载时，在框354，方法350可以包括检查客户端设备是否在所分派的租用时间块到期之前与网络断开连接。在框356(框354的“是”分支)，响应于确定客户端设备在所分派的租用时间块到期之前与网络断开连接，方法350可以包括将奖励值减少未使用租用时间的一小部分。
[0055]
在框358(框354的“否”分支)，响应于确定客户端设备在所分派的租用时间块到期之前没有与网络断开连接，方法350可以包括检查是否在网络设备接收到续订请求。响应于确定接收到续订请求(框358的“是”分支)，在框360，方法350可以包括将奖励值增加预定义奖金。响应于确定没有接收到续订请求(框358的“否”分支)，在框362，租用时间可以保持不变。
[0056]
图4是用于为租用续订分派租用时间块的示例方法400的流程图。在其中执行方法400的系统可以类似于上述网络设备100。
[0057]
参考图4，在框402，方法400可以包括将租用时间块的利用概率与归一化奖励值相乘以获取租用时间块的续订概率。因此，可以确定多个租用时间块中的每个租用时间块的续订概率。在框404，方法400包括检查rl模型是否处于开发阶段。响应于确定rl模型处于开发阶段(框404的“是”分支)，在框406，方法400可以包括从多个租用时间块中选择具有最大续订概率的租用时间块用于分派。
[0058]
响应于确定rl模型未处于开发阶段(框404的“否”分支)，可以确定rl模型处于探索阶段。响应于确定rl模型处于探索阶段，在框408，方法400可以包括从多个租用时间块中选择随机租用时间块用于分派给请求续租的客户端设备。
[0059]
图5是根据一个或多个公开的示例实现的示例计算设备500，计算设备500具有硬件处理器501和存储在机器可读介质502上的用于实现一个示例系统的可访问机器可读指令。在一个示例中，计算设备500可以是网络设备，诸如上面参考图1描述的网络设备100。图5示出了被配置为执行下述指令504、506、508、510、512、514和516的计算设备500。然而，计算设备500还可以被配置为执行本公开中描述的其他方法、技术、功能或过程的流程，例如图3的方法300、图3b的方法350和图4的方法400。
[0060]
诸如处理器501等处理元件可以包含一个或多个硬件处理器，其中每个硬件处理器可以具有单个或多个处理器核。在一个实施例中，处理器501可以包括至少一个共享高速缓存，共享高速缓存存储由处理器501的一个或多个其他组件使用的数据(例如，计算指令)。例如，共享高速缓存可以是存储在用于由构成处理器501的处理元件的组件更快访问的存储器中的本地高速缓存数据。在一个或多个实施例中，共享高速缓存可以包括一个或多个中级高速缓存，诸如2级(l2)、3级(l3)、4级(l4)或其他级别的高速缓存、最后一级高速缓存(llc)或其组合。处理器的示例包括但不限于中央处理单元(cpu)和微处理器。尽管在
图4中未示出，但是构成处理器501的处理元件还可以包括一种或多种其他类型的硬件处理组件，诸如图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)、和/或数字信号处理器(dsp)。
[0061]
处理器501可以可操作地和通信地耦合到存储器。存储器可以是被配置为存储各种类型的数据的非暂态计算机可读介质，诸如机器可读存储介质502。例如，存储器可以包括一个或多个存储设备，该存储设备包括非易失性存储设备和/或易失性存储器。诸如随机存取存储器(ram)等易失性存储器可以是任何合适的非永久性存储设备。非易失性存储设备820可以包括一个或多个磁盘驱动器、光盘驱动器、固态驱动器(ssd)、分路驱动器、闪存、只读存储器(rom)、和/或被设计为在断电或关闭操作后的一段时间内维护数据的任何其他类型的存储器。在某些方面，如果所分配的ram不足以容纳所有工作数据，则非易失性存储设备可以用于存储溢出数据。非易失性存储设备还可以用于存储在被选择用于执行时加载到ram中的程序。
[0062]
图5的机器可读存储介质502可以包括易失性和非易失性的可移动和不可移动介质，并且可以是包含或存储可执行指令、数据结构、程序模块、或处理器可访问的其他数据的任何电子、磁、光或其他物理存储设备，例如固件、可擦除可编程只读存储器(eprom)、随机存取存储器(ram)、非易失性随机存取存储器(nvram)、光盘、固态驱动器(ssd)、闪存芯片等。机器可读存储介质可以是非暂态存储介质，其中术语“非暂态”不包括暂态传播信号。
[0063]
机器可读介质502包括指令504，指令504在由处理器501执行时使网络设备从连接到网络的客户端设备接收dhcp租用请求。指令506在由处理器执行时使网络设备基于dhcp租用请求在租用时间内向客户端设备分配ip地址。此外，指令508在由处理器501执行时使网络设备从客户端设备接收第一租用续订请求。指令510在由处理器501执行时使网络设备基于以下项来预测针对来自多个租用时间块中的租用时间块的利用概率：与客户端设备相关联的历史租用模式、设备特性、业务信息和dhcp信息。指令512在由处理器501执行时使网络设备基于租用时间块的利用概率和奖励值的组合来将租用时间块分派给客户端设备用于ip地址的租用续订。对于租用时间块的每次分派，指令514在由处理器501执行时使网络设备基于以下项来调节租用时间块的奖励值：网络的部署特性、网络中的业务负载和客户端设备的网络连接持续时间。此外，指令516在由处理器501执行时使网络设备基于针对多个分派之上的租用时间块的奖励值来确定针对租用时间块的归一化奖励值。
[0064]
在整个说明书和权利要求中使用某些术语来指代特定系统组件。如本领域技术人员将理解的，不同的各方可以用不同的名称来指代组件。本文档无意区分名称不同但功能不同的组件。在本公开和权利要求中，术语“包括(including)”和“包括(comprising)”以开放式方式使用，并且因此应当解释为表示“包括但不限于
……”
。此外，术语“耦合(couple)”或“耦合(couples)”旨在表示间接或直接的有线或无线连接。因此，如果第一设备耦合到第二设备，则该连接可以是通过直接连接或通过经由其他设备和连接的间接连接。引用“基于”旨在表示“至少部分基于”。因此，如果x基于y，则x可以是y和很多其他因素的函数。
[0065]
上述讨论旨在说明本公开的原理和各种实现。一旦充分理解了上述公开内容，很多变化和修改对于本领域技术人员将变得很清楚。旨在将以下权利要求解释为包含所有这样的变化和修改。