基于强化学习的动态多媒体数据部署方法

1.本发明涉及多媒体数据部署技术领域，尤其是涉及基于强化学习的动态多媒体数据部署方法。


背景技术：

2.近年来，我们见证了边缘辅助内容分发基础设施的快速发展和建设。视频流近年来实现了飞速增长。将内容复制和分发模块移动到互联网(或网络) 的边缘端有可能减轻骨干网的工作量并提高视频流用户的体验质量(qoe)。这种视频内容服务通常被称为边缘内容分发。尽管确切的名称在业界仍有争议，但边缘内容交付发生了根本性的变化。
3.随着视频平台的快速变革，与传统的相比，边缘服务器中的请求模式更加动态和分散。例如，对最著名的短视频共享平台之一的快手的测量研究表明，与传统视频相比，kullback-leibler(kl)散度测量的天数之间的内容请求模式差异增加了35.1％，从23.30到31.47基于共享平台。这表明内容流行度随时间变化很大，尤其是对于短视频平台。这主要是因为边缘缓存通常只专用于一小部分用户。
4.这种动态请求模式对边缘内容分发中现有的内容缓存方法提出了挑战： 1)具有先验假设的传统方案，包括最近最少使用(lru)、最不常用(lfu)及其变体，都很难及时适应动态环境，因为它们基于简单的基于规则的策略和一些手动设置的参数特性。2)基于强化学习(rl)的缓存策略已被验证可实现比传统的基于规则的策略更高的命中率。然而，它们的设计假设是静态和平稳环境，而这种假设与当前内容模式的动态相矛盾，并且已经通过相关测量得到了说明。当应用于动态边缘内容分发时，无法保证这一假设，这通常会导致性能下降。一个可能的原因是动态请求模式会逐渐削弱静态假设，导致假设与现实世界的请求模式之间的差距越来越大。因此，过时的历史数据不断降低强化学习模型的实时性能。3)对基于强化学习的方法的改良研究，包括使用手动特征的方法和其他使用递归网络架构来提取动态特征的方法，仍然受到环境急剧变化的影响。


技术实现要素：

5.本发明的目的在于解决在保证性能的情况下使边缘内容分发更快的适应边缘动态环境的问题，提供基于强化学习的动态多媒体数据部署方法。
6.本发明的技术问题通过以下的技术方案予以解决：
7.基于强化学习的动态多媒体数据部署方法，包括以下步骤：
8.s0、建立元学习模型，获取动态多媒体数据；
9.s1、元预训练过程:
10.s11、从所述动态多媒体数据中选取要进行元预训练的天数n、用来进行在线元自适应的天数i、要进行动态适应的任务环境序列t1到 t
n+i
；
11.s12、对于不同的顺序对任务环境选取初始化模型参数；
12.s13、输入状态变量，产生动作和奖励后根据所述元学习模型的损失函数进行训
练，得到动态元知识；
13.s2、在线元自适应过程：
14.s21、输入新的动态任务环境t
n+i+1
，并用所述动态元知识进行模型初始化；
15.s22、在新任务环境上进行元学习模型的更新，同时进行动态元知识的泛化训练，得到新的模型和元知识。
16.在一些实施例中，步骤s1中，包括：使用历史请求序列联合更新模型元知识参数θ、和学习率α，以获得初始元知识。
17.在一些实施例中，步骤s12中，包括：使用从任务ti的模型参数θ适应得到的模型更新参数φ来收集任务t
i+1
的轨迹。
18.在一些实施例中，步骤s13中，包括：使用来自相邻时间序列的内容请求数据，进行基于元学习的双层优化训练，获得在前后相邻任务中的可转移信息。
19.在一些实施例中，步骤s13中所述元学习模型的损失函数由以下公式表示：
[0020][0021]
其中，τ指由状态state
t
，动作action
t
，奖励r
t
，状态state
(t+1)
组成的轨迹，其中所采用的模型参数是φ，元知识参数为θ，学习率为α，任务环境是ti，1:k表示有k条轨迹，m表示更新的步数，p()表示轨迹服从概率p 的数据分布。
[0022]
在一些实施例中，步骤s21中，包括：在元预训练过程提供了n天任务的初始元知识之后，将搜索新的元知识n+i天的新元知识θ，以便在遇到新的动态任务后仅在几个样本内达到更好的适应策略。
[0023]
在一些实施例中，步骤s22中，包括：找到一些作为元知识的通用特征，并获得可转移的元知识θ，以帮助模型获得更好的适应规则；通过基于重新初始化的近端策略优化得到快速调整，该优化由在线获取的元知识控制。
[0024]
在一些实施例中，步骤s22中，使用元学习模型的regret函数进行动态元知识的泛化训练。
[0025]
在一些实施例中，步骤s2中使用在线的方式更新元知识，并保持其长期影响进行在线元适应，刷新元知识，通过多步在线梯度下降更新元知识旨在找到一些通用特征，并获得可迁移的元知识以帮助智能体获得更好的适应规则。
[0026]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的基于强化学习的动态多媒体数据部署方法。
[0027]
本发明具有如下有益效果：
[0028]
本发明通过元预训练过程、在线元自适应过程捕捉动态变化的序列对元知识，以及保持元知识在线更新，更快地使模型适应边缘动态环境；同时由于避免了动态请求模式，从而使本发明能够在不断变化的视频流行度下，避免边缘内容缓存命中率因为动态请求模式导致的性能下降，进而更快地使模型适应边缘动态环境。
附图说明
[0029]
图1是现有技术中基于强化学习(rl)的缓存策略示意图；
[0030]
图2是本发明实施例中的基于在线元强化学习的动态多媒体数据部署方法流程图；
[0031]
图3是本发明实施例中元预训练过程及在线元自适应过程示意图；
[0032]
图4是本发明实施例中的基于在线元强化学习的动态多媒体数据部署方法示意图；
[0033]
图5是实验例中现有技术在长视频平台动态环境下命中率变化的现象示意图；
[0034]
图6是实验例中现有技术在在短视频平台动态环境下命中率变化的现象示意图；
[0035]
图7是实验例中本发明实施例在长视频平台动态环境下命中率变化的现象示意图；
[0036]
图8是实验例中本发明实施例在短视频平台动态环境下命中率变化的现象示意图。
具体实施方式
[0037]
以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
[0038]
实施例
[0039]
为解决在保证性能的情况下使边缘内容分发更快的适应边缘动态环境的问题，一个直接的解决方案是重新启动强化学习模型，以摆脱过时数据的长期影响。然而，强化学习模型需要很长的适应时间才能获得良好的性能，为了实现更快的适应，考虑在处理新的动态任务时为强化学习模型提供一些可转移的知识。面对上述挑战，元强化学习有望成为一个有前途的解决方案，因为它已被证实可以在以往的工作中实现对新环境的极大适应。然而，发现在这种情况下，简单地使用元强化学习甚至会比普通强化学习方法表现更差，因为普通的元强化学习会忽略时间域中的动态特征，元强化学习任务是为多任务适应目的而学习，没有时间序列序列设计，而缓存问题显然是按时间序列排列的，因此，不适合边缘缓存问题。
[0040]
为了让元强化学习适应这种动态环境，本实施例提出一种基于在线元强化学习的动态多媒体数据部署策略，其中提出两个关键的设计目标：1) 元学习应该捕捉时间可转移的知识，以适应动态环境；2)元知识应不断更新以保持及时性。为了实现1)，通过将动态情节分割成一系列短间隔来重新制定元强化学习，然后利用元强化学习从序列对区间获取动态变化的知识。对于2)，提出了一种基于在线梯度下降(ogd)的在线元学习范式，以保持元强化学习的知识新鲜度。
[0041]
本发明为达到上述目标的实施例中的模型部分介绍如下：
[0042]
在线序列对元强化学习(omac)包含了两大部分：(1)序列对形式的元强化学习(2)在线更新。
[0043]
第一部分：
[0044]
其中对于序列对形式的元强化学习可以分解成两个小概念，即(1.1) 强化学习和(1.2)序列对形式的元学习。
[0045]
参考图1，现有技术模型的经验损失函数是l
t
(φ)，强化学习的优化目标是以下公式，这里面的参数φ是强化学习模型参数：
[0046]
(此为基础的强化学习，是针对一个t环境中的模型参数取了一次期望)，图1中φi是φ中的特定一个，ti是t中特定一个，模型φi在ti环境评估，其中经验损失函数为l
ti
(φi)，在缓存中，模型即agent，根据以往的经验和获得的收益来进行可能决策的优化。具体来说，一个agent在观察到state(状态变量)之后，在当前任务环境t下，采取action(动作)，然后获得对应的收益r(奖励)，其中的r是常见的discounted cumulative reward(累积折扣奖励)：其中w是和lstm的序列长度有关的一个时间窗口；r
t
是和r相关的收益，r是一段时间模型在马尔科夫过程中获得的收益，rt 是其中一个时间步获得的收益；γ是一个小于1的常数，使得随着时间的次方数能够不断变小，本实施例中取0.99；这样就形成了一个规范的马尔科夫过程：每个状态的转移只依赖于之前的n个状态，这个过程被称为1个 n阶的模型，其中n是影响转移状态的数目。最简单的马尔可夫过程是一阶过程，每一个状态的转移只依赖于其之前的那一个状态，或被称为马尔可夫性质。而在边缘缓存问题中，这个状态就是上一时刻的缓存内容情况和当年时刻的请求情况一起构成了state
t
。然后被一个动作action
t
影响，产生了下一个状态state
(t+1)
。
[0047]
然后元学习是强化学习的双层优化形式(双层优化形式是指在这个基础上，在同一个t环境中，再加入一次经过一段时间适应后的模型参数再取一次期望，注意前后两次期望的环境t是一致的，即在上式中的e需要再进行一次)，本实施例在这个双层优化的形式上也做了一定的改进，双层分为内循环和外循环，内循环参数φ运行在任务t
i+1
上，让外循环参数θ运行在任务ti上(φ是通过θ通过梯度下降更新得到的)。使得本实施例可以通过这样的形式来度量元知识θ的适应效果，来达到使模型效果变好的目的。元学习的优化目标为以下公式：
[0048][0049]
序列对形式的元学习的优化目标即损失函数为以下公式：
[0050][0051]
其中，τ指由状态state
t
，动作action
t
，奖励r
t
，状态state
(t+1)
组成的轨迹，其中所采用的模型参数是φ，元知识参数为θ，学习率为α，任务环境是ti，1:k表示有k条轨迹，m表示更新的步数，～p()表示轨迹服从概率p 的数据分布，n是指在动态多媒体数据所有的天数中抽取出来用于进行元预训练的天数，这部分数据只参与预训练而不参与在线的检测；i是所有用来进行在线元自适应的天数。
[0052]
上述改进是考虑到边缘环境数据分布的动态性，不仅仅是模型参数随着时间进行
更新变化，环境t也是随着时间不断变化的，模型不仅仅需要学习自己的变化，也要学习自己对于新环境的适应能力。
[0053]
第二部分：
[0054]
考虑到元知识是不随着时间推移进行再次更新的。本实施例对于元学习做到了在线更新。该更新是因为由于实际场景的要求，元知识θ不可能是一成不变的，那样随着时间推移，模型的效果就会越来越差，因为这个时间点的数据分布已经和得到元知识时候的数据分布不同了。所以要通过以下式子每天对于元知识θ有一个更新，即元学习模型的regret函数进行动态元知识的泛化训练：
[0055][0056]
在一些实施例中，也可使用其他函数进行进行动态元知识的泛化训练。
[0057]
基于以上的在线序列对元框架，本实施例提出实用的在线元强化学习的动态多媒体数据部署方法，如图2、图3所示，该方法分为两个阶段：元预训练过程(meta-learning)和在线元自适应(online meta-adaptation)，包括以下步骤：
[0058]
s0、建立元学习模型，获取动态多媒体数据；
[0059]
s1、元预训练过程:
[0060]
s11、从动态多媒体数据中选取要进行元预训练的天数n、用来进行在线元自适应的天数i、要进行动态适应的任务环境序列t1到t
n+i
； n是指在动态多媒体数据所有的天数中抽取出来用于进行元预训练的天数，这部分数据只参与预训练而不参与在线的检测；i是所有用来进行在线元自适应的天数，这部分数据在第一个request到达时即开始边进行模型的更新，边进行最终模型hit-rate指标的检测；
[0061]
s12、对于不同的顺序对任务环境选取初始化模型参数；
[0062]
s13、输入状态变量，产生动作和奖励后根据所述元学习模型的损失函数进行训练，得到动态元知识；
[0063]
s2、在线元自适应过程：
[0064]
s21、输入新的动态任务环境t
n+i+1
，并用所述动态元知识进行模型初始化；
[0065]
s22、利用梯度下降方法在新任务环境上进行元学习模型的更新，同时使用元学习模型的regret函数进行动态元知识的泛化训练，得到新的模型和元知识。
[0066]
本实施例中元学习模型采用常见的强化学习行动家-批评家网络，并且预处理特征采用lstm深度学习模型。初始元知识是指在元预训练过程得到的没有经过泛化的特征，而动态元知识是指在元预训练过程、在线元自适应过程得到的基于顺序对得到的泛化的特征。本实施例中中n的选取标准是具有不重复现实场景语义意义的时间片段，例如用于工作日的模型， n取5而不是10、15，用于自然周的模型，这n取7而不是14，确定n 后收集尽可能多的i。
[0067]
具体的，参考图4，本实施例提出实用的在线元强化学习的动态多媒体数据部署方法包括：
[0068]
1.元预训练过程(通过顺序配对任务获取元知识)：首先根据原始系统的内容请求数据，使用针对动态缓存任务元知识设计的顺序对元损失函数来进行元预训练过程(通过
序列对任务获取元知识)，使用少量历史请求序列来联合更新得到初始元知识θi。在元预训练部分，在此过程中使用少量历史请求序列联合更新模型元知识参数θ和学习率α，以获得在后续i 个特定任务环境初始元知识θi。
[0069]
对于再次获得具有泛化性能的动态元知识，将θi在任务环境ti上继续进行动态特征的学习，使用从任务ti的模型参数θ适应得到的模型更新参数φ来收集任务t
i+1
的轨迹。即元知识θi现在环境ti使用步长a进行学习，得到了更加适应性的模型φi，这个适应性的模型可以在环境t
i+1
上进行评估，在这个过程中ti的轨迹可能包含一些适合于t
i+1
的可转移信息，因为顺序配对任务依赖于每个相邻任务的。
[0070]
本实施例中序列对设计提供了初始元知识动态变化；在线更新有助于保持元知识的有效性，使本实施例能够处理动态缓存。
[0071]
2.将边缘缓存内容分发问题定义中的状态空间，动作空间，奖励函数等进行定义。使用来自相邻时间序列的内容请求数据，进行基于元学习的双层优化训练，通过a
gae
(generalized advantage estimation广义优势估计) 获得在前后相邻任务中的可转移信息。
[0072]
本实施例研究的系统假设每个缓存大小最多为s，对于一共c个等大的内容文件组成的数据f进行缓存，每一个时间步都会有一个f属于f被请求记为x^t。然后每个节点上的缓存记为c。模型输入的状态state
t
包括当前内容请求和缓存情况()在输入状态后，模型根据其策略在[1，s+1]中给出动作。
[0073]
如果动作输出为s+1，代理将不进行内容替换。否则，当动作输出为i 时，将替换位置为i的缓存内容。新到达的内容id也适用于适应过程，因为它只涉及缓存和传入的请求状态，而不是特定的id。在该操作之后，代理收到一个奖励关于是否命中缓存中的内容，状态更改为state
(t+1)
。
[0074]
3.在线元自适应过程(更新元知识)：
[0075]
使用在线的方式更新元知识，并保持其长期影响进行在线元适应(刷新元知识)，通过多步在线梯度下降(ogd)更新元知识旨在找到一些通用特征，并获得可迁移的元知识以帮助智能体获得更好的适应规则。
[0076]
直观地说，在元预训练过程提供了n天任务的初始元知识之后，框架的在线元适应部分将搜索新的元知识n+i天的新元知识θ，以便在遇到新的动态任务后仅在几个样本内达到更好的适应策略。这种类似ogd的迭代保证实现次线性regret，从而确保在线元知识接近最优。
[0077]
元学习阶段的目标是找到一些作为元知识的通用特征，并获得可转移的元知识θ，以帮助模型获得更好的适应规则。该策略通过基于重新初始化的近端策略优化(使用了agae作为loss函数)得到快速调整，该优化由在线获取的元知识控制。
[0078]
本实施例发现边缘内容流行度的动态特性，证明它导致了普通强化学习的性能下降，并启发使用元学习方法，提出普通元学习无法提高基于强化学习算法的性能，并开发了一种新的框架，称为在线序列对元学习 omac框架，能够处理动态缓存：1)序列对设计提供了初始元知识动态变化；2)在线更新有助于保持元知识的有效性，从而基于该框架提出了基于在线元强化学习的动态多媒体数据部署方法，能够在边缘端更为动态和非平稳的数据分布环境下，实现深度学习模型能够更快速进行泛化，适应边缘的数据分布，使得决策模型
及时提供有效服务；且在内容分发网络中,根据不同地区内容的流行度特征，预估用户感兴趣的内容，提前将内容分发到能够提供较好体验的服务器上，降低用户的等待延迟。
[0079]
本实施例的优势在于：
[0080]
1.准确将边缘内容缓存上的动态请求分布建模为马尔科夫决策过程，提高基于模型方法的泛化能力。
[0081]
2.通过依赖于先前历史知识的梯度估计充分利用当前信息，所以边缘缓存模型训练具有更好的收敛效果。
[0082]
3.避免使用手工设计的启发式工作，获得的元知识适用于边缘缓存环境的动态情况，具有更好的泛化性能和内容命中率结果。
[0083]
实验例
[0084]
本实验例使用来自爱奇艺和快手的真实数据记录(脱敏用户信息)进行了全面的实验，实验结果表明，本实验例的方法始终产生比基线更好的优化效果。特别是，在所有56个随机选择的边缘区域中实现了最佳性能，并且在爱奇艺和快手跟踪中分别实现了16.3％和37.4％的平均命中率提高。为了评估稳健性，本实验例针对不同的缓存大小和边缘服务区域评估。实验结果表明，本实验例的方法在每种情况下都保持了最佳性能。消融研究还表明，其中序列对设计步骤和在线更新步骤都有助于提高性能。
[0085]
具体过程如下：
[0086]
1.数据描述：
[0087]
数据来自13天从爱奇艺和快手平台收集的内容请求记录，并提取每个请求的时间戳和位置。爱奇艺数据记录包含417,077条视频内容的 53,954,230次请求，快手追踪包含1,746,227条视频内容的52,852,160次请求。由于跟踪分析表明区域之间的请求模式不同，本实验例随机选择56 个具有代表性的边缘区域(2.05km*2.31km)作为所表示的边缘区域来验证方法的鲁棒性。此外，将边缘缓存设备的视频内容分发范围从0.59km^2 到303.07km^2依次分布，以评估服务范围的影响。在实验中，假设位于边缘区域中心的内容分发网络边缘缓存来服务该区域的请求。
[0088]
2.实验过程：首先选取元预训练过程要求的天数n，固定的缓存大小、固定的服务区域面积之后使用少量历史请求序列联合更新模型元知识参数θ和学习率α，以获得初始元知识。从任务ti的模型参数θ适应得到的模型更新参数φ来收集任务t
i+1
的轨迹。即ti的轨迹可能包含一些适合于t
i+1
的可转移信息，因为顺序配对任务依赖于每个相邻任务的。
[0089]
然后根据初始元知识进行之后的在线元自适应过程，在线元适应部分将搜索新的元知识n+i天的新元知识θ，以便在遇到新的动态任务后仅在几个样本内达到更好的适应策略。
[0090]
而后改变缓存大小、服务面积等超参数进行重复试验，证明结果的鲁棒性。
[0091]
3.具体参数：
[0092]
每个边缘的默认缓存容量设置为所有请求视频内容数量的0.02％。本实验例使用tensorflow实现在线强化元学习模型框架，该模型在具有双rtx2070 gpu卡和6gb内存的服务器上运行。元学习(meta-learning)和元更新(meta-adaptation)的学习率设置为1e-3和2e-4。默认将强化学习的奖励折扣因子设置为0.99。将过去7个时间步的缓存状态视为lstm的状态保留数。此外，将默认的元预训练天数设置为5，每个适应轮执行3 次maml，并每
天更新元知识。
[0093]
4.实验结果：
[0094]
图5、图6中出现的效果尖峰代表了现有技术中模型本身对于一个特定环境学习到了缓存数据分布的一些特征，并且在环境固定的时候随着时间推移模型学习到的特征越多，命中率随之增加。但是由于边缘环境是动态变化的，一段时间后环境发生改变，数据分布也随之与原来学习到的特征产生偏移。模型由于数据非独立同分布的原因效果变差，不能较好的响应当前的内容请求，随之就是缓存效果的骤降。参考图7、图8，对于动态适应性的实验，本发明实施例的模型在短时间内就能达到一个较高的命中率水平，并且不会有明显的尖峰，和之后的效果下降的现象；图7、图8 中的现象表明，如果使用本发明实施例的模型对于顺序对有了更多关于环境切换适应性特征的学习，就能保证在环境动态变化时，命中率保持较高的水平。这表明本发明实施例的方法能够不断适应不断变化的环境并保持良好的性能。原因是其他方法依赖于先验知识或平稳性的假设可能在开始时表现良好。但是，当假设与环境之间的不一致性更加显著的时候，会导致性能严重下降，本发明实施例的序列对元学习框架能够捕获环境变化的元知识，这有助于重新初始化的模型快速适应。在这个框架的基础上，使得元知识在线更新保持其新鲜度，并不断提供实时适应规则，就得到了最终的在线序列对元学习框架；因此，本发明实施例的方法不会受到内容流行度变化带来的性能下降的影响。对于鲁棒性的实验，本发明实施例的模型在不同的边缘缓存大小和不同的服务范围面积下，都能取得一个较高的命中率水平。本实验例将内容缓存大小从所有请求视频内容数量的0.02％逐渐增加到0.10％，服务面积从0.59km^2逐渐增加到303.07km^2。本发明实施例的方法的命中率指标均高于传统的统计方法和强化学习方法。本发明实施例在短视频和传统视频共享平台上实现最先进的性能，这有助于模型在动态变得更加严峻的短视频平台上表现出色。
[0095]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0096]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。