一种基于时间序列多特征融合的多目标跟踪方法与流程

本发明涉及计算机视觉、目标跟踪技术领域，具体地涉及一种基于时间序列多特征融合的多目标跟踪方法。

背景技术：

目标跟踪是指在图像序列中，先检测到系统感兴趣的目标，对目标进行准确的定位，然后在目标移动的过程中不断更新目标的运动信息，从而实现对目标的持续跟踪。目标跟踪可分为多目标跟踪和单目标跟踪，单目标跟踪只关注一个感兴趣目标，其任务是设计一个运动模型或者外观模型解决尺度变换、目标遮挡、光照等因素影响，逐帧标定出感兴趣目标对应的图像位置。相较于单目标跟踪，多目标跟踪还需要解决两个额外的任务：发现并处理视频序列中新出现的目标和消失的目标；维持各个目标特定的身份。

跟踪目标的初始化、频繁遮挡、目标离开检测区域、多个目标相似的外观、以及多个目标之间的交互都会给多目标跟踪增加难度。为了及时判断新出现的目标和消失的目标，多目标跟踪算法往往需要多目标检测作为算法实现的基础。

近年来，随着深度学习的发展，计算机视觉领域的发展十分迅速。目标检测算法已经十分准确，且具有较高的处理速度。但在多目标跟踪领域，由于多目标跟踪的难点尚未完全解决，基于检测的数据关联算法仍然具有很大的提升空间。本发明的创新点在于使用相关滤波算法预测各个目标的位置，降低了检测算法的依赖度，同时提出了一个基于物体位置、外观、运动、交互多特征的lstm(longshort-termmemory)网络框架，通过提取高区分度的特征模型，克服了多目标遮挡问题，提高了多目标跟踪的精度。

目前，多目标跟踪领域较为流行的方式是依赖于检测器的数据关联算法，此类方法很好地解决了目标初始化、消亡、以及尺度变换等问题，但仍不能很好解决过度依赖检测器性能、多目标间相互遮挡、相似外观目标区分等问题。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于时间序列多特征数据关联的多目标跟踪方法。

本发明的技术方案为一种基于时间序列多特征数据关联的多目标跟踪方法，具体包括以下步骤：

步骤1：根据ssd多目标检测算法检测帧图像中的跟踪目标，通过ssd检测跟踪目标的置信度与置信度阈值的比较，统计跟踪目标的类别以及跟踪目标的候选框；

步骤2：使用卷积网络提取跟踪目标在当前帧的位置框的卷积特征，通过跟踪目标的相关滤波器计算当前帧图像中各个位置的响应置信度得分，将得分最高的点定义为当前帧图像下跟踪目标的移动预测中心点，并通过移动预测中心点筛选的候选框；

步骤3：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的外观相似性分数；

步骤4：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的运动相似性分数；

步骤5：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的交互特征相似性分数；

步骤6：若处于跟踪态或者丢失态的跟踪目标匹配到候选框则将总相似性分数与匹配分数阈值比较，当总相似性分数大于匹配分数阈值则候选框转换为跟踪目标在当前帧图像的跟踪框，更新跟踪目标的外观特征、速度特征、交互特征信息；若处于跟踪态或者丢失态的跟踪目标未匹配到候选框，则通过步骤2更新跟踪目标的状态信息；

步骤7：对于已存在的跟踪目标进行关联未匹配的候选框，将未匹配的候选框认定为新跟踪目标，初始化新跟踪目标，建立新跟踪目标，构建新跟踪目标的位置特征模型、外观特征模型、速度特征模型和交互特征模型，并将其状态更新为跟踪态，在后续帧图像中进行数据关联匹配跟踪；

步骤8：重新检索当前帧的各个处于跟踪状态的跟踪目标，采用交并比计算各个跟踪目标间的重叠度；

步骤9：将连续多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标，保存其跟踪状态的数据信息，不再对其进行数据匹配操作。

作为优选，步骤1中所述帧图像为第m幅图像，步骤1中所述跟踪目标的类别数量为nm，步骤1中所述跟踪目标的候选框为：

di,m＝{xi,m∈[li,m,li,m+lenthi,m],yi,m∈[wi,m,wi,m+widthi,m]|(xi,m,yi,m)},i∈[1,km]

其中，km为在第m帧图像中跟踪目标的候选框数量，li,m为在第m帧图像中第i跟踪目标的候选框x轴的起点坐标，wi,m为在第m帧图像中第i跟踪目标的候选框y轴的起点坐标，lenthi,m为在第m帧图像中第i跟踪目标的候选框的长度，widthi,m为在第m帧图像中第i跟踪目标的候选框的宽度；

作为优选，步骤2中所述卷积网络为在imagenet分类任务预训练好的vgg16网络，并通过vgg16网络提取跟踪目标位置框的第一层特征向量；

通过通道c的二维特征向量的插值模型将通道c的二维特征向量转化为一维连续空间的特征向量：

其中，为通道c的二维特征向量，bc定义为一个三次立方插值函数，nc为的采样数，l为一维连续空间的特征向量的长度，channel为通道的数量；

卷积算子为：

其中，yi,m是第m图像的跟踪目标i的响应值，为通道c的二维特征向量，channel为通道的数量，通道c的一维连续空间的特征向量，是跟踪目标i在第m帧图像的通道c的相关滤波器；

通过训练样本训练相关滤波器为：

在给定的n个训练样本对{(yi,q,y'i,q)}(q∈[m-n,m-1])下进行训练得到，即通过最小化目标函数优化得到相关滤波器：

其中，yi,m-j是第m-j图像的跟踪目标i的响应值，y'i,m-j为yi,m-j的理想高斯分布，为跟踪目标i在第m帧图像的通道c的相关滤波器，权值αj是训练样本j的影响因子，由惩罚函数w决定，通过训练得到各个通道的相关滤波器

通过第m图像的跟踪目标i的响应值yi,m(l)l∈[0,l)，找到最大值yi,m(l)对应的lp,i,m：

lp,i,m＝argmax(yi,m(l))l∈[0,l)

其中，l为一维连续空间的特征向量的长度；

将lp,i,m转化为通道的二维特征向量的点还原为二维坐标后，映射为当前帧下的坐标点pi,m＝(xp,i,m,yp,i,m)，即为在第m帧图像中第i跟踪目标ti的移动预测中心点；

若跟踪目标ti处于跟踪态，仅选择预测位置区域周围的候选框进行后续的目标数据匹配：

设跟踪目标ti的前一帧长度为lenthi,m-1，宽度为widthi,m-1，第m帧图像中第i跟踪目标ti的移动预测中心点为pi,m＝(xp,i,m,yp,i,m)，在第m帧图像中第i跟踪目标的候选框中心点为ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)i∈[1,km]，当候选框中心点与移动预测中心点的距离满足条件：

d(pi,m,ci,m)＝(xp,i,m-li,m-lenthi,m/2)²+(yp,i,m-wi,m-widthi,m/2)²＜min(lenthi,m-1/2,widthi,m-1/2)

则将满足条件的候选框进行后续的目标数据匹配；

若跟踪目标ti处于丢失态，选择在其消失前一帧的位置附近筛选候选框：

取其消失前一帧时移动预测中心点为ti,m＝(xt,i,m,yt,i,m)，长度为lenthi,m-1，宽度为widthi,m-1，当候选框中心与消失中心距离d(ti,ci,m)满足下述条件时：

d(ti,m,ci,m)＝(xt,i,m-li,m-lenthi,m/2)²+(yt,i,m-wi,m-widthi,m/2)²＜min(lenthi,m-1/2,widthi,m-1/2)

则将满足条件的候选框进行后续的目标数据匹配；

若跟踪目标ti处于未成功匹配跟踪态，可以使用移动预测中心点更新其候选框中心点：

更新跟踪目标ti的候选框中心点为移动预测中心点pi,m＝(xp,i,m,yp,i,m)，候选框的长度、候选框的宽度与m-1帧图像保持不变；

作为优选，步骤3中所述筛选后候选框为通过步骤2根据移动预测中心点筛选的候选框；

步骤3中所述外观相似性分数具体计算为：

将步骤2中所述在第m帧图像中第i跟踪目标的筛选后候选框di,m通过去除vgg16最后一层的连接层vgg16网络，得到n维的第m帧图像中跟踪目标ti的外观特征向量

通过多目标跟踪公开数据集所给训练集以端到端的训练方式进行训练分别得到外观特征的lstm网络及以及第一全连接层fc1；

将跟踪目标ti的前m帧图像的数据通过同一通过去除vgg16最后一层的连接层vgg16网络，提取到m个n维的外观特征向量后进一步通过外观特征的lstm网络，提取到n维联合的历史外观特征向量

联合连接和通过第一全连接层fc1，从而得出跟踪目标ti和候选框di,m的外观相似性分数sa(ti,di,m)，若目标ti的前某帧图像数据尚未产生，则以0值代替；

作为优选，步骤4中所述运动相似性分数计算为：

步骤2中所述在第m帧图像中第i跟踪目标的筛选后候选框di,m的中心点为：

(li,m+lenthi,m/2,wi,m+widthi,m/2)

前一帧图像跟踪目标ti的候选框的中心位置为：

(li,m-1+lenthi,m-1/2,wi,m-1+widthi,m-1/2)

第m帧图像中第i跟踪目标的速度特征向量为：

通过多目标跟踪公开数据集所给训练集以端到端的训练方式进行训练分别得到速度特征的lstm网络及以及第二全连接层fc2；

将m帧图像中第i跟踪目标的速度特征向量通过速度特征的lstm网络，提取到联合历史序列的运动特征向量

联合连接和通过第二全连接层fc2，从而处于跟踪态或丢失态的跟踪目标ti和候选框di,m的的运动相似性分数为sv(ti,di,m)，若目标ti的前某帧运动数据尚未产生，则以0值代替；

作为优选，步骤5中所述交互特征相似性分数计算为：

以筛选后候选框di,m的中心坐标ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)为中心，建立长宽为h的固定大小的方框，将框内的与其它候选框中心坐标ci',m重合的点置为1，固定大小的方框中心也置为1，其余位置为0，得到：

其中，

x∈[li,m+lenthi,m/2-h/2,li,m+lenthi,m/2+h/2]

y∈[wi,m+widthi,m/2-h/2,wi,m+widthi,m/2+h/2]

再将转化为长度为h²的一维向量，得到候选框的交互特征向量为

通过多目标跟踪公开数据集所给训练集以端到端的训练方式进行训练分别得到交互特征的lstm网络及以及第三全连接层fc3；

以目标ti在某帧图像的中心坐标为中心，建立长宽为h的固定大小的方框，将框内的与其它跟踪目标中心坐标重合的点置为1，固定大小的方框中心也置为1，其余位置为0，得到目标ti在该帧的交互特征向量，将目标ti的前m帧数的交互特征向量通过交互特征的lstm网络，提取到联合的历史交互特征向量

联合和通过第三全连接层fc3，从而得出ti和di,m的交互特征相似性分数si(ti,di,m)，若目标ti的前某帧交互特征向量尚未产生，则以0值代替；

作为优选，步骤6中所述总相似性分数为：

stotal,i＝α1sa(ti,di,m)+α2sv(ti,di,m)+α3si(ti,di,m)

其中，α1为外观特征相似性系数，α2为速度特征相似性系数，α3为交互特征相似性系数；

总相似性分数大于匹配分数阈值stotal,i＞β则候选框di,m转换为跟踪目标在m帧图像的跟踪框；

步骤6中通过步骤2更新跟踪目标的状态信息为保持跟踪目标为跟踪态，对于连续多帧未成功匹配的处于跟踪态的跟踪目标，则将其转化为丢失态，不再采用步骤2所述方法；

作为优选，步骤8中所述各个跟踪目标间的重叠度为：

其中，a为跟踪目标ta的跟踪框面积，b为跟踪目标tb的跟踪框面积，对于处于iou＞0.8的跟踪目标ta和跟踪目标tb，根据所述步骤6所得到的总相似性分数stotal,a与stotal,b进行比较，将stotal,a与stotal,b较低的跟踪目标转化为丢失态，保持stotal,a与stotal,b较高的跟踪目标为跟踪态；

作为优选，步骤9中所述多帧图像为md帧。

与现有技术相比，本发明具有以下优点和有益效果：

本发明方法根据各个目标在时间序列下的特征数据，构建了lstm网络框架，使得系统可以解决目标长时间遮挡的问题，结合历史数据特征更好地提高了目标数据匹配的准确度；

本发明结合了跟踪目标的位置、外观、运动、交互四个方面的特征，运用了卷积网络提取物体的外观深层特征信息和浅层特征信息，提高了跟踪目标特征的区分度；运用物体每帧运动的方向和速度信息，从物体运动信息具有连续性特质上，提高目标匹配准确度；通过连续帧下物体的交互特征信息，提出了交互模型，其分析了跟踪目标与周围其它目标的作用力关系，从而提高了匹配准确度。通过使用多线索联合进行数据匹配的方式提高了目标跟踪的准确度；

对各个目标采用快速的相关滤波自跟踪方法，计算出目标在当前帧下移动的位置，筛选出符合位置区域的候选框，很好地减小了数据关联算法的计算量。自跟踪算法对于目标检测中漏检的跟踪态目标可以自行跟踪，解决了过度依赖目标检测器性能的问题。

附图说明

图1：本发明技术方案总体框图；

图2：单个目标的生存状态图；

图3：外观特征模型匹配图；

图4：速度特征模型匹配图；

图5：交互特征模型匹配图；

图6：交互特征lstm网络模型匹配图；

图7：系统多目标跟踪示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1至图6介绍本发明的实施例。本实施例的技术方案为一种基于时间序列多特征数据关联的多目标跟踪方法，具体包括以下步骤：

步骤1：根据ssd多目标检测算法检测帧图像中的跟踪目标，通过ssd检测跟踪目标的置信度与置信度阈值的比较，统计跟踪目标的类别以及跟踪目标的候选框；

步骤1中所述帧图像为第m幅图像，步骤1中所述跟踪目标的类别数量为nm，步骤1中所述跟踪目标的候选框为：

di,m＝{xi,m∈[li,m,li,m+lenthi,m],yi,m∈[wi,m,wi,m+widthi,m]|(xi,m,yi,m)},i∈[1,km]

其中，km为在第m帧图像中跟踪目标的候选框数量，li,m为在第m帧图像中第i跟踪目标的候选框x轴的起点坐标，wi,m为在第m帧图像中第i跟踪目标的候选框y轴的起点坐标，lenthi,m为在第m帧图像中第i跟踪目标的候选框的长度，widthi,m为在第m帧图像中第i跟踪目标的候选框的宽度；

步骤2：使用卷积网络提取跟踪目标在当前帧的位置框的卷积特征，通过跟踪目标的相关滤波器计算当前帧图像中各个位置的响应置信度得分，将得分最高的点定义为当前帧图像下跟踪目标的移动预测中心点，并通过移动预测中心点筛选的候选框；

步骤2中所述卷积网络为在imagenet分类任务预训练好的vgg16网络，并通过vgg16网络提取跟踪目标位置框的第一层特征向量；

通过通道c的二维特征向量的插值模型将通道c的二维特征向量转化为一维连续空间的特征向量：

其中，为通道c的二维特征向量，bc定义为一个三次立方插值函数，nc为的采样数，l为一维连续空间的特征向量的长度，channel＝512为通道的数量；

卷积算子为：

其中，yi,m是第m图像的跟踪目标i的响应值，为通道c的二维特征向量，channel为通道的数量，通道c的一维连续空间的特征向量，是跟踪目标i在第m帧图像的通道c的相关滤波器；

通过训练样本训练相关滤波器为：

在给定的n个训练样本对{(yi,q,y'i,q)}(q∈[m-n,m-1])下进行训练得到，即通过最小化目标函数优化得到相关滤波器：

其中，yi,m-j是第m-j图像的跟踪目标i的响应值，y'i,m-j为yi,m-j的理想高斯分布，为跟踪目标i在第m帧图像的通道c的相关滤波器，权值αj是训练样本j的影响因子，由惩罚函数w决定，通过训练得到各个通道的相关滤波器训练样本数n＝30；

通过第m图像的跟踪目标i的响应值yi,m(l)l∈[0,l)，找到最大值yi,m(l)对应的lp,i,m：

lp,i,m＝argmax(yi,m(l))l∈[0,l)

其中，l为一维连续空间的特征向量的长度；

将lp,i,m转化为通道的二维特征向量的点还原为二维坐标后，映射为当前帧下的坐标点pi,m＝(xp,i,m,yp,i,m)，即为在第m帧图像中第i跟踪目标ti的移动预测中心点；

若跟踪目标ti处于跟踪态，仅选择预测位置区域周围的候选框进行后续的目标数据匹配：

设跟踪目标ti的前一帧长度为lenthi,m-1，宽度为widthi,m-1，第m帧图像中第i跟踪目标ti的移动预测中心点为pi,m＝(xp,i,m,yp,i,m)，在第m帧图像中第i跟踪目标的候选框中心点为ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)i∈[1,km]，当候选框中心点与移动预测中心点的距离满足条件：

d(pi,m,ci,m)＝(xp,i,m-li,m-lenthi,m/2)²+(yp,i,m-wi,m-widthi,m/2)²＜min(lenthi,m-1/2,widthi,m-1/2)

则将满足条件的候选框进行后续的目标数据匹配；

若跟踪目标ti处于丢失态，选择在其消失前一帧的位置附近筛选候选框：

取其消失前一帧时移动预测中心点为ti,m＝(xt,i,m,yt,i,m)，长度为lenthi,m-1，宽度为widthi,m-1，当候选框中心与消失中心距离d(ti,ci,m)满足下述条件时：

d(ti,m,ci,m)＝(xt,i,m-li,m-lenthi,m/2)²+(yt,i,m-wi,m-widthi,m/2)²＜min(lenthi,m-1/2,widthi,m-1/2)

则将满足条件的候选框进行后续的目标数据匹配；

若跟踪目标ti处于未成功匹配跟踪态，可以使用移动预测中心点更新其候选框中心点：

更新跟踪目标ti的候选框中心点为移动预测中心点pi,m＝(xp,i,m,yp,i,m)，候选框的长度、候选框的宽度与m-1帧图像保持不变；

步骤3：计算处于跟踪态或丢失态的跟踪目标和筛选后候选框的外观相似性分数；

步骤3中所述筛选后候选框为通过步骤2根据移动预测中心点筛选的候选框；

步骤3中所述外观相似性分数具体计算为：

将步骤1中所述在第m帧图像中第i跟踪目标的候选框di,m通过去除vgg16最后一层的连接层vgg16网络，得到n＝1000维的第m帧图像中跟踪目标ti的外观特征向量

通过多目标跟踪公开数据集mot17-challenge所给训练集以端到端的训练方式进行训练分别得到外观特征的lstm网络及以及第一全连接层fc1；

将跟踪目标ti的前m帧图像的数据通过同一通过去除vgg16最后一层的连接层vgg16网络，提取到m个n维的外观特征向量后进一步通过外观特征的lstm网络，提取到n维联合的历史外观特征向量

联合连接和通过第一全连接层fc1，从而得出跟踪目标ti和候选框di,m的外观相似性分数sa(ti,di,m)，若目标ti的前某帧图像数据尚未产生，则以0值代替；

步骤4：计算处于跟踪态或丢失态的跟踪目标和候选框的运动相似性分数；

步骤4中所述运动相似性分数计算为：

步骤2中所述在第m帧图像中第i跟踪目标筛选后候选框di,m的中心点为：

(li,m+lenthi,m/2,wi,m+widthi,m/2)

前一帧图像跟踪目标ti的候选框的中心位置为：

(li,m-1+lenthi,m-1/2,wi,m-1+widthi,m-1/2)

第m帧图像中第i跟踪目标的速度特征向量为：

通过多目标跟踪公开数据集mot17-challenge所给训练集以端到端的训练方式进行训练分别得到速度特征的lstm网络及以及第二全连接层fc2；

将m帧图像中第i跟踪目标的速度特征向量通过速度特征的lstm网络，提取到联合历史序列的运动特征向量

联合连接和通过第二全连接层fc2，从而处于跟踪态或丢失态的跟踪目标ti和候选框di,m的的运动相似性分数为sv(ti,di,m)，若目标ti的前某帧运动数据尚未产生，则以0值代替；

步骤5：计算处于跟踪态或丢失态的跟踪目标和候选框的交互特征相似性分数；

步骤5中所述交互特征相似性分数计算为：

以筛选后候选框di,m的中心坐标ci,m＝(li,m+lenthi,m/2,wi,m+widthi,m/2)为中心，建立长宽为h的固定大小的方框，将框内的与其它候选框中心坐标ci',m重合的点置为1，固定大小的方框中心也置为1，其余位置为0，得到：

其中，

x∈[li,m+lenthi,m/2-h/2,li,m+lenthi,m/2+h/2]

y∈[wi,m+widthi,m/2-h/2,wi,m+widthi,m/2+h/2]

再将转化为长度为h²的一维向量，得到候选框的交互特征向量为

通过多目标跟踪公开数据集mot17-challenge所给训练集以端到端的训练方式进行训练分别得到交互特征的lstm网络及以及第三全连接层fc3；

以目标ti在某帧图像的中心坐标为中心，建立长宽为h＝300的固定大小的方框，将框内的与其它跟踪目标中心坐标重合的点置为1，固定大小的方框中心也置为1，其余位置为0，得到目标ti在该帧的交互特征向量，将目标ti的前m帧数的交互特征向量通过交互特征的lstm网络，提取到联合的历史交互特征向量

联合和通过第三全连接层fc3，从而得出ti和di,m的交互特征相似性分数si(ti,di,m)，若目标ti的前某帧交互特征向量尚未产生，则以0值代替；

步骤6：若处于跟踪态或者丢失态的跟踪目标匹配到候选框则将总相似性分数与匹配分数阈值比较，当总相似性分数大于匹配分数阈值则候选框转换为跟踪目标在当前帧图像的跟踪框，更新跟踪目标的外观特征、速度特征、交互特征信息；若处于跟踪态或者丢失态的跟踪目标未匹配到候选框，则通过步骤2更新跟踪目标的状态信息；

步骤6中所述总相似性分数为：

stotal,i＝α1sa(ti,di,m)+α2sv(ti,di,m)+α3si(ti,di,m)

其中，α1为外观特征相似性系数，α2为速度特征相似性系数，α3为交互特征相似性系数；

总相似性分数大于匹配分数阈值stotal,i＞β则候选框di,m转换为跟踪目标在m帧图像的跟踪框；

步骤6中通过步骤2更新跟踪目标的状态信息为保持跟踪目标为跟踪态，对于连续多帧未成功匹配的处于跟踪态的跟踪目标，则将其转化为丢失态，不再采用步骤2所述方法；

步骤7：对于已存在的跟踪目标进行关联未匹配的候选框，将未匹配的候选框认定为新跟踪目标，初始化新跟踪目标，建立新跟踪目标，构建新跟踪目标的位置特征模型、外观特征模型、速度特征模型和交互特征模型，并将其状态更新为跟踪态，在后续帧图像中进行数据关联匹配跟踪；

步骤8：重新检索当前帧的各个处于跟踪状态的跟踪目标，采用交并比计算各个跟踪目标间的重叠度；

步骤8中所述各个跟踪目标间的重叠度为：

其中，a为跟踪目标ta的跟踪框面积，b为跟踪目标tb的跟踪框面积，对于处于iou＞0.8的跟踪目标ta和跟踪目标tb，根据所述步骤6所得到的总相似性分数stotal,a与stotal,b进行比较，将stotal,a与stotal,b较低的跟踪目标转化为丢失态，保持stotal,a与stotal,b较高的跟踪目标为跟踪态；

步骤9：将多帧图像中连续处于丢失态的跟踪目标认定为已经消失的目标，保存其跟踪状态的数据信息，不再对其进行数据匹配操作。

步骤9中所述多帧图像为md＝30帧图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。