基于DER增量学习的密集架通道异物检测方法

本发明涉及计算机视觉领域和深度学习领域，具体涉及一种基于der增量学习的密集架通道异物检测方法。

背景技术：

1、档案密集架的作用是对大批量档案进行高密度存放管理，最早是手摇式密集架，其基本结构如图1所示。手摇式密集架架体的开闭操作全靠人工，特别是对位处中间的架体进行开闭时，需要将其左侧或右侧的架体全部移动，非常地繁琐，费时，费力。为解决上述问题，开始使用电机来控制架体移动，但这也带来了新的安全隐患，架体在关闭过程中若通道内存在物品或人员，容易造成财产损失或人员伤残，这时架体间异物检测就显得十分必要。传统的架体间异物检测方法主要有两种：一种是通过在架体边缘安装光学传感器或压力传感器来感应通道状况，此类方法结构简单，但检测形式单一，容易发生漏检现象；另一种是使用轨道机器人对密集架进行巡检，效果良好，但设备成本较为昂贵，安装条件苛刻。

2、为满足通道全区域和低成本化的架体异物检测需求，新一代密集架——智能密集架将机器视觉与人工智能技术相结合，对通道间异物进行检测，该类方法效果良好且成本较低，智能密集架的具体外观如图2所示。然而智能密集架系统在工业化部署过程中仍面临两大难题：1)模型部署时间长，每一次新场景的部署需要采集大量图像；2)模型通用性差，不同地点的模型数据无法在其他场地取得良好的检测效果，导致模型数据随着场景增多而增加，管理极其不便。

技术实现思路

1、针对上述现有技术中存在的问题，本发明提供了一种基于der(dynamicallyexpandable representation，动态可拓展表征学习)增量学习的密集架通道异物检测方法。该方法利用增量式异物检测模型在现有的训练数据集上进行学习，并从新场地收集的数据中不断更新自身，最终收敛得到一个通用模型。这种方法使模型能够适应不同场地的光照和地面情况，通用性和泛化性更强，加快了新场景下的档案密集架系统部署。系统部署时间由原有约两到三天，缩减为现在约两个小时。

2、本发明提供的一种基于der增量学习的密集架通道异物检测方法，具体步骤如下：

3、步骤(1)获取通道异物图像并制作数据集；通过连接部署在密集架顶部的网络相机获取通道内的各类异物图像，并将图像放缩至模型匹配尺寸h×h pix，以制作异物图像数据集。

4、步骤(2)构建异物检测网络模型；网络结构使用模块化设计，首先是设计特征提取模块abasblock和特征提取模块spresblock，其次使用特征提取模块abasblock和特征提取模块spresblock构建异物检测的特征提取器最后通过特征提取器构建der网络模型，完成异物检测网络模型整体框架搭建。具体步骤如下：

5、步骤(2.1)，设计特征提取模块abasblock和特征提取模块spresblock；

6、首先构建基础卷积模块cbr用于特征提取。基础卷积模块cbr由二维卷积conv、批归一化batchnorm、激活函数relu顺序构成；其中二维卷积conv的卷积核默认尺寸为3×3；步长为1，填充为0。

7、所述特征提取模块abasblock为双分支结构，由主路以及残差连接构成；主路由两个3×3基础卷积块conv顺序组成；残差连接则根据下采样需求进行更改，若需要将特征图下采样，则残差连接前需要进行平均池化操作，其中平均池化层avgpool的池化核大小为2×2，步长为2，同时设置主路第一层的基础卷积块conv的步长为s＝2，第二层的基础卷积块conv的步长为s＝1，平均池化层avgpool的输出与主路输出拼接得到特征提取模块abasblock的输出；若无需下采样，则残差输出与主路输出直接相加得到特征提取模块abasblock的输出，且设置主路两层基础卷积块conv的步长均为s＝1；所述特征提取模块abasblock用于提取局部特征信息。

8、所述特征提取模块spresblock为三分支结构，由主干双分支结构及残差连接组成。主干双分支结构由通道分割模块channel split、左支路、右支路和se注意力模块组成；主干部分先将输入特征图经过通道分割模块channel split在通道维度进行对半拆分后，分别输入左支路和右支路，然后将左支路和右支路的输出进行维度拼接，拼接结果输入se注意力模块进行通道加权处理后，得到主干输出。其中，左支路由一个3×3基础卷积块conv、一个1×1基础卷积块conv顺序组成；右支路由一个3×3分组卷积块groupconv和一个1×1基础卷积块conv顺序组成，分组卷积块groupconv的分组数目设置为输入通道数的1/2。若需要下采样，则左支路的第一层基础卷积块和右支路分组卷积块groupconv的步长均设置为s＝2，左支路和右支路的第二层基础卷积块的步长设置为s＝1，此外残差连接添加平均池化操作，主干输出和平均池化层avgpool的输出进行拼接得到特征提取模块spresblock的输出；若不需要下采样，则直接将主干输出和残差连接输出相加后得到特征提取模块spresblock的输出，此时，右支路分组卷积块groupconv的步长设置为s＝2，左支路的第一层基础卷积块、左支路和右支路的第二层基础卷积块的步长均设置为s＝1。所述特征提取模块spresblock用于提取顶层抽象语义信息。

9、步骤(2.2)，设计异物检测特征提取器；特征提取器由基础卷积模块cbr、特征提取模块abasblock、特征提取模块spresblock顺序组成。特征提取器的结构可概括为“1-3-3-4-4”，其中“1”代表1个卷积大小为7×7的基础卷积模块cbr；两个“3”均表示3个特征提取模块abasblock，其中，第一个为包含下采样的特征提取模块abasblock记作abb2，剩余两个为不包含下采样的特征提取模块abasblock均记作abb1；两个“4”均代表4个特征提取模块spresblock，其中，第一个为包含下采样的特征提取模块spresblock记作spb2，剩余三个为不包含下采样的特征提取模块spresblock均记作spb1；输入图像经过特征提取器进行特征提取后得到7×7尺寸的特征图。

10、步骤(2.3)，搭建der网络模型；使用步骤(2.2)所构建的特征提取器作为基础特征提取器。der网络模型由超特征提取器φt、辅助分类器主分类器ht和全局平均池化gap构成。其中超特征提取器φt是一个动态结构，由t个基础特征提取器组成，每训练一批新数据集时，新增一个特征提取器形成新的超特征提取器。与此对应的主分类器ht也随着超特征提取器φt的扩张进行维度拓展，主分类器ht的权重尺寸为(512×t，n)，n为类别数。辅助分类器尺寸大小固定为(512，n)，n为类别数。输入图像数据经过超特征提取器φt后得到包含顶层语义信息的特征图，这些特征图经过全局平均池化gap操作后得到特征向量vf。特征向量vf整体输入主分类器ht得到der网络模型的预测向量，同时特征向量vf的最后512个维度的子向量输入辅助分类器用以辅助der网络模型学习语义信息。

11、步骤(3)筛选数据与训练异物检测网络模型；除去首次训练，后续的每次训练均包含数据筛选操作。筛选时计算步骤(1)划分的训练集中每一类旧样本的均值，将接近均值的旧样本组成旧数据集合setold。然后将新获取的数据集合setnew与旧数据集合setold合并组成总数据集settotal＝setold∪setnew。最后将总数据集settotal送入步骤(2.3)所构建的der网络模型进行训练，训练出最佳模型并保存模型参数文件。

12、步骤(4)读取步骤(3)中训练好的模型参数文件，对网络相机实时采集的图像帧进行异物检测并将异物状态标注在图像帧中，从而实时检测通道异物状态。

13、进一步地，步骤(1)中所述的数据集制作方法，具体包括采集不同异物种类、不同光照、不同架体间距的图像，按照异物类型存放，并根据图像存放位置生成对应标签；接着采用随机取样算法将数据集按照预设比例a:b:c划分为训练集、测试集和验证集；最后对所输入的图像数据集进行数据增强，包括并不限于旋转、翻转、灰度化以及饱和度调整；

14、进一步地，步骤(3)中所述筛选数据与训练异物检测网络模型的具体步骤如下：

15、步骤(3.1)数据筛选；首先设置旧数据集合setold大小为k，然后计算训练集中各类样本的均值μ，接着计算每个样本与均值μ的向量距离d，计算公式如下：

16、

17、

18、式中m为类别旧样本总量，x为对应类别旧样本集，x为对应类别旧样本集中的单个样本，为特征提取器φt。每一类保存k/n个最佳样本，完成筛选操作后得到旧数据集合setold。将旧数据集合setold与新场景获取的数据集合setnew合并得到完整的总数据集settotal。

19、步骤(3.2)网络训练；在训练新场地数据前，先冻结旧的特征提取器再新增一个特征提取器然后采用损失函数对der网络模型进行训练、优化。der网络模型采用对应的损失函数如下：

20、

21、

22、

23、其中，ltotal为der网络模型总损失，为主分类器ht损失，为辅助分类器损失；λ为权重因子；yi为真实标签；为主分类器ht的预测向量，为辅助分类器的预测向量。使用ltotal作为总损失对der网络模型进行优化。

24、此外模型训练时还采用余弦退火策略控制学习率，学习率按如下公式进行变化：

25、

26、式中，lrt为当前学习率，lrmax为最大学习率，lrmin为最小学习率，tcur为当前迭代次数，tmax为最大迭代次数。

27、本发明的有益效果在于：(1)区别于原智能密集架异物检测算法，本发明异物检测网络模型具备持续学习能力，达到适配新场景的同时又保留对旧场景的分辨能力。而且随着训练场景增多，模型所需新场景样本数目不断减少，极大的提高部署的速度与效率。(2)本发明构建了特征提取器，提高了异物特征提取能力，能在复杂背景下判别是否含有异物，具有泛化性强的特点，既保持了高精度又减少了大量模型参数；(3)通过对数据集图像采集方式指导与数据增强处理，采用损失函数和余弦退火策略对网络模型进行优化，增强了网络模型的鲁棒性。