基于教师学生网络的智能货柜小目标检测方法及检测系统与流程

本发明涉及目标识别检测技术领域，具体涉及一种基于教师学生网络的智能货柜小目标检测方法及检测系统。

背景技术：

对于开放式货柜系统中，采用鱼眼摄像头对放置在货柜中的商品进行采图，检测识别得到商品类别信息和商品位置信息。由于鱼眼摄像头本身存在的畸变，摄像头拍摄的图像边缘部分目标区域会变得较小。因此，对于开放式货柜系统场景，现有技术通常难以有效检测小目标，对于小目标的误检率较高，检测精度较低。

技术实现要素：

本发明的目的在于提供一种基于教师学生网络的智能货柜小目标检测方法，适用于常用的目标识别检测算法，能够有效提升针对小目标的检测性能。

为达此目的，本发明采用以下技术方案：

提供一种基于教师学生网络的智能货柜小目标检测方法，具体包括如下步骤：

步骤s1，采集包含目标商品的场景图像；

步骤s2，对所述场景图像进行图像切割得到多张切割图像；

步骤s3，以所述场景图像和对应所述场景图像的各所述切割图像为训练样本，训练形成一教师模型并存储；

步骤s4，将待检测的所述场景图像作为所述教师模型的输入，输出对所述场景图像的目标商品检测结果；

步骤s5，根据所述步骤s4检测得到的所述目标商品检测结果，对所述目标商品在所述场景图像上的位置进行标记，得到所述目标商品在所述场景图像上的标签信息；

步骤s6，将所述教师模型迁移到学生网络，并以所述教师模型输出的所述目标商品检测结果和所述步骤s6作出的所述标签信息作为所述学生网络的双输入，训练形成一学生模型；

步骤s7，通过所述学生模型对待检测的所述场景图像进行目标商品检测，最终得到一目标商品预测结果。

作为本发明的一种优选方案，所述步骤s3中，训练所述教师模型的神经网络的网络结构为yolo或ssd。

作为本发明的一种优选方案，所述步骤s3中，各所述切割图像经图像尺度变换后，各所述切割图像的尺寸与原始输入的所述场景图像的尺寸一致。

作为本发明的一种优选方案，对所述切割图像进行图像尺度变换的方法包括对所述切割图像的上采样。

作为本发明的一种优选方案，所述标签信息包括所述目标商品对应的商品类别信息和/或所述目标商品在所述场景图像上的所处位置信息。

作为本发明的一种优选方案，所述步骤s6中，训练所述学生模型的神经网络的网络结构为yolo或ssd。

本发明还提供了一种基于教师学生网络的智能货柜小目标检测系统，可实现所述智能货柜小目标检测方法，该系统包括：

图像采集模块，用于采集包含目标商品的所述场景图像；

图像切割模块，连接所述图像采集模块，用于对所述场景图像进行图像切割，得到多张关联于所述场景图像的所述切割图像；

教师模型训练模块，分别连接所述图像采集模块和所述图像切割模块，用于以所述场景图像和对应所述场景图像的各所述切割图像为训练样本，训练得到所述教师模型并存储；

目标商品检测模块，连接所述教师模型训练模块，用于将所述场景图像作为所述教师模型的输入，输出对所述场景图像的所述目标商品检测结果；

目标商品标记模块，连接所述目标商品检测模块，用于根据所述目标商品检测结果，对所述目标商品在所述场景图像上的位置进行标记，得到所述目标商品在所述场景图像上的所述标签信息；

学生模型训练模块，分别连接所述教师模型训练模块、所述目标商品检测模块和所述目标商品标记模块，用于以所述教师模型为学习对象，并以所述教师模型输出的所述目标商品检测结果和所述标签信息为训练样本，训练形成所述学生模型；

目标商品预测模块，连接所述学生模型训练模块，用于通过所述学生模型对待检测的所述场景图像进行目标商品识别检测，最终得到对所述场景图像的所述目标商品预测结果。

作为本发明的一种优选方案，所述智能货柜小目标检测系统还包括：

图像处理模块，分别连接所述图像切割模块和所述教师模型训练模块，用于将各所述切割图像的尺寸变换为与原始输入的所述场景图像的尺寸一致。

作为本发明的一种优选方案，训练所述教师模型的神经网络的网络结构为yolo或ssd。

作为本发明的一种优选方案，所述标签信息包括所述目标商品对应的商品类别信息和/或所述目标商品在所述场景图像上的所处位置信息。

本发明将教师模型迁移到学生网络，并以教师模型输出的目标商品检测结果以及对场景图像上的目标商品的标签信息作为学生网络的双输入，训练更新形成学生模型，可有效提升对小目标的检测精度和检测效率。而且，本发明适用于任何现有的检测器，适用范围较广。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于教师学生网络的智能货柜小目标检测方法的步骤图；

图2为本发明一实施例训练得到所述教师模型的流程示意图；

图3为本发明一实施例训练所述学生模型的流程示意图；

图4为本发明通过本发明实施例训练的学生模型对小目标进行检测的流程示意图；

图5为本发明一实施例提供的基于教师学生网络的智能货柜小目标检测系统的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参照图1，本发明实施例提供的基于教师学生网络的智能货柜小目标检测方法，具体包括如下步骤：

步骤s1，采集包含目标商品的场景图像；

步骤s2，对场景图像进行图像切割得到多张切割图像；优选情况下，将每一张切割图像进行尺度变换到与原始输入的场景图像同尺寸；

步骤s3，以场景图像和该场景图像对应的各切割图像为训练样本，训练形成一教师模型并存储；

步骤s4，将待检测的场景图像作为教师模型的输入，输出对场景图像的目标商品检测结果；

步骤s5，根据步骤s4检测得到的目标商品检测结果，对目标商品在场景图上的位置进行标记，得到目标商品在场景图像上的标签信息；

步骤s6，将教师模型迁移到学生网络，并以教师模型输出的目标商品检测结果和步骤s5作出的标签信息作为学生网络的双输入，训练形成一学生模型；

步骤s7，通过该学生模型对待检测的场景图像进行目标商品检测，最终得到一目标商品预测结果。

请参照图2，训练教师模型的神经网络的网络结构为现有的yolo或ssd神经网络结构。

上述技术方案中，步骤s3中，优选地，各切割图像经图像尺寸变换后，各切割图像的尺寸与原始输入的场景图像的尺寸一致。更优选地，对切割图像进行图像尺度变换的方法包括对切割图像的上采样。

上述的标签信息优选包括目标商品对应的商品类别信息和/或目标商品在场景图像上的所处位置信息。

请参照图3，步骤s6中所述的训练学生模型的神经网络的网络结构同样优选为现有的yolo或ssd神经网络结构，图3中的模型a(yolo/ssd目标检测器)即为教师模型；模型b(yolo/ssd目标检测器)即为学生模型。

步骤s7中，通过学生模型对待检测的场景图像进行目标商品检测的流程请参照图4，图4中的模型b即为学生模型，学生模型对输入的场景图像进行目标商品识别检测并输出目标商品预测结果。

本发明还提供了一种基于教师学生网络的智能货柜小目标检测系统，可实现上述的智能货柜小目标检测方法，请参照图5，该系统包括：

图像采集模块1，用于采集包含目标商品的场景图像；

图像切割模块2，连接图像采集模块1，用于对场景图像进行图像切割，得到多张关联于场景图像的切割图像；

教师模型训练模块3，分别连接图像采集模块1和图像切割模块2，用于以场景图像和对应该场景图像的各切割图像为训练样本，训练得到教师模型并存储；

目标商品检测模块4，连接教师模型训练模块3，用于将场景图像作为教师模型的输入，输出对场景图像的目标商品检测结果；

目标商品标记模块5，连接目标商品检测模块4，用于根据目标商品检测结果，对目标商品在场景图像上的位置进行标记，得到目标商品在场景图像上的标签信息；

学生模型训练模块6，分别连接教师模型训练模块3、目标商品检测模块4和目标商品标记模块5，用于以教师模型为学习对象，并以教师模型输出的目标商品检测结果和标签信息为训练样本，训练形成学生模型；

目标商品预测模块7，连接学生模型训练模块6，用于通过学生模型对待检测的场景图像进行目标商品识别检测，最终得到对场景图像的目标商品预测结果。

作为一种优选方案，本实施例提供的智能货柜小目标检测系统还包括：

图像处理模块8，分别连接图像切割模块2和教师模型训练模块3，用于将各切割图像的尺寸变换为与原始输入的场景图像的尺寸一致。

优选地，训练教师模型和学生模型的神经网络的网络结构为现有的yolo或ssd网络结构。

优选地，标签信息包括目标商品对应的商品类别信息和/或目标商品在场景图像上的所处位置信息。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。