不使用预先标定框的商品检测方法与流程

本发明涉及无人零售的技术领域，具体涉及到一种不使用预先标定框的商品检测方法的技术。

背景技术：

现在大部分无人零售的商品识别使用的是基于生成anchor的目标检测方法，使用基于anchor的目标检测方法可以有效的提取前景框，但同时生成的无效框数量也非常多，因此需要采用非极大值抑制来删除无效框，但是因为在非极大值抑制时当物体的iou(两物体的重叠比例)>0.7以后，目标框就会被抑制，但同时无人零售中货物距离相对比较近，因此很容易造成目标框被抑制的情况，使检测率较低。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种不使用预先标定框的商品检测方法，有效的应用到商品识别的应用场景中，解决基于anchor的检测方法中，目标框物体被抑制的问题。

为达上述目的，本发明采用以下技术方案：

一种不使用预先标定框的商品检测方法，其特征在于所述不使用预先标定框的商品检测方法包括下列步骤：

1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到gpu服务器；

2)将所述商品图片经过hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；

3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。

所述步骤2)中经过cornerpooling和校准位置偏移后,得到最终的所述左上角点的坐标与右下角点的坐标，所述cornerpooling是指下列公式：

tij表示的是上面的分支，从左到右的点(i,j)到点(h,j)之间的最大特征值，lij表示的是下面的分支，从左到右的点(i,j)到点(i，w)之间的最大特征值，ftij表示的是在点(i,j)的特征图的特征值。其中max是求最大值的符号。

所述步骤3)中，通过图像的坐标截取所述结算商品的图像，送入到训练好的分类网络中，得到所述结算商品的分类得分；把候选框统一放到sigmoid函数中，得分超出阈值的为有效框，得分低于阈值的为无效框，去掉无效框，得到最终的目标框。

本发明具有以下有益效果：

本发明通过摄像头得到物体的图像后，先经过hourglass网络得到物体的左上角点和右下角点的响应图，再通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到最终的结果。本发明准确率是99.5％，超出了基于anchor的目标检测方法，可以有效的应用到商品识别的应用场景中，解决了基于anchor的检测方法中，目标框物体被抑制问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明产品分类原理框架图；

图2是本发明产品分类模块示意图；

图3本发明hourglass检测网络。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明不使用预先标定框的商品检测方法，包括下列步骤：

1)拍摄零售的商品中的结算商品的商品图片，并将所拍摄的商品图片发送到gpu服务器；

2)将所述商品图片经过hourglass检测网络，得到所述结算商品的左上角点与右下角点的响应图，进而得到所述结算商品的左上角点的坐标与右下角点的坐标；

3)通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到一个向量组合，所述向量组合是物体的左上角点和右下角点的欧式距离。

所述步骤2)中经过cornerpooling和校准位置偏移后,得到最终的所述左上角点的坐标与右下角点的坐标，所述cornerpooling是指下列公式：

tij表示的是上面的分支，从左到右的点(i,j)到点(h,j)之间的最大特征值，lij表示的是下面的分支，从左到右的点(i,j)到点(i，w)之间的最大特征值，ftij表示的是在点(i,j)的特征图的特征值。其中max是求最大值的符号。

所述步骤3)中，通过图像的坐标截取所述结算商品的图像，送入到训练好的分类网络中，得到所述结算商品的分类得分；把候选框统一放到sigmoid函数中，得分超出阈值的为有效框，得分低于阈值的为无效框，去掉无效框，得到最终的目标框。

下面结合附图更加详细描述：

如图1，使用摄像头，在点击结算商品后拍下商品图片，前端将商品的图片发送到gpu服务器，即输入图像；

图像经过如图3所示hourglass检测网络，得到物体左上角点与右下角点的响应图；构建网络关键步骤：

(1)首先构建基本的convoulation层c1，然后根据c1网络层的参数downsample到c2层，依次类推，c2层网络downsample到c3，直到c5,c6,c7层。c5,c6,c7层是平行层，中间通过relu函数连接。

(2)到了c7层之后，开始进行upsample的层结构设计，一直到c1b层。中间层使用单纯的相加操作。c1a，c2a等网络结构为c1,c2等层的同级层，中间选择kernelsize＝1的cnn网络连接。

(3)最后将平行层c1a等和upsample的层进行连接相加，最后组成最终的网络结构。

上面的hourglass网络的输出c1b结构，后面连接激活函数relu之后，就可以输出一个c*w*h的网络结果。其中w表示的是featuremap的宽，h表示featuremap的高，c表示的是channel的维度。在结果总共有w*h个像素，每个像素有channel个数的向量组合形成。根据每个像素的判断是否是角点。每个像素有一个channel维度个数形成的向量ti，然后在所有的w*h中所有的像素中寻找和这个像素距离最近的角点。这里使用的是欧式距离来计算。然后就能得到左上角和右下角的角点的响应图。

经过cornerpooling和校准位置偏移后，得到最终角点位置；

校准位置偏移的具体步骤：

cornerpooling所选择的方式是将左上角和右下角的角点坐标通过cornerpooling前期训练好的模型中进行位置校准。

角点的最终位置是：(x,y)，其中x代表的是横轴的坐标，y代表的是纵轴的坐标。

即通过检测网络得到物体坐标点；再通过训练得到的距离向量，

将同一物体的角点组合起来，通过图像的坐标截取物体的图像，送入到训练好的分类网络中得到物体的分类信息，即通过分类网络。

角点坐标的获取步骤：

(1)首先经过上面详细介绍的hourglass网络训练得到左上角和右下角的坐标。

(2)然后通过cornerpooling将同一个物体的左上角和右下角的坐标进行校准，然后生成最终的坐标。

所示同一个物体的角点即是左上角和右下角的角点，这两个角点就能决定一个物体的具体位置。

通过第三步得到的分类得分，去掉分类得分较低的候选框，得到最终结果，即过滤低分框即无效框得到最终结果。所述最终结果是指每个物体的框和分类。

如图2，通过摄像头得到物体的图像后即输入图像，先经过hourglass检测网络得到物体的左上角点和右下角点的响应图，再通过角点的距离向量，将同一物体的角点组合起来，经过后处理后得到最终的结果。

本发明所涉及的设备主要有摄像头、pc机器、gpu。把物体放置在摄像头下面，通过摄像头拍摄的图片，通过不使用预先标定框的商品检测算法，求出整张图中的每个物体的位置和每个物体的具体类别。然后就知道了放在摄像头下面的物体是什么，有哪些。本发明应用于无人零售领域，以及其它涉及到计算机视觉的产品。

需要声明的是，上述具体实施方式仅为本发明的较佳实施例及所运用技术原理，在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化或替换，都应涵盖在本发明的保护范围内。