基于卷积神经网络的图像识别技术的结算方法和装置与流程

本发明属于图像识别技术领域，特别涉及一种基于卷积神经网络的图像识别技术的结算方法和装置。

背景技术：

顾客在超市、餐厅等购物场所看到自己喜欢或需要的商品时，需在结算台进行结算才能得到。

现有技术中，常用的结算方法有两种：第一种是基于条形码的结算方法，该方法是通过扫描商品上的条形码的方式识别商品，然后对识别的商品进行结算，扫描操作由收银员完成或者顾客自助完成。该方法具有如下缺陷：扫描比较麻烦、费人工、对操作有一定的要求，而且一般每次只能扫描一件商品，不能同时扫多件商品、效率低。第二种是基于rfid的结算方法，该方法是在商品上贴一个不需要电池的射频小模块，当该商品通过结算台时，结算台会向该商品发射无线信号，该射频小模块接收到该信号之后会回馈一个信号给结算台，该回馈信号中带有商品的id信息，然后据此进行结算。该方法具有如下缺陷：需要在每件商品上贴射频小模块、比较麻烦，而且如果射频小模块从商品上掉落，无论自然掉落还是人为撕掉，都会给商家造成损失。此外，当商品为金属商品时，在其上贴附rfid，可能会存在信号被屏蔽问题。

技术实现要素：

为了至少解决现有技术中存在的问题，本发明一方面提供了一种基于卷积神经网络的图像识别技术的结算方法，其包括：采集步骤，采集放置在结算台上的待分类的m个商品的n张图片，n张所述图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，所述第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度；目标检测步骤，先对在所述第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据所述第一矩形区域图像的数量对n张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像；第一分类步骤，根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果；确认步骤，以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果；结算步骤，根据每个商品的所述第一次分类结果对m个商品进行结算；其中，m、n为大于等于2的自然数。

在如上所述的结算方法中，优选地，在第一分类步骤之后，确认步骤之前，所述结算方法还包括：第二分类步骤，若所述一级分类结果为相似商品，则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型，获得与所述相似商品对应的n个次级分类结果，再根据n个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，并以所述二级分类结果作为所述相似商品的第一次分类结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型，否则执行确认步骤。

在如上所述的结算方法中，优选地，在确认步骤之后，结算步骤之前，所述结算方法还包括：根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型，判断图片中的商品是否与所述第一次分类结果一致，若一致则执行结算步骤，否则提醒顾客商品无库存。

在如上所述的结算方法中，优选地，在待分类的m个商品的正上方布置1个摄像头，以从正上方向下对m个所述商品进行拍照来采集图片；在待分类的m个所述商品的四周布置4个摄像头，以从斜下方向上对m个所述商品进行拍照来采集图片。

本发明另一方面提供了一种基于卷积神经网络的图像识别技术的结算装置，其包括：采集装置，用于采集放置在结算台上的待分类的m个商品的n张图片，n张所述图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，所述第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度；目标检测装置，用于先对在所述第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据所述第一矩形区域图像的数量对n张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像；第一分类装置，根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果；确认装置，用于以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果；和结算装置，用于根据每个商品的所述第一次分类结果对m个商品进行结算；其中，m、n为大于等于2的自然数。

在如上所述的结算装置中，优选地，所述结算装置还包括：第二分类装置，若所述一级分类结果为相似商品，则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型，获得与所述相似商品对应的n个次级分类结果，再根据n个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，并以所述二级分类结果作为所述相似商品的第一次分类结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型；对应地，所述结算装置在所述一级分类结果为相似商品时，根据所述第二分类装置获取的二级分类结果进行结算，否则根据所述第一分类装置获取的一级分类结果进行结算。

在如上所述的结算装置中，优选地，所述结算装置还包括：判断装置，用于根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型，判断图片中的商品是否与第一次分类结果一致；和选择装置，若一致调用所述结算装置，否则提醒顾客商品无库存。

在如上所述的结算装置中，优选地，所述采集装置为摄像头，在待分类的m个商品的正上方布置1个摄像头，以从正上方向下对m个所述商品进行拍照来采集图片；在待分类的m商品的四周布置4个摄像头，以从斜下方向上对m个所述商品进行拍照来采集图片。

本发明有一方面提供了一种基于卷积神经网络的图像识别技术的结算装置，其包括：n个摄像头，用于采集放置在结算台上的待分类的m个商品的n张图片，n张所述图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，所述第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度；处理器；用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：先对在所述第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据所述第一矩形区域图像的数量对n张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像；根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果；以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果；根据每个商品的所述第一次分类结果对m个商品进行结算；其中，m、n为大于等于2的自然数。

在如上所述的结算装置中，优选地，所述处理器还被配置为：若所述一级分类结果为相似商品，则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型，获得与所述相似商品对应的n个次级分类结果，再根据n个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果，并以所述二级分类结果作为所述相似商品的第一次分类结果，所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型，否则以所述一级分类结果作为第一次分类结果。

本发明实施例通过上述技术方案带来的有益效果如下：

能准确识别商品，便于自助结算。

附图说明

图1为本发明一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图；

图2为本发明另一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图；

图3为本发明又一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图；

图4为本发明实施例提供的一种基于卷积神经网络的图像识别技术的结算装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高结算效率，本发明实施例尤其适用于顾客将m个商品放置在结算台的应用场景，m为大于等于2的自然数。

参见图1，本发明一实施例提供一种基于卷积神经网络的图像识别技术的结算方法，其包括：

采集步骤101，采集放置在结算台上的待分类的m个商品的n张图片，n张图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度，n为大于等于2的自然数。

目标检测步骤102，先对在第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，第一矩形区域图像为包含商品的矩形区域图像，再根据第一矩形区域图像的数量对n张图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像，剩余矩形区域图像为包含商品的矩形区域图像。

第一分类步骤103，根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果。

确认步骤104，以与每个商品对应的一级分类结果作为每个商品的第一次分类结果。

结算步骤105，根据每个商品的第一次分类结果对m个商品进行结算。

综上，通过在多个拍摄角度下对多个商品进行图片采集，然后利用第一拍摄角度下的图片确定商品的数量，并获取第一矩形区域图像，根据该数量在多张图片中剩余的图片分别进行目标检测以在每张图片中获取同数量的剩余矩形区域图像，利用一级分类模型对多个第一矩形区域图像进行处理，获得每个商品的一个分类结果，利用一级分类模型对多个图片中剩余图片的每张图片的多个剩余矩形区域图形进行处理，获取每个商品的一些分类结果，该分类结果的数量与前述分类结果的数量(即一个)之和与图片的数量相同，然后对每个商品的多个分类结果进行数据融合以输出一个最终的结果，即利用线性回归模型进行处理，得到该商品为哪个商品，对应地，得到多个商品分别为哪个商品，从而提高了结算效率，还提高了商品识别的准确率。

参见图2，本发明另一实施例提供了一种基于卷积神经网络的图像识别技术的结算方法，该方法包括以下步骤：

步骤201，采集放置在结算台上的待分类的m个商品的n张图片，n张图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度。

在该步骤中，从某一拍摄角度对该商品进行拍照，可以采集一张图片。由于一个拍摄角度与一张图片相对应，变换不同的拍摄角度，从而可以采集与不同的拍摄角度对应的图片。当拍摄角度的数量为n个时，即可采集n张图片，如此能够确保捕捉到用于识别商品的关键信息，该关键信息是指商品外观上对商品识别(或称分类)起重要作用的信息，例如商品为矿泉水时，矿泉水的种类有很多，区分不同种类的矿泉水主要是依靠矿泉水瓶上贴的一圈塑料纸上的图案，该图案即为矿泉水的关键信息。

在结算台上按照形成n个拍摄角度的方式布置n个摄像头，n可以为5、4或6，摄像头的数量与图片的张数相同。为了准确的识别m个商品，n个拍摄角度中至少有一个从m个商品的正上方向下对m个商品进行拍照的拍摄角度，该拍摄角度称为第一拍摄角度，即在m个商品的正上方布置1个摄像头，从正上方向下对m个商品进行拍照。当摄像头的数量n为5个时，其他4个摄像头可以是在待分类的m个商品的四周均匀布置，都从斜下方向上对m个商品进行拍照；也可以是，在待分类的商品的四周均匀布置4个摄像头，其中两个摄像头从斜向下对m个商品进行拍照，另外2个摄像头从斜下方向上对商品进行拍照，本实施例不对摄像头的数量和布置方式进行限定。通常，摄像头的数量越多，则采集的图片数量越多，所有图片上含有的商品的信息也越多，如此有利于商品的分类，但这样会增大硬件的复杂度，增大运算量，所以可以根据实际情况来选择摄像头的数量。

需要说明的是，本文中的拍摄角度可以指拍摄方向一个因素，也可以指拍摄方向和拍摄距离两个因素，还可以指其他因素或其他数量的因素，本实施例对此不进行限定。

采集动作(或称拍照动作)可以由结算台上布置的秤触发，如秤为具有压力传感器的秤，根据秤感应到的重量的变化来决定是否触发拍摄。当秤感受到重量发生了变化、并且该变化已经稳定下来时，如在预设时间(即以重量发生变化时刻为初始时刻，以初始时刻+预设时间为结束时刻的时间段)内重量没有再发生变化，则摄像头去开始拍照，这样能够保证拍到符合要求的图片，就是顾客把商品放上去以后，拍到这个时刻的图片。在其他的实施例中，摄像头拍照动作的触发可以采用图形识别、计算机视觉的技术手段，摄像头首先对放置商品的区域持续观察和拍摄，比如当发现顾客的手伸进来、放下一个商品、再把手拿开，当从视频中捕捉到这样一个动作，即商品的放置动作，记录下初始时刻，在预设时间(即以捕捉到该动作时刻为初始时刻，以初始时刻+预设时间为结束时刻的时间段)内从视频中再没有捕捉到这样一个动作，则去下拍照的指令，即触发摄像头进行拍照。

步骤202，先对在第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据第一矩形区域图像的数量对n张图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像。

具体地，先对第一拍摄角度下采集的图片进行目标检测，目标检测时，会在该张图片上拉出包含商品的m个矩形框(或称矩形区域)，每个矩形框包含一个商品，该矩形框所对应的图像(或称第一矩形区域图像)是用于对商品进行分类的图像，输出至步骤203，矩形框的数量与待分类的商品的数量相同。由于没有遮挡，在从m个商品的正上方向下进行拍照而采集的图片中能准确地确定放置在结算台上待分类的商品的数量，根据此数量，再对在其他拍摄角度下采集的每张图片进行目标检测，目标检测时，在其他拍摄角度下的每张图片上拉出与商品数量相同的矩形框，每个矩形框也包含一个商品，该矩形框所对应的图像(或称剩余矩形区域图像)是用于对商品进行分类的图像，输出至步骤203。当商品数量m为4个，图片数量n为5张且第一拍摄角度下采集的图片为一张时，在从第一拍摄角度下采集的图片中获取了4个与包含商品的矩形区域对应的图像，则从剩余的4张图片中的每张图片获取4个与包含商品的矩形区域对应的图像。

步骤203，根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型。

具体地，采集数据建立数据集，采集数据的过程包括：1)对购物场所内所有商品从各个角度以及在各个姿态下拍照来获取大量的照片。2)然后对这些照片进行标注：对照片中商品的位置、大小以及类别进行标注。数据集包括的数据是指前述这些照片以及这些照片上进行的标注。一级分类模型为基于卷积神经网络的图像识别技术架构的模型，并使用购物场所内所有商品的数据对一级分类模型进行了训练，训练时可以通过梯度下降的方式进行。

训练好的一级分类模型对每张图片的m个第一矩形区域图像或m个剩余矩形区域图像中的商品进行分类，由于图片的张数为n，则得到与每个商品对应的n个初级分类结果，即初级分类结果的数量与图片的张数一致，该初级分类结果为一个o维向量，o表示购物场所内商品的总数量，向量中每个元素的含义表示一级分类模型认为待分类的该商品属于o个商品中每个商品的概率。当图片数量n为5张时，初级分类结果的数量为5个o维向量。

步骤204，根据与每个商品对应的n个初级分类结果和预先训练的一级线性回归模型获取每个商品对应的一级分类结果，若一级分类结果为相似商品，则执行下述步骤205，否则以与每个商品对应的一级分类结果作为每个商品的第一次分类结果。

具体地，将在步骤203中，训练一级分类模型时，一级分类模型输出的初级分类结果作为一级线性回归模型的输入，该初级分类结果对应的图片中所包含的商品的正确分类作为一级线性回归模型的输出，以此来训练一级线性回归模型。训练好的一级线性回归模型对每个商品的n个初级分类结果进行数据融合，得到与每个商品对应的一个一级分类结果，该一级分类结果表示一级线性回归模型预测图片中的某一个商品为购物场所内商品中哪个类别。

购物场所内的商品有多种，在该多种商品中会存在一些外观相近及通过视觉易混淆的商品，将这些商品称为相似商品，如黄元帅苹果和黄色的雪花梨。若待分类的单个商品为相似商品时，一级分类模型难以准确地对该商品进行分类，如把黄元帅的苹果与黄色的雪花梨弄混，将黄元帅的苹果分类为黄色的雪花梨，因此需要执行下述步骤205，否则直接将与每个商品对应的一级分类结果作为与每个商品对应的第一次分类结果，用于结算。

步骤205，根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型，获得与相似商品对应的n个次级分类结果，再根据n个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果，并以二级分类结果作为相似商品的第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型。

具体地，利用在步骤203中建立的数据集中的相似商品的数据对二级分类模型进行训练，训练时可以通过梯度下降的方式进行。二级分类模型和一级分类模型的区别在于训练时所使用的数据不同，一级分类模型使用的数据为购物场所内所有商品的数据，二级分类模型使用的数据为购物场所内相似商品数据。

训练好的二级分类模型对与相似商品对应的第一矩形区域图像和剩余矩形区域图像中的商品进行分类，得到与相似商品对应的n个次级分类结果，该每个次级分类结果也为一个p维向量，向量中每个元素的含义表示二级分类模型认为待分类的商品属于p个相似商品中每个商品的概率。当图片数量n为5张时，次级分类结果的数量为5个p维向量，p小于等于o，且其表示购物场所内相似商品的总数量。

实际中，购物场所内的相似商品有多组，如一组相似商品中包括黄元帅苹果和黄色的雪花梨，另一组相似商品中包括散装的盐和散装的白糖；再一组相似商品中包括碱面和面粉。可以针对所有组相似商品训练一个二级分类模型，为了进一步提高对商品分类的准确率，针对每组相似商品训练一个二级分类模型，此时，若一级分类结果为相似商品，则调用该一级分类结果对应的二级分类模型。

将训练二级分类模型时，二级分类模型输出的次级分类结果作为二级线性回归模型的输入，该次级分类结果对应的图片中所包含的商品的正确分类作为二级线性回归模型的输出，以此来训练二级线性回归模型。训练好的二级线性回归模型对与相似商品对应的n个次级分类结果进行数据融合，得到一个二级分类结果，并以其作为相似商品的第一次分类结果，该二级分类结果表示二级线性回归模型预测图片中商品为购物场所内商品中哪个类别。

步骤206，根据每个商品的第一次分类结果对m个商品进行结算。

第一次分类结果获取后，再获取与第一次分类结果对应的商品价格，继而获取了放置在结算台上的m个商品的商品价格，则顾客为放置在结算台上的m个商品所需支付的费用就确定了，可以通过结算台上的显示器显示商品名称、商品价格、支付费用，还可以通过语音将商品名称提示给顾客。顾客支付费用时，可以通过扫描显示器显示的二维码或将移动终端上自己账户的二维码对准结算台上的扫码终端完成支付。

为了避免出现分类错误，提高结算的准确率，参见图3，在步骤206之前还包括：

步骤207，根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与该商品的第一次分类结果对应的预先训练的支持向量机模型，判断图片中的商品是否与第一次分类结果一致，若一致则执行上述步骤206，否则提醒顾客商品无库存。

具体地，为购物场所内的每个商品构建支持向量机的机器学习模型(或称支持向量机模型)，即每一个商品都有与其对应的支持向量机模型，并用步骤203建立的数据集中商品对应的数据对该模型进行训练。在构建一级分类模型时，存在一个中间计算结果，其为一个长度是1024的向量，可以将该向量看成是图片的一个特征，据此构建了一个从该向量到判断该商品是否属于某个类别商品的支持向量机模型。

每个商品的第一次分类结果获取后，先利用与其中一个商品的第一次分类结果对应的支持向量机模型对n张图片中的第一矩形区域图像和剩余矩形区域图像中所包含的该商品分别进行判断，得到n个初步判断结果，该初步判断结果表示每张图片中的该商品是否与第一次分类结果一致。第一矩形区域图像和剩余矩形区域图像的数量为n张，则初步判断结果共有n个。若n个初步判断结果中一致的数量大于等于预设的阈值，则判断该张图片中的此商品与第一次分类结果一致，否则，提醒顾客该商品无库存，即无法结算，可以在第一拍摄角度下采集的图片中对该商品进行标注表明m个商品中的该商品无法结算，并通过显示器显示以提醒给顾客。如图片的张数n为5张，预设的阈值为3，5个初步判断结果依次为：一致、一致、不一致、不一致、一致，则一致的数量为3。由于一致的数量等于预设的阈值，所以支持向量机模型判断该图片中的此商品与第一次分类结果一致，则认为前述分类过程是正确的，即识别到一种正确的商品，此时顾客可以通过结算获得该商品。若5个初步判断结果依次为不一致、不一致、不一致、不一致、一致，则一致的数量为1。由于一致的数量小于预设的阈值，所以支持向量机模型判断该图片中的此商品与第一次分类结果不一致，则认为前述分类过程是不成功的，即识别失败，此时通过语音和/画面提示：‘库里没有该商品，无法识别该商品’等来提醒顾客该商品无法结算。如此循环，可以完成利用支持向量机模型对m个商品进行判断。

本发明一实施例提供了一种基于卷积神经网络的图像识别技术的结算装置，其包括：

采集装置301，用于采集放置在结算台上的待分类的m个商品的n张图片，n张图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度，m、n为大于等于2的自然数。

优选地，采集装置301为摄像头，在待分类的m个商品的正上方布置1个摄像头，以从正上方向下对m个商品进行拍照来采集图片；在待分类的m个商品的四周布置4个摄像头，以从斜下方向上对m个商品进行拍照来采集图片。

目标检测装置302，用于用于先对在第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据第一矩形区域图像的数量对n张图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像。

第一分类装置303，用于根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果；

确认装置304，用于以与每个商品对应的一级分类结果作为每个商品的第一次分类结果；和

结算装置305，用于根据每个商品的第一次分类结果对m个商品进行结算。

该结算装置还包括：第二分类装置，用于若一级分类结果为相似商品，则根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型，获得与相似商品对应的n个次级分类结果，再根据n个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果，并以二级分类结果作为相似商品的第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型；对应地，结算装置在一级分类结果为相似商品时，根据第二分类装置获取的二级分类结果进行结算，否则根据第一分类装置获取的一级分类结果进行结算。

该结算装置还包括：判断装置，用于根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的第一次分类结果对应的预先训练的支持向量机模型，判断图片中的商品是否与第一次分类结果一致；和选择装置，若一致调用结算装置305，否则提醒顾客商品无库存。

需要说明的是，关于采集装置301的具体描述可参见上述实施例中步骤101和201的相关内容，关于目标检测装置302的具体描述可参见上述实施例中步骤102和203的相关内容，关于第一分类装置303的具体描述可参见上述实施例中步骤103和203的相关内容，关于确认装置304的具体描述可参见上述实施例中步骤104和204的相关内容，关于结算装置305的具体描述可参见上述实施例中步骤105和206的相关内容，关于第二分类装置的具体描述可参见上述实施例中步骤205的相关内容，关于判断装置和选择装置的具体描述可参见上述实施例中步骤207的相关内容，此处不再一一赘述。

本发明一实施例提供了一种基于卷积神经网络的图像识别技术的结算装置，其包括：摄像头、处理器和存储器。

n个摄像头用于采集放置在结算台上的待分类的m个商品的n张图片，n张图片与n个拍摄角度一一对应，n个拍摄角度中至少有一个第一拍摄角度，第一拍摄角度为从m个商品的正上方向下对m个商品进行拍照的拍摄角度。存储器用于存储处理器可执行的指令。处理器被配置为：先对在第一拍摄角度下采集的图片进行目标检测以获取与m个商品一一对应的m个第一矩形区域图像，再根据第一矩形区域图像的数量对n张图片中剩余的图片分别进行目标检测以在每张图片中获取与m个商品一一对应的m个剩余矩形区域图像；根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型，获取与每个商品对应的n个初级分类结果，一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据与每个商品对应的n个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果；以与每个商品对应的一级分类结果作为每个商品的第一次分类结果；根据每个商品的第一次分类结果对m个商品进行结算；其中，m、n为大于等于2的自然数。

处理器还被配置为：若一级分类结果为相似商品，则根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型，获得与相似商品对应的n个次级分类结果，再根据n个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果，并以二级分类结果作为相似商品的第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型，否则以一级分类结果作为第一次分类结果。

下面对本方法的具体过程进行说明：

顾客在结账过程中，向称重台上先后放置了一瓶矿泉水和一袋瓜子，当称重台的电子秤检测到重量变化，并且重量区域稳定时，开始从5个摄像头采集数据，采集到了5张照片，将5张照片统一缩放到某个预设的尺寸。然后用目标检测模型在从正上方向下采集的照片上检测商品，检测结果为在照片上找出两个包含商品的矩形区域，由于商品的数量为两个，则矩形区域的数量为两个。再用目标检测模型在剩下的4张照片上以数量为两个进行商品检测，检测结果也是在每张照片上找出两个包含商品的矩形局域。接着用一级分类模型对与每个商品对应的各个矩形区域进行分类，得到每个商品属于各个类别商品的概率。之后将每个商品的所有的概率结果经过一个一级线性回归模型，得到每个商品在所有商品类别中的一级分类结果，若该一级分类结果属于需要用二级分类模型进行进一步分类的商品类别，即一级分类结果为相似商品，则调取相应的二级分类模型，对与相似商品对应的各个矩形框进行分类，得到该商品属于各个类别的一个概率值，然后再用二级线性回归模型得到该商品在所有商品类别中的分类结果。最后再用该类别的支持向量机模型(或称小模型)对5张照片中的矩形框进行判断，判别该商品是否属于该类别。如果是，那么就返回该商品类别，如果不是，就认定该商品不属于任何一个商品类别。

综上，本发明实施例带来的有益效果如下：

能准确识别商品，便于自助结算。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。