计数方法及装置与流程

本公开涉及人工智能技术领域，尤其涉及一种计数方法及装置。

背景技术：

目前的计数方法中，主要为人工计数，需要耗费大量的人工成本，费时费力。另外，目前虽已经有的一些使用神经网络的计数方法中，但是应用领域过于狭窄，例如只能计数生物医学图像中的细胞数、或只能计数人数等，而没有一个较为通用的计数手段。

技术实现要素：

(一)要解决的技术问题

为了解决或者至少部分缓解上述技术问题，本公开提供了一种计数方法及装置，其为一种基于深度神经网络的图像计数方法及装置，用户通过自主配置计数对象，使用本公开完成广泛的计数任务。在具体计数时，本公开将计数问题转换为一二分类问题，即一图像中用户指定的计数目标物体为一类，其余的物体为一类，将物体分类后，对用户指定的一类计数目标物体进行统计识别，得到总数。

(二)技术方案

根据本公开的一个方面，提供了一种计数方法，包括：对一深度神经网络进行预训练；利用标记图像对预训练后的所述深度神经网络进行重训练，得到二分类的目标检测神经网络；以及利用所述二分类的目标检测神经网络对待计数的图像中包含的计数目标物体进行计数。

在一些实施例中，所述标记图像包含所述计数目标物体。

在一些实施例中，所述利用标记图像对所述预训练后的深度神经网络进行重训练，得到二分类的目标检测神经网络的步骤，包括：对至少一图像中的所有计数目标物体进行标记，获取所述标记图像：采用一标记方式对所述标记图像中所有计数目标物体进行标记，将标记图像中的所有物体供分成两类，一类是带标记的目标物体，一类是不带标记的其他物体，由此获取所述标记图像；将所述标记图像输入所述预训练后的深度神经网络，进行重训练，重复该重训练步骤直至神经网络的输出误差小于一误差阈值，得到一二分类的目标检测神经网络。

在一些实施例中，所述的计数方法，还包括：将未标记的待计数的图像输入所述二分类的目标检测神经网络中，得到目标物体的坐标位置信息及置信准确度分数；根据坐标位置信息或置信准确度分数进行计数：设定一准确度分数阈值，若准确度分数大于所述准确度分数阈值，则判定该处有目标物体。

在一些实施例中，所述预训练后的深度神经网络为多分类神经网络，利用标记图像对所述预训练后的深度神经网络进行重训练，即通过迁移学习使所述多分类神经网络转换为一二分类的目标检测神经网络。

在一些实施例中，所述的计数方法，还包括：将所述二分类的目标检测神经网络复位；更换标记图像，利用更换后的标记图像对复位后的神经网络进行重训练；利用所述更换标记图像之后经过重训练的所述神经网络对待计数的图像中包含的更换后的计数目标物体进行计数；其中，所述更换后的标记图像包含所述更换后的计数目标物体。

在一些实施例中，所述深度神经网络为fastr-cnn或yolo。

根据本公开的另一个方面，还提供了一种计数装置，包括：预处理模块，用于对一深度神经网络进行预训练；处理模块，用于利用标记图像对预训练后的所述深度神经网络进行重训练，得到二分类的目标检测神经网络；以及计数模块，用于利用所述二分类的目标检测神经网络对待计数的图像中包含的计数目标物体进行计数。

在一些实施例中，所述标记图像包含所述计数目标物体。

在一些实施例中，所述的计数装置，还包括：复位模块，用于将所述二分类的目标检测神经网络复位；以及更换模块，用于更换标记图像；其中，所述处理模块还用于利用更换后的标记图像对复位后的神经网络进行重训练；所述计数模块还用于利用更换标记图像之后经过重训练的所述神经网络对待计数的图像中包含的更换后的计数目标物体进行计数；所述更换后的标记图像包含所述更换后的计数目标物体。

(三)有益效果

从上述技术方案可以看出，本公开计数方法及装置至少具有以下有益效果其中之一：

(1)本公开计数方法及装置应用范围广，具有通用性，可针对任意计数对象进行计数，在对一类目标物体进行计数之后，通过神经网络复位及重训练，即可对另一类目标物体进行计数；其为可自行定义待计数物体的智能计数方法及装置，相较于传统已有的方法，节省人力并且提供了更高的通用性。

(2)在对更换后的计数目标物体计数时，传统神经网络大量数据进行训练，本公开计数方法及装置在重训练过程通过迁移学习只需要一张标记图片就可以实现重置计数物体。

(3)本公开计数方法及装置，通过重训练以及迁移学习的方法，将计数问题数学抽象为二分类问题，从而解决了一般的神经网络计数器无法配置，只有单一某类物体的计数功能的弊端。

(4)本公开计数方法及装置，通过深度神经网络方法的使用可以大大提升计数的准确率。采用fastr-cnn可以大大提高计数的准确度，同时，通过fastr-cnn的bbox操作可以直接将位置信息输出，方便之后统计某一类目标物体的总数。

附图说明

图1是本公开计数方法流程图。

图2是本公开标记图像示意图。

图3是本公开fastr-cnn网络及rpn网络结构示意图示意图。

图4是本公开计数装置方块图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。

本公开计数方法及装置为基于深度神经网络的图像计数方法及装置，用户通过自主配置计数对象，使用本公开计数方法及装置完成广泛的计数任务。在具体计数上，本公开将计数问题类看作一个二分类问题，即一张图像中用户指定的物体(待计数的目标物体)为一类，本图像中其余物体(除待计数的目标物体之外的其余物体)为一类。将物体分类后，对用户指定的一类物体(待计数的目标物体，以下简称为计数目标物体)进行统计识别，得到总数。

具体的，如图1所示，本公开计数方法，主要包括以下步骤：

对一深度神经网络进行预训练；

利用标记图像对预训练后的所述深度神经网络进行重训练，得到二分类的目标检测神经网络；

利用所述二分类的目标检测神经网络对待计数的图像中包含的计数目标物体进行计数(重训练后的神经网络可以反复使用，待计数图片可以为任意一张或多张)。

若需要对其他类型的计数目标物体进行计数，则可以将所述二分类的目标检测神经网络复位；更换标记图像，利用更换后的标记图像对复位后的神经网络进行重训练；利用所述更换标记图像之后经重训练的所述神经网络对待计数的图像中包含的更换后的计数目标物体进行计数；其中，所述更换后的标记图像包含所述更换后的计数目标物体(即，相对复位前的计数目标物体而言，为新计数目标物体，也称更换后的计数目标物体)。

更具体而言，本公开计数方法，预先存储一训练好的目标检测神经网络例如fastr-cnn、yolo等(即预存一预训练后的神经网络)。对多张图片中某一相同物体(该物体可以使细胞、人脸、飞机、汽车等)计数时，用户需要对所述多张图片中的至少其中一张进行标记，对这张图片中的所有待识别物体都进行标记，将标记好的图片作为重训练标记图片(也称标记图像)。本方法利用该重训练标记图片重训练预先存储的目标检测神经网络，重训练成二分类用户标记物体与其他物体的神经网络。之后，将其他待计数图片输入该重训练之后的二分类神经网络，产生用户标记的一类物体的总数信息。从而将图片中任意物体的计数工作自动化，适用于细胞计数、卫星图片中的物体计数等多种不同的计数领域。

在本公开一具体实施例中，所述计数方法包括：

步骤1，对一深度神经网络进行预训练；具体的，选择例如fastrcnn(基于区域的快速卷积神经网络)、yolo(只需一眼神经网络)等图像检测经典网络作为初始的检测网络。另外，可复制一份所述初始的检测网络(预训练后的深度神经网络)用于之后复位神经网络的步骤时复位使用，另一份神经网络供下述步骤重训练迁移学习时使用。

步骤2，提供多幅图像，本实施例中是提供两幅图像，对其中之一进行标记，得到一标记图像，另一幅不进行标记，为未标记图像；对标记好的图像、以及未标记的待计数的图像进行预处理。通过用户标记的信息，本公开便可以对任意用户定义的物体实现，用户可配的目标计数。所述预处理的方法包括使用图像求反、对比度拉伸等方法。

步骤3，利用所述标记图像对所述预训练后的深度神经网络进行重训练；具体的，对于用户提供的标记好的一张图像，使用有监督学习的方法，在重训练过程中，将用户标记信息与原始图像经过神经网络后的结果计算lse(最小二乘误差)s＝∑(yi-kfi)²或者aae(绝对误差)s＝∑|yi-kfi|作为方向传播算法(bp算法)的输入，经由反向传播算法传回网络中，更新网络的权值，此时用户标记信息显示的只有两个类别，求误差s时的标记yi不同于一般目标检测算法中的多个类别；其中，yi为用户输入的含有标记信息的的图像中的标记信息部分编码部分，kfi为输入图像经过神经网络后得到的结果。此处，k为整个神经网络的参数，fi为用户输入的含有标记信息图像中的图像部分。举例来说，图2中有三个标记好位置的瓶子(计数目标物体为瓶子)的图片，图像部分(fi)就是三个瓶子的原图，标记信息编码部分就是三个瓶子处为0，其余位置为1的图像(yi)。该过程使用预训练好的目标检测神经网络进行重训练，将原目标检测的多分类神经网络(初始的检测网络)通过迁移学习，产生一个二分类的目标检测神经网络。此处需要注意的是，在重训练开始时，可将原始目标检测神经网络复制一份备份并存储，留待之后复位本方法时使用。该步骤3具体包括以下子步骤：

步骤3.1，标记：用户标记一张待识别物体照片(图像)。对一张照片中用户想要识别数量的物体。照片中可以有一个或多个该物体，对每一个物体上使用方框将其框起来。如图2所示，假如需要求解照片中有多少个瓶子(计数目标物体为瓶子)，则将图中的瓶子用方框框起。利用该照片重训练神经网络，之后可以识别其他任意一张或多张照片中的瓶子，并输出瓶子总数。如果需要换识别其他类型的物体，则复位该神经网络，即将该神经网络删除，复制预留的备份。

步骤3.2，重训练：利用用户标记的照片(图像)重训练神经网络。将上述标记好的照片送入预先准备的目标检测神经网络，例如fastr-cnn。重训练过程中修改目标函数。其中，fastr-cnn结构如图3所示。在重训练过程中，分类得分与bbox回归处不同于传统多分类问题的fastr-cnn，本方法将其转变为一个二分类问题，与用户标记好的方框处的坐标信息比较。方框中是一类，方框之外为另外一类。得到的lse、aae信息通过反向传播算法(bp算法)反向传播会fastr-cnn神经网络并更新权值。

步骤3.3，循环反复执行步骤3.2直到fastr-cnn神经网络产生的结果误差小于阈值时，循环结束。得到可以使用的对任意照片中瓶子个数计数的智能计数神经网络，用于在之后反复使用。

步骤4，使用重训练好的所述深度网络模型，将未标记的待计数图像输入到步骤3训练好的网络中。在上图中的算法流程中的bbox部分得到图中所有目标(瓶子，即步骤3中用于重训练时用户标记的物体)的坐标位置信息，在分类得分处得到该分类准确度的置信准确度分数。当准确度分数高于某一个阈值时则，算法判定该处有目标检测物体。并根据bbox中的坐标信息对总个数计数，得到最终结果，即该照片中有几个选定的物体。这样的好处是bbox操作输出的位置信息可以直接用于计数统计，而无需另外设计计数的方法。

步骤5，步骤4结束即完成一张照片(也称图像)的计数，对其他待计数的照片，例如其他待计数目标物体为瓶子的照片，执行步骤4。步骤4识别出了一张照片，下一张照片重复执行步骤4(即重训练后的神经网络可以反复使用，待计数图像可以为任意一张或多张)。

步骤6，当对所有待计数的照片计数完毕后，复位本装置，即删除重训练之后的神经网络，并复制一份初始神经网络。当下一次用户需要计数时，从步骤2开始执行；例如在对第一类型的计数目标物体(例如瓶子)计数完毕，需要对第二类型的计数目标物体(例如帽子)进行计数时，可以对神经网络进行复位，并对至少一张包括第二类型的计数目标物体的图像进行标记，利用标记后的所述包括第二类型的计数目标物体的图像对复制的所述初始神经网络进行重训练；重训练之后，对待计数的图像中包含的第二类型的计数目标物体进行计数。

另外，本公开还提供了一种计数装置，如图4所示，所述计数装置，包括：

预处理模块，用于对一深度神经网络进行预训练；

处理模块，用于利用标记图像对预训练后的所述深度神经网络进行重训练，得到二分类的目标检测神经网络；以及

计数模块，用于利用所述二分类的目标检测神经网络对待计数的图像中包含的计数目标物体进行计数。

其中，所述标记图像包含所述计数目标物体。

进一步的，所述的计数装置，还可包括：

复位模块，用于将所述二分类的目标检测神经网络复位；以及

更换模块，用于更换标记图像；

其中，所述处理模块还用于利用更换后的标记图像对复位后的神经网络进行重训练；所述计数模块还用于利用更换标记图像之后经过重训练的所述神经网络对待计数的图像中包含的更换后的计数目标物体进行计数；所述更换后的标记图像包含所述更换后的计数目标物体。

综上，本公开提出的智能计数方法及装置为一种通用的计数方法及装置，可以根据用户指定，对不同领域或物体进行计数，其可以应用在细胞计数、人数计数、物体计数等各个需要计数领域。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。