一种基于图像的物体分类方法、系统和电子设备与流程

本发明属于图像识别领域，特别涉及一种基于图像的物体分类方法、系统和电子设备。

背景技术：

图像识别技术已经越来越多地应用于人们的生活中，例如网络监管对图像进行识别并分类、电子设备的智能识别功能，都应用到了图像识别技术。图像识别技术可用于对图像内的物体进行分类，使生活和工作更加便捷和智能。

但是在现有技术中，对基于图像的物体分类方法中部分物体的分类并不准确，同一种类别的物体可能具有非常相似的特征，可能会使得分类的置信度降低。例如，对同一类饮料的不同口味的瓶子都是相同的，此时对饮料的分类结果无法细分到该种类别饮料是何种口味的。则通过现有的分类方法对具有非常相似特征的物体进行分类时，分类的次数较少，其准确度不高，容易造成错误分类。

技术实现要素：

为克服目前的基于图像的物体分类方法存在的分类结果不准确的问题，本发明提供一种基于图像的物体分类方法、系统和电子设备。

本发明解决技术问题的技术方案是提供一种基于图像的物体分类方法，其包括如下步骤：

步骤s1：获取包含至少一个待测物体的待处理图像；

步骤s2：将所述图像输入至初筛网络，在图像中物体所在的区域生成第一区域；

步骤s3：将所述第一区域输入至细筛网络，在第一区域内生成多个包含物体特征的第二区域；

步骤s4：将多个所述第二区域输入至第一关键位置检测网络，筛选出包含所述待测物体特征的第三区域；

步骤s5：将所述第三区域输入至第二关键位置检测网络，筛选出包含所述待测物体特征中区别特征的第四区域；及

步骤s6：将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，获得物体的分类信息。

优选地，在步骤s3与步骤s4之间还包括：

步骤s3-4：判断第二区域是否筛选出包含待测物体的特征，若是则进入步骤s4，若否，则返回步骤s2。

优选地，步骤s4具体包含以下步骤：将多个所述第二区域输入至第一关键位置检测网络中的关键区域检测网络，获得包含所述待测物体特征的关键区域；将多个所述第二区域输入至第一关键位置检测网络中的关键点检测网络，获得包含所述待测物体特征的关键点；选取同时包含关键区域和关键点的第一区域，将该第一区域内第二区域定义为第三区域。

优选地，步骤s5具体包含以下步骤：

步骤s51：将所述第三区域输入至第二关键位置检测网络进行识别。

步骤s52：对步骤s51中识别的多个所述第三区域进行筛选，获得包含所述待测物体上区别特征的第四区域。

优选地，所述分类网络可设置多级分类网络，以进一步对图像内的物体进行细分。

优选地，在所述分类网络获得物体分类信息后，将分类结果进行归一化处理，获得物体分类的置信度，根据置信度判断分类结果是否准确。

本发明为了解决上述技术问题还提供一种基于图像的物体分类系统，其特征在于，包括：图像获取单元，用于获取包含至少一个待测物体的待处理图像；图像初筛单元，用于将所述图像输入至初筛网络，在图像中物体所在的区域生成第一区域；图像细筛单元，用于将所述第一区域输入至细筛网络，在第一区域内生成多个包含物体特征的第二区域；判断单元，用于判断第二区域是否筛选出包含所需的物体特征；第一关键位置检测单元，用于将多个所述第二区域输入至第一关键位置检测网络，筛选出包含所述待测物体特征的第三区域；第二关键位置检测单元，用于将所述第三区域输入至第二关键位置检测网络，筛选出包含所述待测物体特征中的区别特征，以获得第四区域；及分类单元，用于将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，获得物体的分类信息。

优选地，所述图像初筛单元和图像细筛单元可设置多个，以使所述系统在不同复杂程度的图像中筛选出包含物体特征的区域。

优选地，还包括归一化单元，用于将分类信息进行归一化处理，获得物体分类的置信度。

本发明为了解决上述技术问题还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的基于图像的物体分类方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的基于图像的物体分类方法。

与现有技术相比，本发明具有如下有益效果：以往基于图像的物体的分类方法，由于有的物体之间存在非常相似的特征，对物体进行分类的次数较少，其准确度不高，容易造成错误分类。本方法通过识别图像的物体所在的第一区域，并根据第一区域之内不同的物体特征，以获得多个第二区域，再对多个所述第二区域进行进一步分析，以分类筛选出包含有待测物体的第三区域，并对第三区域进行细分，获得包含有待测物体的区别特征的第四区域，最后将待测物体所在的第一区域、第二区域、第三区域以及第四区域输入分类网络进行识别分类，得到待测物体的具体分类信息。通过对待处理图像的物体区域进行多级分类筛选，提高了对物体的分类的准确性。

判断第二区域是否筛选出包含待测物体的特征，若是，则进行下一步分类，若否，则返回进行重新分类筛选。通过对第二区域的判断，以确保可对所述第二区域内包含有待测物体的特征是否被全部找出，从而可提高分类的准确性。

将多个所述第二区域输入至第一关键位置检测网络中的关键区域检测网络，获得包含所述待测物体特征的关键区域；和/或将多个所述第二区域输入至第一关键位置检测网络中的关键点检测网络，获得包含所述待测物体特征的关键点；将得到的关键区域和关键点所在的第二区域求交集，获得包含所述待测物体特征的第三区域。通过第一关键位置检测网络，将多个所述第二区域中，筛选出位于待测物体上的第三区域，降低物体分类的错误率。

将所述第三区域输入至第二关键位置检测网络，第二关键位置检测网络识别所述待测物体上的区别特征。对步骤s51中识别的多个所述第三区域进行筛选，获得包含所述待测物体上区别特征的第四区域。通过第二关键位置检测网络，对第三区域进行进一步分类筛选，以获得待测物体中具有区别特征的所述第四区域。

所述分类网络可设置多级分类网络，以进一步对图像内的物体进行细分。可根据需要设置多级分类网络，进一步提高对物体的种类细分。

通过设置归一化处理，获得物体分类的置信度，使用者可通过归一化处理及时发现分类网络中的误差以进行调整，进一步提高分类的准确性，减小错误分类的概率。

【附图说明】

图1为本发明第一实施例提供的一种基于图像的物体分类方法的整体流程示意图；

图2a为本发明第一实施例提供的一种基于图像的物体分类方法步骤s2生成第一区域的示意图；

图2b为本发明第一实施例提供的一种基于图像的物体分类方法步骤s2的细节流程示意图；

图3a为本发明第一实施例提供的一种基于图像的物体分类方法步骤s3生成第二区域示意图；

图3b为本发明第一实施例提供的一种基于图像的物体分类方法步骤s3的细节流程示意图；

图4a为本发明第一实施例提供的一种基于图像的物体分类方法步骤s4生成第三区域示意图；

图4b为本发明第一实施例提供的一种基于图像的物体分类方法步骤s4的细节流程示意图；

图5为本发明第一实施例提供的一种基于图像的物体分类方法步骤s5的细节流程示意图；

图6为本发明第一实施例提供的一种基于图像的物体分类方法步骤s6的细节流程示意图；

图7为本发明第一实施例提供的一种基于图像的物体分类方法步骤s7的细节流程示意图；

图8为本发明第二实施例提供的一种基于图像的物体分类系统的模块示意图；

图9为本发明第三实施例提供的一种电子设备的模块示意图。

附图标识说明：

1、图像获取单元；2、图像初筛单元；3、图像细筛单元；4、判断单元；5、第一关键位置检测单元；6、第二关键位置检测单元；7、分类单元；8、归一化单元；

10、存储器；20、处理器；

100、第一饮料；101、第二饮料；

200、杯子；300、第一区域；

400、第二区域；401、瓶盖区域；402、第一标签区域；403、顶部区域；404、第二标签区域；

500、第三区域。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，一种基于图像的物体分类方法包括以下步骤：

步骤s1：获取包含至少一个待测物体的待处理图像。

具体地，所述待处理图像包含背景以及至少一个物体。其中，所述物体中包含背景物体以及待测物体。为了便于说明，在本发明中，使用多种类型和口味的饮料为示例，所述待处理图像包括背景物体以及至少一瓶饮料，但是其仅作为本发明的示例说明，不作为本发明的限定。

步骤s2：将所述图像输入至初筛网络，在图像中物体所在的区域生成第一区域。具体地，在经过初筛网络后，将背景物体以及待测物体所在的区域以矩形区域标记出来，一个物体对应一个矩形区域。例如，将所述饮料和背景物体所在的区域，以多个矩形区域标记饮料和背景物体所在的区域。

步骤s3：将所述第一区域输入至细筛网络，在第一区域内生成多个包含物体特征的第二区域。具体地，经过细筛网络，在所述第一区域中的背景物体和待测物体对应的物体特征上生成多个四边形区域的第二区域。此处所指的物体的特征包括如背景物体和待测物体的颜色、形状、图案等特征信息，可基于所述神经网络决定，也可基于人工选择而做相应的选择。例如，在上述第一区域内的饮料和背景物体的特征上，生成多个四边形区域，以获得所述第二区域。

步骤s4：将多个所述第二区域输入至第一关键位置检测网络，筛选出包含所述待测物体特征的第三区域。可以理解，多个所述第二区域中，包含有背景物体和待测物体的特征，在所述第二区域经过第一关键位置检测网络的筛选后，获得包含待测物体特征的第三区域。

例如，多个所述第二区域内包含有背景物体以及饮料，经过第一关键位置检测网络的筛选后，可获得多个所述第二区域内包含饮料的特征的第三区域。

步骤s5：将所述第三区域输入至第二关键位置检测网络，筛选出包含所述待测物体特征中的区别特征，以获得第四区域。可以理解，多个所述第三区域中，包含有待测物体的多个特征，其中部分特征为待测物体所属的类别中的共有特征，部分特征为待测物体所属的类别中的区别特征，经过第二关键位置检测网络进行筛选，可获得包含所述区别特征的第四区域。

例如，同种口味的饮料，通常包含有多处相同的特征，如相同的瓶身、瓶盖等，若直接进行分类可能会导致分类错误，第二关键位置检测网络将所述第三区域筛选出包含有所述饮料中与其它口味的饮料的区别特征，例如饮料标签，以获得所述第四区域，使得在后续的分类中，在对饮料的分类时，可根据所述第四区域获得饮料的口味分类。

步骤s6：将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，获得物体的分类信息。具体地，通过上述第三区域和第四区域的分类筛选，获得所述待测物体所在的第一区域和第二区域，进一步将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，并对待测物体进行分类。例如，通过识别上述第一区域、第二区域、第三区域以及第四区域内的特征，将饮料细分为a类型的苹果味饮料或b类型的芒果味饮料。及

步骤s7：将步骤s6的结果与预设的分类模板进行归一化处理，获得物体分类的置信度。通过设置归一化处理，获得物体分类的置信度，使用者可通过归一化处理及时发现分类网络中的误差以进行调整，避免获得错误的分类结果。

可选地，在步骤s3与步骤s4之间，还包括：

步骤s3-4：判断第二区域是否筛选出包含待测物体的特征，若是则进入步骤s4，若否，则返回步骤s2。以确保经过步骤s3后，所述第二区域内包含有待测物体的特征，提高分类的准确性。

请结合图2a和图2b，在本发明一些实施例中，步骤s2：将所述图像输入至初筛网络，在图像中物体所在的区域生成第一区域。如图2a中所示，以饮料为例，图像包含待测物体中的第一饮料100以及背景物体中的杯子200、第二饮料101，其中第一饮料100和第二饮料101具有相同的饮料标签a，而第一饮料100为瓶装，第二饮料400为罐装。经过初筛网络，在杯子200、第一饮料100和第二饮料101所在的区域各生成一个矩形的第一区域300。

步骤s2具体包括步骤s21～s22，可以理解，步骤s21～s22仅为该实施例的一种实施方式，其实施方式并不限定于步骤s21～s22，如图2b中所示，其步骤具体如下：

步骤s21：将图像输入至初筛网络，初筛网络根据预设的神经网络识别图像内的每个物体。及

步骤s22：将步骤s21中识别到的物体所在的区域生成多个第一区域。

需要说明的是，在上述步骤s2中，所述初筛网络可以为图像切割网络，用于将图像中所有物体所在的区域形成矩形边界。

请结合图3a和图3b，步骤s3：将所述第一区域输入至细筛网络，在第一区域内生成多个包含物体特征的第二区域。如图3a中所示，在上述步骤s2中的图2a中得到的三个所述第一区域300，在输入至细筛网络后，第一区域300内在第一饮料100、第二饮料101和杯子200的特征上生成多个所述第二区域400，具体地，第二区域400中包括生成于第一饮料100的瓶盖区域上的瓶盖区域401、标签信息a上的第一标签区域402，和生成于第二饮料101上的顶部区域的403、标签信息a区域上的第二标签区域404。

步骤s3具体包括步骤s31～s34。可以理解，步骤s31～s34仅为该实施例的一种实施方式，其实施方式并不限定于步骤s31～s34，如图3b中所示，其步骤流程如下：

步骤s31：提供多张训练图像，训练图像上标记有至少一个位于物体特征上的候选区域。例如，至少一个候选区域位于所述训练图像内的饮料区域上。

步骤s32：将所述训练图像转换成数据集。

步骤s33：将所述数据集输入至一初始细筛网络，让初始细筛网络获得物体的候选区域位置的权重。及

步骤s34：根据步骤s33中获得的权重得到所需的细筛网络，所述细筛网络通过获得的权重找出待处理图像内物体特征对应的第二区域。例如，经过多次训练得到的所述细筛网络，在所述待处理图像内饮料的特征区域上生成至少一个第二区域。需要说明的是，在上述步骤s3中，所述细筛网络可以为候选框生成网络，用于在第一区域内物体的特征上生成多个第二区域。

可以理解，经过多次训练后的细筛网络，在识别物体时，由于背景物体与待测物体之上可能会含有部分相同的特征，因此，如果仅仅基于第二区域进行分析，则容易将无需分类的背景物体也进行识别，而使分类结果出错，因此，为了进一步提高所述待测物体分类的准确度，则还需对获得的所述第二区域进行进一步的筛选。

请结合图3a、4a和图4b，步骤s4：将多个所述第二区域输入至第一关键位置检测网络，筛选出包含所述待测物体特征的第三区域。如图4a所示，以上述第一饮料100、第二饮料101和杯子200为例，将多个所述第二区域400输入至第一关键位置检测网络后，识别出多个第二区域400中位于第一饮料100上的第二区域200并将其定义为第三区域500。步骤4具体包括步骤s41～s43，可以理解，步骤s41～s43仅为该实施例的一种实施方式，其实施方式并不限定于步骤s41～s43,如图4b中所示，其步骤流程如下：

步骤s41：将多个所述第二区域输入至第一关键位置检测网络中的关键区域检测网络，获得包含所述待测物体特征的关键区域。具体地，所述关键区域检测网络通过训练得到多个不同第二区域的权重，检测多个第二区域中并进行对比筛选，所述权重可直接反映第二区域中多个不同区域的重要性，从而可基于多个第二区域的重要性筛选出所述关键区域。如图3a图所示，杯子200的特征经过筛选后不属于待测物体，而由于第一标签区域402和第二标签区域404具有相同的特征，因此，仅仅基于第一标签区域402与第二标签区域404并不能筛选出待测物体的特征是第一饮料100还是第二饮料101。

步骤s42：将多个所述第二区域输入至第一关键位置检测网络中的关键点检测网络，获得包含所述待测物体特征的关键点。具体地，所述关键点检测网络通过训练得到的权重，检测第二区域中多个点并进行对比筛选，所述权重直接反映第二区域中多个不同点的重要性，从而可基于关键点的重要性筛选出最终的所述关键点。如图3a所示，对瓶盖区域401以及顶部区域403进行关键点筛选，瓶盖区域401包含瓶盖特征，顶部区域403不包含瓶盖特征，则获得第一饮料100为待测物体。

步骤s43：选取同时包含关键区域和关键点的第一区域，将该第一区域内第二区域定义为第三区域。如图4a所示，将第一饮料100所在的第一区域300内的第二区域400定义为第三区域500。

例如，同种类型和同种口味的饮料，可能包含有罐装和瓶装两种包装，可通过关键点检测网络，对饮料的瓶盖进行识别，此时瓶装饮料的瓶盖就会被识别，而罐装饮料由于没有瓶盖的特征，因此罐装饮料并不会被识别。

可以理解，步骤s41与步骤s42的执行的顺序可置换，或两个步骤可同时进行。

通过第一关键位置检测网络，在多个所述第二区域中，筛选出位于待测物体上的第三区域，从而可进一步降低物体分类的错误率，避免将背景物体中的第二区域纳入分类的区域。

请结合图4a和图5，步骤s5：将所述第三区域输入至第二关键位置检测网络，筛选出包含所述待测物体特征中区别特征的第四区域。如图4a中所示，位于标签信息a上的第三区域500内的特征即为区别特征。步骤s5具体包括步骤s51～s52。可以理解，步骤s51～s52仅为该实施例的一种实施方式，其实施方式并不限定于步骤s51～s52。

步骤s51：将所述第三区域输入至第二关键位置检测网络进行识别。例如，同种类型不同种口味的饮料上包含有相同的瓶身、瓶盖，有不同的饮料标签，则所述饮料标签即为区别特征。及

步骤s52：对步骤s51中识别的多个所述第三区域进行筛选，获得包含所述待测物体上区别特征的第四区域。例如，所述饮料标签上，含有不同的“苹果味”、“芒果味”等文字，第二关键位置检测网络筛选出包含该类区别图形特征区域以获得所述第四区域。

请参阅图6，步骤s6：将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，获得物体的分类信息。步骤s6具体包括步骤s61～s63，在本实施例中，步骤s6以ra-cnn(recurrentattentionconvolutionalneuralnetwork—基于递归注意力模型的卷积神经网络)获得物体的分类信息为例，可以理解，步骤s61～s63仅为该实施例的一种实施方式，其实施方式并不限定于步骤s61～s63。

步骤s61：将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络。以对第四区域内的待测物体进行分类。

步骤s62：分类网络将第一区域、第二区域、第三区域以及第四区域依次输入到分类网络中的三层卷积层中，得到注意力区域信息。及

步骤s63：将获得的注意力区域信息与预设的物体模型匹配，得到物体类别的分类信息。例如，饮料经过分类网络进行分类之后，可以确认饮料的口味是苹果味还是芒果味的饮料。具体地，所述物体模型为待处理图像中物体的模型，用于给所述分类网络提供对应的权重，所述物体模型是所述分类网络经过训练得到。

可选地，所述分类网络可设置多级分类网络，以进一步对图像内的物体进行细分

可选地，在本实施例中所提供的分类网络，还可以对该分类网络进行多次训练，也即，将多个物体的模型数据进行导入至第二分类网络，以提高对物体的识别效率。

可选地，该实施例还可以对上述训练后得到的多个物体的模型数据进行更换或者增加，可根据需要识别多种物体的类别。

请参阅图7，步骤s7：将步骤s6的结果与预设的分类模板进行归一化处理，获得物体分类的置信度，具体包括步骤s71～s74。可以理解，步骤s71～s74仅为该实施例的一种实施方式，其实施方式并不限定于步骤s71～s74。

步骤s71：将步骤s63中分类后的物体信息与预设的物体模型进行匹配。

步骤s72：判断分类后的物体信息是否与预设的物体模型相匹配，

若是，则输出至步骤s73：输出图像内物体分类的最终结果；

若否，则输出至步骤s74：返回步骤s1，重新进行分类。

例如，预设的物体模型为包含苹果味和芒果味的饮料，在上述步骤s6中对饮料的分类结果为苹果味饮料，将该分类结果的苹果味饮料与预设的苹果味饮料模型进行匹配。

本发明第二实施例提供一种基于图像的物体分类系统。如图8所示，该基于图像的物体分类系统包括：图像获取单元1、图像初筛单元2、图像细筛单元3、判断单元4、第一关键位置检测单元5、第二关键位置检测单元6以及分类单元7。

图像获取单元1，用于获取包含至少一个待测物体的待处理图像。

图像初筛单元2，用于将所述图像输入至初筛网络，在图像中物体所在的区域生成第一区域。

图像细筛单元3，用于将所述第一区域输入至细筛网络，在第一区域内生成多个包含物体特征的第二区域。

判断单元4，用于判断第二区域是否筛选出包含所需物体特征。

第一关键位置检测单元5，用于将多个所述第二区域输入至第一关键位置检测网络，筛选出包含所述待测物体特征的第三区域。及

第二关键位置检测单元6，用于将所述第三区域输入至第二关键位置检测网络，筛选出包含所述待测物体特征中区别特征的第四区域。

分类单元7，用于将所述待测物体所在的第一区域、第二区域、第三区域以及第四区域输入至分类网络，获得物体的分类信息。

可选地，所述基于图像的物体分类系统还包括归一化单元8，用于将物体分类的结果进行归一化处理，以获得物体分类的置信度。

可选地，所述分类单元可设置多级分类单元，以进一步对图像内的物体进行细分，以获得更加准确的分类信息。

具体地，所述基于图像的物体分类系统对图像内物体的分类方法、过程与上述基于图像的物体分类方法相同。

请参阅图9，本发明第三实施例提供一种电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项基于图像的物体分类方法实施例中的步骤。所述处理器20被设置为通过所述计算机程序执行上述任一项基于图像的物体分类方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

与现有技术相比，本发明具有如下有益效果：以往基于图像的物体的分类方法，由于有的物体之间存在非常相似的特征，对物体进行分类的次数较少，其准确度不高，容易造成错误分类。本方法通过识别图像的物体所在的第一区域，并根据第一区域之内不同的物体特征，以获得多个第二区域，再对多个所述第二区域进行进一步分析，以分类筛选出包含有待测物体的第三区域，并对第三区域进行细分，获得包含有待测物体的区别特征的第四区域，最后将待测物体所在的第一区域、第二区域、第三区域以及第四区域输入分类网络进行识别分类，得到待测物体的具体分类信息。通过对待处理图像的物体区域进行多级分类筛选，提高了对物体的分类的准确性。

判断第二区域是否筛选出包含待测物体的特征，若是，则进行下一步分类，若否，则返回进行重新分类筛选。通过对第二区域的判断，以确保可对所述第二区域内包含有待测物体的特征是否被全部找出，从而可提高分类的准确性。

将多个所述第二区域输入至第一关键位置检测网络中的关键区域检测网络，获得包含所述待测物体特征的关键区域；和/或将多个所述第二区域输入至第一关键位置检测网络中的关键点检测网络，获得包含所述待测物体特征的关键点；将得到的关键区域和关键点所在的第二区域求交集，获得包含所述待测物体特征的第三区域。通过第一关键位置检测网络，将多个所述第二区域中，筛选出位于待测物体上的第三区域，降低物体分类的错误率。

将所述第三区域输入至第二关键位置检测网络，第二关键位置检测网络识别所述待测物体上的区别特征。对步骤s51中识别的多个所述第三区域进行筛选，获得包含所述待测物体上区别特征的第四区域。通过第二关键位置检测网络，对第三区域进行进一步分类筛选，以获得待测物体中具有区别特征的所述第四区域。

所述分类网络可设置多级分类网络，以进一步对图像内的物体进行细分。可根据需要设置多级分类网络，进一步提高对物体的种类细分。

通过设置归一化处理，获得物体分类的置信度，使用者可通过归一化处理及时发现分类网络中的误差以进行调整，进一步提高分类的准确性，减小错误分类的概率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。