阶层式图像识别方法及系统与流程

本发明是关于一种图像识别方法及系统；更具体而言，是关于一种阶层式图像识别方法及系统。

背景技术：

近年来，和其他机器学习方法一样，人工神经网络(artificialneuralnetwork；ann)(又被称之为类神经网络)已经被用于解决各种各样的问题，例如：机器视觉和语音识别。这些人工神经网络是经由深度学习(deeplearning)或电脑学习等技术加以训练。在图像识别领域，可采用训练后的人工神经网络来为图像做特征分类，并识别出正确的图像信息。

图1a所示是已知技术所采用的基于深度卷积神经网络(deepconvolutionalneuralnetwork；dcnn)的图像识别架构，其使用一个初步分类模型(coarseclassificationmodel)与多个细分类模型(fineclassificationmodel)以分别对图像做初步与细部的分类。前述每个分类模型(包含初步分类模型及细部分类模型)为一深度卷积神经网络。依据已知技术所采用的图像识别架构，初步分类模型与其对应的下一层的细分类模型的数目与种类在初始设计阶段时即已确定。因此，若细分类模型的数目与种类不够精确而需要更新与调整时，就必须重新训练初步分类模型及所有细分类模型，亦即需重新训练所有的深度卷积神经网络，相当耗时。此外，已知技术无法对细分类模型做适应性的调整来提高图像识别的正确率，无法对图像提供更细节的信息。

为了解决前述问题，本领域极需一种能有效率地调整或更新图像分类模型的机制，需要一种不需重新训练所有深度卷积神经网络的技术，借此减少因重新训练所有模型所耗费的时间，进而提高图像识别的正确率。

技术实现要素：

为达成上述目标，本发明的一第一态样为一种阶层式图像识别方法，其是适用于至少一电子计算装置。该阶层式图像识别方法包括下列步骤：(a)根据一初步分类模型分析一图像以获得一初步分类结果；(b)根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型；(c)根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息；(d)撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述；以及(e)根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。

于本发明的某些态样中，该阶层式图像识别方法还可包含下列步骤：(f)根据该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型；以及(g)重复步骤(c)至步骤(f)，直到所确认的该至少一细分类模型的数目不再改变时，输出该初步分类结果及该至少一细分类结果。

本发明的一第二态样为一种阶层式图像识别系统，其是包括一接收接口及至少一处理器。该至少一处理器电性连接至该接收接口，且执行一初步分类模块、一分类管理模块及一细分类模块。该接收接口接收一图像。该初步分类模块根据一初步分类模型分析该图像以获得一初步分类结果。该分类管理模块根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型。该分类管理模块根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。该初步分类模块撷取该初步模型中该至少一阶层信息所分别相应的至少一初步特征描述。该细分类模块根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。

于本发明的某些态样中，该阶层式图像识别系统还会由该分类管理模块根据该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型。若所确认的该至少一细分类模型的一数目改变，该阶层式图像识别系统会以新确认的该至少一细分类模型进行前述运作以进行更精细的分类。若所确认的该至少一细分类模型的数目不再改变时，该分类管理模块输出该初步分类结果及该至少一细分类结果。

依据下文的详细说明，本发明所属技术领域中普通技术人员应能轻易思及本发明的其他适用范围。然而，应理解，下文的详细说明及特定实例仅为例示而已，此乃因依据此详细说明，本发明所属技术领域中普通技术人员将明了在本发明精神及范围内的各种改变及润饰。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1a为已知技术所采用的基于深度卷积神经网络的图像识别架构的示意图；

图1b为本发明的阶层式图像识别技术的架构示意图；

图2为本发明第一实施例的阶层式图像识别方法的流程图；

图3a为根据本发明第二实施例的一种基于卷积神经网络的阶层式图像识别系统方块图；以及

图3b-3c为根据本发明第二实施例的建立与更新分类关联表及层关联表的示意图。

图中元件标号说明如下：

201～207步骤

3阶层式图像识别系统

30接收接口

31初步分类模块

32分类管理模块

33细分类模块

34训练模块

具体实施方式

在以下说明中，将参照本发明的实例性实施例来解释本发明，然而，此等实例性实施例并非用于将本发明限于此等实施例中所述的任何特定实例、实施例、环境、应用或特定实施方案。因此，对此等实例性实施例的说明仅为例示而非限制本发明，且本申请案的范围应由权利要求书决定。

应了解，在以下实施例及附图中，与本发明无关的元件已被省略而不予以绘示；且附图中个别元件间的尺寸关系仅是为便于理解起见而例示，而非用于限制实际比例。

图1b所示是本发明提出的阶层式图像识别技术的架构示意图。概要而言，本发明提出的图像识别技术先使用初步分类模型对图像做初步分类，依据初步分类结果查询(例如：可实作一分类管理模块，并由该分类管理模块查询)下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。本发明可不断地找出下一层的细分类模型以进行更细的分类，直到无下一层细分类模型可用为止。借由在不同阶层的分类模型间建立对应关系，本发明可随时更新任一细分类模型(即新增、删除、调整细分类模型)，而不需重新训练所有的分类模型，故可以有效率地提高图像识别的正确率。

本发明的第一实施例为一阶层式图像识别方法，其流程图描绘于图2。该阶层式图像识别方法可由至少一电子计算装置(例如：电脑、服务器或其他具有类似电子计算能力的装置)执行。该阶层式图像识别方法包含如下步骤201至步骤205，各步骤的细节详述于下。

步骤201：根据一初步分类模型分析一图像以获得一初步分类结果。

步骤202：根据步骤201所获得的该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型。

前述该至少一电子计算装置包含了该初步分类模型及多个预设细分类模型，其中这些预设细分类模型包含前述步骤202所查询到的该至少一细分类模型。于某些实施态样中，该初步分类模型及这些预设细分类模型是个别地以一深度学习方法训练而成。举例而言，该初步分类模型及这些预设细分类模型中的每一个可为一深度卷积神经网络。

于某些实施态样中，阶层式图像识别方法可利用下列步骤(a)(未绘示)或步骤(b)(未绘示)来训练出前述各该预设细分类模型。

步骤(a)：以一微调(fine-tune)法或一迁移学习(transferlearning)法训练该初步分类模型而获得一预设细分类模型。

步骤(b)：以该初步分类模型的一低阶层信息所对应的一初步特征描述训练该初步分类模型而获得一预设细分类模型。该低阶层信息是指该初步分类模型的第1至3层，而低阶层信息所对应的初步特征描述则包含一些简单的图像特征信息，例如：边缘、棱角、曲线、光点等特征。相较于低阶层信息，高阶层信息(亦即，非第1至3层)所对应的初步特征描述则是包含较复杂的图像特征，例如：形状、图案等特征。

前述该分类关联表是记录该初步分类模型与这些预设细分类模型间的关联性，以及这些预设细分类模型间的关联性。举例而言，阶层式图像识别方法可根据该初步分类模型的信息(例如：模型名称、模型中的成员等相关信息)、这些预设细分类模型的信息(例如：模型名称、模型中的成员等相关信息)与这些预设细分类模型的用途(例如：用来穿的服饰、用来驾驶的车等等)间的关联性来建立分类关联表。

于某些实施态样中，前述该分类关联表可如表一所示，然表一所示的具体范例并非用以限制本发明的范围。

表一

表一的标签栏位中的文字(亦即，车、衣服、裤子、花、玫瑰花等等)代表初步分类结果或细分类结果。于表一所示的具体范例，若初步分类结果为车，则与车相关的细分类模型包含车型及车的厂牌。若细分类结果为玫瑰花，则与玫瑰花相关的细分类模型为玫瑰花品种。

步骤203：根据步骤202所查询到的该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。

需说明者，该初步模型包含多个层，前述各该预设细分类模型对应至这些层其中之一。于某些实施态样中，该层关联表是记录各该预设细分类模型及相对应的层的编号。步骤203所查询到的各该至少一阶层信息即为某一层的编号。

于某些实施态样中，前述该层关联表可如表二所示，然表二所示的具体范例并非用以限制本发明的范围。

表二

现以表二为例说明阶层式图像识别方法可如何决定各预设细分类模型所对应的阶层信息(亦即，初步分类模型的层的编号)。在训练某一预设细分类模型时，阶层式图像识别方法会提取该初步分类模型的不同层的初步特征描述来训练(例如：使用该初步分类模型的高阶层信息所对应的初步特征描述来做微调或迁移学习，或使用该初步分类模型的低阶层信息所对应的初步特征描述来训练)，且会将获得最高准确率时所使用的阶层信息(亦即，那一层的编号)记录于层关联表。于表二所示的具体范例中，细分类模型“车型”对应至初步分类模型的第12层，代表阶层式图像识别方法先前以初步分类模型的第12层的初步特征描述来训练细分类模型“车型”时，得到最高的准确率。再举例而言，细分类模型“布料材质”对应至初步分类模型的第l层，代表阶层式图像识别方法先前以初步分类模型的第l层的初步特征描述来训练细分类模型“布料材质”时，得到最高的准确率，其中第l层(即低阶层(lowlevel))为第1至3层其中之一。

步骤204：根据步骤203所确认的该至少一阶层信息，撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述。

步骤205：根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。

透过前述步骤201至步骤205，第一实施例的阶层式图像识别方法即可识别出该图像的初步分类结果(亦即，属于哪一初步分类)及细部分类结果(亦即，属于哪一或哪些细部分类)。

于某些实施态样中，阶层式图像识别方法可再由该至少一电子计算装置执行步骤206及步骤207以便得到更为精细的细分类结果，各步骤的细节详述于下。

步骤206：根据各该至少一细分类结果查询该分类关联表，借此确认与各该至少一细分类结果相关联的至少一细分类模型。

步骤207：判断所确认的该至少一细分类模型的一数目(所有曾经确认过的细分类模型的数目)是否改变。若判断的结果为是，则以新确认出来的各细分类模型重复步骤203至207。若判断的结果为否(亦即，所确认的该至少一细分类模型的数目不再改变)，则结束图像识别流程，并输出该初步分类结果及所有的细分类结果。

在重复步骤203至207时，阶层式图像识别方法是不断地根据输入的该至少一细分类结果查询该分类关联表是否有相关联的至少一细分类模型，不断地往下一层进行细分类，直到无法再细分类为止。当步骤206无法再找到相关联的至少一细分类模型时，表示从以前到现在所查询到的相关联的细分类模型的总数目已不再增加。当此情形发生时，代表该次细部分类的结果已够精细而无法再细分类了，此时即可输出初分类结果及所有的细分类结果了。

需说明者，于某些实施态样中，阶层式图像识别方法还可执行一步骤以储存步骤204所撷取出的该至少一初步特征描述。于这些实施态样中，前述重复步骤203至207时，若步骤203查询该层关联表后得到与先前相同的该阶层信息时，则省略步骤204，直接执行步骤205以根据该次所使用的细分类模型及前述已储存的初步特征描述决定至少一细分类结果，且再执行步骤206及步骤207。

为便于理解，兹以一具体范例详述前述步骤。假设步骤201根据初步分类模型分析一图像所获得的初步分类结果为“花”。步骤202根据初步分类结果“花”来查询表一的分类关联表，并因此确认与该初步分类结果“花”相关联的一细分类模型为“花种类”。步骤203根据细分类模型“花种类”查询表二的层关联表，并因此确认与该细分类模型“花种类”相关联的初步分类模型的一阶层信息为“10”，即代表初步分类模型的第“10”层。接下来，步骤204撷取初步分类模型中相应于该阶层信息“10”的一初步特征描述(一般特征描述呈现的数据类型可为浮点数类型、字元类型等等)，且此初步特征描述会被储存下来。步骤205根据该细分类模型“花种类”及该至少一初步特征描述所决定的细分类结果为“玫瑰花”。

之后，步骤206根据该细分类结果“玫瑰花”再次查询表一的分类关联表，并因此确认与该细分类结果“玫瑰花”相关联的一细分类模型为“玫瑰花品种”。步骤207判断所有曾经确认过的细分类模型的数目已经改变，故重复前述步骤203至207。

具体来说，于步骤203，根据细分类模型“玫瑰花品种”查询表二的层关联表，以得到与该细分类模型“玫瑰花品种”相关联的初步分类模型的一阶层信息为“l”，即代表初步分类模块中初步分类模型的第1至3层的低阶层的其中某一层。步骤204撷取初步分类模型中相应于该阶层信息“l”的至少一初步特征描述(如前所述，一般特征描述呈现的数据类型可为浮点数类型、字元类型等等)。

步骤205根据该细分类模型“玫瑰花品种”及该初步特征描述所决定的细分类结果为“大马士革玫瑰花”。步骤206根据细分类结果“大马士革玫瑰花”再次查询表一的分类关联表，以确认与该细分类结果“大马士革玫瑰花”相关联的细分类模型。步骤207再次判断所有曾经确认过的细分类模型的数目是否改变。若步骤207的判断结果为是，则以新确认出来的各细分类模型重复前述步骤203至207(亦即，继续进行下一阶段更细部的分类)，如此类推，一直不断循环至无法再细分类为止。反之，若步骤207的判断结果为否(亦即，从以前到现在所查询到相关联的细分类模型“花种类”、“玫瑰花品种”的总数目为2，且已不再改变或增加了)，代表该次细部分类的结果“大马士革玫瑰花”已够精细而无法再细分类了，此时将输出初步分类结果“花”及细分类结果“玫瑰花”及“大马士革玫瑰花”。

此外，在前述具体范例中，若于查询表一的分类关联表后得到多个相关联的细分类模型，则后续步骤203至206需针对每一个细分类模型执行。因此，将可能出现多个细分类结果并各自不断的再进行细分类，其方法与前述内容类似，不再赘言。

于某些实施态样中，阶层式图像识别方法可由该至少一电子计算装置执行下列步骤(c)及步骤(d)以新增其他预设新分类模型，各步骤的细节详述于下。

步骤(c)：于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表，其中该新增细分类模型对应至该初步模型的这些层其中之一。

步骤(d)：借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。

由前述说明可知，本发明所提供的阶层式图像识别方法先使用初步分类模型对图像做初步分类，依据初步分类结果查询下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。阶层式图像识别方法可借由重复前述流程不断进行细分类，直到无法再细分类为止，故可提供精确的图像识别率。此外，借由在不同阶层的分类模型间建立对应关系，阶层式图像识别方法可随时新增其他的预设细分类模型，而不需重新训练所有的分类模型，故可以有效率地提高图像识别的正确率。

本发明的第二实施例为一阶层式图像识别系统3，其方块图是描绘于图3a。本发明的阶层式图像识别系统3包括一接收接口30、一初步分类模块31、一分类管理模块32、一细分类模块33及一训练模块34，其中接收接口30电性连接至初步分类模块31，且初步分类模块31、分类管理模块32、细分类模块33及训练模块34彼此电性连接。于本实施例中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34个别地为一处理器。

各该处理器可为中央处理单元(centralprocessingunit；cpu)、图形处理单元(graphicsprocessingunit；gpu)、微处理器、控制元件、其他可执行指令的硬件元件或本发明所属技术领域中普通技术人员所知的其他计算装置中的任一者。初步分类模块31、分类管理模块32、细分类模块33及训练模块34可各自包括一数据库以储存初分类模型、细分类模型及其相关信息、初步特征描述等等，数据库可为一存储器、一通用串行总线(universalserialbus；usb)盘、一硬盘、一光盘(compactdisk；cd)、一随身盘或本发明所属技术领域中普通技术人员所知且具有相同功能的任何其他储存媒体或电路。

需说明者，于某些实施态样中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34则可在同一实体机器(例如：同一处理器)上运行。此外，于某些实施态样中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34可以任意的方式组合而执行于不同的处理器，并透过网络传输来交换数据。

于本实施例中，接收接口30接收一图像(例如，从一图像撷取装置接收)，并将该图像输入至初步分类模块31。初步分类模块31接收该图像，根据一初步分类模型分析该图像以获得一初步分类结果，且将该初步分类结果输入分类管理模块32。

分类管理模块32接收该初步分类结果，根据该初步分类结果查询一分类关联表，借此确认与该初步分类结果相关联的至少一细分类模型。此外，分类管理模块32查询一层关联表，借此确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。

分类管理模块32更通知细分类模块33欲使用该至少一细分类模型做细分类，且通知初步分类模块31需撷取该初步分类模型中相应于该至少一阶层信息的至少一初步特征描述。初步分类模块31撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述，且将该至少一初步特征描述提供至细分类模块33。

细分类模块33根据该至少一细分类模型及接收的该至少一初步特征描述决定至少一细分类结果，且将该至少一细分类结果输入分类管理模块32。需说明者，于某些实施态样中，细分类模块33会储存该至少一初步特征描述。于这些实施态样中，之后若分类管理模块32查询该层关联表后得到与先前相同的该阶层信息，表示需使用的初步特征描述与之前相同，因此，分类管理模块32可省略前述通知初步分类模块撷取初步特征描述的动作。

透过前述运作，第二实施例的阶层式图像识别系统3即可识别出该图像的初步分类结果(亦即，属于哪一初步分类)及细部分类结果(亦即，属于哪一或哪些细部分类)。

于某些实施态样中，分类管理模块32会根据细分类模块33所输入的该至少一细分类结果再次查询该分类关联表，借此确认与各该至少一细分类结果相关联的至少一细分类模型。与前述第一实施例类似，分类管理模块32、初步分类模块31及细分类模块33会重复前述运作，不断地进行细分类。当所有曾确认过的细分类模型的数目不再改变时，分类管理模块32将该初步分类结果及该至少一细分类结果输出。

需说明者，若分类管理模块32再次查询该层关联表后得到与先前相同的该阶层信息时，与前述第一实施例类似，分类管理模块32不需为了相同的该初步特征描述而通知该初步分类模块，分类管理模块32仅需通知细分类模块33欲使用该至少一细分类模型做细分类。细分类模块33根据该至少一细分类模型及已储存的该至少一初步特征描述以决定至少一细分类结果，并将该至少一细分类结果输入分类管理模块32。分类管理模块32根据输入的该至少一细分类结果查询该分类关联表，借此确认与该至少一细分类结果相关联的至少一细分类模型，并继续进行下一阶段更细部的分类。

本发明的第二实施例的建立与更新分类关联表及层关联表的示意图是描绘于图3b-3c。训练模块34以一深度学习方法训练出初步分类模型及多个预设细分类模型，将训练好的该初步分类模型及所有预设细分类模型分别输入初步分类模块31及细分类模块33，且将该初步分类模型的信息及所有细分类模型的信息输入分类管理模块32。因此，初步分类模块31包含了该初步分类模型，细分类模块33包含了这些预设细分类模型，而前述该至少一细分类模型则包含于这些预设细分类模型中。于某些实施态样中，该初步分类模型及这些预设细分类模型中的每一个为一深度卷积神经网络。

前述细分类模块33所包含的任一细分类模型是用以下其中一种方式训练而成：

方式(a)：训练模块34以一微调法或一迁移学习法训练该初步分类模型而成；或者

方式(b)：训练模块34以该初步分类模型的一低阶层信息的一初步特征描述(即所谓的低阶特征描述)训练该初步分类模型而成。

另外，分类管理模块32根据初步分类模块31的该初步分类模型的信息、细分类模块33的所有预设细分类模型的信息与该所有预设细分类模型的用途间的关联性以建立该分类关联表。换言之，该分类关联表是记录该初步分类模型与这些预设细分类模型间的关联性，以及这些预设细分类模型间的关联性。

分类管理模块32还会根据细分类模块33所包含的所有预设细分类模型与相关联的该初步分类模型的阶层信息建立该层关联表。举例而言，若该初步分类模型包含多个层，则各该预设细分类模型对应至这些层其中之一，而该层关联表是记录各该预设细分类模型及相对应的该层的一编号。

于某些实施态样中，初步分类模块31的该初步分类模型、细分类模块33的所有预设细分类模型、该分类关联表及该层关联表的内容可随时更新。举例来说(请同时参阅图1b及图3c)，假设欲新增一新细分类模型，训练模块34先训练该新细分类模型，将训练好的该新细分类模型输入细分类模块33，且将该新细分类模型的信息输入分类管理模块32。分类管理模块32则会根据训练模块34所输入的信息更新该分类关联表及该层关联表。举例而言，分类管理模块32可借由于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表。此外，该新增细分类模型对应至初步分类模型所包含的这些层其中之一，分类管理模块32便可借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。透过前述运作，即新增完该新细分类模型。此外，训练模块34亦可调整、重新训练或删除既有的细分类模型，并将相关信息输入分类管理模块32以更新该分类关联表及该层关联表。

由上述内容可知，本发明在更新细分类模型时，只需单独训练欲新增的新细分类模型，训练完成后更新该分类关联表及该层关联表，即可将新细分类模型加入。本发明不需重新训练初步分类模型及所有细分类模型。

需说明者，由于本实施例的初步分类模块31、分类管理模块32、细分类模块33及训练模块34是个别地为一处理器，故这些模块之间会有信号及数据的传递。然而，若其他实施例将初步分类模块31、分类管理模块32、细分类模块33及训练模块34的某些或全部整合于同一处理器中，则前述的某些或全部信号及数据的传递则可省略。

除了上述内容，第二实施例亦能执行第一实施例所描述的所有运作及步骤，具有同样的功能，且达到同样的技术效果。本发明所属技术领域中普通技术人员可直接了解第二实施例如何基于上述第一实施例以执行此等运作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。

由前述实施例可知，本发明的阶层式图像识别方法及系统先使用初步分类模型对图像做初步分类，依据初步分类结果查询下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。本发明的阶层式图像识别方法及系统可借由重复前述流程不断地进行细分类，直到无法再细分类为止，故可提供精确的图像识别率。此外，本发明的阶层式图像识别方法及系统可随时更新细分类模型的相关信息(即新增、删除、调整细分类模型)而不需重新训练所有分类模型(亦即，初步分类模型及所有的预设细分类模型)，故可节省训练的时间，可适应性的调整或更新细分类模型，有效率地提高图像识别的正确率。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。