影像特征自动辨识装置、系统及方法与流程

本发明涉及一种影像特征自动辨识装置、系统及方法，特别是涉及一种将用于深度学习系统的样品图像先进行扩增的影像特征自动辨识装置、系统及方法。

背景技术：

随着机器学习(machinelearning)技术的日趋成熟，无论在影像识别、语音识别或自然语言处理等各方面，都有了更加多样化的应用。

其中，影像辨识技术与机器学习技术的结合尤其出色，除了在基本的手写文字辨识、对象识别以及人脸辨识等应用之外，深度学习(deeplearning)和影像辨识整合的技术，也时常结合自动光学检测(automatedopticalinspection，简称aoi)系统，而被应用在产品生产过程中的产品质量管控。

机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。很显然，为了确保深度学习所产生出来的算法能够正确地判别未知数据，必须在深度学习的训练过程(training)中提供大量的样品数据，尤其是，大量有标记(label)的样品数据，以便深度学习的模型(model)能够充分且正确地学习到判别的关键。

然而，大量样品的搜集并非易事，尤其当深度学习系统被应用在产品生产过程的质量管控上，通常要学习辨识的标记即为产品的瑕疵特征，假如要求产品的生产者先产出极大量的瑕疵产品，且人工挑选出大量的瑕疵样品并进行标记后，才能够有效应用深度学习系统协助产生能够自动辨识瑕疵特征的算法，进而通过自动辨识瑕疵特征的算法，回过头来协助生产者进行质量管控以及改善制程，这显然并不是一个非常理想的方案。

技术实现要素：

本发明所要解决的技术问题在于，针对现有技术的不足提供一种影像特征自动辨识装置、系统及方法，能通过大量扩增样品图像的数量，有效提升深度学习系统下的训练过程所能接触到的数据多样性，进而能增进深度学习系统应用于影像特征自动辨识的效率与正确性。

为了解决上述的技术问题，本发明所采用的其中一技术方案是，提供一种影像特征自动辨识装置，其包括一储存单元、一处理单元以及一影像撷取单元，其中，所述储存单元储存有一数据库，所述数据库储存有一第一影像特征类别群组以及至少一标准图像，所述第一影像特征类别群组储存有多个第一样品图像，每一个所述第一样品图像分别具有不同的第一影像特征；所述处理单元与所述储存单元信号连接；所述影像撷取单元与所述处理单元信号连接，以用于撷取一待检测物的一待测图像，所述处理单元读取所述数据库中的多个所述第一样品图像，多个所述第一样品图像进行图像处理程序以分别产生多个图像处理结果，且多个所述图像处理结果分别与多个所述标准图像进行叠合，以分别产生扩增的多个第一样品图像，所述处理单元根据扩增前以及扩增后的多个所述第一样品图像执行一深度学习系统的训练程序，以建立一影像特征自动辨识算法，所述影像特征自动辨识算法包括有针对所述第一影像特征的一第一辨识标准，所述处理单元自所述影像撷取单元取得所述待测图像，所述处理单元执行所述影像特征自动辨识算法对所述待测图像进行分析，且所述处理单元根据所述第一辨识标准判断所述待测图像是否具有所述第一影像特征。

为了解决上述的技术问题，本发明所采用的另外一技术方案是，提供一种影像特征自动辨识系统，其包括一伺服端以及一检测端，其中，所述伺服端包括一储存单元以及一处理单元，所述储存单元储存有一数据库，所述数据库储存有一第一影像特征类别群组以及至少一标准图像，所述第一影像特征类别群组储存有多个第一样品图像，每一个所述第一样品图像分别具有不同的第一影像特征；所述处理单元与所述储存单元信号连接。其中，所述处理单元读取所述数据库中的多个所述第一样品图像，并分别进行一图像处理程序，且分别将所述图像处理程序所产生的图像处理结果各自与所述标准图像进行叠合以产生扩增的多个第一样品图像；所述处理单元根据扩增前以及扩增后的多个第一样品图像执行一深度学习系统的训练程序，以建立一影像特征自动辨识算法，所述影像特征自动辨识算法包括有针对所述第一影像特征的一第一辨识标准。所述检测端与所述伺服端信号连接，且能由所述伺服端接收所述影像特征自动辨识算法，所述检测端包括一影像撷取模块以及一处理模块，所述影像撷取模块用以撷取一待检测物的一待测图像；所述处理模块与所述影像撷取模块信号连接，以自所述影像撷取模块取得所述待测图像，所述处理模块执行所述影像特征自动辨识算法对所述待测图像进行分析，并根据所述第一辨识标准判断所述待测图像是否具有所述第一影像特征。

为了解决上述的技术问题，本发明所采用的另外一技术方案是，提供一种影像特征自动辨识方法，其包括下列步骤：对分别具有不同的第一影像特征的多个第一样品图像进行一图像处理程序，并分别将所述图像处理程序所产生的图像处理结果与不具有所述第一影像特征的一标准图像进行叠合以产生扩增的多个第一样品图像；将扩增前以及扩增后的多个第一样品图像提供给一深度学习系统，以建立一影像特征自动辨识算法，所述影像特征自动辨识算法包括有针对所述第一影像特征的一第一辨识标准；撷取一待检测物的一待测图像，以所述影像特征自动辨识算法对所述待测图像进行分析，并根据所述第一辨识标准判断所述待测图像是否具有所述第一影像特征。

本发明的有益效果在于，本发明技术方案所提供的影像特征自动辨识装置、系统及方法，其能通过“对分别具有不同影像特征的多个样品图像进行图像处理程序，并与不具有所述影像特征的标准图像进行叠合以产生扩增的多个样品图像”以及“将扩增前以及扩增后的多个样品图像提供给深度学习系统”的技术特征，以提升深度学习系统下的训练过程所能接触到的数据多样性，进而能增进深度学习系统应用于影像特征自动辨识的效率与正确性，且在尚未累积到极大量的瑕疵样品的阶段，就能够采用深度学习系统产生影像特征自动辨识算法，在新产品制程的早期阶段，就能有效地运用影像特征自动辨识技术改善制程减少瑕疵，节省大量的时间与成本。

为能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1为本发明第一实施例的影像特征自动辨识装置功能方块图。

图2a为通过本发明第一实施例的图像处理程序调整第一样品图像的影像形状的调整结果示意图。

图2b为通过本发明第一实施例的图像处理程序调整第二样品图像的影像灰阶的调整结果示意图。

图3为本发明第二实施例的影像特征自动辨识系统功能方块图。

图4为本发明第三实施例的影像特征自动辨识方法的主要流程图。

图5为本发明第四实施例的影像特征自动辨识方法执行预检验程序的流程图。

具体实施方式

以下是通过特定的具体实例来说明本发明所公开有关“影像特征自动辨识装置、系统及方法”的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。

第一实施例

请参阅图1、图2a以及图2b所示，图1为本发明第一实施例的影像特征自动辨识装置功能方块图。图2a为通过本发明第一实施例的图像处理程序调整第一样品图像的影像形状的调整结果示意图。图2b为通过本发明第一实施例的图像处理程序调整第二样品图像的影像灰阶的调整结果示意图。由上述图中可知，本发明第一实施例提供一种影像特征自动辨识装置1，其包括储存单元11、处理单元12以及影像撷取单元13。

请参阅图1所示，储存单元11储存有数据库111，数据库111储存有第一影像特征类别群组g1、第二影像特征类别群组g2以及至少一标准图像p0。第一影像特征类别群组g1储存有多个第一样品图像p11～p1n；第二影像特征类别群组g2储存有多个第二样品图像p21～p2n。处理单元12与储存单元11信号连接；影像撷取单元13与处理单元12信号连接，以用于撷取待检测物(附图未显示)的待测图像。

为了方便说明，以下通过隐形眼镜的瑕疵检测为例，说明本发明第一实施例的影像特征自动辨识装置1的运作方式。请搭配图1的功能方块图，一并参阅图2a以及图2b所示。在本发明的第一实施例中，装置1的储存单元11储存有人工筛选后认定为合格的隐形眼镜图像(即标准图像p0)以及多个不同的瑕疵隐形眼镜图像(即第一样品图像p11～p1n及第二样品图像p21～p2n)，前述合格的隐形眼镜图像以及多个不同的瑕疵隐形眼镜图像都被储存在数据库111中。

在本实施例中，多个第一样品图像p11～p1n分别具有不同的第一影像特征d1，多个第二样品图像p21～p2n分别具有不同的第二影像特征d2。更具体的说，当特定隐形眼镜带有气泡时，拍摄该隐形眼镜所获得的样品图像，相较于合格的隐形眼镜图像，会具有「有气泡」的瑕疵特征(下称「气泡瑕疵」)，在本实施例中便将此「气泡瑕疵」的瑕疵特征做为第一影像特征d1，而具备第一影像特征d1的样品图像即为本实施例中的第一样品图像p11～p1n。根据拍摄到的瑕疵隐形眼镜，每一个第一样品图像p11～p1n上的第一影像特征d1(即气泡)都会略有不同。另一方面，当特定隐形眼镜在生产的过程中，于脱模时在边缘处产生瑕疵，则拍摄该隐形眼镜所获得的样品图像，相较于合格的隐形眼镜图像，会具有「边缘处产生瑕疵」的瑕疵特征(下称「脱模瑕疵」)，在本实施例中便将此「脱模瑕疵」的瑕疵特征做为第二影像特征d2，而具备第二影像特征d2的样品图像即为本实施例中的第二样品图像p21～p2n。根据拍摄到的瑕疵隐形眼镜，每一个第二样品图像p21～p2n上的第二影像特征d2(即「脱模瑕疵」)也都会略有不同。

为了让深度学习系统能够正确的辨识出不同的瑕疵特征，必须将瑕疵特征适当地进行分类以及标记。此外，更重要的是，须提供足够数量的样品图像供深度学习系统进行学习。在本实施例中，隐形眼镜的生产者可能先以人工的方式(当然也可以在aoi检测装置的辅助下)，圈选出有瑕疵的样品图像，并根据瑕疵的类型，分门别类地将具有第一影像特征d1的第一样品图像p11～p1n储存到数据库111的第一影像特征类别群组g1中、将具有第二影像特征d2的第二样品图像p21～p2n储存到数据库111的第二影像特征类别群组g2中。举例来说，可以各自将100笔具有第一影像特征d1的第一样品图像p11～p1n数据以及100笔具有第二影像特征d2的第二样品图像p21～p2n数据储存到数据库111中。

然而，为了让后续产生的算法能够精准地进行影像特征自动辨识，因此，本发明先对样品图像进行扩增。在本实施例中，处理单元12会先读取数据库111中的多个样品图像，并且对多个样品图像进行图像处理程序，以分别产生多个图像处理结果。图像处理程序包括影像形状调整程序、影像对比度调整程序、影像灰阶调整程序以及影像色温调整程序之中的一种或两种以上的组合。处理单元12将多个图像处理结果分别与多个标准图像p0进行叠合，以分别产生扩增的多个样品图像。

具体地举例来说，请参阅图2a所示，在本实施例中，处理单元12会先读取数据库111中的第一样品图像p11，并通过影像形状调整程序对第一样品图像p11进行拉伸或变形，以产生多个图像处理结果，且多个图像处理结果分别与标准图像p0进行叠合，以分别产生扩增的多个第一样品图像p111～p113。更具体地说，是针对第一样品图像p11的第一影像特征d1(即图像上被圈选出的「气泡瑕疵」部分)进行拉伸或变形，并将变形后的图像处理结果分别与标准图像p0进行叠合。

另请参阅图2b所示，在本实施例中，处理单元12也可以先读取数据库111中的第二样品图像p21，并通过影像灰阶调整程序对第二样品图像p21的第二影像特征d2(或仅针对图像上位在隐形眼镜边缘的「脱模瑕疵」部分)进行灰阶调整，以产生多个图像处理结果，且将多个图像处理结果分别与标准图像p0进行叠合，以分别产生扩增的多个第二样品图像p211以及p212。

虽然在上面分别以影像形状调整程序对第一样品图像p11进行拉伸或变形，并通过影像灰阶调整程序对第二样品图像p21进行灰阶调整，但是图像处理程序的类别与第一影像特征d1或第二影像特征d2的类别并没有固定的对应关系。此外，前述影像形状调整程序、影像对比度调整程序、影像灰阶调整程序以及影像色温调整程序之间也不是相互排斥的关系，而是可以相互组合搭配进行影像调整，甚至加入其他影像调整方法共同对样品图像进行调整，以增加图像处理结果的多样性。据此，便能够将原先各自只有100笔的第一样品图像p11～p1n以及第二样品图像p21～p2n数据大量扩增(例如，分别扩增至10万笔数据)。

需要特别一提的是，在本实施例中，数据库111仅储存有一个标准图像p0，但是本发明并不以此为限，具体的作法，也可以在每一个影像特征类别群组中，分别储存一个标准图像p0，并分别执行图像处理以及叠合等作业。

接下来，处理单元12根据扩增前以及扩增后的多个第一样品图像p11～p1n以及多个第二样品图像p21～p2n，执行深度学习系统的训练程序，以建立影像特征自动辨识算法。具体来说，所采用的深度学习系统可以是caffe、theano、tensorflow或者lasagne、keras甚至dsstne等的框架，本发明并不具体限定采用何种框架进行。通过前述方式所产生的影像特征自动辨识算法，包括有针对第一影像特征d1(在本实施例中为「气泡瑕疵」)的第一辨识标准以及针对第二影像特征d2(在本实施例中为「脱模瑕疵」)的第二辨识标准。

在影像特征自动辨识算法建立完成后，便能够以本发明的装置1对待检测物进行检测。具体地说，影像撷取单元13(如摄像镜头)撷取待检测物的待测图像，接着，处理单元12自影像撷取单元13取得待测图像，并执行影像特征自动辨识算法对待测图像进行分析。处理单元12根据第一辨识标准判断待测图像是否具有第一影像特征d1，并根据第二辨识标准判断待测图像是否具有第二影像特征d2。

至此，就是本发明的影像特征自动辨识装置1基础的运作方式。在本实施例中，通过大量扩增第一样品图像p11～p1n以及第二样品图像p21～p2n，使得在深度学习系统的训练程序中，能够建立出更精准的影像特征自动辨识算法。

瑕疵类别的发现与建立

需要特别说明的是，虽然上面直接以「气泡瑕疵」与「脱模瑕疵」做例子说明，但本发明并不限于在一开始就要设定多种瑕疵类型以进行检测，也可以在最开始只设定一种瑕疵特征做检测，而在后续执行影像特征自动辨识算法对待测图像进行分析的过程中，才根据检测结果筛选并建立其他要进行检验的瑕疵特征类别。

举例来说，假设原先数据库111中仅储存有第一影像特征类别群组g1，且所产生的影像特征自动辨识算法仅仅设定了对第一样品图像p11～p1n的第一影像特征d1进行辨识的第一辨识标准。然而，在通过影像特征自动辨识算法对多个待测图像进行检验的过程中，处理单元12判断多个待测图像不符合标准图像p0，但都具有第二影像特征d2，此时，处理单元12能够在数据库111中建立第二影像特征d2类别群组g2，并分别将多个具有第二影像特征d2的待测图像各自记录为多个第二样品图像p21，并储存于第二影像特征d2类别群组g2中。通过这个方式，有助于发现并建立新的瑕疵类别，以便能更主动地针对产品上未知的缺陷进行实时改善。

正确率验证与改善

通过上面介绍的流程，已经足以使本发明的深度学习系统能够利用十分庞大且多样的样品图像进行训练，而能够产生判断较为精准的影像特征自动辨识算法。然而，前述扩增后所产生的样品图像，当然也可以再次进行图像处理程序，进一步扩增成为更大量的样品图像，而可能更进一步地提高影像特征自动辨识算法辨识的精准度。为了确认是否有必要再次对样品图像进行扩增，本发明的装置1还可以在实际运用影像特征自动辨识算法对待测图像进行检验前，预先验证所产生的影像特征自动辨识算法进行辨识作业的正确率。

具体的作法，是由处理单元12在执行一深度学习系统的训练程序前，先将多个第一样品图像p11中的一部分(例如2成)第一样品图像p11选为第一验证用图像，并以其余的多个(例如其余的8成)第一样品图像p12～p1n执行深度学习系统的训练程序。并且，在深度学习系统建立影像特征自动辨识算法后，处理单元12执行影像特征自动辨识算法对先前挑选出的第一验证用图像进行验证。也就是说，根据影像特征自动辨识算法中的第一辨识标准，判断第一验证用图像是否具有第一影像特征d1，以确认影像特征自动辨识算法中的第一辨识标准的正确性。如果无法辨识出第一验证用图像具有第一影像特征d1，或将不具有第一影像特征d1的图像(例如标准图像p0)辨识为具有第一影像特征d1，则表示辨识结果错误；反之，表示辨识结果正确。

装置1的用户可以通过处理单元12预先设定第一正确率门坎值，此外，还可以根据需要调整第一验证用图像的数量在多个第一样品图像p11中所占的比例。实际进行时，可以将第一验证用图像的数量设定在全部第一样品图像p11中的3％至50％。在执行影像特征自动辨识算法，并根据第一辨识标准判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1后，记录其辨识结果正确或错误，换句话说，根据判断结果记录第一辨识标准对第一影像特征d1的第一辨识正确率。

接下来，将第一辨识正确率与预先设定的第一正确率门坎值相互比较。在第一辨识正确率低于第一正确率门坎值时，表示提供给深度学习系统进行训练的样品图像可能并不足够，因此，为了能够执行更进一步的训练，处理单元12将多个第一样品图像p11再次进行图像处理程序，以进一步产生扩增的多个第一样品图像p11。当然，为了验证再次重新扩增后的样品图像，被提供给深度学习系统进行训练，并修正第一辨识标准后，是否已经能够产生足够精确的影像特征自动辨识算法，因此，仍要进行前述的验证程序。具体地说，处理单元12从再次扩增后的多个第一样品图像p11中，再次选出3％至50％为第一验证用图像，并将其余的多个第一样品图像p11再次提供给深度学习系统，以修正第一辨识标准，并以修正后的第一辨识标准再次判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1，并再次获得第一辨识正确率。也就是说，倘若不能达到第一正确率门坎值，便会回到图像处理程序将样品图像再进一步扩增。直到第一辨识正确率高于(包括刚好达到)第一正确率门坎值时，才将影像特征自动辨识算法实际应用于待检测物的检测，并由处理单元12执行影像特征自动辨识算法，以根据影像特征自动辨识算法中最终修正的第一辨识标准，判断撷取自待检测物的待测图像是否具有第一影像特征d1。为了避免一开始设定过高的第一正确率门坎值，导致一直达不到标准，而造成图像处理程序不断地扩增样品图像，也可以设定其他停止条件，但其并非本发明所与强调的重点，具体条件如何设定在这里不另外赘述。

预检验

另一方面，还需要考虑的一个问题是，假使在最初提供的样品图像中，第一影像特征d1的多样性就不足，那么很可能会影响到后续建立的影像特征自动辨识算法在进行识别时的正确性，即使对样品图像进行反复扩增，也可能因为一开始的多样性太低而无法进行有效率的训练程序。为了解决此一问题，在本实施例中，装置1在执行图像处理程序前，还能够使处理单元12预先执行一个预检验程序。

具体地说，处理单元12将多个第一样品图像p11～p1n(尚未进行任何图像处理程序)中的3％至50％选为第一预检用图像，并将第一样品图像p11中的其余多个第一样品图像p11～p1n提供给深度学习系统，以建立包括有针对第一影像特征d1的一第一预检验标准。在此一过程中，由于只是要初步确认所取得的第一样品图像p11～p1n是否具备足够的多样性，因此可以采用架构较简化的深度学习系统进行。同样地，也要通过处理单元12设定门坎，在此将其定义为第一预检验门坎值。由于只是对于第一样品图像p11～p1n的多样性做一个初步判断，因此，第一预检验门坎值不必设定太高。相较于前述用于确保最终判断准确率的第一正确率门坎值，此处的第一预检验门坎值的数值要求较低，因此，在同时有采取预检验以及正确率验证的情形下，第一预检验门坎值会低于第一正确率门坎值。处理单元12根据第一预检验标准判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1，并且根据判断结果记录第一预检验标准对第一影像特征d1的第一预检验正确率。

在前述预检验程序中，假使第一预检验正确率有达到第一预检验门坎值，表示第一样品图像p11～p1n的多样性有达到期望的标准，因此可以继续进行本发明的主要流程，换句话说，可以接着执行图像处理程序；反之，假使第一预检验正确率低于第一预检验门坎值时，表示第一样品图像p11～p1n的多样性其实是不足够的，此时便应当终止程序，不要执行后续的图像处理程序，而应当先采集更多具有不同第一影像特征d1的第一样品图像p11～p1n，以确保能够对深度学习系统进行实质有效的训练。

第二实施例

请参阅图3所示，图3为本发明第二实施例的影像特征自动辨识系统2功能方块图。由上图可知，本发明的第二实施例提供一种影像特征自动辨识系统2，其包括伺服端21、检测端22以及样品图像供应端23，在本实施例中，伺服端21是影像特征自动辨识算法的提供者，检测端22与伺服端21信号连接，且能由伺服端21接收影像特征自动辨识算法，以使检测端22能够执行影像特征自动辨识算法，对待检测物的待测图像进行检测与分析。至于样品图像供应端23也是与伺服端21信号连接，而能够提供多个第一样品图像p11～p1n至伺服端21。在系统2的实际架构上，检测端22可能跟样品图像供应端23是同一的，但也可能被分别设置。

特别说明的是，从图3所示的方块图可以看出，在本实施例中，伺服端21、检测端22以及样品图像供应端23是通过网络彼此信号连接，而能够彼此交换信号(例如传送样品图像或影像特征自动辨识算法)，然而，本发明所称的「信号连接」并不限于此，将伺服端21、检测端22以及样品图像供应端23其中任一端的数据储存于光盘、闪存或硬盘等储存媒介，再将数据提供给其他任何一端，也符合此处所称的「信号连接」，特此指明。

同样以隐形眼镜的瑕疵检测为例子，简单来说，样品图像供应端23(隐形眼镜生产与检验者)为了得到可以自动辨识「气泡瑕疵」(第一影像特征d1)的影像特征自动辨识算法，因此将多个具有不同的第一影像特征d1的第一样品图像p11～p1n提供给伺服端21(算法提供者)。伺服端21在接收到多个第一样品图像p11～p1n后通过一连串的步骤产生影像特征自动辨识算法，并且将影像特征自动辨识算法提供给检测端22(隐形眼镜生产与检验者)，以便检测端22能够将影像特征自动辨识算法应用在所生产的隐形眼镜(待检测物)的检测上。换句话说，虽然伺服端21并不进行隐形眼镜的检测，但会从有需求的样品图像供应端23处取得产生影像特征自动辨识算法的材料，并且将成品(影像特征自动辨识算法)提供给同样有需求且将会执行影像特征自动辨识算法的检测端22。

具体的说，伺服端21包括储存单元211以及处理单元212，储存单元211储存有数据库2111，数据库2111储存有第一影像特征类别群组g1以及至少一标准图像p0，第一影像特征类别群组g1储存有多个第一样品图像p11～p1n(由样品图像供应端23所提供)，每一个第一样品图像p11～p1n分别具有不同的第一影像特征d1。处理单元212与储存单元211信号连接，而能够读取数据库2111中的多个第一样品图像p11～p1n，并分别进行一图像处理程序。图像处理程序包括影像形状调整程序、影像对比度调整程序、影像灰阶调整程序以及影像色温调整程序之中的一种或两种以上的组合。处理单元212分别将图像处理程序所产生的图像处理结果各自与标准图像p0进行叠合以产生扩增的多个第一样品图像p11～p1n。

处理单元212根据扩增前以及扩增后的多个第一样品图像p11～p1n执行一深度学习系统的训练程序，以建立影像特征自动辨识算法，影像特征自动辨识算法包括有针对第一影像特征d1的第一辨识标准。

更具体地说，在本实施例中，处理单元212在执行深度学习系统的训练程序前，便会先将多个第一样品图像p11～p1n中的至少一样品图像选为第一验证用图像，并以其余的多个第一样品图像p11～p1n执行深度学习系统的训练程序。实际操作时，第一验证用图像的数量为多个，且第一验证用图像的数量占多个第一样品图像p11～p1n数量的3％至50％。此外，处理单元212设定第一正确率门坎值，并且在深度学习系统建立影像特征自动辨识算法后，处理单元212执行影像特征自动辨识算法，以根据第一辨识标准判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1，以确认第一辨识标准的正确性。处理单元212根据判断结果记录第一辨识标准对第一影像特征d1的第一辨识正确率，并且将第一辨识正确率与前述第一正确率门坎值相比较。

当第一辨识正确率低于第一正确率门坎值时，处理单元212将多个第一样品图像p11～p1n再次进行图像处理程序，以进一步产生扩增的多个第一样品图像p11～p1n，并且从再次扩增后的多个第一样品图像p11～p1n中，再次选出3％至50％为第一验证用图像，并将其余的多个第一样品图像p11～p1n再次提供给深度学习系统，以修正第一辨识标准，并以修正后的第一辨识标准再次判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1，并再次获得第一辨识正确率。反之，假使第一辨识正确率已经达到第一正确率门坎值，则可将影像特征自动辨识算法提供予检测端22。

检测端22包括影像撷取模块222以及处理模块221，影像撷取模块222用以撷取待检测物的待测图像。处理模块221与影像撷取模块222信号连接，而能够从影像撷取模块222取得待测图像。检测端22从伺服端21接收影像特征自动辨识算法后，处理模块221执行影像特征自动辨识算法对待测图像进行分析，并根据第一辨识标准判断待测图像是否具有第一影像特征d1。

需要特别一提的是，由于在本实施例中的数据库2111是位于伺服端21，而不在检测端22，因此，在本实施例中，当检测端22的处理模块221判断多个待测图像不符合标准图像p0，但都具有第二影像特征d2时，检测端22会分别将多个具有第二影像特征d2的待测图像各自记录为多个第二样品图像，并将多个第二样品图像提供给伺服端21。在这之后，再由伺服端21的处理单元212于数据库2111中建立第二影像特征类别群组g2，并将多个接收自检测端22的第二样品图像储存于第二影像特征类别群组g2中。

在完成新的类别建立之后，伺服端21的处理单元212也可以进一步读取数据库2111中的多个第二样品图像，并分别进行图像处理程序，且分别将图像处理程序所产生的图像处理结果各自与标准图像p0进行叠合以产生扩增的多个第二样品图像。且处理单元212根据扩增前以及扩增后的多个第一样品图像p11～p1n执行深度学习系统的训练程序，以在影像特征自动辨识算法中建立针对第二影像特征d2的第二辨识标准。完成之后，伺服端21可以重新提供影像特征自动辨识算法给检测端22。当检测端22重新接收到影像特征自动辨识算法后，且处理模块221以影像特征自动辨识算法对待测图像进行分析时，是根据第一辨识标准判断待测图像是否具有第一影像特征d1，并根据第二辨识标准判断待测图像是否具有第二影像特征d2。

如同先前所说，本发明通过上述的技术特征，可以使得检测端22将影像特征自动辨识算法的实际使用结果，实时反馈给伺服端21，让伺服端21能够做更进一步的分析。

另外一种实施方式，是在检测端22使用影像特征自动辨识算法进行检测后，发现有不良产品未被检出(无论是否预先设定要辨识的瑕疵特征)，而由人工记录的方式将对应的待测图像储存成样品图像，并提供给伺服端21进行分析。若伺服端21在分析之后发现有新的瑕疵类别，则另行通知检测端22调整、优化制程，形成一种良性的互动过程。

如同在第一实施例中提到的，假使在最初提供的样品图像中，第一影像特征d1的多样性就不足，那么很可能会影响到后续建立的影像特征自动辨识算法在进行识别时的正确性。因此，在本实施例中，装置1在执行图像处理程序前，还能够使处理单元12预先执行一个预检验程序。伺服端21从样品图像供应端23接收到多个第一样品图像p11～p1n后，也能够先进行预检验程序以确认所接收到的第一样品图像p11～p1n是否具有足够的多样性。具体来说，伺服端21的处理单元212将多个第一样品图像p11～p1n中的3％至50％(较佳为15％至25％)选为第一预检用图像，并将第一样品图像p11～p1n中的其余多个第一样品图像p11～p1n(即50％至97％的第一样品图像p11～p1n，较佳为75％至85％的第一样品图像p11～p1n)提供给深度学习系统，以建立包括有针对第一影像特征d1的第一预检验标准。同样地，在本实施例中也会通过处理单元212设定第一预检验门坎值。处理单元212根据深度学习系统建立的第一预检验标准判断标准图像p0以及多个第一验证用图像是否具有第一影像特征d1，并根据判断结果记录第一预检验标准对第一影像特征d1的第一预检验正确率。得到第一预检验正确率后，处理单元212将第一预检验正确率与预先设定的第一预检验门坎值相比较。

假使第一预检验正确率低于第一预检验门坎值，则表示样品图像供应端23提供的第一样品图像p11～p1n多样性不足，此时，在本实施例中，伺服端21不会执行后续影项扩增程序，而是向样品图像供应端23索取更多不同的第一样品图像p11～p1n，以充实第一样品图像p11～p1n的多样性。理所当然地，在接收到更多第一样品图像p11～p1n后，仍然要再次通过育检验程序确认其多样性是否已经达到标准。反之，在第一预检验正确率达到第一预检验门坎值时，伺服端21就可以继续进行本发明的主要流程，换句话说，会对所接收到的执行第一样品图像p11～p1n图像处理程序以进行扩增。

第三实施例

请参阅图4所示，图4为本发明第三实施例的影像特征自动辨识方法的主要流程图。以下通过图4说明本发明所提供的影像特征自动辨识方法的主要流程。本发明的影像特征自动辨识方法主要包括下列步骤：

s100：取得样品图像；

s102：通过图像处理程序扩增样品图像；

s104：在多个样品图像中选取验证用图像；

s106：将其余样品图像提供给深度学习系统进行训练；

s108：以验证用图像检验深度学习系统产出的影像特征自动辨识算法；

s110：判断辨识正确率是否达到正确率门坎值，若是，进入步骤s112；若否(低于)，则回到步骤s102；

s112：撷取待检测物的待测图像；

s114：以影像特征自动辨识算法辨识待测图像。

具体的说，本发明的影像特征自动辨识方法在取得样品图像后，首先会针对样品图像进行图像处理程序以进行扩增(步骤s100以及步骤s102)。其具体作法是针对分别具有不同的第一影像特征的多个第一样品图像，进行影像形状调整程序、影像对比度调整程序、影像灰阶调整程序以及影像色温调整程序之中的一种或两种以上的组合，并分别将图像处理程序所产生的图像处理结果与不具有第一影像特征的标准图像进行叠合以产生扩增的多个第一样品图像。

为了验证扩增后的第一样品图像是否已经足以建立出具有精确检验效果的影像特征自动辨识算法，因此，在此阶段预先将多个第一样品图像中的至少一样品图像选为第一验证用图像(步骤s104)。与此同时，也可以一并设定第一正确率门坎值。在本实施例中，第一验证用图像的数量占多个第一样品图像数量的3％至50％(例如，采取20％)。第一正确率门坎值，可以视产品针对特定瑕疵的容错率做适度调整，举例来说，针对隐形眼镜的「气泡瑕疵」，由于属于较严重的瑕疵，且检测难度不是非常高，应当要求较高的正确率，此时，可将第一正确率门坎值设定为99％以上。另一方面，当本发明的影像特征自动辨识方法同时被应用于检测第二影像特征时，也可以针对第二影像特征以及具有第二影像特征的第二样品图像，选出第二验证用图像，并设定第二正确率门坎值。针对隐形眼镜的「脱模瑕疵」，由于属于较难精确判断的瑕疵，若第二影像特征为隐形眼镜的「脱模瑕疵」，此时可以考虑将第二正确率门坎值设定为90～95％左右。

接下来，将扩增前以及扩增后的多个第一样品图像(或包括第二样品图像)提供给深度学习系统进行训练，以建立影像特征自动辨识算法(步骤s106)。影像特征自动辨识算法包括有针对第一影像特征的第一辨识标准。

由于先前已经在多个第一样品图像中选出一部分做为第一验证用图像，因此，在深度学习系统建立影像特征自动辨识算法后，根据第一辨识标准判断第一验证用图像是否具有第一影像特征，据此对深度学习系统产出的影像特征自动辨识算法进行检验(步骤s108)。具体做法是，执行影像特征自动辨识算法，并根据第一辨识标准判断标准图像以及多个第一验证用图像是否具有第一影像特征，根据判断结果记录第一辨识标准对第一影像特征的第一辨识正确率，接着，将第一辨识正确率与预先设定的第一正确率门坎值做比较，以确认第一辨识正确率是否高于预先设定的第一正确率门坎值(步骤s110)。

倘若第一辨识正确率低于第一正确率门坎值，则回到步骤s102，将多个第一样品图像再次进行图像处理程序，以进一步产生扩增的多个第一样品图像，并且依序执行步骤s104至步骤s110，从再次扩增后的多个第一样品图像中，再次选出3％至50％为第一验证用图像，并将其余的多个第一样品图像再次提供给深度学习系统，以修正第一辨识标准，并以修正后的第一辨识标准再次判断标准图像以及多个第一验证用图像是否具有第一影像特征，并再次获得第一辨识正确率。再次获得第一辨识正确率后，再次与预先设定的第一正确率门坎值做比较，直到第一辨识正确率达到第一正确率门坎值。

在第一辨识正确率达到第一正确率门坎值之后，就可以将所建立的影像特征自动辨识算法实际应用于检测待检测物。具体来说，首先要撷取待检测物的待测图像(步骤s112)，接下来，以影像特征自动辨识算法对待测图像进行分析，并根据第一辨识标准判断待测图像是否具有第一影像特征(步骤s114)。

以上就是本发明的影像特征自动辨识方法的主要流程。当然，本发明的影像特征自动辨识方法，还能够在判断多个待测图像不符合标准图像，但都具有第二影像特征时，分别将多个待测图像记录为多个第二样品图像。此部分细节可参考第一及第二实施例，在此不重复赘述。另外，在将本发明的影像特征自动辨识方法应用于具有不同的第二影像特征的多个第二样品图像时，同样要进行如下程序：对分别具有不同的第二影像特征的多个第二样品图像进行图像处理程序，并分别将图像处理程序所产生的图像处理结果与不具有第二影像特征的标准图像进行叠合以产生扩增的多个第二样品图像；将扩增前以及扩增后的多个第二样品图像提供给深度学习系统，以在影像特征自动辨识算法中建立针对第二影像特征的一第二辨识标准；撷取待检测物的待测图像，以影像特征自动辨识算法对待测图像进行分析；其中，根据第一辨识标准判断待测图像是否具有第一影像特征；其中，根据第二辨识标准判断待测图像是否具有第二影像特征。

第四实施例

为了确保最开始的样品图像具有足够的多样性，本发明的影像特征自动辨识方法也可以在前述第三实施例的步骤s100至步骤s102的中间，再加上预检验流程。请参阅图5所示，图5为本发明第四实施例的影像特征自动辨识方法执行预检验程序的流程图。本发明的影像特征自动辨识方法，在执行预检验程序时主要包括下列步骤：

s100：取得样品图像；

s116：在多个样品图像中选取预检用图像；

s118：将其余样品图像提供给深度学习系统进行训练；

s120：以预检用图像检验样品图像多样性；

s122：判断辨识正确率是否高于预检验门坎值，若是，进入步骤s102；若否(低于)，则回到步骤s100；

s102：通过图像处理程序扩增样品图像；

具体的说，本发明的影像特征自动辨识方法在取得样品图像后，会先将多个第一样品图像中的3％至50％选为第一预检用图像(步骤s100以及步骤s116)。与此同时，也可以一并设定第一预检验门坎值。如同先前所说，第一预检验门坎值不必像第一正确率门坎值那么高，因此，可以设定为70％至90％，当然，具体情况可视需要自行调整。

接下来，将第一样品图像中的其余多个第一样品图像提供给深度学习系统进行训练，以建立包括有针对第一影像特征的第一预检验标准(步骤s118)。

在前述步骤完成后，以预检用图像检验样品图像多样性(步骤s120)。具体来说，是根据第一预检验标准判断标准图像以及多个第一预检用图像是否具有第一影像特征，根据判断结果记录第一预检验标准对第一影像特征的第一预检验正确率。

接下来，将第一预检验正确率与第一预检验门坎值相比较(步骤s122)。其中，在第一预检验正确率低于第一预检验门坎值时，表示第一样品图像的多样性不足，有必要增加具有不同的第一影像特征的第一样品图像的数量，因此回到步骤s100，取得更多具有不同的第一影像特征的第一样品图像；反之，在第一预检验正确率达到第一预检验门坎值时，即可接续进行本发明影像特征自动辨识方法的主要流程，换言之，即可进入步骤s102，执行图像处理程序扩增第一样品图像。

本发明的有益效果在于，本发明技术方案所提供的影像特征自动辨识装置、系统及方法，其能通过“对分别具有不同影像特征的多个样品图像进行图像处理程序，并与不具有影像特征的标准图像进行叠合以产生扩增的多个样品图像”以及“将扩增前以及扩增后的多个样品图像提供给深度学习系统”的技术特征，以提升深度学习系统下的训练过程所能接触到的数据多样性，进而能增进深度学习系统应用于影像特征自动辨识的效率与正确性，且在尚未累积到极大量的瑕疵样品的阶段，就能够采用深度学习系统产生影像特征自动辨识算法，在新产品制程的早期阶段，就能有效地运用影像特征自动辨识技术改善制程减少瑕疵，节省大量的时间与成本。

以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求书的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求书的保护范围内。