基于人工神经网络的物件表面型态的检测方法与流程

基于人工神经网络的物件表面型态的检测方法
【技术领域】
1.本发明是关于一种人工神经网络训练系统，尤其是一种基于人工神经网络的物件表面型态的检测方法。


背景技术：

2.各种安全性保护措施是通过许多小型结构物件所组成，例如安全带。若是这些小型结构物件强度不足则可以令安全性保护措施的保护作用产生疑虑。
3.这些结构物件在制造过程中可能因为各种原因，例如碰撞、制程误差、模具缺陷等，而导致其表面产生微小的缺陷，例如槽孔、裂缝、凸块及纹理等。这些微小的缺陷并不容易被查觉。现有的缺陷检测方法其中之一是人工以肉眼观察或以双手触摸待检测的结构物件，以判定结构物件是否具有缺陷，例如凹坑、划痕、色差、缺损等。然而，以人工方式检测结构物件是否具有缺陷的效率较差，且极容易发生误判的情形，如此将造成结构物件的良率无法控管。


技术实现要素：

4.在一实施例中，一种基于人工神经网络的物件表面型态的检测方法，包括：接收若干个物件影像；划分各物件影像为若干个影像区域；指定各物件影像的若干个影像区域中的至少一感兴趣区域；以及以至少一感兴趣区域进行一深度学习以建立识别一物件的表面型态的一预测模型。
5.综上所述，根据本案的基于人工神经网络的物件表面型态的检测方法的一实施例，可弹性针对物件影像的特定区域(指定的感兴趣区域)进行训练，以建立相对精准的预测模型，借以加速训练时间。在一些实施例中，根据本案的基于人工神经网络的物件表面型态的检测方法的一实施例，还可利用建立的预设模型，直接针对物件影像的特定区域进行预测，以分类物件影像的特定区域的表面型态，借以加速预设时间，进而得到较低的过放(miss)率。
【附图说明】
6.图1为根据本发明一实施例的基于人工神经网络的物件表面型态的检测方法的流程图。
7.图2为图1的步骤s02中所述及的影像区域的一示范例的示意图。
8.图3为图1的步骤s01中所述及的物件影像的一示范例的示意图。
9.图4为图1的步骤s01中所述及的物件影像的另一示范例的示意图。
10.图5为根据本发明一实施例的针对物件表面型态的影像扫描系统的示意图。
11.图6为图5的针对物件表面型态的影像扫描系统的功能示意图。
12.图7为图5的物件、光源组件及感光元件之间于光学上的相对位置的一实施例的示意图。
13.图8为图5的物件、光源组件及感光元件之间于光学上的相对位置的另一实施例的示意图。
14.图9为图7的物件上的表面型态的一实施例的示意图。
15.图10为图5的物件、光源组件及感光元件之间于光学上的相对位置的又一实施例的示意图。
16.图11为根据本发明另一实施例的针对物件表面型态的影像扫描系统的示意图。
17.图12为针对物件表面型态的影像扫描系统所生成的检测影像的一示范例的示意图。
18.图13为针对物件表面型态的影像扫描系统所生成的物件影像的一示范例的示意图。
【具体实施方式】
19.参照图1，基于人工神经网络的物件表面型态的检测方法适用于一人工神经网络系统。人工神经网络系统具有学习阶段(即训练)及预测阶段。
20.在学习阶段，人工神经网络系统接收若干个物件影像(步骤s01)。于此，此些物件影像皆为同一种物件的相同相对位置的表面。进一步而言，人工神经网络系统以固定的取像座标参数接收若干个物件影像。
21.接着，人工神经网络系统将各物件影像划分为若干个影像区域(步骤s02)，并指定各物件影像的若干个影像区域中的至少一感兴趣区域(步骤s03)。换言之，于一物件影像被裁切为若干个影像区域后，人工神经网络系统可依据指定设定将若干个影像区域中对应顺序的影像区域指定为感兴趣区域。
22.然后，人工神经网络系统再以指定的感兴趣区域进行一深度学习(训练)(即尚未训练好的人工神经网络)以建立识别此物件的表面型态的预测模型(即已训练好的人工神经网络)(步骤s04)。在一些实施例中，深度学习可以一卷积神经网络(cnn)演算法实现，然本案不以此为限制。
23.在一些实施例中，人工神经网络系统能逐一进行每张影像的划分、指定及训练。在另一些实施例中，人工神经网络系统能先进行每张物件影像的划分并指定，然后一并将所有指定的感兴趣区域进行训练。
24.在一些实施例中，每张物件影像所分成的影像区域的数量为大于2的任意整数。较佳地，每个影像区域的影像尺寸能小于或等于768*768像素，例如：400*400像素、416*416像素、608*608像素等。并且，影像区域的影像尺寸均相同。在一些实施例中，每个影像区域较佳为正方形。举例来说，当物件影像的影像尺寸为3000*4000像素时，裁切后的影像区域的影像尺寸可为200*200像素。
25.在步骤s02的一些实施例中，人工神经网络系统可先依据预设的裁切尺寸放大物件影像，以使物件影像的尺寸为影像区域的尺寸的整数倍。然后，人工神经网络系统再依据预设的裁切尺寸将放大后的物件影像裁切为多个影像区域。于此，各影像区域的影像尺寸均相同，即同样为预设的裁切尺寸。
26.举例来说，参照图2，人工神经网络系统将接收到的每张物件影像im以相同的裁切尺寸个别划分成70个影像区域a01～a70。然后，人工神经网络系统依据预设的指定设定(假
设指定为1～10)将影像区域a01～a10指定为感兴趣区域，进而以影像区域a01～a10(即感兴趣区域)进行深度学习。
27.在一些实施例中，表面型态可为例如槽孔、裂缝、凸块、边缘、纹理等表面结构。其中，各表面型态为三维细微结构。于此，三维细微结构为次微米尺寸到微米(μm)尺寸。即三维细微结构的最长边或最长直径介于次微米到微米之间。其中，次微米是指<1μm，例如是0.1um～1μm。例如三维细微结构可以是300nm到6μm的微结构。参照图3，当物件的表面具有至少一表面型态时，在此物件的物件影像im的对应影像位置也会呈现表面型态的局部影像p01～p09。
28.在一些实施例中，在学习阶段，人工神经网络系统接收到的物件影像im为已知表面型态，并且人工神经网络系统输出的表面型态类别也是设定好的。换言之，用以进行深度学习的各物件影像im均已标记有存在的物件型态。在一些实施例中，物件型态的标记可在物件影像im上呈现标记图案(如图3所示)，及/或在物件影像im的影像信息中记录物件信息。
29.举例来说，在一示范例中，当物件为不合格物件时，物件的表面会具有一种或多种人工神经网络已学习并尝试撷取的表面型态，使人工神经网络得以将其选别出来；反之，当物件为合格物件时，物件的表面则不具有任何已被记录用以激发人工神经网络的选别动作的表面型态。此时，人工神经网络系统所接收到的物件影像im，一部分为具有一种或多种表面型态的标记，而另一部分为无任何表面型态的标记。并且，人工神经网络系统的输出即会根据此些表面型态预设好若干个表面型态分类。在另一示范例中，当物件为不合格物件时，物件的表面会具有一种或多种人工神经网络已学习并尝试撷取的第一类表面型态；反之，当物件为合格物件时，物件的表面则具有另一种或多种人工神经网络已学习并尝试撷取的第二类表面型态，第二类表面型态可例如为标准表面型态。此时，人工神经网络系统所接收到的物件影像im，一部分为具有一种或多种第一类表面型态的类别标记，而另一部分为具有一种或多种第二类表面型态的类别标记。并且，人工神经网络系统的输出即会根据此些表面型态预设好若干个表面型态分类。
30.在一些实施例中，在学习阶段，人工神经网络系统利用已知表面型态的物件影像im进行训练，以生成预测模型中的各神经元的判断项目及/或调整任意神经元的连接的权重，以致使各物件影像im的预测结果(即输出的表面型态类别)符合其已知并已被标记学习的表面型态，因而建立识别物件的表面型态的预测模型。于预测阶段，人工神经网络系统能通过建立的预测模型对未知表面型态的物件影像im进行分类预测。在一些实施例中，人工神经网络系统是依据表面型态类别对物件影像im进行百分比预测，即判断各物件影像im可能落入各表面型态类别的百分比。
31.在一些实施例中，感兴趣区域可为具有不同深度的沙孔的成像的影像区域，或是不具有沙孔而具有撞痕或刮痕的成像的影像区域，或是具有不同的表面粗糙度的成像的影像区域，或是不具表面缺陷的成像的影像区域，或是具有不同纵深比的缺陷的成像的影像区域。于此，人工神经网络系统根据前述的各种不同表面型态的感兴趣区域进行深度学习，以建立辨识各种表面型态的预测模型。并且，人工神经网络系统可将具有不同表面型态的感兴趣区域进行归类而预先产生不同的预设表面型态类别。
32.举例来说，人工神经网络系统可利用感兴趣区域辨识出感兴趣区域a01成像有沙
孔及撞痕、感兴趣区域a02未成像有缺陷、感兴趣区域a33仅成像有沙孔且成像的表面粗糙度小于兴趣区域a35成像的表面粗糙度；接着，以预设表面型态类别包含沙孔或气孔、刮痕或撞痕、粗糙度高、粗糙度低及不具表面缺陷等五个类别为例，人工神经网络系统可将感兴趣区域a01归类至沙孔或气孔的预设类别以及刮痕或撞痕的预设类别，且将感兴趣区域a02归类至不具表面缺陷的预设类别，感兴趣区域a33归类至沙孔或气孔的预设类别以及粗糙度低的预设类别，且将感兴趣区域a35归类至粗糙度高的预设类别。基此，通过人工神经网络系统来辨识不同的表面型态，将大幅地提升表面型态检测的效率，且能降低人工误判的机会。
33.在步骤s03的一实施例中，针对每张物件影像im，人工神经网络系统通过改变每个影像区域的权重来指定感兴趣区域。举例来说，承接前例，参照图2，物件影像im裁切为多个影像区域a01～a70后，多个影像区域a01～a70的权重初始预设为1。在一实施例中，假设指定设定假定为1～5、33～38及66～70，人工神经网络系统依据预设的指定设定将影像区域a1～a5、a33～a38、a66～a70的权重调高为2，借以指定影像区域a1～a5、a33～a38、a66～a70为感兴趣区域。在一示范例中，于感兴趣区域的权重调高时，其他影像区域a6～a32、a39～a65的权重可维持为1。在另一示范例中，于感兴趣区域的权重调高时，人工神经网络系统可同时将其他影像区域a6～a32、a39～a65的权重可调低为0。
34.在另一实施例中，假设指定设定假定为1～5、33～38及66～70，人工神经网络系统依据预设的指定设定将影像区域a1～a5、a33～a38、a66～a70以外的影像区域a6～a32、a39～a65的权重调低为0或0.5，而影像区域a1～a5、a33～a38、a66～a70的权重则仍维持为1，借以指定影像区域a1～a5、a33～a38、a66～a70为感兴趣区域。
35.在一实施例中，人工神经网络系统包括输入层以及多层隐藏层。输入层耦接隐藏层。输入层用以执行上述步骤s01-s03。隐藏层用以执行上述步骤s04。在另一实施例中，人工神经网络系统包括预处理单元及神经网络单元。预处理单元耦接神经网络单元。预处理单元用以执行上述步骤s01-s03。神经网络单元用以执行上述步骤s04。其中，神经网络单元包括输入层以及多层的隐藏层，且输入层耦接隐藏层。
36.在一些实施例中，各物件影像im是由若干个检测影像mb拼接而成(如图4所示)，且各感兴趣区域的影像尺寸小于检测影像的影像尺寸(原始的影像尺寸)。
37.在一些实施例中，各检测影像mb可由针对物件表面型态的影像扫描系统来产生。参照图5至图8，针对物件表面型态的影像扫描系统适用以扫描物件2以得到物件2的至少一检测影像mb。于此，物件2具有表面21，并且沿着物件2的表面21的一延伸方向d1，物件2的表面21划分为若干个表面区块21a-21c。在一些实施例中，以物件2的表面21划分为九个表面区块为例，于图中示范性标示其中的三个表面区块21a-21c。然本案不以此为限制，物件2的表面21也可依据实际需求划分为其他数量的表面区块，如3块、5块、11块、15块、20块等任意数量。
38.参照图5至图8，图7及图8分别为图5的物件2、光源组件12及感光元件13之间于光学上的相对位置的两实施例的示意图。
39.针对物件表面型态的影像扫描系统包含驱动组件11、光源组件12及感光元件13。光源组件12及感光元件13以不同角度面向驱动组件11上的一检测位置14。
40.影像扫描系统能执行一检测程序。在检测程序中，驱动组件11承载待检测的物件2
475nm之间的蓝光、或为光波长值在495nm-570nm之间的绿光、或为光波长值在620nm-750nm之间的红光。
48.在一示范例中，光源组件12提供的光线l1可为远红外光(如其光波长值在800nm-3000nm的范围间)。如此，检测光线可使物件2表面上具有次微米(如300nm)的量级的表面型态在检测影像中成像。
49.在一些实施例中，光源组件12可具有较广泛为的光波段，此时，影像扫描系统再通过在入光路径或收光路径上设置允许通过特定光波段的分光组件(图未示)来产生所需的光波长值的光线l1(或光线l1的反射光)。
50.在一些实施例中，参照回图5至图6，驱动组件11包含承载元件111及连接承载元件111的驱动马达112。在检测程序中，承载元件111承载物件2，并且驱动马达112驱动承载元件111以带动物件2使一表面区块对准至检测位置14。在一实施例中，如图5、图7、图8及图10所示，物件2为圆柱状，如纺锤体。于此，物件2的表面21可为物件2本体的侧表面，即表面21为一圆柱表面，且表面21具有为2π的弧度。于此，前述的延伸方向d1可为以物件2本体的长轴为转轴的顺时针方向或逆时针方向。在一些实施例中，物件2的其一端相对另一端较为窄小的结构。在一示范例中，承载元件111可为相距有一既定距离的二滚筒，并且驱动马达112耦接二滚筒的转轴。于此，既定距离小于物件2的直径(本体的最小直径)。因此，在检测程序中，物件2可移动地设置在二滚筒之间。并且，于驱动马达112转动二滚筒时，物件2因物件2与二滚筒之间的表面摩擦力而被带动二滚筒，因而沿表面21的延伸方向d1转动，以使一表面区块对准至检测位置14。在另一范例中，承载元件111可为一转轴，并且驱动马达112耦接转轴的一端。此时，转轴的另一端具有嵌设件(如插孔)。此时，在检测程序中，物件2可移除地嵌设于嵌设件中。并且，于驱动马达112转动转轴时，物件2由转轴带动而沿表面21的延伸方向d1转动，以致使一表面区块对准至检测位置14。在一些实施例中，以表面21划分为9个表面区块21a-21c为例，驱动马达112每次会驱动承载元件111转动40度，以致带动物件2沿表面21的延伸方向d1转动40度。
51.在一实施例中，如图11所示，物件2为板状。物件2的表面21可为具有曲率等于零或趋近于零的非曲面。于此，前述的延伸方向d1可为物件2的表面21的任一边长(如长边)的延伸方向。在一示范例中，承载元件111可为平面乘载板，并且驱动马达112耦接平面乘载板的一侧边。此时，在检测程序中，物件2可移除地设置在平面乘载板上。驱动马达112驱使平面乘载板沿表面21的延伸方向d1移动而带动物件2位移，以使一表面区块对准至检测位置14。于此，驱动马达112每次驱使平面乘载板位移一既定距离，并通过反复驱动平面乘载板位移以使各表面区块21a-21c依序位移至检测位置14。于此，既定距离大致上等于各表面区块21a-21c沿延伸方向d1的宽度。
52.在一些实施例中，驱动马达112可为步进马达。
53.在一实施例中，如图10所示，光源组件12可包含一发光元件。在另一实施例中，如图7及图8所示，光源组件12可包含二发光元件121、122，且两发光元件121、122相对于正向法线14a对称地设置于物件2的相对两侧。二发光元件121、122分别照射检测位置14，表面21受对称的检测光线l1照射而产生对称的漫射光线。于此，感光元件13根据对称的漫射光线撷取当前位于检测位置14上的表面区块的检测影像mb，如此能提升检测影像mb的成像品质。
54.在一些实施例中，各发光元件(121、122)可由一个或多个发光二极体(led)实现；在一些实施例中，各发光元件(121、122)可由一雷射光源实现。
55.在一些实施例中，参照图5、图6及图11，针对物件表面型态的影像扫描系统还可包括一处理器15。处理器15耦接光源组件12、感光元件13及驱动马达112，并且用以控制各组件(如光源组件12、感光元件13及驱动马达112)的运作。
56.在一些实施例中，于感光元件13撷取到所有表面区块21a-21c的检测影像mb时，处理器15可进一步将撷取到的检测影像mb依撷取顺序拼接成一物件影像im。
57.在一实施例中，感光元件13可为一线型感光元件。其中，线型感光元件可由线(linear)型影像感测器来实现。此时，感光元件13撷取到的检测影像mb无须进行裁接，即可由处理器15进行拼接。
58.在另一实施例中，感光元件13是一二维感光元件。其中，二维感光元件可由面型影像感测器来实现。此时，于感光元件13撷取到表面区块21a-21c的检测影像mb时，处理器15基于检测影像mb的短边撷取检测影像mb的中段区域mbc，如图12所示。然后，处理器15再将对应所有表面区块21a-21c的中段区域mbc拼接为物件影像im。
59.在一实施例中，参照图11，针对物件表面型态的影像扫描系统可设置单一个感光元件13，并且此感光元件13进行多个表面区块21a～21c的影像撷取以得到分别对应表面区块21a～21c的多个检测影像。在另一实施例中，参照图5，针对物件表面型态的影像扫描系统可设置多个感光元件131～133，并且此些感光元件131～133面向检测位置14且沿着物件2的长轴配置。此些感光元件131～133分别撷取物件2不同区段位于检测位置14的表面区块的检测影像。
60.在一示范例中，假设物件2为圆筒状且针对物件表面型态的影像扫描系统设置单一个感光元件13。感光元件13可对物件2的本体(即中段)进行多个表面区块21a～21c的影像撷取以得到分别对应表面区块21a～21c的多个检测影像mb，再由处理器15拼接表面区块21a-21c的检测影像mb为物件影像im，如图4所示。
61.在另一示范例中，假设物件2为圆筒状且针对物件表面型态的影像扫描系统设置多个感光元件131～133，如图5所示。此些感光元件131～133分别截取物件2位于检测位置14的不同区段位置的表面的检测影像mb1～mb3，再由处理器15拼接所有检测影像mb1～mb3为物件影像im，如图4所示。举例来说，假设感光元件131～133的数量可为三个，并且处理器15根据三个感光元件131～133撷取得的检测影像mb1～mb3拼接出物件2的物件影像im，如图13所示。其中，物件影像im包含三感光元件13中的第一感光元件131撷取到的所有表面区块21a-21c的检测影像mb1所拼接成的子物件影像22(图13中的物件影像im的上段)、三感光元件13中的第二感光元件132撷取到的所有表面区块21a-21c的检测影像mb2所拼接成的子物件影像23(图13中的物件影像im的中段)、以及三感光元件13中的第三感光元件133撷取到的所有表面区块21a-21c的检测影像mb3所拼接成的子物件影像24(图13中的物件影像im的下段)。
62.在一些实施例中，处理器15可具有前述的人工神经网络系统，以自动地根据拼接后的物件影像im进行表面型态的分类，借以自动判定物件2的表面21的表面型态。换言之，在学习阶段，处理器15产生的物件影像im可接续由前述的人工神经网络系统进行训练，以建立识别物件的表面型态的预测模型。在预测阶段，处理器15产生的物件影像im可接续由
前述的人工神经网络系统进行预测，以通过预测模型执行物件影像im的分类预测。
63.在一些实施例中，处理器15产生的物件影像im能馈入至具有前述的人工神经网络系统的另一处理器，以由人工神经网络系统自动地根据拼接后的物件影像im进行表面型态的分类，借以自动判定物件2的表面21的表面型态。换言之，人工神经网络系统会对馈入的物件影像im自动进行训练或预测。
64.在一些实施例中，根据本发明的基于人工神经网络的物件表面型态的检测方法可由一电脑程式产品实现，以致于当电脑(即其处理器)载入程式并执行后可完成根据本发明任一实施例的基于人工神经网络的物件表面型态的检测方法。在一些实施例中，电脑程式产品可为一非暂时性电脑可读取记录媒体，而上述程式则储存在非暂时性电脑可读取记录媒体中供一电脑(即其处理器)载入。在一些实施例中，上述程式本身即可为电脑程式产品，并且通过有线或无线的方式传输至电脑中。
65.综上所述，根据本案的基于人工神经网络的物件表面型态的检测方法的一实施例，可弹性针对物件影像im的特定区域(指定的感兴趣区域)进行训练，以建立相对精准的预测模型，借以加速训练时间。在一些实施例中，根据本案的基于人工神经网络的物件表面型态的检测方法的一实施例，还可利用建立的预设模型，直接针对物件影im像的特定区域进行预测，以分类物件影像im的特定区域的表面型态，借以加速预设时间，进而得到较低的过放(miss)率。举例来说，以建立的预设模型对物件影像im进行分类预测能提供趋近于零的过放率。