一种基于影像辨识的贴布绣方法与流程

本发明是有关于一种贴布绣方法，特别是指一种基于影像辨识的贴布绣方法。

背景技术：

在现有的利用电脑式缝纫机来自动刺绣出贴布绣的方式中，电脑式缝纫机需预先储存有贴布绣的外框花样，例如是圆形或是动物造型；使用者需在预先储存的外框花样中做选择，再让电脑式缝纫机自动刺绣出所选择的外框花样的贴布绣。

举例来说，如图1(a)所示，使用者从电脑式缝纫机中选择了圆形花样，并让电脑式缝纫机自动在固定于刺绣框23的布件21上刺绣该圆形花样1；接着，如图1(b)所示，使用者将该圆形花样1从该布件21上剪裁下来并粘贴至固定于刺绣框23的底布22上，然后再让电脑式缝纫机自动对该圆形花样1的外框进行刺绣。

然而，若仅能让电脑式缝纫机刺绣出所预先储存的外框花样的贴布绣，这对使用者来说是远远不够的。

技术实现要素：

因此，本发明所要解决的技术问题是：提供一种能让电脑式缝纫机自动刺绣出任意外框花样的贴布绣的基于影像辨识的贴布绣方法。

为解决上述技术问题，本发明采用的技术方案是：一种基于影像辨识的贴布绣方法，由刺绣系统实施，并用于对一贴附在一底布上的待绣布件进行刺绣，该刺绣系统对应一世界坐标系，所述基于影像辨识的贴布绣方法包括如下步骤：

(a)撷取该待绣布件的第一影像，其中该第一影像对应一影像坐标系；

(b)对该第一影像进行边缘侦测并计算出在该第一影像中待绣布件的多个边缘点；

(c)根据该影像坐标系与该世界坐标系计算出每一个边缘点在该世界坐标系中所对应的世界坐标；

(d)根据上述与边缘点一一对应的多个世界坐标所形成的刺绣路径，对该待绣布件进行刺绣。

作为一种优选的方案，所述步骤(b)包括以下子步骤：

(b1)利用一边缘侦测演算法获得第一影像中的待绣布件的多个初始边缘点；

(b2)对上述多个初始边缘点进行平滑化运算进而获得多个边缘点。

作为一种优选的方案，所述平滑化运算是利用步骤(b1)所得的多个初始边缘点求取一拟合这些初始边缘点的参数式非均匀有理b样条曲线，再从该参数式非均匀有理b样条曲线取样出多个边缘点。

作为一种优选的方案，所述步骤(c)包括以下子步骤：

(c1)基于所述世界坐标系，在一布件上刺绣出与该世界坐标系相对应的平面坐标系；

(c2)撷取该平面坐标系的第二影像；

(c3)将第一影像与第二影像叠合，计算出第二影像中的平面坐标系相对于第一影像中的影像坐标系的旋转矩阵和位移向量；

(c4)根据上述旋转矩阵和位移向量，以及对应第一影像和第二影像的影像比例，将每一个边缘点在影像坐标系上的坐标转换成世界坐标系中的世界坐标。

作为一种优选的方案，在步骤(c)与步骤(d)之间还包括有步骤(e)：针对至少一个边缘点所对应的世界坐标，根据底布的厚度和/或待绣布件的厚度缩减每一个边缘点所对应的世界坐标至该世界坐标系的原点的距离，其中缩减的距离与底布的厚度和/或待绣布件的厚度成正比。

作为一种优选的方案，所述步骤(a)与步骤(b)之间还包括步骤(f)：对第一影像进行影像校正。

作为一种优选的方案，所述步骤(f)包含以下子步骤：

(f1)撷取一校正板的影像；

(f2)撷取该影像的多个影像特征点；

(f3)根据上述多个影像特征点计算出一个具有多个控制参数并拟合该多个影像特征点的几何曲面；

(f4)根据该第一影像与该几何曲面产生一对应该第一影像的第一校正后影像，其中该第一校正后影像的每一像素对应该几何曲面上的一曲面点，且每一像素的像素值是根据该像素所对应曲面点在该第一影像中的至少一邻近像素所计算出来的。

作为一种优选的方案，所述步骤(f3)中的几何曲面为一参数式非均匀有理b样条曲面，且每一控制参数为该参数式非均匀有理b样条曲面的一个控制点。

作为一种优选的方案，所述步骤(f4)包含以下子步骤：

(f41)定义出该第一校正后影像的一第一影像轴的一第一像素数量，并定义出该第一校正后影像的一第二影像轴的一第二像素数量；

(f42)在该几何曲面的定义域的一第一定义域轴上定义出与第一像素数量相同的取样点，并在该几何曲面的定义域的一第二定义域轴上定义出与第二像素数量相同的取样点，其中依据上述取样点所计算出的该几何曲面上的多个曲面点与第一校正后影像上的像素一一对应。

作为一种优选的方案，所述步骤(f42)中，几何曲面的定义域的第一定义域轴上的任意两相邻的取样点的间距相同，该几何曲面的定义域的第二定义域轴上的任意两相邻的取样点的间距相同，且该第一校正后影像的任一像素的像素值是利用该像素所对应曲面点在第一影像中的至少一个邻近像素进行内插或加权平均计算出来的。

本发明的有益效果是：能让电脑式缝纫机自动刺绣出任意外框花样的贴布绣。

附图说明

图1是现有的利用电脑式缝纫机来制作贴布绣的方法示意图；

图2是本发明基于影像辨识的贴布绣方法流程图；

图3是将一待绣布件贴附在一固定在刺绣框内的底布上的示意图；

图4是利用拍照箱撷取该待绣布件的第一影像的示意图；

图5是对第一校正后影像中的待绣布件进行边缘侦测并计算出多个初始边缘点的示意图；

图6是对图5中所示的初始边缘点进行平滑化处理后获得多个边缘点的示意图；

图7是电脑式缝纫机的结构示意图；

图8是利用电脑式缝纫机在一布件上刺绣出一平面坐标系的示意图；

图9是在影像中平面坐标与影像坐标的相对位置关系示意图；

图10是利用电脑式缝纫机根据各边缘点对应的世界坐标所形成的刺绣路径，对待绣布件进行刺绣的示意图；

图11完成刺绣后的贴布绣示意图；

图12是利用拍照箱撷取待绣布件的影像并进行布厚校正的示意图；

图13是影像校正的原理图；

图14所示是一种棋盘格校正板；

图15是棋盘格校正板的影像及多个角点的示意图；

图16是根据图15中所示多个角点所估算出的一参数式非均匀有理b样条曲面与其多个控制点的示意图；

图17是对一校正后影像的像素数量的设定；

图18说明参数式非均匀有理b样条曲面的定义域；

图19配合图17、图18说明经校正后影像的每一像素的像素值的求取方法；

图20说明影像坐标系所需涵盖的坐标平面；

图21说明经校正后影像的一像素值的计算方法；

图22是棋盘格校正板的影像及其经校正后影像的对比图；

图23是一圆点校正板的示意图。

图1～图23中：1、圆形花样，21、布件，22、底布，23、刺绣框，31、步骤31，32、步骤32，33、步骤33，34、步骤34，35、步骤35，321、步骤321，322、步骤322，323、步骤323，324、步骤324，41、待绣布件，42、底布，43、刺绣框，431、卡榫，5、拍照箱，51、镜头，52、底部，53、卡榫，61、棋盘格校正板，62、棋盘格校正板的影像，621、角点，63、参数式非均匀有理b样条曲面，631、控制点，64、第一校正后影像，65、参数式非均匀有理b样条曲面的定义域，651、方格，652、多边形区域，653、曲面点，67、圆点校正板，68、经校正后影像，69、待校正影像，7、电脑式缝纫机，71、工作平台，72、移动模组，721、本体，722、连接单元，8、布件，9、坐标平面，f(i、j)、经校正后影像的第(i，j)个像素，c1～c4、影像坐标平面的四个端点，，p1～p5、像素，a1～a5、像素的局部区域面积，cr参数式非均匀有理b样条曲线，e1、在平滑化运算前的影像初始边缘点，e2、在平滑化运算后的影像边缘点，wcs、世界坐标系，ics、影像坐标系，pcs、平面坐标系，h1、垂直方向的入射光，h2、非垂直方向的入射光，pt、待绣布件的实际边缘点，qt、待绣布件的另一实际边缘点，o、世界坐标系的原点。

具体实施方式

下面结合附图，详细描述本发明的具体实施方案。

本发明基于影像辨识的贴布绣方法由一刺绣系统实施，该刺绣系统包括一已知的拍照箱、一计算装置、以及一已知的电脑式缝纫机。该计算装置为台式电脑或平板电脑。该拍照箱的摄像镜头为广角镜头或鱼眼镜头。

如图2所示，以下详述本发明基于影像辨识的贴布绣方法的具体实施方式。

首先进行步骤31，如图3与图4所示，使用者将一待绣布件41贴附于一固定在刺绣框43内的底布42上，所述待绣布件41的外框花样(外形)可为任意形状，在此以爱心形状为例来进行说明。然后，将该刺绣框43的卡榫431与拍照箱5的卡榫53进行枢接，以将刺绣框43固定在拍照箱5中，并利用该拍照箱5撷取该待绣布件41的第一影像。

接着进行步骤32，为校正该第一影像的变形失真，利用计算装置对第一影像进行影像校正而获得第一校正后影像。本发明也提供了一种创新的影像校正方法，具体内容将在本节文末进行说明。

接着进行步骤33，参阅图5，藉由该计算装置，利用一边缘侦测演算法，例如canny边缘侦测算子(cannyedgedetector)，来获得在该第一校正后影像64中该待绣布件41的多个初始边缘点e1，且进一步对上述多个初始边缘点e1进行平滑化运算而获得多个边缘点，较佳地，该平滑化运算的方式如下：参阅图5和图6，先利用该边缘侦测演算法所求得的多个初始边缘点e1，估算出一拟合这些初始边缘点e1的参数式非均匀有理b样条曲线cr(parametricnon-uniformrationalb-splinecurve,nurbscurve)，再从该参数式非均匀有理b样条曲线cr取样出多个边缘点e2，该多个边缘点e2也就是经平滑化运算后的边缘点。然后，需特别说明的是，若该边缘侦测演算法所侦测出的多个初始边缘点e1没有明显的毛边和/或锯齿边的现象，上述的平滑化运算也就非必要。此外，平滑化运算的方式也不限于上述，例如还可以用一般的平滑滤波器(smoothingfilter)来做平滑化运算。

接着进行步骤34，利用该计算装置，根据该第一校正后影像所对应的影像坐标系与电脑式缝纫机所对应的世界坐标系计算出每一边缘点e2在该世界坐标系中所对应的世界坐标，也就是进行所谓的影像对位。

具体地，如图7和图8所示，该电脑式缝纫机7包含一工作平台71与一移动模组72，所述移动模组72上设置有一本体721，以及一连接该本体721并可沿着该本体721移动的连接单元722；该刺绣框43透过其卡榫431与该连接单元722连接之后，该本体721与该连接单元722分别能带动该刺绣框43在该电脑式缝纫机7所对应的世界坐标系wcs的x轴方向和y轴方向移动，以进行刺绣。该影像对位的方式如下：首先，如图8所示，将一布件8固定于刺绣框43内，且操作该电脑式缝纫机7在该布件8上刺绣出一平面坐标系pcs。接着，将该刺绣框43放置于拍照箱5中并利用该拍照箱5撷取该平面坐标系pcs的第二影像。接着，对该第二影像校正而获得第二校正后影像。接着，参阅图9，藉由叠合第一校正后影像64与该第二校正后影像(图未示)，计算出该第二校正后影像中的该平面坐标系pcs相对于该第一校正后影像64所对应的影像坐标系ics的旋转矩阵和位移向量。接着，根据该旋转矩阵、位移向量以及对应该第一校正后影像64和第二校正后影像的影像比例(scale)，将该待绣布件41的每一边缘点e2在该影像坐标系ics上的坐标转换成在该世界坐标系wcs中的一世界坐标，其中，该影像比例的单位为：微米/像素、或公厘/像素、或公分/像素，也就是该第一校正后影像64或该第二校正后影像的每一像素所对应的真实空间中的长度。进一步来说，定义ci表示一边缘点e2在该影像坐标系ics上的坐标、cw表示ci在该世界坐标系wcs上所对应的世界坐标，a与b分别表示该旋转矩阵和位移向量，且α为该影像比例，则cw＝α(aci+b)。

接着进行步骤35，如图10所示，将固定住该待绣布件41的刺绣框43连接该电脑式缝纫机7的移动模组72，以让该电脑式缝纫机7根据上述多个边缘点e2对应的多个世界坐标所形成的一刺绣路径，对该待绣布件41进行刺绣；如此，可获得如图11所示的刺绣结果。

特别地，前述基于影像辨识的贴布绣方法能让该电脑式缝纫机7自动刺绣出使用者所准备的任意外框花样的贴布绣，不再受限于该电脑式缝纫机7中所预先储存的外框花样。

在上述实施方式中，若该待绣布件41或该底布42的厚度较大，还可在上述步骤35之前对在步骤34中所求得的多个边缘点e2所对应的世界坐标进行布厚校正，具体方法如下：

参阅图12，由于该拍照箱5的镜头51撷取影像时并非只有垂直方向的入射光h1，还有非垂直方向的入射光h2，因此在该第一校正后影像64的每一边缘点e2所对应的世界坐标与该世界坐标系的原点o的直线距离会过大，故需缩减该距离，且若该底布42的厚度与该待绣布件41的厚度的总和越大，则缩减的幅度需越大。

举例来说，如图12所示，假设该底布42的厚度为t0，该待绣布件41的厚度为t1、该拍照箱5的镜头51至其底部52的距离为d，且在该第一校正后影像64中该待绣布件41的一个边缘点e2对应该待绣布件41的实际边缘点pt，则在该步骤34所计算出的该边缘点pt的世界坐标与该世界坐标系的原点o的距离为l1，且需将该距离l1缩减至该边缘点pt至该世界坐标系的原点o的实际距离l11，而藉由相似三角形定理可计算出缩减的幅度为l1－l11＝l1÷d×(t0+t1)。类似地，经由该步骤34所计算出的该待绣布件41的实际边缘点qt的世界坐标与该世界坐标系的原点o的距离为l2，且需将该距离l2缩减至该边缘点qt至该世界坐标系的原点o的实际距离l21，而藉由相似三角形定理可计算出缩减的幅度l2－l21＝l2÷d×t0。

在上述实施例中，也可不对在该第一校正后影像64中的每一边缘点e2对应的世界坐标进行布厚校正。例如，若藉由该计算装置判断出一边缘点e2对应的世界坐标与该世界坐标系原点o的距离小于一门槛值，则不对该边缘点e2所对应的世界坐标进行布厚校正；而在该距离大于该门槛值时，才对该边缘点e2对应的世界坐标进行布厚校正。

本发明提供了一种创新的影像校正方法，以下详细进行描述。

参阅图13～15，进行步骤321时，将一校正板放置在拍照箱5中并利用该拍照箱5撷取该校正板的影像。较佳地，该校正板为图14所示的棋盘格校正板61。

接着，进行步骤322，利用该计算装置撷取该校正板的影像的多个影像特征点。较佳地，如图15所示，利用harris角点侦测法(harriscornerdetection)撷取该棋盘格校正板的影像62的多个角点621作为影像特征点，其中这些影像特征点为浮点数(floatingpoint)。

接着，进行步骤323，利用该计算装置根据这些影像特征点计算出一具有多个控制参数并拟合(fit)上述影像特征点的几何曲面。较佳地，如图16所示，该几何曲面为一参数式非均匀有理b样条曲面63(parametricnon-uniformrationalb-splinesurface,nurbssurface)，其中是利用已知的参数式nurbs曲面内插法(parametricnurbssurfaceinterpolation)来利用这些影像特征点作为插值点而估计出拟合这些影像特征点的参数式非均匀有理b样条曲面63，也就是：

其中{wi,j}为权重值，{pi,j}为利用这些影像特征点所计算出来的也为浮点数的多个控制点631(控制参数)，u与v为该参数式非均匀有理b样条曲面63的定义域的两个轴向且u∈[0,1]、v∈[0,1]，{ni,p(u)}与{nj,q(v)}均为b样条基底函数(b-splinebasisfunction)，且p与q分别为该u轴方向与该v轴方向的阶数(degree)。

接着，进行步骤324，藉由该计算装置，利用该参数式非均匀有理b样条曲面63对该拍照箱5所拍摄的待校正影像进行校正而产生一经校正后影像。为了方便说明，以下是以图15所示的该棋盘格校正板的影像62作为该待校正影像来说明。

详言之，首先，如图17所示，定义出该经校正后影像68的第一影像轴(x轴)的第一像素数量与该经校正后影像68的第二影像轴(y轴)的第二像素数量；在此，以该第一像素数量为k且该第二像素数量为t来说明。

接着，一并参阅图17～图19，在该参数式非均匀有理b样条曲面的定义域65的u轴上定义出该第一像素数量个取样点{ui|i＝1,2,…,k}，并在该参数式非均匀有理b样条曲面的定义域65的v轴上定义出该第二像素数量个取样点{vj|j＝1,2,…,t}，而使得依据这些取样点所计算出的该参数式非均匀有理b样条曲面63上的多个曲面点与该经校正后影像68的多个像素一一对应；其中，较佳地，该u轴上的任意两相邻取样点的间距相同，即u轴上任意两相邻取样点间距为1/k，该v轴上的任意两相邻取样点的间距相同，即v轴上任意两相邻取样点间距为1/t，且(ui，vj)在该参数式非均匀有理b样条曲面63上所对应的曲面点为s((i-0.5)/k，(j-0.5)/t)。也就是说，假设f(i，j)表示该经校正后影像68的第(i，j)个像素，则f(i，j)对应(ui，vj)与曲面点s((i-0.5)/k，(j-0.5)/t)，其中i为1至k的正整数且j为1至t的正整数。也就是说，如图18所示，在此是将该定义域65划分为数量与该经校正后影像68的像素数量相同的多个均等方格651，这些方格651与经校正后影像68的各像素一一对应，且每一像素所对应的曲面点为该像素对应的方格651的中心点所对应的曲面点。此外，参阅图19，该定义域65的每一方格651在该参数式非均匀有理b样条曲面63上对应一多边形区域652，且每一多边形区域652包含一对应该经校正后影像68的一像素的曲面点653。

接着，针对该经校正后影像68的每一像素f(i，j)，利用该像素f(i，j)所对应的曲面点653在该待校正影像69中的至少一邻近像素进行内插，而计算出该像素f(i，j)的像素值；其中，内插的方式例如可为已知的最近邻插补(nearestneighborinterpolation)、双线性插补(bilinearinterpolation)或更高次内插等方法。举例来说，对于该经校正后影像68的像素f(5、6)来说，其像素值是利用(u5，v6)对应的s(4.5/k，5.5/t)在该待校正影像69中的至少一邻近像素进行内插所计算出来的。

参阅图20，值得一提的是，因为每一曲面点为浮点数，故若该待校正影像69具有m×n个像素，则该待校正影像69对应的影像坐标系需涵盖c1(-0.5，-0.5)、c2(m-1+0.5，-0.5)、c3(m-1+0.5，n-1+0.5)c4(-0.5，n-1+0.5)等四个端点所界定出来的一坐标平面9，以涵盖位于该参数式非均匀有理b样条曲面的边界的曲面点；且该待校正影像69的第(i，j)个像素的中心在该影像坐标系对应的坐标为(i-1，j-1)，其中i为1至m的正整数，j为1至n的正整数。

此外，参阅图21，在另一实施方式中，也可计算在该待校正影像69中包含s(4.5/k，5.5/t)的该多边形区域652所涵盖的所有像素的像素值的加权平均(weightedmean)，作为该经校正后影像68的像素f(5，6)的像素值；其中每一像素的权重(weight)为在该多边形区域652中该像素的面积比例。举例来说，如图21所示，该多边形区域652涵盖了像素p1的部分区域面积a1、像素p2的部分区域面积a2、像素p3的部分区域面积a3、像素p4的部分区域面积a4、像素p5的部分区域面积a5；令则该加权平均为其中为像素pi的权重。在另一实施方式中，也可根据s(4.5/k，5.5/t)与像素pi的中心的距离来定义像素pi的权重，其中距离越短则权重越大。

特别地，藉由上述的若干曲面点653，能校正该拍照箱5所拍摄的任一影像，包括上述的第一影像与第二影像。参阅图22，图22示意了对该待校正影像69，也就是该棋盘格校正板的影像62进行校正后所得到的经校正后影像68。

特别地，上述影像校正方法除了能矫正因相机镜头的镜片的几何设计所造成的影像变形失真之外，还能校正因镜片制造发生变形、镜片组装位置不够精确、相机的影像感测器的组装位置不够精确等因素所造成的影像变形失真。此外，被拍摄物体本身的变形在影像中也可被校正展平。

此外，上述影像校正方法除了可校正该待校正影像的变形失真外，还可藉由设定该经校正后影像的第一影像轴(x轴)的像素数量与第二影像轴(y轴)的像素数量来设定该经校正后影像的影像大小。

此外，该校正板也可为其他实施样式。例如，该校正板可为图23所示的一圆点校正板67，且利用该计算装置对该圆点校正板67的影像进行影像辨识，撷取出每一圆点的中心并利用这些圆点的中心作为影像特征点；而其他实施步骤与上文所述一致，在此不再赘述。

此外，虽然较佳地是利用上述本发明的影像校正方法来对该第一影像与第二影像进行影像校正，但也可不限于此，例如，可以利用已知的针孔相机模型(pinholecameramodel)来对该第一影像进行影像校正而产生该第一校正后影像，并求取该第一校正后影像中该待绣布件的每一边缘点所对应的世界坐标。

此外，值得一提的是，若该拍照箱5所撷取的影像的变形失真相当地轻微，则上述对第一影像与第二影像所进行的影像校正的步骤即是非必要的，可以省略的。

综上所述，本发明基于影像辨识的贴布绣方法，藉由撷取该待绣布件的一影像，并对该影像进行影像校正且计算出其中待绣布件的多个经平滑化处理的边缘点，且透过影像对位、布厚校正来获得每一边缘点所对应的世界坐标，在使该电脑式缝纫机根据上述各边缘点一一对应的世界坐标所形成的刺绣路径，自动对该待绣布件进行刺绣，故确实能达成本发明的目的。

上述实施例仅例示性说明本发明创造的原理及其功效，以及部分运用的实施例，而非用于限制本发明；应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。