重叠位置校正装置及重叠位置校正方法与流程

本发明涉及用于加工系统的重叠位置校正装置。

背景技术：

通常，在使用了激光加工机的激光加工系统中，使用加工位置的位置偏移校正。例如，提出了如下方法，即，对校正用的板状的工件进行加工，将预先指定的加工位置和加工后的位置进行比较，由此，对激光加工机的加工开始位置进行校正(例如，专利文献1)。并且，近年来，提出了如下方法，即，使用ar(augmentedreality)，相对于在监视器等显示器显示的加工对象的工件重叠加工位置(加工预定轨迹)等的图像或者信息。在使用了ar的激光加工系统中，需要在配置了工件的平面即机械坐标系和照相机图像内的图像坐标系之间使位置关系相互对应。

专利文献1：日本特开2010－99674号公报

技术实现要素：

但是，有时在加工中激光加工机整体振动，工件的位置或者照相机的位置以及姿态会变化。在该情况下，例如，使用如下方法，即，使用棋盘格模式或标记对工件以及照相机的位置进行纠正，但在现有技术中，存在在这样的显示对位等的维护上缺乏简便性的问题。

本发明是为了解决上述那样的问题而提出的，目的在于通过简易的方法对重叠于工件的加工预定轨迹进行校正。

本发明的重叠位置校正装置的特征在于，具备：图像取得部，其取得包含加工对象即工件的图像的第1图像帧和包含加工后的所述工件的图像的第2图像帧；差分图像生成部，其从所述图像取得部取得所述第1图像帧以及所述第2图像帧，生成包含所述第1图像帧和所述第2图像帧的差分即已加工区域的图像即差分图像；加工预定图像生成部，其基于与所述工件重叠的预定的加工预定轨迹，生成加工预定图像；分割区域生成部，其生成包含基于所述预定的加工预定轨迹确定的所述工件的加工预定区域的至少1个分割区域；类似形状检索部，其从所述差分图像中检索与所述分割区域类似的区域，取得与所述分割区域类似的区域作为特定区域；代表点提取部，其提取所述分割区域中包含的所述加工预定区域的机械坐标系中的重心坐标和所述特定区域中包含的所述已加工区域的图像坐标系中的重心坐标；投影矩阵计算部，其使用所述机械坐标系中的重心坐标和所述图像坐标系中的重心坐标，计算用于所述机械坐标系和所述图像坐标系之间的投影变换的投影矩阵；以及重叠显示部，其使用所述投影矩阵，将所述机械坐标系中的所述预定的加工预定轨迹变换为所述图像坐标系中的新的加工预定轨迹。

发明的效果

根据本发明，能够通过简易的方法对重叠于工件的加工预定轨迹进行校正。

附图说明

图1是概略性表示包含本发明的实施方式涉及的重叠位置校正装置的激光加工系统的结构的框图。

图2是表示通过图像取得部取得的图像帧的一个例子的图。

图3是表示图像帧内的与工件重叠的加工预定轨迹的图。

图4是表示进行加工之前的照相机图像即图像帧的图。

图5是表示进行了加工之后的照相机图像即图像帧的图。

图6是表示通过差分图像生成部生成的差分图像的图。

图7是表示作为对比例的图像帧的图。

图8是表示激光加工系统中的重叠位置校正方法的一个例子的流程图。

图9是表示通过差分图像生成部标准化后的差分图像的图。

图10是表示进行了投影变换之后的图像坐标系中的加工预定图像的图。

图11是表示在图像帧内生成的分割区域的图。

图12是表示类似形状检索处理的流程的一个例子的流程图。

图13是表示差分图像内的特定区域的图。

图14是表示代表点提取处理的一个例子的流程图。

图15是示意性表示代表点的集合的图。

图16是表示图像帧内的与工件重叠的、校正后的加工预定轨迹的图。

图17是表示重叠位置校正装置的具体的硬件结构的一个例子的框图。

具体实施方式

实施方式

图1是概略性表示包含本发明的实施方式涉及的重叠位置校正装置1的激光加工系统100的结构的框图。

激光加工系统100具有重叠位置校正装置1、激光加工机2和存储装置3。在本实施方式中，存储装置3是在重叠位置校正装置1以及激光加工机2的外部具备的存储介质，但存储装置3也可以设置于重叠位置校正装置1内，也可以设置于激光加工机2内。

重叠位置校正装置1具有照相机11、图像取得部12、投影变换部13、重叠显示部14、显示器15、差分图像生成部16、加工预定图像生成部17、偏移判定部18、分割区域生成部19、类似形状检索部20、代表点提取部21和投影矩阵计算部22。

照相机11对加工材料(即，加工对象)即工件w1以及工件w1的周边区域进行拍摄。

图像取得部12将通过照相机11拍摄的影像作为一张张静止图像(例如，后述的图像帧f1)而取得。

图2是表示通过图像取得部12取得的图像帧f1(第1图像帧)的一个例子的图。图2所示的图像帧f1是包含加工对象即工件w1的图像在内的图像。图像帧f1是通过照相机11取得的照相机图像。

图3是表示图像帧f1内的与工件w1重叠的加工预定轨迹31的图。加工预定轨迹31是表示机械坐标系中的加工预定即加工位置的数据。在图像帧f1内，加工预定轨迹31通过图形表示。也将图像帧f1内示出的加工预定轨迹31称为加工预定图像。

投影变换部13使用投影矩阵32将加工预定轨迹31变换为与图像坐标系对应的数据。图像坐标系是图像帧f1内的正交坐标系(即，xy平面)。

重叠显示部14在通过图像取得部12得到的图像帧f1内，将加工预定轨迹31描绘为图形。

在显示器15显示图像帧f1。在本实施方式中，显示器15是显示器。例如，在显示器15中，被变换为与图像坐标系对应的数据的加工预定轨迹31重叠于图像帧f1内的工件w1。

图4是表示进行加工之前的照相机图像即图像帧f1的图。被加工预定轨迹31包围的区域是加工预定区域33a。

图5是表示进行了加工之后的照相机图像即图像帧f2(第2图像帧)的图。图5所示的图像帧f2是包含通过激光加工机2加工后的工件w2(即，加工后的工件w2)以及被加工轨迹33包围的已加工区域33b的图像在内的图像。

图6是表示通过差分图像生成部16生成的差分图像f3的图。

差分图像生成部16基于进行加工之前的照相机图像即图像帧f1(图2)和进行了加工之后的照相机图像即图像帧f2的差分，生成差分图像f3。

加工预定图像生成部17基于重叠于工件w1的预定的加工预定轨迹31，生成加工预定图像。加工预定图像是包含加工预定轨迹31的图像。

图7是表示作为对比例的图像帧的图。

如图7所示，在加工中工件w2的位置发生了偏移的情况下，有时加工预定轨迹31和加工轨迹33会发生偏移。偏移判定部18将加工预定图像和差分图像(后述的差分图像f4)进行比较，判定加工预定轨迹31和加工轨迹33是否发生偏移。

分割区域生成部19生成至少1个分割区域34。分割区域34是包含基于加工预定轨迹31确定的加工预定区域33a(具体而言，被加工预定轨迹31包围的工件w1的区域)的区域。

类似形状检索部20从差分图像(后述的差分图像f4)中检索与通过分割区域生成部19生成的分割区域34类似的区域。

代表点提取部21提取通过分割区域生成部19生成的分割区域34中包含的加工预定区域33a(在本实施方式中，加工形状)的机械坐标系中的重心坐标即代表点、和特定区域35中包含的已加工区域33b的图像坐标系中的重心坐标即代表点。

投影矩阵计算部22计算用于进行激光加工系统100中的重叠位置校正的投影矩阵(后述的投影矩阵h)。

激光加工机2具有发射激光的加工头2a和控制加工头2a的加工控制部2b。加工头2a是激光的发射口。加工控制部2b能够按照加工预定轨迹31使加工头2a移动。

在存储装置3中储存有加工预定轨迹31和投影矩阵32。

加工预定轨迹31是预定的数据，表示机械坐标系中的加工预定即加工位置。

投影矩阵32是用于在机械坐标系和图像坐标系之间进行投影变换的数据(矩阵)，表示使用棋盘格等指标预先求出的激光加工机2中的机械坐标系、和照相机11(即，照相机图像)中的图像坐标系之间的相关关系。

下面，说明激光加工系统100中的重叠位置校正方法。

图8是表示激光加工系统100中的重叠位置校正方法的一个例子的流程图。

在步骤s1中，在进行加工之前，照相机11对工件w1进行拍摄，图像取得部12取得图像帧f1。

在步骤s2中，激光加工机2基于加工预定轨迹31对工件w1进行加工。具体而言，加工控制部2b基于加工预定轨迹31控制加工头2a，对工件w1进行加工。例如，在工件w1加工为椭圆形、星形、十字形以及六边形4个加工形状(也称为加工几何)的情况下，如图5所示，得到工件w2。

在步骤s3中，照相机11对工件w2进行拍摄，图像取得部12从照相机图像取得图像帧f2。

在步骤s4中，差分图像生成部16从图像取得部12取得图像帧f1以及图像帧f2，生成包含图像帧f1和图像帧f2的差分即已加工区域33b的差分图像f3。在差分图像f3中仅示出加工轨迹33以及已加工区域33b(在图6所示的例子中，4个加工形状)。

图9是表示通过差分图像生成部16标准化后的差分图像f4的图。

在图6所示的差分图像f3中，已加工区域33b以外的区域的像素值是0，已加工区域33b的像素值是除了0以外的不确定值，因此，以已加工区域33b的像素值成为1的方式进行标准化。其结果，如图9所示，得到已加工区域33b以外的区域的像素值是0并且已加工区域33b的像素值是1的二值图像。

在步骤s5中，投影变换部13对加工预定轨迹31进行投影变换。即，投影变换部13使用公式1将基于机械坐标系的加工预定轨迹31变换为基于图像坐标系的数据。

在公式1中，xc以及yc表示照相机图像内的图像坐标系中的xy平面上的位置。在公式1中，xm以及ym表示用于控制加工头2a的坐标系即机械坐标系中的二维位置。在公式中，h是投影矩阵32，λ是任意实数。在本实施方式中，投影矩阵32是3×3的矩阵，被预先计算出。

图10是表示进行了投影变换之后的图像坐标系中的加工预定图像的图。

在步骤s6中，加工预定图像生成部17生成加工预定图像。具体而言，加工预定图像是基于在步骤s5中投影变换后的加工预定轨迹31a，以加工预定区域33a内的像素值成为1的方式生成，以加工预定区域33a以外的区域的像素值成为0的方式生成。其结果，在图10所示的图像帧f5内，得到进行了投影变换之后的加工预定图像。

在步骤s7中，偏移判定部18将图像帧f5内的加工预定图像和差分图像f4进行比较，判定加工预定图像(具体而言，图像帧f5内的加工预定轨迹31a)是否与差分图像f4(具体而言，差分图像f4内的加工轨迹33)发生偏移。在本实施方式中，偏移判定部18针对每个相同的坐标、比较图像帧f5内的加工预定图像中的各像素的像素值和差分图像f4中的各像素的像素值，对具有不同像素值的像素的总数(像素总数)进行计数，由此，判定加工预定图像(f5)是否与差分图像(f4)发生偏移。

偏移判定部18在像素总数比预定的偏移判定阈值小时判定为“无偏移”，在像素总数大于或等于偏移判定阈值时判定为“有偏移”。偏移判定阈值例如可以设定为图像帧f5内的全部像素数的1％。

偏移判定部18在判定为加工预定轨迹31a没有与加工轨迹33发生偏移时(在步骤s7中为no)，处理跳转至步骤s13。

偏移判定部18在判定为加工预定轨迹31a与加工轨迹33发生偏移时(在步骤s7中为yes)，处理跳转至步骤s8。

图11是表示在图像帧f6内生成的分割区域34的图。

在步骤s8中，分割区域生成部19生成包含至少1个加工预定区域33a(在本实施方式中，至少1个加工形状)的至少1个分割区域34。例如，分割区域生成部19求出图像帧f5内的各加工形状的外切矩形。由此，如图11所示，能够在图像帧f6内生成包含1个加工形状的分割区域34。即，在本实施方式中，生成4个分割区域34。

在步骤s8中，也可以形成相互外切的多个分割区域34。在该情况下，在多个分割区域34内包含大于或等于2个加工形状。

在步骤s9中，进行类似形状检索处理。具体而言，类似形状检索部20从差分图像f4中检索与加工预定图像的分割区域34类似的区域，取得与加工预定图像的分割区域34类似的区域作为特定区域35。

图12是表示类似形状检索处理的流程的一个例子的流程图。

在步骤s91中，类似形状检索部20计算加工预定图像的分割区域34内的图像的hu矩不变量。例如，hu矩不变量是使用非专利文献即下述文献记载的方法进行计算。

ming－kueihu.“visualpatternrecognitionbymomentinvariants”iretrasactionsoninformationtheory，vol.it－8，pp179－187，1962.

hu矩不变量能够针对图像内的任意区域进行计算，具有在表示某个形状的图像、和对其形状进行比例变更、旋转、或者平行移动后的图像之间不变的特征。

在步骤s92中，类似形状检索部20确定、取得差分图像f4内的区域，该差分图像f4内的区域是具有与分割区域34相同尺寸的区域并且具有与在步骤s91得到的hu矩不变量最接近的hu矩不变量。具体而言，使具有与分割区域34相同尺寸的区域在差分图像f4内每次移动1个像素，在每次使区域移动时求出hu矩不变量，确定加工预定图像的分割区域34的hu矩不变量和在差分图像f4内求出的hu矩不变量之差的范数最小的区域。

在步骤s93中，取得、保存在步骤s92中得到的差分图像f4内的区域，作为特定区域35。

图13是表示差分图像f4内的特定区域35的图。

对于加工预定图像的分割区域34分别进行步骤s91至s93的处理。由此，在本实施方式中，如图13所示，得到4个特定区域35。

在步骤s10中，进行代表点提取处理。具体而言，代表点提取部21提取分割区域34中包含的加工预定区域33a(在本实施方式中，加工形状)的机械坐标系中的重心坐标即代表点和特定区域35中包含的已加工区域33b的图像坐标系中的重心坐标即代表点。

图14是表示代表点提取处理的一个例子的流程图。

在步骤s101中，代表点提取部21计算在与差分图像f4内的1个特定区域35对应的分割区域34中包含的加工预定区域33a的重心坐标。具体而言，代表点提取部21计算在与差分图像f4内的1个特定区域35对应的分割区域34(即，与特定区域35类似的分割区域34)中包含的加工预定区域33a内的全部机械坐标(即，机械坐标系中的坐标)的平均，由此，能够提取重心坐标。

在步骤s102中，代表点提取部21计算在差分图像f4的特定区域35(即，在步骤s101中使用的特定区域35)中包含的已加工区域33b的重心坐标。具体而言，代表点提取部21计算在特定区域35内像素值为1的已加工区域33b内的全部图像坐标(即，图像坐标系中的坐标)的平均，由此，能够提取重心坐标。

在步骤s103中，将在步骤s101以及s102中得到的重心坐标、即2个重心坐标保存为代表点。

图15是示意性表示代表点的集合的图。

对于各特定区域35以及与各特定区域35对应的分割区域34进行步骤s101至s103的处理。由此，得到与特定区域35的数量相同数量的代表点的集合g1、g2、g3以及g4。在本实施方式中，如图15所示，得到4组代表点的集合g1、g2、g3以及g4。

在步骤s11中，投影矩阵计算部22使用机械坐标系中的重心坐标和图像坐标系中的重心坐标，计算用于进行机械坐标系和图像坐标系之间的投影变换的投影矩阵h(换言之，用于进行重叠位置校正的投影矩阵h)。具体而言，通过将在步骤s10得到的代表点的集合g1、g2、g3以及g4代入上述公式1，能够得到投影矩阵h。投影矩阵32的自由度是8，因此，为了得到投影矩阵h，需要至少4组代表点的集合。

在步骤s12中，将在步骤s11中得到的投影矩阵h保存于存储装置3。即，将投影矩阵32更新为新的投影矩阵(即，在步骤s11中得到的投影矩阵h)。由此，能够得到用于进行重叠位置校正的校正后的投影矩阵。

图16是表示图像帧f7内的与工件w1重叠的、校正后的加工预定轨迹31b的图。

在步骤s13中，重叠显示部14使用在步骤s12中得到的投影矩阵，将机械坐标系中的加工预定轨迹31变换为图像坐标系中的加工预定轨迹31b，以使新的加工预定轨迹31b在图像帧f7内重叠于工件w1的方式显示于显示器15。由此，对进行重叠位置校正之前使用的加工预定轨迹31进行校正，在应重叠于工件w1的位置重叠新的加工预定轨迹31b。并且，重叠显示部14能够使图像帧f7显示于显示器15。

激光加工机2(具体而言，加工控制部2b)能够按照新的加工预定轨迹31b进行加工，并且，用户能够确认在显示器15显示的新的加工预定轨迹31b。因此，用户能够一边观察在显示器15显示的新的加工预定轨迹31b一边对激光加工机2的动作进行监视和控制。

如以上说明所述，根据本实施方式，使用加工预定轨迹31和加工轨迹33，对应重叠于工件w1的加工预定轨迹的位置进行校正，因此，不需要在每次进行加工时进行使用了棋盘格模式等的校正，能够通过简易的方法进行重叠位置校正。

并且，根据本实施方式，不是圆形等局部特征量，而使用加工轨迹33以及已加工区域33b等的形状特征量进行重叠位置校正，因此，即使是不易检测的加工轨迹33以及已加工区域33b，也能够高精度地进行加工预定轨迹(具体而言，在步骤s7中使用的加工预定轨迹31a)和加工轨迹33的偏移的判定(步骤s7)，能够提高重叠位置校正的精度。

图17是表示重叠位置校正装置1的具体的硬件结构的一个例子的框图。

在上述实施方式中说明的图像取得部12、投影变换部13、重叠显示部14、差分图像生成部16、加工预定图像生成部17、偏移判定部18、分割区域生成部19、类似形状检索部20、代表点提取部21以及投影矩阵计算部22的功能能够通过cpu(centralprocessingunit)等处理器实现。在上述实施方式中说明的分割区域34、特定区域35以及重心坐标等各种数据能够储存于存储器1b。图1所示的存储装置3也可以是重叠位置校正装置1内的存储器1b。在该情况下，加工预定轨迹31、投影矩阵32等数据储存于存储器1b。网络接口1c与激光加工机2以及存储装置3能够通信地连接。照相机1f与图1所示的照相机11对应，显示器1e与图1所示的显示器15对应。照相机1f经由显示器接口1d与显示器1e连接，照相机图像显示于显示器1e。

标号的说明

1重叠位置校正装置，1a处理器，1b存储器，1c网络接口，1d显示器接口，1e显示器，1f照相机，2激光加工机，2a加工头，2b加工控制部，3存储装置，11照相机，12图像取得部，13投影变换部，14重叠显示部，15显示器，16差分图像生成部，17加工预定图像生成部，18偏移判定部，19分割区域生成部，20类似形状检索部，21代表点提取部，22投影矩阵计算部，31、31a、31b加工预定轨迹，32投影矩阵，33加工轨迹，33a加工预定区域，33b已加工区域，f1图像帧(第1图像帧)，f2图像帧(第2图像帧)，f3、f4差分图像，w1、w2工件。