专利名称：一种用于焊接机器人连续运动的视图模型简约描述方法
技术领域：
本发明涉及的是一种焊接机器人智能化检测技术应用领域的方法，特别是一种用 于焊接机器人连续运动下的线结构光视觉视图模型的简约描述方法。
背景技术：
激光视觉传感器因其更接近于焊接操作员最为频繁使用的“视觉感知”而被引入 到焊接检测领域，可用于在线焊缝检测，焊接质量控制，初始焊缝搜索等多种焊接应用场 合，但是不同的应用场合以及不同的工艺要求往往需要检测不同的焊件特征，而对于以利 用图像分析和机器视觉对焊件特征进行检测和解释为主要工作原理的激光视觉传感而言， 需要为其提供模型或者规则作为系统的先验知识，才能够达到解释并提取所需要用于焊接 工艺控制的焊件特征。另外在机器人弧焊应用中，连续运动方式是最主要的工艺操作方式， 而在连续运动下的线结构光视觉传感要求在运动的同时实时地给出检测结果，不能采用对 焊件整体扫描完后进行3D重建分析，因此其识别时所使用的模型类型是以观测视点为主 的视图模型，但是待检测对象的视图往往会因对象外部形状的不同或者是传感头相对于对 象检测位姿的不同而不同，因此其形态往往多变且很难预测。对于以往的激光视觉焊件特征检测方法来说，按模型描述与获取方法的不同一 般可以分为3种，第一种是采用灰度图像作为系统先验知识的描述方式，其代表可见郑军 等人在《上海交通大学学报》(2008，vol42, Sup :41_46)发表的“基于粒子滤波的结构光 实时焊缝跟踪技术”，K. Hang等人在Proc. ISIE，1999，pp. 919-924中所发表的“Reducing distortions caused by the welding arc in a laser stripe sensor system for automated seam tracking”，该种方法的不足之处在于直接采用了图像信号作为模型，因 此很难将各类焊接工艺知识嵌入到图像中去，另外其要求操作人员在现场针对实际的焊 件完成模型的采集与相关参数的设置，因此其应用往往只局限于焊缝跟踪中。第二种是采 用规则作为系统先验知识的描述方式，相关代表可见李原等人在《传感技术学报》(2006， V0L19, N0. 6:2676-2681)发表的“焊缝跟踪视觉传感器中图像多类型特征选择与提取”， J. Wu 等人在 IEE Proceedings Science Measurement and Technology, 1996, pp. 85-90 中 所发表的"Weld bead placement system for multipass welding. Science, Measurement and Technology”，其不足之处在于需要针对特定的对象总结出相应的规则来，而规则的获 取途径则是需要通过人工经验总结出来，因此模型的获取效率与通用性都受到了限制。第三种方法则是使用了工件的一般性几何特征及其组合作为模型描述方式，相关 代表可见龚烨飞等人在《焊接学报》(2009，V0L30，N0. 9:42-44)所发表的“结构光视觉焊接 接头鲁棒识别，，，Sicard P 等人在《IEEE Transactions on System,Man and Cybernetics)) 上所发表的"Joint recognition and tracking for robotic arc welding，，，才目比较前两 种而言，该种方式的扩展性与通用性较好，从理论上来讲可以适用于任何常见甚至是复杂 的焊件特征，并且比较接近于各类焊接标准(GB 985-88)中对于焊件特征的抽象描述。但 目前该方法的实际应用范围仅针对较为简单焊缝特征检测，由专家通过总结给出了最终识别时所需要的模型。但如果遇到复杂的焊缝或者配之复杂的工艺操作运动的话，则人工总 结不仅很难给出模型，同时也耗时耗力。
发明内容
本发明针对上述问题，在第三种方法的基础上给出了线结构光视觉传感在机器人 焊接应用中的连续运动下的视图模型简约描述方法，该视图模型的获取是在焊接机器人仿 真环境下实现的，因此可以达到模型知识获取自动化的目的，最终获得的视图将以一种简 约的方式描述，既达到了预测视图的目的，又节省了存储模型所需要的空间。本发明的技术方案是，一种用于机器人连续运动下的线结构光视觉视图模型的简 约描述方法，步骤包括1)首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测位姿的规 划；2)再通过沿规划好的检测运动轨迹获取传感器成像的仿真信号以得到原始的视 图数据集；3)最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图描 述模型。该方法作为焊接机器人离线编程仿真系统的传感器仿真功能在一定程度上提升 了机器人检测的自动化，该方法可应用于基于线结构光视觉传感的焊缝跟踪和焊缝搜索等 典型任务中。传感器检测位姿规划在需要同时满足“感兴趣的焊件特征处于传感头有效检测范围内”和“机器人工 具手满足相关工艺要求”的双重约束下，针对6自由度焊接机器人焊接应用要求，给出焊接 中两类常见约束配置情况下的传感器检测位姿规划方法6自由度检测位姿规划和绕枪轴 旋转单自由度检测位姿规划，要求最终给出满足双重约束的机器人末端位姿连续运动序列
ΒΤ = {Βτ , = \...Ν]，其中化为工具手位姿。沿运动轨迹采集仿真成像信号将通过对线结构光视觉传感器成像过程进行模拟以获取在对应位姿％处的视图 Vi,最终获得对应于bT的视图集为V= {Vi，i = Ρ··Ν}。成像采样信号分类Vi 将被描述为 Pres(Vi) = (qual (Vi)，quat (Vi))，其中 qual (Vi)表示对 Vi 的定性 描述，而quat(Vi)表示对Vi的定量描述。通过定义定性一致性准则和定量合并准则，最后 可以获得沿机器人连续运动轨迹T = Iti, i = Ρ··Ν}的传感器视觉视图模型集合描述为 PRES(V) = {qual(vk),quat(vk),Sk,Ek,h = \...H)，其中％为整个分类视图的代表性视图。
图1坐标系定义图2传感器检测位姿规划图3绕枪旋转单自由度检测位姿规划
6
图4传感器视野相交直线段轮廓提取图5传感器视野相交曲线段轮廓提取图6传感器轮廓提取摄像机消隐图7开V型坡口焊缝的横向搜索检测位姿图8开V型坡口焊缝的横向搜索检测的视图模型集合图9开V型坡口折线焊缝跟踪的检测位姿图10开V型坡口折线焊缝跟踪的视图模型集合
具体实施例方式本发明属于基于焊件CAD模型的仿真分析的具体实施方式
，也属于线结构光视觉 传感离线编程仿真系统模块之一。一、传感器检测位姿规划不同应用任务对规划所施加的约束不同，但是最终成功的应用总是需要系统同时 满足“感兴趣的目标工件特征处于传感头有效检测范围内”和“机器人工具手满足相关工艺 要求”的双重约束，这里针对实际典型的6自由度焊接机器人焊接应用要求，总结出两类具 体约束配置情况下的传感器检测位姿规划方法6自由度检测位姿规划和绕枪轴旋转单自 由度检测位姿规划。图1给出了焊接任务中各坐标系的定义，设焊件坐标系为B，工具坐标系为T，摄像 机坐标系为C，像素坐标系为I，激光坐标系L，传感头视点坐标系S。其中焊件坐标系B —般 是通过机器人基坐标系设定而建立的，因此也可以认为是全局的世界坐标系，激光坐标系L 是与像素坐标系为I在激光面上的透视投影，其定义方式后面将介绍。1.6自由度检测位姿规划该类应用主要是在焊枪不受工艺约束，传感头将享受机器人所有自由度的情况下 以完成检测，其主要应用场合包括焊接前的焊缝定位和装配情况检测。如图1所示，综合考虑传感头和焊枪之间典型的前置式装配关系，定义传感头视 点坐标系S，焊枪坐标系T首先沿枪轴fi移动一个距离D，然后再沿其前进方向(ff轴正方 向)上移动到激光面上的一个对应坐标系，其中一般D值大于0，这主要是为了使焊枪避碰 所引入的考虑。而在连续运动时则往往要求当前的视点坐标系S对准于待观测的焊件特征 点Bf，而连续运动下需要检测的焊件特征点Bf往往多于一个并同样是连续分布的，因此其 作为整体可表示为bF= {Bfi，i = 1···Μ}，并将其称之为焊件特征路径(如图2所示)。为了获取检测整个焊件特征路径所对应的机器人检测位姿^/1 = ·^。/ = !…^^，要 求在每个姿态A的视点坐标系S的位置将直接取Bfi,另外视点坐标系S的X轴一般要求与 bF相关的支持面的综合法向量％相反，即0 =，这样的指定方式一般对于bF相关面的法 向同向性较好的情况下，可以保证传感器以较好的姿态对物体表面进行观测，而S剩余的 方向向量fj^Pp只需确定其中之一即可，为此设= BfM - V；为特征点％位置处的正切 向向量，进一步根据fj)或者P和之间不同的关系将sT = {BTtt,i = 1..JV)分为以下2种通用 类型c)如果P和Bfi点的切向向量处于同一个平面内，则该类运动被称为“纵向运动”；d)如果#，鈔和％点的切向向量▽处于同一个平面内，则该类运动被称为“横 向运动”。2.绕枪旋转单自由度检测位姿规划主要针对焊枪受到焊接工艺约束，传感头只有绕焊枪轴(焊枪坐标系的X轴P ) 的旋转自由度可以利用，其主要应用场合为焊缝跟踪。如图3所示，假设已经通过焊接姿态提取获得了焊枪在机器人基坐标系下的焊接 姿态卞={，;，/ = 1...叫，其中％的5个自由度(所有平移分量，绕g轴的旋转分量(决定了
焊接倾角)，绕f2轴的旋转分量(决定了焊接转角))已经满足焊接姿态工艺要求，剩余的绕 χ轴的分量则是默认为0。另外还获取了焊件特征路径bF= {Bfi，i = 1···Μ}，其中Bfi是空 间点，一般Bfi可以直接取的平移分量，在焊缝跟踪时则是焊缝路径，激光面上的对中标 准线La，以及最小可接受的对中角度阈值Θ，那么通过以下步骤获取满足线结构光视觉焊 缝跟踪时的姿态Y=Pm=υ}e)如果i为1，则取焊接姿态，转b)步；否则如果i处于2禾Π N之间的话，则取 焊接姿态乂，并且％的第一列更新为的第一列，转b)步；如果i大于N的话，则退出。f)计算乂姿态下的基坐标系中的激光面β Π 10g)计算bTI1和焊件特征路径bF= {Bfi，i = 1···Μ}之间的交点Br1，主要通过判 断β Π工是否处于两个％和Bfi+1点之间，如果是，则计算交点Br1;然后转d)步；如果没有 交点，则#取乂并保存，然后转a)。h)计算Br1在焊枪坐标系旋转轴fi上的投影点Br2，进一步获得垂直于并且过点 Br2的平面β TI2，另外通过lA可计算在基坐标系下的对中标准线ΒΑ，则联立ΒΠ2*ΒΑ可以计 算求得一点Br3。则进一步通过向量和^可以求得绕的旋转角度θ，如果I θ I < Θ， 则化取并保存，然后转a)；否则的话，姿态可更新为绕焊枪坐标系旋转轴χ旋转θ角 的最新位姿，并转c)步。二、沿运动轨迹采取仿真成像模型信号在机器人按照预规划轨迹= = (运动后，将通过在仿真环境下对线结
构光视觉传感器成像过程模拟以获取在对应位姿化处的视图Vi，最终获得对应于bT的视图 集为V= {Vi，i = 1···Ν}，其中线结构光视觉传感成像过程模拟的具体步骤如下如图1所示，因为激光器所投射出的激光面Π在摄像机坐标系C的位姿相对固 定，则Π可以描述为aGx+bGy+CGZ+d = 0，其中a、b、c、d为坐标系C下的激光平面参数。 为了能够对传感头的成像原理进行模拟，需要在激光面上设定一激光坐标系L 取摄像机 光轴与激光面的交点为L的原点丸=(0,0, -d/c)T, L的ζ轴与激光面垂直，因此ζ轴
向量为eA ={d,b,c)J，L的χ轴为C坐标系的χ轴沿摄像机光轴向激光面的投影获得，即 cxL={\,0-a/c)T L 的 y 轴则可通过右手准则获得°九=x CxL=(-ab/c,c + a2/c,-b) ’
进一步通过归一化可获得各轴的单位向量e艽、cy[ N ，因此坐标系L与c之间的关
权利要求
一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，其特征是步骤包括1)首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测位姿规划，最终给出同时满足“感兴趣的目标工件特征处于传感头有效检测范围内”和“机器人工具手满足相关工艺要求”的双重约束的机器人末端位姿连续运动序列其中为工具手位姿；2)再通过沿规划好的检测运动轨迹获取传感器成像的仿真信号以得到原始的视图数据集；3)最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图描述模型；所述步骤1)中，所述传感器检测位姿规划方法包括6自由度检测位姿规划和绕枪轴旋转单自由度检测位姿规划；所述步骤2)中，沿运动轨迹采取仿真成像信号将通过对线结构光视觉传感器成像过程进行模拟以获取在对应位姿处的视图vi，最终获得对应于BT的视图集为V＝{vi，i＝1...N}；所述步骤3)中，成像采样信号分类vi将被描述为pres(vi)＝(qual(vi)，quat(vi))，其中qual(vi)表示对vi的定性描述，而quat(vi)表示对vi的定量描述。而通过定义定性一致性准则和定量合并准则，最后可以获得沿机器人连续运动轨迹T＝{ti，i＝1...N}的传感器视觉视图模型集合描述为其中为整个分类视图的代表性视图。FSA00000248228300011.tif,FSA00000248228300012.tif,FSA00000248228300013.tif,FSA00000248228300014.tif,FSA00000248228300015.tif
2.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简 约描述方法，其特征是所述步骤1)中，对于6自由度检测位姿规划，是在焊枪不受工艺约 束，传感头将享受机器人所有自由度的情况下以完成检测，应用场合包括焊接前的焊缝定 位和装配情况检测；bT = {BTt i 二 1..JVj的获取方法是，定义传感头视点坐标系S，即焊枪坐标系T首先沿枪轴^无移动一个距离D，然后再沿其前进方向即P轴正方向上移动到激光面上的一个对应坐 标系，其中一般D值大于0;定义待检测的焊件特征路径为bF= {Bfi，i = 1...M}；对于姿态A，其视点坐标系S的位置将直接取吁”另外视点坐标系S的χ轴要求与bF 相关的支持面的综合法向量 相反，即#=- -,Irji =为特征点％位置处的正切向向量；根据3或者ff和q之间不同的关系将吁= = 叫分为以下2种通用类型a)如果0，0和％点的切向向量fi^处于同一个平面内，则该类运动为“纵向运动”；b)如果@，纱和％点的切向向量处于同一个平面内，则该类运动为“横向运动”。
3.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简 约描述方法，其特征是所述步骤1)中，对于绕枪旋转单自由度检测位姿规划，是针对焊枪 受到焊接工艺约束，传感头只有绕焊枪轴的旋转自由度可以利用，其主要应用场合为焊缝 足艮S宗；假设已经通过焊接姿态提取获得了焊枪在机器人基坐标系下的焊接姿态
4.根据权利要求1所述的一种用于机器人连续运动下的线结构光视觉视图模型的简 约描述方法，其特征是所述步骤2)中，在机器人按照预规划轨迹= j%，i = 1..JV(运动后，将通过在仿真环境下对线结构光视觉传感器成像过程仿真以获取在对应位姿化处的视图 Vi，最终获得对应于bT的视图集为V= {Vi，i = 1...N}，获取步骤如下因为激光器所投射出的激光面Π在摄像机坐标系C的位姿相对固定，则Π可以描述 为
5.根据权利1的一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方 法，其特征是所述步骤3)中，对于连续运动的视图集V= {Vi，i = 1... N}，可以将检测位姿 邻近且定性描述一致的进行区段视图归类以减少其中的冗余度，具体按下述步骤进行成像 采样信号分类。3. 1)初始化第k个卯饭使得=例如(&)+ =quat(vi)，同时记录Sk = i作 为该类型定性形状所在区段k的起点，并设定j = i ；。3. 2)首先j自增1，如果例和qualhO定性匹配，例α ( ^)将与vj进行量值的 合并，并继续执行步骤3. 2。如果不匹配，则转至步骤3. 3 ；。3. 3)将Ek = j-Ι作为该类型所在区段k的终点，将例和^/M(A)存入分类集合 湘孤(^ = {；7鄉代),民，尽，众=1...丑}中，并设i = Ek且转步骤1 ；。3. 4)按i从小到大的顺序重复上述步骤3. 1,3. 2,3. 3直到i > N，由PAES(P)获得其代表性视图集合MM(P);最后可以获得沿机器人连续运动轨迹T = Iti, i = 1...N}的传感器视觉视图简约模 型集(F) = {qual(ν,)，quat{vk),Sk,Ek,k = \...H] a
全文摘要
本发明主要提出了一种用于机器人连续运动下的线结构光视觉视图模型的简约描述方法，该方法首先利用焊接机器人的非工艺运动的冗余自由度进行传感器检测姿态的规划，进一步通过沿规划好的检测运动轨迹采取传感器成像的仿真信号以获取原始的视图数据集，最后通过对成像采样信号定性分类得到整个机器人连续运动轨迹上的视图模型进行简约描述。该方法作为焊接机器人离线编程仿真系统的传感器仿真功能在一定程度上提升了机器人检测的自动化，该方法可应用于基于线结构光视觉传感的焊缝跟踪和焊缝搜索等典型任务中。
文档编号B23K9/095GK101966617SQ201010266458
公开日2011年2月9日 申请日期2010年8月30日 优先权日2010年8月30日
发明者戴先中, 李新德, 龚烨飞 申请人:东南大学