本发明一种核燃料棒位姿自动识别装置与方法属于机器视觉与核电装备制造自动化
技术领域：
。
背景技术：
：伴随着世界各国对清洁能源需要的不断扩大，核电工业也在快速发展。核燃料棒束是核电装备中的核心部件，由核燃料棒与栅板框架组装而成(通过核燃料棒下端塞与栅板框架上的栅板插装而成)，如图1所示。由于核燃料棒会产生核辐射，而核辐射不仅会对环境产生严重污染，而且会对从业人员的身体健康造成巨大伤害，因此，需要对核燃料棒与栅板进行自动化组装，以保证核电装备制造的安全性。由于核燃料棒为细长圆柱体，在组装的过程中，不仅会因自重产生较大的挠曲变形，而且在移动过程中还会产生振动，要想实现核燃料棒与栅板自动化组装，需要对核燃料棒的形状变化及位姿变化进行监测。因此，构建核燃料棒下端塞空间位姿检测装置，开发下端塞与栅板之间的位姿信息精确、快速识别算法是实现核燃料棒束自动组装的关键。然而，还没有查阅到与核燃料棒束自动组装直接相关的技术。技术实现要素：针对核燃料棒束自动组装的技术需求，本发明公开了一种核燃料棒位姿自动识别装置与方法，能够监测核燃料棒的形状变化及位姿变化，为核燃料棒与栅板框架的自动化组装提供装置基础及理论基础，有利于实现核燃料棒束自动化组装，不仅可以提高核电装备制造的安全性，而且可以大幅提高核电装备制造的智能化水平。本发明的目的是这样实现的：一种核燃料棒位姿自动识别装置，在理想状态下，定义核燃料棒轴线方向为Y轴，栅板中面所在的平面与栅板的前端面所在的平面之间的交线所在的方向为Z轴，根据“笛卡尔坐标系右手法则”确定出X轴方向，建立笛卡尔坐标系O-XYZ；包括正交布置的第一相机和第二相机，所述第一相机光轴方向平行于Z轴，图像的横、纵坐标分别平行于X轴和Y轴，用于检测核燃料棒下端塞相对于栅板在X轴方向和Y轴方向的位移信息，以及下端塞开口槽绕Y轴旋转的偏转角α和下端塞轴线在XOY平面内的方向角θ；所述第二相机光轴方向平行于X轴，图像的横、纵坐标分别平行于Y轴和Z轴，用于检测核燃料棒下端塞相对于栅板在Y轴方向和Z轴方向的位移信息，以及下端塞轴线在YOZ平面内的方向角基于所述的位移信息、偏转角和方向角，识别出核燃料棒下端塞与栅板之间的相对位置和核燃料棒下端塞开口槽与栅板之间的相对姿态。上述核燃料棒位姿自动识别装置，定义核燃料棒的下端塞直径为D，开口槽长度为L，开口槽宽度为W1，栅板框架的宽度为W，高度为H，栅板的厚度为T，下端塞初始位置与栅板框架之间的安全距离为DS，限定栅板厚度与开口槽宽度之间的最小差值为Δ，即W1-T≥Δ，图像的识别精度为δ，取δ＝Δ/4；第一相机的最小分辨率为RA1×RA2，其中，RA1≥W/δ，RA2(2L+DS)/δ；第二相机的最小分辨率为RB1×RB2，其中，RB1≥(2H/3+D+DS)/δ，RB2≥(2L+DS)/δ。以上核燃料棒位姿自动识别装置，第一相机和第二相机的内外参数标定包括以下步骤：步骤a、用张正友标定法标定第一相机的内参数fx1、fy1、u01和v01；步骤b、用张正友标定法标定第二相机的内参数fx2、fy2、u02和v02；步骤a和步骤b顺序能够更换或同步进行；步骤c、用第一相机和第二相机拍摄同一块标定板，分别获得标定板第一图像和标定板第二图像；步骤d、以步骤c所述标定板为基准，建立参考坐标系，分别求第一相机相对于参考坐标系的位姿参数矩阵以及第二相机相对于参考坐标系的位姿参数矩阵R2cT2c01;]]>步骤e、按照如下公式：R21T2101=R1cT1c01-1·R2cT2c01]]>得到第二相机相对于第一相机的位姿参数矩阵。一种在上述核燃料棒位姿自动识别装置上实现的核燃料棒位姿自动识别方法，包括以下步骤：步骤a、提取核燃料棒下端塞的图像特征；步骤b、计算核燃料棒下端塞的空间位姿信息；步骤c、按照空间位姿信息，组装核燃料棒。上述核燃料棒位姿自动识别方法，步骤a所述的提取核燃料棒下端塞的图像特征，具体为：步骤a1、建立下端塞轮廓信息模板；步骤a2、基于步骤a1得到的下端塞轮廓信息模板进行感兴趣区域定位与分割；步骤a3、提取图像特征。上述核燃料棒位姿自动识别方法，步骤b所述的计算核燃料棒下端塞的空间位姿信息，具体为：步骤b1、建立核燃料棒下端塞空间位姿检测的正交双目立体视觉模型；步骤b2、计算下端塞在第一相机坐标系中的位置；步骤b3、计算下端塞在第一相机坐标系中的姿态；步骤b4、计算下端塞在世界坐标系中的空间位姿。有益效果：第一、第一相机光轴方向平行于Z轴，图像的横、纵坐标分别平行于X轴和Y轴；第二相机光轴方向平行于X轴，图像的横、纵坐标分别平行于Y轴和Z轴；即第一相机与第二相机正交布置，使核燃料棒位姿检测在两个正交的平面内进行，其技术优势在于同传统基于双目视觉的空间位姿识别技术相比，省略了对三维物体重构的环节。第二、本发明检测对象为核燃料棒，针对其细长圆柱体结构的特殊性，并结合第一相机和第二相机正交固定布置，不仅同“眼在手上的布置方式”相比更容易采集图像，而且不容易发生图像遮挡。第三、由于省略了三维物体重构环节，同时不容易发生图像遮挡，因此本发明双目视觉系统中的两台相机能够独立工作，有利于提高图像处理速度，进而提高核燃料棒束的组装效率。本发明核燃料棒位姿自动识别装置与方法，能够监测核燃料棒的形状变化及位姿变化，为核燃料棒与栅板框架上的栅板自动化组装提供装置基础及理论基础，有利于实现核燃料棒束自动化组装，不仅可以提高核电装备制造的安全性，而且可以大幅提高核电装备制造的智能化水平。附图说明图1是核燃料棒与栅板框架上的栅板组装成核燃料棒束的示意图。图2是本发明核燃料棒位姿自动识别装置原理图。图3是本发明核燃料棒位姿自动识别装置实物图。图4是本发明核燃料棒位姿自动识别方法流程图。图5是提取核燃料棒下端塞的图像特征的流程图。图6是第一相机得到的图像。图7是第二相机得到的图像。图8是以燃料棒下端塞区域作为图像金字塔的下端塞形状模板。图9是绘制的矩形区域。图10是下端塞的感兴趣区域。图11是去噪处理后的感兴趣区域。图12是区域分割后的感兴趣区域。图13是采用最小矩形包络的感兴趣区域。图14是感兴趣区域的中间部分图像。图15是燃料棒下端塞的圆柱母线以及开口槽的棱边直线。图16是方向角θ、距离d、以及半径r在如图15中的位置。图17是下端塞端面投影关系图。图18是计算核燃料棒下端塞的空间位姿信息的流程图。图19是正交双目立体视觉系统模型。图20是下端塞轴线的姿态角计算原理图。具体实施方式下面结合附图对本发明具体实施例作进一步详细描述。具体实施例一本实施例为核燃料棒位姿自动识别装置实施例。本实施例的核燃料棒位姿自动识别装置，原理图和实物图分别如图2和图3所示。该核燃料棒位姿自动识别装置包括正交布置的第一相机和第二相机，所述第一相机光轴方向平行于Z轴，图像的横、纵坐标分别平行于X轴和Y轴，用于检测核燃料棒下端塞相对于栅板在X轴方向和Y轴方向的位移信息，以及下端塞开口槽绕Y轴旋转的偏转角α和下端塞轴线在XOY平面内的方向角θ；所述第二相机光轴方向平行于X轴，图像的横、纵坐标分别平行于Y轴和Z轴，用于检测核燃料棒下端塞相对于栅板在Y轴方向和Z轴方向的位移信息，以及下端塞轴线在YOZ平面内的方向角所述X轴、Y轴和Z轴的定义如下：在理想状态下，定义核燃料棒轴线方向为Y轴，栅板中面所在的平面与栅板的前端面所在的平面之间的交线所在的方向为Z轴，根据“笛卡尔坐标系右手法则”确定出X轴方向，建立笛卡尔坐标系O-XYZ；需要说明的是，如果后期通过对两相机相对位置的标定，发现两相机光轴的正交误差大于1°，可通过调整相机的安装来减小误差，直至正交误差小于1°；基于所述的位移信息、偏转角和方向角，识别出核燃料棒下端塞与栅板之间的相对位置和核燃料棒下端塞开口槽与栅板之间的相对姿态。具体实施例二本实施例为核燃料棒位姿自动识别装置实施例。本实施例的核燃料棒位姿自动识别装置，在具体实施例一的基础上，限定第一相机和第二相机的最小分辨率。定义核燃料棒的下端塞直径为D，开口槽长度为L，开口槽宽度为W1，栅板框架的宽度为W，高度为H，栅板的厚度为T，下端塞初始位置与栅板框架之间的安全距离为DS，限定栅板厚度与开口槽宽度之间的最小差值为Δ，即W1-T≥Δ，图像的识别精度为δ，取δ＝Δ/4；第一相机的最小分辨率为RA1×RA2，其中，RA1≥W/δ，RA2≥(2L+DS)/δ；第二相机的最小分辨率为RB1×RB2，其中，RB1≥(2H/3+D+DS)/δ，RB2≥(2L+DS)/δ。以具体数据为例进行详细说明：下端塞直径为D＝5mm，开口槽长度为L＝7mm，开口槽宽度为W1＝1.32mm，栅板框架的宽度为W＝56.4mm，高度为H＝64mm，栅板厚度为T′＝1.2mm，下端塞初始位置与栅板框架之间的安全距离为DS＝10mm，栅板与下端塞开口槽之间的间隙为Δ＝W1-T＝0.12mm，则图像的识别精度为：δ＝Δ/4＝0.03mm；根据上述数据，计算：第一相机的最小分辨率：W/δ×(2L+DS)/δ＝1880×800；第二相机的最小分辨率：(2H/3+D+DS)/δ×(2L+DS)/δ＝1922×800。某相机的主要参数列表如下：某相机的主要参数列表由于该相机的分辨率均大于第一相机的最小分辨率以及第二相机的最小分辨率，因此适用于本发明核燃料棒位姿自动识别装置，图3所示的核燃料棒位姿自动识别装置采用的就是两台该相机。具体实施例三本实施例为核燃料棒位姿自动识别装置实施例。本实施例的核燃料棒位姿自动识别装置，在具体实施例一和实施例二的基础上，对第一相机和第二相机的内外参数进行标定，包括以下步骤：步骤a、用张正友标定法标定第一相机的内参数fx1、fy1、u01和v01；步骤b、用张正友标定法标定第二相机的内参数fx2、fy2、u02和v02；步骤a和步骤b顺序能够更换或同步进行；步骤c、用第一相机和第二相机拍摄同一块标定板，分别获得标定板第一图像和标定板第二图像；步骤d、以步骤c所述标定板为基准，建立参考坐标系，分别求第一相机相对于参考坐标系的位姿参数矩阵以及第二相机相对于参考坐标系的位姿参数矩阵R2cT2c01;]]>步骤e、按照如下公式：R21T2101=R1cT1c01-1·R2cT2c01]]>得到第二相机相对于第一相机的位姿参数矩阵。对图3所示的核燃料棒位姿自动识别装置中的两台相机进行标定。首先，用张正友标定法标定第一相机和第二相机的内参数，如下表所示：双目相机内参数标定结果然后，用第一相机和第二相机拍摄同一块标定板，分别获得标定板第一图像和标定板第二图像，求得第一相机相对于标定板的旋转矩阵R1c和平移矩阵T1c、第二相机相对于标定板的旋转矩阵R2c和平移矩阵T2c分别为：R1c=-0.36520.8670-0.3390-0.6468-0.4982-0.5774-0.66950.00830.7427]]>T1c=129.6229.4-284.2]]>R2c=-0.33960.86660.3655-0.5773-0.49890.64640.74250.00850.6698]]>T2c=-71.5-112.9-143.7]]>最后，按照如下公式：R21T2101=R1cT1c01-1·R2cT2c01]]>得到第二相机相对于第一相机的位姿参数矩阵：R21=0.00030.0005-1.0000-0.00061.00000.00051.0000-0.00070.0004]]>T21=200.8-2.6370.2]]>具体实施例四本实施例为核燃料棒位姿自动识别方法实施例。本实施例的核燃料棒位姿自动识别方法，流程图如图4所示。该方法包括以下步骤：步骤a、提取核燃料棒下端塞的图像特征；步骤b、计算核燃料棒下端塞的空间位姿信息；步骤c、按照空间位姿信息，组装核燃料棒。具体实施例五本实施例为核燃料棒下端塞的图像特征提取方法实施例。本实施例的核燃料棒位姿自动识别方法，在具体实施例四的基础上，进一步限定步骤a所述的提取核燃料棒下端塞的图像特征包括以下步骤：步骤a1、建立下端塞轮廓信息模板；步骤a2、基于步骤a1得到的下端塞轮廓信息模板进行感兴趣区域定位与分割；步骤a3、提取图像特征。提取核燃料棒下端塞的图像特征的流程图如图5所示。下面以具体图像为例，对提取核燃料棒下端塞的图像特征作详细说明。第一相机采集到的图像如图6所示，第二相机采集到的图像如图7所示。步骤a1、建立下端塞轮廓信息模板；首先对图6中的图像采用中值滤波进行三次平滑处理，使整幅图像的像素逐渐变少；然后根据像素的多少把图像从下到上排列，形成图像金字塔；再采用交互方式分别提取出各层图像中下端塞的轮廓，建立多层金字塔形的下端塞轮廓模板，该模板将在后期被用作在整幅图像中定位下端塞的位置。以三层为例，燃料棒下端塞区域作为图像金字塔的下端塞形状模板如图8所示。步骤a2、基于步骤a1得到的下端塞轮廓信息模板进行感兴趣区域定位与分割；从第一层开始进行下端塞轮廓的模板匹配，确定下端塞部分在整幅图像中的大致位置；根据大致位置再向下一层搜索，并评估两幅图像中下端塞的轮廓形状的匹配度。采用图8中训练好的形状模板对图6中核燃料棒的下端塞进行定位，最终搜索出燃料棒下端塞模板的位置、角度以及相似度分别如下表所示：图6中的图像中的下端塞定位参数由于匹配度达到98.211％(大于90％)，即认为可以获得下端塞的精确位置；采用下端塞区域中心的行值Row、列值Col以及角度值θ1为输入绘制如图9所示的矩形区域。其中，根据下端塞的大小选择l1为200个像素和l2为140个像素。根据下端塞定位参数对下端塞待定位的图片进行分割，得到下端塞的感兴趣区域如图10所示。步骤a3、提取图像特征；为了后期精确识别出燃料棒下端塞的位姿，需要从感兴趣区域中精确提取出燃料棒下端塞端面中心的位置信息以及下端塞轴线的方位角信息。仍以图6为例，采用高斯滤波对图10中分割出的感兴趣区域进行去噪处理；依据图像灰度阈值对燃料棒下端塞区域进行下端塞感兴趣区域图像分割并进行形态学开操作，获得燃料棒下端塞的区域；对分割出的图形采用最小矩形包络，即可求得图像中最小外接矩形的边界中点的坐标值。其中，去噪处理后的感兴趣区域如图11所示，区域分割后的感兴趣区域如图12所示，采用最小矩形包络的感兴趣区域如图13所示，在图13中，点(u1，v1)即为燃料棒下端塞在第一相机图像坐标系中的端部中心点。在提取下端塞圆柱的母线和开口槽棱边的投影线上的像素点时，为了消除下端塞端部倒角和开口槽里侧圆弧部分的干扰，进一步缩小图像的感兴趣区域，只保留如图14所示的感兴趣区域的中间部分图像；提取燃料棒下端塞的圆柱部分母线轮廓以及开口槽的棱边轮廓的系列像素点，再采用最小二乘法对每一段轮廓分别进行拟合，得到如图15所示的燃料棒下端塞的圆柱母线以及开口槽的棱边直线；进而求出下端塞圆柱的轴线和开口槽的中心线，进而计算出图像坐标系下下端塞轴线的方向角θ以及开口槽中心线与下端塞圆柱轴线的距离d和下端塞圆柱的半径r，如图16所示。由燃料棒下端塞的几何结构和图17所示的下端塞端面投影关系可知，下端塞开口槽的偏转角α可由公式α＝arcsin(d/r)求出。同理，利用上述方法，可以对第二相机采集的燃料棒下端塞的图像进行处理，得到燃料棒下端塞在第二相机图像坐标系下的端部中心点(u2，v2)和燃料棒下端塞轴线的方向角本实施例的具体计算结果如下：(u1，v1)＝(951.0，444.7)θ＝-100.095°α＝4.944°(u2，v2)＝(752.3，990.4)具体实施例六本实施例为核燃料棒位姿自动识别方法实施例。本实施例的核燃料棒位姿自动识别方法，在具体实施例四和实施例五的基础上，进一步限定步骤b所述的计算核燃料棒下端塞的空间位姿信息，具体为：步骤b1、建立核燃料棒下端塞空间位姿检测的正交双目立体视觉模型；步骤b2、计算下端塞在第一相机坐标系中的位置；步骤b3、计算下端塞在第一相机坐标系中的姿态；步骤b4、计算下端塞在世界坐标系中的空间位姿。计算核燃料棒下端塞的空间位姿信息的流程图如图18所示。下面以具体图像为例，对计算核燃料棒下端塞的空间位姿信息作详细说明。步骤b1、建立核燃料棒下端塞空间位姿检测的正交双目立体视觉模型；根据图2所示的正交双目视觉系统的相机布置方案，建立如图19所示的正交双目立体视觉系统模型。其中，O-XYZ为世界坐标系，O1-X1Y1Z1和o1-x1y1分别为第一相机的相机坐标系和图像平面坐标系，O2-X2Y2Z2和o2-x2y2分别为第二相机的相机坐标系和图像平面坐标系，且第二相机的光轴Z2和第一相机的光轴Z1正交；M为下端塞的端面中心点，N为下端塞轴线上不与M重合的任意一点，m1n1和m2n2分别为MN在o1-x1y1和o2-x2y2上的投影；θ和分别为线段m1n1和m2n2在平面o1-x1y1和o2-x2y2内的方向角。下端塞分别在o1-x1y1和o2-x2y2内的特征点m1和m2的像素坐标(u1，v1)和(u2，v2)以及α、θ和可以按照具体实施例五所述的方法获得。步骤b2、计算下端塞在第一相机坐标系中的位置；根据相机成像原理可知：核燃料棒下端塞端面中心M在第一相机坐标系下的坐标值(X1，y1，Z1)与(u1，v1)之间的关系为：u1=fx1X1Z1+u01v1=fy1Y1Z1+v01]]>其中：fx1、fy1与u01、v01为第一相机的内参数。对于第二相机，同理可得出点M在第二相机坐标系下的坐标值(X2，Y2，Z2)与(u2，v2)之间的关系为：u2=fx2X2Z2+u02v2=fy2Y2Z2+v02]]>其中：fx2、fy2与u02、v02为第二相机的内参数。事实上，点M在第二相机坐标系下的坐标值(X2，Y2，Z2)与其在第一相机的坐标系下的坐标值(X1，Y1，Z1)存在如下关系：X2Y2Z2=R21-1(X1Y1Z1-T21)]]>其中：R21和T21分别为第二相机的坐标系O2-X2Y2Z2相对于第一相机的坐标系O1-X1Y1Z1的旋转矩阵和平移矩阵，可以按照具体实施例三所述的方法获得。在以上公式基础上，根据点M分别在两相机图像坐标系中的投影点m1和m2的像素坐标值(u1，v1)和(u2，v2)和两相机的内参数(fx1、fy1、u01、v01)与(fx2、fy2、u02、v02)，计算出下端塞端部中心点M在第一相机坐标系O1-X1Y1Z1中的位置坐标(X1，Y1，Z1)：X1Y1Z1=(u1-u01)(fx2T21z+(u2-u02)T21x)fx1fx2+(u1-u01)(u2-u02)(v1-v01)fx1(fx2T21z+(u2-u02)T21x)fy1(fx1fx2+(u1-u01)(u2-u02))fx1(fx2T21z+(u2-u02)T21x)fx1fx2+(u1-u01)(u2-u02)]]>步骤b3、计算下端塞在第一相机坐标系中的姿态；表示下端塞轴线的线段MN在第一相机坐标系中姿态的偏航角β和俯仰角γ可以根据θ和确定，具体方法如下：为了分析方便，建立以点M为原点，与坐标系O1-X1Y1Z1完全平行的坐标系O′1-X′1Y′1Z′1，如图20所示。于是MN位于坐标系O′1-X′1Y′1Z′1中的姿态矩阵R′1即为其位于坐标系O1-X1Y1Z1中的姿态矩阵R1。根据如图19所示的正交双目立体视觉模型，MN在两相机图像平面内的投影m1n1和m2n2分别平行于MN在O′1-X′1Y′1和O′1-Y′1Z′1上的投影，而且有：同时偏航角β与θ、存在如下关系：消去a、b和c，可以由θ和求得β：分别获得核燃料棒下端塞的偏转角α、偏航角β和俯仰角γ后，就可以确定下端塞轴线MN在第一相机坐标系O1-X1Y1Z1中的姿态矩阵R1为：R1＝R′1＝Rotz(α)Roty(β)Rotx(γ)步骤b4、计算下端塞在世界坐标系中的空间位姿。按照对相机外参数标定的方法，可以标定出第一相机坐标系相对于世界坐标系的位置变换矩阵R1w和姿态变换矩阵T1w。于是，可分别求出下端塞端面中心M在世界坐标系中的位置矩阵Tw和下端塞的姿态矩阵Rw：Tw=R1wX1Y1Z1+T1w]]>Rw＝R1wR1位置矩阵Tw和姿态矩阵Rw就是下端塞在世界坐标系中的空间位姿。上面对本发明的实施例作了描述，但是本发明并不局限于上述参数的核燃料棒空间位姿自动识别的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本
技术领域：
的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权力要求所保护的范围的情况下，还可以在其它基于正交双目立体视觉系统的核燃料棒自动组装中应用，这些均属于本发明的保护范围之内。本实施例中未明确的各组成部分均可用现有技术加以实现。当前第1页1 2 3