专利名称：机器人手眼系统结构光平面参数标定装置及方法
技术领域：
本发明属于机器人结构光视觉测量领域，尤其是机器人手眼系统中一种基于直线基元的结构光平面参数标定装置及方法。
背景技术：
结构光视觉因其测量精度高、抗干扰能力强等优点，被认为是一种有发展前途的视觉测量方式。对空间景物点的三维位置进行测量，是结构光视觉系统的主要任务。以线结构光视觉系统为例，其在三维视觉测量中有两种配置形式一种利用两台或多台摄像机采集结构光条纹图像，通过双目视觉匹配计算景物点的三维位置，此种配置方式无需标定结构光参数；另一种利用一台摄像机和一台激光器实现景物点三维信息的测量。与前者相t匕，单目结构光视觉测量方式成本较低，占用空间小且易于安装。然而单目视觉测量缺失景深信息，因此需要附加其它约束条件，在单目摄像机构成的结构光视觉系统中，这一约束条 件即为结构光平面方程，求取平面方程参数的过程即为结构光参数标定，结构光参数的标定精度直接影响到空间景物点的测量精度。对线状结构光的标定方法中，根据所用靶标不同分为两类一类是利用特定靶标，另一类是利用普通靶标。但无论采用何种方式，一般来说，结构光平面的标定大都是通过选取结构光平面与靶标相交的特征点作为标定基元，利用最小二乘拟合确定结构光平面的参数。如清华大学的徐光佑等人在文章“一种新的基于结构光的三维视觉系统标定方法.计算机学报，1995，18 (6) :450-456”中提出了一种利用交比不变性原理获取标定点的方法，通过制作特定靶标，得到至少三个坐标精确的共线点，利用交比不变性来获得结构光条纹与已知三点所在直线交点的坐标，从而获得光平面上的标定点。北京航空航天大学的周富强等人在文章 “Constructing featurepoints for calibrating a structuredlight vision sensor by viewing a plane fromunknown orientations. Optics andLasers in Engineering,2005,43 (10) :1056_1070· ” 和文章“Complete calibrationof a structured light stripe visionsensor through planar target of unknownorientations. Image and VisionComputing, 2005, 23 (I) :59_67. ”中提出了基于双重交比不变性的结构光标定点的获取方法，利用自由移动的平面棋盘格靶标，获取光平面上足够多的标定点。上述两种方法均通过选取条纹上的特征点实现结构光参数的标定，其具有以下几点局限性首先，提取标定特征点的方法仅能获取数量有限的标定特征点；第二，由于激光条纹存在一定宽度，在图像处理阶段，通过提取特征点的方法容易带来测量误差，无法较好地保证特征点的共面性，从而影响了光平面的标定精度；第三，对于自由移动平面靶标的标定方法，需要由人员移动靶标来获取特征点，且每一次移动靶标还需人工通断激光器的电源，操作过程比较繁琐。近年来，对结构光标定的研究中，与机器人运动相结合的结构光标定问题已成为研究热点，如中科院自动化研究所徐德等人在文章“基于运动的手眼系统结构光参数标定[J]·仪器仪表学报，2005, 26 (11) :1101-1105. ”中提出了一种机器人手眼系统中线结构光的标定方法，通过调整机器人末端位姿，控制摄像机在不同姿态时采集结构光条纹上的两个特征点，该标定方法仍然采用点基元实现结构光平面标定，且需要人员手动测量两个特征点间激光束的长度。
发明内容
本发明公开了一种机器人手眼系统中的结构光平面参数标定装置及方法，该装置将摄像机与激光器安装在机器人末端构成机器人手眼系统，在获知摄像机内参数的前提下，通过对激光器投射出的结构光平面参数标定，实现结构光三维视觉测量。该方法以机器人手眼系统为硬件平台；在标定区域内放置一块平面棋盘格靶标，激光投射到靶标上形成第一线结构光条纹；通过控制机器人有约束地运动，使激光投射到靶标的另一位置处形成第二线结构光条纹，摄像机分别采集两个标定位置处的两条结构光条纹图像，并计算两个标定位置处摄像机坐标系下条纹直线上点的三维坐标所满足的关系，实现以结构光条纹直线作为标定基元的结构光平面参数标定。根据本发明的一方面，本发明提出了一种机器人手眼系统结构光平面参数标定装 置，其特征在于，该装置包括机器人、摄像机、激光器和平面棋盘格靶标，其中所述摄像机与所述激光器固定在所述机器人的末端，构成机器人结构光视觉传感系统；所述平面棋盘格靶标置于所述摄像机和所述激光器下方的标定区域内；通过调整所述机器人末端的位姿，使得所述激光器投射出一束激光平面到所述平面棋盘格靶标上形成线结构光条纹，然后由所述摄像机采集得到所述线结构光条纹的图像。根据本发明的另一方面，本发明提出了一种使用所述标定装置对机器人手眼系统结构光平面参数进行标定的方法，其特征在于，所述方法包括以下步骤步骤1，调整机器人末端的位置和姿态，使得激光器投射出的激光能够投射到平面棋盘格靶标上形成线结构光条纹，且摄像机能够采集到线结构光条纹图像；步骤2，在第一标定位置，即当前标定位置处采集并保存所述线结构光条纹图像，提取图像中线结构光条纹所在的直线，并求取图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系；步骤3，求取所述第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系；步骤4，求取所述第一标定位置处所述第一摄像机坐标系下，平面棋盘格靶标所在平面上点的三维坐标所满足的关系；步骤5，在所述第一标定位置处所述第一摄像机坐标系下，基于所述步骤3得到的所述线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系和所述步骤4得到的平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到所述第一线结构光条纹直线上点的三维坐标所满足的关系；步骤6，控制机器人绕其腕部坐标系的X轴或y轴旋转一角度，使得固定于机器人末端的摄像机与位置固定的平面棋盘格靶标之间的相对位置和姿态发生改变，得到第二标定位置，同时使得激光器在第二标定位置处投射出一束激光到平面棋盘格靶标上形成第二线结构光条纹，且摄像机能够采集到第二线结构光条纹图像；步骤7，与所述步骤2-5类似，通过求取第二标定位置处图像坐标系下第二线结构光条纹直线上点的坐标所满足的关系，第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系，以及平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系；步骤8，在第一摄像机坐标系下，基于所述步骤5和步骤7得到的两条线结构光条纹直线上点的三维坐标所满足的关系，得到结构光平面上点的三维坐标所满足的关系，从而实现基于直线基元的结构光平面参数标定。本发明的优点是以结构光条纹直线作为基元进行标定，克服了传统利用点基元标定的方法中，由于特征点少、且无法精确保证特征点共面性而影响结构光平面标定精度的问题；标定过程不需要高成本的辅助调整设备；只需控制机器人做一次旋转运动，而不需标定人员多次移动靶标，可以提高标定效率，降低劳动强度，并能避免激光辐射对人体的伤害，因此特别适合结构光平面参数的现场标定。
图I为本发明机器人手眼系统结构光平面参数标定装置示意图。图2为本发明机器人手眼系统结构光平面参数标定方法流程图。图3为线结构光条纹直线透视投影图。图4为第一标定位置和第二标定位置处的线结构光条纹示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。图I为本发明机器人手眼系统结构光平面参数标定装置示意图，如图I所示，本发明机器人手眼系统结构光平面参数标定装置包括机器人I、摄像机2、激光器3和平面棋盘格靶标5，其中，所述摄像机2与所述激光器3固定在所述机器人I的末端，构成机器人结构光视觉传感系统；所述平面棋盘格靶标5置于所述摄像机2和所述激光器3下方的标定区域内；通过调整所述机器人I末端的位姿，使得所述激光器3投射出一束激光平面到所述平面棋盘格靶标5上形成线结构光条纹4，然后由所述摄像机2采集得到所述线结构光条纹4的图像；所述机器人I为六自由度工业机器人；所述摄像机2为(XD (Charge CoupledDevice,电荷耦合器件)摄像机；所述激光器3为红光半导体线激光器。图2为本发明使用所述标定装置对机器人手眼系统结构光平面参数进行标定的方法流程图，如图2所示，本发明的标定方法包括以下步骤步骤I，调整机器人末端的位置和姿态，使得激光器投射出的激光能够投射到平面棋盘格靶标上形成线结构光条纹，且摄像机能够采集到线结构光条纹图像；激光投射到平面棋盘格靶标上能够形成一条线结构光条纹，如图I所示的线结构光条纹4。根据计算机视觉中的空间直线约束空间中的线结构光条纹在摄像机中的成像仍为一直线，因此，可选取线结构光条纹所在直线作为标定基元来实现结构光平面的标定。
步骤2，在第一标定位置，即当前标定位置处采集并保存所述线结构光条纹图像，提取图像中线结构光条纹所在的直线，并求取图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系；由于激光是一种结构特殊的高斯光束，摄像机采集得到的线结构光条纹图像中，线结构光条纹具有一定的宽度，因此在求取线结构光条纹直线上点的坐标所满足的关系时需要提取线结构光条纹的中心，本发明采用文章“Carsten Steger. An Unbiased Detectorof Curvilinear Structures. IEEE Transactions on Pattern Analysis and MachineIntelligence, 1998, 20 (2) :113_125”中介绍的方法来求取条纹直线上点的坐标所满足的关系沿着线结构光条纹的法矢量选取线结构光条纹横截面上的有限个图像点，对有限个图像点的灰度值进行高斯函数拟合，选择高斯函数的顶点坐标作为激光条纹中心点的图像坐标；利用最小二乘直线拟合各条纹中心点，从而得到图像坐标系下所述线结构光条纹直线上点的坐标所满足的关系。在本发明的一实施例中，根据上述现有技术中常用的方法对第一标定位置处的线结构光条纹图像进行处理，通过提取线结构光条纹中心点，并利用最小二乘直线拟合求得图像坐标系下的条纹直线上点的坐标所满足的关系为-2. 8603u-v+1999. 9000 = O,其中，U、V分别为图像坐标系下条纹直线上某一点的横坐标和纵坐标。步骤3，求取所述第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系；图3为线结构光条纹直线的透视投影图，如图3所示，摄像机光心O和线结构光条纹直线18可以确定一个平面，根据摄像机透视投影理论，该平面即为线结构光条纹直线对应的射影平面20。建立第一摄像机坐标系15，利用摄像机的透视投影模型，确定第一摄像机坐标系15下线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系。所述摄像机的透视投影模型的描述形式请参考现有技术“马颂德，张正友.计算机视觉，科学出版社，1998.第 54 页”。在本发明一实施例中，摄像机的透视投影模型可表示为
权利要求
1.一种机器人手眼系统结构光平面参数标定装置，其特征在于，该装置包括机器人、摄像机、激光器和平面棋盘格靶标，其中 所述摄像机与所述激光器固定在所述机器人的末端，构成机器人结构光视觉传感系统； 所述平面棋盘格靶标置于所述摄像机和所述激光器下方的标定区域内； 通过调整所述机器人末端的位姿，使得所述激光器投射出一束激光平面到所述平面棋盘格靶标上形成线结构光条纹，然后由所述摄像机采集得到所述线结构光条纹的图像。
2.根据权利要求I所述的装置，其特征在于，所述机器人为六自由度工业机器人。
3.根据权利要求I所述的装置，其特征在于，所述摄像机为CCD摄像机。
4.根据权利要求I所述的装置，其特征在于，所述激光器为红光半导体线激光器。
5.一种使用权利要求I所述的标定装置对机器人手眼系统结构光平面参数进行标定的方法，其特征在于，所述方法包括以下步骤 步骤I，调整机器人末端的位置和姿态，使得激光器投射出的激光能够投射到平面棋盘格靶标上形成线结构光条纹，且摄像机能够采集到线结构光条纹图像； 步骤2，在第一标定位置，即当前标定位置处采集并保存所述线结构光条纹图像，提取图像中线结构光条纹所在的直线，并求取图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系； 步骤3，求取所述第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系； 步骤4，求取所述第一标定位置处所述第一摄像机坐标系下，平面棋盘格靶标所在平面上点的三维坐标所满足的关系； 步骤5，在所述第一标定位置处所述第一摄像机坐标系下，基于所述步骤3得到的所述线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系和所述步骤4得到的平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到所述第一线结构光条纹直线上点的三维坐标所满足的关系； 步骤6，控制机器人绕其腕部坐标系的X轴或y轴旋转一角度，使得固定于机器人末端的摄像机与位置固定的平面棋盘格靶标之间的相对位置和姿态发生改变，得到第二标定位置，同时使得激光器在第二标定位置处投射出一束激光到平面棋盘格靶标上形成第二线结构光条纹，且摄像机能够采集到第二线结构光条纹图像； 步骤7，与所述步骤2-5类似，通过求取第二标定位置处图像坐标系下第二线结构光条纹直线上点的坐标所满足的关系，第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系，以及平面棋盘格靶标所在平面上点的三维坐标所满足的关系，得到第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系； 步骤8，在第一摄像机坐标系下，基于所述步骤5和步骤7得到的两条线结构光条纹直线上点的三维坐标所满足的关系，得到结构光平面上点的三维坐标所满足的关系，从而实现基于直线基元的结构光平面参数标定。
6.根据权利要求5所述的方法，其特征在于，所述步骤2中，在求取图像坐标系下所述第一线结构光条纹直线上点的坐标所满足的关系之前，首先提取所述线结构光条纹的中心。
7.根据权利要求5所述的方法，其特征在于，所述射影平面为摄像机光心与所述线结构光条纹直线所确定的平面。
8.根据权利要求5所述的方法，其特征在于，所述步骤3进一步为联立所述步骤2得到的图像坐标系下第一线结构光条纹直线上点的坐标所满足的关系与所述摄像机的透视投影模型，得到第一标定位置处第一摄像机坐标系下，所述第一线结构光条纹直线对应的射影平面上点的三维坐标所满足的关系。
9.根据权利要求5所述的方法，其特征在于，所述步骤4进一步包括 在所述平面棋盘格靶标上选取一点作为原点，以靶标平面为XOY平面，设定Z轴垂直于靶标平面向上，按照右手定则建立靶标坐标系； 通过对摄像机外参数的标定，获取所述靶标坐标系相对于所述第一摄像机坐标系的齐次变换矩阵； 由所述齐次变换矩阵得到所述第一摄像机坐标系下，所述靶标平面的法矢量和所述靶标坐标系原点的三维坐标，从而得到所述靶标平面上点的三维坐标所满足的关系。
10.根据权利要求5所述的方法，其特征在于，所述第一结构光条纹直线与所述第二结构光条纹直线均产生于结构光平面。
11.根据权利要求5所述的方法，其特征在于，摄像机与平面棋盘格靶标的相对位置和姿态发生改变时，所述第一结构光条纹直线与所述第二结构光条纹直线不重合。
12.根据权利要求5所述的方法，其特征在于，所述第二线结构光条纹直线等效于结构光视觉传感系统固定，通过移动平面棋盘格靶标获取得到的一条等效结构光条纹直线； 所述等效结构光条纹直线与所述第一结构光条纹直线共面、不重合； 所述第二标定位置处第二摄像机坐标系下所述第二线结构光条纹直线上点的三维坐标所满足的关系等效于所述第一标定位置处第一摄像机坐标系下所述等效结构光条纹直线上点的三维坐标所满足的关系。
全文摘要
本发明公开了一种机器人手眼系统结构光平面参数标定装置及方法，该装置将摄像机与激光器安装在机器人末端构成机器人手眼系统，在获知摄像机内参数的前提下，通过对激光器投射出的结构光平面参数标定，可实现结构光三维视觉测量。本发明还公开了一种机器人手眼系统结构光平面参数标定方法，在标定区域内放置一块平面棋盘格靶标，激光投射到靶标上形成第一线结构光条纹；通过控制机器人有约束地运动，使激光投射到靶标的另一位置处形成第二线结构光条纹；摄像机分别采集两个标定位置处的两条结构光条纹图像，并计算两个标定位置处摄像机坐标系下条纹直线上点的三维坐标所满足的关系，实现以结构光条纹直线作为标定基元的结构光平面参数标定。
文档编号G01B11/00GK102927908SQ20121044006
公开日2013年2月13日 申请日期2012年11月6日 优先权日2012年11月6日
发明者景奉水, 戚玉涵, 谭民, 曾隽芳 申请人:中国科学院自动化研究所, 北京三博中自科技有限公司