专利名称:一种视觉引导下的光学玻璃安装装置及安装方法
技术领域：
本发明涉及一种视觉引导下的光学玻璃安装装置及安装方法。
背景技术：
激光惯性约束核聚变实验是目前国际上最前沿的研究课题之一，该实验通过控制激光的分阶段放大，最后形成高能激光压缩氘氚靶内爆实现可控核聚变反应。激光惯性约束核聚变实验中，大型光学玻璃是放大器工作物质和核心材料，主要用于主激光系统中，作为功率放大器和多路或主放大器使用。因而，光学玻璃的安装质量对于激光系统乃至聚变实验都至关重要。光学玻璃的质量较重(每块约50公斤)、造价昂贵，并且要求安装过程中不能在光学玻璃表面留下痕迹，不能损失光学玻璃的边缘。
目前国内神光三原型装置中光学玻璃的安装方式是人工结合气动助力装置通过 两个技术人员将光学玻璃从工作台上抬起来，放到助力装置的支撑夹上，手工操作助力装置的夹持机构并将其移动到机柜前方，然后将光学玻璃从支撑夹上取出安放到机柜上。这种方式费时费力、效率低下；并且由于人手与光学玻璃的接触会造成边缘毛刺，在表面留下污溃或表面的瑕疵，从而影响光学玻璃的光学性能，导致光学玻璃在实验过程中爆裂，从而导致对试验装置造成破坏性的损失。
美国国家点火装置中采用了洁净型工业机器人安装装置在技术人员的操作下，三自由度机械臂从工作台上抓取光学玻璃，并搬运到机架上，通过人工调整将光学玻璃安装到机架上。文献“Assembly and Maintenanceof Full Scale NIF Amplifiers inthe Amplifier Module PrototypeLaboratory(J. A. Horvath, Proc. SPIE Vol. 3492,pp. 601-608), “Assemblingand Installing LRUs for NIF”(R. E.Bonanno, Proc.SPIEVol. 3492,pp. 137-145)等都报导了采用洁净型三自由度的机械手，在人工操作机械手完成对大型光学玻璃操作，但是都没有给出具体的操作流程。这种方式，需要通过人眼观测光学玻璃位置，然后由技术人员控制机械臂抓取光学玻璃。在这个过程中，大型光学玻璃的调姿对安装工艺过程复杂，安装精度由操作人员控制，劳动量大，并且操作人员的疏忽会损坏大型光学玻璃。因而，如何增加工业机器人作业系统的检测及自主操作功能，使其取代工人完成更多的任务是改进安装质量、提高生产效率、提高系统安全性的一个关键问题。
发明内容
为了解决现有光学玻璃安装系统在搬运、安装过程效率低、并非常容易污染光学玻璃甚至损坏光学元件，无法保证安装精度，因而本发明的目的是提出一种视觉引导下的光学玻璃安装方法及安装装置。
为达成所述目的，本发明的第一方面是提供一种利用视觉引导下的光学玻璃安装装置的光学玻璃安装方法，该方法包括如下步骤
步骤a :将抓取装置安装在工业机器人的末端法兰上；将上部视觉识别单元的两个摄像头安装在工作台上方的支架上，并将摄像头的视频信号线与控制机柜连接；将前端视觉定位单元安装在工业机器人的手臂上，启动机器人系统；
步骤b :工业机器人通过上部视觉识别单元的两个摄像头同时采集工作台上光学玻璃的图像；
步骤c :在控制计算机中分别采用两套独立的第一识别算法和第二识别算法提取光学玻璃的边缘轮廓，计算并提取光学玻璃顶点的位置数据信息；如果第一识别算法与第二识别算法的计算结果相近，则认为已经有效识别光学玻璃，则执行步骤山如果第一识别算法与第二识别算法的计算结果相差较大，则返回步骤b，重新采集光学玻璃图像；
步骤d :根据控制计算机计算得到的光学玻璃中心点的位置数据信息，控制计算机在线规划工业机器人的运动轨迹，并控制工业机器人末端运动到抓取作业的第一位置，此时前端视觉定位单元与工作台平行；
步骤e :前端视觉定位单元提取光学玻璃图像，在控制计算机中采用光学玻璃定位算法对光学玻璃进行定位，获得光学玻璃在工业机器人坐标系下的坐标；在线规划工业 机器人的抓取作业轨迹；在运动过程中前端视觉定位单元检测光学玻璃的位置，实时调整作业轨迹；
步骤f:抓取装置通过真空吸条吸附光学玻璃的四周边缘，将光学玻璃搬运到玻璃框架正前方的安全位置，设定玻璃框架的安全位置的安全值，此时光学玻璃与玻璃框架的安装面平行；
步骤g:前端视觉定位单元提取玻璃框架图像，在控制计算机中采用玻璃框架定位算法对玻璃框架中心的位置进行定位，根据定位结果，在线规划工业机器人的安装作业路径，将光学玻璃安装到玻璃框架中。
为达成所述目的，本发明的第二方面是提供一种视觉引导下的光学玻璃安装装置，该装置包括工业机器人、上部视觉识别单元、前端视觉定位单元、抓取装置、控制机柜、工作台和支架，上部视觉识别单元安装在支架水平端且位于在工作台上方，支架的水平端平行于工作台的工作面，用于采集位于工作台上光学玻璃的图像并识别得到光学玻璃的粗略位置；前端视觉定位单元安装在工业机器人的手臂上并位于在工作台上方，用于采集光学玻璃的图像，并对光学玻璃精密定位；抓取装置用于将光学玻璃搬运到玻璃框架上，抓取装置的真空吸条位于底座的四边，用于吸附光学玻璃的四周，法兰与工业机器人手臂端固接；控制机柜中的控制计算机的数据端与在工业机器人的数据端连接，并由控制计算机提取第一和第二光学玻璃的边缘轮廓和光学玻璃顶点的位置，在线规划工业机器人的抓取作业运动轨迹、安装作业路径运动轨迹。
其中，所述控制计算机包括灰度图转换模块、图像缩小模块、图像反畸变处理模块、图像滤波模块、图像分割模块、图像放大模块、边缘检测模块、直线检测模块、直线交点计算模块、图像微分模块、角点检测模块、直线计算模块、矩形拟合模块、中心点计算模块、坐标变换模块、空间曲线拟合模块、抓取作业或安装作业模块和识别光学玻璃模块，其中灰度图转换模块接收具有背景的输入图像并生成灰度图像；图像反畸变处理模块与灰度图转换模块连接，接收灰度图像生成并输出反畸变处理的灰度图像；图像滤波模块与图像反畸变处理模块连接，接收反畸变处理的灰度图像，生成并输出滤波的灰度图像；图像缩小模块与图像滤波模块连接，接收滤波的灰度图像，生成并输出缩小后的图像；图像分割模块与图像缩小模块连接，接收缩小后的图像，生成并输出光学玻璃图像；图像放大模块与图像分割模块连接，接收光学玻璃图像，生成并输出放大后的光学玻璃图像；边缘检测模块、图像微分模块和矩形拟合模块分别与图像放大模块连接，接收放大后的光学玻璃图像，生成并输出3个边缘图像；直线检测模块与边缘检测模块连接，接收边缘图像，生成并输出光学玻璃的边；直线交点计算模块与直线检测模块连接，接收光学玻璃的边，生成并输出光学玻璃的顶点；角点检测模块与图像微分模块连接，接收灰度差值，生成并输出光学玻璃的顶点；中心点计算模块与矩形拟合模块连接，接收玻璃框架矩形，生成并输出玻璃框架的中心点；坐标变换模块与中心点计算模块连接，接收玻璃框架的中心点位置，生成并输出工业机器人目标位置；空间曲线拟合模块与坐标变换模块连接，接收工业机器人目标位置，生成并输出B样条曲线；抓取作业或安装作业模块与空间曲线拟合模块连接，接收B样条曲线，生成并输出工业机器人关节运动位置；识别光学玻璃模块分别连接角点检测模块和直线计算模块，接收光学玻璃的顶点和光学玻璃的边生成并输出光学玻璃轮廓。
本发明的有益效果在视觉引导下，工业机器人实现对 光学玻璃的识别、定位、吸附和安装，提高了安装过程中的可靠性和安全性，提高了生产效率。与美国国家点火装置中的光学玻璃安装系统相比，具有以下优点
a).视觉引导下，工业机器人识别、定位大型光学玻璃和机架的位置，在线规划工业机器人的运动轨迹，与传统的示教方法相比，提高了工业机器人安装过程的灵活性。
b).采用冗余摄像头及其识别程序对大型光学玻璃进行识别和定位，并对两个图像处理程序计算出的结果进行比较，然后在线工业机器人的运动，避免由于图像模糊、图像处理算法计算偏差造成对光学玻璃的定位误差，这种偏差会导致抓取装置的真空吸条不能接触到光学玻璃边缘，使得光学玻璃在搬运过程中脱离。因而提高了基于视觉引导的工业机器人安装装置的可靠性和安全性。
c).对工作环境中工作人员的安全提供了保障。与示教方法相比，本发明能够利用前端的视觉摄像头监测工作环境中是否有人在工业机器人的运动路径中，避免了工业机器人对人员的意外伤害。
图I是本发明视觉引导下基于工业机器人的大型光学玻璃安装装置的构成图；
图2是本发明实施例中玻璃框架的结构图；
图3是本发明实施例中带有真空吸条的抓取装置的结构图；
图4是本发明实施例中控制机柜的构成图；
图5是本发明控制计算机的结构示意图；
图6是本发明视觉引导下基于工业机器人的大型光学玻璃安装方法的流程图；
图7是本发明实施例中第一识别单元的识别处理流程图；
图8是本发明实施例中第二识别单元的识别处理流程图；
图9是本发明实施例中光学玻璃定位的处理流程图；
图10是本发明实施例中玻璃框架定位的处理流程图；
图11是本发明实施例中规划模块在线规划工业机器人运动轨迹的流程图；
图12是本发明实施例中规划模块在线规划工业机器人的抓取作业轨迹的流程图；[0032]图13是本发明实施例中规划模块在线规划工业机器人的安装作业路径的流程图；
图14为摄像头的标定算法流程图。
图中主要元件说明
工业机器人I上部 视觉识别单元2
前端视觉定位单元3
抓取装置4真空吸条40
底座41法兰42
控制机柜5控制计算机51
图像采集卡52监视器53
工作台6支架7
玻璃框架8光学玻璃9
具体实施方式
下面结合附图对本发明的具体实施进行详细说明。
如图I示出视觉引导下基于工业机器人的大型光学玻璃安装装置包括工业机器人I、上部视觉识别单元2、前端视觉定位单元3、抓取装置4、控制机柜5、工作台6、支架7、玻璃框架8、光学玻璃9。上部视觉识别单元2安装在支架7水平端且位于在工作台6上方，支架7的水平端平行于工作台6的工作面，用于采集位于工作台6上光学玻璃9的图像并识别得到光学玻璃9顶点的粗略位置；前端视觉定位单元3安装在工业机器人I的手臂上并位于在工作台6上方，前端视觉定位单元3与工作台6平行，用于采集光学玻璃9的图像，并对光学玻璃9精密定位；抓取装置4用于将光学玻璃9搬运到玻璃框架8上，抓取装置4的真空吸条40位于底座41的四边，用于吸附光学玻璃9的四周，法兰42与工业机器人I手臂端固接；控制机柜5中的控制计算机51的数据端与在工业机器人I的数据端连接，并由控制计算机51提取光学玻璃9的边缘轮廓和光学玻璃9的位置，在线规划工业机器人I的抓取作业运动轨迹、安装作业路径运动轨迹。控制计算机51固定在控制机柜5的下方，控制计算机51中有图像采集卡52。监视器53固定在控制机柜5的上方，用于实时显示上部视觉识别单元2和前端视觉定位单元3中获取的光学玻璃9边缘图像信息，便于操作人员观测；图2示出玻璃框架8的结构。光学玻璃9为激光钕玻璃(规格为长41cmX宽 36cmX 高 IOcm)。
工业机器人I为IRB6640洁净室型工业机器人，工业机器人为洁净型串联机器人或是洁净型并联机器人。
上部视觉识别单元2中包括两个DS-2CZ252P摄像头或是其他摄像头，两个摄像头同时采集光学玻璃9的图像。需要标定的摄像头参数包括摄像头的内参数(镜头的焦距，径向畸变参数，二维图像的原点坐标和二维图像X方向不确定尺度因子)，摄像头的外参数，即摄像头的坐标系和物体世界坐标系之间的变换关系(摄像头坐标系与世界坐标系X轴的夹角，摄像头坐标系与世界坐标系与I轴的夹角，摄像头坐标系与世界坐标系与z轴的夹角，摄像头坐标系与世界坐标系原点沿X方向的平移，摄像头坐标系与世界坐标系原点沿y方向的平移，摄像头坐标系与世界坐标系原点沿z方向的平移)。[0047]前端视觉定位单元3包括I个DS-2CZ252P摄像头或是其他摄像头。
图3示出的为带有真空吸条40的抓取装置4的结构图。真空吸条40固定在抓取装置4的底座41的四周上。抓取装置4的后端连接法兰42用于和工业机器人I连接。真空吸条40的四个边缘与光学玻璃9的四个边缘接触时，通过真空吸附力将大型光学玻璃9从工作台6上吸附起来。
如图4示出控制机柜的结构示意图，图像采集卡52接受上部视觉识别单元2、前端视觉定位单元3采集的模拟图像，并转换为控制计算机51能够识别的格式。监视器53显示控制计算机51中的图像处理算法提取的光学玻璃9的轮廓。图像采集卡52可以选择DS-4000HC图像采集卡或其他图像采集卡。
如图5示出控制计算机51的结构示意图，控制计算机51包括灰度图转换模块511、图像缩小模块512、图像反畸变处理模块513、图像滤波模块514、图像分割模块515、图 像放大模块516、边缘检测模块517、直线检测模块518、直线交点计算模块519、图像微分模块520、角点检测模块521、直线计算模块522、矩形拟合模块523、中心点计算模块524、坐标变换模块525、空间曲线拟合模块526、抓取作业或安装作业527和识别光学玻璃模块528。
由灰度图转换模块511接收具有背景的输入图像并生成灰度图像；图像反畸变处理模块513与灰度图转换模块511连接，由图像反畸变处理模块513将灰度图像生成并输出反畸变处理的灰度图像；图像滤波模块514与图像反畸变处理模块513连接，由图像滤波模块514将反畸变处理的灰度图像生成滤波的灰度图像；图像缩小模块512与图像滤波模块514连接，由图像缩小模块512将滤波的灰度图像变为缩小后的图像，并输出缩小后的图像；图像分割模块515与图像缩小模块512连接，图像分割模块515将缩小后的图像变为光学玻璃图像，并输出光学玻璃图像；图像放大模块516与图像分割模块515连接，图像放大模块516将光学玻璃图像变为放大的光学玻璃图像，并输出放大后的光学玻璃图像；边缘检测模块517、图像微分模块520和矩形拟合模块523分别与图像放大模块516连接，边缘检测模块517、图像微分模块520和矩形拟合模块523将放大后的光学玻璃图像生成并输出3个边缘图像；
直线检测模块518与边缘检测模块517连接，接收边缘图像，生成并输出光学玻璃9的边；
直线交点计算模块519与直线检测模块518连接，接收光学玻璃的边，生成并输出光学玻璃的顶点；
角点检测模块521与图像微分模块520连接，接收灰度差值，生成并输出光学玻璃的顶点；
中心点计算模块524与矩形拟合模块523连接，接收玻璃框架矩形，生成并输出玻璃框架的中心点；
坐标变换模块525与中心点计算模块524连接，接收玻璃框架的中心点位置，生成并输出工业机器人目标位置；
空间曲线拟合模块526与坐标变换模块525连接，接收工业机器人目标位置，生成并输出B样条曲线；
抓取作业或安装作业模块527与空间曲线拟合模块526连接，接收B样条曲线，生成并输出工业机器人关节运动位置；[0059]识别光学玻璃模块528分别连接角点检测模块521和直线计算模块522，接收光学玻璃的顶点和光学玻璃的边生成并输出光学玻璃轮廓”。
在运动过程中前端视觉定位单元3检测光学玻璃9的位置，根据矩形拟合模块523中计算出的光学玻璃的位置调整抓取作业轨迹。
直线检测模块518和直线计算模块522从边缘图像中提取光学玻璃9的边，计算得到光学玻璃9顶点的位置；如果直线交点计算模块519与角点检测模块521的计算光学玻璃9顶点的位置结果相近，则识别光学玻璃模块528认为已经有效识别并计算得到光学玻璃9的顶点的位置，如果直线交点计算模块519与角点检测模块521的计算光学玻璃9顶点的位置结果不相近，识别光学玻璃模块528将顶点的位置结果发送给灰度图转换模块511，则重新采集光学玻璃9的图像。
如图6示出利用视觉引导下基于工业机器人的大型光学玻璃安装装置，实现本发 明基于视觉工业机器人的大型光学玻璃安装方法流程图，该方法包括如下步骤
步骤a :将抓取装置4安装在工业机器人I的末端法兰上；将上部视觉识别单元2的两个摄像头安装在工作台6上方的支架7上，并将摄像头的视频信号线与控制机柜5连接；将前端视觉定位单元3安装在工业机器人I的手臂上，启动机器人系统；
步骤b :工业机器人I通过上部视觉识别单元2的两个摄像头同时采集工作台6上光学玻璃9的图像；
步骤c :在控制机柜5中的控制计算机51中分别采用两套独立的第一识别算法和第二识别算法提取光学玻璃9的边缘轮廓，计算得到光学玻璃9的位置；如果第一识别算法与第二识别算法的计算结果相近，则认为已经有效识别并计算得到光学玻璃9的位置，则执行步骤d，如果第一识别算法与第二识别算法的计算结果相差较大，则返回步骤b，重新采集光学玻璃9的图像；
步骤d :根据上部视觉识别单元2得到的光学玻璃9的位置数据信息，控制计算机51在线规划工业机器人I的运动轨迹，并控制工业机器人I末端运动到光学玻璃9上方，此时前端视觉定位单元3与工作台6平行；
步骤e :前端视觉定位单元3提取光学玻璃9局部直角轮廓，对光学玻璃9位置进行定位，获得光学玻璃9在空间中的三维坐标；在线规划工业机器人I的抓取作业轨迹；在运动过程中前端视觉定位单元3检测光学玻璃9的位置，实时调整作业轨迹；
步骤f :抓取装置4通过真空吸条40吸附光学玻璃9的四周边缘，将光学玻璃9搬运到玻璃框架8正前方的安全位置，设定玻璃框架8的安全位置的安全值，此时光学玻璃9与玻璃框架8的安装面平行；
步骤g :前端视觉定位单元3提取玻璃框架图像，在控制计算机51中采用玻璃框架定位算法对玻璃框架8中心的位置进行定位，根据定位结果，在线规划工业机器人I的安装作业路径，将光学玻璃8安装到玻璃框架8中。
视觉引导下基于工业机器人I的光学玻璃9安装方法采用上部视觉识别单元2对光学玻璃9进行识别。识别采用两种算法。
图7示出第一识别单元的识别流程图，利用第一识别算法提取光学玻璃顶点的步骤如下
步骤cll :灰度图转换模块511将具有背景的输入图像转换为灰度图像，图像反畸变处理模块513对灰度图像进行反畸变处理，图像滤波模块514对反畸变处理的灰度图像进行滤波，获得滤波的灰度图像；
步骤cl2 :图像缩小模块512对滤波的灰度图像进行缩小处理，将滤波的灰度图像的分辨率由704X576缩小变为320X240，并对缩小后的图像进行滤波，获得缩小后的图像；
步骤cl3 :图像分割模块515对缩小后的图像进行图像分割操作，从背景中提取出光学玻璃图像；图像放大模块516将光学玻璃图像放大回原来的分辨率，并利用形态学算法运算平滑放大后的光学玻璃图像；
步骤cl4 :边缘检测模块571利用边缘检测算子(Canny)算法 提取放大后的光学玻璃图像的边缘；
步骤cl5 :直线检测模块518利用霍夫(Hough)直线检测方法从提取出的边缘上计算第一光学玻璃的边；
步骤cl6 :直线交点计算模块519计算出第一光学玻璃的边之间的第一光学玻璃顶点的坐标，第一光学玻璃顶点的坐标记为C11、C12、C13和C14。
图8示出本发明实施例中第二识别单元的识别流程图，利用第二识别算法提取光学玻璃顶点的步骤如下
步骤c21 :灰度图转换模块511将具有背景的输入图像转换为灰度图，图像反畸变处理模块对灰度图像进行反畸变处理，图像滤波模块514对反畸变处理的灰度图像进行滤波，得到滤波的灰度图像；
步骤c22 :图像微分模块520对滤波的灰度图像的每个图像点计算与该图像点相邻的四个图像点之间的灰度差值；角点检测模块521基于灰度差值，利用角点检测算子检测第二光学玻璃顶点，第二光学玻璃顶点记为C21、C22、C23和C24 ；
步骤c23 :直线计算模块522根据计算出的四个角点的位置，选取连接角点的直线为第二光学玻璃的边。
图9是本发明实施例中光学玻璃定位的处理流程图；利用光学玻璃定位算法定位光学玻璃的位置的步骤如下
步骤dl :灰度图转换模块511将具有背景的输入图像转换为灰度图像，图像反畸变处理模块513对灰度图像进行反畸变处理，图像滤波模块514对反畸变处理的灰度图像进行滤波，获得滤波的灰度图；
步骤d2 :图像分割模块515对滤波的灰度图进行图像分割操作，从背景中提取出光学玻璃图像；
步骤d3 :利用提取得到的光学玻璃9的图像的边缘点，矩形拟合模块523将边缘点拟合为光学玻璃矩形，基于拟合出的光学玻璃矩形，计算光学玻璃矩形在前端视觉定位单元3坐标系内的位置；
步骤d4 :坐标变换模块525将光学玻璃9矩形在前端视觉定位单元3坐标系内的位置转换为在工业机器人I坐标系下的位置。
图10是本发明实施例中玻璃框架定位的处理流程图；利用玻璃框架定位算法定位玻璃框架8的位置的步骤如下
步骤el :灰度图转换模块511将具有背景玻璃框架图像转换为灰度图像，图像反畸变处理模块513对灰度图像进行反畸变处理，图像滤波模块514对反畸变处理的灰度图像进行滤波，获得滤波的灰度图像；
步骤e2 :图像分割模块515对滤波的灰度图像进行图像分割操作，从背景中提取出玻璃框架8的图像；
步骤e3 :利用提取得到的玻璃框架图像的边缘点，矩形拟合模块523将边缘点拟合为玻璃框架矩形，基于拟合出的玻璃框架矩形，计算玻璃框架矩形在前端视觉定位单元3坐标系内的位置；
步骤e4 :坐标变换模块525将玻璃框架矩形在前端视觉定位单元3坐标系内的位置转换为在工业机器人I的坐标系下的位置。
图11示出规划模块在线规划工业机器人运动轨迹的流程图；控制计算机51在线 规划工业机器人运动轨迹的步骤如下
步骤fl :控制计算机51的数据端从工业机器人I的数据端得到工业机器人I末端当前的位置Pl ;
步骤f2 :控制计算机51中光学玻璃定位算法或玻璃框架定位算法计算得到光学玻璃9或玻璃框架8的位置P2 ；
步骤f3 :控制计算机51中的空间曲线拟合模块527预先存储过渡点的位置P3 ；
步骤f4 :控制计算机51中的空间曲线拟合模块527根据位置Pl、P2和P3的坐标，拟合出空间的非均匀有理B样条曲线，并将曲线等分为数段区间；
步骤f5 :将多段区间的曲线起点和末点坐标，通过控制计算机51的数据端传输到工业机器人I的数据端，控制工业机器人I的各关节运动。
图12示出规划模块在线规划工业机器人的抓取作业轨迹的流程图；在线规划工业机器人I的抓取作业轨迹的步骤如下
步骤gl :中心点计算模块524由第一识别算法计算得到的光学玻璃的顶点C11-C14计算并得到第一中心点C，由第二识别算法计算得到的光学玻璃的顶点C21-C24计算并得到第二中心点C'，根据第一中心点C和第二中心点C'的坐标的平均值，以及工作台的安全高度再加上一个安全高度值，计算得到抓取作业的第一位置；
步骤g2 :将抓取作业的第一位置作为工业机器人I的目标位置，根据控制计算机51在线规划工业机器人运动轨迹的在线规划工业机器人I的末端的轨迹；工业机器人I的末端按照在线规划的运动轨迹运动到抓取作业的第一位置，前端视觉定位单元3提取光学玻璃的图像，利用光学玻璃定位算法计算出光学玻璃9的位置；
步骤g3 :由光学玻璃9的位置，工作台6的高度，再加上光学玻璃9的厚度，计算得到抓取作业的目标位置；
步骤g4 :将抓取作业的目标位置和目标方位作为工业机器人I的目标位置，根据控制计算机51在线规划工业机器人I的运动轨迹及在线规划工业机器人I的末端的轨迹；
步骤g5 :抓取装置4的四个真空吸条40接触光学玻璃9的四边，通过真空吸条40的吸附力将光学玻璃9吸起。
图13示出规划模块在线规划工业机器人的安装作业路径的流程图；在线规划工业机器人的安装作业路径的步骤如下
步骤hi :前端视觉定位单元3提取玻璃框架8的边缘，由玻璃框架定位算法计算得到玻璃框架8的位置；
步骤h2 :将玻璃框架8的位置作为工业机器人I的目标位置，根据控制计算机51在线规划工业机器人I的运动轨迹及在线规划工业机器人I的末端的轨迹；
步骤h3 :抓取装置4以I 2度的倾角，将光学玻璃9移到底部的外边接触玻璃框架8的内侧，然后将调整抓取装置4的倾角，直至抓取装置4与玻璃框架8的四边所在的平面平行；
步骤h4 :抓取装置4释放真空吸条40的吸附力，将光学玻璃9放入玻璃框架8内。
采用前端视觉定位单元3对光学玻璃9进行精密定位。首先将具有背景的输入图像变换为灰度图，然后对灰度图像进行滤波，获得滤波的灰度图；接着对滤波的灰度图进行图像分割操作，从背景中提取出光学玻璃图像；从光学玻璃图像中提取得到的光学玻璃9 的边缘点，将边缘点拟合为矩形；基于拟合出的矩形，确定光学玻璃9的位置。
采用前端视觉定位单元3对玻璃框架8进行定位，首先将具有背景玻璃框架的图像变换为灰度图，然后对灰度图像进行滤波，获得滤波的灰度图；接着对滤波的灰度图进行图像分割操作，从背景中提取出玻璃框架图像；从玻璃框架图像中提取得到的玻璃框架8的边缘点，将边缘点拟合为矩形；基于拟合出的矩形，确定玻璃框架8的位置。。
进行实际的光学玻璃9辅助安装作业任务前，根据工作人员设定的特定的轨迹点，由控制计算机51离线编程生成工业机器人I初始运动轨迹，控制工业机器人I运动到位置Home I。
在进行上部视觉识别单元2或前端视觉定位单元3提取光学玻璃9的图像前，利用标定块和标定算法对摄像头进行标定，建立摄像头坐标系和和工业机器人I坐标之间的转换关系，采用的方法是基于径向约束的两步法标定方法，该方法的第一步是利用最小二乘法解超定线形方程，给出关于摄像头坐标系与工业机器人I坐标系之间转换关系的外部参数；第二步求解内部参数，在考虑摄像头存在径向畸变的情况下，结合非线性优化的方法获得关于摄像头焦距、径向即便参数和尺度因子的全部参数。
进行实际的光学玻璃9辅助安装作业任务时，由上部视觉识别单元2提取光学玻璃9的图像，在控制计算机51中提取光学玻璃9的边缘轮廓并计算其中心位置，转换为工业机器人I的目标位置；在线规划工业机器人I从位置Homel到抓取作业的第一位置的运动轨迹。
在线规划工业机器人I的运动轨迹采用了空间的非均匀有理B样条曲线拟合的方法，由三个以上的路径点规划出工业机器人I的运动轨迹。
工业机器人I运动到抓取作业的第一位置后，由前端视觉定位单元3提取大型光学玻璃9的图像，在控制计算机51中计算光学玻璃9的精确位置并转换为工业机器人I的目标位置；在线规划工业机器人I从位置抓取作业的第一位置到目标位置的作业轨迹，并在运动过程中前端视觉定位单元3实时提取大型光学玻璃9局部轮廓并计算位置，根据位置实时修正工业机器人I运动轨迹。
抓取装置4通过真空吸条10吸附光学玻璃9的边缘，将光学玻璃9搬运到玻璃框架8前方的位置Home3 (玻璃框架的位置加上一个设置的安全距离)，由前端视觉定位单元3提取玻璃框架8的图像，在控制计算机51中计算玻璃框架8的位置并转换为工业机器人I的目标位置；在线规划工业机器人I从位置Home3到玻璃框架8的运动轨迹。[0117]图14示出所述摄像头的标定算法流程图，摄像头的标定具体步骤如下
步骤A :设定摄像头的成像模型采用小孔成像模型；
步骤B :确定摄像头坐标系与世界坐标系的关系，标定块与摄像头成像平面的夹角约30度；
步骤C :测量标定块上方块之间在世界坐标系下的坐标；
步骤D :检测标定块上角点的图像坐标；
步骤E :根据角点的世界坐标和图像坐标的关系，求取摄像头的内部参数和外部参数。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。
权利要求
1.一种利用视觉引导下的光学玻璃安装装置的光学玻璃安装方法，其特征在于，该方法包括如下步骤 步骤a :将抓取装置安装在工业机器人的末端法兰上；将上部视觉识别单元的两个摄像头安装在工作台上方的支架上，并将摄像头的视频信号线与控制机柜连接；将前端视觉定位单元安装在工业机器人的手臂上，启动机器人系统； 步骤b :工业机器人通过上部视觉识别单元的两个摄像头同时采集工作台上光学玻璃的图像； 步骤c :在控制计算机中分别采用两套独立的第一识别算法和第二识别算法提取光学玻璃的边缘轮廓，计算并提取光学玻璃顶点的位置数据信息；如果第一识别算法与第二识别算法的计算结果相近，则认为已经有效识别光学玻璃，则执行步骤山如果第一识别算法与第二识别算法的计算结果相差较大，则返回步骤b，重新采集光学玻璃图像； 步骤d :根据控制计算机计算得到的光学玻璃中心点的位置数据信息，控制计算机在线规划工业机器人的运动轨迹，并控制工业机器人末端运动到抓取作业的第一位置，此时前端视觉定位单元与工作台平行； 步骤e :前端视觉定位单元提取光学玻璃图像，在控制计算机中采用光学玻璃定位算法对光学玻璃进行定位，获得光学玻璃在工业机器人坐标系下的坐标；在线规划工业机器人的抓取作业轨迹；在运动过程中前端视觉定位单元检测光学玻璃的位置，实时调整作业轨迹； 步骤f :抓取装置通过真空吸条吸附光学玻璃的四周边缘，将光学玻璃搬运到玻璃框架正前方的安全位置，设定玻璃框架的安全位置的安全值，此时光学玻璃与玻璃框架的安装面平行； 步骤g:前端视觉定位单元提取玻璃框架图像，在控制计算机中采用玻璃框架定位算法对玻璃框架中心的位置进行定位，根据定位结果，在线规划工业机器人的安装作业路径，将光学玻璃安装到玻璃框架中。
2.如权利要求
I所述的光学玻璃安装方法，其特征在于，利用第一识别算法提取光学玻璃顶点的步骤如下 步骤cll :灰度图转换模块将具有背景的输入图像转换为灰度图像，图像反畸变处理模块对灰度图像进行反畸变处理，图像滤波模块对反畸变处理的灰度图像进行滤波，获得滤波的灰度图像； 步骤cl2 :图像缩小模块对滤波的灰度图像进行缩小处理，将滤波的灰度图像的分辨率由704X576缩小变为320X240，并对缩小后的图像进行滤波，获得缩小后的图像； 步骤cl3:图像分割模块对缩小后的图像进行图像分割操作，从背景中提取出光学玻璃图像；图像放大模块将光学玻璃图像放大回原来的分辨率，并利用形态学算法运算平滑放大后的光学玻璃图像； 步骤cl4 :边缘检测模块利用边缘检测算子算法提取放大后的光学玻璃图像的边缘； 步骤cl5 :直线检测模块利用霍夫直线检测方法从提取出的边缘上计算第一光学玻璃的边； 步骤cl6 :直线交点计算模块计算出第一光学玻璃的边之间的第一光学玻璃顶点的坐标，第一光学玻璃顶点的坐标记为Cll、C12、C13和C14。
3.如权利要求
2所述的光学玻璃安装方法，其特征在于，利用第二识别算法提取光学玻璃顶点的步骤如下 步骤c21 :灰度图转换模块将具有背景的输入图像转换为灰度图，图像反畸变处理模块对灰度图像进行反畸变处理，图像滤波模块对反畸变处理的灰度图像进行滤波，得到滤波的灰度图像； 步骤c22 :图像微分模块对滤波 的灰度图像的每个图像点计算与该图像点相邻的四个图像点之间的灰度差值；角点检测模块基于灰度差值，利用角点检测算子检测第二光学玻璃顶点，第二光学玻璃顶点记为C21、C22、C23和C24 ； 步骤c23:直线计算模块根据计算出的四个角点的位置，选取连接角点的直线为第二光学玻璃的边。
4.如权利要求
I所述的光学玻璃安装方法，其特征在于，利用光学玻璃定位算法定位光学玻璃的位置的步骤如下 步骤dl :灰度图转换模块将具有背景的输入图像转换为灰度图像，图像反畸变处理模块对灰度图像进行反畸变处理，图像滤波模块对反畸变处理的灰度图像进行滤波，获得滤波的灰度图； 步骤d2 :图像分割模块对滤波的灰度图进行图像分割操作，从背景中提取出光学玻璃图像； 步骤d3 :利用提取得到的光学玻璃图像的边缘点，矩形拟合模块将边缘点拟合为光学玻璃矩形，基于拟合出的光学玻璃矩形，计算光学玻璃矩形在前端视觉定位单元坐标系内的位置； 步骤d4 :坐标变换模块将光学玻璃矩形在前端视觉定位单元坐标系内的位置转换为在工业机器人坐标系下的位置。
5.如权利要求
I所述的光学玻璃安装方法，其特征在于，利用玻璃框架定位算法定位玻璃框架的位置的步骤如下 步骤el :灰度图转换模块将具有背景玻璃框架图像转换为灰度图像，图像反畸变处理模块对灰度图像进行反畸变处理，图像滤波模块对反畸变处理的灰度图像进行滤波，获得滤波的灰度图像； 步骤e2 :图像分割模块对滤波的灰度图像进行图像分割操作，从背景中提取出玻璃框架图像； 步骤e3 :利用提取得到的玻璃框架图像的边缘点，矩形拟合模块将边缘点拟合为玻璃框架矩形，基于拟合出的玻璃框架矩形，计算玻璃框架矩形在前端视觉定位单元坐标系内的位置； 步骤e4 :坐标变换模块将玻璃框架矩形在前端视觉定位单元坐标系内的位置转换为在工业机器人坐标系下的位置。
6.如权利要求
I所述的光学玻璃安装方法，其特征在于，所述控制计算机在线规划工业机器人运动轨迹的步骤如下 步骤fl :控制计算机的数据端从工业机器人数据端得到工业机器人末端当前的位置Pl ； 步骤f2 :控制计算机中光学玻璃定位算法或玻璃框架定位算法计算得到光学玻璃或玻璃框架的位置P2 ； 步骤f3 :控制计算机中的空间曲线拟合模块预先存储过渡点的位置P3 ； 步骤f4 :控制计算机中的空间曲线拟合模块根据位置P1、P2和P3的坐标，拟合出空间的非均匀有理B样条曲线，并将曲线等分为数段区间； 步骤f5 :将多段区间的曲线起点和末点坐标，通过控制计算机的数据端传输到工业机器人数据端，控制工业机器人各关节的运动。
7.如权利要求
3所述的光学玻璃安装方法，其特征在于，所述在线规划工业机器人的抓取作业轨迹的步骤如下 步骤gI :中心点计算模块由第一光学玻璃顶点的坐标C11-C14计算并得到第一中心点C，由第二光学玻璃顶点C21-C24计算并得到第二中心点C'，根据第一中心点C和第二中心点C'的坐标的平均值，以及工作台的安全高度再加上一个安全高度值，计算得到抓取作业的第一位置； 步骤g2 :将抓取作业的第一位置作为工业机器人目标位置，根据控制计算机在线规划工业机器人运动轨迹在线规划工业机器人末端的轨迹；工业机器人末端按照在线规划的运动轨迹运动到抓取作业的第一位置，前端视觉定位单元提取光学玻璃的图像，利用光学玻璃定位算法计算出光学玻璃的位置； 步骤g3 :由光学玻璃的位置，工作台的高度，再加上光学玻璃的厚度，计算得到抓取作业的目标位置； 步骤g4 :将抓取作业的目标位置和目标方位作为工业机器人目标位置，根据控制计算机在线规划工业机器人运动轨迹在线规划工业机器人末端的轨迹； 步骤g5 :抓取装置的四个真空吸条接触光学玻璃的四边，通过真空吸条的吸附力将光学玻璃吸起。
8.如权利要求
I所述的光学玻璃安装方法，其特征在于，所述在线规划工业机器人的安装作业路径的步骤如下 步骤hi :前端视觉定位单元提取玻璃框架的边缘，由玻璃框架定位算法计算得到玻璃框架的位置； 步骤h2 :将玻璃框架的位置作为工业机器人目标位置，根据控制计算机在线规划工业机器人运动轨迹在线规划工业机器人末端的轨迹； 步骤h3 :抓取装置以I 2度的倾角，将光学玻璃的底部的外边接触玻璃框架内侧，然后将调整抓取装置的倾角，直至抓取装置与玻璃框架面平行； 步骤h4 :抓取装置释放真空吸条的吸附力，将光学玻璃放入玻璃框架内。
9.一种利用权利要求
I所述方法的视觉引导下的光学玻璃安装装置，其特征在于，包括工业机器人、上部视觉识别单元、前端视觉定位单元、抓取装置、控制机柜、工作台和支架，其中 上部视觉识别单元用于采集位于工作台上光学玻璃的图像，并识别得到光学玻璃的粗略位置；上部视觉识别单元安装在支架水平端且位于工作台上方，支架的水平端平行于工作台的工作面； 前端视觉定位单元安装在工业机器人的手臂上并位于在工作台上方，用于采集光学玻璃的图像，并对光学玻璃精密定位；抓取装置用于将光学玻璃搬运到玻璃框架上，抓取装置的真空吸条位于底座的四边，用于吸附光学玻璃的四周，法兰与工业机器人手臂端固接； 控 制机柜中的控制计算机的数据端与工业机器人的数据端连接，并由控制计算机分别采用两套独立的第一识别算法和第二识别算法提取光学玻璃的边缘轮廓，计算并提取光学玻璃顶点的位置数据信息，其中，利用第一识别算法提取的光学玻璃的边缘轮廓和光学玻璃顶点的位置为第一光学玻璃的边缘轮廓和光学顶点的位置；由第二识别算法提取的光学玻璃的边缘轮廓和光学玻璃顶点的位置为第二光学玻璃的边缘轮廓和光学顶点的位置；如果第一识别算法与第二识别算法的计算结果相近，认为已经有效识别光学玻璃，则在线规划工业机器人的抓取作业运动轨迹、安装作业路径运动轨迹。
10.如权利要求
9所述视觉引导下的光学玻璃安装装置，其特征在于，所述控制计算机包括灰度图转换模块、图像缩小模块、图像反畸变处理模块、图像滤波模块、图像分割模块、图像放大模块、边缘检测模块、直线检测模块、直线交点计算模块、图像微分模块、角点检测模块、直线计算模块、矩形拟合模块、中心点计算模块、坐标变换模块、空间曲线拟合模块、抓取作业或安装作业模块和识别光学玻璃模块，其中 灰度图转换模块接收具有背景的输入图像并生成灰度图像； 图像反畸变处理模块与灰度图转换模块连接，接收灰度图像生成并输出反畸变处理的灰度图像； 图像滤波模块与图像反畸变处理模块连接，接收反畸变处理的灰度图像，生成并输出滤波的灰度图像； 图像缩小模块与图像滤波模块连接，接收滤波的灰度图像，生成并输出缩小后的图像； 图像分割模块与图像缩小模块连接，接收缩小后的图像，生成并输出光学玻璃图像；图像放大模块与图像分割模块连接，接收光学玻璃图像，生成并输出放大后的光学玻璃图像； 边缘检测模块、图像微分模块和矩形拟合模块分别与图像放大模块连接，接收放大后的光学玻璃图像，生成并输出3个边缘图像； 直线检测模块与边缘检测模块连接，接收边缘图像，生成并输出第一光学玻璃的边；直线交点计算模块与直线检测模块连接，接收第一光学玻璃的边，生成并输出第一光学玻璃的顶点； 角点检测模块与图像微分模块连接，接收灰度差值，生成并输出第二光学玻璃的顶占. 直线计算模块，根据计算出的四个第二光学玻璃的顶点，选取连接第二光学玻璃顶点的直线为第二光学玻璃的边；中心点计算模块与矩形拟合模块连接，接收玻璃框架矩形，生成并输出玻璃框架的中心点； 坐标变换模块与中心点计算模块连接，接收玻璃框架的中心点位置，生成并输出工业机器人目标位置； 空间曲线拟合模块与坐标变换模块连接，接收工业机器人目标位置，生成并输出B样条曲线； 抓取作业或安装作业模块与空间曲线拟合模块连接，接收B样条曲线，生成并输出工业机器人关节运动位置； 识别光学玻璃模块分别连接角点检测模块和直线计算模块，及直线检测模块和直线交点计算模块，接收第一光学玻璃的边缘轮廓和光学顶点的位置，第二光学玻璃的边缘轮廓和光学顶 点的位置；如果两者结果相近，认为已经有效识别光学玻璃，则输出光学玻璃轮廓。
专利摘要
本发明涉及一种视觉引导下的光学玻璃安装方法及安装装置，所述方法采用安装在工作台上方的两个摄像头同时采集工作台上光学玻璃图像，在计算机中分别采用两套的图像处理算法计算得到光学玻璃的顶点的初略位置；通过安装在工业机器人末端的摄像头采集光学玻璃图像，在计算机中采用图像处理算法计算出光学玻璃的中心位置和方位；抓取装置采用四个真空吸条与光学玻璃的四个边缘接触，通过吸附力将光学玻璃从工作台上吸附起来并安放到玻璃框架中。所述装置包括工业机器人、上部视觉识别单元、前端视觉定位单元、控制机柜。工业机器人在零位面时面向工作台，玻璃框架则位于机器人后侧。前端视觉摄像头能够获取玻璃框架的位置。
文档编号G21B1/25GKCN101840736SQ201010171316
公开日2012年11月21日 申请日期2010年5月7日
发明者乔红, 刘传凯, 苏建华 申请人:中国科学院自动化研究所导出引文BiBTeX, EndNote, RefMan专利引用 (3), 非专利引用 (6),