机器人辅助的显微注射系统的坐标标定方法与流程

本发明涉及一种机器人辅助的显微注射系统的坐标标定方法。
背景技术：
：在显微注射过程中，第一步要做的是将针尖移动到特定的位置以便进行后续的操作。现有针尖自动定位的方法相对手动定位虽然节约了时间，但效率仍有待提高。事实上，假如机械臂和载物台没有改变安装位置，是没有必要对针尖进行重新定位的，只需事先对显微注射系统中几个坐标的关系进行标定即可。本发明根据这种实际需要，设计了一种沿着时间最优路线的标定方法。技术实现要素：本发明的目的是为了解决现有的显微注射系统存在针尖移动定位效率低的问题，而提出一种机器人辅助的显微注射系统的坐标标定方法。一种机器人辅助的显微注射系统的坐标标定方法，所述方法通过以下步骤实现：步骤一、设显微镜载物台坐标系为Os-XsYsZs，原点Os为初始位置；照相机坐标系为Oc-XcYcZc，点Oc位于显微镜的物镜中央，Zc为显微镜光轴；三自由度的机械臂坐标系为Om-XmYmZm；标定点阵图图像平面坐标系为Oi-UV，原点Oi位于图像左上角；并确定：三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为：其中，表示机械臂坐标，表示照相机坐标系，R表示旋转变换矩阵，T表示平移变换向量；标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为：其中，表示标定点阵图图像平面坐标系，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值，视野区域中的横向用u轴表示，视野区域中的纵向用v轴表示，表示照相机坐标系坐标；三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为：其中，表示机械臂坐标系坐标，表示标定点阵图图像平面坐标系坐标，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值；R表示旋转变换矩阵，T表示平移变换向量；步骤二、在标定点阵图图像中，设Δx表示横向相邻标定点间的距离，Δy表示纵向相邻标定点间的距离，且满足γ＝tan-1(Δx/Δy)，并计算机械臂在视野区域中完成移动的时间，从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线；步骤三、在当前视野区域的标定点点阵中选取M个标定点，按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂，使微量吸液管针尖经过这些标定点并获得清晰图像，然后移动载物台到下一个视野区域，直到N个视野区域全部完成，并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T：和第j个视野区域对应的平移变换向量T：计算得到坐标变换矩阵和坐标变换矩阵式中，R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵，且其中，λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；表示视野区域中M个点的坐标集合，分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和；每个视野区域对应的载物台坐标为：以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标；坐标变换矩阵Θ1中平移变换向量：λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd)，利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动，使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。本发明的有益效果为：本发明利用标定方法确定了显微注射系统中几个坐标轴的坐标转换关系，避免了每次使用需要重复定位的问题，显著提升了工作效率，并能保证可以将针尖准确定位到视野区域中某一期望的位置。本发明方法测量精度高，实验中测得误差小于6个像素。附图说明图1为本发明涉及的三自由度的机械臂坐标系和照相机坐标系关系的正视图；图2为本发明涉及的三自由度的机械臂坐标系中虚拟X轴(Δx)、X轴(Δxm)、Z轴(Δzm)三者关系的正视图；图3为本发明涉及的机械臂坐标系倾角的俯视图；图4为本发明涉及的标定点阵的设计示意图；图5为本发明方法的流程图。具体实施方式具体实施方式一：本实施方式的机器人辅助的显微注射系统的坐标标定方法，如图5所示，所述方法通过以下步骤实现：步骤一、设显微镜载物台坐标系为Os-XsYsZs，原点Os为初始位置；照相机坐标系为Oc-XcYcZc，点Oc位于显微镜的物镜中央，Zc为显微镜光轴；三自由度的机械臂坐标系为Om-XmYmZm；标定点阵图图像平面坐标系为Oi-UV，原点Oi位于图像左上角；并确定：三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为：其中，表示机械臂坐标，表示照相机坐标系，R表示旋转变换矩阵，T表示平移变换向量；标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为：其中，表示标定点阵图图像平面坐标系，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值，视野区域中的横向用u轴表示，视野区域中的纵向用v轴表示，表示照相机坐标系坐标；三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为：其中，表示机械臂坐标系坐标，表示标定点阵图图像平面坐标系坐标，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值；R表示旋转变换矩阵，T表示平移变换向量；步骤二、在如图1所示的标定点阵图图像中，设Δx表示横向相邻标定点间的距离，Δy表示纵向相邻标定点间的距离，且满足γ＝tan-1(Δx/Δy)，并计算机械臂在视野区域中完成移动的时间，从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线；步骤三、在当前视野区域的标定点点阵中选取M个标定点，按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂，使微量吸液管针尖经过这些标定点并获得清晰图像，然后移动载物台到下一个视野区域，直到N个视野区域全部完成，并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T：和第j个视野区域对应的平移变换向量T：计算得到坐标变换矩阵和坐标变换矩阵式中，R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵，且其中，λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；表示视野区域中M个点的坐标集合，分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和；每个视野区域对应的载物台坐标为：以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标；坐标变换矩阵Θ1中平移变换向量：λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd)，利用坐标变换矩阵Θ1计算得到对应的机械臂坐标之后操作机械臂移动，使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处。具体实施方式二：与具体实施方式一不同的是，本实施方式的机器人辅助的显微注射系统的坐标标定方法，步骤一所述确定：三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为：标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为：以及三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为：的过程为，三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示，三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交，为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴，如图2所示，根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的，如图3所示，三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为：又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系，得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系：其中，zc为固定值，zc表示在同一物镜下能看清的物体距离镜头的竖直距离，即为聚焦，此处值为0，由于照相机坐标系是人为定义的，zc可任意选取，为了方便可取0，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值，为已知量，计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法，且能看清。具体实施方式三：与具体实施方式一或二不同的是，本实施方式的机器人辅助的显微注射系统的坐标标定方法，步骤二所述的计算机械臂在视野区域中完成移动的时间的过程为，设机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时，在横向u轴和纵向v轴方向上的移动距离分别为Δx和Δy，且视野区域中的点阵在横向u轴和竖向v轴方向上分别有n1和n2个点，如图4所示，且横向u轴方向，如标定点1→2，两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝Δycosγ，ym＝Δysinγ，zm＝Δycosγtanα；纵向v轴方向，如标定点1→5，两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝Δxsinγ，ym＝Δxcosγ，zm＝Δxsinγtanα；斜向方向，如标定点7→4，相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝0，zm＝0；比较3种可能的路线：路线1：1→5→9→10→6→2→3→7→11→12→8→4路线2：1→5→9→10→11→12→8→4→3→2→6→7路线3：1→5→2→3→6→9→10→7→4→8→11→12用Z1、Z2、Z3分别表示三种路线沿zm方向移动的距离，当点阵横向和纵向分别有n1和n2个点时，Z1、Z2、Z3分别为：Z1＝(n2-1)n1Δxsinγtanα+(n1-1)Δycosγtanα,n2≥n1，Z3＝(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα，由于点阵中n1和n2都大于2，可以判断出Z3＜Z1＜Z2，故Z3路线为时间最优的方案。则沿着zm方向移动的距离计算公式为：Z＝(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα；其中，γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角，α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角。具体实施方式四：与具体实施方式三不同的是，本实施方式的机器人辅助的显微注射系统的坐标标定方法，步骤二所述的计算机械臂在视野区域中完成移动所需的时间之前，还要计算机械臂在zm方向移动时图像的清晰度G(z)，从而选择出清晰度G(z)的值最大的图像；其中，图像的清晰度G(z)的计算过程为：利用索贝尔算子进行边缘检测，对于像素(x,y)，像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9：Z1Z2Z3Z4(x,y)Z6Z7Z8Z9横向和纵向的索贝尔算法模板分别为：10-120-210-1和10-120-210-1所以，gx＝(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9)，gy＝(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9)，得：G(z)＝ΣxΣyg(x,y)。实施例1：步骤一、设显微镜载物台坐标系为Os-XsYsZs，原点Os为初始位置；照相机坐标系为Oc-XcYcZc，点Oc位于显微镜的物镜中央，Zc为显微镜光轴；三自由度的机械臂坐标系为Om-XmYmZm；标定点阵图图像平面坐标系为Oi-UV，原点Oi位于图像左上角；三自由度的机械臂坐标系和照相机坐标系之间关系如图1所示，三自由度的机械臂坐标系中X轴向下倾斜导致X轴未与Z轴正交，为三自由度的机械臂坐标系定义一个与Z轴正交的虚拟X轴，如图2所示，根据三自由度的机械臂坐标系的虚拟X轴和显微镜载物台坐标系绕三自由度的机械臂坐标系Z轴旋转γ度角形成的，如图3所示，三自由度的机械臂坐标系和显微镜载物台坐标系转换关系表示为：又根据图2所示的三自由度的机械臂坐标系中虚拟X轴、X轴、Z轴三者关系，得实际三自由度的机械臂坐标系与标定点阵图图像平面坐标系的转换关系：其中，zc为固定值，zc表示在同一物镜下能看清的物体距离镜头的竖直距离，即为聚焦，此处值为0，由于照相机坐标系是人为定义的，zc可任意选取，为了方便可取0，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值，为已知量，计算出矩阵即可得出操作机械臂当前坐标达到期望位置坐标的方法，且能看清，则确定出：三自由度的机械臂坐标系和照相机坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和照相机坐标系之间之间的转换关系为：其中，表示机械臂坐标，表示照相机坐标系，R表示旋转变换矩阵，T表示平移变换向量；标定点阵图图像平面坐标系和照相机坐标系之间的坐标转换矩阵为则标定点阵图图像平面坐标系和照相机坐标系之间转换关系为：其中，表示标定点阵图图像平面坐标系，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值，视野区域中的横向用u轴表示，视野区域中的纵向用v轴表示，表示照相机坐标系坐标；三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的坐标转换矩阵为则三自由度的机械臂坐标系和标定点阵图图像平面坐标系之间的转换关系为：其中，表示机械臂坐标系坐标，表示标定点阵图图像平面坐标系坐标，u和v分别是期望针尖在标定点阵图图像平面坐标系的视野区域中u轴方向和v轴方向上到达的位置的值；R表示旋转变换矩阵，T表示平移变换向量；步骤二、在标定点阵图图像中，(1)首先，计算机械臂在zm方向移动时图像的清晰度G(z)，从而选择出清晰度G(z)的值最大的图像；其中，图像的清晰度G(z)的计算过程为：利用索贝尔算子进行边缘检测，对于像素(x,y)，像素(x,y)周围点为Z1、Z2、Z3、Z4、Z6、Z7、Z8、Z9：Z1Z2Z3Z4(x,y)Z6Z7Z8Z9横向和纵向的索贝尔算法模板分别为：10-120-210-1和10-120-210-1所以，gx＝(Z1+2*Z2+Z3)-(Z7+2*Z8+Z9)，gy＝(Z1+2*Z4+Z7)-(Z3+2*Z6+Z9)，得：G(z)＝∑x∑yg(x,y)；(2)再计算机械臂在视野区域中相邻的横向、竖向或斜向相邻两个标定点之间移动时所需的时间：设Δx表示横向相邻标定点间的距离，Δy表示纵向相邻标定点间的距离，且满足γ＝tan-1(Δx/Δy)，且视野区域中的点阵在横向u轴和竖向v轴方向上的点的个数n1为4，n2为3，如图4所示，横向u轴方向，两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝Δycosγ，ym＝Δysinγ，zm＝Δycosγtanα；纵向v轴方向，两个相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝Δxsinγ，ym＝Δxcosγ，zm＝Δxsinγtanα；斜向方向，相邻点之间机械臂在xm、ym、zm方向上分别需要移动的距离：xm＝0，zm＝0；则沿着zm方向移动的距离计算公式为：Z＝(n2-1)Δxsinγtanα+(n1-1)Δycosγtanα；其中，γ表示机械臂在标定点阵图图像平面坐标系的视野区域中旋转后与横向u轴之间的夹角，α表示三自由度的机械臂坐标系中X轴与虚拟X轴之间的夹角；计算出机械臂在视野区域中完成移动的时间，从而将机械臂在视野区域中完成移动的时间最少的路线确定为时间最优的路线：1→5→2→3→6→9→10→7→4→8→11→12；步骤三、在当前视野区域的标定点点阵中选取标定点个数M＝4×4＝16个，按步骤二设定的时间最优的路线操作携带微量吸液管针尖的机械臂，使微量吸液管针尖经过这些标定点并获得清晰图像，然后移动载物台到下一个视野区域，直到选取的个视野区域个数N＝5全部完成，并记录第j个视野区域中第i个点(ui,vi)对应的机械臂坐标步骤四、利用机械臂坐标系与标定点阵图图像平面坐标系之间的坐标变换矩阵Θ1中的平移变换向量T：和第j个视野区域对应的平移变换向量T：计算得到坐标变换矩阵和坐标变换矩阵式中，R表示机械臂坐标系与标定点阵图图像平面坐标系之间的旋转变换矩阵，且其中，λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；表示视野区域中M个点的坐标集合，分别表示N个视野区域中对应点处的机械臂的x轴坐标xm之和、y轴坐标ym之和、z轴坐标zm之和；每个视野区域对应的载物台坐标为：以及分别表示每个视野区域对应的平移变换向量的x坐标、y坐标、z坐标；坐标变换矩阵Θ1中平移变换向量：λ表示显微镜放大倍数，δu表示沿u轴方向相邻像素的距离，δv表示沿v轴方向相邻像素的距离；步骤五、在视野区域中任意选择一个期望针尖坐标(ud,vd)，根据伯努利双纽线方程(单位：像素)，利用坐标变换矩阵Θ1：计算出每个时刻对应的机械臂坐标，操作机械臂，之后操作机械臂移动，使微量吸液管针尖能够移动到期望针尖坐标(ud,vd)的位置处，观察视野中针尖是否沿预期轨迹移动，并测得机械臂移动误差小于6个像素。当前第1页1 2 3