机器人平行板夹具与目标物体之间最佳接触线检测方法与流程

本发明涉及智能机器人视觉
技术领域：
，尤其涉及一种基于深度图像的平行板夹具与目标物体之间最佳接触线检测方法。
背景技术：
：机器人视觉智能抓取在机器人领域当中目前是一个热门的研究方向，机器视觉在工业中的应用随着当前工业自动化智能化不断地提升应用也越来越广泛。当前许多机器人是利用RGB摄像头来获取场景以及目标物体数据，之后利用图像处理来将目标物体的抓取位置提取出来。当前目标物体抓取位置的提取方法主要是通过图像处理技术来得到特征点，比如SIFT、SURF、PFH、FPFH、Harris等。如果利用目前的方式来提取出物体的抓取位置，我们得遍历各种方向来选择与检测特征，这样会影响目标物体接触位置的检测效率，所以将抓取位置的检测精确提取并加快速度是个重要的课题。技术实现要素：本发明所要解决的问题是对机器人平行板夹具与目标物体之间最佳接触线准确高效的检测方法。不仅利用了平行板夹具以及目标物体本身的深度特征信息而且在稳定性方面进行了分析。为了解决上述问题，本专利提供了基于深度图像视觉的最佳接触线提取方法，所述方法包括：步骤1：获取目标物体深度图像；步骤2：遍历对深度图像的像素来进行卷积滤波；步骤3：利用x方向与y方向的两个卷积核对深度图像进行二维卷积来进行深度图像当中梯度的计算；步骤4：计算每个梯度的幅值还有梯度的方向；步骤5：将所有梯度方向借助直方图进行排列和统计并选取单个bin之中数量最多的5个角度作为物体的主要方向角度，在这里每5度划为一个bin；步骤6：使用八邻域对梯度图像的轮廓线进行跟踪，最后确定好轮廓线的长度；步骤7：确定好轮廓线之后寻找深度图像对应的的像素位置计算深度，同时将该轮廓线的浅点作为基础，如果轮廓上的某个点与该点的深度差值超出根据实际末端执行器抓手的内部深度D,把这个D设为阈值DThresh,那么把该点从轮廓线当中去除，同时根据三个标准来对接触线进行筛选并根据实际抓手的几何性质增加筛选接触线的条件；步骤8：对所有接触线组合情况各自的抓取稳定性进行分析；步骤9：计算出所有接触线对的抓取可靠度得分并从中选取最高分数的抓取接触线对作为抓取的位置；步骤10：根据Cornellgraspingdataset数据集每幅图上的最佳抓取位置得到可靠性阈值，最后可靠性阈值被确定为GThresh＝0.7。抓取可靠性超出该阈值的话可以确定这是合理的抓取位置，如果超过阈值的接触线对有多组我们选择其中得分最高的。更进一步地，步骤4每个梯度的幅值还有梯度的方向的具体步骤如下：对深度图像计算完梯度值后，利用下列两个公式计算每个梯度的幅值还有梯度的方向：更进一步地，步骤7中对接触线的筛选依据以下三个标准:[1]在同一条接触线的上面深度是相同的，这样末端执行器夹手可以将接触线完全抓到；[2]每一条接触线都要在接触面上来让末端执行器夹手来进行抓取。专利不允许定性描述[3]末端执行器在与目标物体接触的时候，接触线深度要小于夹手内部深度。专利不允许定性描述[4]两个接触线的梯度方向相反；专利不允许定性描述[5]两条接触线相距的距离不超过抓手最大张开距离；[6]两个接触线之间包含的区域中最浅点与接触线最浅点的深度差值不超过D。更进一步地，步骤8中接触线可能组成情况分为以下三种：[1]两条接触线均为长边，此时两条接触线的长度均大于等于机械手夹板的长度L，此时机械手的抓取为最稳；[2]两条接触线一条为长边一条为短边，此时一条接触线长度大于等于机械手夹板的长度L；[3]两条接触线均为短边：此时两条接触线长度均小于夹板长度L。专利不允许定性描述。更进一步地，步骤8中矩形抓取框内最浅点与接触线的最浅点之间的差值越大，夹手在抓取时越能更好地贴合物体，更稳定地抓取物体。更进一步地，步骤9中建立以下公式用于评估一对接触线的抓取可靠性：其中，l1是夹手与物体左边接触总深度，l2是夹手与物体右边接触总深度，L是夹手长度，e是自然常数用来评估接触线长度，评估两条接触线的长度比，lmax表示接触线当中最长的那条，lmax表示接触线中长的那条，lmin代表短的那条，用来评估接触线贴合手爪的程度，dl是接触线的最浅点，ds是矩形轮廓中的最浅点，sinθ被用以评价两个接触线的错开程度，θ是两个接触线各自一点所连的线与接触线的锐角大小。附图说明图1为三菱机器人RV-4F-1D-S11末端执行器模型以及抓取模型示意图；图2为本发明中对深度图像进行二维卷积来进行深度图像当中梯度的计算所设计的x方向与y方向的两个卷积核；图3为深度图像计算出的所有梯度方向的排列直方图；图4为四种接触线对组合情况的示意图；图5为本发明流程图图6为利用本发明的实践图图7为利用本发明的实践图具体实施方式利用本发明编写的程序来对长方盒来进行最佳接触线检测利用本发明编写的程序来对镊子来进行最佳接触线检测表1为使用本发明并利用机器人平行板夹具去夹取目标物体实验结果；其中L表示手抓的宽度，D代表手爪的内部深度，W代表了手抓的张开大小。同时l1,l2分别表示两个平板夹具两个接触线的长度，n1、n2分贝表示两个接触线处的法向量，Wobj表示所抓取目标物体沿着抓取方向的宽度。表1目标物体成功率平均时间长方盒25/253.016s镊子25/253.125s胶带23/253.248s盆20/253.331s总计94﹪3.180s当前第1页1 2 3