一种基于模拟器的机械手抓取和操纵方法与流程

技术特征：

1.一种基于模拟器的机械手抓取和操纵方法，其特征在于，主要包括模拟初始化(一)；执行仿真任务和数据采集(二)；后期处理(三)。

2.基于权利要求书1所述的模拟初始化(一)，其特征在于，每个模拟需要一个初始对象和手的配置；对象属性需要被定义，并且需要生成可能的抓取候选列表；包括初始对象、手的配置、属性和抓取候选数据库。

3.基于权利要求书2所述的初始对象和手的配置和属性，其特征在于，从预处理所有对象网格开始；每个对象网格被加载到Python脚本中，并获得对象质量和惯性中心的估计；

使用这些预处理值，将每个网格加载到机器人仿真模拟软件(V-REP)中，确定对象的初始静止姿态和抓手的初始姿态；首先为对象分配一个边界框，该边界框通过相对{W}重新定向对象的姿势，将帧中心分配为对象的几何中心来估计对象的姿势；然后沿着{T}的正Z方向放置对象0.3m；相对于{T}，使用纯平移分量使对象居中在(x,y)＝(0.0)，保持静止姿态；

给定该静止姿态，然后将抓取沿着正Z方向放置在{O}中的初始位置；选择距离对象的中心米，从局部框架到沿着x,y,z的边界框边缘方向；记录所有对象属性(包括对象姿势，对象边界框和材料)和抓取姿态，并对数据集中的每个对象重复此过程。

4.基于权利要求书2所述的抓取候选数据库，其特征在于，在模拟中用于覆盖可能的抓取候选空间的方法，基于对象配置的前后乘法，其被表示为变换矩阵；

给定对象的边界框和夹具姿态，通过围绕对象全局地旋转抓取(预乘)和局部(后乘)来计算离线抓取候选；分别在X，Y和Z轴上乘以3×3旋转矩阵R_X(α)R_Y(β)R_Z(γ)；省略α,β,γ，根据下式计算变换矩阵：

$Q=R_X{R}_Y{R}_Z{}_G{}^{O}T{R}_X{R}_Y{R}_Z---\left(1\right)$

其中，Q表示抓取坐标系的最终变换；计算抓取候选项在Python脚本中离线执行，并使用对象的估计边界框，变换矩阵和选择约束使围绕Z轴(即每45°)发生8次旋转，并且局部旋转将以比全局旋转稍微更细的尺度发生。

5.基于权利要求书4所述的抓取候选，其特征在于，在计算公式(1)之后，检查新夹具位置是否合适(如果是，取消夹紧候选)，求解线性方程组，检查来自夹具手掌的向量法线是否与对象的边界框相交；如果相交，将抓取候选添加到抓取候选数据库中，并重复该过程，直到旋转列表用尽；在数据库中的所有可能的候选项中，在模拟器中选择最多10000个验证。

6.基于权利要求书1所述的执行仿真任务和数据采集(二)，其特征在于，包括不同图像的抓取映射和并行化；通过将对象加载到模拟中，并且在初始化阶段记录的值初始化其质量，惯性和姿态而开始；对象最初被放置在静态步骤中，使得当指尖与对象接触时，对象不移动；加载对象后，模拟器在初始化阶段对潜在候选项子集进行采样以进行测试；由于抓取配置和与工作台或物体的潜在碰撞，若抓取不可行，则停止当前尝试并移动到下一个候选处。

7.基于权利要求书6所述的测试，其特征在于，使用接近传感器检查每个可行的抓取候选验证手掌面向物体；如果在该位置，连接抓取的接近传感器检测物体，则其记录所检测的表面点，并在距离检测到的表面点的距离为：0.06，0.09，0.12m处尝试三个抓取(使用相同的抓取取向)，并沿着原来的手掌法线；这些距离被选择为在手掌和Barrett Hand(巴雷特机械手)的指尖(0.145m)之间的距离内，并允许以略微不同的尺度探查物体的几何形状；

在每一次尝试期间，照相机沿着局部负Z方向定位在距离手掌0.25m的距离处，并且在尝试抓取之前记录对象的图像；一旦抓取被放置并且记录了图像，操纵器在物体周围闭合；如果所有指尖与物体接触，则物体变为动态模拟，并且从升高过程开始；

选择相对于{T}(0.0，0.0，0.60m)的目标提升位置，并且迫使机械手在行进期间保持当前的抓握姿势；一旦抓取已经到达目标位置，如果所有指尖仍然与物体接触，则认为握持是稳定的并且成功；重复该过程，直到抓取候选列表用尽；在V-REP中，使用运动库包装器来计算轨迹，并沿着生成的路径执行增量步骤。

8.基于权利要求书6所述的不同的图像和抓取映射，其特征在于，由于抓取编程总是以类似的方式围绕物体闭合，所以在夹紧过程中收集物体的两个不同视图分别是：

(1)相机的方向总是向上(一对多映射)；

(2)相机的方向总是匹配抓取的方向(一对一映射)；

通过唤起图像和抓握之间的一对多映射来将不明确性引入到抓握空间中；在这种情况下，夹具取向不直接与照相机取向相关，这意味着单个图像可以对应于可能许多不同的夹具；然而，引入了图像和抓握之间更直接的关系；在图像中捕获的对象的相似定向反映了抓握内的相似定向。

9.基于权利要求书6所述的并行化，其特征在于，因为这样大量的抓取候选被采样，并且要评估的对象的数量相对高，为了在可行的时间量内创建数据集，需要某种形式的并行化；

由于来自需要来自图形卡的少量存储器的视觉传感器的要求，在服务器下，以没有任何图形界面的模式运行操作每个场景。

10.基于权利要求书1所述的后期处理(三)，其特征在于，在仿真中，通过深度缓冲器捕获的信息被编码到[0,1]之间的范围，并且可以通过以下操作解码为真实值：

I＝X_near+I*(X_far-X_near) (2)

其中,I是收集的图像，X_near，X_far分别是近和远剪裁平面；删除所有对象抓取实例对，其中图像方差小于1e^-3；当相机高度与桌子高度相匹配时，删除所收集图像的所有抓取。