复杂结构体的RGB-D视觉定位系统及方法与流程

本发明涉及机器视觉领域，特别是一种复杂结构体的rgb-d视觉定位系统及方法。

背景技术：

请参见图1，传统的3d视觉常使用单目相机及结构光，或使用双目、多目相机，通过图像计算获取深度信息；或使用rgb-d相机，直接获取彩色图像及深度图像。通常需对模板图像做特征提取，标定模板位姿，再对待侧物体图像跟模板进行特征匹配、计算，最终得到待测物体的有限位姿。缺点在于：1）标定操作复杂，容易出现标定失败，环境对使用效果的影响很大；在某些位姿下如果特征点被遮蔽，会造成定位失败；2）对复杂物体的识别及定位准确度不高；3）仅适用于稳定环境下的简单物体的有限位姿测定。

技术实现要素：

本发明的目的在于解决现有技术中的问题，提供一种复杂结构体的rgb-d视觉定位系统及方法。

为了克服上述情况，本发明的技术方案如下：复杂结构体的rgb-d视觉定位系统，由rgb-d一体式相机、pc机、物料台、相机支架、相机电源及电缆组件组成，其中，所述pc机的可读存储介质中建立有模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块，所述rgb-d一体式相机用于提供目标图像，所述模板生成模块用于提供模板图像，所述可比性转换模块用于将所述目标图像做比例归一和/或旋转归一处理以提供与所述模板图象具有可比性的目标图像，所述相似性度量模块用于比对来自所述可比性转换模块的所述具有可比性的目标图像与来自所述模板生成模块的所述模板图像以提供至少两组匹配度最好的模板图像，所述位姿评估模块用于对来自所述相似性度量模块的所述至少两组匹配度最好的模板图中进行位姿评估。

作为复杂结构体的rgb-d视觉定位系统的优选方案，所述物料台上用于置放待测物体，所述相机支架布置于所述物料台的邻侧，所述rgb-d一体式相机固定在所述相机支架上且所述rgb-d一体式相机对准所述物料台，所述pc机通过所述电缆组件与所述rgb-d一体式相机连接，所述相机电源用于给所述rgb-d一体式相机供电。

本发明还提供复杂结构体的rgb-d视觉定位方法，提供所述的rgb-d视觉定位系统。

作为复杂结构体的rgb-d视觉定位方法的优选方案，所述模板生成模块的工作过程，包含有以下步骤：

步骤s11，cad三维虚拟物体建模：根据待测物体的cad文件和/或实体模型拍照扫描建模，得到虚拟模板模型；

步骤s12，全方位球面经纬格点视点规划：以所述虚拟模板模型为中心建立一个球面，并且在所述球面的各经纬交点处设置视点；

步骤s13，渲染、虚拟相机拍摄：分别在各所述视点处对所述虚拟模板模型进行渲染，并配置虚拟相机进行拍照；

步骤s14，可比性转换：对拍照得到的图像信息作分割、缩放归一处理和/或旋转归一处理；以及，

步骤s15，得到模板图像：经过可比性转换处理后的模板图像与物体远近、相机z轴转角无关。

作为复杂结构体的rgb-d视觉定位方法的优选方案，所述可比性转换模块的工作过程，包含有以下步骤：

步骤s21，图像分割；

步骤s22，比例归一；

步骤s23，旋转归一；以及，

步骤s24，生成与所述模板图象具有可比性的目标图像。

作为复杂结构体的rgb-d视觉定位方法的优选方案，步骤s14或s22中的缩放归一的方法：提取分割后的图像的最小边界ｉmaks。用ｉmaks提取物体区域roi。求出roi平均深度dav。与半径r相比，获得缩放归一比例系数，并且利用该系数对图像作缩放归一转换。

作为复杂结构体的rgb-d视觉定位方法的优选方案，步骤s14或s23中的旋转归一的方法：像素坐标下，对roi区域作pca分析，得到最大特征向量pmax，并由此可确定方向转角x，将图像沿法向量方向旋转角度x，得到旋转归一化的图像。

作为复杂结构体的rgb-d视觉定位方法的优选方案，所述相似性度量模块的工作过程，包含有以下步骤：

步骤s31，对所述具有可比性的目标图像以及所述模板图像作快速粗略度量，以便排除模板图像中明显不匹配的部分；

步骤s32，在步骤s31剩余的部分中，对其视点位置作分区评估，分成m个区，对具有旋转对称性的物体做出完备的位姿评估，m为大于等于1的整数；

步骤s33，精细相似度度量；

步骤s34，动态权重优化：对图像内各点的权重、grb及d图像间的权重进行动态优化。采用动态权重优化的方法，可以得到更客观的相似度得分值；

步骤s35，取得k组属于m个区的匹配度最好的模板，k为大于1的整数。

作为复杂结构体的rgb-d视觉定位方法的优选方案，所述位姿评估模块的工作过程，包含有以下步骤：

步骤s41，对所述具有可比性的目标图像的点云图pcs采用icp方法作微量旋转；

步骤s42，与所述模板图像的点云进行匹配，计算各点的差值绝对值之和，以该和的值最小为优化目标；

步骤s43，进行迭代，获取最优旋转矩阵，使匹配最佳；

步骤s44，通过逆向变换，可以得到目标位姿值；

步骤s45，对剩余的k-1组模板作同样的迭代操作；

步骤s46，得到k组目标位姿；

步骤s47，对这些位姿进行区内评估，去除差异大的位姿，在区内作均值处理；以及，

步骤s48，得到最终目标位姿。

与现有技术相比，本发明的有益效果至少在于：在不增加成本的情况下，通过算法的创新，使rgb-d定位方法有了更好的鲁棒性、对物体形状及位姿也有了更广的适应性。

附图说明

图1为现有技术的方法流程图。

图2为本发明一实施例的硬件结构示意图。

图3为本发明一实施例的软件结构示意图。

图4为本发明一实施例中模板生成模块的工作流程图。

图5为本发明以实施例中模板生成模块的球面虚拟视点布局图。

图6为本发明一实施例中可比性转换模块的工作流程图。

图7为本发明一实施例中相似性度量模块的工作流程图。

图8为本发明一实施例中位姿评估模块的工作流程图。

具体实施方式

下面通过具体的实施方式结合附图对本发明作进一步详细说明。

请参见图2，图中示出的是rgb-d视觉定位系统的硬件结构。所述硬件结构主要由rgb-d一体式相机1、pc机2、物料台3、相机支架4、相机电源5及电缆组件6组成。所述物料台3上用于置放待测物体7。所述相机支架4布置于所述物料台3的邻侧。所述rgb-d一体式相机1固定在所述相机支架上且所述rgb-d一体式相机1对准所述物料台3。所述rgb-d一体式相机1用于拍摄待测物体7。所述pc机2通过所述电缆组件与所述rgb-d一体式相机1连接，实现两者的相互通讯。所述相机电源用于给所述rgb-d一体式相机1供电。

请参见图3，图中示出的是rgb-d视觉定位系统的软件结构。所述软件结构主要由模板生成模块、可比性转换模块、相似性度量模块及位姿评估模块组成。所述软件结构存储于所述pc机的可读存储介质中。所述pc机能够执行所述软件结构。所述软件结构的工作原理大致为：将目标图像（由所述rgb-d一体式相机获取）与模板图像作归一化处理，实现数据降维，以使计算效率提高。归一化之后作相似性对比，选出k组（k为大于1的整数）得分最高的模板，再按其视点位置进行评估分组，以应对旋转对称物体的情况，最后在小角度范围内对目标点云做微调，最终找到最佳匹配角度，经过逆向运算，可得到物体的六座标位姿。

所述模板生成模块用于生成模板图像。所述模板图像的数量为复数个，根据实际需求而定。所述模板生成模块不使用特征提取方案，而采用虚拟化相机全方位配置视点获取全方位的模板图像，避免传统方法中特征被遮蔽时识别失败的弊端。

所述模板生成模块有两种可选择的输入方式。第一种是直接输入待测物体的cad文件。第二种是直接通过所述rgb-d一体式相机采集多个方位的样件图像作为输入。

请参见图4和5，所述模板生成模块的工作过程，包含有以下步骤：

步骤s11，不管第一种输入方式，还是第二种输入方式，均根据输入至所述模板生成模块的相关信息进行cad三维虚拟物体建模。cad三维虚拟物体建模系本领域的常规技术，在此不再赘述；

步骤s12，以所述虚拟模板模型100为中心建立一个球面（半径为r），并且在所述球面的各经纬交点处设置视点101（见图4），以实现全方位球面经纬格点视点规划；

步骤s13，分别在各所述视点处对所述虚拟模板模型进行渲染，并配置虚拟相机进行拍照；

步骤s14，对拍照得到的图像信息作可比性转换（含rgb图像、d图像）：作分割、缩放归一处理和/或旋转归一处理；以及，

步骤s15，处理之后，最终输出的所有所述视点下的模板图像与物体远近、相机z轴转角无关，以大大减少模板的数量。

其中的缩放归一的方法：提取分割后的图像的最小边界ｉmaks。用ｉmaks提取物体区域roi。求出roi平均深度dav。与半径r相比，获得缩放归一比例系数，并且利用该系数对图像作缩放归一转换。

其中的旋转归一的方法：像素坐标下，对roi区域作pca分析，得到最大特征向量pmax，并由此可确定方向转角x，将图像沿法向量方向旋转角度x，得到旋转归一化的图像。

所述可比性转换模块用于将所述目标图像、所述模板图像做比例归一及旋转归一处理，使图像比对不受距离以及相机z轴旋转的影响，降低模板数量的要求，提高算法效率。

请参见图6，所述可比性转换模块的工作过程，包含有以下步骤：

步骤s21，图像分割；

步骤s22，比例归一；

步骤s23，旋转归一；以及，

步骤s24，生成与所述模板图象具有可比性的目标图像（包含有rgb图像、d图像）。

所述相似性度量模块用于比对来自所述可比性转换模块的所述具有可比性的目标图像与来自所述模板生成模块的所述模板图像。

请参见图7，所述相似性度量模块的工作过程，包含有以下步骤：

步骤s31，对所述具有可比性的目标图像以及所述模板图像作快速粗略度量，以便能快速排除模板图像中明显不匹配的部分，以提高整体处理的速度；

步骤s32，在步骤s31剩余的部分中，对其视点位置作分区评估，分成m个区（m为大于等于1的整数），可以对具有旋转对称性的物体做出完备的位姿评估；

步骤s33，精细相似度度量；

步骤s34，动态权重优化：对图像内各点的权重、grb及d图像间的权重进行动态优化。采用动态权重优化的方法，可以得到更客观的相似度得分值；

步骤s35，取得k组属于m个区的匹配度最好的模板。选择多组模板本身是一种冗余策略，使得该方法本身具有更好的鲁棒性。

所述位姿评估模块用于负责最终的精细调整。采用icp方法对所述具有可比性的目标图像的目标点云数据作小范围旋转，通过迭代在小角度范围内找到所述具有可比性的目标图像与所述模板图像的最终匹配角度。对于有多个旋转对称的物体，将会得到多个最终的位姿。所述位姿评估模块通过技术方案所述的迭代方法，最终得出m个六自由度位姿值。m代表物体的旋转对称数。icp方法系本领域的常规技术，在此不再赘述。

请参见图8，所述位姿评估模块的工作过程，包含有以下步骤：

步骤s41，对所述具有可比性的目标图像的点云图pcs采用icp方法作微量旋转，试探性地微量旋转；

步骤s42，与所述模板图像的点云进行匹配，计算各点的差值绝对值之和，以该和的值最小为优化目标；

步骤s43，进行迭代，获取最优旋转矩阵，使匹配最佳；

步骤s44，通过逆向变换，可以得到目标位姿值；

步骤s45，对剩余的k-1组模板作同样的迭代操作；

步骤s46，得到k组目标位姿；

步骤s47，对这些位姿进行区内评估，去除差异大的位姿，在区内作均值处理。以及，

步骤s48，得到得到m个最终位姿。通常，不具备旋转对称性的物体，m=1。

利用rgb-d视觉定位系统，至少具有以下有益效果：

（1）所述模板生成模块中使用的对模板进行处理的步骤及方法，主要方法包括格点视点规划、缩放（或比例）归一、旋转归一。归一化对数据作初步降维处理，减少运算量，简化方法。

（2）所述相似性度量模块中采用的比对方法及步骤，采用相似度比对这种方法的本身，去掉传统方法中的特征提取过程，简化计算；相似性度量结果的多值分区处理（k组m区）方式，本身是一种冗余方法，增加系统的鲁棒性，同时可以对具备旋转对称性的物体做出完备的位姿评估。

（3）所述位姿评估模块中采用的通过迭代方式微调目标点云数据的转角，达到与模板重合，来最终确定目标物体位姿的方法，这个方法是对成熟的icp的一种具体场合应用，可靠性可得到保证，也很容易实现。

以上仅表达了本发明的实施方式，其描述较为具体和详细，但且不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。