技术特征：
1.一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，包括：步骤1：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对所述目标图像中的不同目标物品进行定位；步骤2：基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合；步骤3：基于点云集合确定不同目标物品的位姿信息，并基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣。2.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，包括：获取预设目标图像采集点，并基于所述预设图像目标采集点对所述任务场景中的预设物品进行预图像采集，得到待校验图像，其中，所述预设目标图像采集点至少为两个；获取管理端对待校验图像的筛选要求，并基于所述筛选要求对所述待校验图像进行筛选，得到标准图像，其中，所述筛选要求包括图像的构造以及对任务场景的拍摄角度；确定所述标准图像对应的标准预设目标图像采集点，并基于所述标准预设目标图像采集点处的预设图像采集装置对任务场景中的不同目标物品进行图像采集，得到目标图像。3.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，还包括：获取预设图像采集装置采集到的任务场景中包含不同目标物品的目标图像，并将所述目标图像的清晰度与预设清晰度进行比较；若所述目标图像的清晰度大于或等于预设清晰度，判定所述预设图像采集装置采集的目标图像合格；否则，判定所述预设图像采集装置采集的目标图像不合格，并获取所述预设清晰度对应的目标图像参数，其中，所述目标图像参数包括像素点的分辨率以及灰度值；基于所述目标图像参数对所述目标图像对应的图像参数进行对应调整，直至所述目标图像的清晰度大于或等于所述预设清晰度。4.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤1中，基于卷积神经网络对所述目标图像中的不同目标物品进行定位，包括：获取分拣机械手历史分拣物，并确定历史分拣物对应的训练物品图像，其中，所述历史分拣物至少为两种不同的物品；将所述训练物品图像进行预处理，得到所述训练物品图像的第一特征图像，并确定所述第一特征图像对应的比对特征信息；基于所述比对特征信息对初始卷积神经网络进行训练，并基于训练后的初始卷积神经网络对所述训练物品图像进行识别，得到初始识别结果；获取所述训练物品图像的实际物品结果，并将所述初始识别结果与所述实际物品结果进行比对，确定所述训练后的初始卷积神经网络对所述训练物品图像的识别误差值；基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络；基于卷积神经网络对所述目标图像进行识别，提取所述目标图像对应的第二特征图
像，并基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征；将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配，得到对应的匹配度，并基于所述匹配度确定所述目标图像中包含的物品的目标物品种类；同时，基于目标图像中包含的物品的特征信息在所述目标图像中的分布特征，确定相同目标物品种类的物品数量；基于所述目标图像中包含的物品的目标物品种类以及相同目标物品种类的物品数量完成对所述目标图像中的不同目标物品的定位。5.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述第二特征图像确定所述目标图像中包含的物品的特征信息以及所述特征信息在所述目标图像中的分布特征，包括：获取所述目标图像，并将所述目标图像进行网格划分，同时获取目标图像中包含的物品的特征信息在所述目标图像中的分布特征；基于所述分布特征在网格划分后的目标图像中匹配所述目标图像中包含的物品所在的目标网格图像，并对所述目标网格图像进行标注；基于标注结果，提取所述目标网格图像中的预设参考物，并将所述预设参考物在预设任务场景地图中进行匹配，其中，任务场景中的预设参考物种类各不相同；基于匹配结果确定所述目标图像中包含的物品在任务场景中的具体位置信息。6.根据权利要求4所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述识别误差值对训练后的初始卷积神经网络中的参数进行调整，得到卷积神经网络，包括：获取将所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息进行匹配的匹配结果；若所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配时，完成对目标图像中包含的物品目标物品种类的确认；否则，确定所述目标图像中包含的物品是否为新增物品种类；若不是，基于所述卷积神经网络重新对所述目标图像进行识别，直至所述目标图像中包含的物品的特征信息与所述卷积神经网络中预存储的比对特征信息一一匹配；否则，将当前所述目标图像进行记录，并基于当前所述目标图像对所述卷积神经网络进行再训练，完成对卷积神经网络的深度学习。7.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤2中，基于定位结果对所述目标图像进行图像分割，并利用目标检测网络根据分割结果确定所述不同目标物品的点云集合，包括：对所述目标图像进行像素灰度化处理，确定所述目标物品在所述目标图像的像素点特征；根据所述目标物品在所述目标图像的像素点特征确定所述目标物品的边界特征点；根据所述目标物品的边界特征点在所述目标图像中分别对所述目标物品进行第一标记，并根据第一标记结果确定所述不同目标物品的边界轮廓；
读取所述定位结果，确定所述不同目标物品在所述目标图像中的位置分布，确定不同目标物品之间的位置特征；基于所述不同目标物品的边界轮廓以及所述不同目标物品之间的位置特征，制定图像划分路线，并对所述图像划分路线进行第二标记，同时根据所述第二标记结果确定对所述目标图像的分割方案；根据对所述目标图像的分割方案对所述目标图像进行图像分割，生成目标子图像，其中，所述目标子图像的个数与所述目标物品的个数一致；将所述目标子图像分别输入至所述目标检测网路中，并在所述目标检测网络中对所述目标子图像进行小波分析，确定所述目标子图像的高频分量，并基于所述目标子图像的高频分量在所述目标检测网络中构建三维几何模型；在所述三维集合模型中对所述目标子图像进行平滑滤波处理，生成深度图像；基于预设图像生成原理，基于所述目标子图像与所述深度图像生成所述目标子图像的三维图像；将所述三维图像投射至预设的三维坐标系中，并对所述三维坐标系中的所述三维图像进行读取，确定所述不同目标物品的点云集合。8.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于点云集合确定不同目标物品的位姿信息，包括：构建三维坐标系，同时获取不同目标物品的点云集合；基于所述不同目标物品的点云集合确定所述不同目标物品中每一个点的目标坐标，并基于所述每一个点的目标坐标分别将不同目标物品的点云集合在所述三维坐标系中进行重构；基于重构结果确定所述不同目标物品的点云集合在所述三维坐标系中的顶点坐标，同时获取所述三维坐标系的原点坐标；基于所述顶点坐标以及原点坐标确定所述不同目标物品的3d位姿信息。9.根据权利要求1所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，步骤3中，基于所述位姿信息控制分拣机械手对相应的目标物品进行分拣，包括：获取所述不同目标物品的位姿信息，并对所述不同目标物品的位姿信息进行分析，确定所述分拣机械手对所述不同目标物品的抓取姿态；同时，获取基于卷积神经网络对所述目标图像中的不同目标物品的定位结果，并将所述定位结果与所述分拣机械手中预设的物品种类分拣顺序进行匹配，得到所述分拣机械手对所述不同目标物品的分拣顺序，其中，所述定位结果为所述不同目标物品所属的物品种类；基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣。10.根据权利要求9所述的一种基于深度学习的分拣机械手多物体分拣方法，其特征在于，基于所述分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，包括：获取所述不同目标物品在任务场景中的待抓取图像，并基于所述待抓取图像判断所述不同目标物品是否发生重叠；
若发生重叠，判断重叠物品是否为同一物品种类；当为同一物品种类时，控制所述分拣机械手按照从高到低的顺序依次将重叠物品进行分拣；当不为同一物品种类时，将重叠物品进行拆分，并基于物品种类对应的分拣顺序依次将重叠物品进行分拣；否则，基于原分拣顺序控制所述分拣机械手调整至所述不同目标物品对应的抓取姿态依次对所述不同目标物品进行分拣，完成对多物体的分拣任务。
技术总结
本发明提供了一种基于深度学习的分拣机械手多物体分拣方法，其包括：基于预设图像采集装置采集任务场景中包含不同目标物品的目标图像，并基于卷积神经网络对目标图像中的不同目标物品进行定位；基于定位结果对目标图像进行图像分割，并利用目标检测网络根据分割结果确定不同目标物品的点云集合；基于点云集合确定不同目标物品的位姿信息，并基于位姿信息控制分拣机械手对相应的目标物品进行分拣。通过对任务场景中的不同目标物品的种类、位置以及位姿进行准确分析，确定对不同物品的分拣顺序，提高了对不同物品的分拣有序性，同时根据物品种类的不同调整抓取的方式，提高了对不同物品分拣的安全性，增强了分拣机械手对多物体分拣效率。分拣效率。分拣效率。
技术研发人员：王三祥 王欣 王锋 朱锦华 张朝年
受保护的技术使用者：江苏昱博自动化设备有限公司
技术研发日：2021.11.11
技术公布日：2022/1/11