机械手的控制方法、装置、智能垃圾桶及存储介质与流程

本申请涉及计算机视觉技术和工业检测技术领域，尤其涉及机械手的控制方法、装置、智能垃圾桶及计算机可读存储介质。

背景技术：

随着经济的快速发展和生活水平的提高，生活垃圾的产量也急剧增加。生活垃圾的种类繁多，有些垃圾可回收再利用，有些垃圾则对环境有很大的影响，若是随意丢弃，可能会造成很大的污染。我国已经开展垃圾分类回收工作多年，主要是以分类垃圾桶为主。但是垃圾分类的效果并不理想，民众垃圾分类的意识也很薄弱。

最近两年，我国开始在部分城市建立起了严格的垃圾分类制度。以上海为例，要求居民将垃圾分为可回收物、有害垃圾、湿垃圾、干垃圾四类。由于垃圾类别比较复杂，居民在扔垃圾时经常会有分类错误的情况发生，需要人工重新对分类错误的垃圾进行二次分类，费时费力。

技术实现要素：

本申请的目的在于提供机械手的控制方法、装置、智能垃圾桶及计算机可读存储介质，机械手可以将分类错误的垃圾从当前单元桶中取出并将该垃圾放入单元桶标识对应的单元桶，实现智能化的垃圾分类，无需人工重新分类放置错误的垃圾。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种机械手的控制方法，应用于智能垃圾桶，所述智能垃圾桶设置有机械手和至少两个单元桶，所述方法包括：接收视觉检测设备发送的视觉检测数据，所述视觉检测数据是所述视觉检测设备检测所述至少两个单元桶的其中一个单元桶内得到的；根据所述视觉检测数据，检测所述单元桶内是否存在分类错误的垃圾；当存在所述分类错误的垃圾时，获取所述分类错误的垃圾对应的单元桶标识；控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。该技术方案的有益效果在于，可以利用视觉检测设备获取单元桶内的视觉检测数据，根据视觉检测数据可以判断单元桶内是否存在分类错误的垃圾，若存在，可以根据分类错误的垃圾获取对应的单元桶标识，使得机械手可以将分类错误的垃圾从当前单元桶中取出并将该垃圾放入该单元桶标识对应的单元桶，实现智能化的垃圾分类，无需人工重新分类错误放置的垃圾。

在一些可选的实施例中，所述方法还包括：当存在所述分类错误的垃圾时，根据所述视觉检测数据，获取所述分类错误的垃圾对应的拾取策略；所述控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶，包括：根据所述拾取策略，控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。该技术方案的有益效果在于，可以根据视觉检测数据获取分类错误的垃圾对应的拾取策略，同一机械手可以根据对应的拾取策略采取对应的拾取方式对不同的分类错误的垃圾进行重新分类，适用范围广。

在一些可选的实施例中，所述机械手设置有至少一种拾取组件，所述拾取策略包括拾取组件标识。该技术方案的有益效果在于，同一机械手可以根据对应的拾取策略使用拾取组件标识对应的拾取组件，对不同的分类错误的垃圾进行重新分类。

在一些可选的实施例中，所述根据所述视觉检测数据，获取所述分类错误的垃圾对应的拾取策略，包括：根据所述视觉检测数据，获取所述分类错误的垃圾的密度和体积；根据所述分类错误的垃圾的密度和体积，获取所述分类错误的垃圾的质量；根据所述分类错误的垃圾的质量，获取所述分类错误的垃圾对应的拾取策略。该技术方案的有益效果在于，可以根据视觉检测数据，获取分类错误的垃圾的密度和体积，根据密度和体积，获取质量，一方面，整个质量估计过程利用计算机视觉技术直接获取分类错误的垃圾的密度和体积，实现了非接触式质量估计，无需采取接触式的手段测量分类错误的垃圾的质量；另一方面，可以根据分类错误的垃圾的质量获取对应的拾取策略，同一机械手可以根据对应的拾取策略对不同质量的分类错误的垃圾进行重新分类。

在一些可选的实施例中，所述视觉检测数据包括2d检测数据；获取所述分类错误的垃圾的密度的方法包括：根据所述视觉检测数据，获取所述分类错误的垃圾的纹理信息；根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的密度。该技术方案的有益效果在于，2d图像信息可以较为直观地反映分类错误的垃圾的纹理信息，可以根据纹理信息判断分类错误的垃圾的材质，从而根据材质获取分类错误的垃圾的密度。

在一些可选的实施例中，所述根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的密度，包括：获取多个样本对象的纹理信息和密度标注数据，每个样本对象的密度标注数据包括所述样本对象的密度；根据所述多个样本对象的纹理信息和密度标注数据，利用深度学习模型进行训练，得到密度分类模型；将所述分类错误的垃圾的纹理信息输入所述密度分类模型，得到所述分类错误的垃圾的密度。该技术方案的有益效果在于，可以根据多个样本对象的纹理信息和对应的密度标注数据，利用深度学习模型进行训练，得到密度分类模型，一方面，通过向密度分类模型输入分类错误的垃圾的纹理信息，可以得到其密度，根据密度可以获取质量，便于根据分类错误的垃圾的质量选择对应的拾取策略；另一方面，密度分类模型可以由大量的样本数据训练而成，可以识别多种纹理信息，适用范围广，智能化水平高。

在一些可选的实施例中，所述视觉检测数据包括3d检测数据和/或射线检测数据；获取所述分类错误的垃圾的体积的方法包括：根据所述视觉检测数据，建立所述分类错误的垃圾的三维数字模型；根据所述分类错误的垃圾的三维数字模型，得到所述分类错误的垃圾的体积。该技术方案的有益效果在于，可以根据分类错误的垃圾的3d检测数据和/或射线检测数据建立对应的三维数字模型，从而根据三维数字模型获取分类错误的垃圾的体积。

第二方面，本申请提供了一种机械手的控制装置，应用于智能垃圾桶，所述智能垃圾桶设置有机械手和至少两个单元桶，所述装置包括：视觉接收模块，用于接收视觉检测设备发送的视觉检测数据，所述视觉检测数据是所述视觉检测设备检测所述至少两个单元桶的其中一个单元桶内得到的；分类检测模块，用于根据所述视觉检测数据，检测所述单元桶内是否存在分类错误的垃圾；标识获取模块，用于当存在所述分类错误的垃圾时，获取所述分类错误的垃圾对应的单元桶标识；机械手控制模块，用于控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

在一些可选的实施例中，所述装置还包括：策略获取模块，用于当存在所述分类错误的垃圾时，根据所述视觉检测数据，获取所述分类错误的垃圾对应的拾取策略；所述机械手控制模块用于根据所述拾取策略，控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

在一些可选的实施例中，所述机械手设置有至少一种拾取组件，所述拾取策略包括拾取组件标识。

在一些可选的实施例中，所述机械手控制模块包括：参数获取子模块，用于根据所述视觉检测数据，获取所述分类错误的垃圾的密度和体积；质量获取子模块，用于根据所述分类错误的垃圾的密度和体积，获取所述分类错误的垃圾的质量；拾取策略子模块，用于根据所述分类错误的垃圾的质量，获取所述分类错误的垃圾对应的拾取策略。

在一些可选的实施例中，所述视觉检测数据包括2d检测数据；所述参数获取子模块包括：纹理获取单元，用于根据所述视觉检测数据，获取所述分类错误的垃圾的纹理信息；密度获取单元，用于根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的密度。

在一些可选的实施例中，所述密度获取单元包括：样本获取子单元，用于获取多个样本对象的纹理信息和密度标注数据，每个样本对象的密度标注数据包括所述样本对象的密度；模型训练子单元，用于根据所述多个样本对象的纹理信息和密度标注数据，利用深度学习模型进行训练，得到密度分类模型；信息输入子单元，用于将所述分类错误的垃圾的纹理信息输入所述密度分类模型，得到所述分类错误的垃圾的密度。

在一些可选的实施例中，所述视觉检测数据包括3d检测数据和/或射线检测数据；所述参数获取子模块包括：模型建立单元，用于根据所述视觉检测数据，建立所述分类错误的垃圾的三维数字模型；体积获取单元，用于根据所述分类错误的垃圾的三维数字模型，得到所述分类错误的垃圾的体积。

第三方面，本申请提供了一种智能垃圾桶，所述智能垃圾桶包括存储器、处理器、机械手和至少两个单元桶，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

在一些可选的实施例中，所述机械手设置有至少一种拾取组件。

第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

附图说明

下面结合附图和实施例对本申请进一步说明。

图1是本申请实施例提供的一种机械手的控制方法的流程示意图；

图2是本申请实施例提供的一种机械手的控制方法的流程示意图；

图3是本申请实施例提供的一种获取拾取策略的流程示意图；

图4是本申请实施例提供的一种获取密度的流程示意图；

图5是本申请实施例提供的一种获取密度的流程示意图；

图6是本申请实施例提供的一种获取体积的流程示意图；

图7是本申请实施例提供的一种机械手的控制装置的结构示意图；

图8是本申请实施例提供的一种机械手的控制装置的结构示意图；

图9是本申请实施例提供的一种机械手控制模块的结构示意图；

图10是本申请实施例提供的一种参数获取子模块的结构示意图；

图11是本申请实施例提供的一种密度获取单元的结构示意图；

图12是本申请实施例提供的一种参数获取子模块的结构示意图；

图13是本申请实施例提供的一种智能垃圾桶的结构框图；

图14是本申请实施例提供的一种用于实现机械手的控制方法的程序产品的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参见图1，本申请实施例提供了一种机械手的控制方法，应用于智能垃圾桶，所述智能垃圾桶设置有机械手和至少两个单元桶，所述方法包括步骤s101～s104。

步骤s101：接收视觉检测设备发送的视觉检测数据，所述视觉检测数据是所述视觉检测设备检测所述至少两个单元桶的其中一个单元桶内得到的。

步骤s102：根据所述视觉检测数据，检测所述单元桶内是否存在分类错误的垃圾。

步骤s103：当存在所述分类错误的垃圾时，获取所述分类错误的垃圾对应的单元桶标识。每个单元桶标识可以对应唯一的单元桶，单元桶标识可以是单元桶的数字编号，例如是001、002等，单元桶标识还可以是单元桶的类型，例如是干垃圾单元桶、湿垃圾单元桶等。

步骤s104：控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

由此，可以利用视觉检测设备获取单元桶内的视觉检测数据，根据视觉检测数据可以判断单元桶内是否存在分类错误的垃圾，若存在，可以根据分类错误的垃圾获取对应的单元桶标识，使得机械手可以将分类错误的垃圾从当前单元桶中取出并将该垃圾放入该单元桶标识对应的单元桶，实现智能化的垃圾分类，无需人工重新分类错误放置的垃圾。

参见图2，在一具体实施方式中，所述方法还可以包括步骤s105。

步骤s105：当存在所述分类错误的垃圾时，根据所述视觉检测数据，获取所述分类错误的垃圾对应的拾取策略。

所述步骤s104可以包括：根据所述拾取策略，控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

由此，可以根据视觉检测数据获取分类错误的垃圾对应的拾取策略，同一机械手可以根据对应的拾取策略采取对应的拾取方式对不同的分类错误的垃圾进行重新分类，适用范围广。

在一具体实施方式中，所述机械手可以设置有至少一种拾取组件，所述拾取策略可以包括拾取组件标识。

由此，同一机械手可以根据对应的拾取策略使用拾取组件标识对应的拾取组件，对不同的分类错误的垃圾进行重新分类。

参见图3，在一具体实施方式中，所述步骤s105可以包括步骤s201～s203。

步骤s201：根据所述视觉检测数据，获取所述分类错误的垃圾的密度和体积。

参见图4，在一具体实施方式中，所述视觉检测数据可以包括2d检测数据；所述步骤s201中获取所述分类错误的垃圾的密度的方法可以包括步骤s301～s302。

步骤s301：根据所述视觉检测数据，获取所述分类错误的垃圾的纹理信息。

步骤s302：根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的密度。

其中，步骤s302可以包括：根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的材质；根据所述分类错误的垃圾的材质，获取所述分类错误的垃圾的密度。

由此，2d图像信息可以较为直观地反映分类错误的垃圾的纹理信息，可以根据纹理信息判断分类错误的垃圾的材质，从而根据材质获取分类错误的垃圾的密度。

参见图5，在一具体实施方式中，所述步骤s302可以包括步骤s401～s403。

步骤s401：获取多个样本对象的纹理信息和密度标注数据，每个样本对象的密度标注数据包括所述样本对象的密度。

步骤s402：根据所述多个样本对象的纹理信息和密度标注数据，利用深度学习模型进行训练，得到密度分类模型。

步骤s403：将所述分类错误的垃圾的纹理信息输入所述密度分类模型，得到所述分类错误的垃圾的密度。

由此，可以根据多个样本对象的纹理信息和对应的密度标注数据，利用深度学习模型进行训练，得到密度分类模型，一方面，通过向密度分类模型输入分类错误的垃圾的纹理信息，可以得到其密度，根据密度可以获取质量，便于根据分类错误的垃圾的质量选择对应的拾取策略；另一方面，密度分类模型可以由大量的样本数据训练而成，可以识别多种纹理信息，适用范围广，智能化水平高。

参见图6，在一具体实施方式中，所述视觉检测数据可以包括3d检测数据和/或射线检测数据；所述步骤s201中获取所述分类错误的垃圾的体积的方法可以包括步骤s501～s502。

步骤s501：根据所述视觉检测数据，建立所述分类错误的垃圾的三维数字模型。

步骤s502：根据所述分类错误的垃圾的三维数字模型，得到所述分类错误的垃圾的体积。

由此，可以根据分类错误的垃圾的3d检测数据和/或射线检测数据建立对应的三维数字模型，从而根据三维数字模型获取分类错误的垃圾的体积。

步骤s202：根据所述分类错误的垃圾的密度和体积，获取所述分类错误的垃圾的质量。

步骤s203：根据所述分类错误的垃圾的质量，获取所述分类错误的垃圾对应的拾取策略。

由此，可以根据视觉检测数据，获取分类错误的垃圾的密度和体积，根据密度和体积，获取质量，一方面，整个质量估计过程利用计算机视觉技术直接获取分类错误的垃圾的密度和体积，实现了非接触式质量估计，无需采取接触式的手段测量分类错误的垃圾的质量；另一方面，可以根据分类错误的垃圾的质量获取对应的拾取策略，同一机械手可以根据对应的拾取策略对不同质量的分类错误的垃圾进行重新分类。

参见图7，本申请实施例还提供了一种机械手的控制装置，其具体实现方式与上述机械手的控制方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。所述装置应用于智能垃圾桶，所述智能垃圾桶设置有机械手和至少两个单元桶。

所述装置包括：视觉接收模块11，用于接收视觉检测设备发送的视觉检测数据，所述视觉检测数据是所述视觉检测设备检测所述至少两个单元桶的其中一个单元桶内得到的；分类检测模块12，用于根据所述视觉检测数据，检测所述单元桶内是否存在分类错误的垃圾；标识获取模块13，用于当存在所述分类错误的垃圾时，获取所述分类错误的垃圾对应的单元桶标识；机械手控制模块14，用于控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

参见图8，在一具体实施方式中，所述装置还可以包括：策略获取模块15，可以用于当存在所述分类错误的垃圾时，根据所述视觉检测数据，获取所述分类错误的垃圾对应的拾取策略；所述机械手控制模块14可以用于根据所述拾取策略，控制所述机械手取出所述分类错误的垃圾并放入所述单元桶标识对应的单元桶。

在一具体实施方式中，所述机械手可以设置有至少一种拾取组件，所述拾取策略可以包括拾取组件标识。

参见图9，在一具体实施方式中，所述机械手控制模块14可以包括：参数获取子模块141，可以用于根据所述视觉检测数据，获取所述分类错误的垃圾的密度和体积；质量获取子模块142，可以用于根据所述分类错误的垃圾的密度和体积，获取所述分类错误的垃圾的质量；拾取策略子模块143，可以用于根据所述分类错误的垃圾的质量，获取所述分类错误的垃圾对应的拾取策略。

参见图10，在一具体实施方式中，所述视觉检测数据可以包括2d检测数据；所述参数获取子模块141可以包括：纹理获取单元1411，可以用于根据所述视觉检测数据，获取所述分类错误的垃圾的纹理信息；密度获取单元1412，可以用于根据所述分类错误的垃圾的纹理信息，获取所述分类错误的垃圾的密度。

参见图11，在一具体实施方式中，所述密度获取单元1412可以包括：样本获取子单元1412a，可以用于获取多个样本对象的纹理信息和密度标注数据，每个样本对象的密度标注数据可以包括所述样本对象的密度；模型训练子单元1412b，可以用于根据所述多个样本对象的纹理信息和密度标注数据，利用深度学习模型进行训练，得到密度分类模型；信息输入子单元1412c，可以用于将所述分类错误的垃圾的纹理信息输入所述密度分类模型，得到所述分类错误的垃圾的密度。

参见图12，在一具体实施方式中，所述视觉检测数据可以包括3d检测数据和/或射线检测数据；所述参数获取子模块141可以包括：模型建立单元1413，可以用于根据所述视觉检测数据，建立所述分类错误的垃圾的三维数字模型；体积获取单元1414，可以用于根据所述分类错误的垃圾的三维数字模型，得到所述分类错误的垃圾的体积。

参见图13，本申请实施例还提供了一种智能垃圾桶200，智能垃圾桶200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)211和/或高速缓存存储器212，还可以进一步包括只读存储器(rom)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中机械手的控制方法的步骤，其具体实现方式与上述机械手的控制方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。

总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

智能垃圾桶200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该智能垃圾桶200交互的设备通信，和/或与使得该智能垃圾桶200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口250进行。并且，智能垃圾桶200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与智能垃圾桶200的其它模块通信。应当明白，尽管图中未示出，可以结合智能垃圾桶200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

在一具体实施方式中，所述智能垃圾桶200还包括机械手(图中未示出)和至少两个单元桶(图中未示出)，所述机械手可以设置有至少一种拾取组件。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中机械手的控制方法的步骤，其具体实现方式与上述机械手的控制方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

图14示出了本实施例提供的用于实现上述机械手的控制方法的程序产品300，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c++等，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，其设置有的实用进步性，已符合专利法所强调的功能增进及使用要件，本申请以上的说明及附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。