一种基于模板匹配的自识别分拣系统和方法与流程

本发明涉及自识别分拣领域，更具体地，涉及一种基于模板匹配的自识别分拣系统和方法。
背景技术：
：随着人们生活水平的提高，城市垃圾也越来越多。由于生活垃圾的复杂性和多样性，民众垃圾分类意识不高，垃圾分类市场不成熟等原因，使得我国垃圾分类已经实施了十余年，但仍然没有成效。传统的垃圾分拣大量依赖于人工分拣，分拣人员站在垃圾传送带的两侧，将有害或者有用的垃圾分拣出来。人工分拣的优点是分拣精度高，投入设备成本低；但缺点也显而易见，分拣效率极其低下，而且可能会存在对垃圾分拣人员生命安全的威胁。世界上第一台垃圾分拣机器人是zenrobotics公司制作的zenroboticsrecycler；通过机器人对固体垃圾流(金属、木材、矿石、塑料、硬纸板等)进行精确的分离拣选。而sadakotechnologies公司制作的wall-b设备，主要是从垃圾流中识别和分拣固体垃圾，包括树脂材料，高密度聚乙烯，砖块，食品罐头等。这两种垃圾分拣系统都局限于内嵌的算法，仅仅只能识别固定的材料，使系统不具备多功能性以及广泛的适应性。技术实现要素：本发明为克服上述现有技术所述的分拣系统不具广泛性的缺陷，提供一种基于模板匹配的自识别分拣系统和方法。所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机电连接，上位机与下位机电连接，下位机与机械臂电连接；图像采集模块负责采模板图像信息和目标图像信息的采集，并将采集的模板图像信息和目标图像信息传送给上位机；上位机负责模板图像信息的保存与提取，以及根据目标图像信息对机械臂各关节角度信息的计算，并将计算后的角度信息发送给下位机；下位机根据上位机发送来的信息实现对机械臂的控制；机械臂为执行机构，负责垃圾分拣动作的执行。优选地，机械臂采用多自由度的机械臂，机械臂包括若干个关节、若干个力臂和夹持器，关节与力臂相互间隔且依次连接，连接后末端为关节，末端的关节与夹持器连接；夹持器用来夹持物体。优选地，机械臂包括依次连接的第一关节、第一力臂、第二关节、第二力臂、第三关节、第三力臂、第四关节、第四力臂、第五关节、夹持器；第五关节控制夹持器处于闭合还是张开的状态；夹持器用于夹持目标物体；第一关节设在底座上；第一关节、第二关节、第三关节、第四关节用来调整机械臂位置，第五关节用来控制夹持器夹持物体。优选地，夹持器的夹持侧设有压力传感器，压力传感器与下位机连接，用来感应夹持器夹持物体的力度的大小。优选地，所述的下位机包括wifi接收模块和主控芯片，wifi接收模块与上位机无线通信连接，wifi接收模块与主控芯片电连接。优选地，wifi接收模块的型号为：esp8266，主控芯片的型号为：stm32f103zet6。优选地，所述的图像采集模块采用的是罗技公司生产的c920摄像头；c920集成cmos传感器，最高分辨率为1280*960，最大帧数为30fps。所述系统可人机交互界面上制作出可回收垃圾以及危险物品的模板，然后根据视觉采集图像，进行图像预处理以及实时性的模板匹配，匹配出目标物体的中心坐标，并通过正逆运动学分析计算出机械臂各个关节的角度，将角度信息通过esp8266模块传递给下位机stm32f103zet6，由下位机控制机械臂准确地抓取目标物体并放置在规定区域，达到分拣垃圾的目的。所述方法应用于上述基于模板匹配的自识别分拣系统上，所述方法包括以下步骤：s1：通过图像采集模块对想抓取的物品进行图像信息采集，并制作n个模板，然后将模板图像信息传送至上位机进行存储，n为大于等于1的正整数；s2：图像采集模块采集目标图像；s3：上位机调用模板信息，若当前模板信息搜索不到，则自动循环调取下一张模板信息；s4：上位机以模板的像素特征作为检测依据；对视频流进行像素搜索；s5：检测是否存在与像素模板相似的目标物体；若存在，则进行s6，若不存在，则返回s4；s6：计算出目标物体的中心坐标；s7：根据中心坐标，计算出机械臂的角度；并将角度信息发送给下位机；s8：下位机根据上位机发送过来的角度信息，通过脉宽调制控制机械臂中的各关节处的舵机转动相应的角度；实现物体的分拣；s9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤s2。优选地，s7中，机械臂角度的计算过程为：s7.1：通过逆运动学分析，求解出各关节逆运动学所对应的角度；s7.2：根据逆运动学所对应的角度信息，通过正运动学分析，求出机械臂末端的位置信息；依次将机械臂末端位置信息与待抓取的物品的位置进行标准差运算，求出标准差中值最小的末端位置信息对应的角度。优选地，s7.1包括以下步骤：s7.1.1：根据机械臂模型建立d-h参数表；s7.1.2：根据d-h参数表分别得出参考坐标系到第一关节之间的齐次变换矩阵0t1，第一关节到第二关节之间的齐次变换矩阵1t2，第二关节到第三关节之间的齐次变换矩阵2t3，第三关节到第四关节之间的齐次变换矩阵3t4，第四关节到第五关节之间的齐次变换矩阵4t5；s7.1.3：根据s7.2推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：0t5＝0t1*1t2*2t3*3t4*4t5s7.1.4：假设机械臂末端的齐次变换矩阵为：其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，其中nx代表n坐标轴在x方向上的方向余弦；其中ny代表n坐标轴在y方向上的方向余弦；其中nz代表n坐标轴在z方向上的方向余弦；其中ox代表o坐标轴在x方向上的方向余弦；其中oy代表o坐标轴在y方向上的方向余弦；其中oz代表o坐标轴在z方向上的方向余弦；其中ax代表a坐标轴在x方向上的方向余弦；其中ay代表a坐标轴在y方向上的方向余弦；其中az代表a坐标轴在z方向上的方向余弦；代表了机械末端的姿态信息；(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；s7.1.5：求解第一关节的角度θ1：根据等式可得可以求解得到：s7.1.6：求解第四关节的角度θ4与第二关节的角度θ2、第一关节的角度θ1的关系式：根据等式可得可得：其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；s7.1.7：求解第三关节的角度θ3：根据等式可得可得：因此可以求得其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；s7.1.8：设定第二关节的角度θ2的数值；s7.1.9：逆解的选取：由s7.1.5-s7.1.8可知，当θ2确定为某一值，θ1有1个解，θ4与θ1对应有2个解，θ3与θ4、θ1对应有4个解，也就说明逆向运动学对应的解有8组；由于因此θ4有两个解，由于且sinθ3的等式中含有θ4，因此θ3有四个解，由于θ4有两个解，θ3有四个解，那么总共就有2*4＝8个解；优选地，s7.2包括以下步骤：s7.2.1：根据d-h参数表得出参考坐标系到第一关节之间的齐次变换矩阵为：其中θ1代表第一关节的关节转角。s7.2.2：根据d-h参数表得出第一关节到第二关节之间的齐次变换矩阵为：其中θ2代表第二关节的关节转角。s7.2.3：根据d-h参数表得出第二关节到第三关节之间的齐次变换矩阵为：其中θ3代表第三关节的关节转角。s7.2.4：根据d-h参数表得出第三关节到第四关节之间的齐次变换矩阵为：其中θ4代表第四关节的关节转角。s7.2.5：根据d-h参数表得出第四关节到第五关节之间的齐次变换矩阵为：根据上式推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：0t5＝0t1*1t2*2t3*3t4*4t5；0t5矩阵中是关于θ1、θ2、θ3、θ4的矩阵；s7.2.6：将s7.1.9步骤中得到的运动学模型的8组解代入0t5，假设0t5齐次变换矩阵如下(由于是未知数角度值已经代入运算，所以0t5中各个元素已知，且会得到8个0t5)：其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，类似于参考坐标系的x,y,z轴；其中nx代表n坐标轴在x方向上的方向余弦其中ny代表n坐标轴在y方向上的方向余弦其中nz代表n坐标轴在z方向上的方向余弦其中ox代表o坐标轴在x方向上的方向余弦其中oy代表o坐标轴在y方向上的方向余弦其中oz代表o坐标轴在z方向上的方向余弦其中ax代表a坐标轴在x方向上的方向余弦其中ay代表a坐标轴在y方向上的方向余弦其中az代表a坐标轴在z方向上的方向余弦以下3*3的矩阵代表了机械末端的姿态信息：其中(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；上述齐次变换矩阵为给定的已知条件，期望机械臂以何种姿态到达何处抓取物品。s7.2.7：取8组0t5的(px,py,pz)，则第一组为(px1,py1,pz1)，第二组为(px2,py2,pz2)……第八为(px8,py8,pz8)；取上述8个标准差的最小值所对应的角度，即为所求的角度。与现有技术相比，本发明技术方案的有益效果是：本发明可提高分拣系统应用的广泛性；可提高识别效率、减少错误率和降低成本。本发明不再局限于内嵌的算法只能识别固定的材料，采用模板匹配方法，可以准确抓取任何目标物品，不限制特定的材料。首先本系统在上位机上自行添加待分拣的模板，然后对图像进行特征点的检测、描述与匹配，当匹配值达到阈值后，系统便可自动识别，从而进行分拣动作，大大提高了系统的多功能性以及适应性。本发明在识别的过程中先对图像进行一系列的预处理以及添加一个模板匹配的适应分值，预处理选项以及适应分值的调整显示在人机交互界面上；通过调整预处理选项和适应分值，系统可以适应光照充足、光照不足等多种情况，拓展了系统应用的广泛性。本发明采用了多自由度的机械臂，首先根据机械臂的构造建立连杆坐标系，确定各连杆d-h参数，构造移动机械臂的数学模型；对该模型进行正向运动学分析，然后用数学模型逆求解方法，通过多组正逆运动学参数对求解结果进行验证，大大提高了抓取物体的准确性。附图说明图1为实施例1所述基于模板匹配的自识别分拣系统示意图。图2为实施例2所述基于模板匹配的自识别分拣方法流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。实施例1本实施例提供一种基于模板匹配的自识别分拣系统，如图1所示，所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机电连接，上位机与下位机电连接，下位机与机械臂电连接；图像采集模块负责采模板图像信息和目标图像信息的采集，并将采集的模板图像信息和目标图像信息传送给上位机；上位机负责模板图像信息的保存与提取，以及根据目标图像信息对机械臂各关节角度信息的计算，并将计算后的角度信息发送给下位机；下位机根据上位机发送来的信息实现对机械臂的控制；机械臂为执行机构，负责垃圾分拣动作的执行。机械臂采用多自由度的机械臂，机械臂包括若干个关节、若干个力臂和夹持器，关节与力臂相互间隔且依次连接，连接后末端为关节，末端的关节与夹持器连接；夹持器用来夹持物体。机械臂包括依次连接的第一关节、第一力臂、第二关节、第二力臂、第三关节、第三力臂、第四关节、第四力臂、第五关节、夹持器；第五关节控制夹持器处于闭合还是张开的状态；夹持器用于夹持目标物体；第一关节设在底座上；第一关节、第二关节、第三关节、第四关节用来调整机械臂位置，第五关节用来控制夹持器夹持物体。夹持器的夹持侧设有压力传感器，压力传感器与下位机连接，用来感应夹持器夹持物体的力度的大小。所述的下位机包括wifi接收模块和主控芯片，wifi接收模块与上位机无线通信连接，wifi接收模块与主控芯片电连接。wifi接收模块的型号为：esp8266。主控芯片的型号为：stm32f103zet6。所述的图像采集模块采用的是罗技公司生产的c920摄像头；c920集成cmos传感器，最高分辨率为1280*960，最大帧数为30fps。实施例2本实施例提供一种基于模板匹配的自识别分拣方法，如图2所示，所述方法包括以下步骤：s1：通过图像采集模块对想抓取的物品进行图像信息采集，并制作n个模板，然后将模板图像信息传送至上位机进行存储，n为大于等于1的正整数；s2：图像采集模块采集目标图像；s3：上位机调用模板信息，若当前模板信息搜索不到，则自动循环调取下一张模板信息；s4：上位机以模板的像素特征作为检测依据；对视频流进行像素搜索；s5：检测是否存在与像素模板相似的目标物体；若存在，则进行s6，若不存在，则返回s4；s6：计算出目标物体的中心坐标；s7：根据中心坐标，计算出机械臂的角度；并将角度信息发送给下位机；s8：下位机根据上位机发送过来的角度信息，通过脉宽调制控制机械臂中的各关节处的舵机转动相应的角度；实现物体的分拣；s9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤s2。s7中，机械臂角度的计算过程为：s7.1：通过逆运动学分析，求解出各关节逆运动学所对应的角度；s7.2：根据逆运动学所对应的角度信息，通过正运动学分析，求出机械臂末端的位置信息；依次将机械臂末端位置信息与待抓取的物品的位置进行标准差运算，求出标准差中值最小的末端位置信息对应的角度。s7.1包括以下步骤：s7.1.1：根据机械臂模型建立d-h参数表；s7.1.2：根据d-h参数表分别得出参考坐标系到第一关节之间的齐次变换矩阵0t1，第一关节到第二关节之间的齐次变换矩阵1t2，第二关节到第三关节之间的齐次变换矩阵2t3，第三关节到第四关节之间的齐次变换矩阵3t4，第四关节到第五关节之间的齐次变换矩阵4t5；s7.1.3：根据s7.2推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：0t5＝0t1*1t2*2t3*3t4*4t5s7.1.4：假设机械臂末端的齐次变换矩阵为：其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，其中nx代表n坐标轴在x方向上的方向余弦；其中ny代表n坐标轴在y方向上的方向余弦；其中nz代表n坐标轴在z方向上的方向余弦；其中ox代表o坐标轴在x方向上的方向余弦；其中oy代表o坐标轴在y方向上的方向余弦；其中oz代表o坐标轴在z方向上的方向余弦；其中ax代表a坐标轴在x方向上的方向余弦；其中ay代表a坐标轴在y方向上的方向余弦；其中az代表a坐标轴在z方向上的方向余弦；代表了机械末端的姿态信息；(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；s7.1.5：求解第一关节的角度θ1：根据等式可得可以求解得到：s7.1.6：求解第四关节的角度θ4与第二关节的角度θ2、第一关节的角度θ1的关系式：根据等式可得可得：其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；s7.1.7：求解第三关节的角度θ3：根据等式可得可得因此可以求得其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；s7.1.8：设定第二关节的角度θ2的数值；s7.1.9：逆解的选取：由s7.1.5-s7.1.8可知，当θ2确定为某一值，θ1有1个解，θ4与θ1对应有2个解，θ3与θ4、θ1对应有4个解，也就说明逆向运动学对应的解有8组；由于因此θ4有两个解，由于且sinθ3的等式中含有θ4，因此θ3有四个解，由于θ4有两个解，θ3有四个解，那么总共就有2*4＝8个解。s7.2包括以下步骤：s7.2.1：根据机械臂模型建立d-h参数表；d-h参数表为采用d-h法建立的参数表，d-h法为denavit和hartenberg在1955年提出一种通用的方法；d-h参数表具体如下：关节序号ai(mm)αi(rad)di(mm)θi(rad)offset10pi/20002104000036600004800pi/2pi/2517000-pi/2-pi/2其中，a代表连杆长度，α代表连杆扭转，d代表连杆偏移，θ代表关节转角，offset代表关节偏移。根据d-h参数表得出参考坐标系到第一关节之间的齐次变换矩阵为：其中θ1代表第一关节的关节转角。s7.2.2：根据d-h参数表得出第一关节到第二关节之间的齐次变换矩阵为：其中θ2代表第二关节的关节转角。s7.2.3：根据d-h参数表得出第二关节到第三关节之间的齐次变换矩阵为：其中θ3代表第三关节的关节转角。s7.2.4：根据d-h参数表得出第三关节到第四关节之间的齐次变换矩阵为：其中θ4代表第四关节的关节转角。s7.2.5：根据d-h参数表得出第四关节到第五关节之间的齐次变换矩阵为：根据上式推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：0t5＝0t1*1t2*2t3*3t4*4t5；0t5矩阵中是关于θ1、θ2、θ3、θ4的矩阵；s7.2.6：将s7.1.9步骤中得到的运动学模型的8组解代入0t5，假设0t5齐次变换矩阵如下(由于是未知数角度值已经代入运算，所以0t5中各个元素已知，且会得到8个0t5)：其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，类似于参考坐标系的x,y,z轴；其中nx代表n坐标轴在x方向上的方向余弦其中ny代表n坐标轴在y方向上的方向余弦其中nz代表n坐标轴在z方向上的方向余弦其中ox代表o坐标轴在x方向上的方向余弦其中oy代表o坐标轴在y方向上的方向余弦其中oz代表o坐标轴在z方向上的方向余弦其中ax代表a坐标轴在x方向上的方向余弦其中ay代表a坐标轴在y方向上的方向余弦其中az代表a坐标轴在z方向上的方向余弦以下3*3的矩阵代表了机械末端的姿态信息：其中(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；上述齐次变换矩阵为给定的已知条件，期望机械臂以何种姿态到达何处抓取物品。s7.2.7：取8组0t5的(px,py,pz)，则第一组为(px1,py1,pz1)，第二组为(px2,py2,pz2)……第八为(px8,py8,pz8)；取上述8个标准差的最小值所对应的角度，即为所求的角度。相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。当前第1页12