臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机与流程

本发明涉及炒茶机器人领域，特别涉及一种臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机。

背景技术

杀青是绿茶等形状和品质形成的关键工序。目前市场上现有的炒茶机器人多为滚筒式或者锅式杀青机，它们工作都是连续、单一的简单重复运动，不能很好地控制茶叶被均匀翻炒，以至于被翻炒的部分茶叶可能杀青不足。

技术实现要素：

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机。

本发明实施方式的臂式炒茶机翻炒茶叶的控制方法，臂式炒茶机上设置有左右手爪，臂式炒茶机上通过电机控制左右手爪的旋转，其特征在于，包括：

步骤1，对炒茶过程中圆形炒锅中的茶叶进行实时拍摄，获得茶叶上表面翻炒初始的第一图像和经过预定时间翻炒后的第二图像；

步骤2，确定第二图像中茶叶的分布形状不是圆形，对第一图像和第二图像进行roi叠加处理获得第三图像；

步骤3，对第三图像进行canny边缘检测处理获得边缘点的坐标，再根据边缘点坐标计算获得旋转矩阵；

步骤4，控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。

一种实施方式中，

一种实施方式中，

本发明实施方式的臂式炒茶机，臂式炒茶机上设置有左右手爪，臂式炒茶机上通过电机控制左右手爪的旋转，其特征在于，该臂式炒茶机包括：

工业相机，用于对炒茶过程中圆形炒锅中的茶叶进行实时拍摄，获得茶叶上表面翻炒初始的第一图像和经过预定时间翻炒后的第二图像；

计算机，用于确定第二图像中茶叶的分布形状不是圆形，对第一图像和第二图像进行roi叠加处理获得第三图像；

所述计算机，还用于对第三图像进行canny边缘检测处理获得边缘点的坐标，再根据边缘点坐标计算获得旋转矩阵；

控制柜，用于控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。

一种实施方式中，控制柜，具体用于确定茶叶上表面的下沉高度达到预设下沉阈值时，控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。

一种实施方式中，控制柜，还用于确定第二图像的面积不再发生变化时，对左右手爪进行翻转。

本发明实施方式的臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机，利用工业相机实时拍摄结合机器视觉判断锅内茶叶分布情况，实时根据茶叶分布情况控制机器人旋转特定角度来翻炒茶叶，此发明让炒茶机器人更加灵活，可以保证锅内茶叶被均匀翻炒，保证全部茶叶充分杀青。

本发明的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的臂式炒茶机翻炒茶叶的控制方法的流程示意图；

图2是本发明实施方式的臂式炒茶机的组成示意图；

图3是本发明实施方式的臂式炒茶机的操作示意图；

图4是本发明实施方式的工业相机拍摄的一个茶叶上表面的示意图；

图5是本发明实施方式的图像进行roi叠加后的示意图；

图6是本发明实施方式工业相机拍摄的又一个茶叶上表面的示意图；

图7是本发明实施方式炒茶机器人的末端姿态调整的侧视图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1至图7，本发明实施方式的臂式炒茶机翻炒茶叶的控制方法，臂式炒茶机上设置有左右手爪，臂式炒茶机上通过电机控制左右手爪的旋转，该方法包括：

步骤1，对炒茶过程中圆形炒锅中的茶叶进行实时拍摄，获得茶叶上表面翻炒初始的第一图像和经过预定时间翻炒后的第二图像。

步骤2，确定第二图像中茶叶的分布形状不是圆形，对第一图像和第二图像进行roi叠加处理获得第三图像。

步骤3，对第三图像进行canny边缘检测处理获得边缘点的坐标，再根据边缘点坐标计算获得旋转矩阵。

步骤4，控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。

本发明实施方式还同时提出一种臂式炒茶机，臂式炒茶机上设置有左右手爪，臂式炒茶机上通过电机控制左右手爪的旋转，其特征在于，该臂式炒茶机包括：

工业相机，用于对炒茶过程中圆形炒锅中的茶叶进行实时拍摄，获得茶叶上表面翻炒初始的第一图像和经过预定时间翻炒后的第二图像；

计算机，用于确定第二图像中茶叶的分布形状不是圆形，对第一图像和第二图像进行roi叠加处理获得第三图像；

所述计算机，还用于对第三图像进行canny边缘检测处理获得边缘点的坐标，再根据边缘点坐标计算获得旋转矩阵；

控制柜，用于控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。

在该实施方式中，臂式炒茶机翻炒茶叶的控制方法以臂式炒茶机作为步骤的执行对象，或者以臂式炒茶机的各个组成部分作为步骤的执行对象。具体地，步骤1由工业相机作为步骤的执行对象，步骤2和步骤3由计算机作为步骤的执行对象，步骤4由控制柜作为步骤的执行对象。

在步骤1中，在步骤1中，工业相机对炒茶过程中圆形炒锅中的茶叶进行实时拍摄，获得翻炒初始茶叶上表面的第一图像和经过预设时间翻炒后茶叶上表面的第二图像。图3中①表示计算机，②表示控制柜，图3中部从上到下依次为工业相机、机械臂、左手爪、右手爪和炒茶用的圆形炒锅。炒茶过程中，工业相机实时拍摄炒锅中茶叶变化情况。茶叶得到上表面的图像，当刚开始进行翻炒时得到图4的左图，即工业相机拍摄的第一图像，翻炒一段时间后得到图4的右图，即工业相机拍摄的第二图像。此处工业相机拍摄的间隔可以预先设定一个时间作为预设时间。图4中两个图都是圆形，但因为翻炒过程中茶叶会失水而变少，所以图4的左图会大于右图的面积。由于臂式炒茶机的左右手爪沿锅边某一方向多次翻炒茶叶，锅内茶叶会呈现出数字8的图像，如图4的右图。

在步骤2中，计算机确定第二图像中茶叶的分布形状不是圆形，对第一图像和第二图像进行roi叠加处理获得第三图像。在图像处理领域，常常需要设置感兴趣区域(roi，regionofinterest)，来专注或者简化我们的工作过程。也就是从图像中选择的一个图像区域，这个区域是我们图像分析所关注的重点，圈定这个区域以便进行进一步处理。而且，使用roi指定我们想读入的目标，可以减少处理时间，增加精度，给图像处理来带不小的便利。定义roi区域有两种方法，第一种是使用cv:rect.顾名思义，cv::rect表示一个矩形区域。指定矩形的左上角坐标(构造函数的前两个参数)和矩形的长宽(构造函数的后两个参数)就可以定义一个矩形区域。另一种定义roi的方式是指定感兴趣行或列的范围(range)。range是指从起始索引到终止索引(不包括终止索引)的一连段连续序列。cv::range可以用来定义range。本方案中，对于定义roi区域的区域不进行限定，图4左侧的第一图像和右侧的第二图像进行roi叠加处理获得图5，图5中的图像则为第三图像。

在步骤3中，计算机对第三图像进行canny边缘检测处理获得边缘点的坐标，再根据边缘点坐标计算获得旋转矩阵。

canny边缘检测算子是一种多级检测算法。1986年由johnf.canny提出，同时提出了边缘检测的三大准则：

低错误率的边缘检测：检测算法应该精确地找到图像中的尽可能多的边缘，尽可能的减少漏检和误检。

最优定位：检测的边缘点应该精确地定位于边缘的中心。

图像中的任意边缘应该只被标记一次，同时图像噪声不应产生伪边缘。计算机对图5中的第三图像进行canny边缘处理后得到图像的边缘，并记录图像中边缘点的坐标(x,y)。边缘坐标具体实现是用opencv算法实现，如下：

由上得到边缘点坐标x＝a[m][0]＝i,y＝a[m][1]＝j。即坐标为(x,y)。

根据边缘点坐标由公式d＝(x²+y²)^1/2可以得出原点到边缘点的距离，比较得出最远距离并记录最远距离对应边缘点为d(xd,yd)点。假设初始左右两手爪位置在a、b两点，记录b点坐标(xb，yb)，当机器人在翻炒锅内茶叶一段时间后，相机传输图像不为圆形时，这时要计算出cd与ab之间的夹角θ，前面已经得出d点的坐标(xd，yd)和b点坐标(xb，yb)，再由公式cosβ＝xd/(xd²+yd²)^1/2和cosα＝xb/(xb²+yb²)^1/2得出cd与x轴之间的夹角β和ab与x轴夹角α，再由公式θ＝β-α求出cd与ab之间的夹角θ。这时得到旋转矩阵t。

旋转矩阵t具体如下：

臂式炒茶机在xyz组成的3轴坐标系内绕z轴旋转一定角度θ，则绕x,y轴旋转的角度都为0.则知道欧拉角后由matlab处理到旋转矩阵。代码为t＝rotz(θ)roty(0)rotx(0)，得到旋转矩阵，其中rotx,roty,rotz分别表示绕x,y,z轴旋转的指令。

在步骤4中，控制柜控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。具体地，计算机将旋转矩阵t传输给控制柜里的控制器，控制器控制上端电机旋转，此时旋转角度为θ，这时两手爪的位置变为c、d点，即机器人开始从c、d点翻炒锅内茶叶。在炒茶过程中不断重复上述过程，实时改变手臂旋转角度来从不同角度翻炒锅内茶叶，保证茶叶被均匀翻炒，使茶叶能充分杀青。

进一步地，步骤4包括：确定茶叶上表面的下沉高度达到预设下沉阈值时，控制电机使左右手爪按旋转矩阵进行旋转再翻炒茶叶。例如，预先将下沉阈值设为2cm：即翻炒工业相机拍摄的第二图像的半径r2+2<＝r1，r1表示翻炒初始茶叶上表面工业相机拍摄的第一图像的半径，这时为判断手爪下沉的标准，即确定茶叶上表面的下沉高度达到预设下沉阈值2cm时，控制柜开始调整末端姿态，即通过手爪的下沉来翻炒茶叶。

如图6，确定茶叶下沉高度时，图6的左图是茶叶翻炒初始的一个图像，在此命名为第四图像，图6的右图是茶叶翻炒一段时间后的一个图像，在此命名为第五图像。可以由计算机根据第四图像和第五图像，计算获得茶叶上表面的下沉高度。

具体地，步骤2包括：

根据第四图像和第五图像内的像素个数分别计算获得第四图像和第五图像各自的面积；根据第四图像和第五图像各自的面积计算获得第四图像和第五图像各自的半径；根据第四图像和第五图像各自的半径计算获得获得茶叶上表面的下沉高度。

计算机通过计算第四图像和第五图像内像素个数来分别得到两者的面积。图6的左图，即第四图像的面积为s1＝n1θ；图6的右图，即第五图像的面积为s2＝n2θ。n1,n2分别为图6的左图、图6的右图中圆形图像的像素个数，θ为预先设定的比例因子。

再由公式r1＝(s1/pi)^1/2和r2＝(s2/pi)^1/2分别得出图6的左图、图6的右图中圆形图像的半径。r1和r2分别表示图6的左图、图6的右图中圆形图像的半径，pi代表圆周率。因为炒茶用的炒锅是半椭球型，炒锅的侧视图是一个椭圆形，如图7，根据r1和r2得出在侧视图上的位置分别为ef和gh。

假设炒茶机器人的手爪在起始时是在ef点(左手爪起始在e点，右手爪起始在f点)，一段时间后ef点下沉到gh点，此时要计算出o到gh的距离h。因为锅侧面为椭圆所以曲线方程为前面得到r2的值即为h点在xz平面的x坐标，-r2为g点的x坐标。则g、h点的z坐标为-h。将r2和-h带入椭圆方程的计算得到距离h的值。其中，a和b分别是椭圆的半长轴长和半短轴长，因为炒锅的侧面是半椭圆形，其曲线方程是椭圆方程，不同的锅对应着不同的a、b值。例如，炒锅对应的a和b分别为45cm和60cm，当使用的炒锅确定后，a、b值则相应确定。

同理可以求出o点到ef之间的距离h1。

进一步地，该方法还包括步骤：控制柜确定第二图像的面积不再发生变化时，对左右手爪进行翻转。一开始茶叶在锅内形状是圆形，到开始翻炒时茶叶形状是不断变化的(最终状态会呈现数字8的形状)。锅内茶叶形状渐变过程根据前面处理可得图形中两点的最远距离为图5中c点和d点之间的距离，当最远距离逼近某一值(即cd两点之间距离不再产生变化时)，即判断锅内茶叶形状基本不变呈现为数字8形状，对炒茶机器人左右手爪进行翻转。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。