一种基于边界与力反馈的机械臂书法书写系统及方法与流程

本发明涉及仿人轮式机器人技术应用领域，具体为一种基于边界与力反馈的机械臂书法书写系统及方法。

背景技术：

近年来，机械臂的应用逐渐从工厂走向人们日常生活。利用机械臂写书法也逐渐受到大家的关注。事实上，市场上的书法机械臂大多是低自由度的，操作性很差，而且灵活性不够。而且，虽然出现了好几款写字机器人，但这些机器人写字在技术层面上应用的仅限于机械臂末端的位置控制，没有考虑书法中的力道艺术。单纯的把汉字的轮廓描绘出来，显然不能满足大家的审美需求。另一个方面，如何将视觉加入书法机械臂，使得机械臂可以自动获取汉字信息，而不需要人工输入，是现有书法机械臂没有解决的问题。

本发明提出的基于边界与力反馈的机械臂书法书写系统可以解决目前存在的问题。

技术实现要素：

针对上述技术问题，本发明提出了一种基于边界与力反馈的机械臂书法书写系统及方法，主要解决现有的书法机械臂受自由度制约、缺乏力控制、缺乏视觉反馈、应用场景单一等问题，将力控与视觉反馈结合在一起，实现书法机械臂的自主获取汉字轮廓，自主校正书法力道的功能。

本发明通过有如下技术方案实现：

一种基于边界与力反馈的机械臂书法书写系统，包括：

视觉部分，用于获取给定字体的图像信息,经处理得到字体的笔划轮廓信息后确定机械臂末端落笔点和提笔点的坐标，同时，根据机械臂初次书写字体的笔划边界确定力反馈部分的期望力；

机械臂部分，用于根据所述机械臂末端落笔点和提笔点的坐标控制毛笔末端位置，同时，根据所述力反馈部分的期望力调整毛笔末端与纸面垂直方向上的坐标控制毛笔末端与书写纸板的接触力；

力反馈部分，用于实时测量书写过程中毛笔末端与书写纸板的接触力的大小并反馈到机械臂部分；

处理器部分，用于书写过程中图像处理、机械臂运行的运算过程，控制机械臂部分驱动毛笔末端的轨迹和与书写纸板的接触力。

进一步地，所述的处理器部分为带gpu的高性能处理器。

进一步地，所述的带gpu的高性能处理器的型号为nvidiajestontx2。

进一步地，所述的视觉部分为双目摄像头，如zed深度双目摄像头。

进一步地，所述的力反馈部分采用力矩传感器，如sri六维力/力矩传感器。

进一步地，所述的机械臂部分采用六自由度机械臂。

一种基于边界与力反馈的机械臂书法书写方法，包括步骤：

(1)根据采集的给定字体笔划轮廓信息确定机械臂末端落笔点和提笔点的坐标，同时，根据机械臂书写字体的笔划边界确定力反馈部分的期望力；

(2)根据所述机械臂末端落笔点和提笔点的坐标控制毛笔末端位置，同时，根据所述力反馈部分的期望力调整毛笔末端与纸面垂直方向上的坐标控制毛笔末端与书写纸板的接触力；

(3)实时测量书写过程中毛笔末端与书写纸板的接触力的大小，控制机械臂部分驱动毛笔末端的按设定轨迹和与书写纸板的接触力完成书写。

进一步地，所述的步骤(1)具体包括：

(1.1)获取给定字体笔划轮廓信息；

(1.2)提取笔划起始和结束位置坐标；

(1.3)转化为机械臂末端在世界坐标系下落笔点和提笔点的坐标；

(1.4)提取机械臂初次书写字体的笔划边界；

(1.5)比较初始书写字体与给定字体的笔划边界大小；

(1.6)将信息传输到力反馈部分，确定期望力。

进一步地，所述的步骤(1.1)具体包括：

(1.1.1)采用水平垂直差分法：提取轮廓之后，得到的是多个封闭的多边形，也就是每一个点都有且只有两个连接点，但在轮廓的锐角处会产生一些端点，所述端点只有一个连接点，在此称为孤立点，为便于跟踪，将这些点剔除,经过处理后的轮廓形成一个个封闭的复杂多边形，多边形上的每一个点均有且只有两个连接点；

(1.1.2)特征点的检测：和细化后的骨架不同，字体轮廓上的所有点都有且只有2个连接点，不存在端点和分叉点的情况；笔画轮廓上的特征点主要有笔画的起始和停止处的角点、笔画相交处的交点和笔画的转折点；提取了轮廓上的特征点后，得到两个序列：轮廓上的点序列和特征点序列，可表示为：

edge[k]＝(p0,p1,...,pi,pn-1,pn)(1)

fp(k)＝(i0,i1,...,im-1,im)(2)

式中，edkg[k]为第k个轮廓的点序列，fp(k)为轮廓k的特征点序列，其中ij表示第j个特征点在edkg[k]中的序号，第j个特征点的上一点last为ij-1，下一点next为ij+1；

(1.1.3)特征点的编号：轮廓的特征点按顺时针或逆时针进行编号，为便于区分不同轮廓，这里对轮廓也进行了编号；轮廓的编号按程序处理中从上至下、从左到右轮廓最高点出现的次序编排；而且对于轮廓来说，有内缘和外缘之分，如果字体原始图像中有部件构成了封闭的连通区域，这时抽取轮廓后，就会形成一个连通区域的外轮廓完全包含其内轮廓的情况，将外轮廓称为父轮廓，而将其所包含的内轮廓称为子轮廓，在给特征点编号时，将一个独立轮廓的父轮廓和子轮廓按相反顺序编号。

进一步地，所述的步骤(2)具体包括：

(2.1)获取书写纸板的位置以及边界，书写纸板的位置通常我们设置在一个平面上，机械臂通过设置三个不在同一条直线上的点来确定一个平面，同时，在设置平面的时候加入边界条件，避免机械臂运动到书写纸板平面以外的区域；

(2.2)将毛笔末端移动到从双目摄像机中获取的期望落笔点和提笔点的位置，运用逆运动学的方法求出毛笔末端移动到期望点过程中，各关节需要旋转的角度，采用冗余雅克比矩阵求逆的算法：

选择右伪逆矩阵(right-inverse)，通过式子：

用拉格朗日乘数法(lagrangemultiplier)，

对上式子进行求导，即可求出所需要的解；

(2.3)根据力反馈部分提供的期望力大小，调整与纸面垂直的方向上的坐标，增加或降低毛笔末端的高度，从而减少或加大毛笔末端与书写纸板的接触力。

相比现有技术，本发明的优点及有益效果是：

1.采用机械臂与视觉结合的方法，将视觉技术融入到机械臂书法书写系统当中，可以实现快速获取书法笔画轮廓的信息，并将信息传递到机械臂，进行书写。整个过程用处理器完成，快速简便，具有非常好的实用价值，充分发挥了人工智能算法的作用。

2.在机械臂书法书写的系统中加入力反馈模块，使得整个系统具有自我调节能力，对于书写后的字体实现自学习，自优化的效果，同时，具备力控的机械臂书法书写系统可以适应更多的场景，实现在不同的环境下书写书法，最大程度地体现了书法的力道美。

附图说明

图1为本发明实施例的一种基于边界与力反馈的机械臂书法书写系统的整体结构示意图。

图2为本发明实施例的一种一种基于边界与力反馈的机械臂书法书写方法的笔划轮廓获取的特征点检测与编号示意图。

图中：1-六自由度机械臂；2-双目摄像头；3-书写纸板；4-力矩传感器；5-毛笔。

具体实施方式

下面结合附图,对本发明的工作原理和工作过程作进一步详细说明。

如图1所示，一种基于边界与力反馈的机械臂书法书写系统，包括：

视觉部分，用于获取给定字体的图像信息,经处理得到字体的笔划轮廓信息后确定机械臂末端落笔点和提笔点的坐标，同时，根据机械臂初次书写字体的笔划边界确定力反馈部分的期望力；

机械臂部分，用于根据所述机械臂末端落笔点和提笔点的坐标控制毛笔末端位置，同时，根据所述力反馈部分的期望力调整毛笔末端与纸面垂直方向上的坐标控制毛笔5末端与书写纸板3的接触力；

力反馈部分，用于实时测量书写过程中毛笔末端与书写纸板的接触力的大小并反馈到机械臂部分；

处理器部分，用于书写过程中图像处理、机械臂运行的运算过程，控制机械臂部分驱动毛笔末端的轨迹和与书写纸板3的接触力。

所述的处理器部分为带gpu的高性能处理器。

所述的带gpu的高性能处理器的型号为nvidiajestontx2。

所述的视觉部分为双目摄像头2，如zed深度双目摄像头。

所述的力反馈部分采用力矩传感器，如sri六维力/力矩传感器。

所述的机械臂部分采用六自由度机械臂1。

一种基于边界与力反馈的机械臂书法书写方法，包括步骤：

(1)根据采集的给定字体笔划轮廓信息确定机械臂末端落笔点和提笔点的坐标，同时，根据机械臂书写字体的笔划边界确定力反馈部分的期望力；

(2)根据所述机械臂末端落笔点和提笔点的坐标控制毛笔末端位置，同时，根据所述力反馈部分的期望力调整毛笔末端与纸面垂直方向上的坐标控制毛笔末端与书写纸板的接触力；

(3)实时测量书写过程中毛笔末端与书写纸板的接触力的大小，控制机械臂部分驱动毛笔末端的按设定轨迹和与书写纸板的接触力完成书写。

进一步地，所述的步骤(1)具体包括：

(1.1)获取给定字体笔划轮廓信息；

(1.2)提取笔划起始和结束位置坐标；

(1.3)转化为机械臂末端在世界坐标系下落笔点和提笔点的坐标；

(1.4)提取机械臂初次书写字体的笔划边界；

(1.5)比较初始书写字体与给定字体的笔划边界大小；

(1.6)将信息传输到力反馈部分，确定期望力。

具体而言，如图2所示，所述的步骤(1.1)具体包括：

(1.1.1)采用水平垂直差分法：提取轮廓之后，得到的是多个封闭的多边形，也就是每一个点都有且只有两个连接点，但在轮廓的锐角处会产生一些端点，所述端点只有一个连接点，在此称为孤立点，为便于跟踪，将这些点剔除,经过处理后的轮廓形成一个个封闭的复杂多边形，多边形上的每一个点均有且只有两个连接点；

(1.1.2)特征点的检测：和细化后的骨架不同，字体轮廓上的所有点都有且只有2个连接点，不存在端点和分叉点的情况；笔画轮廓上的特征点主要有笔画的起始和停止处的角点、笔画相交处的交点和笔画的转折点；提取了轮廓上的特征点后，得到两个序列：轮廓上的点序列和特征点序列，可表示为：

edge[k]＝(p0,p1,...,pi,pn-1,pn)(1)

fp(k)＝(i0,i1,...,im-1,im)(2)

式中，edkg[k]为第k个轮廓的点序列，fp(k)为轮廓k的特征点序列，其中ij表示第j个特征点在edkg[k]中的序号，第j个特征点的上一点last为ij-1，下一点next为ij+1；

(1.1.3)特征点的编号：轮廓的特征点按顺时针或逆时针进行编号，为便于区分不同轮廓，这里对轮廓也进行了编号；轮廓的编号按程序处理中从上至下、从左到右轮廓最高点出现的次序编排；而且对于轮廓来说，有内缘和外缘之分，如果字体原始图像中有部件构成了封闭的连通区域，这时抽取轮廓后，就会形成一个连通区域的外轮廓完全包含其内轮廓的情况，将外轮廓称为父轮廓，而将其所包含的内轮廓称为子轮廓，在给特征点编号时，将一个独立轮廓的父轮廓和子轮廓按相反顺序编号。

具体而言，所述的步骤(2)具体包括：

(2.1)获取书写纸板的位置以及边界，书写纸板的位置通常我们设置在一个平面上，机械臂通过设置三个不在同一条直线上的点来确定一个平面，同时，在设置平面的时候加入边界条件，避免机械臂运动到书写纸板平面以外的区域；

(2.2)将毛笔末端移动到从双目摄像机中获取的期望落笔点和提笔点的位置，运用逆运动学的方法求出毛笔末端移动到期望点过程中，各关节需要旋转的角度，采用冗余雅克比矩阵求逆的算法：

选择右伪逆矩阵(right-inverse)，通过式子

用拉格朗日乘数法(lagrangemultiplier)，

对上式子进行求导，即可求出所需要的解；

(2.3)根据力反馈部分提供的期望力大小，调整与纸面垂直的方向上的坐标，增加或降低毛笔末端的高度，从而减少或加大毛笔末端与书写纸板的接触力。

上述实施例通过双目摄像头获取给定字体的图像信息，经处理确定字体的笔划，提取笔划起始和结束位置坐标，转化为机械臂末端在世界坐标系下落笔点和提笔点的坐标，双目摄像头提取机械臂初次书写的笔划信息，比较书写字体与给定字体的笔划边界大小，通过力矩传感器反馈到机械臂，调节机械臂末端与纸面接触力的大小，达到机械臂模仿书法力道变化的效果。上述实施例的机器人书法书写系统，使用视觉与力控结合的方法，使机械臂在完成书法字体书写的同时，自主调节末端与纸面接触力的大小，从而达到模仿书法力道变化的效果，可广泛应用于机器人教学，工业机械臂雕刻等领域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。