基于人手运动姿态学习的仿生机械手的非接触式控制方法与流程

技术特征：

1.一种基于人手运动姿态学习的仿生机械手的非接触式控制方法，其特征在于，步骤如下：

(1)基本概念

RGB-D图像：通过RGB-D相机采集，由RGB图像和深度图像两部分组成；其中，RGB图像的每个像素值表示图像的颜色信息，深度图像的每个像素值表示传感器距离物体的实际距离；RGB图像和深度图像是配准的，即RGB图像和深度图像的每个像素之间存在一一对应的关系；

手部关节模型：根据解剖学中的人体手部骨骼结构和运动学约束条件定义手部关节模型，该模型用于建立三维手部模型；

手部关节模型包括5根掌骨、5根近端指骨、4根中间指骨及5根远端指骨；手腕关节点为世界坐标系原点，具有6个自由度，包括全局旋转和全局平移，分别有3个自由度；手部关节模型包含四种关节点，即MCP关节点、PIP关节点、DIP关节点和IP关节点，其中，掌骨和近端指骨的连接点为MCP关节点，近端指骨与中间指骨的连接点为PIP关节点，中间指骨与远端指骨的连接点为DIP关节点，大拇指的远端指骨与近端指骨之间的连接点为IP关节点；每个MCP关节点具有左右伸展、前后摆动2个自由度；PIP、DIP和IP三种关节点仅有前后摆动1个自由度；

二维手部模型：将采集到的手部深度图像进行四叉树分解，根据深度值的相似度将手部深度图像划分成多个图像块，对于每个图像块采用二维混合高斯模型进行建模，即得到二维手部模型，记为符号C_I；

三维手部模型：使用各向同性的混合高斯模型对手部进行三维建模，记为符号C_H；

投影模型：将当前位姿状态下的三维手部模型投影到图像上，获得对应的投影模型，使用符号C_p表示；

(2)通过对RGB-D图像中人手的所有关节进行跟踪、获取其位姿参数，并将所有参数转换为机械手的动作指令，实现两者的同步；

1)自适应手部建模

手部骨骼长度的比例系数包括手部长度L_hand、手部宽度W_hand、各手掌骨之间长度的比例及夹角、手指长度及手指各骨骼长度的比例；

(a)手部长度和手部宽度：定义采集到的深度图像中手部长度和手部宽度所占的像素个数m和n，计算得到手部的平均深度d_avg；根据投影比例得到实际手部长度L_hand和手部宽度W_hand：

$\left\{\begin{array}{c}{L}_{hand}=\frac{m}{f}{d}_{avg}\\ W_{hand}=\frac{n}{f}{d}_{avg}\end{array}\right.---\left(1\right)$

其中：f表示以像素为单位的焦距大小，获取粗略的手部的长宽后，在粗略值的0.9～1.1倍范围内寻找准确值；

(b)各手掌骨长度的比值及夹角：对手部相同名称的骨骼按照从小拇指到大拇指的顺序，分别编号为1～5，即MC¹～MC⁵；以中指掌骨为参考位置，其他4根掌骨与中指掌骨的夹角分别表示为θ¹～θ⁴；

中指掌骨MC³与其他掌骨的长度的比值范围为：

$\left\{\begin{array}{c}{r}_{{\mathrm{MC}}^3-{\mathrm{MC}}^1}\∈\[1.05~1.14\]\\ r_{{\mathrm{MC}}^3-{\mathrm{MC}}^2}\∈\[1.05~1.14\]\\ r_{{\mathrm{MC}}^3-{\mathrm{MC}}^4}\∈\[0.97~1.11\]\\ r_{{\mathrm{MC}}^3-{\mathrm{MC}}^5}\∈\[1.25~1.39\]\end{array}\right.---\left(2\right)$

五根掌骨之间的夹角范围为：

(c)按照从小拇指到大拇指的顺序分别定义各个手指长度为L¹～L⁵，且长度分别为其对应手指骨骼长度之和，即：

$\left\{\begin{array}{c}{L}^1={\mathrm{PP}}^1+{\mathrm{MP}}^1+{\mathrm{DP}}^1\\ L^2={\mathrm{PP}}^2+{\mathrm{MP}}^2+{\mathrm{DP}}^2\\ L^3={\mathrm{PP}}^3+{\mathrm{MP}}^3+{\mathrm{DP}}^3\\ L^4={\mathrm{PP}}^4+{\mathrm{MP}}^4+{\mathrm{DP}}^4\\ L^5={\mathrm{PP}}^5+{\mathrm{DP}}^5\end{array}\right.---\left(4\right)$

根据上述定义，使用如下三种比例关系描述一个手部各个关节的位置关系：

中指长度L³与中间掌骨MC³的长度比值：

$r_{L^3-{\mathrm{MC}}^3}\∈\[1.19~1.32\]---\left(5\right)$

中指长度与其他手指的长度比值：

$\left\{\begin{array}{c}{r}_{L^3-L^1}\∈\[1.19~1.44\]\\ r_{L^3-L^2}\∈\[1.04~1.13\]\\ r_{L^3-L^4}\∈\[1.08~1.19\]\\ r_{L^3-L^5}\∈\[1.52~1.83\]\end{array}\right.---\left(6\right)$

每个手指的近端指骨PP分别与指骨MP及远端指骨DP的比值范围如下：

$\left\{\begin{array}{c}{r}_{{\mathrm{PP}}^1-{\mathrm{MP}}^1}\∈\[1.57~1.90\]\\ r_{{\mathrm{PP}}^1-{\mathrm{DP}}^1}\∈\[1.73~2.09\]\\ r_{{\mathrm{PP}}^2-{\mathrm{MP}}^2}\∈\[1.42~1.72\]\\ r_{{\mathrm{PP}}^2-{\mathrm{DP}}^2}\∈\[1.71~2.07\]\\ r_{{\mathrm{PP}}^3-{\mathrm{MP}}^3}\∈\[1.52~1.83\]\\ r_{{\mathrm{PP}}^3-{\mathrm{DP}}^3}\∈\[1.82~2.20\]\\ r_{{\mathrm{PP}}^4-{\mathrm{MP}}^4}\∈\[1.46~1.77\]\\ r_{{\mathrm{PP}}^4-{\mathrm{DP}}^4}\∈\[1.70~2.06\]\\ r_{{\mathrm{PP}}^5-{\mathrm{MP}}^5}\∈\[1.07~1.30\]\end{array}\right.---\left(7\right)$

2)三维手部跟踪

首先，从采集的RGB-D图像中将手部分割出来，然后进行掌心、手腕、指尖的检测；其次，对分割得到的手部进行二维建模，分为两个步骤：四叉树分解和图像混合高斯建模；然后，根据RGB-D图像建立自适应的三维手部模型；最后，通过将三维手部模型的投影模型与手部二维建模进行匹配，计算模型相似度匹配项E_sim，结合肤色惩罚项E_{col_sim}和帧间连续性惩罚项E_{fr_sim}，通过求解目标函数得到手部的位姿，最终的归一化目标函数如下：

ε(Θ)＝E_sim-ω_frE_{fr_sim}-ω_colE_{col_sim} (8)

其中，ω_fr为帧间连续性惩罚项E_{fr_sim}的权值，ω_col为肤色惩罚项E_{col_sim}的权值；

3)映射算法

对于手部关节模型中的MCP、PIP和DIP关节，分别对其前后摆动、左右伸展的角度进行约束；其中，MCP、PIP和DIP三种关节都具有前后摆动的能力，只有MCP关节具有进行左右伸展的能力；

(a)记MCP、PIP和DIP三种关节前后摆动的角度参数分别为θ_{mcp_fe}、θ_pip和θ_dip，静态约束如下：

(b)记MCP关节的左右伸展角度为θ_{mcp_aa}，静态约束为：

在公式(10)中从上至下k＝{1,2,3,4,5}，分别对应小拇指、无名指、中指、食指和大拇指，θ_{mcp_aa}值的正负以中指作为参考；

五指仿生机械手模型，其中，大拇指、食指和中指分别有两个自由度，中指和小指各有一个自由度，均具有手指并拢和张开；所有关节的动作由9个参数控制，即大拇指正屈、大拇指两侧侧摆、食指近关节和远关节正屈、食指基关节正屈、中指基关节正屈、中指近关节和远关节正屈、无名指基关节正屈、小指基关节正屈和五指张开，参数的范围为：

$\left\{\begin{array}{c}Thumb\_Flexion\∈\[0,0.97\]\\ Thumb\_Opposition\∈\[0,0.99\]\\ Index\_Finger\_Distal\∈\[0,1.33\]\\ Index\_Finger\_\mathrm{Pr}oximal\∈\[0,0.80\]\\ Middle\_Finger\_\mathrm{Pr}oximal\∈\[0,0.80\]\\ Middle\_Finger\_Distal\∈\[0,1.33\]\\ Ring\_Finger\∈\[0,0.98\]\\ Pinky\∈\[0,0.98\]\\ Finger\_Spead\∈\[0,0.58\]\end{array}\right.---\left(11\right)$

记人手动作的参数为Θ＝{(θ_{mcp_fe})_k,(θ_{mcp_aa})_k,(θ_pip)_k,(θ_dip)_k}k＝{1,2,3,4,5}，机械手的控制参数为Θ′，则定义如下的映射函数：

${\mathrm{\Θ}}^{\′}=\left\{\begin{array}{c}Thumb\_Flexion=0.97/90{\left({\mathrm{\θ}}_{mcp\_fe}\right)}_5\\ Index\_Finger\_Distal=1.33/90{\left({\mathrm{\θ}}_{pip}\right)}_4\\ Index\_Finger\_\mathrm{Pr}oximal=0.80/90{\left({\mathrm{\θ}}_{mcp\_fe}\right)}_4\\ Middle\_Finger\_\mathrm{Pr}oximal=0.80/90{\left({\mathrm{\θ}}_{mcp\_fe}\right)}_3\\ Middle\_Finger\_Distal=1.33/90{\left({\mathrm{\θ}}_{pip}\right)}_3\\ Ring\_Finger=0.98/90{\left({\mathrm{\θ}}_{mcp\_fe}\right)}_2\\ Pinky=0.98/90{\left({\mathrm{\θ}}_{mcp\_fe}\right)}_1\\ Finger\_Spead=0.15/30{\left({\mathrm{\θ}}_{mcp\_aa}\right)}_1+0.01({\left({\mathrm{\θ}}_{mcp\_aa}\right)}_2+{\left({\mathrm{\θ}}_{mcp\_aa}\right)}_4)+0.15/45{\left({\mathrm{\θ}}_{mcp\_aa}\right)}_5\end{array}\right.---\left(12\right)$

(3)基于人手运动姿态学习的仿生机械手的非接触式控制方法，步骤如下：

S1.采集RGB-D图像，并对深度图像进行预处理和特征提取，包括手部分割、指尖与手腕检测以及掌心提取，具体步骤如下：

S1.1.用z表示16位深度图像中某点的深度值，z_min表示16位深度图像中像素值大于0的最小值，则根据z_min所在的像素坐标，即获取手部在图像中的位置；限定深度在[z_min，z_min+200]范围内的图像区域为手部区域；通过公式(13)获取二值化的手部区域：

$Bin\arg y\mathrm{Im}age=\left\{\begin{array}{cc}1& z_{min}\≤z\≤z_{min}+200\\ 0& otherwise\end{array}\right.---\left(13\right)$

S1.2.在二值化的手部图像上进行手部轮廓提取，进一步获取掌心、指尖及手腕的位置；掌心的位置为手部轮廓的最大内切圆圆心，再采用二维凸包算法中的Graham扫描法检测指尖与手腕位置，以二维凸包算法获取指尖与手腕的位置作为手部先验信息，计算手部各个关节长度；

S2.根据手部深度图像建立二维手部模型

S2.1.基于深度相似性的四叉树分解算法：首先，判定二值化的手部图像长宽是否为2的次幂，若不满足该条件则进行插值；其次，对二值化的手部图像进行递归式的分解，即将二值化的手部图像平均分为四个子块，分别判断各子块的最大与最小深度的差值是否小于12mm，若满足则停止对该子块分解，若不满足则继续将该子块均分成四个子块，并判断各子块是否满足阈值条件(14)

d_max-d_min≤12mm (14)

其中，d_max和d_min分别表示当前被分解的二值化的手部图像中子块深度的最大值与最小值；

S2.2.建立二维手部模型

步骤S2.1分解得到的第i个图像子块，构建二维高斯函数G_i，对其进行拟合，即子块i的中心位置对应于二维高斯函数的中心点，且二维高斯函数的标准差令二维手部模型中的所有高斯函数具有相同的权值1，则用公式(15)表示二维手部模型：

$C_I\left(p\right)={\mathrm{\Σ}}_{i=1}^n{G}_i(p;{\mathrm{\μ}}_i,{\mathrm{\σ}}_i,d_i),p\∈R^2---\left(15\right)$

其中，C_I(p)表示二维手部模型，n表示图像模型中高斯函数的个数，p表示图像中像素点的二维坐标位置，G_i表示模型中的第i个二维高斯函数，μ_i表示第i个高斯函数中心点的位置，σ_i表示高斯函数的标准差，d_i表示高斯函数对应深度图像块的平均深度值；

S2.3.使用三维混合高斯模型对手部进行建模，其定义如下：

$C_H\left(q\right)={\mathrm{\Σ}}_{j=1}^m{\mathrm{\ω}}_j{G}_j(q;{\mathrm{\μ}}_H,{\mathrm{\σ}}_H),q\∈R^3---\left(16\right)$

其中，C_H(q)为手部的三维混合高斯模型，m表示模型中的高斯函数个数，q表示深度图像中像素点的三维坐标位置，G_j表示模型中的第j个高斯函数，ω_j表示第j个高斯函数的权值，μ_H和σ_H分别表示高斯函数的均值向量和协方差矩阵；

S3.求解公式(8)中的目标函数

S3.1.初始化人手的参数向量，包括手部长度L_hand、手部宽度W_hand、手掌骨MC¹～MC⁵长度的比值、4根掌骨与中指掌骨MC³的夹角θ¹～θ⁴、中指长度L³和其他手指长度的比值、中指长度L³和中间掌骨MC³长度的比值、每个手指的近端指骨PP分别与指骨MP及远端指骨DP的比值、手部位姿参数Θ；

S3.2.计算投影模型

假设三维手部模型中的一个三维高斯函数为G_H(q；μ_H,σ_H)，μ_H和σ_H分别为其齐次均值向量与标准差，且μ_H＝[μ_x,μ_y,μ_z,1]；假设三维手部模型的正交投影的二维高斯函数为G_P(q′；μ_P,σ_P)，μ_P和σ_P分别为其齐次均值向量与标准差；在已知深度相机的内参数矩阵K和焦距f的情况下，两者之间的投影关系为：

$\left\{\begin{array}{c}{\mathrm{\σ}}_P={\mathrm{\σ}}_{H}f/{\mathrm{\μ}}_z\\ {\mathrm{\μ}}_P=H\[\begin{array}{cc}I& O\end{array}\]{\mathrm{\μ}}_H\end{array}\right.---\left(17\right)$

其中，I为3×3的单位矩阵，O代表3×1的零向量，μ_z代表高斯函数中心位置的深度值；根据公式(17)，分别对三维手部模型中所有的高斯函数进行投影，得到其对应的二维投影模型为：

$C_P\left(q^{\′}\right)=\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_j{G}_j(q^{\′};{\mathrm{\σ}}_P,{\mathrm{\μ}}_P,d_j),q^{\′}\∈R^2---\left(18\right)$

其中，C_P表示二维投影模型，m表示高斯函数个数，G_j表示投影模型中的第j个高斯函数，q′表示三维手部模型中像素点的三维坐标q投影到二维图像时对应的二维坐标，ω_j表示投影高斯函数的权值，分别表示投影高斯函数的均值向量与标准差；d_j表示投影高斯函数的平均深度值，即三维高斯函数前表面的深度值，通过将高斯函数中心位置的深度值减去其半径获得；

S3.3.计算二维手部模型和三维手部模型的投影模型之间相似性

二维手部模型C_I与投影模型C_P都是二维混合高斯模型，通过对两者中的所有高斯函数进行匹配，定义两者之间的相似性度量函数如下：

$E(C_I,C_P)=\underset{i\∈C_I}{\Σ}\underset{j\∈C_P}{\Σ}{D}_{ij}={\mathrm{\Σ\Σ\ω}}_i{\mathrm{\ω}}_j{\∫}_{\mathrm{\Ω}}{G}_i\left(x\right)G_j\left(x\right)dx---\left(19\right)$

其中，C_I与C_P分别表示二维手部模型与投影模型，i和j表示相应模型中二维高斯函数的序号，D_ij表示C_I与C_P中两个高斯函数的积分表达式：

$D_{ij}=2\mathrm{\π}\frac{{\mathrm{\σ}}_i^2{\mathrm{\σ}}_j^2}{{\mathrm{\σ}}_i^2+{\mathrm{\σ}}_j^2}\exp \left(\frac{\left|\right|{\mathrm{\μ}}_i-{\mathrm{\μ}}_j|{|}^2}{{\mathrm{\σ}}_i^2+{\mathrm{\σ}}_j^2}\right)---\left(20\right)$

其中，μ_i和σ_i分别为二维手部模型中第i个二维高斯函数的均值与标准差，μ_j和σ_j分别为手部投影模型中第j个高斯函数的均值与标准差；

S3.4.计算帧间连续性

利用前两帧的手部位姿参数与当前帧的位姿参数的平滑程度来衡量当前帧位姿参数的合理性，具体公式如下：

$E_{fr\_sim}\left(\mathrm{\Θ}\right)=\underset{{\mathrm{\θ}}_j\∈\mathrm{\Θ}}{\Σ}{\left(0.5\right({\mathrm{\θ}}_j^t+{\mathrm{\θ}}_j^{t-2})-{\mathrm{\θ}}_j^{t-1})}^2---\left(21\right)$

其中，Θ表示手部位姿参数向量，按照顺序包括全局位移3个维度、全局角度3个维度、关节角度14个维度，共20个维度；θ_j表示Θ的第j项，t表示当前帧的序号；

S3.5.计算肤色相似性

肤色模型建立惩罚项，在不增加跟踪系统复杂度的基础上提高算法鲁棒性，具体公式如下：

$E_{col\_sim}\left(C_P\right)=\underset{j\∈C_P}{\Σ}{S}_j---\left(22\right)$

其中，C_P代表投影模型，j表示C_P中的高斯函数索引，S_j为肤色判断公式，如果该高斯函数所在区域的颜色为肤色则其值为0，否则为1；

S3.6.通过求解公式(8)得到手部的位姿参数Θ

S4.将步骤3求解得到的参数作为输入传送至灵巧手控制系统，根据公式(12)计算五指仿生机械手各个关节的参数，并在控制系统下生成对应的动作指令，使五指仿生机械手完成和控制人员同样的动作。

2.根据权利要求1所述的非接触式控制方法，其特征在于，采用Kinect作为RGB-D图像的采集设备，将采集的图像通过USB接口传输至计算机。

3.根据权利要求1或2所述的非接触式控制方法，其特征在于，采用雄克SVH五指仿生手作为五指仿生机械手模型。