灵巧手系统； 步骤4,遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端环境 图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机的图 像处理单元将该些信息进行处理合成后通过计算机的显示器反馈给操作者；具体包括W下 步骤： 步骤4. 1，旋转二自由度云台至预设位置，W此位置的图像数据确定遥机器人的初始位 置信息，使用预先标定好的双目摄像头采集具有视差的图像数据； 步骤4. 2,利用数据处理器将步骤4. 1获得的两幅具有视差的图像数据进行图像编码 压缩，采用JPEG2000格式编码； 步骤4. 3,将压缩后的图像数据按照报文格式，打包后发送到计算机的图像处理单元； 步骤4. 4,图像处理单元接收到数据后，进行解包操作，并将压缩的图像格式解码为可 方便操作的RGB格式数据； 步骤4. 5,根据双目摄像头内外参数得到的透视投影矩阵，利用最小二乘法得到S维图 像的坐标； 步骤4. 6,将采集的=维图像数据与步骤3建立的虚拟人手模型图像合成，并将虚拟人 手透明度设为50%，增加视觉临场感，同时在计算机显示器上显示灵巧手执行单元各电机 动作情况。
2. 根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征 在于，步骤2所述应用RGB-D信息融合的活动轮廓算法包括W下内容： 步骤2. 1，活动轮廓模型初始化，之后进行反复迭代获得手部轮廓信息； 利用Kinect提取手部中屯、位置，得到的手部轮廓作为算法的初始值； 步骤2. 2,结合深度信息W及YCb&肤色检测空间定义深度与肤色能量泛函，确定手部 区域； 基于肤色高斯混合模型能量泛函氏(C)为：
其中，下标s表示基于颜色信息的，g,(p)表示图像任意点p的高斯混合模型的概率密 度函数，瓦表示高斯混合模型的概率密度函数均值，Ad、As。分别表示肤色高斯混合模型 的轮廓内部、外部的权重系数，inside (C)、outside (C)分别表示在轮廓曲线C内部区域和 外部区域； 步骤2. 3,将深度信息转化为灰色图像信息，将像素点值相似度评价作为曲线活动的能 量泛函Ed(C)，其表达式如下：
其中，下标d表示基于深度信息的参数，A di、A d。分别表示深度灰色图像轮廓的内部、 外部的权重系数，云表示内部灰度的值的平均值； 步骤2. 4,根据步骤2. 2、2. 3得到全局能量泛函Em (C，心c"t)，公式如下： Em 佑 Cin, C〇ut) = Eg (C, Cin, C〇ut) +Es 似 +Ed 似 其中，Eg(C，Ci。，c"t)为经典 Chan-Vese 模型。
3. 根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征 在于，步骤3所述的手势识别方法包括W下内容： 步骤3. 1，在对人手模型进行数学分析的基础上，根据初始轮廓长宽，自适应地建立手 部各骨骼关节长度值，通过3D Max建模软件建立虚拟=维人手模型；建立骨骼之间的树状 的层次关系，各关节点的骨骼变换矩阵；将不同关节角度值对应建立模型的轮廓、深度图信 息，作为粒子滤波评价模板； 步骤3. 2,根据手势姿态变化的连续性的特点，通过基于模板匹配的粒子滤波姿态检 测方法，从已知的初始姿态，将轮廓信息和深度信息进行融合，采用分析目标轮廓变化的趋 势，预测下一帖图像中手部姿态。
4. 根据权利要求3所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征 在于，步骤3. 2所述基于模板匹配的粒子滤波姿态检测方法包含W下步骤： (1) 将初始位置各关节角度作为目标初始状态分布，用化"4表示状态分布；粒子滤波 器为每个目标分配N个粒子，其权值Wi，初始化权值为1/N，每个粒子代表目标一个可能的 状态；状态转移方程为： Xt = f t 狂…Wt) 其中，Wt为引入的局斯白噪声； (2) 将权值进行更新，将各个粒子进行状态转移，对其进行系统观测，观察每个粒子所 代表的目标与上述对应模型的相似程度，接近目标真实的粒子将赋予较大的权值，反之权 值较小； (3) 对权值进行重采样，产生N个新的粒子，估计状态并输出。
5. 根据权利要求1所述的基于Kinect人手运动捕捉的灵巧手遥操作控制方法，其特征 在于，由所述操作控制单元实现手控模式与程序模式相结合的主从操作方式，具体方法如
下： 在手控模式时，操作者摆出特定手势，并持续一定时间；该时计算机显示器上的控制系 统界面将弹出智能控制菜单；在设定时间内操作者或选择进入程序模式，或保持不动或者 动作范围小于规定范围，继续手控模式；进入程序模式时，通过选择菜单中预设的特定动作 进行控制；退出菜单时，选择退出至手控模式或者退出控制系统界面。
【专利摘要】本发明涉及基于Kinect人手运动捕捉的灵巧手遥操作控制方法。实现所述方法的硬件包括：Kinect传感器，计算机和遥机器人灵巧手系统。首先利用混合活动轮廓模型跟踪手部外轮廓后，应用粒子滤波算法实现手部姿态跟踪。然后通过机器人实时传输的反馈图像信息，观察远端情况，从而实施特定操作任务。本发明采取结合深度信息以及YCbCr肤色检测空间技术的活动轮廓模型，解决了图像含有强噪音或目标具有弱边界时很难得到真实解的问题；本发明采取基于模板匹配的粒子滤波姿态检测方法，可以检测并估计高维特征的人手三维姿态；本发明采用手控模式与程序模式相结合的主从操作方式，简便、快捷，体现了人机交互的指导性、易用性。
【IPC分类】B25J13-08, B25J9-18
【公开号】CN104589356
【申请号】CN201410697456
【发明人】于乃功, 郭明, 王新爱, 方林, 王锦, 默凡凡, 阮晓钢
【申请人】北京工业大学
【公开日】2015年5月6日
【申请日】2014年11月27日