一种基于手势识别的手势运动基元模型结构化方法
【专利摘要】一种基于手势识别的手势运动基元模型结构化方法，包括利用视频或图像采集装置获取手势图像，进行预处理，将人物图像按照轮廓、颜色、纹理分割为轮廓图像、颜色图像和纹理图像；将经过处理的轮廓图像、颜色图像和纹理图像进行再合成，建立手势图像数据库；基于手势图像数据库中的手势图像，建立与手势图像匹配的手势运动基元模型。基于手势识别的手势运动基元模型结构化方法基于真人图像建立，画面生动真实，并且虚拟人模型灵活多变，能够直观、生动的方式表现手势动作。
【专利说明】一种基于手势识别的手势运动基元模型结构化方法
【技术领域】
[0001] 本发明涉及手势动画研究领域，更具体地说涉及到手势动画基本动作单元及其结 构化描述研究。
【背景技术】
[0002] 语言伴随性手势合成是以自然语言理解为基础，使用手势作为虚拟人语言信息表 达的辅助输出方式。已有手势合成研究主要集中在以自然文本汉语词与手语词映射为基础 的手语动画合成，并未考虑语言伴随手势，使得虚拟人类似于机器人一样机械运动，无法满 足人机交互的智能性和交互性要求，在交互性和真实感方面还有可待提升。在人机交互过 程中，通过语言伴随性手势合成研究能够为人机交互中手势和语音协同表达表达提供解决 方案，提高手势动画的真实感，实现虚拟人生动、形象、直观的视觉运动效果。
[0003] 手势识别主要是通过分析手势具有的各种特征实现对手势的判断，这些特征主要 包括颜色特征、文理特征、形状特征、轮廓特征及动态手势具有的运动特征等。目前，手势识 别系统主要分为基于数据手套的识别系统和基于视觉的识别系统。基于数据手套的识别系 统主要通过传感器获取人手运动的信号，这种方式更有利于获取手势运动信息；然而，这些 设备价格非常昂贵而且在使用这些设备的同时往往给用户带来诸多不便。但是，基于视觉 的识别系统由于不需要价格昂贵的硬件设备，因此越来越适合人机交互技术。早期的基于 视觉的手势识别系统往往需要对手势进行标记然后再进行图像处理；然而，目前基于视觉 的手势识别系统主要是利用手势特征如手势颜色、手势形状、手势轮廓或其他深度信息进 行识别。基于视觉的手势识别系统可以识别输入视频中的不同手势，并且用这些手势作为 计算机的人工输入命令，并且可以建立包括有完整人物及其手势的图库、并且这种手势识 别系统由于设备简单，因而使用方便有效。基于视觉的手势识别系统为人机交互提供了一 种直观的交流方式。
[0004] 语言伴随性手势作为一种动作语言，是手和手臂运动的统一，需要计算机动画来 实现具体动作。人体的外形主要有皮肤和所附着骨骼肌肉运动决定的，因此，在描述手势动 作之前必须先建立一个静态几何模型，通过激活具有大量关节的复杂模型，根据决定运动 的几个主关节的最终角度可以确定手臂运动，从而创建精确灵活的基本手势动作单元一 手势运动基元。根据伴随语言学和统计学分析，基于语言连贯表达的手势运动基元连接能 够实现的手势和有声语言的协同表达，提高运动合成效果和真实感。然而，目前虚拟人并非 基于真人图像建立，不够生动真实，并且虚拟人模型固定，无法根据环境和需要进行变换。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供了一种基于真人图像建立，画面生 动真实，并且虚拟人模型灵活多变，能够直观、生动的方式表现手势动作的基于手势识别的 手势运动基元模型结构化方法，并且云数据库单元的使用，使得数据备份份数更多，更有保 障，利用了云计算端大的存储容量，优越的运算能力和更广的数据网络，功能更加强大，结 合远程客户端，可以对数据进行自定义编辑后更新，操作和查询更加方便，可控性更强，更 加灵活多变，适应性更强。
[0006] 基于手势识别的手势运动基元模型结构化方法，依次包括以下步骤：
[0007] (1)利用视频或图像采集装置获取一个或多个分辨率为NXM的手势图像，对一个 或多个手势图像进行预处理，将一个或多个手势图像中的人物图像提取出来，删除除了人 物图像部分之外的背景图像；
[0008] (2)对提取后的人物图像进行去噪处理，消除传输和采集过程中的噪声干扰，之后 将去噪后的人物图像按照轮廓、颜色、纹理分割为轮廓图像、颜色图像和纹理图像；
[0009] (3)对轮廓图像进行修正，进行平滑处理；
[0010] (4)将颜色图像按照RGB图像的R、G、B三个分量通道进行分解，分别将三个分量 通道中的每一个像素与其邻近的8个像素构成3 X 3的像素块，按照如下公式分别得到处理 后的每一个像素分别对应的R、G、B三个分量的值：
【权利要求】
1. 一种基于手势识别的手势运动基元模型结构化方法，其特征在于，依次包括以下步 骤： (1) 利用视频或图像采集装置获取一个或多个分辨率为NXM的手势图像，对一个或多 个手势图像进行预处理，将一个或多个手势图像中的人物图像提取出来，删除除了人物图 像部分之外的背景图像； (2) 对提取后的人物图像进行去噪处理，消除传输和采集过程中的噪声干扰，之后将去 噪后的人物图像按照轮廓、颜色、纹理分割为轮廓图像、颜色图像和纹理图像； (3) 对轮廓图像进行修正，进行平滑处理； (4) 将颜色图像按照RGB图像的R、G、B三个分量通道进行分解，分别将三个分量通道 中的每一个像素与其邻近的8个像素构成3 X 3的像素块，按照如下公式分别得到处理后的 每一个像素分别对应的R、G、B三个分量的值： - 4
J Pij (R)、Pij (G)、Pij⑶分别为经过处理后的R、G、B三个分量通道中的像素值，Pij为R、 G、B三个分量通道中对应第i行、第j列的像素值，其中i = 1，2, ...，N，j = 1，2, (5) 将经过处理后的R、G、B三个分量通道中的像素值进行分配，合成经过处理后的颜 色图像； (6) 对纹理图像进行修正，进行平滑处理； (7) 将经过处理的轮廓图像、颜色图像和纹理图像进行再合成，建立手势图像数据库； (8) 基于手势图像数据库中的手势图像，按照身体的生理结构以及各个关节运动时的 约束关系，以关键帧的方式建立手势动作的基本单位，并且描述所述基本单位的时序变化 信息，建立与手势图像匹配的手势运动基元模型； (9) 将手势运动基元模型和图像数据库中的手势图像对应合成，建立虚拟人数据库； (10) 将虚拟人数据库中的数据上传至云数据库单元，所述云数据库单元将接收到的数 据存储后作为备份数据，供远程客户端下载；远程客户端下载云数据库单元中存储的数据， 进行自定义编辑，将自定义编辑后的数据回传至虚拟人数据库，对虚拟人数据库中的数据 进行更新。
2. 如权利要求1所述的基于手势识别的手势运动基元模型结构化方法，其特征在于： 所述步骤（9)中还包括将虚拟人手势动作划分为三类：指向性手势动作、节拍性手势动作、 描述性手势动作。
3. 如权利要求1所述的基于手势识别的手势运动基元模型结构化方法，其特征在于： 所述约束关系包括采用四元数表示关节旋转。
4. 如权利要求1所述的基于手势识别的手势运动基元模型结构化方法，其特征在于： 所述步骤（8)中以关键帧的方式建立手势动作的基本单位，并且描述所述基本单位的时 序变化信息，建立与手势图像匹配的手势运动基元模型步骤中，还包括为手势运动基元 模型中的关键帧添加 flag标记位，将手势运动基元按具有时间次序关键帧标注"start"， "prepare"，"achieve_goal "，"release_goal "，"end"，并且将每个手势运动基兀分解为四 个运动时段：准备阶段、伸出阶段、后伸出阶段、恢复阶段。
【文档编号】G06K9/00GK104376309SQ201410706278
【公开日】2015年2月25日 申请日期:2014年11月27日 优先权日:2014年11月27日
【发明者】韩慧健, 刘峥, 梁秀霞, 贾可亮, 张锐, 其他发明人请求不公开姓名 申请人:韩慧健