基于Kinect的交警手势识别方法_2

文档序号:9564859阅读:来源:国知局
是整个波形剧烈变动的地 方,这时是动作幅度从最小上升到最大,再从最大恢复到最小的一个过程,也就是说,只有 在出现类似波动情况的区域才是手势动作出现的地方。因此本发明提出了基于距离波动的 分割法,通过该分割法可以将一个手势的序列帧从一系列连续的数据帧中剥离出来,从而 进行手势的识别;具体步骤如下:
[0050] 1)获取人体立正时两手间的距离Dstanfcd,并设定距离的阈值为D linilt,以及用于标 记手势开始结束的状态变量Flag。
[0051] 2)循环处理送达的数据帧,计算每帧两手的距离Cl1,如果D stan-d+Dlinilt,则把 Flag的值设置为TRUE,并把该数据帧存入链表LinkedList空间中;如果C^DstandaJDlinilt, 则把Flag的值设置为FALSE。
[0052] 数据归一化
[0053] 经过对交警8种(停止、直行、左转弯、左转弯待转、右转弯、变道、减速慢行、靠边 停车)指挥手势的分析总结,可以看出,所有的手势只涉及上半身骨骼节点,且下半身节点 的位置变化对手势识别意义不大,考虑到系统计算量、识别效率等问题,本发明选取4个 (左手LH、左肘LE、右手RH、右肘RE)骨骼节点作为数据采集的对象。
[0054] 在进行特征提取前,需要把采集到的数据都映射到一个统一的范围,即数据归一 化,以便消除因个人差异或者位置等因素带来的干扰。
[0055] 交警指挥手势无论是动作的含义还是轨迹,都是相互分离、相互独立,彼此之间没 有关联的个体,基于该特点,可在识别阶段以交警指挥手势动作作为识别对象。就一个具体 的手势动作而言,它的所有样本数据中的最大最小值是可以确定的,因此可以采用min-max 标准化的方法进行数据归一化操作,如公式1所示。
[0057] 其中,X% /,f为骨骼节点在数据归一化后的坐标值;X _,x_分别为该动作中,X 坐标的最大和最小值;ymin,ymax分别为该动作中,y坐标的最大和最小值;z min,Zmax分别为该 动作中,z坐标的最大和最小值。
[0058] 二、测试轨迹生成
[0059] 特征提取
[0060] 交警手势都是一些较为规范的手势动作,并且严格规定了动作的幅度,因此本发 明使用角度的余弦作为交警手势识别的特征。
[0061] 三维空间中的角度需要由两个向量来确定,本发明中选用的向量一个是骨骼关节 点到中肩节点的向量,另一个是竖直向下的单位向量,这两个向量的夹角余弦如公式2所 不。
[0063] 其中,辨表示t时刻,节点i到中肩节点的向量与竖直向下的单位向量之间的夹 角,即关节点i在t时刻的偏转角余弦值;W表示t时亥Ij,节点i到中肩节点〇的向量;_ 表示竖直向下的单位向量,其值定义为
[0064] 测试轨迹
[0065]由于交警指挥手势动作是一个动态的过程,因此骨骼节点在被捕获的每一帧中都 会产生一个角度余弦,由此可以认为该节点全部角度余弦所形成的轨迹就是该节点的运动 轨迹,定义公式3如下。
[0067] 其中,Θ ;表示节点i的运动轨迹;t表示该动作的数据帧序号。
[0068] 三、轨迹对比 [0069] 骨骼节点权值
[0070] 在不同的手势中,每个骨骼节点的运动状态、运动幅度不同,例如,在停止手势中, 只有LH、LE这2个骨骼节点在运动,而其他2个骨骼节点始终处于相对静止状态;而在减速 慢行手势中只有RH、RE这2个骨骼节点在运动,剩下的2个骨骼节点始终处于相对静止状 态;但在右转弯手势中,4个骨骼节点都在运动。由此可见,不同手势不同节点的运动情况 是不一样的,每个骨骼节点对于手势轨迹的贡献度也是不同。因此,根据下面公式可以算出 每个骨骼节点对于手势轨迹的贡献度,即骨骼节点权值。
[0072] 其中,N表示骨骼节点的个数,表示为手势g中,骨骼节点i的总偏移量,其可 通过如下公式计算:
[0074] 其中,T表示手势g的总帧数,COS 表示手势g中骨骼节点i在t时刻偏转角Θ 的余弦值。
[0075] 标准轨迹
[0076] 本发明采集8种标准交警手势的运动轨迹S1 (I < i < 8)作为待测手势识别的基 准,该轨迹取公式(3)定义的轨迹格式。
[0077] 确定轨迹比较范围
[0078] 1)待测、标准手势各个骨骼节点的偏移量
[0079] 待测、标准手势的运动轨迹分别为Tg、Sg(l彡g彡8),其中
表示骨骼节点i在手 势g中的运动轨迹。根据下面公式可以算出骨骼节点i对于手势轨迹g的总偏移量。
[0081] 2)加权偏转抽样算法
[0082] 通过对手势动作的分析发现,有的手势之间存在较大的差异,例如:停止手势和左 转弯手势,而它们之间的比较可以认为是无用、浪费资源、影响识别效率的做法。因此,本发 明提出了加权偏转抽样的算法来进一步缩小手势比较的范围。依据下面公式可以计算出待 测、标准8种手势的加权偏移量,用aw(g)表示,Taw(g)和Saw(g)分别表示待测、标准手势 的加权偏移量。
[0084] 其中,aw(g)表示手势g中N个骨骼节点的偏转角余弦值之和;表示骨骼节点 i在手势g中的偏转角余弦值。
[0085] 将标准手势的加权偏移量按从小到大的顺序进行排列,然后根据待识别手势的加 权偏移量与标准手势的加权偏移量的大小关系来确定手势比较的范围。其大小关系主要分 为以下几类:
[0086] V当待测手势的加权偏移量介于两个标准手势的加权偏移量之间时,即 Saw (k-1)〈Taw (g)〈Saw (k)且2彡k彡K,则待识别手势只需要和第k-Ι个和第k个标准手 势进行比较;其中K表示标准手势的数量;
[0087] V当待识别手势的加权偏移量和标准手势的加权偏移量相等时,即Taw(g)= Saw(k),则待识别手势只需要和第(k-1)、(k)、(k+1)三个标准手势进行比较;
[0088] V当待识别手势的加权偏移量大于最大的标准手势的加权偏移量时,BP Saw (k)〈Taw (g)且 k = K,如果 Taw (g) -Saw (k) < Saw (k) -Saw (k-Ι),则待识别手势只需要和 第k-Ι个和第k个标准手势进行比较;否则直接认定待识别手势为非法手势,不做进一步识 别;
[0089] V当待识别手势的加权偏移量小于最小的标准手势的加权偏移量时,BP Taw(g)〈Saw(k)且k = 1,如果 Saw(k)-Taw(g) < Saw(k+l)_Saw(k),则待识别手势只需要和 第k个和第k+Ι个标准手势进行比较;否则直接认定待识别手势为非法手势,不做进一步识 别。
[0090] 基于DTW的轨迹比较
[0091] 本发明是以骨骼节点的运动轨迹作为特征,因此在识别中的最小单位就是某个骨 骼节点的运动轨迹。基于这样的前提,做如下假设。
[0092] 假设待测手势W,其中左手(LH)的骨骼关节点的运动轨迹为T,由m维的向量构 成,即T = ti,t2,…,,其中每个分量是LH骨骼节点到中肩节点的向量与竖直向下的单位 向量之间的夹角余弦,m是该动作的帧数。另外,标准手势W,其LH的骨骼节点的运动轨迹 为S,由η维的向量构成,即S = Sl,S2,…,Sn,其中每个分量是LH骨骼节点到中肩节点的向 量与竖直向下的单位向量之间的夹角余弦,η是该动作的帧数。由于两者的分量性质相同, 因此,可以采用距
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1