一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统的制作方法

一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统的制作方法
【专利摘要】本发明公开了一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，其方法是：从安置于道口的四台深度传感器获取交警手势四维数据源，并提取具有描述性和区分性的交警手势特征，结合交警手势特征字典库识别当前交警手势以及指令朝向，并将当前地理位置坐标、交警手势识别结果、指令所属方向经无线广播一并传输至道口的无人驾驶车，车辆对接收到的信息进行解析提取行驶方向上的相应交警指令，并根据指令进入自动响应状态；系统包括交警手势数据获取装置、交警手势识别装置和无人驾驶车响应装置。本发明识别速度快，不依赖于穿戴式器具，交警指挥自由，不受光照、天气、复杂背景等因素的影响，且具有较好的鲁棒性。
【专利说明】
一种面向无人驾驶车的多维非穿戴式交警手势识别方法及 系统
技术领域
[0001] 本发明属于计算机视觉与模式识别技术领域，具体地，涉及一种面向无人驾驶车 的多维非穿戴式交警手势识别方法及系统。
【背景技术】
[0002] 随着互联网技术的迅速发展，无人驾驶汽车正在逐渐成为现实。作为未来智能交 通系统的重要组成部分，能够准确识别交警手势并及时作出判断是无人驾驶汽车安全行驶 的重要保障。
[0003] 现有技术，申请号为201410222122.5的中国发明专利公开了一种面向无人驾驶车 的交通标志识别方法，针对二维静止的交通标志进行识别；申请号为201510208977.7的中 国发明专利公开了一种应用于无人驾驶汽车的交通灯快速检测算法。但在一些特殊情况， 如交通信号灯失灵、突发性交通拥堵的路口、重特大交通事故现场必须要采取交警手势指 挥，随着交通拥挤的日趋严重，交警手势的配合很好地弥补了单靠交通灯协调的不足，是道 路交通有序、安全、畅通的保障；申请号为200810137513.1的中国发明专利公开了基于手势 识别的多功能无线交警手势识别系统，依靠佩戴式手套获取交警手部挥动时产生的加速度 信号识别交警手势，除了频繁更换电池的不便也给交警指挥带来了自由度的限制；申请号 为201110045209.6的中国发明专利公开了基于骨架化和模板匹配的交警手势识别方法，提 取关键交警手势进行识别，仔细分析可以发现在交警连续指挥的现实情况中捕捉关键手势 有一定的困难，且受交警手势方向的限制；申请号为201110089635.X的中国发明专利公开 了基于手势识别和ZigBee的道路交通控制系统，通过不同方向轴上的加速度数据判断出相 应的交警手势，也没有脱离穿戴式器具的限制。
[0004] 实际的交通道口通常是复杂多变的，传统的二维静态交警手势检测方法容易受光 照、天气等因素的变化影响，单帧关键手势的识别会因在交警指挥过程中停留时间短暂而 造成提取困难，实施比较复杂，而佩戴式器具的辅助使用又给交警带来了指挥自由度上的 约束。

【发明内容】

[0005] 本发明的目的是针对现有交警手势识别技术的不足以及无人驾驶车对交警手势 的识别而提供的一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，用于无人 驾驶车对道口交警手势的识别，本发明识别速度快，不依赖于穿戴式器具，交警指挥自由， 不受光照、天气、复杂背景等因素的影响，且具有较好的鲁棒性。
[0006] 实现本发明目的的具体技术方案是：
[0007] -种面向无人驾驶车的多维非穿戴式交警手势识别方法，该方法包括以下具体步 骤:第一步，获取交警手势数据集
[0008] 选取数名交警员分别执行8种交警手势，利用深度传感器采集交警员正面、背面的 8种交警手势动作片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据 集及背面数据集；
[0009] 第二步，提取局部特征向量
[0010] (1)空间关节点提取
[0011] 分别从8种交警手势正面数据集及背面数据集动作片段的深度图像中提取交警员 空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征;所述13个 空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手財、右手財、左手腕、右手腕、左手、右 手；
[0012] (2)圆柱坐标系建立
[0013] 采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左 臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警 手势对应圆柱包络面半径最大），确立圆柱坐标系(P，私z);
[0014] (3)圆柱体网格划分
[0015] 对圆柱体进行网格划分，P，#两个方向上采取均匀划分，z方向进行上下不均匀划 分，通过划分完成对网格按顺序作标号处理，每一个关节点都在唯一的区域内，标识出不同 交警手势不同片段的空间关节点在圆柱体中所处的位置；
[0016] (4)获取初始局部特征向量
[0017] 用拉普拉斯分布作为空间关节点在圆柱体P，私z三个方向上不同位置分布的概率 密度，对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、 左手腕、右手腕、左手、右手的每一个空间关节点，在圆柱体中计算每一个空间节点自身所 在网格及相邻8块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图 像特征向量；
[0018] (5)初始局部特征向量降维
[0019] 采用基于核密度估计(KerneIDensity Estimation，KDE)的特征选择算法对上述 初始局部特征向量进行特征降维，得到局部特征向量；
[0020] (6)重复本步(4)、（5)，分别得到8种交警手势正面数据集、背面数据集对应的局部 特征向量；
[0021] 第三步，字典学习
[0022] 将第二步(6)的局部特征向量按照稀疏编码的训练过程进行聚类，生成基底向量， 构成稀疏字典；
[0023] 第四步，支持向量机(Support Vector Machine，SVM)分类器训练 [0024] (1)生成稀疏向量
[0025] 对稀疏字典进行稀疏编码，生成稀疏向量；
[0026] (2)稀疏向量的最大值合并
[0027]对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下 来，得到交警手势全局特征向量；
[0028] (3)SVM分类器1训练
[0029]将所得交警手势正面数据集、背面数据集对应的全局特征向量用作SVM分类器1的 训练；（4)SVM分类器2训练
[0030]将所得交警手势正面数据集对应的全局特征向量用作SVM分类器2的训练；
[0031]第五步，获取道口待识别交警手势数据集
[0032]在道口东西南北四个方向安置4台深度传感器，同时获取交警正面、背面、左侧面、 右侧面交警手势的动作片段，每个片段包含连续60帧深度图像，分别得到待识别交警手势 左侧面、右侧面、正面、背面数据集，并标记四个方向数据集对应的深度传感器；
[0033]第六步，提取待识别交警手势数据集全局特征向量 [0034] (1)空间关节点提取
[0035]从上述待识别交警手势左侧面、右侧面、正面、背面数据集动作片段的深度图像中 提取交警空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征； 所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、 左手、右手；
[0036] (2)数据预处理
[0037]根据交警下半身空间关节点的个数剔除左侧面和右侧面的数据集，余留正面、背 面数据集；
[0038] (3)圆柱坐标系建立
[0039] 采用圆柱体作为交警空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、 右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手 势对应圆柱包络面半径最大），确立圆柱坐标系(P，私z);
[0040] (4)圆柱体网格划分
[0041] 对圆柱体进行网格划分，P，P两个方向上采取均匀划分，z方向进行上下不均匀划 分，通过划分完成对网格按顺序作标号处理，每一个关节点都能在唯一的区域内，标识出不 同交警手势不同片段的空间关节点在圆柱体中所处的位置；
[0042] (5)获取初始局部特征向量
[0043]用拉普拉斯分布作为空间关节点在圆柱体P，私z三个方向上不同位置分布的概率 密度，对于除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手 肘、左手腕、右手腕、左手、右手，对于每一个空间关节点，在圆柱体中计算该节点所在网格 及相邻8块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征 向量；
[0044] (6)初始局部特征向量降维
[0045] 采用基于核密度估计的特征选择算法对上述初始局部特征向量进行特征降维，得 到局部特征向量；
[0046] (7)重复本步(5)、（6)，分别得到待识别交警手势正面、背面数据集对应的局部特 征向量；
[0047] (8)生成稀疏向量
[0048]采用稀疏字典对本步(7)待识别交警手势正面数据集、背面数据集对应的局部特 征向量进行稀疏编码，生成稀疏向量；
[0049] (9)稀疏特征的最大值合并
[0050]对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下 来，得到待识别交警手势全局特征向量；
[0051] 第七步，道口交警手势朝向识别
[0052] 将全局特征向量一起放入SVM分类器1，识别出交警正面数据集，并根据该数据集 所标记的深度传感器所处方向判断当前指令的朝向；
[0053]第八步，道口交警手势指令识别
[0054]根据第七步的识别结果，将道口待识别交警手势正面数据集的全局特征向量放入 SVM分类器2,做第二次识别得到当前的交警手势；
[0055]第九步，识别结果传输
[0056]将当前道口地理位置坐标、交警指令、交警指令朝向一并经无线传输至道口附近 的无人驾驶汽车；
[0057]第十步，无人驾驶汽车接收指令并作出响应 [0058] (1)解析接收指令
[0059] 无人驾驶汽车根据接收到的数据进行解析，根据解析到的数据判断是否应该丢 包，如果数据正确，提取与行驶方向相匹配的交警手势指令；
[0060] (2)根据指令做出响应
[0061] 无人驾驶汽车根据解析到的指令结合收到的道口地理位置坐标进入指令响应状 〇
[0062] -种面向无人驾驶车的多维非穿戴式交警手势识别系统，该系统包括交警手势数 据获取装置、交警手势识别装置和无人驾驶车响应装置，所述交警手势数据获取装置与交 警手势识别装置连接，交警手势识别装置与无人驾驶车响应装置连接;其中：
[0063] 所述交警手势数据获取装置包括：
[0064] 深度传感器模块，安置于道口东南西北四个方向，用于获取道口交警手势全方位 四维数据源(x，y，z，t);
[0065] 信号中继模块，其与所述深度传感器模块连接，用于数据源信号的复制、调整和放 大，延长传输长度，确保道口所获数据源完整传输；
[0066]所述交警手势识别装置包括：
[0067] 传感器接口模块，基于FPGA(Field - Programmable Gate Array，现场可编程门阵 列)实现，其与所述信号中继模块连接，接收交警手势数据；
[0068] DSP(Digital Signal Processor，数字信号处理器)模块，其与所述传感器接口模 块连接，用于实现交警手势识别的算法，根据三维拉普拉斯概率分布的特征提取方式，提取 具有描述性和区分性的交警手势特征，并结合所提取的交警手势特征识别当前交警手势以 及指令朝向；
[0069]存储器模块，其与DSP模块连接，提供识别过程所需的交警手势特征；
[0070] 模式选择模块，基于高低电平实现，其与DSP模块相连，用于训练模式和识别模式 的选择切换；
[0071] GNSS(Global Navigation Satellite System，全球导航卫星系统）模块，获取自 身地理位置坐标并传输至DSP模块；
[0072]无线发射模块，其与DSP模块连接，将DSP模块所得交警手势识别结果传输至无人 驾驶车；
[0073]电源模块，为上述传感器接口模块、DSP模块、存储器模块、模式选择模块、GNSS模 块及无线发射模块提供电源；
[0074]所述无人驾驶车响应装置包括：
[0075]无线接收模块，其与无线发射模块通过无线信号相连接，接收交警手势识别结果；
[0076]微处理器模块，其与无线接收模块连接，解析接收指令并控制无人驾驶车及时作 出当前指令的响应；
[0077]存储器模块，存储控制指令及自身地理位置坐标，供微处理器随时调用；
[0078]车身中央控制单元模块，其与微处理器模块相连，接收控制指令作出响应；
[0079] GNSS模块，获取自身地理位置坐标并传输至微处理器模块；
[0080]电源模块，为上述无线接收模块、微处理器模块、存储器模块、车身中央控制单元 模块及GNSS模块提供电源。
[0081] 与现有技术相比，本发明具有如下的有益效果：
[0082] 首先，本发明利用4台深度传感器获取交警深度帧序列，从三维空间获取全方位四 维信息(x，y，z，t)，获取的交警手势信息完整，较传统方法中的二维RGB图像信息，不受复杂 背景、光照、天气等因素影响，在晚上光线较弱时也可以得到较好的识别效果；
[0083] 然后，本发明所述特征提取方法中，由三维拉普拉斯概率密度函数计算得到局部 特征向量，经稀疏编码和最大值合并，得到的是交警手势连续动作的深度帧数据组合而成 的全局特征向量，相比连续动作过程中某个关键手势的特征提取方法，本发明更具完整性 和区分性，识别率高；
[0084]其次，四个深度传感器智能选取交警正对深度传感器的数据，通过识别交警正对 的深度传感器方向判别当前交警手势的朝向，利于无人驾驶车做出最正确的判断；
[0085]再次，本发明易于实现，交警不需佩戴任何器具，可以摆脱佩戴式器具带来的自由 度的约束，更能满足智能交通的要求；
[0086]最后，本发明采用无线传输方式将当前道口地理位置坐标、交警手势、交警手势朝 向一并传输至道口附近的无人驾驶汽车，车辆对接收到的信息进行解析提取行驶方向上的 相应交警指令，并根据指令进入响应状态，本发明作为一个独立的交警手势识别系统，能很 好的叠加到现有的交通灯系统中，共同作用弥补了单靠交通灯协调的不足，提高了无人驾 驶的安全性。
【附图说明】
[0087]图1为本发明方法获取交警手势数据集过程中交警员正面、背面深度图像示意图；
[0088] 图2为本发明特征提取过程中交警空间骨架关节点信息及坐标系示意图；
[0089] 图3为本发明特征提取过程中圆柱体空间划分示意图；
[0090] 图4为本发明深度传感器道口安放位置示意图；
[0091] 图5为本发明道口交警空间关节点提取后，正面和侧面下半身关节点数目对比示 意图；
[0092] 图6为本发明无人驾驶汽车解析接收信息流程图；
[0093] 图7为本发明无人驾驶汽车响应接收信息流程图；
[0094] 图8为本发明无人驾驶汽车进入响应状态后对8种不同交警手势的响应流程图； [0095]图9为本发明系统结构框图；
[0096]图10为本发明系统交警手势数据获取装置结构框图；
[0097]图11为本发明系统交警手势识别装置结构框图；
[0098]图12为本发明系统无人驾驶车响应装置结构框图。
【具体实施方式】
[0099] 下面结合附图对本发明进行详细描述。
[0100] 本发明的方法，首先在道口四个方向分别放置深度传感器获取交警手势四维数据 源(x，y，z，t)，并提出三维拉普拉斯分布作为概率分布实现特征提取，获得具有描述性和区 分性的交警手势特征，采用支持向量机分类器识别当前交警手势以及指令朝向，并将当前 地理位置坐标、交警手势识别结果、指令所属方向一并经无线广播传输至道口一定范围内 的无人驾驶车，便于车辆准确作出该道口行驶的预判。具体步骤如下：
[0101] 第一步，获取交警手势数据集
[0102] 在实施过程中，采用T0F(Time of Flight)深度相机作为深度传感器，选取10名交 警员(8男2女)分别执行8种交警手势，用T0F相机采集交警员正面、背面的8种交警手势动作 片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据集及背面数据集， 如图1所示，（a)、（b)分别为交警执行停止手势时所得正面、背面的深度图像示意图；第二 步，提取局部特征向量
[0103] (1)空间关节点提取
[0104]根据Jamie Shotton提出的深度图像空间关节点提取方法分别从8种交警手势正 面数据集及背面数据集动作片段的深度图像中提取交警员空间骨架的20个空间关节点，因 交警手势涉及的关节变动都在上半身，主要集中在双手上，只需选取部分关节点即可表征 交警手势，减少数据量以加快识别过程。如图2虚线框所示，选取其中的13个空间关节点作 为交警手势的表征;所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手 財、左手腕、右手腕、左手、右手；
[0105] (2)圆柱坐标系建立
[0106] 采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左 臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警 手势对应圆柱包络面半径最大），确立圆柱坐标系(P，申,z)，如图3所示；
[0107] (3)圆柱体网格划分
[0108] 对圆柱体进行网格划分，如图3所示，P，9两个方向上采取均匀划分，因交警手势涉 及的动作变化大多在中心点上方，z方向进行上下不均匀划分，具体地，<P方向上均匀12等 分，每等分对应30°角；半径P方向上均匀三等分;z轴方向上半轴均匀六等分，下半轴均匀三 等分，得到12*3*9 = 324块区域。通过划分完成对网格按顺序作标号处理，每一个关节点都 在唯一的区域内，标识出不同交警手势不同片段的空间关节点在圆柱体中所处的位置； [0109] (4)获取初始局部特征向量
[0110]用拉普拉斯分布作为空间关节点在圆柱体P，奶Z三个方向上不同位置分布的概率 密度，对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、 左手腕、右手腕、左手、右手的每一个空间关节点，在圆柱体中计算每一个空间节点自身所 在网格及相邻8块网格的概率，即每个关节点得到不同网格编号对应的9个概率值作为初始 局部特征向量，即交警手势动作片段中一帧深度图像特征向量；
[0111] 具体地，由于不同的交警有着身高和体重的差异，所以在计算概率前本发明在P，Z 两个方向上做归一化处理。
[0112] 拉普拉斯分布函数表示为：
[0114]其中，y是位置参数，b是尺度参数。
[0115] 由此可得拉普拉斯累计函数：
[0116] O (x) = 0.5[ l+sgn(x-ii) (l-exp( -1 x-y | /b))]
[0117] 对于关节点(P，私z)，P处于(Pi，P2)范围的概率为：
[0118] p(pi<p<P2；lip,b) = 〇 (P2；lip,b)-〇 (Pi；lip,b)
[0119]其中，yP是位置参数，b是尺度参数。
[0120] 中处于(见,仍)也围的概率为：
[0121] p(cp! <(p < cp-^u^h) = 〇((p-,; w^b) - ^(cpjiu^b)
[0122] 其中，/V是位置参数，b是尺度参数。
[0123] z处于(Z1，Z2)范围的概率为：
[0124] p(zi<z<Z2；iiz,b) = 〇 (z2；iiz,b)-〇 (z2；iiz,b)
[0125]其中，是位置参数，b是尺度参数。
[0126] 由此可得关节点处于(~…，(^，(^，(^，幻撤概率为：
[0127] pCp! < p < p2, f 1 <(p < cp2- Zi < Z < Z2； ^I, b) =p(Pi < p < p2; Mp,b) p(cpi < < cp2; ~,b) p(zi < z < "z,b)
[0128] 按照上述计算方法最终得到90个概率数据，结合块区域的标号于每一帧深度图像 都可以得到一个324维的特征向量。
[0129] (5)初始局部特征向量降维
[0130] 上述得到的特征存在冗余，采用基于核密度估计的特征选择算法对上述初始局部 特征向量进行特征降维，选取前160维特征，得到局部特征向量；
[0131] (6)重复本步(4)、（5)，分别得到8种交警手势正面数据集、背面数据集相应的局部 特征向量；
[0132] 第三步，字典学习
[0133] 将第二步(6)的局部特征向量按照稀疏编码的训练过程进行聚类，生成基底向量， 构成稀疏字典；
[0134] 具体地，得到的特征向量集合为X，X = _[：%,文2,……知]E ，其中d代表特征 向量的维度，即160，M代表特征向量数目，稀疏编码的字典学习问题可以优化为一个问题：
[0136]即我们需要基于[X1，X2，~Xl，…]学习得到一组基[h，巾 2,…h，…]，也就是字 典。
[0137] 训练过程就是一个重复迭代的过程，交替的更改a，(i)使得目标函数最小。
[0138] a)固定字典(i>[k]，然后调整a[k]，使得上式，即目标函数最小。
[0139] b)然后固定住a[k]，调整巾[k]，使得上式，即目标函数最小。
[0140] 不断迭代，直至收敛。根据重复迭代得到一组完备基中二…E 其中K为字典大小，用于后续识别过程中特征向量的稀疏编码。根据实验结果表明，交警手 势识别准确率随着字典数目的增大呈现先上升后趋于稳定的规律，但是字典数目的增多必 然会加大识别过程的耗时，综合考虑本发明选取的字典个数为350个。
[0141 ] 第四步，支持向量机(Support Vector Machine，SVM)分类器训练
[0142] (1)生成稀疏向量
[0143 ]对稀疏字典进行稀疏编码，生成稀疏向量；
[0144]具体地，与字典学习相对应，稀疏向量的生成可以优化为下述问题：
[0146] 得到的a _e 即为原始特征向量X = [ XI，X2，…Xi，…XM]的稀疏表达。基于预先 学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量，
[0147] (2)稀疏向量的最大值合并
[0148] 对稀疏向量使用最大值合并算法，得到交警手势的全局特征向量；
[0149] 最大值合并操作将稀疏向量集合中每一维的最大绝对值保留了下来，实际上该值 表示的是对字典中相应"原子"的最强响应。去除了稀疏系数中的无关信息，最终生成了紧 凑而具有区分性的交警手势特征。
[0150] (3)SVM分类器1训练
[0151]将所得交警手势正面数据集、背面数据集对应的全局特征向量用作SVM分类器1的 训练；
[0152] (4)SVM分类器2训练
[0153]将所得交警手势正面数据集对应的全局特征向量用作SVM分类器2的训练；
[0154]第五步，获取道口待识别交警手势数据集
[0155] 如图4所示，在道口东西南北四个方向安置4台T0F深度相机，同时获取交警正面、 背面、左侧面、右侧面交警手势的动作片段，每个片段包含连续60帧深度图像，分别得到待 识别交警手势左侧面、右侧面、正面、背面数据集，并标记四个方向数据集对应的T0F相机；
[0156] 第六步，提取待识别交警手势数据集全局特征向量
[0157] (1)空间关节点提取
[0158] 根据Jami e Shotton提出的深度图像空间关节点提取方法从上述待识别交警手势 左侧面、右侧面、正面、背面数据集动作片段的深度图像中提取交警空间骨架的20个空间关 节点，因交警手势涉及的关节变动都在上半身，主要集中在双手上，只需选取部分关节点即 可表征交警手势，减少数据量以加快识别过程。如图2所示，选取其中的13个空间关节点作 为交警手势的表征;所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手 財、左手腕、右手腕、左手、右手；
[0159] (2)数据预处理
[0160] 如图5所示，因为正面、背面的空间骨架下半身关节点个数比侧面多，根据交警下 半身空间关节点的个数剔除左侧面和右侧面的数据集，余留正面、背面数据集；
[0161] ((2)圆柱坐标系建立
[0162] 采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左 臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警 手势对应圆柱包络面半径最大），确立圆柱坐标系(P，％z)，如图3所示；
[0163] (3)圆柱体网格划分
[0164] 对圆柱体进行网格划分，如图3所示，P，V两个方向上采取均匀划分，因交警手势涉 及的动作变化大多在中心点上方，z方向进行上下不均匀划分，具体地，(P方向上均匀12等 分，每等分对应30°角；半径P方向上均匀三等分;z轴方向上半轴均匀六等分，下半轴均匀三 等分，得到12*3*9 = 324块区域。通过划分完成对网格按顺序作标号处理，每一个关节点都 在唯一的区域内，标识出不同交警手势不同片段的空间关节点在圆柱体中所处的位置； [0 165] (4)获取初始局部特征向量
[0166] 用拉普拉斯分布作为空间关节点在圆柱体P，q>,z三个方向上不同位置分布的概率 密度，对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、 左手腕、右手腕、左手、右手的每一个空间关节点，在圆柱体中计算每一个空间节点自身所 在网格及相邻8块网格的概率，即每个关节点得到不同网格编号对应的9个概率值作为初始 局部特征向量，即交警手势动作片段中一帧深度图像特征向量；
[0167] 具体地，由于不同的交警有着身高和体重的差异，所以在计算概率前本发明在p，z 两个方向上做归一化处理。
[0168] 拉普拉斯分布函数表示为：
[0170]其中，y是位置参数，b是尺度参数。
[0171] 由此可得拉普拉斯累计函数：
[0172] O (x) = 0.5[ l+sgn(x-li) (l-exp( -1 x-y | /b))]
[0173] 对于关节点(P，z)，P处于(Pl，p2)范围的概率为：
[0174] p(pi<p<P2；lip,b) = 〇 (P2；lip,b)-〇 (Pi；lip,b)
[0175]其中，yp是位置参数，b是尺度参数。
[0176] 屮处T (cp.!, cp2)范围的概率为：
[0177] p(q)i < 史 < 此；~,!))=中(中2;~,1)) - 中(中】;~,1))
[0178] 其中，/V是位置参数，b是尺度参数。
[0179] z处于(Z1，Z2)范围的概率为：
[0180] p(zi<z<Z2；iiz,b) = 〇 (z2；iiz,b)-〇 (z2；iiz,b)
[0181]其中，是位置参数，b是尺度参数。
[0182]由此可得关节点处于(P1，P2)，（(PJL,此),（Z1，Z2)的概率为：
[0183] P(Pi < P < P2,屮丄〈炉 < < z < z2;卜i,b) =p(Pi <P < P^；Mp.b) ? p((p! < (p < cpvj.Wcp/b) p(zx < z < z2;uZIb)
[0184] 按照上述计算方法最终得到90个概率数据，结合块区域的标号于每一帧深度图像 都可以得到一个324维的特征向量。
[0185] (5)初始局部特征向量降维
[0186] 上述得到的特征存在冗余，采用基于核密度估计的特征选择算法对上述初始局部 特征向量进行特征降维，选取前160维特征，得到局部特征向量；
[0187] (6)重复本步(5)、（6)，分别得到待识别交警手势正面、背面数据集对应的局部特 征向量；
[0188] (7)生成稀疏向量
[0189] 采用稀疏字典对本步(6)交警手势正面数据集、背面数据集相应的局部特征向量 进行稀疏编码，生成稀疏向量；
[0190] 具体地，与字典学习相对应，稀疏向量的生成可以优化为下述问题：
[0192] 得到的.A e ?tfx：K即为原始特征向量x= [xi，x2, 一Xi，???xm]的稀疏表达。基于预先 学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量，
[0193] (8)稀疏特征的最大值合并
[0194] 对稀疏向量使用最大值合并算法，得到交警手的全局特征向量；
[0195] 最大值合并操作将稀疏向量集合中每一维的最大绝对值保留了下来，实际上该值 表示的是对字典中相应"原子"的最强响应。去除了稀疏系数中的无关信息，最终生成了紧 凑而具有区分性的交警手势特征。
[0196] 第七步，道口交警手势朝向识别
[0197] 将全局特征向量一起放入SVM分类器1，识别出交警正面数据集，并根据该数据集 所标记的T0F相机所处方向判断当前指令的朝向，；
[0198]第八步，道口交警手势指令识别
[0199] 根据第七步的识别结果，将道口待识别交警手势正面数据集的全局特征向量放入 SVM分类器2,做第二次识别得到当前的交警手势，结合第七步即可得到当前交警手势以及 手势指挥朝向，例如识别结果为正西方向的T0F深度相机得到的数据为交警正面数据，交警 手势为直行，则可判断当前指令为该道口东西方向车辆直行；
[0200] 第九步，识别结果传输
[0201] 将当前道口地理位置坐标、交警指令、交警指令朝向一并经无线传输至道口附近 的无人驾驶汽车，传输按照一定通信协议进行；
[0202] 通信中，数据按帧传递。每帧按层封装，可分为传输层，链路层和应用层，每一层只 需要把对应的数据填入并且进行封装即可。
[0204] 通信方案：
[0205] (1)首先准备应用层数据，包括识别出来的交警手势数据，指定当前车辆放行方 向。应用层信息按照数据大小，分割为等长的数据包，每包长度固定为24Bytes，每包数据组 成如下表所示：
[0207] (2)再封装链路层信息，链路层信息按帧进行封装，每帧包括应用层信息和链路层 帧头，帧尾。每帧包括4个应用层数据包与帧头和帧尾，共98Bytes。
[0209] (3)最后封装传输层数据，传输层数据按报文进行封装和传输，每个报文由4个链 路层的帧以及报头和报尾组成，其组成结构如下表所示：
[0212]约定如下：
[0213] (1)当车辆驶入距离路口 50m内，会收到无线广播。
[0214] (2)广播发端地址为0XEE，收端地址为0XFF。
[0215] ⑶GNSS数据为float型的经炜度数据。
[0216] (4)交警手势包括当前交警所面向的路口以及当前交警的手势，交警手势一共包 括如下8种:停止、直行、左转弯、左转弯待转、右转弯、变道、减速慢行、示意车辆靠边停车， 考虑十字路口，因此，共有32种交警手势。
[0217] (5)链路层帧头为0X34，帧尾为0X37。
[0218] (6)每次4个包封装为一个链路层帧，4个链路层帧封装成一个传输层报文。
[0219] (7)传输层报头为0X76，报尾为0X78。
[0220] (8)在解析时，先由报文拆出4帧，再将每一帧拆成4个包。
[0221] (9)无人驾驶汽车收到该信息以后，会根据解析出的交警手势进行自动驾驶。
[0222] (10)通信过程采用56000波特率。
[0223] 第十步，无人驾驶汽车接收指令并作出响应
[0224] (1)解析接收指令
[0225] 无人驾驶汽车根据接收到的数据进行解析，如图6所示，根据解析到的数据判断是 否数据传输错误应该丢包，如数据正确，提取与行驶方向相匹配的交警手势指令；
[0226] 具体地，
[0227] 1)除去报头，报尾，得到4个链路层帧，如果除去报头和报尾失败，则丢弃该报文， 重新接收广播信息。
[0228] 2)对四个包开启4个线程，每个线程独立对链路层帧进行解析。
[0229] 3)除去帧头和帧尾，得到4个应用层数据包，如果解析失败，则丢弃该帧，重新接收 广播信息。
[0230] 4)对应用层数据包进行解析，得到交警手势和所指挥的路口信息。
[0231] (2)根据指令做出响应
[0232]如图7所示，无人驾驶汽车根据解析到的指令结合收到的道口地理位置坐标进入 指令响应状态，如图根据不同的指令，自动驾驶汽车会做出如下反应：
[0233] 1)判断当前交警的朝向。
[0235] 2)判断当前交警手势，汽车进入自动响应状态后，会对交警手势进行解析，作出如
[0236] 图8所示的响应，包括：
[0237] a)汽车制动指无人驾驶汽车以lOm/s2加速度制动，直至汽车完全停下来。
[0238] b)直行指汽车以7.9m/s2加速度启动，加速度以-2m/s2的速度递减，直至减为0。
[0239] c)左转弯指汽车以5m/s2加速度转弯，加速度以-3m/s2的速度递减直至减为0。
[0240] d)左转弯待转指汽车档位自动切换到转向，左转向灯亮。
[0241 ] e)右转弯指汽车以5m/s2加速度右转，加速度以-3m/s2的加速度递减，直至减为0。 [0242] f)变道指汽车转向灯亮，轮胎转向。
[0243] g)减速慢性指汽车以-2m/s2的加速度开始减速，加速度以0.7m/s 2的速度递增，直 至减速至限速范围内为止。
[0244] h)靠边停车指，汽车转向灯亮，以-20m/s2的加速度开始减速，直至停止，汽车尾灯 闪烁。
[0245] 参阅图9,本发明系统包括:交警手势数据获取装置10、交警手势识别装置20和无 人驾驶车响应装置30,所述交警手势数据获取装置10用于获取道口交警手势全方位四维数 据源(x，y，z，t)并将数据传输至交警手势识别装置20;交警手势识别装置20用于实现交通 道口交警手势的识别并将识别结果传输至无人驾驶车;无人驾驶车响应装置30用于接收当 前交警手势指令并及时作出响应。
[0246] 参阅图10,所述交警手势数据获取装置10包括深度传感器模块11及信号中继模 块，采用T0F(Time of Flight)深度相机作为深度传感器模块11，选择10个不同的人(8男2 女)分别执行交警的8种手势，每个人每种手势执行两遍，此模式下启用执行动作者正面、背 面的两台T0F相机获取深度信息数据源。后将数据源经信号中继模块12传输，信号中继模块 12将数据源信号复制、调整和放大，延长传输长度，确保道口所获数据源完整传输至交警手 势识别装置20中。
[0247] 参阅图11，所述交警手势识别装置20包括传感器接口模块21、DSP(Digital Signal Processor，数字信号处理器）模块22、存储器模块23、模式选择模块24、GNSS (Global Navigation Satellite System，全球导航卫星系统）模块25、无线发射模块26及 电源模块27,传感器接口模块21基于FPGA(Field-Programmable Gate Array，现场可编程 门阵列)实现，其与所述交警手势数据获取装置的信号中继模块12连接，用于接收交警手势 数据;DSP(Digital Signal Processor，数字信号处理器)模块22,其与所述传感器接口模 块21连接，用于实现交警手势识别的算法，根据本发明提出的三维拉普拉斯分布作为概率 密度的特征提取方法，提取具有描述性和区分性的交警手势特征，得到字典库，并结合交警 手势特征字典库识别当前交警手势以及指令朝向；存储器模块23,其与DSP模块22连接，用 于提供识别过程所需的字典库;模式选择模块24，基于高低电平实现，其与DSP模块22相连， 用于训练模式和识别模式的选择切换;GNSS(Global Navigation Satellite System，全球 导航卫星系统)模块25，用于获取自身地理位置坐标并传输至DSP模块22;无线发射模块26， 其与 DSP模块22连接，用于将DSP模块22所得交警手势识别结果传输至无人驾驶车响应装置 30 〇
[0248] 其中，模式选择模块24在实现道口交警手势识别之前，先选择训练模式进行交警 手势字典库的构建。经传感器接口模块21接收信号中继模块12传送的数据，传感器接口模 块21基于带有USBOJniversal Serial Bus，通用串行总线）收发器的FPGA编程实现。DSP模 块22接收来自传感器接口模块21的交警手势数据源，根据本发明提出的三维拉普拉斯分布 作为概率密度的特征提取方法，提取具有描述性和区分性的交警手势特征，得到字典库，并 将其存储至存储器模块23。
[0249]训练模式完成之后，将交警手势识别装置20中的模式选择模块24切换至识别模 式，即可进行道口交警手势的识别。识别时，DSP模块22调用存储器模块23中的交警手势特 征字典库，识别当前交警手势以及指令朝向，并将来自GNSS模块的当前地理位置坐标、交警 手势识别结果、指令所属方向经无线传输模块26-并传输至道口一定范围内的无人驾驶车 中的响应装置30。
[0250]参阅图12,无人驾驶车的响应装置30通过无线接收模块31接收前方道口的交警手 势识别结果，微处理器模块32对该指令信息进行解析，得到自身驾驶方向上相关的交警手 势指令，调用存储器模块33中的控制指令结合来自GNSS模块35的地理位置信息启动车身中 央控制单元模块34及时做出响应。
[0251]区别于已有的方法，本发明从三维空间获取全方位四维信息(x，y，z，t)，获取的交 警手势信息完整，较传统方法中的二维RGB图像信息，不受复杂背景、光照、天气等因素影 响，在晚上光线较弱时也可以得到较好的识别效果;提出以三维拉普拉斯分布作为概率密 度的特征提取方法，结合稀疏编码，得到的是交警手势连续动作的深度帧数据组合而成的 特征向量，而不是连续动作过程中某个关键手势的提取，极具完整性和区分性，识别率高； 本发明实现过程中交警不需佩戴任何辅助器具，指挥自由度高，在识别交警手势的同时还 能智能判断当前交警指令的具体朝向，无人驾驶车通过解析接收到的交警手势进入相应的 自动响应状态。为了证明本发明提出方法的有效性，选取了实时道口进行不同天气下的交 警手势识别，实验证明，本发明能较准确及时地识别出道口当前的交警手势以及手势朝向。
【主权项】
1. 一种面向无人驾驶车的多维非穿戴式交警手势识别方法，其特征在于该方法包括如 下步骤： 第一步，获取交警手势数据集 选取数名交警员分别执行8种交警手势，利用深度传感器采集交警员正面、背面的8种 交警手势动作片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据集及 背面数据集； 第二步，提取局部特征向量 (1) 空间关节点提取 分别从8种交警手势正面数据集及背面数据集动作片段的深度图像中提取交警员空间 骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征;所述13个空间 关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手財、右手財、左手腕、右手腕、左手、右手； (2) 圆柱坐标系建立 采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右 臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势 对应圆柱包络面半径最大），确立圆柱坐标系(Ρ,φ,ζ); (3) 圆柱体网格划分 对圆柱体进行网格划分，Ρ,φ两个方向上采取均匀划分，ζ方向进行上下不均匀划分，通 过划分完成对网格按顺序作标号处理，每一个关节点都在唯一的区域内，标识出不同交警 手势不同片段的空间关节点在圆柱体中所处的位置； (4) 获取初始局部特征向量 用拉普拉斯分布作为空间关节点在圆柱体Ρ，Ψ，Ζ三个方向上不同位置分布的概率密度， 对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、左手 腕、右手腕、左手、右手，在圆柱体中计算每一个空间节点自身所在网格及相邻8块网格的概 率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征向量； (5) 初始局部特征向量降维 采用基于核密度估计(KernelDensity Estimation，KDE)的特征选择算法对上述初始 局部特征向量进行特征降维，得到局部特征向量； (6) 重复本步(4)、（5)，分别得到8种交警手势正面数据集、背面数据集对应的局部特征 向量； 第三步，字典学习 将第二步(6)的局部特征向量按照稀疏编码的训练过程进行聚类，生成基底向量，构成 稀疏字典； 第四步，支持向量机SVM分类器训练 (1) 生成稀疏向量 对稀疏字典进行稀疏编码，生成稀疏向量； (2) 稀疏向量的最大值合并 对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下来， 得到交警手势全局特征向量； (3) SVM分类器1训练 将所得交警手势正面数据集、背面数据集对应的全局特征向量用作SVM分类器1的训 练； (4) SVM分类器2训练 将所得交警手势正面数据集对应的全局特征向量用作SVM分类器2的训练； 第五步，获取道口待识别交警手势数据集 在道口东西南北四个方向安置4台深度传感器，同时获取交警正面、背面、左侧面、右侧 面交警手势的动作片段，每个片段包含连续60帧深度图像，分别得到待识别交警手势左侧 面、右侧面、正面、背面数据集，并标记四个方向数据集对应的深度传感器； 第六步，提取待识别交警手势数据集全局特征向量 (1) 空间关节点提取 从上述待识别交警手势左侧面、右侧面、正面、背面数据集动作片段的深度图像中提取 交警空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征;所述 13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左 手'右手； (2) 数据预处理 根据交警下半身空间关节点的个数剔除左侧面和右侧面的数据集，余留正面、背面数 据集； (3) 圆柱坐标系建立 采用圆柱体作为交警空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右臀 空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势对 应圆柱包络面半径最大），确立圆柱坐标系(Ρ,φ,ζ); (4) 圆柱体网格划分 对圆柱体进行网格划分，Ρ.Φ两个方向上采取均匀划分，ζ方向进行上下不均匀划分，通 过划分完成对网格按顺序作标号处理，每一个关节点都能在唯一的区域内，标识出不同交 警手势不同片段的空间关节点在圆柱体中所处的位置； (5) 获取初始局部特征向量 用拉普拉斯分布作为空间关节点在圆柱体Αφ.ζ三个方向上不同位置分布的概率密度， 对于除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、左手 腕、右手腕、左手、右手，对于每一个空间关节点，在圆柱体中计算该节点所在网格及相邻8 块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征向量； (6) 初始局部特征向量降维 采用基于核密度估计的特征选择算法对上述初始局部特征向量进行特征降维，得到局 部特征向量； (7) 重复本步（5)、（6)，分别得到待识别交警手势正面、背面数据集对应的局部特征向 量； (8) 生成稀疏向量 采用稀疏字典对本步(7)待识别交警手势正面数据集、背面数据集对应的局部特征向 量进行稀疏编码，生成稀疏向量； (9)稀疏向量的最大值合并 对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下来， 得到待识别交警手势全局特征向量； 第七步，道口交警手势朝向识别 将所得道口待识别交警手势正面数据集、背面数据集对应的全局特征向量一起放入 SVM分类器1，识别出交警正面数据，并根据该数据所标记的深度传感器所处方向判断当前 手势的朝向； 第八步，道口交警手势指令识别 根据第七步的识别结果，将道口待识别交警手势正面数据集的全局特征向量放入SVM 分类器2，做第二次识别得到当前的交警手势； 第九步，识别结果传输 将当前道口地理位置坐标、交警手势、交警手势朝向一并经无线传输至道口附近的无 人驾驶汽车； 第十步，无人驾驶汽车接收指令并作出响应 (1) 解析接收指令 无人驾驶汽车根据接收到的数据进行解析，根据解析到的数据判断是否接收错误而应 该丢包，如果接收正确，提取与行驶方向相匹配的交警手势指令； (2) 根据指令做出响应 无人驾驶汽车根据解析到的指令结合收到的道口地理位置坐标进入指令响应状态。2.-种面向无人驾驶车的多维非穿戴式交警手势识别系统，其特征在于该系统包括交 警手势数据获取装置、交警手势识别装置和无人驾驶车响应装置，所述交警手势数据获取 装置与交警手势识别装置连接，交警手势识别装置与无人驾驶车响应装置连接;其中： 所述交警手势数据获取装置包括： 深度传感器模块，安置于道口东南西北四个方向，用于获取道口交警手势全方位四维 数据源； 信号中继模块，其与所述深度传感器模块连接，用于数据源信号的复制、调整和放大， 延长传输长度，确保道口所获数据源完整传输； 所述交警手势识别装置包括： 传感器接口模块，基于FPGA实现，其与所述信号中继模块连接，接收交警手势数据； 信号处理模块，其与所述传感器接口模块连接，用于实现交警手势识别的算法，根据三 维拉普拉斯概率分布的特征提取方式，提取具有描述性和区分性的交警手势特征，并结合 所提取的交警手势特征识别当前交警手势以及指令朝向； 存储器模块，其与信号处理模块连接，提供识别过程所需的交警手势特征； 模式选择模块，基于高低电平实现，其与信号处理模块相连，用于训练模式和识别模式 的选择切换； 导航模块，获取自身地理位置坐标并传输至信号处理模块； 无线发射模块，其与信号处理模块连接，将信号处理模块所得交警手势识别结果传输 至无人驾驶车； 电源模块，为上述传感器接口模块、信号处理模块、存储器模块、模式选择模块、导航模 块及无线发射模块提供电源； 所述无人驾驶车响应装置包括： 无线接收模块，其与无线发射模块通过无线信号相连接，接收交警手势识别结果； 微处理器模块，其与无线接收模块连接，解析接收指令并控制无人驾驶车及时作出当 前指令的响应； 存储器模块，存储控制指令及自身地理位置坐标，供微处理器随时调用； 车身中央控制单元模块，其与微处理器模块相连，接收控制指令作出响应； 导航模块，获取自身地理位置坐标并传输至微处理器模块； 电源模块，为上述无线接收模块、微处理器模块、存储器模块、车身中央控制单元模块 及导航模块提供电源。
【文档编号】G06K9/62GK105893951SQ201610190274
【公开日】2016年8月24日
【申请日】2016年3月29日
【发明人】邱崧, 凌佩佩, 蔡茗名, 钟阳, 徐伟, 刘莹莹, 贾高杰, 金豫
【申请人】华东师范大学