基于手势和语音进行机器人在线示教的方法
【专利摘要】本发明公开基于手势和语音进行机器人在线示教的方法，包括以下步骤：S1、基于手势的粗调过程；S2、基于语音的微调过程；S3、结合手势与语音来进行机器人示教。本发明提出了一种机器人在线示教的方法，包括了手势示教和语音示教，操作者可以通过手势的粗调和语音的微调相互结合的方式来指导机器人完成相应的动作。相比现有的技术，显得更加的自然，灵活，方便，易操控，操作者可以不必把精力放在如何操作机器人上，而可以全心全意的操控机器人完成某些任务。
【专利说明】
基于手势和语音进行机器人在线示教的方法
技术领域
[0001 ]本发明属于机器人示教领域，涉及了一种基于手势和语音的人机交互方法。
【背景技术】
[0002] 随着机器人技术的不断发展，人们对机器人的研究越来越深入，对智能技术的要 求越来越高。当前人与机器人的智能交互与协作成为了机器人研究的热点方向，而机器人 示教再现技术又是人机协作的基础。机器人示教再现技术是指操作员预先对机器人展示要 完成的操作与任务，机器人通过学习与记忆，再重现这些操作。国外示教再现技术起步较 早，并已取得了许多研究成果，如：穿戴金属骨架示教，通过聪慧机器人示教等。虽然国内的 示教技术再现技术起步较晚，但是发展十分迅速，除了传统的通过操纵杆或者示教盒进行 示教，还有离线示教和虚拟示教，然而这些方法都依赖于特定的环境，具有一定的局限性。
[0003] 这篇发明提出了一种基于三维手势和语音识别的机器人示教再现技术，该技术有 很高的灵活性与非受限性。其中手势示教采用Leap Motion传感器获取手势的位置数据以 及手势的姿态数据，该技术还引用了混合卡尔曼滤波和粒子滤波方法对获取的手势数据进 行处理与优化。通过手势示教，机器人能获取到操作者期望机器人所到达的位置信息并快 速移动到该位置。语音示教将会用到微软Speech SDK对语音进行识别，把人的自然语言转 化为机器人可以识别的指令，再利用已经建立的控制指令语料库执行这些指令。本发明的 示教再现技术是基于手势和语音识别对机器人进行示教，机器人利用手势的识别与获取对 操作位置进行粗定位，然后再利用语音识别对操作位置进行精细定位，再根据识别到的语 音的其他内容进行相关操作。该技术具有很高的灵活性，准确性和高效性，操作员只需要使 用非常自然的语音手势指令，机器人便能十分快速准确地完成示教在线任务。因此，本发明 认为该基于三维手势和语音识别的示教再现技术必将是未来智能机器人发展的必然选择， 并且将会十分有力地推动智能人机交互技术往更高的层面发展。
【发明内容】
[0004] 这个发明提出了一种机器人在线示教的方法，包括了手势示教和语音示教，操作 者可以通过手势的粗调和语音的微调相互结合的方式来指导机器人完成相应的动作。
[0005] 本发明基于手势和语音进行机器人在线示教的方法，包括如下步骤：
[0006] S1、基于手势的粗调过程；
[0007] S2、基于语音的微调过程；
[0008] S3、结合手势与语音来进行机器人示教。
[0009] 所述步骤S1包括以下步骤：
[0010] 人的手势具有自然、直观、灵活等特点，操作人员可以很轻松的通过手势来表示自 己的意图，将之用在机器人示教上显然具有很好的优势，手势用来对机器人进行粗调操作。 操作人员可以直接通过手势运动来控制机器人运动，手势位置和方向等数据可以由Leap Motion来获取得到，对手势位置和方向这些数据进行处理之后就可以控制机器人运动。
[0011] 1)手势坐标系统
[0012] Leap Motion是通过一个手势跟踪系统来进行手势位置和方向等数据的捕获，系 统内设有三个坐标系。
[0013] 1:世界坐标系XwYwZw
[0014] 2:Leap Motion坐标系XlYlZl [0015] 3:手掌坐标系XhYhZh
[0016] 由手掌坐标系XhYhZh向Leap Motion坐标系XlYlZl的变换可以代表手势位置。假设 Leap Motion坐标系XhYhZh与手掌坐标系XlYlZl在X轴、Y轴、Z轴的旋转方向分别为Φ、θ、φ，则 这些旋转角（Φ、Θ、Φ)可以代表手势方向。
[0017] 2)通过间隔卡尔曼滤波来进行位置估计
[0018] 通过Leap Motion获取到的手势位置不够精确，可能会出现手抖动等误差，这样对 机器人在线示教会有很大的影响，虽然卡尔曼滤波可以运用在位置估计上，在一些环境相 对复杂的情况下，系统所得到的数据不确定，用卡尔曼滤波对物体进行位置估计出现的误 差可能比较大，使用间隔卡尔曼滤波可以解决这个问题。
[0019] 间隔卡尔曼滤波的模型表示如下：
[0021] 这里4是k时刻的η X 1状态向量，是1^11的状态转换矩阵，0是11\1控制输出矩 阵，《L!是1 X 1的输入向量，Cl·和ν?代表噪音向量;4是k时刻的mX 1的测量向量，每是mXη的 观察矩阵。其中
[0023] 通过间隔卡尔曼滤波的位置估计，本发明可以将手势状态x'k在时刻k的状态表示 如下：
[0024] X k -[ Px, k , Vx, k , Ax, k , Py, k , Vy, k , Ay, k , Pz, k , Vz, k , Az, k ] ( 3 )
[0025] 在这个过程中，噪音向量表示为：
[0026] w，k=[0,0,w，x,0,0,w，y,0,0,wz] T (4)
[0027] 其中（w'x，w'y，wz)是手掌加速度的过程噪音。通过间隔卡尔曼滤波融合后的手势 位置数据就比较精确，可以用来对机器人进行粗调控制操作。
[0028] 3)通过改进的粒子滤波来进行姿态估计
[0029] 四元数算法可以用来进行刚体方向的估计，为了减少使用四元数算法所带来的误 差，使用改进的粒子滤波来增强数据融合。在tk时刻，后部密度的近似值定义为：
[0031] 其中4是tk时刻的第i个状态粒子，N是样本数目，4是tk时刻的第i个粒子的标准权 重，W ·)是狄拉克函数。
[0032] 因此，所分析的粒子可以被计算如下：
[0033] x,XA- + ) + vu- ]，)
[0035] 在tk+1时刻每个粒子的四元数分量可以表示如下：
[0037]其中coaxls,k是角速度，t是样本时间。通过改进的粒子滤波方法对手势姿态的估 计，准确性也得到的很大的提高，因此也可以用来对机器人进行粗调控制操作。
[0038] 所述步骤S2包括以下步骤：
[0039] 语音具有自然，简便，易操控等特点。操作者直接通过语音命令来控制机器人就会 变得简单直接，语音用来对机器人进行微调操作。本发明将使用微软Speech SDK来进行语 音的获取，当用户发出语音指令时，微软Speech SDK从语音输入中提取出关键词，将语音信 息转化为自然语言文本，再对该自然语言文本信息进行处理，将其中所蕴含的用户意图转 化为机器人控制指令，最后将机器人控制指令转化成相对应的机器人操作，最后机器人完 成这个操作。因此可该过程可分为四个阶段:语音输入，语音识别，意图理解，完成操作。其 中语音识别与意图理解是最重要也是本发明接下来要论述的部分。在进行机器人示教再现 前本发明会预先设计一套完善的控制命令体系以及相对应的语音控制指令语料库。由于本 发明研究的是基于三维手势和语音识别的机器人示教再现技术，所以本发明设计的控制指 令语料库中除了有语音控制指令，还要有手势控制指令。同样在设计语音控制命令体系时， 考虑到操作员下达语音指令的同时可能还伴随着手势指令，因此本发明将采用五个参数 (Cdir，C Qpt，Chand，Cval，Cunit)来对指令进行识别。当操作员对机器人下达语音命令时，机器人 首先判断该语音指令是否包含手势指令，若包含，c hand设为1，转为执行手势指令，若不包 含，Chand设为NULL，对语音进行识别，获取指令语句中的方向，操作，特征值，单位等参数并 进行对应操作。
[0040] 对语音识别完毕后，进入意图理解部分。该部分主要是将自然语言指令转化为对 应的机器人控制指令。在对刚识别完的自然语言指令进行理解转化之前，本发明要有一个 最大熵分类模型，本发明先从训练语料库中提取文本特征，然后利用TF-IDF对文本特征进 行特征向量加权，将文本表示为文本特征向量，有η个词就表示为η维特征向量。然后利用最 大熵算法，对文本特征向量与对应的意图输出标签的条件概率进行建模，得到分布最均匀 的模型，利用公式：
[0042]得到最大熵概率分布，从而完成最大熵建模。其中为第i个特征函数，若 文本向量与对应的输出标签现在同一个样本中，贝1|；^(1，7)等于1，否则为〇。\1为;^(1，7)对 应的权值，z(x)为归一化因子。最大熵分类模型建立之后，便可以对要测试的自然语言指令 进行转化了。先从要测试的文本中提取文本特征，再用上述提到的方法将文本表示为文本 特征向量，然后利用建立好的最大熵分类模型对文本特征向量进行分类，最后得到机器人 控制指令。
[0043] 建模方式有两种：统一属性建模和独立属性建模。统一属性建模是指将所有属性 组合成一条指令，并对该指令进行最大熵建模，然后对文本进行测试。独立属性建模是指分 别对四个属性进行最大熵建模，再对样本进行测试，最后将测试结果组合成一条输出指令。 统一属性建模能考虑到各属性之间相互的关联，会提高模型的精确度，但是这样的建模方 法会使组合数量十分庞大，使分类变得困难很多。独立属性建模虽然组合数量会少很多，但 是属性之间缺乏关联性，模型的精确度会降低很多。使用统一属性建模，以保证模型的精确 度。通过以上所建立的模型，可以实现语音的精确识别，因此，就可以通过语音来实现对机 器人的微调控制操作。
[0044] 所述步骤S3包括以下步骤：
[0045] 机器人在线示教通过手势和语音两种方式来进行，手势是负责粗调，语音负责微 调。语音控制分为两种命令:控制性命令和命令性命令，操作者通过控制性命令可以开始或 结束机器人在线示教的过程，也可以在手势指令和命令性命令之间做切换。在线示教的流 程图如图1所不：
[0046] 首先，操作者发出开始的语音命令，机器人收到命令之后就处于待命状态，随时准 备接受新的指令。接着，操作者可以将命令设置为手势控制状态，在这个状态下，操作者可 以通过手势来控制机器人的前后左右运动，此时运动的幅度比较大，所以手势比较容易进 行控制。这称为机器人的粗调过程。
[0047] 然而，在某些情形下，机器人所做的动作幅度较小，此时操作者通过手势控制机器 人比较困难，因为人的手势对于微小的距离不易控制，这时候就可以转向语音控制，操作者 可以通过语音来切换成语音控制命令，由语音来控制机器人前后左右移动，这称为机器人 的微调过程。
[0048] 在大多数情况下，机器人的粗调和微调是结合在一起的。例如，操作者手指着一个 方向，语音控制机器人向那个方向移动，此时机器人就会读取语音指令的内容，同时读取手 势所指的方向，做出正确的操作。在这里本发明运用了 IF-THEN规则来进行整体的控制，设 计了一系列的规则来实现手势指令和语音指令之间的结合。
[0049] 最终，当操作结束之后，操作者发出结束的命令，机器人就会结束相应的操作，整 个示教过程就完成了。
[0050] 这种手势与语音相互结合起来的方式控制机器人运动，自然性和灵活性都很强， 便于操作。
[0051] 本发明相对于现有技术具有如下的优点及效果：
[0052]本发明提出了一种机器人在线示教的方法，包括了手势示教和语音示教，操作者 可以通过手势的粗调和语音的微调相互结合的方式来指导机器人完成相应的动作。相比现 有的技术，显得更加的自然，灵活，方便，易操控，操作者可以不必把精力放在如何操作机器 人上，而可以全心全意的操控机器人完成某些任务。
【附图说明】
[0053]图1是在线示教的流程图。
【具体实施方式】
[0054] 下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0055] 实施例：
[0056] 本发明基于手势和语音来进行机器人在线示教包括如下步骤：
[0057] S1、基于手势的粗调过程；
[0058] S2、基于语音的微调过程；
[0059] S3、结合手势与语音来进行机器人示教。
[0060] 所述步骤S1包括以下步骤：
[0061] 人的手势具有自然、直观、灵活等特点，操作人员可以很轻松的通过手势来表示自 己的意图，将之用在机器人示教上显然具有很好的优势，手势用来对机器人进行粗调操作。 操作人员可以直接通过手势运动来控制机器人运动，手势位置和方向等数据可以由Leap Motion来获取得到，对手势位置和方向这些数据进行处理之后就可以控制机器人运动。 [0062] 1)手势坐标系统
[0063] Leap Motion是通过一个手势跟踪系统来进行手势位置和方向等数据的捕获，系 统内设有三个坐标系。
[0064] 1:世界坐标系XwYwZw
[0065] 2:Leap Motion坐标系XlYlZl
[0066] 3:手掌坐标系XhYhZh
[0067] 由手掌坐标系XhYhZh向Leap Motion坐标系XlYlZl的变换可以代表手势位置。假设 Leap Motion坐标系XhYhZh与手掌坐标系XlYlZl在X轴、Y轴、Z轴的旋转方向分别为Φ、θ、φ，则 这些旋转角（Φ、Θ、Φ)可以代表手势方向。
[0068] 2)通过间隔卡尔曼滤波来进行位置估计
[0069]通过Leap Motion获取到的手势位置不够精确，可能会出现手抖动等误差，这样对 机器人在线示教会有很大的影响，虽然卡尔曼滤波可以运用在位置估计上，在一些环境相 对复杂的情况下，系统所得到的数据不确定，用卡尔曼滤波对物体进行位置估计出现的误 差可能比较大，使用间隔卡尔曼滤波可以解决这个问题。
[0070]间隔卡尔曼滤波的模型表示如下：
[0072]这里4是k时刻的η X 1状态向量，<4是η X η的状态转换矩阵，Γ|是η X 1控制输出矩 阵，a|_；^l X 1的输入向量，I和4代表噪音向量;4:是k时刻的mX 1的测量向量，是mXn的 观察矩阵。其中
[0074]通过间隔卡尔曼滤波的位置估计，本发明可以将手势状态x'k在时刻k的状态表示 如下：
[0075] X k -[Px,k , Vx,k , Ax,k , Py,k , Vy,k , Ay,k , Pz,k , Vz,k , Az,k] ( 3 )
[0076] 在这个过程中，噪音向量表示为：
[0077] w，k=[0,0,w，x,0,0,w，y,0,0,w z]T (4)
[0078]其中(《\，《\，^)是手掌加速度的过程噪音。所以，位置估计的观测矩阵可以被定 义如下：
[0080]由间隔卡尔曼滤波可以得到，模型误差和观测误差的协方差为：
[0082]其中Δ Qt和Δ Rt是非负的常数矩阵。通过间隔卡尔曼滤波融合后的手势位置数据 就比较精确，可以用来对机器人进行粗调控制操作。
[0083] 3)通过改进的粒子滤波来进行姿态估计
[0084]四元数算法可以用来进行刚体方向的估计，为了减少使用四元数算法所带来的误 差，使用改进的粒子滤波来增强数据融合。在tk时刻，后部密度的近似值定义为：
[0086] 其中4是tk时刻的第i个状态粒子，N是样本数目，4是tk时刻的第i个粒子的标准权 重，W ·)是狄拉克函数。
[0087] 因此，所分析的粒子可以被计算如下：
[0090] 在tk+1时刻每个粒子的四元数分量可以表示如下：
[0092]其中coaxls,k是角速度，t是样本时间。通过改进的粒子滤波方法对手势姿态的估 计，准确性也得到的很大的提高，因此也可以用来对机器人进行粗调控制操作。
[0093] 所述步骤S2包括以下步骤：
[0094] 语音具有自然，简便，易操控等特点。操作者直接通过语音命令来控制机器人就会 变得简单直接，语音用来对机器人进行微调操作。本发明将使用微软Speech SDK来进行语 音的获取，当用户发出语音指令时，微软Speech SDK从语音输入中提取出关键词，将语音信 息转化为自然语言文本，再对该自然语言文本信息进行处理，将其中所蕴含的用户意图转 化为机器人控制指令，最后将机器人控制指令转化成相对应的机器人操作，最后机器人完 成这个操作。因此可该过程可分为四个阶段:语音输入，语音识别，意图理解，完成操作。其 中语音识别与意图理解是最重要也是本发明接下来要论述的部分。
[0095] 在进行机器人示教再现前本发明会预先设计一套完善的控制命令体系以及相对 应的语音控制指令语料库。由于本发明研究的是基于三维手势和语音识别的机器人示教再 现技术，所以本发明设计的控制指令语料库中除了有语音控制指令，还要有手势控制指令。 同样在设计语音控制命令体系时，考虑到操作员下达语音指令的同时可能还伴随着手势指 令，因此本发明将采用五个参数(Cdir，C〇 pt，Chand，Cvai，Cunit)来对指令进行识别。当操作员对 机器人下达语音命令时，机器人首先判断该语音指令是否包含手势指令，若包含，C hand设为 1，转为执行手势指令，若不包含，chand设为NULL，对语音进行识别，获取指令语句中的方向， 操作，特征值，单位等参数并进行对应操作。
[0096]对语音识别完毕后，进入意图理解部分。该部分主要是将自然语言指令转化为对 应的机器人控制指令。在对刚识别完的自然语言指令进行理解转化之前，本发明要有一个 最大熵分类模型，本发明先从训练语料库中提取文本特征，然后利用TF-IDF对文本特征进 行特征向量加权，将文本表示为文本特征向量，有η个词就表示为η维特征向量。然后利用最 大熵算法，对文本特征向量与对应的意图输出标签的条件概率进行建模，得到分布最均匀 的模型，利用公式：
[0098] 得到最大熵概率分布，从而完成最大熵建模。其中为第i个特征函数，若 文本向量与对应的输出标签现在同一个样本中，贝1|；^(1，7)等于1，否则为〇。\1为;^(1，7)对 应的权值，z(x)为归一化因子。最大熵分类模型建立之后，便可以对本发明要测试的自然语 言指令进行转化了。本发明先从要测试的文本中提取文本特征，再用上述提到的方法将文 本表示为文本特征向量，然后利用建立好的最大熵分类模型对文本特征向量进行分类，最 后得到机器人控制指令。
[0099] 建模方式有两种：统一属性建模和独立属性建模。统一属性建模是指将所有属性 组合成一条指令，并对该指令进行最大熵建模，然后对文本进行测试。独立属性建模是指分 别对四个属性进行最大熵建模，再对样本进行测试，最后将测试结果组合成一条输出指令。 统一属性建模能考虑到各属性之间相互的关联，会提高模型的精确度，但是这样的建模方 法会使组合数量十分庞大，使分类变得困难很多。独立属性建模虽然组合数量会少很多，但 是属性之间缺乏关联性，模型的精确度会降低很多。本发明将会使用统一属性建模，以保证 模型的精确度。通过以上所建立的模型，可以实现语音的精确识别，因此，就可以通过语音 来实现对机器人的微调控制操作。
[0100] 所述步骤S3包括以下步骤：
[0101]机器人在线示教通过手势和语音两种方式来进行，手势是负责粗调，语音负责微 调。语音控制分为两种命令:控制性命令和命令性命令，操作者通过控制性命令可以开始或 结束机器人在线示教的过程，也可以在手势指令和命令性命令之间做切换。在线示教的流 程图如图1所不：
[0102] 首先，操作者发出开始的语音命令，机器人收到命令之后就处于待命状态，随时准 备接受新的指令。接着，操作者可以将命令设置为手势控制状态，在这个状态下，操作者可 以通过手势来控制机器人的前后左右运动，此时运动的幅度比较大，所以手势比较容易进 行控制。这称为机器人的粗调过程。
[0103] 然而，在某些情形下，机器人所做的动作幅度较小，此时操作者通过手势控制机器 人比较困难，因为人的手势对于微小的距离不易控制，这时候就可以转向语音控制，操作者 可以通过语音来切换成语音控制命令，由语音来控制机器人前后左右移动，这称为机器人 的微调过程。
[0104] 在大多数情况下，机器人的粗调和微调是结合在一起的。例如，操作者手指着一个 方向，语音控制机器人向那个方向移动，此时机器人就会读取语音指令的内容，同时读取手 势所指的方向，做出正确的操作。在这里本发明运用了 IF-THEN规则来进行整体的控制，设 计了一系列的规则来实现手势指令和语音指令之间的结合。
[0105] 最终，当操作结束之后，操作者发出结束的命令，机器人就会结束相应的操作，整 个示教过程就完成了。
[0106] 这种手势与语音相互结合起来的方式控制机器人运动，自然性和灵活性都很强， 便于操作。
[0107] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换
[0108] 方式，都包含在本发明的保护范围之内。
【主权项】
1. 基于手势和语音进行机器人在线示教的方法，其特征在于，包括W下步骤： 51、 基于手势的粗调过程； 52、 基于语音的微调过程； 53、 结合手势与语音来进行机器人示教。2. 根据权利要求1所述的基于手势和语音进行机器人在线示教的方法，其特征在于，所 述步骤S1包括： 1) 手势坐标系统 Leap Motion是通过一个手势跟踪系统来进行手势位置和方向数据的捕获，其中设有 Ξ个坐标系， 1:世界坐标系XwYwZw 2:Leap Motion坐标系XiJlZl 3:手掌坐标系抽YhZh; 由手掌坐标系XhYhZh向Leap Motion坐标系Xl化Zl的变换可W代表手势位置；假设 LeapMotion坐标系抽化Zh与手掌坐标系Xl化孔在X轴、Y轴、Z轴的旋转方向分别为Φ、目、4，贝。 运些旋转角（Φ、Θ、Φ)可W代表手势方向； 2) 通过间隔卡尔曼滤波来进行位置估计 通过Leap Motion获取到的手势位置不够精确，使用间隔卡尔曼滤波解决运个问题，间 隔卡尔曼滤波的模型表示如下：(1) 运里4是k时刻的η X 1状态向量，Φ!是η Xη的状态转换矩阵，巧是η X 1控制输出矩阵，也1 是1X1的 输入向量，也1和'?代表噪音向量;讀是k时刻的m X 1的测量向量，趣是m X η的观察矩阵； 其中(2) 通过间隔卡尔曼滤波的位置估计，将手势状态X'k在时刻k的状态表示如下： X'k=[f)x,k,Vx,k,Ax,k,Py,k,Vy,k,Ay,k,p)z,k,Vz,k,Az,k] (3) 在运个过程中，噪音向量表示为： W'k= [0,0，W'x，0,0，W'y，0,0，Wz]T (4) 其中（W'x，W'y，Wz)是手掌加速度的过程噪音;通过间隔卡尔曼滤波融合后的手势位置 数据就比较精确，可W用来对机器人进行粗调控制操作； 3) 通过改进的粒子滤波来进行姿态估计 四元数算法能用来进行刚体方向的估计，使用改进的粒子滤波来增强数据融合;在tk时 亥IJ，后部密度的近似值定义为：(5) 其中4是tk时刻的第i个状态粒子，N是样本数目，4是tk时刻的第i个粒子的标准权重，δ (·)是狄拉克函数； 因此，所分析的粒子能被计算如下：(6) 在tk+l时刻每个粒子的四元数分量可W表示如下：(7) 其中ω axis,k是角速度，t是样本时间。3.根据权利要求1所述的基于手势和语音进行机器人在线示教的方法，其特征在于，步 骤S2包括： 操作者直接通过语音命令来控制机器人，语音用来对机器人进行微调操作；使用微软 Speech SDK来进行语音的获取，当用户发出语音指令时，微软Speech SDK从语音输入中提 取出关键词，将语音信息转化为自然语言文本，再对该自然语言文本信息进行处理，将其中 所蕴含的用户意图转化为机器人控制指令，最后将机器人控制指令转化成相对应的机器人 操作，最后机器人完成运个操作；因此可该过程可分为四个阶段:语音输入，语音识别，意图 理解，完成操作； 在进行机器人示教再现前预先设计控制命令体系W及相对应的语音控制指令语料库； 控制指令语料库中除了有语音控制指令，还要有手势控制指令；同样在设计语音控制命令 体系时，考虑到操作员下达语音指令的同时可能还伴随着手势指令，因此采用五个参数 (Cdir，C〇pt，Chand,Cval，Cunit)来对指令进行识别；当操作员对机器人下达语音命令时，机器人 首先判断该语音指令是否包含手势指令，若包含，Chand设为1，转为执行手势指令，若不包 含，Chand设为NU化，对语音进行识别，获取指令语句中的方向，操作，特征值，单位参数并进 行对应操作； 对语音识别完毕后，进入意图理解部分，将自然语言指令转化为对应的机器人控制指 令;在对刚识别完的自然语言指令进行理解转化之前，要有一个最大赌分类模型，先从训练 语料库中提取文本特征，然后利用TF-IDF对文本特征进行特征向量加权，将文本表示为文 本特征向量，有η个词就表示为η维特征向量;然后利用最大赌算法，对文本特征向量与对应 的意图输出标签的条件概率进行建模，得到分布最均匀的模型，利用公式：巧) 得到最大赌概率分布，从而完成最大赌建模;其中，fi(x，y)为第i个特征函数，若文本向 量与对应的输出标签现在同一个样本中，则fi(x，y)等于1，否则为0。、为fi(x，y)对应的权 值，z(x)为归一化因子;最大赌分类模型建立之后，便对要测试的自然语言指令进行转化 了；先从要测试的文本中提取文本特征，再用上述提到的方法将文本表示为文本特征向量， 然后利用建立好的最大赌分类模型对文本特征向量进行分类，最后得到机器人控制指令； 建模方式有两种：统一属性建模和独立属性建模，统一属性建模是指将所有属性组合 成一条指令，并对该指令进行最大赌建模，然后对文本进行测试;独立属性建模是指分别对 四个属性进行最大赌建模，再对样本进行测试，最后将测试结果组合成一条输出指令。4.根据权利要求1所述的基于手势和语音进行机器人在线示教的方法，其特征在于，所 述步骤S3包括： 机器人在线示教通过手势和语音两种方式来进行，手势是负责粗调，语音负责微调;语 音控制分为两种命令:控制性命令和命令性命令，操作者通过控制性命令可W开始或结束 机器人在线示教的过程，也可W在手势指令和命令性命令之间做切换； 首先，操作者发出开始的语音命令，机器人收到命令之后就处于待命状态，随时准备接 受新的指令;接着，操作者将命令设置为手势控制状态，在运个状态下，操作者可W通过手 势来控制机器人的前后左右运动，此时运动的幅度比较大，所W手势比较容易进行控制;运 称为机器人的粗调过程； 然而，当机器人所做的动作幅度较小时，此时操作者通过手势控制机器人比较困难，因 为人的手势对于微小的距离不易控制，运时候就可W转向语音控制，操作者可W通过语音 来切换成语音控制命令，由语音来控制机器人前后左右移动，运称为机器人的微调过程； 在大多数情况下，机器人的粗调和微调是结合在一起的；操作者手指着一个方向，语音 控制机器人向那个方向移动，此时机器人就会读取语音指令的内容，同时读取手势所指的 方向，做出正确的操作;运用IF-T皿N规则来进行整体的控制，设计一系列的规则来实现手 势指令和语音指令之间的结合； 最终，当操作结束之后，操作者发出结束的命令，机器人就会结束相应的操作，整个示 教过程就完成。
【文档编号】G06F3/16GK106095109SQ201610459874
【公开日】2016年11月9日
【申请日】2016年6月20日
【发明人】杜广龙, 邵亨康, 陈燕娇, 林思洁, 姜思君, 黄凯鹏, 叶玉琦, 雷颖仪, 张平
【申请人】华南理工大学