模块化机械臂的智能分拣方法
【专利摘要】本发明提供的模块化机械臂的智能分拣方法，具有这样的特征，包括以下步骤：步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件；步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。本发明提出的方法实现了模块化机械臂的控制，同时将智能感知与识别，人机对话与交互融入了控制系统，成功的完成了智能分拣任务，提高了模块化机械臂的智能性。
【专利说明】
模块化机械臂的智能分拣方法
技术领域
[0001]本发明涉及模块化机械臂的控制领域，特别涉及一种模块化机械臂的智能分拣方法。
【背景技术】
[0002]模块化机械臂相对于传统的机械臂有着占用空间小，成本低，功能多样，灵活性强的优势。近年来，国内外越来越多的机器人公司或机器人研究所开展了对模块化机械臂的研究并取得了一定的成果。
[0003]在模块化机械臂分拣作业平台上融入三维物体识别，人机交互与推理，大大提高了分拣系统的智能水平。
[0004]文献检索查到相关专利:2015年4月22日公开的申请号为CN201410723309.3的发明专利《智能分拣系统及分拣方法》，公开了一种智能分拣方法，该项发明能够识别多种颜色的物体，并且能进行引导性学习，自动将不同颜色的物体放到指定位置。
[0005]但是，上述专利只涉及到物体颜色识别，并不能识别大小、形状以及物体的三维坐标；同时上述专利是利用学习模块预先进行引导性学习，然后重复学习的动作，在一定程度上降低了系统的智能水平，没有使用推理的方法，没有用到反问引导与期望分析。
【发明内容】
[0006]本发明是为了解决上述问题而进行的，目的在于把三维物体识别，人机交互与推理融入到模块化机械臂分拣作业平台上，提出一种模块化机械臂的智能分拣方法。
[0007]本发明提供的模块化机械臂的智能分拣方法，具有这样的特征，包括以下步骤:
[0008]步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件；
[0009]步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及
[0010]步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。
[0011]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，步骤一，将体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的特征描述子与模型库进行匹配、生成转变假设并验证，得到三维场景语义地图描述文件。
[0012]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，步骤二，人机对话由语音识别部分，推理机部分和语音合成部分组成，首先在语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用预定算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将语音信号转化为文本发送给推理机部分，推理机部分接收文本，采用预定推理机制，将文本与案例库中的案例进行检索寻找最相似的案例，结合三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善用户的期望，最后生成解决方案，用户的引导信息以文本的形式发送给语音合成部分，该部分将得到的文本通过文本分析、韵律建模和语音合成三个步骤生成相应的语音信号输出交互语
■~>V.曰O
[0013]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，步骤三，首先通过自然语言获取模块获取自然语言的解决方案，然后由自然语言解释模块把解决方案解释成机器人指令，将机器人指令发送给解析编译模块，解析编译模块按预定顺序进行解析，解析编译完机器人指令，最后通过执行器模块，接收并执行可执行指令。
[0014]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，预定算法为MFCC算法。
[0015]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，通过预定推理机制为改进的CBR-BDI推理机制。
[0016]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，语音合成使用TTS技术。
[0017]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，自然语言获取模块通过UDP的传输来实现通信，获取解决方案，解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。
[0018]本发明提供的模块化机械臂的智能分拣方法，还具有这样的特征:其中，自然语言解释模块把解决方案解释成机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
[0019]发明作用和效果
[0020]根据本发明所涉及的模块化机械臂的智能分拣方法，首先通过体感传感器获取实时的三维场景语义地图描述文件，然后以对话的形式建立分拣规则，最后将图像文件里的物体坐标分别发送给模块化机械臂，机械臂接收到物体坐标后抓取物体，将物体放到对应的篮子里面，从而实现了智能分拣，随着机械臂尤其是轻量级的模块化机械臂的发展，模块化机械臂的控制系统越来越重要，作为模块化机械臂分拣系统，本系统具有视觉功能和推理功能，拥有人机交互和完善期望的功能，同时本系统可以通过自然语言的解决方案来实现机械臂的控制，从而实现了自动编程。
【附图说明】
[0021 ]图1是本发明在实施例中的模块化机械臂的智能分拣方法的步骤图；
[0022]图2是本发明在实施例中的点云采集与物体识别的总体结构图；
[0023]图3是本发明在实施例中的多目标场景的空间点云物体识别与理解系统的总体流程图；
[0024]图4是本发明在实施例中的语音识别部分的结构示意图；
[0025]图5是本发明在实施例中的改进的CBR-BDI推理机制的结构示意图；
[0026]图6是本发明在实施例中的语音合成单元的结构示意图；
[0027]图7是本发明在实施例中的机械臂控制模块的结构示意图；以及
[0028]图8是本发明在实施例中的解析编译模块的流程图。
【具体实施方式】
[0029]以下参照附图及实施例对本发明所涉及的模块化机械臂的智能分拣方法作详细的描述。
[0030]图1是本发明在实施例中的模块化机械臂的智能分拣方法的步骤图。
[0031]如图1所示，模块化机械臂的智能分拣方法具有以下步骤:
[0032]步骤一:通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件，进入步骤二。
[0033]图2是本发明在实施例中的点云采集与物体识别的总体结构图。
[0034]如图2所示，将体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的特征描述子与模型库进行匹配、生成转变假设并验证，得到三维场景语义地图描述文件。
[0035]图3是本发明在实施例中的多目标场景的空间点云物体识别与理解系统的总体流程图。
[0036]物体识别与理解系统主要由离线和在线两个部分组成。
[0037]离线过程:模型库建立是个离线的过程，涉及到的关键技术有预处理、图像分割、特征描述、体感传感器的自运动估计、密集三维点云模型生成。首先进行数据滤波预处理，然后进行物体检测，也就是从场景中分割出每个视角的单一聚类，接着提取特征点与特征描述子。通过棋盘格标定算法，利用特征描述子的匹配得到各帧数据间的4X4刚性变化矩阵，将不同视角下的数据对奇并累加，从而获得三维物体的完整点云，用于获取物体的几何形状，并人为设定物体模型标识。
[0038]在线过程:物体识别与位姿估计是在线进行的。涉及到的关键技术有基于距离阈值的特征匹配、转变假设与验证、位姿矩阵坐标转换，通过实时的获取体感传感器的一帧点云数据，经过基于局部表面特征的3D识别算法给场景中各物体分配一个合适的物体模型类，另外还可以得到物体模型到场景对应点的相对位姿变换矩阵。最后将识别的物体的三维几何特征和图像纹理信息写入xml文件，构建三维场景语义地图描述文件。
[0039]步骤二:以人机对话的形式确定意图，推理得到分拣规则，进入步骤三。
[0040]人机对话由语音识别部分，推理机部分和语音合成部分组成。
[0041]首先在语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用MFCC算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将语音信号转化为文本发送给推理机部分，推理机部分接收文本，采用改进的CBR-BDI推理机制，将文本与案例库中的案例进行匹配寻找最相似的案例，结合三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善用户的期望，最后生成解决方案。其中对用户的引导信息以文本的形式发送给语音合成部分，该部分将得到的文本通过文本分析、韵律建模和语音合成三个步骤生成相应的语音信号输出交互语音。
[0042]图4是本发明在实施例中的语音识别部分的结构示意图。
[0043]如图4所示，在语音识别部分里面，当用户对机器人说话时，麦克风先接收到语音信号，然后系统的预处理部分对语音信号进行降噪处理，并采用MFCC算法进行特征提取，之后系统结合声学模型和语言模型，通过语音解码搜索算法将语音信号转化为文本语句。
[0044]图5是本发明在实施例中的改进的CBR-BDI推理机制的结构示意图。
[0045]如图5所示，推理机部分把CBR-BDI推理机制作为核心，同时在推理机部分中加入地图匹配，期望分析和引导从而实现CBR-BDI推理机制的改进。
[0046]在推理机单元接收到文本语句后，通过语义相似度和句子结构相似度计算，从案例库中如果获取了相似案例，系统将对该案例结合规则进行任务属性计算，判别任务属性是否完整，如任务属性完整，即m_num>0，则进入下一步，否则由系统按一定规则提出反问句，进入引导提冋；
[0047]将任务属性完整的案例与当前实时地图文件进行匹配得到m_match，其判定规则如下:
[0048]m_match = O:表示场景中没有符合要求的物体；
[0049]0<m_match<l:表示场景中该物体数量少于用户期望的数量；
[0050]m_match = l:表示场景中两者数量正好相等；
[0051]m_match>l:表示场景中该物体数量多于用户期望的数量。
[0052]只有当m_match多I时，表明案例任务可以在当前环境中得以执行，进入下一步期望分析，否则按规则进行相应反问引导；
[0053]将案例任务与当前设定作业规则必须条目进行匹配分析(期望分析)，判别用户意图相对当前作业规则条目来说，是否可行，如可行，则生成自然语言解决方案，否则，系统导向规则引导反问，要求用户补全规则。
[0054]图6是本发明在实施例中的语音合成单元的结构示意图。
[0055]如图6所示，推理机的引导反问信息将以文本的形式传给语音合成单元，最后以语音信号的形式输出。
[0056]步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。
[0057]图7是本发明在实施例中的机械臂控制模块的结构示意图。
[0058]如图7所示，在接收到步骤二的解决方案后，接下来就要完成模块化机械臂的自然语言编程、自动解析执行与运动控制。模块化机械臂的自动编程与解析运动控制一共分为4个模块，自然语言获取模块、自然语言解释模块、解析编译模块和执行器模块。
[0059]首先通过自然语言获取模块获取自然语言的解决方案，自然语言获取模块通过UDP的传输来实现通信，获取解决方案，解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。
[0060]然后由自然语言解释模块把解决方案解释成机器人指令，将机器人指令发送给解析编译模块，解析编译模块按预定顺序进行解析，解析编译完机器人指令，最后通过执行器模块，接收并执行编译后语句。
[0061 ]自然语言解释模块把解决方案解释成机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
[0062]图8是本发明在实施例中的解析编译模块的流程图。
[0063]如图8所示，在得到机器人语言指令后将其发送给解析编译模块，解析编译模块按顺序进行解析，按行读取并解析编译语句文本，解析编译机器人语句，如果是有move的语句，调用逆解函数求出对应坐标的关节轴度数，由movep和movel来判断使用曲线插补函数还是直线插补函数，接着编译每个插补点为相应的CAN指令;如果是有hand的语句，调用末端执行器器控制函数，由hand on和hand off来判断末端执行器的打开或关闭，编译成末端执行器的打开或关闭CAN指令；如果是有round的语句，调用第一关节轴旋转函数，旋转round后面的角度，把旋转后每个关节轴度数编译成相应的CAN指令，调用正解函数求出旋转后位置;如果是有Nop的语句则是空操作；如果是有Time的语句就读取后面的时间，编译这段延时时间；如果是有end语句表示解析结束，编译结束标识符，返回。
[0064]解析编译完机器人语言指令最后通过执行器模块，接收并执行可执行指令，如果是move ,round的语句，则发送相应的CAN指令给机械臂，如果是hand语句，则发送相应的CAN指令给末端执行器，如果是Time语句则延时相应的时间，如果是结束标识符则执行完毕，返回。
[0065]实施例的作用与效果
[0066]根据本实施例所涉及模块化机械臂的智能分拣方法，首先通过体感传感器获取实时的三维场景语义地图描述文件，然后以对话的形式建立分拣规则，最后将图像文件里的物体坐标分别发送给模块化机械臂，机械臂接收到物体坐标后抓取物体，将物体放到对应的篮子里面，从而实现了智能分拣，随着机械臂尤其是轻量级的模块化机械臂的发展，模块化机械臂的控制系统越来越重要，作为模块化机械臂分拣系统，本系统具有视觉功能和推理功能，拥有人机交互和完善期望的功能，同时本系统可以通过自然语言的解决方案来实现机械臂的控制，从而实现了自动编程。
[0067]上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
【主权项】
1.一种模块化机械臂的智能分拣方法，其特征在于，包括以下步骤: 步骤一，通过体感传感器完成目标检测与识别，获取场景中各物体的准确空间位置信息，得到三维场景语义地图描述文件； 步骤二，以人机对话的形式确定意图，推理得到分拣规则；以及步骤三，接收解决方案，通过自然语言编程将解决方案编程为机器人指令，解析编译执行指令，并控制机械臂进行智能分拣。2.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于: 其中，所述步骤一，将所述体感传感器采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据，通过计算机获取数据后，经过预处理、关键点提取、计算特征描述子、将得到的所述特征描述子与模型库进行匹配、生成转变假设并验证，得到所述三维场景语义地图描述文件。3.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于: 其中，所述步骤二，所述人机对话由语音识别部分，推理机部分和语音合成部分组成，首先在所述语音识别部分，麦克风阵列把用户输入的语音信号进行降噪处理，并采用预定算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将所述语音信号转化为文本发送给所述推理机部分，所述推理机部分接收所述文本，采用预定推理机制，将所述文本与案例库中的案例进行匹配寻找最相似的案例，结合所述三维场景语义地图描述文件进行地图匹配、期望分析和引导，从而完善所述用户的期望，最后生成解决方案， 对所述用户的引导信息以所述文本的形式发送给所述语音合成部分，该部分将得到的所述文本通过文本分析、韵律建模和语音合成三个步骤生成相应的所述语音信号输出交互语音。4.根据权利要求1所述的模块化机械臂的智能分拣方法，其特征在于: 其中，所述步骤三，首先通过自然语言获取模块获取自然语言的解决方案，然后由自然语言解释模块把所述解决方案解释成所述机器人指令，将所述机器人指令发送给解析编译模块，所述解析编译模块按预定顺序进行解析，解析编译完所述机器人指令，最后通过执行器模块，接收并执行编译后可执行指令。5.根据权利要求3所述的模块化机械臂的智能分拣方法，其特征在于: 其中，所述预定算法为MFCC算法。6.根据权利要求3所述的模块化机械臂的智能分拣方法，其特征在于: 其中，通过所述预定推理机制为改进的CBR-mn推理机制。7.根据权利要求4所述的模块化机械臂的智能分拣方法，其特征在于: 其中，语音合成使用TTS技术。8.根据权利要求5所述的模块化机械臂的智能分拣方法，其特征在于: 其中，所述自然语言获取模块通过UDP的传输来实现通信，获取所述解决方案， 所述解决方案里面有自然语言命令，物体的坐标和末端执行器姿态。9.根据权利要求5所述的模块化机械臂的智能分拣方法，其特征在于: 其中，自然语言解释模块把所述解决方案解释成所述机器人指令的具体的步骤为将自然语言命令进行分词，词法分析，语法分析，语义分析后得到机器人语言指令。
【文档编号】G06T7/00GK105931218SQ201610212575
【公开日】2016年9月7日
【申请日】2016年4月7日
【发明人】闵华松, 陈鸣宇, 林云汉, 康雅文, 裴飞龙, 吴凡, 周昊天, 熊志恒, 丁礼健, 黄铸栋, 李潇, 齐诗萌, 周炳南
【申请人】武汉科技大学