一种智能虚拟装配动作识别方法
【技术领域】
[0001] 本发明属于虚拟装配领域，具体涉及一种智能虚拟装配动作识别方法。
【背景技术】
[0002] 虚拟装配是当今制造业的热门应用。在虚拟装配过程中，人的动作往往具有模糊 性，同一种动作在不同的情境中可能有不同的语义，但在特定情境中的语义往往是固定的， 因此，准确检测在不同情境中用户动作所代表的语义变得非常重要。
[0003]目前科研人员已经进行了很多相关研宄。文献（]武殿梁，杨润党，马登哲，范 秀敏.虚拟装配环境中的装配模型表达技术研宄[J].计算机集成制造系统，2004，11: 1364-1369.)和文献（MingC.Leu，HodaA.ElMaraghy，AndrewY.C.Nee，SohKhimOng， MicheleLanzetta，MatthiasPutz?WenjuanZhu，AlainBernard.CADmodelbased virtualassemblysimulation，planningandtraining[J].CIRPAnnals-Manufacturing Technology. 2013,02 :799-822.)通过建立场景建模几何约束、位置约束和数据分层模型， 提高了约束自动识别的效率。文献（陈艳艳，陈正鸣，周小芹.基于Kinect的手势识别及 在虚拟装配技术中的应用[J].电子设计工程，2013,10:4-7.)和文献（廖宏建，曲哲.基于 Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013,07 :98-102)通 过kinect进行手势识别，并根据用户自然习惯扩展手势交互语义，降低用户的认知负担。
[0004] 现有的基于手势的虚拟装配系统，多是采用传统的手势识别方法，文献（廖宏建， 曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013， 07 :98-102)采用基于kinect手势识别的虚拟装配，依次进行手势分割、特征提取和手势识 另IJ，最后只是直接给出识别出手势结果，缺乏对场景的联系和分析。
[0005] 以上方法都没有将用户与场景结合，只是孤立的对场景规定约束和对用户动作的 具体识别，无法感知用户的动作语义。因此需要将虚拟装配过程中的场景和用户联系起来。
【发明内容】
[0006] 本发明的目的在于解决上述现有技术中存在的难题，提供一种智能虚拟装配动作 识别方法，在虚拟装配过程中准确推理用户的操作意图。
[0007] 本发明是通过以下技术方案实现的：
[0008] 一种智能虚拟装配动作识别方法，根据场景模型中的任务编号和当前操作编号， 确定场景中的当前操作物体；
[0009] 对用户的动作进行识别得到用户动作识别结果；
[0010] 将当前操作物体的操作属性及用户动作识别结果当作事实，遍历专家系统的规则 库，寻找与规则前提匹配的规则，推理出结论，即用户的操作意图。
[0011] 所述用户的动作包括手移动、手握紧和手张开；
[0012] 对用户的动作进行识别是采用基于kinect提取手势图像空间坐标点分布特征实 现的。
[0013] 所述方法包括：
[0014] S1:建立并读取用户手势库、场景知识库、用户知识库和规则库，初始化事实库、将 开始检测标志初始化为假、将操作标记初始化为〇、将当前任务编号初始化为1 ;
[0015] S2:判断当前任务编号是否超过场景库中的最大任务编号，如果是，则转入S12; 如果否，转S3;
[0016] S3 :判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，转S11， 如果否，转S4;
[0017] S4 :判断开始检测标志是否为假，如果否，则转入S6 ;如果是，则转入S5 ;
[0018] S5:记录手的初始位置及手的当前位置，然后判断手的当前位置与初始位置的差 值是否大于50mm，如果是，则转入S6;如果否，则返回S5;
[0019] S6 :将开始检测标记改为真，开始检测；
[0020] S7 :根据场景知识库和当前任务编号，确定当前的操作物体；
[0021] S8 :判断当前用户操作标记是否为真，如果是，则转入S10 ;如果否，则转入S9 ;
[0022] S9:识别用户动作，利用专家系统规则库推理出用户的意图，根据用户的意图将相 应的操作标记改为真；
[0023] S10 :根据用户的意图执行相应操作，并将开始检测标志改为假；
[0024] S11 :当前物体操作完成时，当前任务编号增加1，当前物体的操作状态改为假；
[0025]S12:结束。
[0026] 所述用户手势库用于存放：12指抓和12指放的特征，以txt文件存放；
[0027] 所述场景知识库用于存放：任务编号task、零件位置location、零件的操作属性 type、零件的状态status和零件操作完成标志flag;
[0028] 所述用户知识库用于存放：当前用户的手部位置变化和手势handgesture;其中 手部位置变化包括z变化Zchange和x、y变化XYchange;
[0029] 所述规则库用于存放：上一次推理的意图lastintention、零件的操作属性 type、手势handgesture、规则数目num、动作nction、意图intention和可信度certainty。
[0030] 所述事实库指综合数据库，用于存放装配过程中的场景信息和用户信息，包括场 景模型和用户模型中的成员，开始时将其成员变量初始化为〇。
[0031] 所述S7是这样实现的：如果当前任务编号和场景知识库的某个任务编号相等，则 将与场景库知识中该任务编号对应位置的操作物体确定为当前操作物体。
[0032] 所述S9是这样实现的：
[0033] 利用肤色模型进行手部分割，获取十帧用户的手势主方向特征和手部位置，并存 入事实库中；
[0034] 选取第一帧和第十帧的手势特征，与用户手势库特征进行匹配；选取第一帧和第 十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化规整为用户知识库中 的知识表达形式；
[0035] 将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事 实，遍历规则库，推理出最终结论及不确定性，存入综合数据库中；
[0036] 结合操作物体的属性和用户手势语义，确定用户的意图。
[0037] 所述遍历规则库，推理出最终结论及不确定性是这样实现的：
[0038] 将综合数据库中物体的操作属性、手势识别结果和手部位置变化作为当前事实， 遍历规则库；
[0039] 当规则前提与事实一致时，计算证据的不确定性，即证据与规则的匹配度，并存入 综合数据库。当匹配度大于设定阈值时，启用该规则；否则，匹配失败，不启用该规则；
[0040] 当有多条规则前提与当前事实相匹配时，选取规则数目多的规则启用，并将启用 的规则编号存入综合数据库；
[0041] 将启用规则的结论作为新的事实存入综合数据库中，继续遍历规则库，直到遍历 完规则为止，将最终结论存入综合数据库中；计算结论不确定性，当结论不确定性小于设定 阈值时，重置结论的可信度为1. 0。
[0042] 所述阈值取值为0.6。
[0043] 所述结合操作物体的属性和用户手势语义，确定用户的意图是这样实现的：
[0044] 当操作物体的属性为抓取平移释放时，12指抓手势代表抓取物体，12指放手势代 表释放物体，手移动代表平移；
[0045] 当操作物体的属性为放大缩小时，12指抓代表缩小物体，12指放代表放大物体。
[0046] 与现有技术相比，本发明的有益效果是：本发明引入了场景知识模型和用户知识 模型，实现了在虚拟装配过程中准确推理用户的操作意图。
【附图说明】
[0047] 图1场景知识和用户知识关联图
[0048] 图2情境推理图
[0049] 图3本发明方法的步骤框图。
【具体实施方式】
[