本发明涉及机器人技术领域，具体而言，涉及一种机器人实训方法及系统。
背景技术：
随着机器人行业的不断发展，对机器人相关专业的人才需求越来越紧缺，如何更快速、全面的培养机器人相关专业的人才，成为了国家关注的一个重要的发展方向，而双臂机器人是机器人产业中很重的一个分支。
现有的双臂机器人教学模式主要以培训机构为主，实际操作性差、多以授课形式为主，导致学生学习的效率较低。
技术实现要素：
有鉴于此，本发明实施例提供了一种机器人实训方法及系统。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种机器人实训系统，所述机器人实训系统包括：图像采集模块、动作捕捉模块、ar交互模块以及控制器；其中，所述图像采集模块、所述动作捕捉模块以及所述ar交互模块分别与所述控制器连接；所述图像采集模块用于实时采集双臂机器人以及实训台的三维图像，并将所述三维图像传输至所述控制器，所述动作捕捉模块用于实时采集实训过程中培训人员的操作，并将所述培训人员的操作传输至所述控制器，所述控制器用于将所述培训人员的操作与预设的标准操作进行实时对比，得到纠正信息，并基于所述三维图像、所述纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，所述控制器还用于将所述增强现实模型或所述虚拟现实模型传输至所述ar交互模块，所述ar交互模块基于所述增强现实模型或所述虚拟现实模型将所述指导信息以及所述纠正新展示于所述培训人员的视野中，以使所述培训人员获知所述指导信息以及所述纠正信息。
第二方面，本发明实施例提供了一种机器人实训方法，应用于机器人实训系统，所述系统包括：图像采集模块、动作捕捉模块、ar交互模块以及控制器，其中，所述图像采集模块、所述动作捕捉模块以及所述ar交互模块分别与所述控制器连接，所述方法包括：所述图像采集模块实时采集双臂机器人以及实训台的三维图像，并将所述三维图像传输至所述控制器；所述动作捕捉模块实时采集实训过程中培训人员的操作，并将所述培训人员的操作传输至所述控制器；所述控制器将所述培训人员的操作与预设的标准操作进行实时对比，得到纠正信息；所述控制器基于所述三维图像、所述纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，并将所述增强现实模型或所述虚拟现实模型传输至所述ar交互模块；所述ar交互模块基于所述增强现实模型或所述虚拟现实模型将所述指导信息以及所述纠正新展示于所述培训人员的视野中，以使所述培训人员获知所述指导信息以及所述纠正信息。
本发明实施例提供的机器人实训方法及系统，该机器人实训系统包括：图像采集模块、动作捕捉模块、ar交互模块以及控制器；其中，图像采集模块、动作捕捉模块以及ar交互模块分别与控制器连接；图像采集模块用于实时采集双臂机器人以及实训台的三维图像，并将三维图像传输至控制器，动作捕捉模块用于实时采集实训过程中培训人员的操作，并将培训人员的操作传输至控制器，控制器用于将培训人员的操作与预设的标准操作进行实时对比，得到纠正信息，并基于三维图像、纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，控制器还用于将增强现实模型或虚拟现实模型传输至ar交互模块，ar交互模块基于增强现实模型或虚拟现实模型将指导信息以及纠正新展示于培训人员的视野中，以使培训人员获知指导信息以及纠正信息。该机器人实训方法及系统能够很好的提升双臂机器人培训的真实感和立场感，更加清楚直接的学到想要学习的知识点，提高学员的培训效率，缩短了培训周期。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的机器人实训系统的一种结构框图；
图2示出了本发明实施例提供的机器人实训系统的另一种结构框图；
图3示出了本发明实施例提供的机器人实训系统的又一种结构框图；
图4示出了本发明实施例提供的机器人实训方法的流程图。
图标：100-机器人实训系统；110-图像采集模块；120-动作捕捉模块；130-ar交互模块；140-控制器；150-扬声器；160-显示屏。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一实施例
如图1示出了本发明实施例提供的机器人实训系统的结构框图。请参见图1，该机器人实训系统100包括：图像采集模块110、动作捕捉模块120、ar交互模块130以及控制器140。其中，所述图像采集模块110、所述动作捕捉模块120以及所述ar交互模块130分别与所述控制器140连接。
在本发明实施例中，所述图像采集模块110用于实时采集双臂机器人以及实训台的三维图像，并将所述三维图像传输至所述控制器140，所述动作捕捉模块120用于实时采集实训过程中培训人员的操作，并将所述培训人员的操作传输至所述控制器140，所述控制器140用于将所述培训人员的操作与预设的标准操作进行实时对比，得到纠正信息，并基于所述三维图像、所述纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，所述控制器140还用于将所述增强现实模型或所述虚拟现实模型传输至所述ar交互模块130，所述ar交互模块130基于所述增强现实模型或所述虚拟现实模型将所述指导信息以及所述纠正新展示于所述培训人员的视野中，以使所述培训人员获知所述指导信息以及所述纠正信息。
在本发明实施例中，实训台根据双臂机器人的实训内容的需要，可以仿照真实的实训台来设置，以提升机器人培训的真实感，也可以是真实的实训台的简化版，仅保留真实的实训台的核心部分，以便于节约成本、安装及运输等。
图像采集模块110实时采集实训过程中双臂机器人以及实训台的三维图像，并传输至控制器140，进一步地，根据机器人实训的需要，该图像采集模块110可以选用3d摄像显微镜或3d摄像机。其中，需要在显微镜放大视野下进行的实训选择3d摄像显微镜以获取对双臂机器人操作的三维放大图像，而不需要在显微镜下进行的实训则选用3d摄像机以获取双臂机器人的正常图像。
在本发明实施例中，动作捕捉模块120实时采集实训过程中培训人员对于双臂机器人的操作，并传输至控制器140。优选地，动作捕捉模块120为飞行时间(timeofflight，tof)传感器，其在与图像采集模块110不同的角度采集培训人员的实训动作。例如，图像采集模块110从双臂机器人的正上方，采集三维图像，动作捕捉模块120从双臂机器人的侧面采集培训人员的操作，通过动作捕捉模块120的应用，使得图像与数据采集实现了包括垂直角度与水平角度在内的多角度获取，从而可以更加真实地表现实训中的每个细节，展现出培训人员和指导老师在正常工作中难以看到的视角，降低操作的理解难度，加快培训速度，提升培训质量。
在本发明实施例中，控制器140根据实训的进程相应输出的预存在控制器140中的指导信息，并将动作捕捉模块120采集来的培训人员的操作和预设的标准操作进行实时比对，得到纠正信息。并将图像采集模块110采集的三维图像、指导信息以及纠正信息一起进行建模，实时生成包含三维图像、指导信息以及纠正信息的增强现实或虚拟现实模型。
进一步地，控制器140中存储有标准的操作进程、各个进程的标准操作以及各个进程中可能出现的特殊状况。标准的操作进程以及各个进程的标准操作参考的大量的专业人员的进程进行制定，保证实训操作的准确性，指导培训人员准确处理各个进程及各个进程中可能出现的特殊状况。
优选地，所述指导信息以及纠正信息可以为文字信息、也可以图像信息、甚至为文字信息与图像信息的组合，培训人员根据指导信息获取操作进程及各进程的操作方法，根据纠正信息纠正错误的操作动作。
在本发明实施例中，ar交互模块130实时获取控制器140生成的增强现实或虚拟现实模型，并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过ar交互模块130观看三维图像，并获取指导信息以及纠正信息。
优选地，所述ar交互模块130为ar眼镜，尤其是采用硅基液晶(liquidcrystalonsilicon，lcos)芯片、硅基有机发光二极管(si-oled)芯片或微发光二极管(micro-led)芯片的能够显示超高清晰度图像的ar眼镜。
在本发明实施例中，控制器140可以至少包括存储器以及处理器。存储器与处理器连接。存储器用于存储上述预设的标准动作、指导信息以及各个组件的执行方法流程。
在本发明实施例中，请参见图2，该机器人实训系统100还可以包括：扬声器150。其中，所述扬声器150与所述控制器140连接。所述扬声器150用于播放所述指导信息以及所述纠正信息，以提示所述培训人员所述指导信息以及所述纠正信息。
在本发明实施例中，请参见图3，该机器人实训系统100还可以包括：显示屏160。其中，所述显示屏160与所述控制器140连接，所述显示屏160用于显示所述三维图像以及所述培训人员的操作，以便于管理人员对培训人员的培训过程进行观看。
在本发明实施例中，该机器人实训系统100还可以包括：通信模块。其中，所述通信模块与所述控制器140连接，所述通信模块用于与远程终端通信连接，以便于将所述三维图像以及所述培训人员的操作发送至所述远程终端。
第二实施例
本发明第二实施例提供了一种机器人实训方法，应用于机器人实训系统，所述系统包括：图像采集模块、动作捕捉模块、ar交互模块以及控制器，其中，所述图像采集模块、所述动作捕捉模块以及所述ar交互模块分别与所述控制器连接。请参见图4，该机器人实训方法包括：
步骤s110：所述图像采集模块实时采集双臂机器人以及实训台的三维图像，并将所述三维图像传输至所述控制器。
步骤s120：所述动作捕捉模块实时采集实训过程中培训人员的操作，并将所述培训人员的操作传输至所述控制器。
步骤s130：所述控制器将所述培训人员的操作与预设的标准操作进行实时对比，得到纠正信息。
步骤s140：所述控制器基于所述三维图像、所述纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，并将所述增强现实模型或所述虚拟现实模型传输至所述ar交互模块。
步骤s150：所述ar交互模块基于所述增强现实模型或所述虚拟现实模型将所述指导信息以及所述纠正新展示于所述培训人员的视野中，以使所述培训人员获知所述指导信息以及所述纠正信息。
综上所述，本发明实施例提供的机器人实训方法及系统，该机器人实训系统包括：图像采集模块、动作捕捉模块、ar交互模块以及控制器；其中，图像采集模块、动作捕捉模块以及ar交互模块分别与控制器连接；图像采集模块用于实时采集双臂机器人以及实训台的三维图像，并将三维图像传输至控制器，动作捕捉模块用于实时采集实训过程中培训人员的操作，并将培训人员的操作传输至控制器，控制器用于将培训人员的操作与预设的标准操作进行实时对比，得到纠正信息，并基于三维图像、纠正信息以及预先存储的指导信息建立增强现实模型或虚拟现实模型，控制器还用于将增强现实模型或虚拟现实模型传输至ar交互模块，ar交互模块基于增强现实模型或虚拟现实模型将指导信息以及纠正新展示于培训人员的视野中，以使培训人员获知指导信息以及纠正信息。该机器人实训方法及系统能够很好的提升双臂机器人培训的真实感和立场感，更加清楚直接的学到想要学习的知识点，提高学员的培训效率，缩短了培训周期。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。