刚柔混合系统虚拟装配系统及其虚拟装配方法与流程

本发明涉及复杂机电产品的虚拟装配设计领域，尤其涉及一种刚柔混合系统虚拟装配系统及其虚拟装配方法。
背景技术：
：复杂的精密机电产品中零部件的设计制造装配难度很高，尤其是内部刚性机械结构件与诸如电缆之类的柔性结构件之间的接口匹配要求非常严格，设计过程中的毫厘之差便可导致整个产品返工。目前复杂机电产品设计过程中，暴露出的诸如电缆之类的柔性零部件由于设计时未考虑最终的装配，造成设计长度不足等问题，以致返工导致产品研发周期和成本大幅增加。大部分企业解决刚柔混合系统的设计制造装配问题，仍然通过在制造环节进行反复的样件试制和试安装来保证工艺指标达到设计要求，这一过程存在成本高、周期长、易反复等缺陷。因此，有必要将刚柔混合系统的设计试错过程从制造环节前移至设计阶段，急需提供一种虚拟装配系统来满足设计阶段的虚拟装配要求。技术实现要素：本发明提供一种刚柔混合系统虚拟装配系统及其虚拟装配方法，在设计端建立虚拟装配环境，利用计算机视觉技术实现自然方式下的人机交互，在构建的虚拟装配仿真环境中，逼真地再现复杂机电产品的实际装配过程，为操作员提供了设计方案预先验证的条件，对于设计方案中可能存在影响产品最终装配的缺陷做到及早发现并更改，从而提高工艺及制造环节的效率。为了达到上述目的，本发明提供一种刚柔混合系统虚拟装配系统，包含：支架，以及设置在支架上的动作跟踪系统和装配环境虚拟系统；所述的支架用于固定虚拟装配系统中的其他器件，该支架具有操作面；所述的动作跟踪系统包含可见光视觉交互子系统、红外光视觉交互子系统和视觉处理器；所述的可见光视觉交互子系统包含可见光摄像机组和多个可见光标记；所述的可见光标记设置在操作员的各个手指处；所述的可见光摄像机组用于捕获可见光标记进行视觉定位，可见光摄像机组的安装位置需要保证可见光摄像机的可视范围覆盖整个支架操作面；所述的红外光视觉交互子系统包含红外摄像机组和多个红外标记；所述的红外标记设置在操作员的各个手指处；所述的红外摄像机组用于捕获红外标记进行视觉定位，红外摄像机组的安装位置需要保证红外摄像机的可视范围覆盖整个支架操作面；所述的视觉处理器设置在支架上，电性连接光摄像机组和红外摄像机组，该视觉处理器中装载定位信息融合子系统，用于处理可见光定位信息和红外光定位信息，并将两种定位信息进行融合；所述的装配环境虚拟系统包含装配环境显示处理器和沉浸式虚拟现实头盔；所述的装配环境显示处理器设置在支架上，电性连接视觉处理器，用于根据融合的定位信息生成刚柔混合系统的虚拟装配环境；所述的沉浸式虚拟现实头盔电性连接装配环境显示处理器，用于为操作员三维立体显示刚柔混合系统的虚拟装配环境。所述的可见光摄像机组包含三个可见光摄像机，该三个可见光摄像机按照三轴两两垂直的方式固定设置在支架上。所述的红外摄像机组包含两个红外摄像机，两个红外摄像机对称固定设置在支架上。所述的装配环境虚拟系统还包含显示装置，其电性连接装配环境显示处理器，用于为其他未佩戴沉浸式虚拟现实头盔的人员显示虚拟装配过程。本发明还提供一种刚柔混合系统虚拟装配方法，包含以下步骤：步骤S1、红外光视觉交互子系统采集红外标记的空间位置，获得红外定位信息；采用两个对称设置的红外摄像机作为图像捕获设备，对红外标记进行检测，利用双目定位算法计算红外标记的空间位置；步骤S2、可见光视觉交互子系统采集可见光标记的空间位置，获得可见光定位信息；采用三个三轴两两垂直设置的可见光摄像机作为图像捕获设备，对可见光标记进行检测，利用三轴定位算法计算可见光标记的空间位置；步骤S3、视觉处理器中的定位信息融合子系统对红外定位信息和可见光定位信息进行融合，生成操作员各个手指的空间位置，获得手部定位信息；步骤S4、装配环境显示处理器根据融合的手部定位信息生成刚柔混合系统的虚拟装配环境，以人机交互的形式在刚柔混合系统的虚拟装配环境中完成对刚性零部件以及柔性电缆的安装。所述的步骤S2中，可见光视觉交互子系统采集可见光标记的空间位置的方法包含以下步骤：步骤S2.1、选择可见光标记的颜色；选定亮度色度空间YCrCb作为标记检测的颜色空间，在此颜色空间中在肤色范围之外选取颜色作为可见光标记；步骤S2.2、利用三轴位置循环迭代定位算法计算可见光标记的空间位置。所述的步骤S2.2中，利用三轴位置循环迭代定位算法计算可见光标记的空间位置的方法具体包含以下步骤：分别将三个可见光摄像机记为C1、C2、C3，分别沿X、Y、Z轴以两两垂直的方式进行布置，且三台摄像机至原点的距离分别为S1、S2、S3，可见光目标在C1、C2、C3的成像平面中的坐标分别为目标在三台摄像机中进行第t次迭代计算所得到的空间位置值分别为t次迭代后输出的目标坐标值为(xt,yt,zt)；步骤S2.2.1、给定迭代初值，可见光摄像机准备捕获可见光标记；给定循环迭代算法的迭代初值(x0,y0,z0)；令步骤S2.2.2、判断是否有可见光摄像机捕获到可见光标记的图像，若至少一台可见光摄像机捕获到可见光标记，则记录可见光标记的图像坐标，然后进行步骤S2.2.3，没有捕获到可见光标记的可见光摄像机则继续等待捕获下一帧图像以判断是否捕获到可见光标记的图像；步骤S2.2.3、根据可见光摄像机捕获的可见光标记的图像坐标，进行坐标循环迭代，逼近可见光标记在三维空间中的真实位置值；假设第t-1次迭代得到目标坐标值为(xt-1,yt-1,zt-1)，则对第t次跌代，有：①C1摄像机中，由沿X轴的坐标值xt-1以及目标的图像坐标根据摄像机成像原理得到：ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中，和是摄像机C1的焦距；若C1未检测到目标，则保持和的值不变，有：ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2摄像机中，应用以及目标的图像坐标得到：ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中，和是摄像机C2的焦距；若C2未检测到目标，则保持和的值不变，有：ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3摄像机中，应用以及目标的图像坐标得到：xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中，和是摄像机C3的焦距；若C3未检测到目标，保持和的值不变，xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④将由C1摄像机、C2摄像机、C3摄像机所得到的三维位置值取平均，有：xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持续迭代，直至(xt,yt,zt)满足：则将(xt,yt,zt)作为位置循环迭代的输出值，并结束迭代，进行下一帧图像中可见光标记的定位。所述的步骤S3中，视觉处理器中的定位信息融合子系统对红外定位信息和可见光定位信息进行融合的方法包含：当仅有红外摄像机检测到红外标记时，以红外定位信息作为定位信息融合子系统的输出；当仅有可见光摄像机检测到可见光标记时，以可见光定位信息作为定位信息融合子系统的输出；当红外摄像机与可见光摄像机均检测到标记时，以红外定位信息和可见光定位信息的均值作为定位信息融合子系统的输出。本发明建立刚柔混合系统的虚拟装配环境，搭建基于计算机视觉技术的动作跟踪系统，在操作员的手部佩戴相应的标记，通过捕获标记获取操作员的手部动作，实现基于手势的柔性电缆拖动以及刚性结构件移动等操作。本发明在设计端建立虚拟装配环境，利用计算机视觉技术实现自然方式下的人机交互，在构建的虚拟装配仿真环境中，逼真地再现复杂机电产品的实际装配过程，为操作员提供了设计方案预先验证的条件，对于设计方案中可能存在影响产品最终装配的缺陷做到及早发现并更改，从而提高工艺及制造环节的效率。附图说明图1是本发明提供的刚柔混合系统虚拟装配系统的结构示意图。图2是本发明提供的一种刚柔混合系统虚拟装配方法的流程图。图3是基于红外标记的视觉交互子系统工作原理图。图4是可见光标记颜色图。图5是可见光摄像机组布置方式图。图6是三轴位置循环迭代定位算法的坐标系示意图。具体实施方式以下根据图1～图6，具体说明本发明的较佳实施例。如图1所示，本发明提供一种刚柔混合系统虚拟装配系统，包含：支架1，以及设置在支架1上的动作跟踪系统和装配环境虚拟系统。所述的支架1用于固定虚拟装配系统中的其他器件，该支架1具有操作面101；该支架1上可以设置滚轮等移动组件，便于支架1的整体移动。所述的动作跟踪系统包含可见光视觉交互子系统、红外光视觉交互子系统和视觉处理器4。所述的可见光视觉交互子系统包含多个可见光标记和可见光摄像机组2。所述的可见光标记(图中未显示)设置在操作员的各个手指处。所述的可见光摄像机组2用于捕获可见光标记进行视觉定位，该可见光摄像机组2包含三个可见光摄像机，该三个可见光摄像机按照三轴两两垂直的方式固定设置在支架1上，可见光摄像机组的安装位置需要保证可见光摄像机的可视范围覆盖整个支架操作面。所述的红外光视觉交互子系统包含多个红外标记和红外摄像机组3。所述的红外标记(图中未显示)设置在操作员的各个手指处。所述的红外摄像机组3用于捕获红外标记进行视觉定位，该红外摄像机组3包含两个红外摄像机，两个红外摄像机对称固定设置在支架1上，红外摄像机组3的安装位置需要保证红外摄像机的可视范围覆盖整个支架操作面。所述的视觉处理器4设置在支架1上，电性连接光摄像机组2和红外摄像机组3，该视觉处理器4中装载定位信息融合子系统，用于处理可见光定位信息和红外光定位信息，并将两种定位信息进行融合。所述的装配环境虚拟系统包含装配环境显示处理器5、沉浸式虚拟现实头盔6和显示装置7。所述的装配环境显示处理器5设置在支架1上，电性连接视觉处理器4，用于根据融合的定位信息生成刚柔混合系统的虚拟装配环境。所述的沉浸式虚拟现实头盔6电性连接装配环境显示处理器5，用于为操作员三维立体显示刚柔混合系统的虚拟装配环境。所述的显示装置7电性连接装配环境显示处理器5，用于为其他未佩戴沉浸式虚拟现实头盔6的人员显示虚拟装配过程。如图2所示，本发明提供一种刚柔混合系统虚拟装配方法，包含以下步骤：步骤S1、红外光视觉交互子系统采集红外标记的空间位置，获得红外定位信息；采用两个对称设置的红外摄像机作为图像捕获设备，对红外标记进行检测，利用双目定位算法计算红外标记的空间位置；步骤S2、可见光视觉交互子系统采集可见光标记的空间位置，获得可见光定位信息；采用三个三轴两两垂直设置的可见光摄像机作为图像捕获设备，对可见光标记进行检测，利用三轴定位算法计算可见光标记的空间位置；步骤S3、视觉处理器中的定位信息融合子系统对红外定位信息和可见光定位信息进行融合，生成操作员各个手指的空间位置，获得手部定位信息；步骤S4、装配环境显示处理器根据融合的手部定位信息生成刚柔混合系统的虚拟装配环境，以人机交互的形式在刚柔混合系统的虚拟装配环境中完成对刚性零部件以及柔性电缆的安装。如图3所示，所述的步骤S1中，红外摄像机发出880纳米波长的红外光，涂有特殊涂层的红外标记反射红外光，在红外摄像机成像平面上呈现成一系列小点，根据双目视觉成像原理，可以分别计算出每个小点在三维空间中的位置。所述的步骤S2中，由于可见光摄像机无法直接从背景环境中提取可见光标记，因此需要选择合适的颜色空间，设计可区分的可见光标记，并使用颜色特征对可见光标记进行检测，最后利用三轴位置循环迭代定位算法计算可见光标记的空间位置。所述的可见光视觉交互子系统采集可见光标记的空间位置的方法包含以下步骤：步骤S2.1、选择可见光标记的颜色；可见光标记粘贴于操作员的五个手指处，为了区分可见光标记与人手肤色，选定亮度色度空间YCrCb作为标记检测的颜色空间，在此颜色空间中，肤色分布在相对集中的范围内，可在肤色范围之外选取合适的颜色作为可见光标记，同时，为避免检测过程中相互干扰，要求所选颜色标记的色度分量(Cr或Cb)相互之间且色度分量与肤色之间的差别尽量大；如图4所述，经检测，得到1号标记对应的品红(Cr＝241，Cb＝131)、2号标记对应的深绿(Cr＝59，Cb＝106)和3号标记对应的藏青(Cr＝98，Cb＝167)三种颜色在存在肤色的情况下具有较好的区分度，而若再加入其余颜色，容易导致颜色之间的相互干扰，因此再引入4号(2、3号标记以四分之一圆交替形成)和5号标记(1、3号标记以四分之一圆交替形成)；步骤S2.2、利用三轴位置循环迭代定位算法计算可见光标记的空间位置；如图5所示，分别将三个可见光摄像机记为C1、C2、C3，分别沿X、Y、Z轴以两两垂直的方式进行布置，且三台摄像机至原点的距离分别为S1、S2、S3；如图6所示，可见光目标在C1、C2、C3的成像平面中的坐标分别为目标在三台摄像机中进行第t次迭代计算所得到的空间位置值分别为t次迭代后输出的目标坐标值为(xt,yt,zt)。所述的利用三轴位置循环迭代定位算法计算可见光标记的空间位置的方法具体包含以下步骤：步骤S2.2.1、给定迭代初值，可见光摄像机准备捕获可见光标记；给定循环迭代算法的迭代初值(x0,y0,z0)，迭代初值可以设置为x0＝y0＝z0＝0，也可以根据三个可见光摄像机的可视空间范围确定，从而减少迭代次数；令步骤S2.2.2、判断是否有可见光摄像机捕获到可见光标记的图像，若至少一台可见光摄像机捕获到可见光标记，则记录可见光标记的图像坐标，然后进行步骤S2.2.3，没有捕获到可见光标记的可见光摄像机则继续等待捕获下一帧图像以判断是否捕获到可见光标记的图像；例如：C1摄像机捕获目标，则确定目标的图像坐标为C2摄像机捕获目标，则确定目标的图像坐标为C3摄像机捕获目标，则确定目标的图像坐标为步骤S2.2.3、根据可见光摄像机捕获的可见光标记的图像坐标，进行坐标循环迭代，逼近可见光标记在三维空间中的真实位置值；假设第t-1次迭代得到目标坐标值为(xt-1,yt-1,zt-1)，则对第t次跌代，有：①C1摄像机中，由沿X轴的坐标值xt-1以及目标的图像坐标根据摄像机成像原理得到：ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中，和是摄像机C1的焦距；若C1未检测到目标，则保持和的值不变，有：ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2摄像机中，应用以及目标的图像坐标得到：ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中，和是摄像机C2的焦距；若C2未检测到目标，则保持和的值不变，有：ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3摄像机中，应用以及目标的图像坐标得到：xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中，和是摄像机C3的焦距；若C3未检测到目标，保持和的值不变，xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④将由C1摄像机、C2摄像机、C3摄像机所得到的三维位置值取平均，有：xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持续迭代，直至(xt,yt,zt)满足：则将(xt,yt,zt)作为位置循环迭代的输出值，并结束迭代，进行下一帧图像中可见光标记的定位；由此，得到的(xt,yt,zt)即为基于可见光标记的视觉交互子系统对目标的空间定位输出。所述的步骤S3中，视觉处理器中的定位信息融合子系统对红外定位信息和可见光定位信息进行融合的方法包含：由于标记未必在摄像机的视场范围内，当仅有红外摄像机检测到红外标记时，以红外定位信息作为定位信息融合子系统的输出；当仅有可见光摄像机检测到可见光标记时，以可见光定位信息作为定位信息融合子系统的输出；当红外摄像机与可见光摄像机均检测到标记时，以红外定位信息和可见光定位信息的均值作为定位信息融合子系统的输出。所述的步骤S4中，在进行虚拟装配时，操作员可以通过手指抓取沉浸式虚拟现实头盔中显示的虚拟电缆的电连接器进行安装，当抓取电连接器到安装位置附近时，会自动吸附，也同样可以用相同方法对刚性结构件进行安装，通过虚拟试安装可以反馈得到设计的不足之处。本发明建立刚柔混合系统的虚拟装配环境，搭建基于计算机视觉技术的动作跟踪系统，在操作员的手部佩戴相应的标记，通过捕获标记获取操作员的手部动作，实现基于手势的柔性电缆拖动以及刚性结构件移动等操作。本发明在设计端建立虚拟装配环境，利用计算机视觉技术实现自然方式下的人机交互，在构建的虚拟装配仿真环境中，逼真地再现复杂机电产品的实际装配过程，为操作员提供了设计方案预先验证的条件，对于设计方案中可能存在影响产品最终装配的缺陷做到及早发现并更改，从而提高工艺及制造环节的效率。尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。当前第1页1 2 3