一种基于双目视觉的高精度虚拟装配系统算法
【专利摘要】一种基于双目视觉的高精度虚拟装配系统算法，该算法通过Kinect传感器采集用户运动空间信息作为虚拟装配系统的输入信息，应用OpenGL建立手部模型，将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相似度，采用改进的粒子群优化算法，最终得到采集图像的手部模型，基于手部模型以及Kinect传感器的标定信息，最终渲染得到深度图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过程。本发明能实现对手势进行准确稳定的三维实时跟踪，不需要特殊的标记或复杂的图像采集设备，降低了硬件设备的要求和成本；也不需要训练样本，从而更容易进行应用扩展。
【专利说明】一种基于双目视觉的高精度虚拟装配系统算法
【技术领域】
[0001] 本发明涉及一种基于双目视觉的高精度虚拟装配系统算法。
【背景技术】
[0002] 在产品的设计和制造过程中，装配是一个很重要的环节，装配的效率和质量直接 影响产品的最终质量。据有关资料介绍，装配工作的成本占总制造成本的30%?50%，甚 至还可能更高。在传统的装配过程中，由于装配通常并不能一次性完成，必须要反复的装配 和修改设计，且修改过程中需依赖实物模型。这种繁复的工作不仅使得装配过程极其复杂， 也使得装配成本颇高。虚拟装配是利用计算机工具，在没有产品或支撑工艺的物理实现情 况下，通过分析、虚拟模型、可视化和数据表达，做出或辅助做出装配关系工程的决定。不同 于传统设计必须依靠实物模型进行装配，虚拟装配技术可以在数字环境中进行装配，从而 对设计进行检验和修改，并形成评价模型。虚拟装配技术的应用可以简化产品的优化设计， 缩短设计周期，减少设计成本，提高产品精度和生产自动化程度。实现手部姿势的高精度立 体跟踪是虚拟装配系统的一个关键性且具有挑战性的问题。为了开发一种有效的且高效的 解决方案，研究者们需要考虑一些复杂的、相互关联的因素，例如手部动作会存在的高维度 的问题、手的外观颜色的均匀度的问题和严重的自遮挡问题。为了解决以上这些问题，一些 非常成功的方法应用于专门进行动作捕捉的硬件或者用来进行视觉标记。遗憾的是，这些 方法需要一个复杂的、昂贵的硬件设备或者它们会受到观测场景的干扰，或者两种情况同 时存在。由于上述原因，从而影响虚拟装配系统的用户体验效果和推广普及。
[0003] 对于通过无标记视觉数据来解决手势的立体跟踪识别问题，现有的方法可以分 为基于模型和基于外观两种。基于模型的方法提供连续的解决方案，但是需要昂贵的成本 和依赖于丰富的视觉信息的可用性，这些信息一般由多功能摄像机系统提供。基于外观的 方法需要相对较少的计算成本和不那么复杂的硬件，但是它们对手势的识别是不连续的， 不能实现对手势的准确跟踪识别。
【发明内容】
[0004] 本发明的目的是为了克服【背景技术】中的不足之处，基于Kinect传感器系统，融合 手势识别跟踪技术及人机交互方式，提供一种基于双目视觉的高精度虚拟装配系统算法。 该算法主要是依靠Kinect传感器采集的信息作为输入，在基于模型方法的基础上，将手势 的识别跟踪问题转化为一个利用改进的PS0算法解决的最优化问题，并利用GPU提高最优 化性能。
[0005]为了解决上述存在的技术问题，本发明是通过以下技术方案实现的：
[0006] -种基于双目视觉的高精度虚拟装配系统算法，该算法内容如下：
[0007] 通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静 态手势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装 配过程；
[0008] 采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为输入信 息，通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；应用OpenGL建立手部 模型，采用球体、圆柱体、椭球体和椎体四个基本图元，建立一个用27个参数表征的具有26 个自由度的3D手部模型；
[0009] 将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的 相似度，采用改进的粒子群优化算法，通过相异性计算公式E(h，0)，估算出观察对象与模型 对象之间的相异程度，不断优化手部模型的27个参数，使得相似度度量达到最大，最终得 到采集图像的手部模型，基于手部模型以及Kinect传感器的标定信息，最终渲染得到深度 图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过 程。
[0010] 所述的相异性计算公式E(h，0)为：
[0011] E(h，0) =D(0,h，C) + 入k ?kc(h) (1)
[0012] 其中Ak是一个标准化因数，c表示摄像机的校准信息，h代表模型对象，0代表观 察对象；函数D(0，h，c)表示为：
[0013]
【权利要求】
1. 一种基于双目视觉的高精度虚拟装配系统算法，其特征在于该算法内容如下： 通过Kinect传感器采集用户运动空间信息，包括上肢动作信息、手势信息包括静态手 势和动态手势信息作为虚拟装配系统的输入信息，从而使用自然习惯动作完成虚拟装配过 程； 采用Kinect传感器拍摄手部姿态的彩色图像和对应的深度图像信息作为输入信息， 通过肤色检测结合深度信息，分割出手部图像，得到观察的模型；应用OpenGL建立手部模 型，采用球体、圆柱体、椭球体和椎体四个基本图元，建立一个用27个参数表征的具有26个 自由度的3D手部模型； 将建立的手部模型与采集的手部图像进行对比，计算得到手部模型与手部图像的相 似度，采用改进的粒子群优化算法，通过相异性计算公式E(h，0)，估算出观察对象与模型 对象之间的相异程度，不断优化手部模型的27个参数，使得相似度度量达到最大，最终得 到采集图像的手部模型，基于手部模型以及Kinect传感器的标定信息，最终渲染得到深度 图像，实现对手势的跟踪识别，完成虚拟装配系统的信息输入，进而实现高精度虚拟装配过 程。
2. 根据权利要求1所述的一种基于双目视觉的高精度虚拟装配系统算法，其特征在 于：所述的相异性计算公式E(h，0)为： E(h, 0) =D(0,h,C) +Ak ?kc(h) 其中Ak是一个标准化因数，C表示摄像机的校准信息，h代表模型对象，0代表观察对 象；函数D(0，h，C)表示为：
函数D(0，h，C)中的绝对值表示观察对象与模型对象的箝位深度差，e用来防止分母 为零。
【文档编号】G06F17/50GK104408760SQ201410596344
【公开日】2015年3月11日 申请日期:2014年10月28日 优先权日:2014年10月28日
【发明者】张立国, 王鹏, 金梅, 蒋再毅 申请人:燕山大学