一种基于增强现实的发动机数字化装配系统

1.本发明涉及增强现实技术领域，具体为一种基于增强现实的发动机数字化装配系统。


背景技术：

2.增强现实技术是通过计算机产生的图形、文字注释等虚拟信息有机地融合到用户所看到的真实场景中，增强和丰富用户对现实场景的感知。增强现实交互环境具有虚实融合和实时交互的特点，用户在改变自身位置或进行操作的同时，被交互的虚拟物体需要做出实时地响应并与现实场景融为一体。所以，在增强现实环境下进行发动机装配过程中，当操作者用手势对虚拟模型进行交互时，相应的虚拟对象要实时做出响应，并呈现在现实场景中。
3.高精度深度图像是虚实环境生成的基础，但是在获取深度图像的过程中，除了设备自身精度带来的系统测量误差以外，机械产品装配环境中光滑反光的零件表面、吸收红外线的金属材料、环境温度变化等随机误差都会使深度图像中出现锯齿状波动和无法测量的空洞以及大量的图像噪声。现有的深度图像降噪修复方法往往会由于滤波器的使用，导致深度图像中脉动的离群深度值和噪声扩散到周边图像区域，而且大多会将物体边缘平滑，使物体边缘与背景交界处出现过渡结构，从而影响深度图像精度。


技术实现要素：

4.针对背景技术中提出的现有增强现实装配系统在使用过程中存在的不足，本发明提供了一种基于增强现实的发动机数字化装配系统，具备提高深度图像精确度的优点，解决了上述背景技术中提出的问题。
5.本发明提供如下技术方案：一种基于增强现实的发动机数字化装配系统，其特征在于，包括：装配层次模型建立模块：建立发动机三维模型，利用发动机三维模型文件的树结构来表示总装配体、子装配体以及零件之间的装配关系；装配工序划分模块：根据装配层次模型将发动机的装配划分为若干装配工序；图像处理模块：获取深度传感器设备采集的图像，并对图像进行处理；装配环境生成模块：基于高精度的深度图像建立发动机装配环境；交互模型建立模块：基于深度传感器设备及数据手套获取手部信息，进行交互手势设计和交互模型设计。
6.优选的，所述交互手势包括手掌手势和手指手势，所述交互手势是基于用户在深度传感器设备的图像采集区域进行手掌手势样本及手指手势样本采集，并对交互手势与交互模型进行关联。
7.优选的，所述交互模型设计是根据各个交互模型的特点将基本手掌姿势进行组合，与所述手掌手势关联的交互模型包括选择模型、添加模型、删除模型、平移模型、旋转模
型、缩放模型、工序选择；与所述手指手势关联的交互模型包括零件静止模型、零件移动模型，所述零件静止模型及零件移动模型用于标识虚拟零件的静止及移动状态，在静止状态下，虚拟零件与手部的移动断开关联，在移动状态下，虚拟零件与手部的移动关联。
8.优选的，所述深度传感器设备采集人体及手掌的图像，并通过跟踪到人体骨骼深度信息提取手部骨骼节点的空间位置坐标，通过变化矩阵将真实的空间位置变化映射到显示屏中虚拟手的运动；采用数据手套采集手指手势，所述数据手套在手掌及每根手指的每个关节处均对应设置检测传感器，利用数据手套采集每根手指的每个关节的相对于手掌的空间位置关系，并根据手指与手掌的对应关系获取每根手指的每个关节点的空间位置坐标，通过变化矩阵将手指的真实空间位置变化映射到显示屏中虚拟手指的运动。
9.优选的，所述深度传感器设备所采集的图像包括深度图像和彩色图像，利用所述深度传感器采集的所有图像均通过图像处理模块进行处理计算，所述图像处理模块包括深度图像和彩色图像配准单元、图像降噪单元、深度图像物体目标边界捕捉单元、边界恢复单元。
10.优选的，所述深度图像和彩色图像配准单元包括深度传感器标定、深度图像到彩色图像的映射过程；所述深度传感器标定过程如下：步骤一、获取彩色相机与深度相机各自的内部参数矩阵和；步骤二、根据同一时刻采集到的彩色图像和红外图像计算两个相机相对标定板坐标的相对位置关系和：：步骤三、获取深度相机与彩色相机之间的相对位置关系：其中，表示两相机之间的旋转矩阵；t表示两相机之间的平移向量；表示彩色相机经过标定得到的相对标定板的旋转矩阵；表示彩色相机通过标定得到的相对标定板的平移向量；
表示深度相机经过标定得到的相对相同标定板的旋转矩阵。
11.优选的，所述深度图像到彩色图像的映射过程如下：步骤一、获取彩色相机内部参数矩阵，深度相机内部参数矩阵和两者之间的相对位置关系；步骤二、采用图像处理器（gpu）多线程对深度图像中的每一个像素点进行并行反投影，其在深度相机坐标空间点表示为：；步骤三、通过深度相机坐标系和彩色相机坐标系之间的关系，可以求得点在彩色相机坐标系空间中的位置：；步骤四、利用彩色相机内部参数矩阵将投影到彩色图像平面：。
12.优选的，所述图像降噪单元的滤波器为：其中，表示当前待修复点图像坐标；表示滤除噪声之后的深度图像像素值；表示用于修复当前图像点的支持像素；表示空间域核函数，空间距离越近，其权值越大；表示颜色相似核函数，通过比较p点对应彩色图像像素值和q点对应彩色图像像素值，在像素值变化较大时，其权值较小；
表示从属核函数，如果支持像素位于背景上，从属核函数权值设置为0，其他情况设置为1；表示噪声核函数，噪声区域赋权重值为0；表示以像素p为中心的支持像素坐标。
13.优选的，所述深度图像物体目标边界捕捉单元包括图像边缘点提取过程和候选点搜索优化过程；所述图像边缘点提取过程如下：步骤一、在深度图像物体边界处提取局部邻域内具有较大深度值跳变的点，并且只考虑有效深度值的像素；步骤二、对提取的边缘点进行分组并排序；步骤三、计算边缘点的法线方向；所述候选点的搜索优化过程如下：步骤一、对于彩色图像，在rgb颜色空间中，利用sobel算子获得物体位置x处的梯度：，利用sobel算子在ycbcr色彩空间计算梯度方向；步骤二、以深度图像中每一个边缘点为圆形，在半径为的范围内，沿2d法线正、负方向搜索彩色图像中的对应点；定义深度图像上的某一边缘点为及其对应彩色图像候选点集，在不同颜色空间候选点方向梯度最大惩罚函数定义为：其中，表示rgb颜色空间在位置x处梯度权值；表示ycbcr颜色空间在位置x处梯度权值；步骤三、定义平滑项来惩罚彩色图像中相邻边缘像素之间的较大偏差：其中，
，分别为和对应的彩色图像中的候选点；和表示连个连续边缘点；表示两个连续的边缘点允许的最大偏差；步骤三、利用优化能量函数获取深度图像边缘点集对应的彩色图像中的最佳候选点集；优化能量函数为：其中，表示平滑约束权值；步骤四、通过优化计算获取最佳物体目标候补边界：首先构造一个维的矩阵h，n为深度图像边缘点的个数，用对进行初始化：；然后从第一个边缘点开始遍历，对矩阵h进行更新，得到最佳候选点i到i+1的最佳路径：；最终，通过优化计算获得每一个边缘点的目标位置和最佳候选点i到i+1的最佳路径，从而获得最佳物体目标候选边界。
14.优选的，所述边界恢复单元包括如下过程：空洞区域的分类：第一种情况：深度值缺失；第二种情况为：物体边界以外被标记为物体的深度值空洞区域填补：结合深度传感器彩色图像信息，对p点的从属关系进行判断，并重新设计权值；方法如下：其中，表示深度图中像素p点的深度值；q表示待修复像素p点的支持像素；权值其中，为方向因子，，表示越靠近法向量的像素点对p点的贡献越大；
为颜色相似权值函数，表示彩色图像中颜色的相似程度：
ꢀꢀ
表示p点对应的彩色图像像素值；表示q点对应的彩色图像像素值；表示高斯函数的标准差；为水平集距离因子，，表示离p所在的轮廓线越近已知像素点对点p的贡献越大，为水平集参数，取值为1；表示从属函数，对于第一种情况：对于第二种情况：通过p和q点在对应的彩色图像中的从属关系，确定从属核函数的取值，从而能够有效处理深度值缺失和物体边界以外被标记为物体的深度值这两种情况，实现了深度图像的边界恢复。
15.本发明具备以下有益效果：1、本发明通过图像处理模块深度传感器设备获取的彩色图像对深度图像进行降噪处理，并进行边缘空洞进行修补，从而提高深度图像的完整性以及精确度，有利于提高基于该深度图像设计的装配环境的精确度，同时提高对交互手势的识别效率及精确度，有效提高装配过程的真实性，提高用户的体验质量。
16.2、本发明通过采用并行运算方法建立深度传感器设备获取的深度图像和彩色相机获取的彩色图像的映射关系，从而加快映射过程的计算速度，降低计算机系统的负荷，提高计算机的运行速度，提高了装配环境的实时更新的实时性。
附图说明
17.图1为本发明系统组成示意图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.请参阅图1，一种基于增强现实的发动机数字化装配系统，包括：装配层次模型建立模块：建立发动机三维模型，利用发动机三维模型文件的树结构来表示总装配体、子装配体以及零件之间的装配关系；装配工序划分模块：根据装配层次模型将发动机的装配划分为若干装配工序；图像处理模块：获取深度传感器设备采集的图像，并对图像进行处理；装配环境生成模块：基于高精度的深度图像建立发动机装配环境；交互模型建立模块：基于深度传感器设备及数据手套获取手部信息，进行交互手势设计和交互模型设计。
20.交互手势包括手掌手势和手指手势，交互手势是基于用户在深度传感器设备的图像采集区域进行手掌手势样本及手指手势样本采集，并对交互手势与交互模型进行关联。
21.交互模型设计是根据各个交互模型的特点将基本手掌姿势进行组合，与手掌手势关联的交互模型包括选择模型、添加模型、删除模型、平移模型、旋转模型、缩放模型、工序选择；与手指手势关联的交互模型包括零件静止模型、零件移动模型，零件静止模型及零件移动模型用于标识虚拟零件的静止及移动状态，在静止状态下，虚拟零件与手部的移动断开关联，在移动状态下，虚拟零件与手部的移动关联。
22.深度传感器设备采集人体及手掌的图像，并通过跟踪到人体骨骼深度信息提取手部骨骼节点的空间位置坐标，通过变化矩阵将真实的空间位置变化映射到显示屏中虚拟手的运动；采用数据手套采集手指手势，数据手套在手掌及每根手指的每个关节处均对应设置检测传感器，利用数据手套采集每根手指的每个关节的相对于手掌的空间位置关系，并根据手指与手掌的对应关系获取每根手指的每个关节点的空间位置坐标，通过变化矩阵将手指的真实空间位置变化映射到显示屏中虚拟手指的运动。
23.深度传感器设备所采集的图像包括深度图像和彩色图像，利用深度传感器采集的所有图像均通过图像处理模块进行处理计算，图像处理模块包括深度图像和彩色图像配准单元、图像降噪单元、深度图像物体目标边界捕捉单元、边界恢复单元。
24.深度图像和彩色图像配准单元包括深度传感器标定、深度图像到彩色图像的映射过程；深度传感器标定：步骤一、获取彩色相机与深度相机各自的内部参数矩阵和；步骤二、根据同一时刻采集到的彩色图像和红外图像计算两个相机相对标定板坐标的相对位置关系和：：
步骤三、获取深度相机与彩色相机之间的相对位置关系：其中，表示两相机之间的旋转矩阵；t表示两相机之间的平移向量；表示彩色相机经过标定得到的相对标定板的旋转矩阵；表示彩色相机通过标定得到的相对标定板的平移向量；表示深度相机经过标定得到的相对相同标定板的旋转矩阵。
25.由于深度传感器与彩色相机并不处在同一空间位置，它们所获取的图像像素会因为相机空间位置的不同和视场角的不同而产生偏移，因此需要将深度传感器所获取的深度图像和彩色相机获取的彩色图像逐像素建立映射关系，以方便深度信息的使用，将深度图像与彩色图像建立映射关系，即是将空间某一点在深度图像坐标系中坐标与其在彩色图像坐标系中的坐标对应起来，但是由于该映射过程运算量大，会严重影响到系统的运行速度，因此，本技术设计了一种并行运算方法对深度图像到彩色图像的映射，过程如下：步骤一、获取彩色相机内部参数矩阵，深度相机内部参数矩阵和两者之间的相对位置关系；步骤二、采用图像处理器（gpu）多线程对深度图像中的每一个像素点进行并行反投影，其在深度相机坐标空间点表示为：；步骤三、通过深度相机坐标系和彩色相机坐标系之间的关系，可以求得点在彩色相机坐标系空间中的位置：；步骤四、利用彩色相机内部参数矩阵将投影到彩色图像平面：。
26.图像降噪单元的滤波器为：
其中，表示当前待修复点图像坐标；表示滤除噪声之后的深度图像像素值；表示用于修复当前图像点的支持像素；表示空间域核函数，空间距离越近，其权值越大；表示颜色相似核函数，通过比较p点对应彩色图像像素值和q点对应彩色图像像素值，在像素值变化较大时，其权值较小；表示从属核函数，如果支持像素位于背景上，从属核函数权值设置为0，其他情况设置为1；表示噪声核函数，噪声区域赋权重值为0；表示以像素p为中心的支持像素坐标。
27.深度图像物体目标边界捕捉单元包括图像边缘点提取过程和候选点搜索优化过程；图像边缘点提取过程如下：步骤一、在深度图像物体边界处提取局部邻域内具有较大深度值跳变的点，并且只考虑有效深度值的像素；对于每一个像素，在其33的邻域内，如果有四个相邻像素中的任何一个具有无效的深度值或具有与中心像素不同的有效深度值，那么该中心像素被认为是一个边缘点，为了消除离群异常值的影响，在边缘点提取之前采用形态学掩模进行形态学开运算；步骤二、对提取的边缘点进行分组并排序；为了对边缘点进行分组，在图像网格上进行深度优先搜索，在搜索过程中，只有当前边缘点在另一个边缘点的33的邻域内且两像素之间的深度差小于某一阈值，那么可身为这两个像素点为相邻边缘点，每一组边缘点都重新排序，以便它们从边缘轮廓的一端向另一端移动。
28.步骤三、计算边缘点的法线方向。由于原始的深度边缘呈现锯齿状波动，直接从这
些边缘点计算法线方向将出现杂乱无章的特点，因此，使用低通滤波来平滑边缘点的位置，并利用两个相邻点计算每个边缘点的法线。
29.候选点的搜索优化过程如下：步骤一、对于彩色图像，在rgb颜色空间中，利用sobel算子获得物体位置x处的梯度：，利用sobel算子在ycbcr色彩空间计算梯度方向；步骤二、以深度图像中每一个边缘点为圆形，在半径为的范围内，沿2d法线正、负方向搜索彩色图像中的对应点；定义深度图像上的某一边缘点为及其对应彩色图像候选点集，在不同颜色空间候选点方向梯度最大惩罚函数定义为：其中，表示rgb颜色空间在位置x处梯度权值；表示ycbcr颜色空间在位置x处梯度权值；步骤三、定义平滑项来惩罚彩色图像中相邻边缘像素之间的较大偏差：其中，，分别为和对应的彩色图像中的候选点；和表示连个连续边缘点；表示两个连续的边缘点允许的最大偏差；步骤三、利用优化能量函数获取深度图像边缘点集对应的彩色图像中的最佳候选点集；优化能量函数为：其中，表示平滑约束权值；步骤四、通过优化计算获取最佳物体目标候补边界：
首先构造一个维的矩阵h，n为深度图像边缘点的个数，用对进行初始化：；然后从第一个边缘点开始遍历，对矩阵h进行更新，得到最佳候选点i到i+1的最佳路径：。
30.最终，通过优化计算获得每一个边缘点的目标位置和最佳候选点i到i+1的最佳路径，从而获得最佳物体目标候选边界。
31.边界恢复单元包括如下过程：空洞区域的分类：获取了目标边界和实际边界形成的空洞区域后，将空洞区域划分为两种情况，第一种情况：深度值缺失；第二种情况为：物体边界以外被标记为物体的深度值。对于这两种情况，修复时所采用的参考像素不同，对于第一种情况，采用来自物体的深度值对缺失的深度值进行修复，对于第二种情况，首先将待恢复区域深度值设置为0，然后按照深度值缺失进行处理，但恢复过程采用来自周围背景的深度值对缺失的深度值进行修复。
32.空洞区域填补：结合深度传感器彩色图像信息，对p点的从属关系进行判断，并重新设计权值；方法如下：其中，表示深度图中像素p点的深度值；q表示待修复像素p点的支持像素；权值其中，为方向因子，，表示越靠近法向量的像素点对p点的贡献越大；为颜色相似权值函数，表示彩色图像中颜色的相似程度：
ꢀꢀ
表示p点对应的彩色图像像素值；表示q点对应的彩色图像像素值；表示高斯函数的标准差；
为水平集距离因子，，表示离p所在的轮廓线越近已知像素点对点p的贡献越大，为水平集参数，取值为1；表示从属函数，对于第一种情况：对于第二种情况：通过p和q点在对应的彩色图像中的从属关系，确定从属核函数的取值，从而能够有效处理深度值缺失和物体边界以外被标记为物体的深度值这两种情况，实现了深度图像的边界恢复。