专利名称：一种信息物理图像融合装置与方法
技术领域：
本发明涉及CPS (Cyber-Physical Systems信息物理融合系统)和图像处理技术的3D显示技术领域，具体为一种信息物理图像融合装置与方法，实现三维模型与实物多角度融合显不。
背景技术：
信息物理融合系统(Cyber-Physical Systems, CPS)是一种通过计算、通信和控制等相关技术的相互协作，实现信息世界和物理世界深度融合的新型嵌入式系统。CPS能依据物理环境中的各个特征点信息对各物理实体进行实时高效的调整和控制，促进了虚拟装配技术发展。 建立一个与实际装配生产环境相一致的虚拟装配环境，通过信息物理图像的交互进行产品的装配、拆卸等操作是虚拟装配的重要过程。目前虚拟装配环境的建模方式主要涉及到CAD三维软件建模和虚拟显示建模语言；交互方式主要涉及到数据手套、位置跟踪器、菜单以及对话框方式。数据手套和位置跟踪器通过内置的传感器捕捉手指的动作，从而进行手势识别将手势映射为相应的命令和操作，完成装配过程的仿真；菜单和对话框均采用键盘和鼠标操作，实现对装配场景的控制，完成虚拟产品的装配过程。如《组合机床与自动化加工技术》2011年08期上的魏园园等发表的题为《网络环境下组合夹具虚拟装配平台的构建》介绍了一种基于虚拟显示建模语言构建的虚拟装配环境，其采用菜单以及对话框的交互方式，并通过Java语言实现对场景的控制。根据目前的研究，主要的建模方法和交互方式均没有实现对装配环境的三维模拟，在构建虚拟装配环境时存在着以下不足I)零件的装配过程通常受装配工具、组合夹具以及其他装配环境信息的影响，而目前装配环境的构建技术仅仅涉及到零件的三维模型构建过程，并未考虑到装配工具及组合夹具等其他装配环境的影响；2)目前虚拟装配涉及的交互技术完全依靠传感器和对话框菜单实现装配的仿真过程，并没有实现信息世界与物理世界的融合。同时在二维平面环境下的装配仿真忽视了人机交互过程，很难实现真正意义上的三维虚拟装配过程。
发明内容
要解决的技术问题为解决目前虚拟装配技术的不足，本发明提出一种信息物理图像融合装置与方法，基于立体显示方式实现装配环境的立体仿真，使操作者有身临其境的感觉，并通过双目视觉感知场景中实物装配单元的位置，建立虚拟装配单元模型，完成虚拟装配单元与实物装配单元的融合，实现信息世界与物理世界的联合。技术方案本发明的技术方案为
所述一种信息物理图像融合装置，其特征在于包括眼镜式立体显示器、双目相机、图像处理装置和特征立方体；眼镜式立体显示器包括左眼显示器和右眼显示器；所述双目相机为两个微型CXD摄像头，每个摄像头的分辨率应不低于640*480，用于模拟人双眼采集图像；摄像头安装在相机固定装置中，相机固定装置包括矩形支架和球形转动块；矩形支架一端面上有梯形滑块，矩形支架另一端面上开有球形凹槽，球形转动块安装在球形凹槽内，且球形转动块与矩形支架通过转轴连接，转轴过球形转动块球心，转轴平行于矩形支架端面且垂直于矩形支架上梯形滑块的滑动方向；在球形转动块朝外的方向上有相机安装孔，且相机安装孔中心轴线与球形转动块中心轴线垂直相交；摄像头固定在相机安装孔中，且摄像头的中心轴线与相机安装孔中心轴线重合；
相机固定装置安装在相机定位板上，相机定位板边缘有卡扣，用于将相机定位板卡接在眼镜式立体显示器上；相机定位板外侧面上有与梯形滑块配合的梯形滑槽；特征立方体起到图像配准作用，特征立方体整体外表面为单一颜色，特征立方体中一个顶点的三条棱边分别为红、绿、蓝三种颜色，且三条棱边的颜色不同于特征立方体整体的颜色；所述三条棱边为特征立方体的特征边；双目相机同步采集的双路图像信号经过图像处理装置转化为数字图像信号，并经过信息物理图像融合，输出至眼镜式立体显示器，实现左右模式立体图像的播放显示。所述一种信息物理图像融合方法，其特征在于包括以下步骤步骤I :基于OpenGL图形软件接口在模型空间中建立特征立方体三维模型，并设置透视投影所需的锥形视域体步骤I. I :在模型空间中设置模型坐标系与世界坐标系重合，并建立与实物空间中特征立方体外形尺寸相同的特征立方体三维模型，设置特征立方体三维模型同一顶点上的三条棱边VtlVx, V0Vy, V0Vz的颜色属性与实物空间中特征立方体的特征边颜色相同；步骤I. 2 :根据双目相机的物理参数，在模型空间中设置透视投影变换所需的锥形视域体的相关参数锥形视域体的近裁剪面距视点的距离为摄像头的焦距f，近裁剪面设置为投影平面，投影面大小为摄像头物理感光元件的大小WXH，锥形视域体的后裁剪面距视点的距离为f+d，其中d为近裁剪面与后裁剪面的距离，同时锥形视域体中对象的显示窗口大小与摄像头采集到的图像大小一致；步骤2 :调节双目相机，使双目相机中两个摄像头的距离为眼镜式立体显示器佩戴者双眼瞳距S ;将实物空间中特征立方体放置在摄像头的视角范围内，并使两个摄像头都能拍摄到实物空间中特征立方体的特征边；步骤3 :双目相机的两个摄像头同步连续采集实物空间的左图像和右图像，左图像和右图像的分辨率为UXZ ;采用下列步骤分别提取实物空间左图像和右图像中特征立方体的特征边步骤3. I :将实物空间图像滤波灰度处理检测实物空间图像中各像素点的红色分量，将图像中红色分量大于绿色分量与蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的红色滤波灰度图像；检测实物空间图像中各像素点的蓝色分量，将图像中蓝色分量大于绿色分量和红色分量之和的像素点的灰度值置为255，其余像素点灰度值置为O，得到实物空间图像的蓝色滤波灰度图像；检测实物空间图像中各像素点的绿色分量，将图像中绿色分量大于红色分量和蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为O，得到实物空间图像的绿色滤波灰度图像；步骤3. 2 :采用数学形态学腐蚀和膨胀算法分别求出实物空间图像的三幅滤波灰度图像的边缘；步骤3. 3 :采用运用Freeman准则的直线检测算法分别检测实物空间图像的三
幅滤波灰度图像中的直线段，并保留长度不小于mmg，z)个像素点的直线段，在每条
直线段上均匀取至少6个像素点拟合出直线方程，得到三幅滤波灰度图像的直线段集合红色滤波灰度图像中直线段集合W=Ik V = + ，绿色滤波灰度图像 中直线段集合G = {Zg :y = kGx + b^，蓝色滤波灰度图像中直线段集合5 = :y = kBtx + bk}；步骤3. 4 :计算集合= + 中各直线与集合7 = 1.1+4中各直线的交点Qi,记交点Qi以及交点qi在R和G中对应直线的集合为M =■[(&,&，《,)};计算集合:.v = x + M中各直线与集合5 = J =纹X+4)中各直线的交点Si，记交点Si以及交点Si在R和B内的对应直线的集合为# = [(&，；步骤3. 5 :对于集合M和N中的任意一条直线&，计算Z在M = f(i,;,g,)j中对应的点Qi和4在Ar =中对应的点Si之间的距离Li ;步骤3. 6 :重复步骤3. 5遍历集合M和N中的所有直线A1，得到Li取到最小值Hiin(Li)时对应集合R、G和B中的三条直线Aimin,分别为特征立方体的红、绿、蓝三条特征边，红、绿、蓝三条特征边的斜率分别对应为匕,-，^^-，^^-，对应的交点Qimin和交点Simin之间连线的中点为三条特征边的顶点匕(气，外);步骤4 :根据步骤3提取的实物图像中特征立方体的特征边与步骤I建立的模型空间投影图像中特征立方体三维模型的特征边的对应关系分别确定模型空间中的左视点和右视点的坐标及视点观察方向向量，包括以下步骤步骤4. I :设置视点位置为V1(X1JpZ1),以及视点观察方向向量=(H,l)，得到
视点在投影面上的投影点坐标为V' i(Xl+f U1)，(Yl+f V1)，(Zl+f))，以及投影面方程为U1 [X- (xx+f Uj) ] +V1 [y- (yx+f V1) ] + [z-(zx+f) ] =0 (4-1)步骤4.2 :设置模型空间中任一点P(xp，yp，zp)与视点V1 (X1, yi，Z1)的空间直线方程为OPr = OP+(V^P(4-2)其中0点为模型空间中模型坐标系原点；利用公式4-1和公式4-2联立求解出参数t和P点与投影面的交点P' U丨P，y' P，z' P)，其中P'点坐标为模型空间中视点坐标和视点观察方向向量的函数；步骤4. 3:在投影面上建立图像坐标系，图像坐标系原点为投影面左下角点0/ (x0, y。，z。)，投影面横向为巧轴方向，纵向为^轴方向，年轴垂直于投影面且指向视点观察方向，；则|旲型坐标系与图像坐标系的齐次坐标变换关系为P" (X" p, y" p, z" p, 1)=Q T P' (x, p, j' p, z1 p, I) (4-3)其中P" (Xp，y〃 p，zp)为P' U丨P，y' P，z' p)在图像坐标系下的坐标，平移转换矩阵T为
权利要求
1.一种信息物理图像融合装置，其特征在于包括眼镜式立体显示器、双目相机、图像处理装置和特征立方体； 所述眼镜式立体显示器包括左眼显示器和右眼显示器； 所述双目相机为两个微型CCD摄像头，每个摄像头的分辨率应不低于640*480，用于模拟人双眼采集图像； 所述摄像头安装在相机固定装置中，相机固定装置包括矩形支架和球形转动块；矩形支架一端面上有梯形滑块，矩形支架另一端面上开有球形凹槽，球形转动块安装在球形凹槽内，且球形转动块与矩形支架通过转轴连接，转轴过球形转动块球心，转轴平行于矩形支架端面且垂直于矩形支架上梯形滑块的滑动方向；在球形转动块朝外的方向上有相机安装孔，且相机安装孔中心轴线与球形转动块中心轴线垂直相交；摄像头固定在相机安装孔中，且摄像头的中心轴线与相机安装孔中心轴线重合； 所述相机固定装置安装在相机定位板上，相机定位板边缘有卡扣，用于将相机定位板卡接在眼镜式立体显示器上；相机定位板外侧面上有与梯形滑块配合的梯形滑槽； 所述特征立方体起到图像配准作用，特征立方体整体外表面为单一颜色，特征立方体中一个顶点的三条棱边分别为红、绿、蓝三种颜色，且三条棱边的颜色不同于特征立方体整体的颜色；所述三条棱边为特征立方体的特征边； 所述双目相机同步采集的双路图像信号经过图像处理装置转化为数字图像信号，并经过信息物理图像融合，输出至眼镜式立体显示器，实现左右模式立体图像的播放显示。
2.一种采用权利要求I所述装置的信息物理图像融合方法，其特征在于包括以下步骤 步骤I :基于OpenGL图形软件接口在模型空间中建立特征立方体三维模型，并设置透视投影所需的锥形视域体 步骤I. I :在模型空间中设置模型坐标系与世界坐标系重合，并建立与实物空间中特征立方体外形尺寸相同的特征立方体三维模型，设置特征立方体三维模型同一顶点上的三条棱边VtlVx, V0Vy, V0Vz的颜色属性与实物空间中特征立方体的特征边颜色相同； 步骤I. 2 :根据双目相机的物理参数，在模型空间中设置透视投影变换所需的锥形视域体的相关参数锥形视域体的近裁剪面距视点的距离为摄像头的焦距f，近裁剪面设置为投影平面，投影面大小为摄像头物理感光元件的大小WXH，锥形视域体的后裁剪面距视点的距离为f+d，其中d为近裁剪面与后裁剪面的距离，同时锥形视域体中对象的显示窗口大小与摄像头采集到的图像大小一致； 步骤2 :调节双目相机，使双目相机中两个摄像头的距离为眼镜式立体显示器佩戴者双眼瞳距S ;将实物空间中特征立方体放置在摄像头的视角范围内，并使两个摄像头都能拍摄到实物空间中特征立方体的特征边； 步骤3 :双目相机的两个摄像头同步连续采集实物空间的左图像和右图像，左图像和右图像的分辨率为UXZ ;采用下列步骤分别提取实物空间左图像和右图像中特征立方体的特征边 步骤3. I :将实物空间图像滤波灰度处理检测实物空间图像中各像素点的红色分量，将图像中红色分量大于绿色分量与蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的红色滤波灰度图像；检测实物空间图像中各像素点的蓝色分量，将图像中蓝色分量大于绿色分量和红色分量之和的像素点的灰度值置为255，其余像素点灰度值置为O，得到实物空间图像的蓝色滤波灰度图像；检测实物空间图像中各像素点的绿色分量，将图像中绿色分量大于红色分量和蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为O，得到实物空间图像的绿色滤波灰度图像； 步骤3. 2 :采用数学形态学腐蚀和膨胀算法分别求出实物空间图像的三幅滤波灰度图像的边缘； 步骤3. 3 :采用运用Freeman准则的直线检测算法分别检测实物空间图像的三幅滤波灰度图像中的直线段，并保留长度不小于11川丫5，Z)个像素点的直线段，在每条直线段上均匀取至少6个像素点拟合出直线方程，得到三幅滤波灰度图像的直线段集合红色滤波灰度图像中直线段集合= = + 绿色滤波灰度图像中直线段集合G = {ig, = + 4，蓝色滤波灰度图像中直线段集合5 = f4s :y = kBx+bk}； 步骤3. 4 :计算集合 x+M中各直线与集合G = 7 + 0中各直线的交点1，记交点Qi以及交点Qi在R和G中对应直线的集合为Af =;计算集合= + M中各直线与集合5 =+ M中各直线的交点Si,记交点Si以及交点81在1 和8内的对应直线的集合为况="[(&/%4)1; 步骤3. 5 :对于集合M和N中的任意一条直线4，计算&在财，免)j中对应的点Qi和&在汉，&)}中对应的点Si之间的距离Li ； 步骤3. 6 :重复步骤3. 5遍历集合M和N中的所有直线A5，得到Li取到最小值min (Li)时对应集合R、G和B中的三条直线1 Lgj mn，Lbt_分别为特征立方体的红、绿、蓝三条特征边，红、绿、蓝三条特征边的斜率分别对应为，min(4)对应的交点q—和交点Simin之间连线的中点为三条特征边的顶点KOV11,JV ); 步骤4 :根据步骤3提取的实物图像中特征立方体的特征边与步骤I建立的模型空间投影图像中特征立方体三维模型的特征边的对应关系分别确定模型空间中的左视点和右视点的坐标及视点观察方向向量，包括以下步骤 步骤4. I :设置视点位置SV1O^y1, Z1)，以及视点观察方向向量瓦=，得到视点在投影面上的投影点坐标为V i(Xl+f U1)，(Yl+f V1)，(Zl+f))，以及投影面方程为 U1 [X- (xx+f U1) ] +V1 [y- (yx+f V1)] + [z- (zx+f) ] =0 (4-1) 步骤4.2:设置模型空间中任一点？0^&%)与视点V1O^y1, Z1)的空间直线方程为 of =OP+(V^(4-2) 其中0点为模型空间中模型坐标系原点；利用公式4-1和公式4-2联立求解出参数t和P点与投影面的交点P' U丨P，y' P，z' P)，其中P'点坐标为模型空间中视点坐标和视点观察方向向量的函数； 步骤4. 3 :在投影面上建立图像坐标系，图像坐标系原点为投影面左下角点0' (x0, y0,Z0)，投影面横向为巧轴方向，纵向为^轴方向，^轴垂直于投影面且指向视点观察方向，；则丰旲型坐标系与图像坐标系的齐次坐标变换关系为P" (X" p,y" p, z" p, 1)=Q T P' (X' p, y' p, z' p, I) (4-3) 其中P" (x〃 p，y" p，z" p)为P' (X' P，y' P，z' P)在图像坐标系下的坐标，平移转换矩阵T为
3.根据权利要求2所述的信息物理图像融合方法，其特征在于通过调整平移矩阵T'和旋转矩阵Q'，实现将需要融合的虚拟物体模型在到融合后的图像中移动。
4.根据权利要求2或3所述的信息物理图像融合方法，其特征在于检测任一摄像头采集的实物图像中的特征立方体特征边与上一帧实物图像中的特征立方体特征边是否重合，若重合，则表示视点不变，模型空间的左图像和右图像不变，若不重合，则表示视点变化，则根据步骤3和步骤4，重新计算模型空间中视点坐标和视点观察方向向量。·
全文摘要
本发明提出一种信息物理图像融合装置与方法，通过实物空间特征立方体的特征边快速准确地获得模型空间左右视点位置，生成模型空间的左右图像；通过模型空间左右图像中的特征立方体与实物左右图像特征立方体完全重合实现信息物理图像的快速融合；通过检测当前实物图像与上一幅实物图像中特征立方体的特征点是否重合判断视点是否发生变化，当视点变化时，计算新视点坐标从而生成新的模型左右图像。本发明基于立体显示方式实现装配环境的立体仿真，使操作者有身临其境的感觉，并通过双目视觉感知场景中实物装配单元的位置，建立虚拟装配单元模型，完成虚拟装配单元与实物装配单元的融合，实现信息世界与物理世界的联合。
文档编号H04N13/00GK102801994SQ20121020317
公开日2012年11月28日 申请日期2012年6月19日 优先权日2012年6月19日
发明者何卫平, 张衡, 林清松, 雷蕾, 王伟 申请人:西北工业大学