基于增强现实的三维显示方法和增强现实眼镜的制作方法_3

文档序号:8907864阅读:来源:国知局
,对所述目标物体进行三维重构。通过红外测距,三维重构定位精度高。
[0071]如图5所示,图5为本发明基于增强现实的三维显示方法第二实施例的流程示意图,在第一实施例的基础上,所述步骤S300之后包括:
[0072]步骤S400、若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景。
[0073]增强现实眼镜若识别到用户与分屏显示的左右图像对中的所述目标物体产生互动时,则调出事先存储在所述增强现实数据库中对应的增强现实场景,在所述分屏显示的左右图像对中进行显示。例如,增强现实眼镜若识别到用户的动作与所述目标物体的运动状况同步时,则在所述增强现实数据库中对应调出与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到用户和所述目标物体都在同步跑步时,则在所述分屏显示的图像中显示与所述跑步项目相适配的增强现实跑步机。
[0074]本实施例提出的基于增强现实的三维显示方法,若与分屏显示的左右图像对中的所述目标物体产生互动时,则在所述分屏显示的左右图像对中显示对应的增强现实场景,从而增强用户的视觉沉浸感,提高用户体验。
[0075]参照图6,本发明进一步提供一种增强现实眼镜,所述增强现实眼镜包括:
[0076]获取模块10,用于采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;
[0077]叠加模块20,用于将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;
[0078]显示模块30,用于对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。
[0079]增强现实眼镜的获取模块10采用双目立体摄像头从两个不同的视点观察同一目标物体,以获取所述目标物体在不同视角下的左右图像对。其中,所述左右图像对为所述双目立体摄像头从两个不同的视点采集到的、以所述目标物体为前景的两幅相互独立的图像。在本实施例中,通过双目立体摄像头从不同的角度捕捉左右图像对,首先、利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;然后,采用SIFT (Scale-1nvariant feature transform,尺度不变特征变换)匹配算法对所述目标物体进行追踪。并利用所述双目立体摄相头主动射出的红外光往返的相位差来测量所述目标物体的视差信息,根据所述视差信息获取所述目标物体的深度信息和三维坐标,根据所述目标物体的三维坐标,对所述目标物体进行三维重构。其中,视差信息,就是从有一定距离的两个点上观察同一个目标所产生的方向差异。深度信息是指存储每个像素所用的位数,也用于量度图像的色彩分辨率。
[0080]增强现实眼镜的叠加模块20在增强现实交互环境中,预先构建与所述目标物体对应的虚拟现实场景,例如,根据所述目标物体的运动状况,构建与所述运动状况相匹配的增强现实运动项目场景,如所述增强现实眼镜追踪到所述目标在跑步时,则构建与所述跑步项目相适配的增强现实跑步机。并将所述构建的增强现实场景预先保存在增强现实数据库中,以便感知到所述目标物体的运动状况时,及时调用增强现实数据库中事先保存的增强现实场景。同时将增强现实场景分别叠加到双目立体摄像头获取的所述左右图像对上。
[0081]增强现实眼镜的显示模块30通过左右屏幕对所述左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上,例如,将左屏幕画面上的图像投射到左目镜上,将右屏幕画面上的图像投射到右目镜上,从而使每个眼睛看到独立的左右画面,形成立体视觉。
[0082]本实施例提出的增强现实眼镜,通过采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;将与所述目标物体对应的增强现实场景分别叠加到所述左右图像对上;对所述叠加的左右图像对进行分屏显示,并将所述分屏显示的左右图像对相应投射到左右目镜上。虚实融合效果好、且易于携带。
[0083]如图7所示,图7为图6中所述获取模块第一实施例的功能模块示意图,所述获取丰旲块10包括:
[0084]提取单元11,用于利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体;
[0085]追踪单元12,用于采用尺度不变特征变换匹配算法对所述目标物体进行追踪。
[0086]增强现实眼镜的提取单元11利用背景差分法和帧间差分法相结合提取出所述左右图像对中的所述目标物体,其中,帧间差分法是利用图像序列中相邻帧图像之间做差来提取出所述左右图像对中的运动区域。首先将数帧图像校正在同一坐标系中,然后将同一背景不同时刻的两幅图像进行差分运算,灰度不发生变化的背景部分被减掉,由于运动目标在相邻两帧中的位置不同,且与背景灰度有所差异,两帧相减后将所述目标物体突现出来,从而大致确定所述目标物体在所述左右图像对中的位置。背景差分法是利用图像序列和参考背景模型相减实现所述目标物体检测的。背景差分法能够提供较为完整的特征数据从而提取出所述左右图像对的所述目标物体,但其对光照和外部条件造成的动态场景变化过于敏感,在非受控情部下需要加入背景图像更新机制,且不是用于与双目立体摄像头运动,或背景灰度变化较大的情况。在本实施例中,首先根据帧间差分法确定运动区域,然后在确定的运动区域内采用背景差分法和帧间差分法对所述目标物体进行提取,从而大大提高了所述目标物体识别的效率。
[0087]增强现实眼镜的追踪单元12采用SIF算法对所述目标物体进行追踪。其主要思想是建立目标库,将所述左右图像对第一帧中的所述目标物体提取出来,进行SIFT变换后将特征数据库存入目标数据库中,每个数据库包括目标标号、质心坐标、目标坐标块以及SIFT信息。每个目标的特征信息又包括特征点坐标、特征向量以及特征向量对应的留存优选级。然后以目标库为中介,与第二帧中目标SIFT特征信息进行匹配,找到前后二帧的关联性,确定所述目标物体的位置及轨迹,然后利用库中目标与第二帧目标的匹配关系,采用特定策略更新、淘汰目标库信息。之后再以目标库为中介继续对后续帧进行处理。SIFT算法分为匹配和更新两个过程。匹配过程通过二个目标特征的匹配概率,找出前后两帧相同的目标,对目标进行关联。更新过程则是在匹配的基础上对目标库进行补充与更新,确保目标库信息与最近几帧目标保持相似性,以保证识别的正确性。
[0088]本实施例提出的增强现实眼镜,采用双目立体摄像头从两个不同的视点获取目标物体在不同视角下的左右图像对;并采用尺度不变特征变换匹配算法对所述目标物体进行追踪,从而快速保证目标物体识别的正确性,提升识别的效率和准确性。
[0089]如图8所示,图8为图6中所述获取模块第二实施例的功能模块示意图,在本实施例中,所述获取模块10包括:
[0090]图像获取单元13,用于通过所述双目立体摄像头从两个不同的视点获取所述目标物体在不同视角下的倒立的图像对;
[0091]翻转单元14,用于对所述倒立的图像对进行翻转处理,转化为正立的图像对。
[0092]增强现实眼镜的图像获取单元13通过所述双目立体摄像头从两个不同的视点对所述目标物体进行观察,通过双目立体摄像头的小孔成像原理,在感光元件上成像,获取所述目标物体在不同视角下的倒立的图像对。
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1