一种可实现3D模型实时上色的增强现实系统的制作方法

文档序号:11953702阅读:685来源:国知局

本发明涉及一种增强现实系统,具体涉及一种可实现3D模型实时上色的增强现实系统。

背景内容

增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下,不同于人类可以感知的信息。

然而,在基于Vuforia的AR传统应用领域,几乎都是基于Unity3D图形处理引擎来研发产品,而在基于其他图形处理引擎的产品领域,并没有使用增强现实系统的应用案例。通常在软件中打开相机,都是直接调用系统提供的相机显示控件接口,而2D图形处理引擎生成的显示图层,是经过跨平台底层图形程序接口OpenGL的二次封装的,因此使用2D图形处理引擎渲染显示增强现实动画的图层,并不能很好地与系统的相机显示控件兼容。这个问题让那些尝试基于2D图形处理引擎,研发增强现实产品的开发者增加了障碍。

另外,随着智能手机的快速发展,虽然AR技术已经渐渐在手机端发展开来,但是目前国内外运用该技术大多用于营销展示上(例如哈根达斯扫盖子出美女提琴手),然而这些应用单纯的展示并没有完全实现与用户之间的交互,除了新奇,用户并没有从这个展示中获得任何信息。



技术实现要素:

针对现有技术的不足,本发明旨在提供一种可实现3D模型实时上色的增强现实系统,解决现有技术中2D图形处理引擎无法很好地与移动终端操作系统的相机显示控件兼容,且增强现实技术在移动终端上的应用仅仅局限于动画的展示而缺乏交互性的问题。

为了实现上述目的,本发明采用如下技术方案:

一种可实现3D模型实时上色的增强现实系统,包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块;

摄像头模块:用于对真实图像进行图形数据采集;

数据库模块:用于存储预设图形数据;

图形识别模块:用于将摄像头模块所获得的图形数据与数据库模块中的预设图形数据进行对比,确定数据库模块中是否有与摄像头模块所获得的图形数据相匹配的预设图形数据;

3D模型绘制模块:用于当数据库模块中存有与摄像头模块所获得的图形数据相匹配的预设图形数据时,绘制与预设图形数据对应的3D模型并与摄像头模块所获得的图形数据融合在一起显示在显示模块上;

对比模块:用于从摄像头模块摄得的图形数据上检测真实图像上是否具有局部或全部的颜色变化,并确定发生颜色变化的部位;

3D模型颜色渲染模块:用于在3D模型上与真实图像发生颜色改变的部位对应的位置进行实时颜色渲染,并显示在显示模块上。

作为一种优选方案,还包括颜色识别模块,用于当对比模块检测到真实图像上的颜色发生变化时,识别得出真实图像上变化后的颜色,所述3D模型颜色渲染模块进行颜色渲染时采用颜色识别模块所识别出的颜色。

作为一种优选方案,所述3D模型颜色渲染模块采用UV贴图的方式实时进行。

作为一种优选方案,还包括2D图形处理引擎模块;摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示;所述3D模型绘制模块则在当前所展示的图形数据对应的画面上,通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。

进一步地,作为一种优选方案,所有的模块集成为一移动终端。

上述系统的工作方法,包括以下步骤:

S1采用摄像头模块采集真实图像的图形数据;

S2图形识别模块对摄像头模块采集得到的每一帧图形数据进行识别,确定数据库模块中是否存储有与摄像头模块所采集的图形数据相匹配的预设图形数据;

S3当步骤S2中图形识别模块识别得到数据库模块中存储有与摄像头模块所采集的图形数据相匹配的预设图形数据,则3D模型绘制模块绘制出与该预设图形数据对应的3D模型;

S4当在真实图像上进行上色,对比模块通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比,检测得到真实图像颜色的变化和变化的部位;

S5 3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染,从而实现3D模型实时上色。

需要说明的是,步骤S4之后、步骤S5之前,颜色识别模块会对真实图像上变化后的颜色进行识别,步骤S5中,3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染,所渲染的颜色即为颜色识别模块识别得到的颜色。

需要说明的是,步骤S1中,摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示;步骤S3中,所述3D模型绘制模块则在当前所展示的图形数据对应的画面上,通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。

本发明的有益效果在于:

1、能够实现增强现实中的人和动画之间的交互,不再局限于动画的展示;

2、解决了现有技术中2D图形处理引擎无法很好地与移动终端操作系统的相机显示控件兼容的问题。

附图说明

图1为本发明的实施流程图。

具体实施方式

以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。

一种可实现3D模型实时上色的增强现实系统,包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块;

摄像头模块:用于对真实图像进行图形数据采集;

数据库模块:用于存储预设图形数据;

图形识别模块:用于将摄像头模块所获得的图形数据与数据库模块中的预设图形数据进行对比,确定数据库模块中是否有与摄像头模块所获得的图形数据相匹配的预设图形数据;

3D模型绘制模块:用于当数据库模块中存有与摄像头模块所获得的图形数据相匹配的预设图形数据时,绘制与预设图形数据对应的3D模型并与摄像头模块所获得的图形数据融合在一起显示在显示模块上;

对比模块:用于从摄像头模块摄得的图形数据上检测真实图像上是否具有局部或全部的颜色变化,并确定发生颜色变化的部位;

3D模型颜色渲染模块:用于在3D模型上与真实图像发生颜色改变的部位对应的位置进行实时颜色渲染,并显示在显示模块上。

作为一种优选方案,还包括颜色识别模块,用于当对比模块检测到真实图像上的颜色发生变化时,识别得出真实图像上变化后的颜色,所述3D模型颜色渲染模块进行颜色渲染时采用颜色识别模块所识别出的颜色。

作为一种优选方案,所述3D模型颜色渲染模块采用UV贴图的方式实时进行。

作为一种优选方案,还包括2D图形处理引擎模块;摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示;所述3D模型绘制模块则在当前所展示的图形数据对应的画面上,通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。

进一步地,作为一种优选方案,所有的模块集成为一移动终端。

上述系统的工作方法,包括以下步骤:

S1采用摄像头模块采集真实图像的图形数据;

S2图形识别模块对摄像头模块采集得到的每一帧图形数据进行识别,确定数据库模块中是否存储有与摄像头模块所采集的图形数据相匹配的预设图形数据;

S3当步骤S2中图形识别模块识别得到数据库模块中存储有与摄像头模块所采集的图形数据相匹配的预设图形数据,则3D模型绘制模块绘制出与该预设图形数据对应的3D模型;

S4当在真实图像上进行上色,对比模块通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比,检测得到真实图像颜色的变化和变化的部位;

S5 3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染,从而实现3D模型实时上色。

需要说明的是,步骤S4之后、步骤S5之前,颜色识别模块会对真实图像上变化后的颜色进行识别,步骤S5中,3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染,所渲染的颜色即为颜色识别模块识别得到的颜色。

需要说明的是,步骤S1中,摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示;步骤S3中,所述3D模型绘制模块则在当前所展示的图形数据对应的画面上,通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。

实施例一

真实图像为画在纸上的鱼图像,当摄像头模块对准纸上的鱼图像,显示模块上立刻呈现出对应的鱼的3D动画影像,然后使用者在纸上的鱼图像上的某个部位染色,则显示模块上所呈现的鱼的动画影像上相应部位也变成了相同的颜色。

实施例二

真实图像为画在纸上的鱼图像,当摄像头模块对准纸上的鱼图像时,显示模块首先所呈现出的是纸上的鱼图像的原图像,然后呈现出鱼从纸上跃起并活动的3D动画影像,然后使用者在纸上的鱼图像上的某个部位染色,则显示模块上所呈现的鱼的动画影像上相应部位也变成了相同的颜色。

对于本领域的技术人员来说,可以根据以上的技术方案和构思,作出各种相应的改变和变形,而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1