一种基于增强现实的三维物件显示方法、存储介质及计算机与流程

文档序号:15561124发布日期:2018-09-29 02:16阅读:128来源:国知局

本发明涉及增强现实领域,尤其涉及一种能够辅助显示信息的三维物件显示方法。



背景技术:

增强现实(augmentedreality,简称ar),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。增强现实(ar),也被称之为混合现实。它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下,不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。

增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确"放置"在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者一个感官效果真实的新环境。在需要多人互动的场景中,由于面对的现实环境纷繁多样,用户很难注意到主讲人在该场景中针对什么物件进行互动,难以在互动情境下建立多人的认知共鸣。



技术实现要素:

为此,需要提供一种能够识别物体,对特殊物体进行特殊显示的增强现实显示方法。解决识别物体并区别显示的问题。

为实现上述目的,发明人提供了一种基于增强现实的三维物件显示方法,包括如下步骤,建立物体三维特征库,当增强现实扫描设备捕捉到场景内的三维物体时,进行该三维物体的投影视图与三维特征库的特征匹配,得到所述三维物体的大小、位置信息;根据当前视角及大小、位置信息创建图像蒙版,覆盖所述三维物体的显示。

进一步地,图像蒙版的边缘显示为预设宽度、预设颜色的轮廓。

具体地,所述图像蒙版与所述三维物体在当前视角的投影等大,所述图像蒙版的非边缘部分透明显示。

进一步地,还包括步骤,以图像蒙版为基础,在图像蒙版上显示文字、图片或视频。

一种基于增强现实的三维物件显示存储介质,存储有计算机程序,所述计算机程序在被运行时执行如下步骤,建立物体三维特征库,当增强现实扫描设备捕捉到场景内的三维物体时,进行该三维物体的投影视图与三维特征库的特征匹配,得到所述三维物体的大小、位置信息;根据当前视角及大小、位置信息创建图像蒙版,覆盖所述三维物体的显示。

进一步地,所述计算机程序在被运行时执行步骤,将图像蒙版的边缘显示为预设宽度、预设颜色的轮廓。

具体地,所述计算机程序在被运行时还执行步骤,设置所述图像蒙版与所述三维物体在当前视角的投影等大,所述图像蒙版的非边缘部分透明显示。

进一步地,所述计算机程序在被运行时还执行步骤,以图像蒙版为基础,在图像蒙版上显示文字、图片或视频。

一种基于增强现实的三维物件显示计算机,所述计算机包括上述的存储介质。

区别于现有技术,上述技术方案通过建立特征库,训练机器学习来识别三维物体,当识别特定物体时能够进行描边、高亮、显示补充信息等操作,从而达到在增强现实环境中针对互动情景提供更多补充信息的技术效果。

附图说明

图1为本发明具体实施方式所述的三维物件显示方法流程图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。

请参阅图1,为本发明一种基于增强现实的三维物件显示方法流程图,包括如下步骤,s100建立物体三维特征库,我们可以通过rgbd深度摄像头对需要被识别描边的三维物体做深度扫描,获取三维物体的虚拟模型以及通过对三维物体各个视点下的投影视图的sift特征点(如角点、边缘点等)以及轮廓信息的采集,通过计算机对模型和视点特征点信息的映射关系进行训练,使得计算机能够辨别扫描到的二维投影与三维模型及投影试点之间的对应关系,从而生成相应的特征库,当然识别扫描出来的三维模型也会存入到三维特征库中,完成物体三维特征库的建立。在极端的实施例中,可以将特征库直接建立在扫描设备上,但是考虑到扫描设备的性能与成本,一般将三维特征库建立在服务器上,库中的数据通过服务器与扫描设备或下述的增强现实头戴设备进行交互。随后我们的方法进行步骤s102当混合现实扫描设备捕捉到场景内的三维物体时,进行该三维物体的投影视图与三维特征库的特征匹配,即当前视点方向看到的该三维物体的二维投影能够与三维特征库中的某三维模型的特定视角特征匹配吻合,则能够得到当前扫描到的三维物体对应的三维模型信息,根据三维模型信息逆向运算,就能够得到三维物体的实际大小、以及在当前空间中的位置信息,根据特定视角的投影中具体角度信息,则能够推知三维物体在空间中的具体摆放朝向。然后进行步骤s104根据当前视角及大小、位置信息创建图像蒙版,覆盖所述三维物体的显示。由于前述步骤已经识别清楚三维物体模型并算出其与当前设备的投影视角关系、远近,则通过设备创建一个对应视角、大小的二维图像蒙版是可以做到的,优选的实施例中,图像蒙版与三维物体在当前视角的投影等大,当然也可以略大于原三维物体的投影,只需要最终达到,新创建的二维图像蒙版能够在当前ar显示设备的视角上,覆盖住三维物体的显示即可。蒙版可以根据用户自定义选择颜色,或者叠加其他的图片、文字、视频信息等进行信息的更多显示,能够达到在增强现实设备中提醒用户注意,或向用户推送附加信息等效果。例如,在博物馆场景中,用户佩戴增强现实显示设备,当扫描到符合特征库中预存的特征信息的三维物体的时候,就通过创建新的图像蒙版来覆盖显示在ar设备中的三维物体投影前,用户就能够看到图像蒙版上的信息,如文字说明:鼎,制造年代、出土年代等等,或是以图像蒙版为界面开始播放一段关于文物的简介。这些功能的选择可以通过检测用户手势动作来实现。通过上述步骤,本发明方法达到了能够识别场景内的三维物体,并进行附加信息显示的效果,通过以二维图像蒙版为显示界面,可以增强显示更多拓展内容,在应用于教学、导游、展览等多个场景下具有很强的应用前景,提高了现有增强现实技术的实用性。

在其他一些进一步的实施例中,图像蒙版的边缘显示为预设宽度、预设颜色的轮廓。在本实施例中,将图像蒙版的边缘进行描边效果,这里的预设宽度可以以目视为准的若干角距离为其宽度,则此种情形下无论三维物体的大小如何,描边宽度始终固定。还可以以图像蒙版大小或长宽为基准设定描边宽度为面积或长宽尺寸的若干分之一,则显示效果则为描边大小随着三维物体的视域大小变化而变化。这里的预设颜色也可以根据用户需求进行选取,如选取为橙色、红色等就更为醒目,提示注意的效果也将更好。

在另一些具体的实施例中,为了在令三维物体显示的效果更为瞩目的同时,又不影响增强现实用户对原三维物体的观察,在本实施例中,具体还进行步骤,将图像蒙版与所述三维物体在当前视角的投影设置为等大,并对边缘部分进行上述的描边处理,边缘宽度和颜色仍然可以根据用户设定进行不同的显示,而图像蒙版的其余非边缘部分,均做透明显示处理。则其达到的效果是,用户在博物馆场景下的增强现实设备中,看到一个鼎,仅有鼎体的周围轮廓通过橙色高亮描边进行了注意提示,但是在蒙版的中间均调整为透明,则不影响用户对实际物件如鼎周身的纹路、浮雕、龙纹等关键细节的欣赏与品味。因此通过上述方案,本发明能够在不影响用户正常观察现实物件的前提下进行突出提示,对物件进行描边,更好地解决了增强现实中的多种显示需求。

一种基于增强现实的三维物件显示存储介质,存储有计算机程序,所述计算机程序在被运行时执行如下步骤,建立物体三维特征库,当增强现实扫描设备捕捉到场景内的三维物体时,进行该三维物体的投影视图与三维特征库的特征匹配,得到所述三维物体的大小、位置信息;根据当前视角及大小、位置信息创建图像蒙版,覆盖所述三维物体的显示。

进一步地,所述计算机程序在被运行时执行步骤,将图像蒙版的边缘显示为预设宽度、预设颜色的轮廓。

具体地,所述计算机程序在被运行时还执行步骤,设置所述图像蒙版与所述三维物体在当前视角的投影等大,所述图像蒙版的非边缘部分透明显示。

进一步地,所述计算机程序在被运行时还执行步骤,以图像蒙版为基础,在图像蒙版上显示文字、图片或视频。

通过上述设计的存储介质,我们达到了能够识别场景内的三维物体,并进行附加信息显示的效果,通过以二维图像蒙版为显示界面,可以增强显示更多拓展内容,在应用于教学、导游、展览等多个场景下具有很强的应用前景,提高了现有增强现实技术的实用性。

一种基于增强现实的三维物件显示计算机,所述计算机包括上述的存储介质。所述计算机达到了能够识别场景内的三维物体,并进行附加信息显示的效果,通过以二维图像蒙版为显示界面,可以增强显示更多拓展内容,在应用于教学、导游、展览等多个场景下具有很强的应用前景,提高了现有增强现实技术的实用性。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1