一种虚拟显示方法及装置与流程

本发明涉及虚拟现实领域，具体是一种虚拟显示方法及装置。

背景技术：

随着科学技术的发展，越来越多的新技术进入到人们的生活中。而现实增强技术就是其中之一。

ar技术是增强现实是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。

在现有技术中，针对待增强的产品都是以2d图片为基础，之后根据虚构内容与2d图片生成一个叠加的识别图，并最终反馈到显示终端进行显示。这种方式虽然可以显示虚拟的三维物体，但是只能在物体的外表面的增加效果，而对于在物体内部的中实现虚拟增强效果确无法实现。

因此，如何提供一种可以实现物体内部进行虚拟物体显示的功能是本发明需要解决的问题。

技术实现要素：

本发明的目的在于提供一种虚拟显示方法及装置，以解决上述背景技术中提出的问题。

一种虚拟显示方法，包括：

对拍摄到的真实物体图像进行识别，确定是否识别出预置特征图形；

若识别出预置特征图形，根据所述特征图形确定待显示物体在所述图像中的位置；

将所述待显示物体的图像进行显示效果优化后与所述真实物体的图像进行叠加显示，生成内显示层；

根据识别出的预置特征图形生成外围显示罩层，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

优选的，所述根据所述特征图形确定待显示物体在所述图像中的位置，具体为：

确定所述特征图形在所述真实物体图像中的具体位置值；

按照预置规则值确定所述待显示物体所在的真实物体图像中的位置；所述预置规则值为预先设定的所述待显示物体与所述特征图形之间的距离差值或比例差值。

优选的，所述将所述待显示物体的图像进行显示效果优化，具体为：

设置所述待显示物体的3d图像模型；

设置所述3d图像模型的显示参数，将所述待显示物体3d图像模型设置为具有透明效果。

优选的，所述显示参数包括透明度值和/或色彩值和/或漫反射值。

优选的，所述根据识别出的预置特征图形生成外围显示罩层，具体为：

根据所述预置特征图形确定真实物体的外围显示罩层轮廓及位置；

在所述外围显示罩层轮廓区域内设置高光显示效果；

将所述设置高光显示效果的区域作为所述外围显示罩层。

一种虚拟显示装置，包括：特征识别模块、位置计算模块、内层生成模块和混合叠加模块：

所述特征识别模块，用于对拍摄到的真实物体图像进行识别，确定是否识别出预置特征图形；

所述位置计算模块，用于判断若识别出预置特征图形，根据所述特征图形确定待显示物体在所述图像中的位置；

所述内层生成模块，用于将所述待显示物体的图像进行显示效果优化后与所述真实物体的图像进行叠加显示，生成内显示层；

所述混合叠加模块，用于根据识别出的预置特征图形生成外围显示罩层，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

优选的，所述根据所述特征图形确定待显示物体在所述图像中的位置，具体为：

确定所述特征图形在所述真实物体图像中的具体位置值；

按照预置规则值确定所述待显示物体所在的真实物体图像中的位置；所述预置规则值为预先设定的所述待显示物体与所述特征图形之间的距离差值或比例差值。

优选的，所述将所述待显示物体的图像进行显示效果优化，具体为：

设置所述待显示物体的3d图像模型；

设置所述3d图像模型的显示参数，将所述待显示物体3d图像模型设置为具有透明效果。

优选的，所述显示参数包括透明度值和/或色彩值和/或漫反射值。

优选的，所述根据识别出的预置特征图形生成外围显示罩层，具体为：

根据所述预置特征图形确定真实物体的外围显示罩层轮廓及位置；

在所述外围显示罩层轮廓区域内设置高光显示效果；

将所述设置高光显示效果的区域作为所述外围显示罩层。

与现有技术相比，本发明的有益效果是：本发明利用了多图形叠加显示、对待显示图形的材质处理、对特定显示区域的特效遮罩层等方法，实现了增强现实技术基础上的视觉欺骗，达到了显示设备中虚拟图形和真实世界在位置关系上的视觉融合，更好的升华了增强现实技术应用的效果，可以让体验者感受到待显示的3d虚拟物体更真实地通过增强现实技术融入到真实世界，让虚拟物体和真实世界更好地互动。

附图说明

图1为本发明提供的一种虚拟示方法第一实施例的流程图；

图2为本发明提供的一种虚拟显示装置第一实施例的原理框图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

参见图1，该图为本发明提供的一种虚拟显示方法第一实施例的流程图。

在本实施例中，具体包括：

s101:对拍摄到的真实物体图像进行识别，确定是否识别出预置特征图形。

这里所说的获取真实物体的外形体征，可以通过电子终端(如手机、相机等)设备来完成。具体的：首先获取真实物体的图像，也即拍摄到真实的物体。之后开始识别所述真实物体的特征图形。这里所说的识别判断可以为针对真实物体的整体轮廓图像的判断，也可以为针对物体的局部图像进行判断，如识别判断出真实物品图像中的某一局部与预置的特征图形相同或高度近似。在这里，可以使用传统的图像识别技术进行识别。优选的，可以使用图形像素区别值判断识别方法，也即通过判断在不同区域的颜色值，并根据颜色区域的延伸识别出图像中的特征图形。

例如，使用手机拍摄到一个包括背景的可口可乐的瓶子，之后可以通过图形像素区别值识别方法等技术手段识别出瓶子在中间位置的红色标记带(即可口可乐瓶子中间位置处的红色塑料包装带，一般上面印有可口可乐商标等内容。这里预先将其设置为特征图形)。这里的识别还进一步涉及到进行比较的技术。例如，可以将识别出的标识特征与预置的标识特征参数模型进行比较。如果比较相似度超过90％，则认为识别出该真实物体为瓶子，之后再进行后续操作。

s102:若识别出预置特征图形，根据所述特征图形确定待显示物体在所述图像中的位置。其中，所述根据所述特征图形确定待显示物体在所述图像中的位置，具体为：

确定所述特征图形在所述真实物体图像中的具体位置值；

按照预置规则值确定所述待显示物体所在的真实物体图像中的位置；所述预置规则值为预先设定的所述待显示物体与所述特征图形之间的距离差值或比例差值。

具体的，在这里识别出预置的特征图形后，根据识别该图形产生的相应参数，则可以计算出该特征图形在整个真实物体的位置坐标。这里可以包括特征图形的长度、宽度、高度和直径等参数。之后按照预置规则值确定所述待显示物体所在的真实物体图像中的位置。这里的预置规则是指由用户或硬件、软件提供商预先确定的特征图形与待显示物品之间的差距值。这里的差距可以是特征图形与待显示物品在距离长度上的差值(距离长度值至少包括少x、y轴的距离长度差值)，也可以是特征图形与待显示物品在显示比例上的差值(可能为特征图形的显示比例大于待显示物体，也可能相反)，也可能是两者都存在。在得到上述差值后，将调整待显示物体的显示图像，使其与特征图形相适应，并结合特征图形在真实物体图像中的位置值，从而得到待显示物体在真实物体图像中的位置。

在上例中的可口可乐瓶子中，先识别出瓶子中间位置的红色标识带及其在整个真实物体图像中的具体位置，包括获取到红色标识带的长度、宽度、在特征图形中每个端点在真实物体图像中的具体坐标值等。之后以红色标识带的位置值为基础，计算待显示物品的位置。之前计划将待显示物体放置在可口可乐瓶子的底部，则预置在红色标识带的下底边往5cm距离起即为待显示物体的项部。也即待显示物体的顶部坐标＝红色标识带的下底边坐标+5cm。如果识别出的特征图形的长度较小，而预置的待显示物体的长度较大(常见为在较远的位置拍摄到的可口可乐瓶子)，则根据两个长度的比例差整体对待显示物体的图像及参数进行调整，使其与特征图形相匹配。最后获取待显示物体在真实物体图像中的位置坐标。

由于实际使用者会拍摄任何物体，而不同物体的虚拟显示方式是不同的，甚至有一些物体是无法显示内部结构的。因此，需要对拍摄的实际物体进行识别判断，也即对实际物体的轮廓与预置的物体参数模型的轮廓规则进行比较，判断在实际物体的轮廓的指定位置的颜色值是否满足预置规则。若满足，则确定所述预置规则对应的物体参数模型。这里所述的满足，可以为设定一个相似度值，如相似度达到80％或90％。如果达到这些指标以上，则认为两者为同一物体。

上述采用的是对瓶子的整体轮廓识别方式，还可以直接识别出具有特征标识的局部区域，再根据局部区域推算出实际物体的物体参数模型。即先在整个图像中识别出红色标带，再根据红色标带的长度、大小推算出整个瓶子的长宽高等参数，形成物体参数模型。

s103:将所述待显示物体的图像进行显示效果优化后与所述真实物体的图像进行叠加显示，生成内显示层。

在确定上述待显示物品的位置之后，对所述待显示物体的图像进行显示效果优化。这里的显示效果优化，主要指的是对待显示物体上的外表面参数进行优化，例如，可以设置半透明状的效果或80％透明的效果等。

具体的，首先设置所述待显示物体的3d图像模型。这里可以使用预存的待显示物体的3d图像模型，也可以使用若干张2d图像进角度变化后进行拼接。之后设置所述3d图像模型的显示参数，将所述待显示物体3d图像模型设置为具有透明效果。也即对于待显示物体的图像表面进行材质处理，其目标效果为将待显示物体的3d模型的参数设置为被真实物体的容器或瓶子的所覆盖的且具有一定透明度的效果。这里所述显示参数可以包括但不限透明度值、固色彩值、漫反射值、镜面反射值、自发光值、高光值、阴影等。在调整上述的参数后，待显示物体让用户的视觉感觉到是放置在容器或瓶体的内部。

最终，将优化后的所述待显示物体的图像按照所述位置与真实物体的图像进行叠加，生成内显示层。

依据上例，根据用户的指示，需要在可口可乐瓶子中显示出一个米老鼠的卡通人物形象，则先生成米老鼠的3d图像模型，之后根据可口可乐瓶子的材料来调整米老鼠的透明效果，让用户以为在米老鼠的前面还存在一层瓶壁。最终将米老鼠与可口可乐瓶子的图像进行叠加，生成内显示层。

s104:根据识别出的预置特征图形生成外围显示罩层，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

所述根据识别出的预置特征图形生成外围显示罩层，具体为：

根据所述预置特征图形确定真实物体的外围显示罩层轮廓及位置；

在所述外围显示罩层轮廓区域内设置高光显示效果；

将所述设置高光显示效果的区域作为所述外围显示罩层。

根据所述预置特征图形生成对应的外围显示罩层轮廓及位置。这里并不只是按照特征图形的轮廓生成外围显示罩层，而是针对真实物体生成外围显示罩层。这里可以进一步通过图像识别技术方法识别出在真实物体图像中的容器或瓶体的轮廓，也可以通过特征图形的比较虚拟推算出一个轮廓值。这里的外围显示罩层是叠套在所述物体参数模型上，显示的面积会大于真实物体的显示面积。优选的，外围显示罩层的轮廓与真实物体的轮廓相似，且外围显示罩层的面积为所述真实物体的面积的1.1-1.3倍。外围显示罩层的位置为以真实物体或特征图形为中心等比例放置。

在确定外围显示罩层的面积后，在外围显示罩层的轮廓区域内设置高光显示效果；这里所说的高光显示效果包括很多种特效，例如流光效果、3d炫彩显示效果、水波纹显示效果。这些效果应设置为半透明效果。这样的效果可以屏蔽掉在拍摄实际物体时环境的背景光所产生的阴影，可以突出实际显示效果。

最后，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

为了增加与用户的互动感，呈现更真实的显示效果，还可以在实际物体进行位称或角度变化时对待显示物体进行调整，使得用户感觉待显示物体实际放置在现实的物体。

因此，为了达到以上的要求，还可以包括：

检测所述真实物体的拍摄角度变化值。这里的检测可以为实时的，可以以为按照时间间隔的，如每隔0.1秒检测一次。如果检测到真实物体的拍摄角度值产生了变化，则认为真实物体进行位置变化，需要根据所述拍摄角度变化值调整所述待显示物体的图像显示。

优选的，可以同步检测所述拍摄终端的三维传感器变化值。由于当前大部分的电子设备(如手机、ipad、部分电子相机)都带有重力传感功能，因此可以实时获取到这个拍摄终端的三维传感器的变化值。根据所述三维传感器变化值确定所述真实物体的拍摄角度变化值。例如，检测到手机向左上方移动了，则需要将同角度比例调取所述待显示物体的在该角度的图像模型，并进行显示。

本发明利用了多层图层叠加并采用了特效方法，实现了视觉欺骗和虚拟现实引擎相结合，达到了3d和3d之间的融合，更好的升华了虚拟现实技术应有的效果，，可以让体验者感受到3d虚拟物体，融入到真实世界，让虚拟物体和真实世界互动。

以为为本发明提供的一种虚拟显示方法，在其基础上，申请人还提出一种虚拟显示装置。

参见图2，该图为本发明提供的一种虚拟显示装置的原理框图。

具体如下：

一种虚拟显示装置，包括：特征识别模块10、位置计算模块20、内层生成模块30和混合叠加模块40。

所述特征识别模块10，用于对拍摄到的真实物体图像进行识别，确定是否识别出预置特征图形这里所说的获取真实物体的外形体征，可以通过电子终端(如手机、相机等)设备来完成。具体的：首先获取真实物体的图像，也即拍摄到真实的物体。之后开始识别所述真实物体的特征图形。这里所说的识别判断可以为针对真实物体的整体轮廓图像的判断，也可以为针对物体的局部图像进行判断，如识别判断出真实物品图像中的某一局部与预置的特征图形相同或高度近似。在这里，可以使用传统的图像识别技术进行识别。优选的，可以使用图形像素区别值判断识别方法，也即通过判断在不同区域的颜色值，并根据颜色区域的延伸识别出图像中的特征图形。

例如，使用手机拍摄到一个包括背景的可口可乐的瓶子，之后可以通过图形像素区别值识别方法等技术手段识别出瓶子在中间位置的红色标记带(即可口可乐瓶子中间位置处的红色塑料包装带，一般上面印有可口可乐商标等内容。这里预先将其设置为特征图形)。这里的识别还进一步涉及到进行比较的技术。例如，可以将识别出的标识特征与预置的标识特征参数模型进行比较。如果比较相似度超过90％，则认为识别出该真实物体为瓶子，之后再进行后续操作。

所述位置计算模块20，用于判断若识别出预置特征图形，根据所述特征图形确定待显示物体在所述图像中的位置；

其中，所述根据所述特征图形确定待显示物体在所述图像中的位置，具体为：

确定所述特征图形在所述真实物体图像中的具体位置值；

按照预置规则值确定所述待显示物体所在的真实物体图像中的位置；所述预置规则值为预先设定的所述待显示物体与所述特征图形之间的距离差值或比例差值。

具体的，在这里识别出预置的特征图形后，根据识别该图形产生的相应参数，则可以计算出该特征图形在整个真实物体的位置坐标。这里可以包括特征图形的长度、宽度、高度和直径等参数。之后按照预置规则值确定所述待显示物体所在的真实物体图像中的位置。这里的预置规则是指由用户或硬件、软件提供商预先确定的特征图形与待显示物品之间的差距值。这里的差距可以是特征图形与待显示物品在距离长度上的差值(距离长度值至少包括少x、y轴的距离长度差值)，也可以是特征图形与待显示物品在显示比例上的差值(可能为特征图形的显示比例大于待显示物体，也可能相反)，也可能是两者都存在。在得到上述差值后，将调整待显示物体的显示图像，使其与特征图形相适应，并结合特征图形在真实物体图像中的位置值，从而得到待显示物体在真实物体图像中的位置。

在上例中的可口可乐瓶子中，先识别出瓶子中间位置的红色标识带及其在整个真实物体图像中的具体位置，包括获取到红色标识带的长度、宽度、在特征图形中每个端点在真实物体图像中的具体坐标值等。之后以红色标识带的位置值为基础，计算待显示物品的位置。之前计划将待显示物体放置在可口可乐瓶子的底部，则预置在红色标识带的下底边往5cm距离起即为待显示物体的项部。也即待显示物体的顶部坐标＝红色标识带的下底边坐标+5cm。如果识别出的特征图形的长度较小，而预置的待显示物体的长度较大(常见为在较远的位置拍摄到的可口可乐瓶子)，则根据两个长度的比例差整体对待显示物体的图像及参数进行调整，使其与特征图形相匹配。最后获取待显示物体在真实物体图像中的位置坐标。

由于实际使用者会拍摄任何物体，而不同物体的虚拟显示方式是不同的，甚至有一些物体是无法显示内部结构的。因此，需要对拍摄的实际物体进行识别判断，也即对实际物体的轮廓与预置的物体参数模型的轮廓规则进行比较，判断在实际物体的轮廓的指定位置的颜色值是否满足预置规则。若满足，则确定所述预置规则对应的物体参数模型。这里所述的满足，可以为设定一个相似度值，如相似度达到80％或90％。如果达到这些指标以上，则认为两者为同一物体。

上述采用的是对瓶子的整体轮廓识别方式，还可以直接识别出具有特征标识的局部区域，再根据局部区域推算出实际物体的物体参数模型。即先在整个图像中识别出红色标带，再根据红色标带的长度、大小推算出整个瓶子的长宽高等参数，形成物体参数模型。

所述内层生成模块30，用于将所述待显示物体的图像进行显示效果优化后与所述真实物体的图像进行叠加显示，生成内显示层；

在确定上述待显示物品的位置之后，对所述待显示物体的图像进行显示效果优化。这里的显示效果优化，主要指的是对待显示物体上的外表面参数进行优化，例如，可以设置半透明状的效果或80％透明的效果等。

具体的，首先设置所述待显示物体的3d图像模型。这里可以使用预存的待显示物体的3d图像模型，也可以使用若干张2d图像进角度变化后进行拼接。之后设置所述3d图像模型的显示参数，将所述待显示物体3d图像模型设置为具有透明效果。也即对于待显示物体的图像表面进行材质处理，其目标效果为将待显示物体的3d模型的参数设置为被真实物体的容器或瓶子的所覆盖的且具有一定透明度的效果。这里所述显示参数可以包括但不限透明度值、固色彩值、漫反射值、镜面反射值、自发光值、高光值、阴影等。在调整上述的参数后，待显示物体让用户的视觉感觉到是放置在容器或瓶体的内部。

最终，将优化后的所述待显示物体的图像按照所述位置与真实物体的图像进行叠加，生成内显示层。

依据上例，根据用户的指示，需要在可口可乐瓶子中显示出一个米老鼠的卡通人物形象，则先生成米老鼠的3d图像模型，之后根据可口可乐瓶子的材料来调整米老鼠的透明效果，让用户以为在米老鼠的前面还存在一层瓶壁。最终将米老鼠与可口可乐瓶子的图像进行叠加，生成内显示层。

所述混合叠加模块40，用于根据识别出的预置特征图形生成外围显示罩层，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

所述根据识别出的预置特征图形生成外围显示罩层，具体为：

根据所述预置特征图形确定真实物体的外围显示罩层轮廓及位置；

在所述外围显示罩层轮廓区域内设置高光显示效果；

将所述设置高光显示效果的区域作为所述外围显示罩层。

根据所述预置特征图形生成对应的外围显示罩层轮廓及位置。这里并不只是按照特征图形的轮廓生成外围显示罩层，而是针对真实物体生成外围显示罩层。这里可以进一步通过图像识别技术方法识别出在真实物体图像中的容器或瓶体的轮廓，也可以通过特征图形的比较虚拟推算出一个轮廓值。这里的外围显示罩层是叠套在所述物体参数模型上，显示的面积会大于真实物体的显示面积。优选的，外围显示罩层的轮廓与真实物体的轮廓相似，且外围显示罩层的面积为所述真实物体的面积的1.1-1.3倍。外围显示罩层的位置为以真实物体或特征图形为中心等比例放置。

在确定外围显示罩层的面积后，在外围显示罩层的轮廓区域内设置高光显示效果；这里所说的高光显示效果包括很多种特效，例如流光效果、3d炫彩显示效果、水波纹显示效果。这些效果应设置为半透明效果。这样的效果可以屏蔽掉在拍摄实际物体时环境的背景光所产生的阴影，可以突出实际显示效果。

最后，将所述外围显示罩层与所述内显示层进行叠加，生成所述真实物体的虚拟显示效果。

为了增加与用户的互动感，呈现更真实的显示效果，还可以在实际物体进行位称或角度变化时对待显示物体进行调整，使得用户感觉待显示物体实际放置在现实的物体。

因此，为了达到以上的要求，还可以包括：显示调整模块；

所述显示调整模块，用于检测所述真实物体的拍摄角度变化值。这里的检测可以为实时的，可以以为按照时间间隔的，如每隔0.1秒检测一次。如果检测到真实物体的拍摄角度值产生了变化，则认为真实物体进行位置变化，需要根据所述拍摄角度变化值调整所述待显示物体的图像显示。

优选的，可以同步检测所述拍摄终端的三维传感器变化值。由于当前大部分的电子设备(如手机、ipad、部分电子相机)都带有重力传感功能，因此可以实时获取到这个拍摄终端的三维传感器的变化值。根据所述三维传感器变化值确定所述真实物体的拍摄角度变化值。例如，检测到手机向左上方移动了，则需要将同角度比例调取所述待显示物体的在该角度的图像模型，并进行显示。

本装置中利用了多层图层叠加并采用了特效方法，实现了视觉欺骗和虚拟现实引擎相结合，达到了3d和3d之间的融合，更好的升华了虚拟现实技术应有的效果，，可以让体验者感受到3d虚拟物体，融入到真实世界，让虚拟物体和真实世界互动。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。