一种基于透明液晶的裸眼3D增强现实的方法及装置与流程

本发明涉及增强现实领域，特别涉及一种基于透明液晶的裸眼3D(3dimensional，简称3D)增强现实的方法及装置。

背景技术：
增强现实(AugmentedReality，简称AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间。AR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。增强现实将真正改变我们观察世界的方式。在现有技术中，视觉化的增强现实的方法，用户需要利用头盔显示器，才能把真实世界与电脑图形多重合成在一起，以便看到真实的世界围绕着他，头盔显示器给人不舒服的体验。利用半透半反增强现实方法，没有产生立体光场，因此，增强现实效果比较差。

技术实现要素：
本发明实施例公开了一种基于透明液晶的裸眼3D增强现实的方法及装置，无需佩戴头盔显示器，给用户带来更加舒服的体验，产生真实的增强现实效果。为达到上述目的，本发明实施例公开了一种基于透明液晶的裸眼3D增强现实的方法，应用于包括透明液晶显示屏和液晶光栅的显示设备，其中，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件，所述方法包括：采集真实场景的图像信息和深度信息；根据用户的分割规则，将所述图像信息进行分割，其中，分割后的图像信息中包含融合区域；根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息；根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在所述透明液晶显示屏中的所述位置；根据用户人眼位置调节液晶光栅参数以3D方式显示所述虚拟场景。较佳的，当分割后的图像信息中包括完全显示区域或遮挡区域时；所述方法还包括：当显示所述完全显示区域时，将所述液晶光栅对应的所述完全显示区域像素的像素值调整为1；当显示所述遮挡区域时，将所述液晶光栅对应的所述遮挡区域像素的像素值调整为0。较佳的，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件包括：所述透明液晶显示屏平行放置在液晶光栅后面，所述透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上子像素的宽度。较佳的，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件包括：所述透明液晶显示屏平行放置在液晶光栅前面，所述透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上子像素的宽度。较佳的，所述根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息具体为：获取所述图像信息中融合区域的全部深度信息，计算出图像信息中融合区域的平均深度信息，根据所述平均深度信息，调整虚拟场景的深度信息。为达到上述目的，本发明还公开了一种基于透明液晶的裸眼3D增强现实的装置，应用于包括透明液晶显示屏和液晶光栅的显示设备，其中，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件，所述装置包括：信息采集模块，用于采集真实场景的图像信息和深度信息；图像信息分割模块，用于根据用户的分割规则，将所述图像信息进行分割，其中，分割后的图像信息中包含融合区域；深度信息调整模块，用于根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息；虚拟场景显示模块，用于根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在所述位置；3D显示模块，用于根据人眼位置调节液晶光栅参数以3D方式显示所述虚拟场景。较佳的，当分割后的图像信息中包括完全显示区域或遮挡区域时；所述3D显示模块，还用于当显示所述完全显示区域时，将所述液晶光栅对应的所述完全显示区域像素的像素值调整为1；当显示所述遮挡区域时，将所述液晶光栅对应的所述遮挡区域像素的像素值调整为0。较佳的，所述装置还包括：距离确定模块，用于当所述透明液晶显示屏平行放置在液晶光栅后面，所述透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。较佳的，所述装置还包括：距离确定模块，用于当所述透明液晶显示屏平行放置在液晶光栅前面，所述透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。较佳的，深度信息调整模块具体用于：获取所述图像信息中融合区域的全部深度信息，计算出图像信息中融合区域的平均深度信息，根据所述平均深度信息，调整虚拟场景的深度信息。本发明实施例提供的一种基于透明液晶的裸眼3D增强现实的方法及装置，显示设备采集真实场景的图像信息和深度信息，然后，根据用户的分割规则，将所述图像信息进行分割，其中分割后的图像信息中包含融合区域，根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息，根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在透明液晶显示屏中的所述位置，根据用户人眼位置调节液晶光栅参数以3D方式显示所述虚拟场景。应用本发明实施无需佩戴头盔显示器，就能够增强现实，给用户带来更加舒服的体验，根据液晶光栅的光栅区域，利用双眼视差的原理，能够产生立体光场，产生真实的增强现实效果。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例中前置液晶光栅的分光原理图；图2为本发明实施例提供的一种基于透明液晶的裸眼3D增强现实的方法的流程示意图；图3A为采集到的真实场景的图像信息；图3B为对图像信息进行标记的示意图；图3C为分割后的图像信息融合区域示意图；图4A为本发明实施例液晶光栅的一种光栅状态的示意图；图4B为本发明实施例液晶光栅的一种完全通光状态的示意图；图4C为本发明实施例液晶光栅的一种遮挡状态的示意图；图5为本发明实施例虚拟场景显示的示意图；图6为本发明实施例人眼观看到的真实场景与虚拟场景融合图；图7为本发明实施例提供的一种基于透明液晶的裸眼3D增强现实的装置的结构示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供了一种基于透明液晶的裸眼3D增强现实的方法及装置，应用于包括透明液晶显示屏和液晶光栅的显示设备，其中，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件，具体的，采集真实场景的图像信息和深度信息，根据用户的分割规则，将所述图像信息进行分割，其中分割后的图像信息中包含融合区域，根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息，根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在透明液晶显示屏中的所述位置，调节液晶光栅在用户人眼位置以3D方式显示所述虚拟场景。需要说明的是，本发明实施例所提供的一种基于透明液晶的裸眼3D增强现实的方法及装置，其中，应用于包括透明液晶显示屏和液晶光栅的显示设备，其中，透明液晶显示屏与液晶光栅之间的距离满足3D成像条件。其中，透明液晶显示屏平行放置在液晶光栅后面，如图1所示，称之为前置液晶光栅，透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。透明液晶显示屏平行放置在液晶光栅前面，称之为后置液晶光栅，透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。需要说明的是，两个视点之间的距离Q为65mm，用户最佳观看距离根据透明液晶显示屏的尺寸变化，透明液晶显示屏的尺寸大，则用户最佳观看距离大，透明液晶显示屏的尺寸小，则用户最佳观看距离小。当透镜液晶显示器的尺寸固定，用户最佳观看距离就是一个固定值。对于一个固定尺寸的透明液晶显示屏来说，透明液晶显示屏上像素的宽度wp1是固定值。不管透明液晶显示屏平行放置在液晶光栅前面或后面，在实际应用中，两者之间的距离是固定值并且满足3D成像条件。下面通过具体实施例，对本发明进行详细说明。图2为本发明实施例提供的一种基于透明液晶的裸眼立体增强现实的方法的流程示意图，包括如下步骤：S101：采集真实场景的图像信息和深度信息。不难理解的是，显示设备获取图像信息和深度信息，其中，该图像信息例如可以是使用摄像设备采集的一张当前场景的照片，即是真实场景的照片；或者，也可以是使用摄像设备获取的真实场景的视频帧。该深度信息也可以通过摄像设备获取，也可以通过激光成像测距设备等其他可以采集深度信息的设备获取。S102：根据用户的分割规则，将所述图像信息进行分割，其中，分割后的图像信息中包含融合区域。根据用户的设定的分割规则，对图像信息进行标记，将图像信息进行分割，图像信息分割是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。本发明实施例图像信息分割可以采用OpenCV(OpenSourceComputerVisionLibrary，基于开源发行的跨平台计算机视觉库)中的GrabCut算法，该算法利用了图像信息中的纹理信息和边界信息，只要少量的用户交互操作即可得到比较好的分割结果。只需要在目标外面确定标记框，把目标框住，就可以完成分割。采集到的图像信息如图3A所示，，用户在图中的人物轮廓外面确定标记框，如图3B所示，图3C为使用算法分割后的融合区域，其中，该融合区域是从图3B所示的图像信息中分割出来的图像信息。当然，不难理解的是，对图像信息进行分割，也可以选择其他的分割方法，例如基于区域的分割方法。S103：根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息。所述根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息可以为：获取所述图像信息中融合区域的全部深度信息，计算出图像信息中融合区域的平均深度信息，根据所述平均深度信息，调整虚拟场景的深度信息。虚拟场景是预设的存储在显示设备中，根据图像融合区域的平均深度信息调整虚拟场景的深度信息的方式有很多种，例如，通过视差信息作为中间变量调整虚拟场景的深度信息，视差信息与虚拟场景的深度信息的关系为：disp为视差值，dvirtual为虚拟场景的深度值，α为常数，其中α可以由随机输入视差值disp0和对应的测量到的虚拟场景的深度dreal,0确定，α＝disp0·dreal,0，需要将虚拟场景的深度信息调整与图像信息中融合区域的平均深度信息项一致，则dvirtual＝dreal，dreal为图像信息融合区域的平均深度值，得出根据视差值调整虚拟场景的深度信息。当然，调整虚拟场景的深度信息并不仅限于通过以上的方式进行调整，还可以通过其他方式进行调整。S104：根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在所述透明液晶显示屏中的所述位置。不难理解的是，透明液晶显示屏需要光源实现投射进行显示，当透明液晶显示屏的尺寸较小时，采用自身发出的光作为光源；当透明液晶显示屏尺寸较大时，采用周围环境光做背光源。是否需要背光源，不仅与透明液晶显示屏尺寸有关，还与环境光的强弱，透明液晶显示屏的透明度有关。一般情况下，46寸以下透明液晶显示屏都需要背光源。S105：根据用户人眼位置调节液晶光栅参数以3D方式显示所述虚拟场景。液晶光栅参数可以根据用户人眼的位置进行调节，人眼位置可以通过人眼跟踪设备实时确定，在需要进行3D展示的位置改变遮光条的位置、宽度和光栅截距，遮光条的位置改变，同时遮光条与透光条的相对位置也改变，遮光条为在液晶光栅中与液晶光栅的高平行的不透光的条，液晶光栅的截距为遮光条与透光条的宽度之和，透光条为在液晶光栅中与液晶光栅的高平行的透光的条。遮光条的宽度可以调节，液晶光栅的截距也随之可以调节，用户可以自由选择观看的距离和与虚拟场景的交互状态，当用户的观看距离发生变化，与虚拟场景的交互状态也随之发生变化。遮光条和透光条可以通过调整液晶光栅像素的像素值得到，液晶光栅中像素的像素值为1，则光能通过对应的像素。液晶光栅中像素的像素值为0，则不能通过对应的像素点。当显示融合区域时，液晶光栅对应的区域处于光栅状态，而且液晶光栅的光栅状态根据人眼位置的不同是可调的，人眼的位置不同，遮光条和透光条的相对位置发生改变。图4A为液晶光栅的一种光栅状态，如图4A所示，每个方块表示一个像素，遮光条为黑色的条，透光条为白色的条，像素的宽度wp2，遮光条的宽度与透光条的宽度均等于一个方块的宽度，则遮光条的宽度为wb＝wp2，液晶光栅的截距为ws＝2wp2，液晶光栅遮光条与透光条相间排列。在具体应用中，透光条的宽度可以根据透明液晶显示屏的宽度确定，液晶光栅的透光条宽度与透明液晶显示屏像素宽度需要满足以下条件：在前置液晶光栅的情况下，透光条的计算公式为：在后置液晶光栅的情况下，透光条的计算公式为：其中，wp1为为透明液晶显示屏上像素的宽度，Q为两个视点之间的距离。其中，当分割后的图像信息中包括完全显示区域或遮挡区域时；当显示完全显示区域时，将所述液晶光栅对应的所述完全显示区域像素的像素值调整为1；当显示所述遮挡区域时，将所述液晶光栅对应的所述遮挡区域像素的像素值调整为0。当显示完全显示区域时，液晶光栅对应的区域处于全通光状态，如图4B所示，光能够通过液晶光栅。当显示遮挡区域时，液晶光栅对应的区域处于遮光状态，如图4C所示，光不通过液晶光栅。虚拟场景在透镜液晶显示屏的固定位置显示，根据人眼的位置调整液晶光栅的状态，利用人眼的视差原理，将虚拟场景在人眼的位置3D显示。本发明实施例提供的一种实际应用场景-虚拟换装，假设采集到的图像信息如图3A所示，根据用户的分割规则，在图像信息中确定标记框，如图3B所示，进行分割，标记框中的人物图像信息为融合区域，融合区域如图3C所示，标记框外的图像信息为完全显示区域。根据图像信息融合区域的平均深度信息，调整虚拟场景的深度信息，根据图像信息中融合区域的位置，将调整后的虚拟场景显示在透明液晶显示屏中对应的位置，如图5中透明液晶显示屏上方块所示的位置，调整前置液晶光栅的对应位置为光栅状态，其他为完全通光区域，光栅状态中，遮光条对应像素的像素值为0，透光条对应像素的像素值为1，完全通光区域对应像素的像素值为1。通过液晶光栅观看虚拟场景，在人眼的位置以3D显示，人眼观看的图像如图6所示，虚拟场景为模特身上的衣服，真实场景与虚拟场景相互交融，产生真实的增强显示的效果。本发明实施例还可以对产品的使用方式产生增强的效果，真实场景为展出产品，虚拟场景对应产品的使用范围，这样真实场景与虚拟场景相互融合，可以让观看者观看立体的产品介绍，本发明实施例可AR技术可广泛应用到医疗、建筑、教育、工程、影视、娱乐等领域。应用本发明实施无需佩戴头盔显示器，就能够增强现实，给用户带来更加舒服的体验，根据液晶光栅的光栅区域，利用双眼视差的原理，能够产生立体光场，产生真实的增强现实效果。图7为本发明提供的一种基于透明液晶的裸眼立体增强现实的装置的结构示意图，与图2所示的流程项对应，应用于包括透明液晶显示屏和液晶光栅的显示设备。其中，所述透明液晶显示屏与所述液晶光栅之间的距离满足3D成像条件。本发明实施例提供的一种基于透明液晶的裸眼立体增强现实的装置，包括信息采集模块201、图像信息分割模块202、深度信息调整模块203、虚拟场景显示模块204和3D显示模块205。其中，信息采集模块201，用于采集真实场景的图像信息和深度信息。图像信息分割模块202，用于根据用户的分割规则，将所述图像信息进行分割，其中，分割后的图像信息中包含融合区域。深度信息调整模块203，用于根据所述图像信息中融合区域的深度信息，调整虚拟场景的深度信息。本发明实施例中，深度信息调整模块具体用于：获取所述图像信息中融合区域的全部深度信息，计算出图像信息中融合区域的平均深度信息，根据所述平均深度信息，调整虚拟场景的深度信息。虚拟场景显示模块204，用于根据所述图像信息中融合区域的位置，将调整后的所述虚拟场景显示在所述位置。3D显示模块205，用于根据用户人眼位置调节液晶光栅参数以3D方式显示所述虚拟场景。当分割后的图像信息中包括完全显示区域或遮挡区域时，3D显示模块205，还用于当显示所述完全显示区域时，将所述液晶光栅对应的所述完全显示区域像素的像素值调整为1；当显示所述遮挡区域时，将所述液晶光栅对应的所述遮挡区域像素的像素值调整为0。本发明实施例中的所述装置还包括距离确定模块(图7未示出)，用于当透明液晶显示屏平行放置在液晶光栅后面，称之为前置狭缝光栅透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。距离确定模块，还用于当透明液晶显示屏平行放置在液晶光栅前面，称之为后置狭缝光栅，透明液晶显示屏与液晶光栅之间的距离满足3D成像条件，所述距离满足以下条件：其中，D为透明液晶显示屏与液晶光栅之间的距离，Q为两个视点之间的距离，L为预设的用户最佳观看距离，wp1为透明液晶显示屏上像素的宽度。本发明实施例提供的一种基于透明液晶的裸眼立体增强现实的装置，不仅可以应用于体积比较大的显示设备，还可以应用于，例如移动通信设备、Ipad等等可以进行显示的手持设备。应用本发明实施无需佩戴头盔显示器，就能够增强现实，给用户带来更加舒服的体验，根据液晶光栅的光栅区域，利用双眼视差的原理，能够产生立体光场，产生真实的增强现实效果。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于终端设备可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。