3D显示方法、系统、装置、电子设备及存储介质与流程

本发明实施例涉及显示技术领域，特别涉及一种3d显示方法、系统、装置、电子设备及存储介质。

背景技术：

当前3d模型效果通过双摄像头立体成像、单摄像头+结构光，以及单摄像头+飞行时间测距法(timeofflight，tof)三种方式中任意一种方式获取。通过三角形原理、结构光变形和反射光的时间等技术得到图像中每一个点的距离，进而完成实时3d构建。如果仅仅针对物体建模、实时的避障、实时的面部识别等等场景，这几种方式都没问题。然而，对于人眼需要看到实时3d模型的场景，也就是左右眼看到不同角度图像的场景，则只有通过双摄像头立体成像方式来完成。

然而，发明人发现现有技术中至少存在如下问题：使用双摄像头拍摄实时影像，并通过双摄像头立体成像技术进行3d构建时，3d构建的能力较弱，精度较差，越远的物体效果越差，且使用双摄像头立体成像技术构建的ar场景的画面的真实感不强。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明实施方式的目的在于提供一种3d显示方法、系统、装置、电子设备及存储介质，使得用户左右眼能够看到不同角度图像，且提高了用户看到的画面的真实感。

为解决上述技术问题，本发明的实施方式提供了一种3d显示方法，包括以下步骤：获取第一采集装置和第二采集装置各自采集的当前环境的信息；其中，当前环境的信息包括当前环境的图像信息和当前环境的深度信息；根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果；根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果；呈现第一渲染结果和第二渲染结果。

本发明的实施方式还提供了一种3d显示系统，包括：第一采集装置、第二采集装置和生成装置；生成装置用于获取第一采集装置和第二采集装置各自采集的当前环境的信息；其中，当前环境的信息包括当前环境的图像信息和当前环境的深度信息；根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果；根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果；呈现第一渲染结果和第二渲染结果。

本发明的实施方式还提供了一种3d显示装置，包括：获取模块、渲染模块和呈现模块；获取模块用于获取第一采集装置和第二采集装置各自采集的当前环境的信息；其中，当前环境的信息包括当前环境的图像信息和当前环境的深度信息；渲染模块用于根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果；根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果；呈现模块用于呈现第一渲染结果和第二渲染结果。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的3d显示方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的3d显示方法。

本发明实施方式相对于现有技术而言，由第一采集装置和第二采集装置分别采集得到用于构建左右眼视角的三维模型的当前环境的深度信息，使得用户左右眼能够看到不同的场景。由于该方式获得的深度信息比使用双摄像头获取的深度信息更为准确，使得用户看到的画面更为真实。电子设备根据当前环境的信息分别进行三维重建，并在构建好的三维模型上进行渲染，降低了渲染难度。

另外，根据第一三维模型进行渲染，得到第一渲染结果，具体包括：根据第一三维模型、第一采集装置的视角信息，以及需要增加的虚拟物体的目标深度和位置，渲染得到第一渲染结果，其中，第一渲染结果中包括虚拟物体的图像；根据第二三维模型进行渲染，得到第二渲染结果，具体包括：根据第二三维模型、第二采集装置的视角信息，以及需要增加的虚拟物体的目标深度和位置，渲染得到第二渲染结果，其中，第二渲染结果中包括虚拟物体的图像。该实现中，在构建好的三维模型上分别进行渲染，得到两种渲染结果，相对于依靠双摄像头拍摄图像进行渲染得到两种渲染结果的方法更为简单，且更为真实。

另外，呈现第一渲染结果和第二渲染结果，具体包括：将第一渲染结果呈现给用户的左眼，将第二渲染结果呈现给用户的右眼。

另外，第一采集装置包括第一图像采集模块和第一深度探测模块，第二采集装置包括第二图像采集模块和第二深度探测模块；其中，第一图像采集模块和第二图像采集模块用于采集当前环境的图像信息，第一深度探测模块和第二深度探测模块用于获取当前环境的深度信息。

另外，第二深度探测模块发出的探测信号的波长与第一深度探测模块发出的探测信号的波长不等。该实现中，避免了两路探测信号彼此之间干扰。

另外，第一图像采集模块的视野与第二图像采集模块的视野存在重叠部分，第一深度探测模块的探测区域和第二深度探测模块的探测区域存在重叠部分。

另外，第一深度探测模块和第二深度探测模块为激光测距探测器或结构光测距探测器。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的第一实施方式的3d显示方法的流程示意图；

图2是本发明的第一实施方式的李萨如图形的示意图；

图3是本发明的第二实施方式的3d显示方法的流程示意图；

图4是本发明的第三实施方式的3d显示系统的结构示意图；

图5是本发明的第四实施方式的3d显示系统的结构示意图；

图6是本发明的第四实施方式的双目模组的正视图；

图7是本发明的第四实施方式的双目模组的俯视图；

图8是本发明的第四实施方式的重叠区域的示意图；

图9是本发明的第五实施方式的3d显示装置的结构示意图；

图10是本发明的第六实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种3d显示方法，应用于增强现实技术(augmentedreality，简称ar)双目眼镜、虚拟显示(virtualreality，vr)双目眼镜、裸眼3d屏幕等电子设备。如图1所示，该3d显示方法包括以下步骤：

步骤101：获取第一采集装置和第二采集装置各自采集的当前环境的信息。

具体地说，当前环境的信息包括当前环境的图像信息和当前环境的深度信息。第一采集装置和第二采集装置分别拍摄当前环境，以获得当前环境的图像信息，并将各自采集得到的当前环境传输至电子设备。

以下以第一采集装置为例，举例说明第一采集装置采集当前环境的深度信息的方法，第二采集装置也可以采用相同的方法采集当前环境的深度信息。

具体实现中，第一采集装置主动投射结构光到当前环境中，通过结构光的变形(或者飞行时间等)来确定当前环境的深度信息。例如，第一采集装置采用光栅投影技术，编程产生正弦条纹图，将产生的条纹投影到当前环境中。第一采集装置通过相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为深度信息。

另一具体实现中，第一采集装置通过激光扫描测量的方法，获取当前环境的三维坐标数据，采集空间点位信息，以获得当前环境的深度信息。

需要说明的是，本领域技术人员可以理解，实际应用中，还可以通过其他方式获得当前环境的深度信息，上述方式仅为举例说明，不起限定作用。

以下对第一采集装置和第二采集装置采集当前环境的信息的方法进行举例说明。

第一采集装置和第二采集装置中包括微机电系统(microelectromechanicalsystem，mems)激光雷达器件。令第一采集装置的第一mems激光雷达器件和第二采集装置的第二mems激光雷达器件发出的红外脉冲激光的波长不同，且第一采集装置的激光接收部分的滤波片可以让第一mems激光雷达器件发出的红外脉冲激光通过，但第二mems激光雷达器件发出的红外脉冲激光无法通过，第二采集装置的激光接收部分的滤光片可以让第二mems激光雷达器件发出的红外脉冲激光通过，但第一mems激光雷达器件发出的红外脉冲激光无法通过。例如，第一采集装置采用900nm波长的红外脉冲激光，滤光片仅可以让895-905nm波长的光通过，第二采集装置采用1000nm波长的激光，滤波片仅可以让995-1005nm的光通过。第一采集装置和第二采集装置发出同时钟不同波长的红外脉冲激光，按照相同方式控制各自的mems组件进行扫描。其中，使用相同的方式进行扫描能够保证左右两边的扫描点在同一时间保持最小间距且始终间距相等，以消除时间可能造成的细微变化，如李萨如图形，如图2所示。第一采集装置的激光接收部分和第二采集装置的激光接收部分实时接收深度信号，其中，第一采集装置的激光接收部分只接收到第一mems激光雷达器件发射的红外脉冲激光探测的深度信息，第二采集装置只接收到第二mems激光雷达器件发射的红外脉冲激光探测的深度信息。第一采集装置的摄像头和第二采集装置的摄像头自身感光互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)或电荷耦合器件(charge-coupleddevice，ccd)实时接收图像信息。优选的，第一采集装置的摄像头和第二采集装置的摄像头中均包含红外滤光片，以避免红外激光影响成像。

本领域技术人员可以理解，相对于使用双摄像头立体成像的方式，本实施方式获得了当前环境的每个像素的深度信息，该深度信息基本不受环境因素影响，比双摄像头更为准确。

需要说明的是，本领域技术人员可以理解，还可以通过面阵飞行时间测距法(timeofflight，tof)或基于结构光的三维重建方法进行三维模型重建，当通过基于结构光的三维重建方法进行三维模型重建时，第一采集装置和第二采集装置分别发射不同波长的相同红外图案，当通过面阵tof方法进行三维模型重建时，第一采集装置和第二采集装置分别发射同时钟不同波长的红外脉冲激光。

步骤102：根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果。

具体地说，电子设备根据第一采集装置采集的当前环境的深度信息，构建当前环境的第一三维模型，并根据当前环境的图像信息，对第一三维模型进行渲染，得到第一渲染结果。

步骤103：根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果。

具体地说，电子设备根据第二采集装置采集的当前环境的深度信息，构建当前环境的第二三维模型，并根据当前环境的图像信息，对第二三维模型进行渲染，得到第二渲染结果。

需要说明的是，本实施方式中，为描述清楚，将步骤103设置为步骤102的后续步骤。但本领域技术人员可以理解，实际应用中，步骤102和步骤103可以同时进行，也可以在执行步骤103之后执行步骤102，本实施方式不起限定作用。

步骤104：呈现第一渲染结果和第二渲染结果。

具体地说，电子设备将第一渲染结果呈现给用户的左眼，将第二渲染结果呈现给用户的右眼。例如，电子设备是ar双目眼镜，ar双目眼镜将第一渲染结果和第二渲染结果分别从左右两路输出，呈现给用户；又如，电子设备是裸眼3d屏幕，裸眼3d屏幕通过光栅将第一渲染结果和第二渲染结果分别呈现给用户的左眼和右眼。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的3d显示方法，由第一采集装置和第二采集装置分别采集得到用于构建左右眼视角的三维模型的当前环境的深度信息，使得用户左右眼能够看到不同的场景。由于该方式获得的深度信息比使用双摄像头获取的深度信息更为准确，使得用户看到的画面更为真实。电子设备根据当前环境的信息分别进行三维重建，并在构建好的三维模型上进行渲染，降低了渲染难度。

本发明的第二实施方式涉及一种3d显示方法。本实施方式在第一实施方式的基础上做了进一步细化，具体说明了步骤102和步骤103，并在步骤101之前增加了其他相关步骤。

具体的说，如图3所示，在本实施方式中，包含步骤201至步骤207，其中，步骤202和步骤207分别与第一实施方式中的步骤101和步骤104大致相同，此处不再赘述。下面主要介绍不同之处：

步骤201：开启3d功能。

具体地说，用户开启电子设备，运行需要3d画面和/或建模的应用，如基于3d的ar游戏，电子设备开启3d功能。

值得一提的是，在开启3d功能后再对当前环境进行3d显示，避免了电子设备持续进行3d显示造成的高能耗问题和高损耗问题。

执行步骤202。

步骤203：根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型。

步骤204：根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型。

具体地说，电子设备根据第一采集装置和第二采集装置各自采集的当前环境的信息，建立当前环境的三维模型的过程可参见第一实施方式的相关描述，此处不再赘述。

步骤205：根据第一三维模型、第一采集装置的视角信息，以及需要增加的虚拟物体的目标深度和位置，渲染得到第一渲染结果。其中，第一渲染结果中包括虚拟物体的图像。

步骤206：根据第二三维模型、第二采集装置的视角信息，以及需要增加的虚拟物体的目标深度和位置，渲染得到第二渲染结果。其中，第二渲染结果中包括虚拟物体的图像。

具体地说，在步骤203重建得到的第一三维模型和步骤204重建得到的第二三维模型上，根据额外的虚拟物体(如ar游戏中的角色、物品等等)的目标深度和位置信息，对第一三维模型和第二三维模型分别进行渲染，得到第一渲染结果和第二渲染结果。

需要说明的是，本实施方式中，为描述清楚，将步骤204设置为步骤203的后续步骤，步骤206设置为步骤205的后续步骤。但本领域技术人员可以理解，实际应用中，步骤204和步骤203可以同时进行，也可以在执行步骤204之后执行步骤203，步骤206和步骤205可以同时进行，也可以在执行步骤206之后执行步骤205，本实施方式不起限定作用。

值得一提的是，由于电子设备是对已经构建好的当前环境的三维模型分别进行渲染，比起没有3d模型而单纯依靠双路摄像头图像的方式进行渲染的方式更为容易，且得到的渲染结果更为真实。

执行步骤207。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的3d显示方法，由第一采集装置和第二采集装置分别采集得到用于构建左右眼视角的三维模型的当前环境的深度信息，使得用户左右眼能够看到不同的场景。由于该方式获得的深度信息比使用双摄像头获取的深度信息更为准确，使得用户看到的画面更为真实。电子设备根据当前环境的信息分别进行三维重建，并在构建好的三维模型上进行渲染，降低了渲染难度。除此之外，由于电子设备是对已经构建好的当前环境的三维模型分别进行渲染，比起没有3d模型而单纯依靠双路摄像头图像的方式进行渲染的方式更为容易，且得到的渲染结果更为真实。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种3d显示系统，如图4所示，包括：第一采集装置301、第二采集装置302和生成装置303；生成装置303用于获取第一采集装置301和第二采集装置302各自采集的当前环境的信息；其中，当前环境的信息包括当前环境的图像信息和当前环境的深度信息；根据第一采集装置301采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果；根据第二采集装置302采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果；呈现第一渲染结果和第二渲染结果。

具体实现中，第一采集装置301与第二采集装置302的距离接近于人的双眼之间的距离。

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要确定第一采集装置301与第二采集装置302之间的相对位置关系，本实施方式不限制第一采集装置301和第二采集装置302的位置关系。

需要说明的是，本领域技术人员可以理解，第一采集装置301、第二采集装置302和生成装置303可以是集成在一个装置上，也可以是分别独立的三个装置，本实施方式对此不作限定。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第四实施方式涉及一种3d显示系统，本实施方式是对第三实施方式的进一步细化，具体说明了第一采集装置和第二采集装置的结构。

如图5所示，第一采集装置301包括第一图像采集模块3011和第一深度探测模块3012，第二采集装置302包括第二图像采集模块3021和第二深度探测模块3022；其中，第一图像采集模块和第二图像采集模块用于采集当前环境的图像信息，第一深度探测模块和第二深度探测模块用于获取当前环境的深度信息。

具体地说，第一图像采集装置3011的光学中心轴与第一深度探测模块3012的光学中心轴重合。第二图像采集装置3021的光学中心轴与第二深度探测模块3022的光学中心轴重合。

具体实现中，第一图像采集装置3011和第二图像采集装置3021为摄像头，第一深度探测模块3012和第二深度探测模块3022为基于mems的激光雷达、结构光探测器或其他可用于实时高分辨率深度探测的tof设备，且深度探测模块光学中心轴与摄像头的光学中心轴重合。

具体实现中，第二深度探测模块3022发出的探测信号的波长与第一深度探测模块3012发出的探测信号的波长不等，即第一深度探测模块3012和第二深度探测模块3022在深度探测时发射的激光或红外光波长不等，以达到不相互干扰的目的。优选的，一个激光雷达和一个摄像头成为一体化模组，或者两个激光雷达和两个摄像头组成双目模组，该双目模组的正视图如图6所示，俯视图如图7所示。

值得一提的是，由于第二深度探测模块发出的探测信号的波长与所述第一深度探测模块发出的探测信号的波长不等，可以避免两个深度探测模块彼此产生干扰。

具体实现中，第一图像采集模块3011的视野与第二图像采集模块3021的视野存在重叠部分，第一深度探测模块3012的探测区域和第二深度探测模块3022的探测区域存在重叠部分。优选的，第一图像采集模块3011和第一深度探测模块3012的视角相等，第二图像采集模块3021和第二深度探测模块3022的视角相等。该情况下，第一采集装置301和第二采集装置302的采集区域的重叠区域的示意图如图8所示，其中，波长xnm表示波长为x纳米，波长ynm表示波长为y纳米，x、y为正数。

本发明第五实施方式涉及一种3d显示装置，如图9所示，包括：获取模块401、渲染模块402和呈现模块403。其中，获取模块401用于获取第一采集装置和第二采集装置各自采集的当前环境的信息；其中，所述当前环境的信息包括当前环境的图像信息和所述当前环境的深度信息。渲染模块402用于根据第一采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第一三维模型，并根据第一三维模型进行渲染，得到第一渲染结果；根据第二采集装置采集的当前环境的信息，进行当前环境的三维模型重建，得到当前环境的第二三维模型，并根据第二三维模型进行渲染，得到第二渲染结果。呈现模块403用于呈现第一渲染结果和第二渲染结果。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第六实施方式涉及一种电子设备，如图10所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施方式提及的3d显示方法。

该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述3d显示方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的3d显示方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。