一种显示方法、装置和电子设备与流程

本公开涉及显示，尤其涉及一种显示方法、装置和电子设备。

背景技术：

1、目前，在虚拟现实的透视场景中，用户在进行虚拟现实交互过程中，虚拟现实需要实时地向用户展示当前环境图像，当该当前环境图像显示的不完整时，会导致用户产生眩晕感，出现恶心、头晕等晕动症状，导致用户的体验较差。

技术实现思路

1、有鉴于此，本公开提供了一种显示方法、装置和电子设备，用于解决现有技术中用户在进行虚拟现实交互过程中，由于当前环境图像显示的不完整，导致用户产生眩晕感，出现恶心、头晕等晕动症状的问题。

2、为了实现上述目的，本公开提供技术方案如下：

3、第一方面，本公开提供一种显示方法，应用于虚拟现实装置，包括：获取虚拟现实装置的位姿信息，以及虚拟现实装置采集的彩色环境图像；确定彩色环境图像的至少一个特征点，以及特征点在相机坐标系下的相机坐标；根据相机坐标、位姿信息和彩色环境图像，确定每个特征点对应的顶点坐标和纹理坐标；根据每个特征点对应的顶点坐标和纹理坐标对彩色环境图像进行渲染，确定渲染图像；控制虚拟现实装置显示渲染图像。

4、作为本公开一种可选的实施方式，确定彩色环境图像的至少一个特征点，以及特征点在相机坐标系下的相机坐标，包括：对彩色环境图像进行图像预处理，确定预处理后的彩色环境图像；其中，图像预处理包括畸变矫正和立体校正中的一项或者多项；对预处理后的彩色环境图像进行特征提取，确定至少一个特征点；对至少一个特征点进行特征匹配，确定每个特征点在相机坐标系下的相机坐标。

5、作为本公开一种可选的实施方式，对预处理后的彩色环境图像进行特征提取，确定至少一个特征点，包括：将预处理后的彩色环境图像输入至预先配置的提取模型中，确定至少一个特征点。

6、作为本公开一种可选的实施方式，对预处理后的彩色环境图像进行特征提取，确定至少一个特征点，包括：采用光流法对预处理后的彩色环境图像进行特征提取，确定至少一个特征点。

7、作为本公开一种可选的实施方式，对至少一个特征点进行特征匹配，确定每个特征点在相机坐标系下的相机坐标，包括：采用块匹配方法对至少一个特征点进行特征匹配，确定每个特征点在相机坐标系下的相机坐标。

8、作为本公开一种可选的实施方式，对至少一个特征点进行特征匹配，确定每个特征点在相机坐标系下的相机坐标，包括：

9、根据至少一个特征点中每个特征点对应的像素坐标进行特征匹配，确定每个特征点在相机坐标系下的相机坐标。

10、作为本公开一种可选的实施方式，根据相机坐标、位姿信息和彩色环境图像，确定每个特征点对应的顶点坐标和纹理坐标，包括：根据相机坐标和位姿信息，确定每个特征点在世界坐标系下对应的地图点；将地图点进行投影，确定深度图；根据深度图和彩色环境图像，确定每个地图点对应的顶点坐标和纹理坐标。

11、第二方面，本公开提供一种虚拟现实装置，包括：获取单元，用于获取虚拟现实装置的位姿信息，以及虚拟现实装置采集的彩色环境图像；处理单元，用于确定获取单元获取的彩色环境图像的至少一个特征点，以及特征点在相机坐标系下的相机坐标；处理单元，还用于根据相机坐标、获取单元获取的位姿信息和获取单元获取的彩色环境图像，确定每个特征点对应的顶点坐标和纹理坐标；处理单元，还用于根据每个特征点对应的顶点坐标和纹理坐标对获取单元获取的彩色环境图像进行渲染，确定渲染图像；处理单元，还用于控制显示单元显示渲染图像。

12、作为本公开一种可选的实施方式，处理单元，具体用于对获取单元获取的彩色环境图像进行图像预处理，确定预处理后的彩色环境图像；其中，图像预处理包括畸变矫正和立体校正中的一项或者多项；处理单元，具体用于对预处理后的彩色环境图像进行特征提取，确定至少一个特征点；处理单元，具体用于根据至少一个特征点中每个特征点对应的像素坐标，确定每个特征点在相机坐标系下的相机坐标。

13、作为本公开一种可选的实施方式，处理单元，具体用于将预处理后的彩色环境图像输入至预先配置的提取模型中，确定至少一个特征点。

14、作为本公开一种可选的实施方式，处理单元，具体用于采用光流法对预处理后的彩色环境图像进行特征提取，确定至少一个特征点。

15、作为本公开一种可选的实施方式，处理单元，具体用于采用块匹配方法对至少一个特征点进行特征匹配，确定每个特征点在相机坐标系下的相机坐标。

16、作为本公开一种可选的实施方式，处理单元，具体用于根据至少一个特征点中每个特征点对应的像素坐标进行特征匹配，确定每个特征点在相机坐标系下的相机坐标。

17、作为本公开一种可选的实施方式，处理单元，具体用于根据相机坐标和获取单元获取的位姿信息，确定每个特征点在世界坐标系下对应的地图点；处理单元，具体用于将地图点进行投影，确定深度图；处理单元，具体用于根据深度图和获取单元获取的彩色环境图像，确定每个地图点对应的顶点坐标和纹理坐标。

18、第三方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现执行如上述第一方面提供的显示方法。

19、第四方面，本公开提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备执行如上述第一方面提供的显示方法。

20、第五方面，本公开提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面的设计方式的显示方法。

21、需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与虚拟现实装置的处理器封装在一起的，也可以与虚拟现实装置的处理器单独封装，本公开对此不作限定。

22、本公开中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

23、在本公开中，上述虚拟现实装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。

24、本公开的这些方面或其他方面在以下的描述中会更加简明易懂。

25、本公开提供的技术方案与现有技术相比具有如下优点：

26、通过单独的摄像头采集彩色环境图像，这样可以避免采用鱼眼摄像头提供的当前环境图像来进行渲染时，与人眼的看到的当前环境图像有一定偏差，会有一部分盲区的存在，使得当前环境图像显示不完整的问题。同时，在对彩色环境图像进行渲染后，用户看到的渲染图像也是彩色的，由于用户实际看到的渲染图像与当前环境的彩色环境图像均为彩色图像，从而可以提高用户体验的真实性。这样，用户在观看渲染图像时，由于渲染图像显示的与用户实际观看的当前环境的彩色环境图像相同，用户不会产生眩晕感，出现恶心、头晕等晕动症状。解决了现有技术中用户在进行虚拟现实交互过程中，由于当前环境图像显示的不完整，导致用户产生眩晕感，出现恶心、头晕等晕动症状的问题。