一种成像方法及穿戴式设备与流程

本发明涉及增强现实技术领域，特别是涉及一种成像方法及穿戴式设备。

背景技术：

增强现实(augmentedreality，简称ar)，是一种将真实世界图像和虚拟图像集成的新技术。通过电脑等科学技术，把原本在真实世界很难体验到的实体图像模拟仿真后得到虚拟图像，将虚拟图像应用到真实世界，实现真实世界图像和虚拟图像实时地叠加到了同一个画面或空间，被人类感官所感知，从而达到超越现实的感官体验。

现有的ar技术利用数字光处理技术对虚拟图像进行数字处理，然后将处理后的虚拟图像投射到人的视网膜，以实现真实世界图像和虚拟图像在人眼处的叠加。然而由于数字光处理技术自身的缺点，会出现投射的虚拟图像不够清晰、色彩饱和度低及出现色彩分离现象，导致投射虚拟图像的质量低。

技术实现要素：

本发明实施例的目的在于提供一种成像方法及穿戴式设备，以提高投射的虚拟图像的质量，提升用户体验。具体技术方案如下：

第一方面，提供了一种成像方法，所述方法应用于穿戴式设备，所述穿戴式设备包括外壳、微机电光机和光路结构，所述微机电光机和所述光路结构设置于所述外壳的内部，所述方法包括：

所述微机电光机获取待展示的虚拟图像，将所述虚拟图像投射到所述光路结构；

所述光路结构将所述虚拟图像折射和/或反射到预设位置，其中，所述预设位置为佩戴所述穿戴式设备的用户的视网膜上的特定位置。

可选的，所述将所述虚拟图像投射到所述光路结构，包括：

获取所述虚拟图像的第一投射角度，将所述虚拟图像按照所述第一投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述用户当前的视野范围中的目标真实物体的第一位置相匹配。

可选的，所述穿戴式设备还包括数据采集装置和驱动装置，所述数据采集装置和所述驱动装置设置于所述外壳的内部，所述驱动装置分别与所述数据采集装置和所述微机电光机电性连接，在所述将所述虚拟图像按照所述第一投射角度投射到所述光路结构之后，所述方法还包括：

当所述数据采集装置检测到所述用户的眼睛发生转动和/或头部发生移动时，采集所述用户的眼睛转动数据和头部移动数据；

所述数据采集装置根据所述眼睛转动数据和所述头部移动数据，确定所述目标真实物体在移动后的视野范围中的第二位置；

所述驱动装置根据所述第二位置对应的第二投射角度，驱动所述微机电光机将所述虚拟图像按照所述第二投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述目标真实物体的第二位置相匹配。

可选的，所述数据采集装置包括摄像头和陀螺仪，所述采集所述用户的眼睛转动数据和头部移动数据，包括：

所述摄像头采集所述用户的眼睛转动数据；

所述陀螺仪采集所述用户的头部移动数据。

可选的，所述数据采集装置还包括运算模块，所述运算模块的输入端分别与所述摄像头和所述陀螺仪电性连接，输出端与所述驱动装置连接。

可选的，所述微机电光机包括激光光源和镜片，所述将所述虚拟图像投射到所述光路结构，包括：

所述激光光源发射所述虚拟图像对应的复合彩光；

所述镜片将所述复合彩光反射至所述光路结构。

可选的，所述穿戴式设备还包括用于用户佩戴的头戴组件，所述头戴组件与所述外壳固定连接。

第二方面，提供了一种穿戴式设备，所述穿戴式设备包括外壳、微机电光机和光路结构，所述微机电光机和所述光路结构设置于所述外壳的内部，其中：

所述微机电光机，用于获取待展示的虚拟图像，将所述虚拟图像投射到所述光路结构；

所述光路结构，用于将所述虚拟图像折射和/或反射到预设位置，其中，所述预设位置为佩戴所述穿戴式设备的用户的视网膜上的特定位置。

可选的，所述微机电光机，用于获取所述虚拟图像的第一投射角度，将所述虚拟图像按照所述第一投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述用户当前的视野范围中的目标真实物体的第一位置相匹配。

可选的，所述穿戴式设备还包括数据采集装置和驱动装置，所述数据采集装置和所述驱动装置设置于所述外壳的内部，所述驱动装置分别与所述数据采集装置和所述微机电光机电性连接，其中：

所述数据采集装置，用于当检测到所述用户的眼睛发生转动和/或头部发生移动时，采集所述用户的眼睛转动数据和头部移动数据，根据所述眼睛转动数据和所述头部移动数据，确定所述目标真实物体在移动后的视野范围中的第二位置；

所述驱动装置，用于根据所述第二位置对应的第二投射角度，驱动所述微机电光机将所述虚拟图像按照所述第二投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述目标真实物体的第二位置相匹配。

本发明实施例提供的一种成像方法及穿戴式设备，可以利用微机电光机将待展示的虚拟图像投射到光路结构，光路结构将虚拟图像折射和/或反射到佩戴穿戴式设备的用户的视网膜上的特定位置。利用微机电光机进行投射，可以提高投射的虚拟图像的质量，提升用户体验。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的成像方法的处理流程示意图；

图2为本发明实施例提供的穿戴式设备的一种工作原理示意图；

图3为本发明实施例提供的成像的第一场景示意图；

图4为本发明实施例提供的成像的第二场景示意图；

图5为本发明实施例提供的穿戴式设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的成像方法的处理流程示意图，包括：

s101：微机电光机获取待展示的虚拟图像，将虚拟图像投射到光路结构。

在实施中，该穿戴式设备可以包括外壳、微机电光机和光路结构。其中，微机电光机中可以设置有微机电系统(microelectromechanicalsystem，简称mems)、激光光源和镜片。该激光光源可以发射待展示的虚拟图像对应的(r\g\b)三原色调制好的复合彩光，该微机电系统可以控制该镜片将激光光源发出的复合彩光反射至光路结构，逐点逐行扫描出一帧完整图像(即虚拟图像)，从而实现虚拟图像的投射。与传统投影仪对比，微机电光机具有体积小、成像清晰、成像还原度高、成像饱和度高和无需对焦等多种优势。该穿戴式设备还可以包括外壳，外壳中可以集成除头戴组件以外的其他部分。例如，可以集成上述微机电光机和光路结构，微机电光机和光路结构可以设置于外壳的内部。另外，外壳中还可以集成负责运算的部件，比如cpu(centralprocessingunit，中央处理器)、gpu(graphicsprocessingunit，图形处理器)和memory(存储器)等。在运算量较大的情况下，负责运算的部件也可以借助其他设备实现。比如可以通过连接pc或智能设备实现。

可选的，该穿戴式设备可以是头部佩戴的穿戴式设备。此时，该穿戴式设备还可以包括头戴组件。头戴组件可以用于用户佩戴固定，头部佩戴的穿戴式设备常会被设计成类似眼镜、耳机或头盔的形状，以便于用户佩戴。

当用户佩戴了穿戴式设备后，可以通过穿戴式设备上的实体或虚拟的按键来启动该穿戴式设备，此时若该穿戴式设备没有信号的接入，用户会看到显示当前无信号输入的界面，或者，用户只能看到当前视野范围内的目标真实物体。穿戴式设备可以与输入设备建立数据连接，该输入设备可以是手机或平板电脑等智能设备，用于将待展示的虚拟图像传输给穿戴式设备，以便穿戴式设备进行展示。输入设备中可以预先存储多种场景对应的虚拟图像，用户可以在输入设备中选择想要体验的场景，输入设备则可以将该场景对应的虚拟图像传输给微机电光机。微机电光机获取到该虚拟图像后，可以将该虚拟图像投射到光路结构，以便对该虚拟图像进行展示。

例如，穿戴式设备与智能手机连接，用户可以在智能手机上选择需要体验的游戏场景，智能手机则会显示该游戏场景对应的虚拟图像，并将该虚拟图像发送给该穿戴式设备，该穿戴式设备对该虚拟图像进行展示，用户则可以看到该虚拟图像叠加到真实世界物体的效果，体验到更真实的游戏场景。在使用过程中，用户随时可以通过更换手机的播放内容来改变呈现的虚拟图像。在用户体验过程中，当身体发生移动，穿戴式设备会根据用户身体移动的情况，对虚拟图像的成像位置进行调整，让用户体验到身临其境的感觉。

在本发明实施例中，待展示的虚拟图像可以是预先生成的图像，光路结构可以是用于辅助微机电光机以改变虚拟图像的成像位置的光折射和/或光反射装置。

s102：光路结构将虚拟图像折射和/或反射到预设位置。

其中，预设位置为佩戴穿戴式设备的用户的视网膜上的特定位置。

在发明实施例中，光路结构将虚拟图像折射和/或反射到佩戴穿戴式设备的用户的视网膜上，以实现用户观看到的目标真实物体与虚拟图像叠加的效果。

由以上可见，在本发明实施例中，利用微机电光机获取待展示的虚拟图像，并投射到光路结构，光路结构再将虚拟图像折射和/或反射到预设位置。与现有技术相比，利用微机电光机进行虚拟图像的投射，能够得到更加清晰、还原度更高、饱和度更高的虚拟图像，提高投射的虚拟图像的质量，且微机电光机体积小，成像时无需对焦，能够提升用户体验。

在本发明的一个具体实施例中，微机电光机还可以获取虚拟图像的第一投射角度，将虚拟图像按照第一投射角度投射到光路结构，以使得虚拟图像呈现在用户的视网膜上的位置与用户当前的视野范围中的目标真实物体的第一位置相匹配。

其中，第一投射角度可以是预先设置的在穿戴式设备刚启动时的一个初始投射角度，或者是上一次用户的眼睛发生转动和/或头部发生移动时，根据用户的眼睛转动数据和头部移动数据计算出的投射角度，以使得虚拟图像呈现在用户的视网膜上的位置，与当前的视野范围中的目标真实物体的第一位置相匹配。这样，用户视觉上可以达到虚拟图像是现实场景中物体的效果，实现增强现实。根据用户的眼睛转动数据和头部移动数据计算投射角度的过程后续会进行详细说明；第一位置可以是目标真实物体在用户当前的视野范围内的相对位置。

由以上可见，在本发明实施例中，微机电光机可以获取第一投射角度，将虚拟图像按照第一投射角度投射到光路结构，以使得虚拟图像呈现在用户的视网膜上的位置与用户当前的视野范围中的目标真实物体的第一位置相匹配。实现了虚拟图像和用户观看到的目标真实物体的位置匹配，提升用户的体验。

在本发明的一个具体实施例中，穿戴式设备还可以包括数据采集装置和驱动装置，该数据采集装置和驱动装置可以设置于外壳的内部，驱动装置分别与数据采集装置和微机电光机电性连接。

在将虚拟图像按照第一投射角度投射到光路结构后，穿戴式设备还可以根据用户的眼睛发生转动和/或头部发生移动的情况，实时调整虚拟图像的成像位置，具体的处理过程可以如下：在数据采集装置检测到用户的眼睛发生转动和/或头部发生移动时，采集用户的眼睛转动数据和头部移动数据；数据采集装置根据眼睛转动数据和头部移动数据，确定目标真实物体在移动后的视野范围中的第二位置；驱动装置根据第二位置对应的第二投射角度，驱动微机电光机将虚拟图像按照第二投射角度投射到光路结构，以使得虚拟图像呈现在用户的视网膜上的位置与目标真实物体的第二位置相匹配。

在实施中，穿戴式设备的外壳还可以集成数据采集装置和驱动装置，驱动装置的一端可以与数据采集装置电性连接，另一端可以与微机电光机电性连接，另外，驱动装置还可以与光路结构电性连接。数据采集装置可以用于实时采集用户的眼睛转动数据和头部移动数据，把采集到的眼睛转动数据和头部移动数据存储起来，以便后续计算投射角度；驱动装置可以是独立于微机电光机的一个装置，用于驱动微机电光机按照预设的或计算出的投射角度进行投射，驱动装置还可以驱动光路结构改变折射角度和/或反射角度。数据采集装置和驱动装置可以通过电性连接进行数据传输；第二投射角度可以是根据第二位置计算得到的微机电光机的投射角度。

可选的，数据采集装置可以包括摄像头和陀螺仪，相应的，采集用户的眼睛转动数据和头部移动数据的处理过程可以如下：摄像头采集用户的眼睛转动数据；陀螺仪采集用户的头部移动数据。

在实施中，当数据采集装置检测到用户眼睛发生转动和/或头部发生移动时，摄像头能够检测眼球的转动，得到眼睛转动数据(比如眼睛转动的角度)，陀螺仪能够检测头部的移动，得到头部移动数据(比如头部的位移)。数据采集装置可以根据眼睛转动数据和头部移动数据，确定用户的视野范围的变化，得到视野范围的位移，进而根据视野范围的位移，确定目标真实物体在变化后的视野范围中的相对位置(即第二位置)，进而根据第二位置计算出微机电光机所需要的投射角度(即第二投射角度)，然后将第二投射角度传输给驱动装置，驱动装置则会驱动微机电光机以该第二投射角度进行投射，另外，数据采集装置也可以根据第二位置计算光路结构的折射角度和/或反射角度，然后将该折射角度和/或反射角度传输给驱动装置，驱动装置则会驱动光路结构以该折射角度和/或反射角度进行折射和/或反射，配合微机电光机完成图像的呈现，使得用户的眼睛发生转动和/或头部发生移动后，虚拟图像与目标真实物体在用户的视野范围内的相对位置不变。

可选的，数据采集装置还可以包括运算模块，运算模块的输入端可以分别与摄像头和陀螺仪电性连接，输出端与驱动装置连接。参见图2，为本发明实施例提供的应用上述成像方法的穿戴式设备的一种工作原理示意图。

在实施中，当摄像头和陀螺仪采集到用户的眼睛转动数据和头部移动数据后，可以将采集到的眼睛转动数据和头部移动数据发送给运算模块，运算模块可以是上述负责运算的部件，比如cpu、gpu或存储器等。运算模块可以分别确定眼睛转动数据导致的视野变化，得到视野范围的第一位移，以及头部移动数据导致的视野变化，得到视野范围的第二位移。进而根据第一位移和第二位移，确定用户的视野范围的变化，根据用户的视野范围的变化，计算出目标真实物体在移动后的视野范围内的相对位置(即第二位置)，然后根据第二位置，计算出微机电光机所需要的投射角度(即第二投射角度)。运算模块可以根据第二位置确定微机电光机所需要的投射角度(即第二投射角度)，然后输出第二投射角度给驱动装置，以便驱动装置驱动微机电光机以该第二投射角度进行投射。运算模块也可以根据第二位置计算光路结构的折射角度和/或反射角度，然后输出该折射角度和/或反射角度给驱动装置，以便驱动装置驱动光路结构以该折射角度和/或反射角度进行折射和/或反射。另外，运算模块也可以是数据采集装置以外的模块，本实施例不做限定。

由以上可见，在本发明实施例中，利用摄像头采集用户的眼睛转动数据，利用陀螺仪采集用户的头部移动数据，可以得到精确的用户的眼睛转动数据和头部移动数据，然后由运算模块进行计算，得到目标真实物体呈现在用户的视野范围内的精确的位置变化，获得微机电光机的投射角度和光路结构的折射角度和/或反射角度，实现了根据用户的视野范围的变化改变虚拟图像呈现在用户的视网膜上的位置，达到逼真的现实增强效果，提升了用户体验。

示例性的，参见图3，为本发明实施例提供的成像的第一场景示意图。其中，c1代表用户当前的视野范围，b代表目标真实物体，图中二者的相对位置关系，表现出目标真实物体b在用户当前的视野范围c1内的第一位置，a是被投射的虚拟图像。虚拟图像a按照所述第一投射角度投射到用户的视网膜上，即可与目标真实物体b在用户当前的视野范围c1内相叠加，视觉上达到虚拟图像a放置在目标真实物体b上的效果。由此，基于增强现实技术显示的虚拟图像a，可以产生一种类似于真实物体的视觉效果。

前述实施例中所谓虚拟图像呈现在用户的视网膜上的位置与目标真实物体的第一位置相匹配，在此处意味着视觉上虚拟图像a与目标真实物体b在第一位置上特定的位置关系，即虚拟图像a放置在目标真实物体b上。

参见图4，为本发明实施例提供的成像的第二场景示意图，c2代表用户的眼睛发生转动和/或头部发生移动后用户的视野范围，即用户的眼睛发生转动和/或头部发生移动，用户的视野范围发生了变化，b作为目标真实物体，其实际位置不会发生改变，则目标真实物体b在视野中的位置必然随着用户的视野移动而变化，而在视野范围内发生如图4所示的“移动”。以用户的视野范围为参考系的话，即可以认为目标真实物体b在视野中从第一位置移动到第二位置。

由于虚拟图像a本质上是呈现在用户的视野范围内的视觉效果，若要使虚拟图像a产生更接近于真实物体的视觉效果，便应该在视野移动的过程中尽可能的令虚拟图像a符合真实物体的视觉特性，也就是保证虚拟图像a和目标真实物体b的相对位置关系不变。这就必须在用户的视野范围变化的过程中相应地改变虚拟图像a呈现在用户的视野范围内的位置，以使得虚拟图像a能够跟随目标真实物体b在视野范围内“移动”。即需要实现目标真实物体b从第一位置移动到第二位置后，虚拟图像a依然与目标真实物体b的第二位置相匹配。

需要说明的是，虚拟图像a在视野中的呈现位置，取决于形成虚拟图像a的光线投射在用户的视网膜上的位置。而在视野变化的过程中可以利用采集到的用户的眼睛转动数据和头部移动数据，计算得到视野范围c1到视野范围c2变化的方向和角度，进而逆向计算得到虚拟图像a应该呈现在视野范围c2内的相对位置，以及在虚拟图像a与视野范围c2的该相对位置下，形成虚拟图像a的光线针对视野范围c2的投射角度，即所述的第二投射角度。然后根据第二投射角度，驱动装置驱动微机电光机以该投射角度进行投射。以保证在视野范围c2内虚拟图像a与目标真实物体b的相对位置不变。其中，在对微机电光机进行投射角度的调整时，驱动装置也可以调整光路结构的折射角度和/或反射角度，配合微机电光机完成虚拟图像a呈现在用户的视野范围内的位置的改变，实现虚拟图像a与目标真实物体b的第二位置相匹配。

由以上可见，在本发明实施例中，当用户的眼睛发生转动和/或头部发生移动时，根据眼睛转动数据和头部移动数据得到第二投射角度，驱动装置驱动微机电光机将虚拟图像按照第二投射角度进行投射，以使得虚拟图像和目标真实物体呈现在用户的视野范围内的相对位置保持不变。本发明实施例实现了根据用户的视野范围的变化改变虚拟图像呈现在用户的视网膜上的位置，提高了成像的效果，提升了用户体验。

与图1的成像方法相对应，图5提供了应用上述成像方法的穿戴式设备的一种结构示意图，包括：外壳501、微机电光机502和光路结构503，所述微机电光机502和所述光路结构503设置于所述外壳501的内部，所述方法包括：

所述微机电光机502，用于获取待展示的虚拟图像，将所述虚拟图像投射到所述光路结构；

所述光路结构503，用于将所述虚拟图像折射和/或反射到预设位置，其中，所述预设位置为佩戴所述穿戴式设备的用户的视网膜上的特定位置。

由以上可见，在本发明实施例中，利用微机电光机获取待展示的虚拟图像，并投射到光路结构，光路结构再将虚拟图像折射和/或反射到预设位置。与现有技术相比，利用微机电光机进行虚拟图像的投射，能够得到更加清晰、还原度更高、饱和度更高的虚拟图像，提高投射的虚拟图像的质量，且微机电光机体积小，成像时无需对焦，能够提升用户体验。

在本发明的一个具体实施例中，微机电光机可以用于获取所述虚拟图像的第一投射角度，将所述虚拟图像按照所述第一投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述用户当前的视野范围中的目标真实物体的第一位置相匹配。

由以上可见，在本发明实施例中，微机电光机可以获取第一投射角度，将虚拟图像按照第一投射角度投射到光路结构，以使得虚拟图像呈现在用户的视网膜上的位置与用户当前的视野范围中的目标真实物体的第一位置相匹配。实现了虚拟图像和用户观看到的目标真实物体的位置匹配，提升用户的体验。

在本发明的一个具体实施例中，所述穿戴式设备还包括数据采集装置和驱动装置，所述数据采集装置和所述驱动装置设置于所述外壳的内部，所述驱动装置分别与所述数据采集装置和所述微机电光机电性连接。

所述数据采集装置，用于当检测到所述用户的眼睛发生转动和/或头部发生移动时，采集所述用户的眼睛转动数据和头部移动数据；根据所述眼睛转动数据和所述头部移动数据，确定所述目标真实物体在移动后的视野范围中的第二位置；

所述驱动装置，用于根据所述第二位置对应的第二投射角度，驱动所述微机电光机将所述虚拟图像按照所述第二投射角度投射到所述光路结构，以使得所述虚拟图像呈现在所述用户的视网膜上的位置与所述目标真实物体的第二位置相匹配。

由以上可见，在本发明实施例中，当用户的眼睛发生转动和/或头部发生移动时，根据眼睛转动数据和头部移动数据得到第二投射角度，驱动装置驱动微机电光机将虚拟图像按照第二投射角度进行投射，以使得虚拟图像和目标真实物体呈现在用户的视野范围内的相对位置保持不变。本发明实施例实现了根据用户的视野范围的变化改变虚拟图像呈现在用户的视网膜上的位置，提高了成像的效果，提升了用户体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。