一种增强现实的显示方法与流程

本发明实施例涉及增强现实领域，特别涉及一种增强现实的显示方法。

背景技术：

增强现实是指采用图像显示设备呈现现实世界的环境，并增加一些由计算机生成的感官输入，如声音、视频、图形等数据。作为新型的人机接口和仿真工具，增强现实技术受到的关注日益广泛，在许多领域已经发挥了重要作用，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大的深远的影响。增强现实眼镜作为一种新型的计算装置，在军事、工业、医疗、科技等众多领域已经具有广泛的应用。增强现实眼镜结合计算机图形技术、仿真技术和显示技术等多种综合技术手段，通过在现实场景中叠加计算机生成的虚拟三维图形，可以直观地展示和操控数字内容。由于增强现实眼镜在展示数字内容时需要与当前真实环境进行叠加，因此增强现实眼镜需要通过传感器系统采集当前环境的空间坐标信息。使用增强现实眼镜对环境进行扫描时，需要结合计算机图形技术、仿真技术和显示技术等，创建一个增强现实的环境，与现实环境进行交互。

然而，发明人发现现有技术中至少存在如下问题：生成增强现实环境需要结构光对现实环境进行多次扫描并进行建模，技术实现十分复杂，并且在加载一个虚拟显示屏时，常会不在用户的视角范围内，因此，需要寻找虚拟显示屏的位置，很大程度上影响了用户体验。也就是说，现有技术中，难以快速的获取虚拟显示屏的位置，而且技术实现比较复杂。

增强现实眼镜需要解决的另一个技术问题是与用户的信息交互，作为可穿戴设备，现有技术中普遍采用集成在眼镜上的物理按键、触控板或无线遥控装置作为输入设备，并拥有一套独立运行的应用软件使用这些交互设备，这些输入设备普遍功能简单，没有显示能力，难以进行直观交互或较为复杂的文字输入，这使得增强现实的应用能力受到很大限制。

技术实现要素：

本发明实施方式的目的在于提供一种增强现实的显示方法，使得可以快速获取虚拟显示屏的位置，采用具有显示能力的输入设备与增强现实眼镜进行直接的信息交互，使得增强现实的应用能力得到提高。

为解决上述技术问题，本发明的实施方式提供了一种增强现实的显示方法，包括：

获取输入设备的屏幕所在的二维平面；

根据二维平面，获取目标空间位置；

将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置；其中，虚拟显示屏显示输入设备输入的内容。

本发明实施方式相对于现有技术而言，获取输入设备的屏幕所在的二维平面；根据二维平面，获取目标空间位置；将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置；其中，虚拟显示屏显示输入设备输入的内容。通过直接获取输入设备的屏幕所在的二维平面就可以快速得到虚拟显示屏在现实环境中的空间位置，有利于避免对复杂的现实环境进行扫描，再基于扫描识别的结果将虚拟显示屏叠加到现实环境中这一相对复杂的方法，大幅度减轻了技术层面的工作量。同时，虚拟显示屏上可以直接显示用户通过输入设备输入的内容，输入设备具有屏幕，屏幕具有显示能力，可以直接与增强现实眼镜进行较为复杂的信息交互，这使得增强现实的应用能力得到提高。

另外，获取输入设备的屏幕所在的二维平面，具体包括：扫描输入设备的屏幕上显示的特征图像；提取特征图像上的特征点；根据提取的特征点获取输入设备的屏幕所在的二维平面。由于屏幕上的特征图像的特征点的特征更加明显，因此提取到的特征点相对稳定，基于相对稳定的特征点获取的二维平面也相对稳定，从而使得获得的虚拟显示屏的空间位置也相对稳定，大大提升了用户体验。

另外，在将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置之后，还包括：接收输入设备输入的控制信息；根据控制信息，控制虚拟显示屏的显示状态。通过输入设备输入的控制信息，可以控制虚拟显示屏的大小形状等显示状态的变化，使得虚拟显示屏的显示状态可以根据实际需求进行调整，方便了用户的使用。

另外，在控制虚拟显示屏的显示状态之后，还包括：判断是否接收到输入设备发送的锁屏信号；如果接收到锁屏信号，则将虚拟显示屏进行锁定。将虚拟显示屏进行锁定使得用户可以将输入设备作为键盘、鼠标或是遥控器等用户日常使用的设备进行使用。通过输入设备就可以非常直观便捷地的在被锁定的虚拟显示屏上进行相关的操作，使得增强现实的显示方法更加灵活。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式的增强现实的显示方法的流程示意图；

图2(a)是根据本发明第一实施方式的输入设备的屏幕上显示的一种特征图像的示意图；

图2(b)是根据本发明第一实施方式的输入设备的屏幕上显示的一种特征图像的示意图；

图2(c)是根据本发明第一实施方式的输入设备的屏幕上显示的一种特征图像的示意图；

图3是根据本发明第一实施方式的增强现实的显示方法的实际应用示意图；

图4是根据本发明第二实施方式的增强现实的显示方法的流程示意图；

图5是根据本发明第二实施方式的输入设备的设置参数界面示意图；

图6是根据本发明第二实施方式的虚拟显示屏的大小和位置变化的示意图；

图7是根据本发明第二实施方式的输入设备视为鼠标的示意图；

图8是根据本发明第二实施方式的输入设备视为键盘的示意图；

图9是根据本发明第三实施方式的增强现实的显示方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种增强现实的显示方法。本实施方式的核心在于获取输入设备的屏幕所在的二维平面；根据二维平面，获取目标空间位置；将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置；其中，虚拟显示屏显示输入设备输入的内容，使得可以快速获取虚拟显示屏的位置，采用具有显示能力的输入设备与增强现实眼镜进行直接的信息交互，使得增强现实的应用能力得到提高。下面对本实施方式的增强现实的显示方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本发明第一实施方式的增强现实的显示方法的流程示意图如图1所示，增强现实的显示方法可以应用于增强现实眼镜，具体包括：

步骤101：获取输入设备的屏幕所在的二维平面。

具体地说，增强现实眼镜可以获取输入设备的屏幕所在的二维平面，输入设备可以为个人电脑、手机、平板电脑等带有屏幕可以显示图像的智能设备。本实施方式中的输入设备以手机为例，但在实际应用中并不以此为限。

增强现实眼镜可以扫描手机的屏幕，并提取手机屏幕上的特征点，特征点可以理解为一个图像中存在的与其他点不同的特殊的点，比如说一张纯白的图像上就不存在特征点，而如果这张纯白的图像上有几个黑点，由于这几个黑点和这张纯白的图像上的其他点构成区别，那么就可以将这几个黑点作为特征点。手机屏幕上的特征点可以理解为手机的边框处的点，或是手机屏幕四周黑白交界处的点。可以理解的是，获取一个二维平面至少需要四个点的坐标，因此，要获取手机屏幕所在的二维平面需要至少四个特征点的坐标。增强现实眼镜可以提取手机屏幕上至少四个点的坐标，当然提取的特征点越多，获取的二维平面越准确。比如说，提取的手机屏幕上的特征点可以为特征点在屏幕上的坐标(u1，v1)，(u2，v2)，……，(un，vn)，那么根据这些点的坐标可以获取手机屏幕所在的二维平面。

增强现实眼镜还可以通过扫描手机屏幕上显示的特征图像，并提取特征图像上的特征点。手机屏幕上的特征图像可以如图2(a)、2(b)、2(c)所示，当然本实施方式只是提供了三种可能出现的特征图像，但在实际应用中并不以此为限，特征图像可以为各种图案、数字、字母等。由于手机屏幕上的特征图像的特征点特征更加突出，都比较明显，而且增强现实眼镜很容易就能提取到多个比较稳定的特征点，那么基于这些数量较多且相对较稳定的特征点而获取的手机屏幕所在的二维平面就相对准确，而且也更加稳定。

需要说明的是，本实施方式中只是提供了两种获取输入设备的屏幕所在的二维平面的方法，但在实际应用中并不以此为限，任何关于增强现实眼镜获取输入设备的屏幕所在的二维平面的方法均在本实施方式保护范围之内。

步骤102：根据二维平面，获取目标空间位置。

具体地说，增强现实眼镜可以根据手机屏幕所在的二维平面，获取手机的第一空间位置；根据手机所在的第一空间位置，获取目标空间位置，目标空间位置可以理解为虚拟显示屏的空间位置。比如说，增强现实眼镜中的相机对手机屏幕进行扫描，那么可以建立以相机为中心的相机坐标系统(xc，yc，zc)，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与相平面垂直。相机坐标系下的坐标即为手机所在的第一空间位置的坐标。同时，建立以手机屏幕为基准的(xw，yw，zw)的世界坐标系，该世界坐标系以上述提取的某个特征点为原点，xy平面(二维平面)和手机平面所在的平面重合，z轴垂直于手机平面。世界坐标系下的坐标即为虚拟显示屏所在的目标空间位置的坐标。可以通过算法建立相机坐标系和世界坐标系的转换关系，求出世界坐标系到相机坐标系的旋转矩阵r和平移矩阵t。利用直接线性转换算法来计算世界平面和相机平面的单应矩阵homography，从而求出两个坐标系之间的旋转矩阵r和平移矩阵t。同样，也可以利用非线性优化的方法来计算求出两个坐标系之间的旋转矩阵r和平移矩阵t。从而使得根据手机所在的第一空间位置，获取目标空间位置。

为了获取虚拟显示屏的空间位置还可以利用提取到的4个或者4个以上的特征点来进行坐标系的变换。假设特征点在屏幕的坐标(u1，v1)，(u2，v2)，……，(un，vn)，通过相机的内部参数，特征点在手机屏幕所在的二维平面上的二维坐标可以转换成相机坐标(x1c，y1c，z1c)，(x2c，y2c，z2c)，……，(xnc，ync，znc)。如果手机屏幕或是手机屏幕上显示的特征图像的相关特征信息，比如尺寸大小等被提前标记过，那么每个对应的特征点在世界坐标系的位置也可以得出(x1w，y1w，z1w)，(x2w，y2w，z2w)，……，(xnw，ynw，znw)。

需要说明的是，本实施方式只是提供了两种根据二维平面获取目标空间位置的实现方法，在实际应用中并不以此为限，任何基于二维平面获取目标空间位置的方法都在本发明实施方式保护范围之内。

步骤103：将虚拟显示屏投影到目标空间位置。

具体地说，将步骤102中获取的所述目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置，即增强现实眼镜会将虚拟显示屏投影到目标空间位置处，虚拟显示屏可以显示输入设备输入的内容。虚拟显示屏的空间位置确定了，它的大小和形状可以为默认的值也可以为通过手机进行设置的值。比如说，本实施方式中增强现实眼镜301、虚拟显示屏302、手机303之间的关系可以如图3中所示，虚拟显示屏302上可以显示手机303输入的内容。用户可以在手机上方获得一个虚拟显示屏302，该虚拟显示屏302上可以显示手机303屏幕上的内容，同时该虚拟显示屏302也可以跟随手机303的移动而移动，相当于给手机303增加了一个便携的大屏幕。

与现有技术相比，本实施方式中，获取输入设备的屏幕所在的二维平面；根据二维平面，获取目标空间位置；将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置；其中，虚拟显示屏显示输入设备输入的内容。通过直接获取输入设备的屏幕所在的二维平面就可以快速得到虚拟显示屏在现实环境中的空间位置，有利于避免对复杂的现实环境进行扫描再基于扫描识别的结果将虚拟显示屏叠加到现实环境中这一相对复杂的方法，大幅度减轻了技术层面的工作量。同时，虚拟显示屏上可以直接显示用户通过输入设备输入的内容，输入设备具有屏幕，屏幕具有显示能力，可以直接与增强现实眼镜进行较为复杂的信息交互，这使得增强现实的应用能力得到提高。

本发明的第二实施方式涉及一种增强现实的显示方法。第二实施方式是第一实施方式的进一步改进，主要改进之处在于：将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置之后，还包括：接收输入设备输入的控制信息；根据控制信息，控制虚拟显示屏的显示状态。

本发明第二实施方式的增强现实的显示方法的流程示意图如图4所示，具体包括：

步骤401：获取输入设备的屏幕所在的二维平面。

步骤402：根据二维平面，获取目标空间位置。

步骤403：将虚拟显示屏投影到目标空间位置。

由于本实施方式中步骤401至步骤403分别与第一实施方式中步骤101至步骤103大致相同，因此，为避免重复再次不再一一赘述。

步骤404：接收输入设备输入的控制信息。

具体地说，输入设备输入的控制信息可以为虚拟显示屏的大小尺寸、形状、与增强现实眼镜的距离等信息。比如说用户觉得当前的虚拟显示屏的尺寸太小，那么可以通过将预计的尺寸输入到输入设备，输入设备将预计的尺寸发送给增强现实眼镜，当然增强现实眼镜与输入设备可以通过无线连接也可以通过有线连接，使得增强现实眼镜可以接收到输入设备输入的控制信息。用户也可以根据自己的喜好对虚拟显示屏的形状进行设置，比如说圆形、方形或是其他任何形状。如果用户觉得当前的虚拟显示屏离自己的距离较近，看着不舒服，也可以对上述距离进行调节，以达到用户满意的距离。

比如说，输入设备的设置参数界面示意图如图5所示。输入设备可以是手机，通过手机输入参数，调节虚拟显示屏大小、位置等显示状态。为适应于用户的各种需求，可将虚拟显示屏大小、形状、距离改变。手机屏幕上按钮501是调节虚拟显示屏上下左右移动或者选择虚拟显示屏的形状，按钮502是调节虚拟显示屏前后移动，按钮503是调节虚拟显示屏大小，按钮504是智能手机界面的前进和后退。本实施方式只是提供一种输入设备的设置参数界面示意图，在实际应用中设置参数的界面并不以此为限。步骤405：根据控制信息，控制虚拟显示屏的显示状态。

具体地说，如果控制信息是增大虚拟显示屏的尺寸，那么增强现实眼镜就会控制虚拟显示屏的尺寸增大到控制信息所指示的尺寸大小，也可以根据手机输入的控制信息控制虚拟显示屏的位置发生变化。比如虚拟显示屏的大小和位置变化的示意图可以如图6所示，用户觉得虚拟显示屏601当前的位置和大小都不能满足自己当前的需求，那么可以通过手机输入控制信息使得改变虚拟显示屏601的大小和显示的位置，增强现实眼镜在接收到控制信息后，将更新后的虚拟显示屏602显示在用户期望的位置。当然本实施方式中虚拟显示屏的形状以四边形为例，在实际应用中并不以此为限。

步骤406：判断是否接收到输入设备发送的锁屏信号，如果是，则执行步骤407，如果否，则该流程结束。

比如说，如果用户觉得当前的虚拟显示屏的大小、形状等显示状态都比较合适，不想再因为手机(输入设备)的移动而让当前虚拟显示屏的位置发生变化，那么就可以通过手机向增强现实眼镜发送锁屏信号。增强现实眼镜可以判断是否接收到手机发送的锁屏信号，如果接收到锁屏信号则执行步骤407，否则该流程结束。

步骤407：将虚拟显示屏进行锁定。

具体地说，将虚拟显示屏进行锁定后，虚拟显示屏的位置并不会再因为输入设备的移动而发生变化，那么此时输入设备可以视为鼠标如图7所示，输入设备可以为手机，此时手机就具有了鼠标的功能，可以对虚拟显示屏上显示的内容进行相应的操作。输入设备还可以视为键盘如图8所示，输入设备可以为手机，此时手机就有了键盘的功能，可以通过键盘输入用户想要在虚拟显示屏上看到的内容。当然，还可以将输入设备作为遥控器、手柄等，本实施方式中只是提供了输入设备作为鼠标和键盘的实现方案，但在实际应用中并不以此为限。

需要说明的是，本实施方式中的输入设备只是以手机为例，但在实际应用中并不以此为限。

与现有技术相比，本发明实施方式，通过输入设备输入的控制信息，可以控制虚拟显示屏的大小形状等显示状态的变化，使得虚拟显示屏的显示状态可以根据实际需求进行调整，方便了用户的使用。将虚拟显示屏进行锁定使得用户可以将输入设备作为键盘、鼠标或是遥控器等用户日常使用的设备进行使用。通过输入设备就可以非常直观便捷地的在被锁定的虚拟显示屏上进行相关的操作，使得增强现实的显示方法更加灵活。

本发明的第三实施方式涉及一种增强现实的显示方法。第三实施方式是第一实施方式的进一步改进，主要改进之处在于，将目标空间位置作为虚拟显示屏叠加在现实环境中的空间位置之后，还包括：根据输入设备输入的信息获取显示内容；虚拟显示屏显示输入设备输入的内容，具体为：虚拟显示屏显示获取的显示内容。

本发明第三实施方式的增强现实的显示方法的流程示意图如图9所示，具体包括：

步骤901：获取输入设备的屏幕所在的二维平面。

步骤902：根据二维平面，获取目标空间位置。

步骤903：将虚拟显示屏投影到目标空间位置。

由于本实施方式中步骤901至步骤903分别与第一实施方式中步骤101至步骤103大致相同，因此，为避免重复再次不再一一赘述。

步骤904：根据输入设备输入的信息获取显示内容。

具体地说，增强现实眼镜可以通过扫描输入设备的屏幕，获取输入设备输入的信息，根据扫描的信息，获取显示内容。输入设备可以为手机，手机输入的信息可以为二维码信息，二维码显示在手机的屏幕上，增强现实眼镜通过扫描二维码，获取要显示的内容，要显示的内容就是二维码所对应的内容。手机输入的信息也可以是一个网址，网址以文字图片的格式显示在手机的屏幕上，增强现实眼镜通过扫描手机屏幕上的网址，获取要显示的内容，要显示的内容可以是网址所对应的网页，也可以是网址本身。如果手机输入的信息只是一张普通的图片，那么增强现实眼镜通过扫描手机上显示的图片获取的显示的内容就是手机上显示的图片。当然，在实际用用中，手机还可以和增强现实眼镜通过蓝牙配对连接，手机可以直接将输入的信息发送给增强现实眼镜，增强现实眼镜通过接收手机发送的信息，获取手机输入的信息。

值得一提的是，增强现实眼镜还可以在接收到账户信息时，对用户输入的账户信息进行登陆、添加、注销或是删除等操作。比如说，二维码对应的内容也可以是用户名(账户信息)，如果用户需要使用二维码登陆的话，虚拟显示屏上可以显示二维码对应的用户名，也可以显示登陆成功或失败的界面。增强现实眼镜也可以将识别到的二维码所对应的账户信息加为好友，或者从好友列表中删除，或者注销。账户信息可以通过增强现实眼镜扫描输入设备显示的二维码获取，也可以通过用户直接在输入设备中输入账户信息再发送给增强现实眼镜而获取。总之，输入设备输入的信息可以对应多种显示状态，虚拟显示屏上显示的内容既可以是输入设备屏幕上显示的图像所代表的内容，也可以是输入设备输入的信息所对应的其他内容。

需要说明的是，本实施方式只是提供了两种增强现实眼镜获取要显示的内容的方法，在实际应用中并不以此为限，任何增强现实眼镜获取显示内容的方法均在本发明实施方式保护范围之内。

步骤905：将显示内容显示在虚拟显示屏上。

比如说，增强现实眼镜获取的显示内容是二维码对应的网页的内容，那么就将网页的内容显示在虚拟显示屏上。如果增强现实眼镜获取的显示内容是网址对应的网站中的内容，那么就将网站中的内容显示在虚拟显示屏上。如果增强现实眼镜获取的显示内容是视频链接对应的视频，那么虚拟显示屏上就可以播放对应的视频。如果增强现实眼镜获取的显示内容是用户的账户信息，那么虚拟显示屏上就可以显示相关的登录或退出界面、添加好友界面、删除好友界面、注销账号界面等。当然，本实施方式只是提供几种可能显示在虚拟显示屏上的内容，但在实际应用中并不以此为限。值得一提的是，输入设备还可以将抽象的字符、图像、声音等格式的数据通过有线或无线通道发送到增强现实眼镜，扩展了输入设备的输入能力，同时使得增强现实眼镜的输出能力得到很大的提升。

与现有技术相比，本发明第三实施方式根据输入设备输入的信息获取显示内容，使得显示内容可以根据输入信息的变化而变化，用户可以根据实际需要，通过输入设备输入不同的信息，使虚拟显示屏上显示用户想要看到的内容，极大的提升了增强现实眼镜的输入输出能力，为用户创建了一个可以灵活操作的增强现实环境，方便了用户的使用。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。