一种用于呈现AR信息的方法及系统与流程

本申请涉及计算机领域，尤其涉及一种用于呈现ar信息的方法及系统。

背景技术：

增强现实技术(augmentedreality，简称ar)，是一种在屏幕上把虚拟世界套在现实世界并进行互动的技术，其将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中，并与现实物体或者使用者实现自然互动的创新的人机交互技术，强调虚实融合的自然人机视觉交互。

目前，ar技术能够在一定视野内，如在正对实际场景的视野内，能够提供虚拟信息与实际场景相叠加的视觉效果。然而当用户移动一定角度或调整距离时，所叠加的视觉效果并不会按照用户的移动而发生变化，这使得用户观看所述叠加效果无法满足用户姿态变化。

技术实现要素：

本申请的目的是提供一种用于呈现ar信息的方法及系统，以解决ar所呈现的视觉效果无法跟随用户的移动而对应调整的问题。

根据本申请的一个方面，提供了一种用于呈现ar信息的方法，其中，该方法包括：在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息；基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配；基于所述投影角度信息将所述ar信息呈现给所述用户。

在某些实施方式中，所述当前姿态信息还包括所述用户的当前位置信息；其中，所述方法还包括：基于所述当前位置信息确定所述ar信息的缩放信息；其中，所述基于所述投影角度信息将所述ar信息呈现给所述用户包括：基于所述投影角度信息及所述缩放信息将所述ar信息呈现给所述用户。

在某些实施方式中，所述基于所述投影角度信息及所述缩放信息将所述ar信息呈现给所述用户包括：根据所述缩放信息对所述ar信息进行缩放处理；基于所述投影角度信息将缩放处理后的所述ar信息呈现给所述用户。

在某些实施方式中，所述基于所述当前位置信息确定所述ar信息的缩放信息包括：基于所获取的当前位置信息确定所述用户与投影平面的当前距离信息，其中，所述投影平面用于呈现所述ar信息；基于所述用户与投影平面的当前距离信息及所述用户相对所述投影平面的初始距离信息，确定所述ar信息的缩放信息。

在某些实施方式中，所述基于所获取的当前位置信息确定所述用户与投影平面的当前距离信息，其中，所述投影平面用于呈现所述ar信息包括：根据所获取的当前位置信息所属的第一坐标系，确定所获取的当前位置信息在投影平面所属的第二坐标系中的对应位置信息，其中，所述投影平面用于呈现所述ar信息；根据所获取的当前位置信息在所述第二坐标系中的对应位置信息，确定所述用户与投影平面的当前距离信息。

在某些实施方式中，所述在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息包括：在为用户呈现ar信息的过程中，获取所述用户的当前深度图像信息；根据所述当前深度图像信息确定所述用户的当前姿态信息。

在某些实施方式中，所述在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息包括：在为用户呈现ar信息的过程中，获取所述用户相对测量装置的当前姿态信息；其中，所述基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配包括：基于所述测量装置与投影装置的相对位置关系调整所述当前姿态信息；基于调整后的所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在某些实施方式中，所述方法还包括：检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值；其中，所述基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配包括：若所述姿态变化等于或大于所述姿态变化阈值，基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在某些实施方式中，所述方法还包括：根据用户设备获取的标记对象，确定所述标记对象对应的ar信息；将所述ar信息呈现至所述用户设备对应的用户；其中，所述在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息包括：在为所述用户呈现所述ar信息的过程中，获取所述用户的当前姿态信息。

本申请的另一方面提供一种用于呈现ar信息的系统，其中，该系统包括：第一模块，用于在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息；第二模块，用于基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配；第三模块，用于基于所述投影角度信息将所述ar信息呈现给所述用户。

在某些实施方式中，所述当前姿态信息还包括所述用户的当前位置信息；其中，所述第三模块还用于基于所述当前位置信息确定所述ar信息的缩放信息；以及用于基于所述投影角度信息及所述缩放信息将所述ar信息呈现给所述用户。

在某些实施方式中，所述第三模块用于根据所述缩放信息对所述ar信息进行缩放处理；以及用于基于所述投影角度信息将缩放处理后的所述ar信息呈现给所述用户。

在某些实施方式中，所述第三模块用于基于所获取的当前位置信息确定所述用户与投影平面的当前距离信息，其中，所述投影平面用于呈现所述ar信息；以及用于基于所述用户与投影平面的当前距离信息及所述用户相对所述投影平面的初始距离信息，确定所述ar信息的缩放信息。

在某些实施方式中，所述第三模块用于根据所获取的当前位置信息所属的第一坐标系，确定所获取的当前位置信息在投影平面所属的第二坐标系中的对应位置信息；以及用于根据所获取的当前位置信息在所述第二坐标系中的对应位置信息，确定所述用户与投影平面的当前距离信息；其中，所述投影平面用于呈现所述ar信息。

在某些实施方式中，所述第一模块用于在为用户呈现ar信息的过程中，获取所述用户的当前深度图像信息，以及根据所述当前深度图像信息确定所述用户的当前姿态信息。

在某些实施方式中，所述第一模块在为用户呈现ar信息的过程中，获取所述用户相对测量装置的当前姿态信息；其中，所述第二模块基于所述测量装置与投影装置的相对位置关系调整所述当前姿态信息；以及基于调整后的所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在某些实施方式中，所述第二模块还用于检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值；若所述姿态变化等于或大于所述姿态变化阈值，基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在某些实施方式中，还包括：第四模块用于根据用户设备获取的标记对象，确定所述标记对象对应的ar信息；其中，所述第一模块用于在为所述用户呈现所述ar信息的过程中，获取所述用户的当前姿态信息；以及第三模块用于将所述ar信息呈现至所述用户设备对应的用户。

本申请再一方面提供一种用于呈现ar信息的系统，包括：测量装置，用于获取用户的当前姿态信息；投影装置，用于将所接收的ar信息予以投射；计算机设备，与所述测量装置和投影装置相连，用于基于所获取的当前姿态信息执行如上任一所述的方法。

在某些实施方式中，还包括：用户设备，用于获取对应ar信息的标记对象；所述计算机设备将对应所述标记对应的ar信息提供给投影装置。

本申请再一方面提供一种计算机设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序；当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的方法。

本申请再一方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如上任一项所述的方法被执行。

本申请再一方面提供一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如上任一项所述的方法被执行。

与现有技术相比，本申请通过获取用户当前姿态信息来调整ar信息的投影角度，实现了为用户提供与其姿态相符的ar信息的目的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于呈现ar信息的系统的架构示意图；

图2示出根据本申请另一个的一种用于呈现ar信息的方法的流程图；

图3示出根据本申请所述系统调整ar信息的投影角度信息的图示；

图4示出根据本申请再一个方面的一种用于呈现ar信息的系统的框架示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种用于呈现ar信息的系统。其中，所述系统包含测量装置11、计算机设备13和投影装置12。

其中，测量装置11用于获取用户的当前姿态信息。在此，为了能够捕获用户的当前姿态信息，所述测量装置11需被摆放在能够实时获取用户姿态信息的位置。为此，所述测量装置11包括但不限于便携式姿态信息获取装置、设置在空间内固定位置的姿态信息获取装置等。

其中，所述便携式姿态信息获取装置举例包括：手机、智能手表、平板电脑等。这些便携式姿态信息获取装置被放置在面向用户观看ar影像的位置或其他能够获取到用户当前姿态信息的位置。例如，利用便携式姿态信息获取装置中的摄像模组来获取用户的图像数据；所述图像数据可用来描述用户当前姿态信息。其中，所述当前姿态信息包括但不限于：用户的如站立姿态、坐姿、头部姿态等，其可利用在图像中所识别的人体对称轴相对于图像的预设轴线的偏角来描述。所述便携式姿态信息获取装置还可以包括类似智能手套等可佩戴的智能装置，利用其内部的如压力传感器、角度传感器、位移传感器等传感单元获取用户当前姿态信息。

设置在空间内固定位置的姿态信息获取装置可被固定安装在投影平面并面向用户，甚至还可以分布安装在屋内的多个角落位置，以便于追踪包含用户的图像数据，或全景获取室内的所有图像数据，甚至深度数据等。这类姿态信息获取装置包括但不限于摄像装置、深度传感阵列、超声波测距传感器、深度图像信息等。利用摄像装置来获取用户的图像数据；利用深度传感阵列来获取用户相距所述深度传感阵列的深度数据(即距离)。用户的当前姿态信息可借助于所获取的图像数据和深度数据来描述。在此，所述当前姿态信息还可以包含用户的当前位置；结合所述图像数据和深度数据可用来描述用户的当前位置。例如，所述测量装置11还可以是一种tof传感器，其获取到对应图像数据中各像素点的深度信息，并以rgb-d的数据结构描绘用户的当前姿态信息。

所述测量装置11还可以包含上述任一种便携式姿态信息获取装置、和与所述便携式姿态信息获取装置配合使用的其他姿态信息获取装置。所述其他姿态信息获取装置用于补充获取用户当前姿态信息。例如，测量装置11包括佩戴在用户身上的智能佩戴装置和设置在房间内的摄像装置(如具有深度检测的摄像装置、或双目摄像装置)，利用智能佩戴装置收集用户改变姿势时所产生的如角度、高度等感应数据，以及利用摄像装置获取用户图像及用户在房间内的位置；对应地，测量装置11所测量的用户当前姿态信息包括：用户姿势变化而产生的角度、高度等感应数据，以及用于表示用户在房间内的位置的角度、深度信息等。以上所使用的测量装置仅为举例而非对本申请的限制，例如，测量装置还可以包含内置在便携设备中的蓝牙装置a1、及用于测量用户移动偏角的惯性传感器，和设置在计算机设备中的与所述蓝牙装置a1配对的蓝牙装置a2，其中，配对的蓝牙装置a1和a2可用于测量用户相对于计算机设备的距离，惯性传感器可测量用户相对于前一时刻位置或初始位置的移动偏角，由此测量装置测得用户相对于计算机设备的位置信息。技术人员可基于上述测量装置的示例及其可替换的其他能够测量用户姿态信息的设备或仪器获取相应的用户当前姿态信息。

需要说明的是，上述当前姿态信息的获取方式仅为举例，而非对本申请的限制。利用其他已知的姿态采集方式获取用户的当前姿态信息亦属于本申请技术思想下的示例。

在此，所述测量装置11需与计算机设备13数据通信。例如，测量装置11通过数据线连接计算机设备13。又如测量装置11通过无线网络连接计算机设备13。计算机设备13可控制测量装置11使其在为用户呈现ar信息过程中获取所述用户的当前姿态信息。或者，测量装置11始终获取用户的当前姿态信息并基于计算机设备13的请求将所获取的当前姿态信息发送给计算机设备13。

该计算机设备13主要具有数字运算和逻辑处理能力，其包括但不限于：个人电脑、笔记本电脑、基于嵌入式操作系统的其他计算机设备等。所述计算机设备13至少包含：一个或多个处理器、存储器、与测量装置11数据通信的第一接口单元、与投影装置进行数据通信的第二接口单元等。其中，所述存储器包含高速存储器及低速存储器，所述高速存储器包括但不限于内存，低速存储器包括但不限于如硬盘等非易失性存储器，在存储器中存储有程序、所获取的当前姿态信息以及为用户呈现的ar信息等。处理器通过执行程序所指示的各时序指令以控制与处理器连接的各硬件。各硬件的时序运行执行了所述计算机设备13的工作过程。所述第一接口单元和第二接口单元可共用或被单独配置，其包括但不限于：网络接口、数据线接口等。其中，所述ar信息包括但不限于：视频、3d动态模型、文字、图片等。

所述投影装置用于将所接收的ar信息予以投射。在此，投影装置可固定安装在房间的投影平面前，或可调整放置在房间任意位置。所述投影装置可通过数据线或无线通信的方式连接计算机设备13。所述投影平面可以是专用投影幕布、墙壁、桌面、甚至实际物理空间中的虚拟平面中的任一种。

所述投影装置12所投射的ar信息可以是预设的。在一些实施方式中，所述投影装置12所投射的ar信息可由用户操作用户设备而提供。例如，所述系统还包括用户设备(未予图示)，其用于获取标记对象并提供给计算机设备13。其中，所述标记对象包括但不限于：二维码、照片、场景图像、实物图像、三维物体或有特定形状物体等。所述用户设备包括但不限于：扫描仪、手机、平板电脑、相机或其它用户设备。例如，用户持手机扫描二维码，利用手机中内置的二维码解析器得到所要投放的ar信息的链接，将所述链接提供给计算机设备13则可将相应ar信息显示在投影平面上。又如，用户持手机拍摄照片，并利用手机将照片提供给计算机设备，由计算机设备提取照片中的标识码并获取相应的ar信息。

需要说明的是，受用户设备的处理能力、设计需要等因素影响，所述用户设备还可以获取标记对象，确定所述标记对象所对应的ar信息，以及将所确定的ar信息传递给计算机设备13，由计算机设备13将所得到的ar信息进行如下述方法所描述过程的处理，并通过投影装置展示出来。例如，用户持手机拍摄照片，将所述照片传输至计算机设备13中，则计算机设备13可将该照片作为ar信息显示在投影平面上。又如，用户将电脑中存储的三维图像数据、视频、文档或其他可视化文件传输至计算机设备13中，则计算机设备13可将相应的可视化文件作为ar信息显示在投影平面上。

所述计算机设备13的工作过程如图2所示的方法中的步骤：

在步骤s110中，在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息。

在此，根据程序启动指令，计算机设备13将所存储的ar信息或从网络下载的ar信息提供给投影装置。在起始之初，计算机设备13按照预设的初始姿态将所述ar信息提供给投影装置，并开始获取用户的当前姿态信息。

在此，为了能够根据图像数据、传感数据(如深度数据)得到用户在实际物理空间中的当前姿态信息，所述计算机设备13中预先存储有关于图像像素和物理空间的坐标对应关系。所述计算机设备13可基于所获取的图像数据得到更直接的描述用户当前姿态的当前姿态信息。例如，计算机设备13利用视觉追踪技术对图像数据中的人物区域进行追踪，由此得到用户关于如站、坐、歪头等姿态信息。故而，用户的当前姿态信息主要包含头部姿态信息、身体姿态信息等。在此所述当前姿态信息可以是相对于前一时刻的姿态变化信息，也可以是相对于预设固定姿态的绝对姿态信息。

进一步地，所述计算机设备13还可以利用深度数据得到用户相对于投放平面的距离；以及结合图像数据和深度数据还可以得到用户自前一时刻至当前时刻所移动的角度信息和位置信息。其中，所述计算机设备13中预设有初始角度信息和初始位置，则所述计算机设备13所提供的当前姿态信息中还包括当前位置信息。所述当前位置信息包含相对于初始角度和初始距离的当前位置信息。

所述当前姿态信息由测量装置11所提供的当前深度图像信息提供时，所述步骤s110可包括：在为用户呈现ar信息的过程中，获取所述用户的当前深度图像信息；以及根据所述当前深度图像信息确定所述用户的当前姿态信息的步骤。

例如，所述计算机设备13在基于用户的启动操作运行ar应用时，实时获取测量装置11所提供的深度图像信息，并基于对深度图像信息中rgb信息的特征提取确定所拍摄到的用户的头部、身体等特征，并利用深度图像信息中各像素点的深度数据确定所拍摄到的用户面孔、肢体等的当前位置信息。接着，所述计算机设备13根据所得到的头部的对称轴相对于图像对称轴的夹角确定用户的当前偏角，以及以头部到测量装置11的最短距离(或者平均距离、或最长距离等)作为用户头部相对于测量装置11的距离。在一些示例中，所述头部对称轴相对于图像对称轴的夹角可利用用户双眼的位置关系来描述，所述计算机设备13可通过分析图像中用户双眼相对于图像对称轴的夹角确定用户头部的当前偏角，并基于所测量到的对应用户双眼的距离和方向来得到当前用户在房间中的位置。

又如，测量装置11为tof(timeofflight)深度传感器。tof深度传感器是通过给场景内的目标连续发送光脉冲，然后利用传感器接收从目标物体返回的光，通过探测光脉冲的飞行时间来得到目标物体的距离。tof深度传感器可除获取场景目标的二维图像外，还可以实时快速获取场景内每个像素点的深度信息(距离)。将传感器获得的这些信息传送给计算机设备13。计算机设备13借助识别和跟踪算法可以完成对目标的识别、姿态判断和跟踪。当用户的位置和姿态变化时，深度传感器会自动获取用户的二维图像和深度信息，传送给计算机设备13，借助计算机设备13中的识别算法(例如基于深度学习的姿态识别算法等)可以得到用户的姿态变化信息。

在步骤s120中，基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在一些实施方式中，计算机设备13可根据所获取的当前姿态信息确定ar信息在投影平面内的偏转角度信息，进而调整ar信息的投影角度信息。例如，计算机设备13根据所获取的头部姿态信息确定用户观看ar信息时从初始姿态信息中的偏角a1变化为当前姿态信息中的偏角a2。根据所述头部姿态信息相对于初始姿态信息的偏角差，计算机设备13将ar信息的投影角度信息自偏角b1转为偏角b2，其呈现的ar信息(如字母h)的变化如图3所示，其中，实线h为用户在初始姿态下所投射的ar信息，虚线h为用户在当前姿态下所投射的ar信息。

在又一些实施方式中，计算机设备13可根据所获取的当前姿态信息确定ar信息的虚拟投影平面。例如，计算机设备13根据当前姿态信息中用户当前位置、角度、距离信息等，确定用户在当前姿态下正视的虚拟投影平面。计算机设备13根据预设的投影装置所投影的投影平面与虚拟投影平面的夹角确定将ar信息投影到虚拟投影平面的投影角度信息。例如，将所述投影平面与虚拟投影平面的夹角作为投影角度信息。又如，将投影平面与虚拟投影平面的夹角的补角作为投影角度信息。接着，计算机设备13根据所得到的投影角度信息调整所呈现的ar信息中字体、图像形变等，使得用户自前一时刻姿态到当前时刻姿态所看到的同一ar信息基本一致。

具体地，所述计算机设备13基于所述测量装置11与投影装置的相对位置关系调整所述当前姿态信息；以及基于调整后的所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在此，计算机设备13预设或可预先输入测量装置11与投影装置在实际物理空间中的相对位置关系，以及所述用户相对所述投影平面的初始距离信息。其中所述相对位置关系包括但不限于：测量装置11与投影装置之间的间距、和投影装置的光轴与测量装置11之间的夹角等。所述初始距离可由计算机设备13在启动ar应用时提示用户的站位而得到。例如，在启动ar应用时，计算机设备通过投影装置显示用户所应处的初始位置，并由此确定初始距离。当计算机设备13通过视觉识别、跟踪技术、以及定位技术得到用户相对于测量装置11的当前姿态信息时，利用所预设的相对位置关系和初始距离将所得到的当前姿态信息转换成用户相对于投影装置的当前姿态信息。所述计算机设备13再根据转换后的当前姿态信息调整所述ar信息的投影角度信息、缩放比例等。

为了防止ar信息的频繁调整，例如，防止在用户短时姿态变化时同步调整ar信息。所述步骤s120还包括检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值的步骤。

在此，所述计算机设备13并非一定逐帧调整ar信息的投影角度信息，而是以预设时间间隔或图像间隔获取用户的姿态信息、甚至位置信息，并暂存前一时刻的姿态信息和位置信息。当计算机设备13获取到当前姿态信息和当前位置信息时，检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值。其中，所述姿态变化阈值包括实际物理空间内的角度变化阈值、图像内的像素间隔阈值。若所述姿态变化等于或大于所述姿态变化阈值，基于所述姿态变化调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在此基础上，计算机设备13还可以通过所获取的当前位置信息得到用户相对于上一位置的位置变化信息，并检测所述当前位置信息相对所述用户的前一位置信息的位置变化是否等于或大于位置变化阈值。其中，所述位置变化阈值包括实际物理空间内的距离变化阈值、图像内的像素间隔阈值。若所述位置变化等于或大于所述位置变化阈值，基于所述位置变化调整所述ar信息的缩放比例，以使得调整后的所述投影角度信息和缩放比例与所述当前姿态信息相匹配。

需要说明的是，上述各基于用户姿态信息调整ar信息的投影角度信息的方式仅为示例，本领域技术人员基于单独、组合或借鉴上述示例而设计的方案均应视为本申请的具体示例，在此不再一一详述。

在步骤s130中，基于所述投影角度信息将所述ar信息呈现给所述用户。

在此，计算机设备13按照投影角度信息调整ar信息。其中，根据待投影的ar信息的类型对ar信息进行基于投影角度信息的调整。例如，ar信息为三维图像，则按照投影角度将ar信息进行旋转处理。又如，ar信息为二维图像，参照3d画从一定角度看能给人很强的立体感，按照投影角度信息对所要呈现的图像利用变换矩阵(例如单应矩阵)进行变形处理。再如，ar信息包含文字信息，则可先按照预设的字体(如艺术字体等)将文字转换成图像再利用变换矩阵(例如单应矩阵)按照投影角度信息对包含所述文字信息的ar信息予以变形处理。

计算机设备13将变形后的ar图像发送给投影装置12，由投影装置12投射到投影平面上。由此用户在姿态变化时所看到的ar信息始终维持用户正视视角下所看到的ar信息。

在另一些实施方式中，计算机设备13还执行基于所获取的当前位置信息确定所述ar信息的缩放信息的步骤。在此，所述计算机设备13根据深度数据或深度图像信息确定用户当前相距投影平面的距离，并基于预设的图像单位像素与单位物理尺寸的对应关系，将ar信息予以放大、缩小或维持不变。例如，所述计算机设备13根据当前姿态信息中的当前位置信息可得到用户与测量装置11之间的距离，并结合预设的测量装置与投影平面之间的位置关系能够确定用户相距投影平面的距离。所述计算机设备13中可还预设有各距离段与ar信息的缩放比例的对应关系，基于所述对应关系确定ar信息的缩放信息。

需要说明的是，上述基于所述当前位置信息确定所述ar信息的缩放信息的方式仅为举例，事实上还可以基于前后两时刻用户相距投影平面的变化与ar信息的缩放比例的对应关系确定ar信息的缩放信息。本领域技术人员在上述任一种缩放信息的确定方式基础上进行改进，而得到ar信息的缩放信息的方式应视为本申请的具体示例。

在一些实施方式中，在实际安装场景中，测量装置11并非一定会与投影装置安装在同一位置，这使得计算机设备13所获取的当前姿态信息是基于测量装置11的测量角度而获得的。然而用户所观看的ar信息需基于投影装置的投影角度予以呈现。故而，计算机设备13还执行以下步骤：基于所获取的当前位置信息确定用户与投影平面的当前距离信息，其中，所述投影平面用于呈现所述ar信息；以及基于所述用户与投影平面的当前距离信息及所述用户相对所述投影平面的初始距离信息，确定所述ar信息的缩放信息。

在一些具体示例中，所述计算机设备13执行以下步骤以确定用户与投影平面的当前距离信息：根据所获取的当前位置信息所属的第一坐标系，确定所获取的当前位置信息在投影平面所属的第二坐标系中的对应位置信息；根据所获取的当前位置信息在所述第二坐标系中的对应位置信息，确定所述用户与投影平面的当前距离信息。其中，所述投影平面用于呈现所述ar信息。

例如，测量装置11为tof摄像装置，所述计算机设备13预先分别构建以tof摄像装置为原点的第一坐标系、以投影平面所在平面的第二坐标系、及两个坐标系的对应关系。其中，所述对应关系是基于预先经标定所确定的tof摄像装置和投影平面在实际物理空间中的位置关系而建立的。计算机设备13可得到tof摄像装置所获取的深度图像信息中对应用户面部图像区域的各像素点在第一坐标系中的当前位置信息；再根据所述对应关系确定这些像素点在第二坐标系中的对应位置信息，由此确定tof摄像装置所能拍摄到的用户面部轮廓与投影平面的当前距离信息。由此，计算机设备13可根据所得到的用户面部轮廓与投影平面的当前距离信息确定ar信息的缩放信息。

所述计算机设备13将缩放后的ar信息以相应的投影角度提供给投影装置12，以供投影装置12予以呈现。

图4示出根据本申请另一方面的一种用于呈现ar信息的系统。该用于呈现ar信息的系统主要布置在前述的计算机设备中，或其他包含下述各装置的计算机设备中。其中，所述用于呈现ar信息的系统2包括：第一模块21、第二模块22和第三模块23。其中，所述系统可借助测量装置获取用户的当前姿态信息以及借助投影装置呈现相应ar信息。

第一模块21用于在为用户呈现ar信息的过程中，获取所述用户的当前姿态信息。

在此，根据程序启动指令，第一模块21将所存储的ar信息或从网络下载的ar信息提供给投影装置。其中，所述ar信息还可以由第四模块获得。所述第四模块(未予图示)用于根据用户设备获取的标记对象，确定所述标记对象对应的ar信息。

在一些实施方式中，用户可操作用户设备获取标记对象，并将所述标记信息提供给第四模块。所述第四模块确定所述标记对象所对应的ar信息。其中，所述标记对象包括但不限于：二维码、照片、场景图像、实物图像、三维物体或有特定形状物体等。所述用户设备包括但不限于：手机、平板电脑、相机或其它用户设备。

例如，用户持手机扫描二维码，利用手机中内置的二维码解析器得到所要投放的ar信息的链接，将所述链接提供给第四模块，则第四模块可将自所述链接中获取ar信息。又如，用户持手机拍摄照片，并利用手机将照片提供给第四模块，由第四模块提取照片中的标识码并获取相应的ar信息。

另外，受用户设备的处理能力、设计需要等因素影响，用户所使用的用户设备还可以获取标记对象，确定所述标记对象所对应的ar信息，以及将所确定的ar信息传递给第四模块，以供第一模块、第二模块和第三模块基于获取用户的当前姿态信息对所获取的ar信息进行调整，并通过投影装置展示出来。例如，用户手持手机拍摄照片，将所述照片传输至第四模块，则第四模块可将该照片作为待呈现的ar信息。又如，用户将电脑中存储的三维图像数据、视频、文档或其他可视化文件传输至第四模块，则第四模块可将相应的可视化文件作为待呈现的ar信息。

在起始之初，第一模块21按照预设的初始姿态将所述ar信息提供给投影装置，并开始获取用户的当前姿态信息。

在此，为了能够根据图像数据、传感数据(如深度数据)得到用户在实际物理空间中的当前姿态信息，所述第一模块21中预先存储有关于图像像素和物理空间的坐标对应关系。所述第一模块21可基于所获取的图像数据得到更直接的描述用户当前姿态的当前姿态信息。例如，第一模块21利用视觉追踪技术对图像数据中的人物区域进行追踪，由此得到用户关于如站、坐、歪头等姿态信息。故而，用户的当前姿态信息主要包含头部姿态信息、身体姿态信息等。在此所述当前姿态信息可以是相对于前一时刻的姿态变化信息，也可以是相对于预设固定姿态的绝对姿态信息。

进一步地，所述第一模块21还可以利用深度数据得到用户相对于投放平面的距离；以及结合图像数据和深度数据还可以得到用户自前一时刻至当前时刻所移动的角度信息和位置信息。其中，所述第一模块21中预设有初始角度信息和初始位置，则所述第一模块21所提供的当前姿态信息中还包括当前位置信息。所述当前位置信息包含相对于初始角度和初始距离的当前位置信息。

所述当前姿态信息由测量装置所提供的当前深度图像信息提供时，所述第一模块21在为用户呈现ar信息的过程中，获取所述用户的当前深度图像信息；以及根据所述当前深度图像信息确定所述用户的当前姿态信息的步骤。

例如，所述第一模块21在基于用户的启动操作运行ar应用时，实时获取测量装置所提供的深度图像信息，并基于对深度图像信息中rgb信息的特征提取确定所拍摄到的用户的头部、身体等特征，并利用深度图像信息中各像素点的深度数据确定所拍摄到的用户面孔、肢体等的当前位置信息。接着，所述第一模块21根据所得到的头部的对称轴相对于图像对称轴的夹角确定用户的当前偏角，以及以头部到测量装置的最短距离(或者平均距离、或最长距离等)作为用户头部相对于测量装置的距离。在一些示例中，所述头部对称轴相对于图像对称轴的夹角可利用用户双眼的位置关系来描述，所述计算机设备13可通过分析图像中用户双眼相对于图像对称轴的夹角确定用户头部的当前偏角，并基于所测量到的对应用户双眼的距离和方向来得到当前用户在房间中的位置。

又如，测量装置为tof(timeofflight)深度传感器。tof深度传感器是通过给场景内的目标连续发送光脉冲，然后利用传感器接收从目标物体返回的光，通过探测光脉冲的飞行时间来得到目标物体的距离。tof深度传感器可除获取场景目标的二维图像外，还可以实时快速获取场景内每个像素点的深度信息(距离)。将传感器获得的这些信息传送给计算机设备。计算机设备中的第一模块21借助识别和跟踪算法可以完成对目标的识别、姿态判断和跟踪。当用户的位置和姿态变化时，深度传感器会自动获取用户的二维图像和深度信息，传送给第一模块21，第一模块21利用识别算法(例如基于深度学习的姿态识别算法等)可以得到用户的姿态变化信息。

第二模块22用于基于所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在一些实施方式中，第二模块22可根据所获取的当前姿态信息确定ar信息在投影平面内的偏转角度信息，进而调整ar信息的投影角度信息。例如，第二模块22根据所获取的头部姿态信息确定用户观看ar信息时从初始姿态信息中的偏角a1变化为当前姿态信息中的偏角a2。根据所述头部姿态信息相对于初始姿态信息的偏角差，第二模块22将ar信息的投影角度信息自偏角b1转为偏角b2，其呈现的ar信息(如字母h)的变化如图3所示，其中，实线h为用户在初始姿态下所投射的ar信息，虚线h为用户在当前姿态下所投射的ar信息。

在又一些实施方式中，第二模块22可根据所获取的当前姿态信息确定ar信息的虚拟投影平面。例如，第二模块22根据当前姿态信息中用户当前位置、角度、距离信息等，确定用户在当前姿态下正视的虚拟投影平面。第二模块22根据预设的投影装置所投影的投影平面与虚拟投影平面的夹角确定将ar信息投影到虚拟投影平面的投影角度信息。例如，将所述投影平面与虚拟投影平面的夹角作为投影角度信息。又如，将投影平面与虚拟投影平面的夹角的补角作为投影角度信息。接着，第二模块22根据所得到的投影角度信息调整所呈现的ar信息中字体、图像形变等，使得用户自前一时刻姿态到当前时刻姿态所看到的同一ar信息基本一致。

具体地，所述第二模块22基于所述测量装置与投影装置的相对位置关系调整所述当前姿态信息；以及基于调整后的所述当前姿态信息调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在此，第二模块22预设或可预先输入测量装置与投影装置在实际物理空间中的相对位置关系，以及所述用户相对所述投影平面的初始距离信息。其中所述相对位置关系包括但不限于：测量装置与投影装置之间的间距、和投影装置的光轴与测量装置之间的夹角等。所述初始距离可由第二模块22在启动ar应用时提示用户的站位而得到。例如，在启动ar应用时，计算机设备通过投影装置显示用所应处的初始位置，并由此确定初始距离。当第二模块22通过视觉识别、跟踪技术、以及定位技术得到用户相对于测量装置的当前姿态信息时，利用所预设的相对位置关系和初始距离将所得到的当前姿态信息转换成用户相对于投影装置的当前姿态信息。再所述第二模块22根据转换后的当前姿态信息调整所述ar信息的投影角度信息、缩放比例等。

为了防止ar信息的频繁调整，例如，防止在用户短时姿态变化时同步调整ar信息。所述第二模块22还执行检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值的步骤。

在此，所述第二模块22并非一定逐帧调整ar信息的投影角度信息，而是以预设时间间隔或图像间隔获取用户的姿态信息、甚至位置信息，并暂存前一时刻的姿态信息和位置信息。当第二模块22获取到当前姿态信息和当前位置信息时，检测所述当前姿态信息相对所述用户的前一姿态信息的姿态变化是否等于或大于姿态变化阈值。其中，所述姿态变化阈值包括实际物理空间内的角度变化阈值、图像内的像素间隔阈值。若所述姿态变化等于或大于所述姿态变化阈值，基于所述姿态变化调整所述ar信息的投影角度信息，以使得调整后的所述投影角度信息与所述当前姿态信息相匹配。

在此基础上，第二模块22还可以通过所获取的当前位置信息得到用户相对于上一位置的位置变化信息，并检测所述当前位置信息相对所述用户的前一位置信息的位置变化是否等于或大于位置变化阈值。其中，所述位置变化阈值包括实际物理空间内的距离变化阈值、图像内的像素间隔阈值。若所述位置变化等于或大于所述位置变化阈值，基于所述位置变化调整所述ar信息的缩放比例，以使得调整后的所述投影角度信息和缩放比例与所述当前姿态信息相匹配。

需要说明的是，上述各基于用户姿态信息调整ar信息的投影角度信息的方式仅为示例，本领域技术人员基于单独、组合或借鉴上述示例而设计的方案均应视为本申请的具体示例，在此不再一一详述。

第三模块23用于基于所述投影角度信息将所述ar信息呈现给所述用户。

在此，第三模块23按照投影角度信息调整ar信息。其中，根据待投影的ar信息的类型对ar信息进行基于投影角度信息的调整。例如，ar信息为三维图像，则第三模块23按照投影角度将ar信息进行旋转处理。又如，ar信息为二维图像，参照3d画从一定角度看能给人很强的立体感，第三模块23按照投影角度信息对所要呈现的图像利用变换矩阵(例如单应矩阵)进行变形处理。再如，ar信息包含文字信息，则第三模块23可先按照预设的字体(如艺术字体等)将文字转换成图像再利用变换矩阵(例如单应矩阵)按照投影角度信息对包含所述文字信息的ar信息予以变形处理。

第三模块23将变形后的ar图像发送给投影装置，由投影装置投射到投影平面上。由此用户在姿态变化时所看到的ar信息始终维持用户正视视角下所看到的ar信息。

在另一些实施方式中，第三模块23还执行基于所获取的当前位置信息确定所述ar信息的缩放信息的步骤。在此，所述第三模块23根据深度数据或深度图像信息确定用户当前相距投影平面的距离，并基于预设的图像单位像素与单位物理尺寸的对应关系，将ar信息予以放大、缩小或维持不变。例如，所述第三模块23根据当前姿态信息中的当前位置信息可得到用户与测量装置之间的距离，并结合预设的测量装置与投影平面之间的位置关系能够确定用户相距投影平面的距离。所述第三模块23中可还预设有各距离段与ar信息的缩放比例的对应关系，基于所述对应关系确定ar信息的缩放信息。

需要说明的是，上述基于所述当前位置信息确定所述ar信息的缩放信息的方式仅为举例，事实上还可以基于前后两时刻用户相距投影平面的变化与ar信息的缩放比例的对应关系确定ar信息的缩放信息。本领域技术人员在上述任一种缩放信息的确定方式基础上进行改进，而得到ar信息的缩放信息的方式应视为本申请的具体示例。

在一些实施方式中，在实际安装场景中，测量装置并非一定会与投影装置安装在同一位置，这使得第三模块23所获取的当前姿态信息是基于测量装置的测量角度而获得的。然而用户所观看的ar信息需基于投影装置的投影角度予以呈现。故而，第三模块23还执行以下步骤：基于所获取的当前位置信息确定用户与投影平面的当前距离信息，其中，所述投影平面用于呈现所述ar信息；以及基于所述用户与投影平面的当前距离信息及所述用户相对所述投影平面的初始距离信息，确定所述ar信息的缩放信息。

在一些具体示例中，所述第三模块23执行以下步骤以确定用户与投影平面的当前距离信息：根据所获取的当前位置信息所属的第一坐标系，确定所获取的当前位置信息在投影平面所属的第二坐标系中的对应位置信息；根据所获取的当前位置信息在所述第二坐标系中的对应位置信息，确定所述用户与投影平面的当前距离信息。其中，所述投影平面用于呈现所述ar信息。

例如，测量装置为tof摄像装置，所述第三模块23预先分别构建以tof摄像装置为原点的第一坐标系、以投影平面所在平面的第二坐标系、及两个坐标系的对应关系。其中，所述对应关系是基于预先经标定所确定的tof摄像装置和投影平面在实际物理空间中的位置关系而建立的。第三模块23可得到tof摄像装置所获取的深度图像信息中对应用户面部图像区域的各像素点在第一坐标系中的当前位置信息；再根据所述对应关系确定这些像素点在第二坐标系中的对应位置信息，由此确定tof摄像装置所能拍摄到的用户面部轮廓与投影平面的当前距离信息。由此，第三模块23可根据所得到的用户面部轮廓与投影平面的当前距离信息确定ar信息的缩放信息。

所述第三模块23将缩放后的ar信息以相应的投影角度提供给投影装置，以供投影装置予以呈现。

综上所述，本申请的用于呈现ar信息的方法及系统，通过获取用户当前姿态信息来调整ar信息的投影角度，实现了为用户提供与其姿态相符的ar信息的目的。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。