一种信息处理方法、装置及计算机存储介质与流程

本申请涉及增强现实技术领域，具体涉及一种信息处理方法、装置及计算机存储介质。

背景技术：

目前，增强现实(augmentedreality，简称ar)技术中一大核心问题是虚像和实像的融合问题，但在ar设备中各个相机与显示系统的坐标系并不是统一的。通常识别物体以及确定物体的位置是依靠相机来完成的，为了实现虚像和实像的融合需要首先将显示系统和相机的坐标系统一起来，这一过程通常都是在设备出厂前统一进行标定，无法对不同的用户进行差异化的标定，从而出现因不同用户佩戴习惯的不同最终呈现在用户眼前的虚实融合效果不佳的问题，用户体验较差。

技术实现要素：

有鉴于此，本申请提供一种信息处理方法、装置及计算机存储介质，能为不同的用户实现差异化的标定，解决因不同用户佩戴习惯的不同而导致最终呈现在用户眼前的虚实融合效果不佳的问题。

本申请的技术方案是这样实现的：

本申请实施例提供了一种信息处理方法，所述方法包括：

确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；

基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系。

上述方案中，可选地，所述基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系，包括：

获取至少两组位姿信息；

基于所述至少两组位姿信息，确定所述设备中显示系统与相机坐标系间的对应关系。

上述方案中，可选地，所述确定第一标定板和第二标定板的位姿信息，包括：

检测到所述第一标定板在空间第一位置与所述第二标定板重合时，确定所述第一标定板在所述第一位置的第一位姿信息；

确定所述第二标定板在所述第一位置的第二位姿信息。

上述方案中，可选地，所述确定所述第一标定板在所述第一位置的第一位姿信息，包括：

确定所述第一标定板在所述第一位置时所述第一标定板与所述相机的相对位姿；

所述确定所述第二标定板在所述第一位置的第二位姿信息，包括：

确定所述第一标定板在所述第一位置时所述第二标定板在显示系统中的位姿。

上述方案中，可选地，所述检测到所述第一标定板在空间第一位置与所述第二标定板重合之前，所述方法还包括：

接收第一操作，其中，所述第一操作用于指示开始标定；

基于所述第一操作输出提示信息，其中，所述提示信息用于提示用户将所述第一标定板放置到第一位置。

上述方案中，可选地，所述方法还包括：

接收第二操作；其中，所述第二操作为用户确认所述第一标定板与所述第二标定板重合的操作；

基于所述第二操作检测空间中是否有第一标定板；

当确定有第一标定板时，通知所述相机捕获所述第一标定板的图像。

上述方案中，可选地，所述确定所述第一标定板在所述第一位置的第一位姿信息，包括：

获取所述第一标定板在所述第一位置的图像；

对所述图像进行分析以确定所述第一标定板在所述第一位置的第一位姿信息。

本申请实施例还提供了一种信息处理装置，所述装置包括：

第一确定单元，用于确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；

第二确定单元，用于基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系。

本申请实施例还提供了一种信息处理装置，所述装置包括：

处理器，用于确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系；

存储器，至少用于存储所述对应关系。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本申请实施例所述的信息处理方法。

采用本申请实施例的技术方案，确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；基于所述位姿信息确定设备中显示系统与相机坐标系间的对应关系；如此，能为不同用户提供差异化的标定，解决因不同用户佩戴设备习惯的不同而导致最终呈现在用户眼前的虚实融合效果不佳的问题。

附图说明

图1为本申请实施例提供的信息处理方法的实现流程示意图；

图2为本申请实施例提供的ar设备中显示系统与相机的标定原理示意图；

图3为本申请实施例提供的用户自行标定ar设备中相机和显示系统的流程示意图；

图4为本申请实施例提供的信息处理装置的结构示意图一；

图5为本申请实施例提供的信息处理装置的结构示意图二。

具体实施方式

为了能够更加详尽地了解本申请的特点与技术内容，下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。

下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。

实施例一

本实施例提供了一种信息处理方法，应用于ar设备，如图1所示，所述信息处理方法主要包括以下步骤：

步骤101：确定第一标定板和第二标定板的位姿信息。

其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板。

本实施例中，所述第一标定板是能与ar设备匹配且独立的标定板。

这里，所述第一标定板是供用户使用的手持式标定板，用于供用户对当前所持ar设备进行标定。

本实施例中，对于不同型号的ar设备，第一标定板的尺寸可以不同，具体可表现为第一标定板上的小方格的尺寸不同。

示例性地，第一标定板的材质可以为木质标定板，或为塑料标定板等。需要说明的是，本申请并不对第一标定板的材质进行限定。

本实施例中，所述第二标定板是ar设备中的显示系统在空间中显示的与第一标定板大小一致的虚拟方块，也可以称其为虚拟标定板。

在一些可选的实施方式中，所述确定第一标定板和第二标定板的位姿信息，包括：

检测到所述第一标定板在空间第一位置与所述第二标定板重合时，确定所述第一标定板在所述第一位置的第一位姿信息；

确定所述第二标定板在所述第一位置的第二位姿信息。

本实施例中，所述第一位置为空间中的任意位置。本申请并不对第一位置的具体空间位置进行限定。

上述方案中，可选地，所述检测到所述第一标定板在空间第一位置与所述第二标定板重合之前，所述方法还包括：

接收第一操作，其中，所述第一操作用于指示开始标定；

基于所述第一操作输出提示信息，其中，所述提示信息用于提示用户将所述第一标定板放置到第一位置。

上述方案中，可选地，所述方法还包括：

接收第二操作；其中，所述第二操作为用户确认所述第一标定板与所述第二标定板重合的操作；

基于所述第二操作检测空间中是否有第一标定板；

当确定有第一标定板时，通知所述相机捕获所述第一标定板的图像。

示例性地，ar设备接收到由用户发出的指示开始标定的第一操作后，输出用于提示用户将所述第一标定板放置到第一位置的提示信息。ar设备在预设时间段内向用户提示m个第一位置，所述m个第一位置是m个不同的位置，ar设备能够确定m组第一标定板和第二标定板的位姿信息；其中，m为正整数。

本实施例中，所述ar设备包括显示系统和相机。

可选地，所述确定所述第一标定板在所述第一位置的第一位姿信息，包括：

确定所述第一标定板在所述第一位置时所述第一标定板与所述相机的相对位姿；

对应地，所述确定所述第二标定板在所述第一位置的第二位姿信息，包括：

确定所述第一标定板在所述第一位置时所述第二标定板在显示系统中的位姿。

在一些可选实施方式中，所述确定所述第一标定板在所述第一位置的第一位姿信息，包括：

获取所述第一标定板在所述第一位置的图像；

对所述图像进行分析以确定所述第一标定板在所述第一位置的第一位姿信息。

具体地，ar设备检测到第一标定板与第二标定板在第一位置重合时，由相机捕捉第一位置处的第一标定板的图像，ar设备分析图像确定第一标定板在第一位置的位姿。

步骤102：基于所述位姿信息确定设备中显示系统与相机坐标系间的对应关系。

在一些可选实施方式中，所述基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系，包括：

获取至少两组位姿信息；

基于所述至少两组位姿信息，确定所述设备中显示系统与相机坐标系间的对应关系。

实际应用中，基于所述至少两组位姿信息建立目标方程；根据建立的目标方程，求得所述设备中显示系统与相机坐标系间的对应关系。在此，鉴于在获知多组数据后，如何根据多组数据建立方程以及求解属于现有技术，因此，本申请并不对如何建立目标方程及具体如何基于该目标方程求解进行说明。

需要说明的是，每组数据包含两种参数，凡是能够根据多组数据生成方程并可通过该方程求解这两种参数间关系的方法，均可用于建立目标方程。比如，所述方法可以是最小二乘法。

采用本申请实施例的技术方案，确定真实存在的标定板和虚拟标定板的位姿信息；基于所述位姿信息确定设备中显示系统与相机坐标系间的对应关系；如此，用户手持真实标定板即可实现用户自行标定，从而能为不同的用户实现差异化的标定，解决因不同用户佩戴设备习惯的不同而导致最终呈现在用户眼前的虚实融合效果不佳的问题。

实施例二

图2示出了ar设备中显示系统与相机的标定原理示意图，如图2所示，右侧图中的框表示虚拟的标定板，左侧图表示真实的标定板，中间图表示二者重合，左侧图中每个小方格的四个点均可称之为角点。具体地，原理如下：通过实际标定板中各角点的3d坐标和2d投影关系求得位姿；利用多组算得的实际标定板的位姿rt_c和显示系统中虚拟标定板的位姿rt_d，确定最终相机与显示系统的相对关系rt。比如，所述相机可以是rgb相机，其中，rgb是r(red)、g(green)、b(blue)的缩写，中文名称为三原色光。

在一些可选实施方式中，相机通过捕获实际标定板的图像可以确定rgb相机与实际标定板的相对位姿rt_c，同时可以直接获取显示系统内的虚拟标定板位姿rt_d。将实际标定板与虚拟标定板重合，分别记录多组对应的rt_c和rt_d，可利用最小二乘法解得显示系统与相机坐标系间的对应关系rt。

比如，确定出了q组数据，即q组rt_c与rt_d，利用最小二乘法或其他平均方法，得到最终的虚拟方框坐标与真实标定板坐标之间的坐标转换关系。如此，建立了虚拟和真实之间的转换关系。利用所述转换关系，可以得知真实物体的具体位置，如此，可以在所述具体位置显示与所述真实物体匹配的虚拟物体。

实施例三

本实施例提供了一种用户自行标定ar设备中相机和显示系统的流程，如图3所示，所述流程主要包括以下步骤：

步骤301：确定用户开始对ar设备进行标定。

在一些可选实施方式中，用户佩戴上ar设备后，点击自行标定按钮，ar设备接收到该操作后，确定用户开始对ar设备进行自行标定。

在一些可选实施方式中，检测到ar设备由未被佩戴状态变更为被佩戴状态时，确定用户开始对ar设备进行标定。

步骤302：ar设备输出提示信息，然后执行步骤303。

具体地，ar设备提示用户手持实际标定板，将实际标定板移至空间中与显示系统显示的虚拟方块重合的地方。

步骤303：接收到用户发出的确认操作，然后执行步骤304；

具体地，当用户确定实际标定板与虚拟方块重合时，用户点击虚拟界面上的确认按键，或者点击能够发出确认操作的且ar设备能接收到该消息的实体确认按键。

可见，在用户佩戴上ar设备后，实际标定板与虚拟方块是否重和由用户根据自己习惯来确定，如此，能够为用户量身标定。

步骤304：ar设备开始倒计时，然后执行步骤305；

具体地，倒计时的时长可根据设计需求或用户需求进行设定或调整。

步骤305：是否检测到实际标定板，如果是，执行步骤306；否则，返回步骤303；

具体地，检测到实际标定板时，捕获实际标定板在第一位置的图像，并保存。同时，确定在第一位置时虚拟标定板的位姿。

步骤306：保存图像，然后执行步骤307。

步骤307：检测是否保存了指定数量的图像，如果是，执行步骤308；否则，返回步骤302；

这里，指定数量可根据设计需求或用户需求设定或调整。

步骤308：ar设备根据不同位置处的图像数据和虚拟标定板在相应位置处的位姿信息，确定设备中显示系统与相机坐标系间的对应关系。

举例来说，用户佩戴上ar设备后，系统提示用户手拿实际的标定板，将标定板拿至空间中与虚拟方块重合的地方，在用户认为已经重合之后点击确认按钮，系统显示倒计时(例如3秒)，在倒计时之后检测画面中是否有标定板，如果有的话捕捉当前的标定板画面。按相同的操作方式在空间中的不同位置和角度完成多次标定板画面的捕捉，而后根据捕捉到的标定板画面计算出对应的多组标定板与相机的相对位姿，对应这几组位姿的虚拟标定板在显示系统中的位姿也可以同时获取，通过二者建立方程可以解得显示系统坐标系与相机坐标系间关系，即完成相机和显示系统的标定。

应理解，上述的用户自行标定ar设备中相机和显示系统的示意图仅仅是示意性的，本申请实施例对此不做限定。

实施例四

本申请实施例还提供了一种信息处理装置，如图4所示，所述装置包括：

第一确定单元41，用于确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；

第二确定单元42，用于基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系。

上述方案中，可选地，所述第二确定单元42，还用于：

获取至少两组位姿信息；

基于所述至少两组位姿信息，确定所述设备中显示系统与相机坐标系间的对应关系。

上述方案中，可选地，所述装置还包括：

检测单元43，用于检测所述第一标定板与所述第二标定板在空间第一位置是否重合；

所述第一确定单元41，还用于：

在所述检测单元43检测到所述第一标定板在空间第一位置与所述第二标定板重合时，确定所述第一标定板在所述第一位置的第一位姿信息；确定所述第二标定板在所述第一位置的第二位姿信息。

在一些可选实施方式中，所述第一确定单元41，具体用于：

确定所述第一标定板在所述第一位置时所述第一标定板与所述相机的相对位姿。

在一些可选实施方式中，所述第一确定单元41，还具体用于：

确定所述第一标定板在所述第一位置时所述第二标定板在显示系统中的位姿。

上述方案中，可选地，所述装置还包括：

交互单元44，用于：

接收第一操作，其中，所述第一操作用于指示开始标定；

基于所述第一操作输出提示信息，其中，所述提示信息用于提示用户将所述第一标定板放置到第一位置。

在一些可选实施方式中，所述交互单元44，还用于：

接收第二操作；其中，所述第二操作为用户确认所述第一标定板与所述第二标定板重合的操作；

基于所述第二操作检测空间中是否有第一标定板；

当确定有第一标定板时，通知所述相机捕获所述第一标定板的图像。

在一些可选实施方式中，所述第一确定单元41，还用于：

获取所述第一标定板在所述第一位置的图像；

对所述图像进行分析以确定所述第一标定板在所述第一位置的第一位姿信息。

需要说明的是：上述实施例提供的信息处理装置在辅助用户自行进行标定时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将信息处理装置或ar设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本实施例中，所述第一确定单元41、第二确定单元42、检测单元43和交互单元44，在实际应用中均可由所述信息处理装置或所述信息处理装置所在ar设备中的中央处理器(cpu，centralprocessingunit)、数字信号处理器(dsp，digitalsignalprocessor)、微控制单元(mcu，microcontrollerunit)或可编程门阵列(fpga，field－programmablegatearray)等实现。

本实施例所述信息处理装置，能为不同的用户实现差异化的标定，解决因不同用户佩戴设备习惯的不同而导致最终呈现在用户眼前的虚实融合效果不佳的问题。

实施例五

本申请实施例提供了一种信息处理装置，应用于ar设备，如图5所示，所述信息处理装置包括：

处理器10，用于确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系；

存储器20，至少用于存储所述对应关系。

在一些可选实施方式中，所述处理器10，还用于：

获取至少两组位姿信息；

基于所述至少两组位姿信息，确定所述设备中显示系统与相机坐标系间的对应关系。

在一些可选实施方式中，所述处理器10，还用于：

检测到所述第一标定板在空间第一位置与所述第二标定板重合时，确定所述第一标定板在所述第一位置的第一位姿信息；

确定所述第二标定板在所述第一位置的第二位姿信息。

在一些可选实施方式中，所述处理器10，还用于：

确定所述第一标定板在所述第一位置时所述第一标定板与所述相机的相对位姿；

确定所述第一标定板在所述第一位置时所述第二标定板在显示系统中的位姿。

在一些可选实施方式中，所述处理器10，还用于：

接收第一操作，其中，所述第一操作用于指示开始标定；

基于所述第一操作输出提示信息，其中，所述提示信息用于提示用户将所述第一标定板放置到第一位置。

在一些可选实施方式中，所述处理器10，还用于：

接收第二操作；其中，所述第二操作为用户确认所述第一标定板与所述第二标定板重合的操作；

基于所述第二操作检测空间中是否有第一标定板；

当确定有第一标定板时，通知所述相机捕获所述第一标定板的图像。

在一些可选实施方式中，所述处理器10，还用于：

获取所述第一标定板在所述第一位置的图像；

对所述图像进行分析以确定所述第一标定板在所述第一位置的第一位姿信息。

本实施例所述信息处理装置，能为不同的用户实现差异化的标定，解决因不同用户佩戴设备习惯的不同而导致最终呈现在用户眼前的虚实融合效果不佳的问题。

实施例六

本实施例提供的计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现：确定第一标定板和第二标定板的位姿信息；其中，所述第一标定板为真实存在的标定板，所述第二标定板为设备中的虚拟标定板；基于所述位姿信息确定所述设备中显示系统与相机坐标系间的对应关系。

本领域技术人员应当理解，本实施例的计算机存储介质中各程序的功能，可参照前述各实施例所述的信息处理方法的相关描述而理解，在此不再赘述。

本申请各实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的服务器和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。