一种确定待测对象的运动信息的方法及装置与流程

本发明涉及虚拟现实技术领域，尤其涉及一种确定待测对象的运动信息的方法及装置。

背景技术：

虚拟现实头盔，是指一种通过利用头盔显示器将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉的头盔。随着电子技术的不断发展，虚拟现实头盔已经允许用户通过多种先进的传感手段根据自己在虚拟环境中的视点和位置来控制虚拟画面，具体来说，在用户使用虚拟现实头盔的过程中，通过感知用户头部的运动状态，从而为用户呈现出不同的场景。虚拟现实头盔一个重要的体验就是沉浸感，因此，能否准确快速感知到用户头部的运动状态是影响虚拟现实头盔性能的重要指标。

目前，由于普通加速计无法准确获取空间平移向量，大部分虚拟现实头盔只能通过陀螺仪等传感器获取旋转姿态，然而，采用这种方式，在用户使用虚拟现实头盔的过程中，缺乏对用户头部平移运动(也就是虚拟现实头盔的平移运动)的感知，导致对虚拟现实头盔的运动状态的感知出现偏差，极大影响了用户的实际体验。

综上，目前亟需一种能够准确快速地感知虚拟现实头盔运动状态的方法。

技术实现要素：

本发明实施例提供一种确定待测对象的运动信息的方法及装置，用以实现准确快速地感知虚拟现实头盔运动状态。

本发明实施例提供的一种确定待测对象的运动信息的方法，包括：

获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括所述待测对象的m个物理标记点的标记点影像，所述待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态；

针对m个标记点影像中的每个标记点影像，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，将所述标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定所述第一至第n帧图像中的标记点影像与所述待测对象的物理标记点的对应关系；

根据所述m个标记点影像与所述m个物理标记点的对应关系，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，获取所述待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及所述m个标记点影像在预设的图像坐标系中的位置信息；

根据所述m个标记点影像与所述m个物理标记点的对应关系，以及所述m个物理标记点和所述m个标记点影像的位置信息，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，所述获取连续采集到的待测对象在n个时刻的第一至第n帧图像之后，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息之前，还包括：

根据如下方式确定第i帧图像中的标记点影像，i为正整数，且1≤i≤n：

根据所述第i帧图像的各个像素点的像素值，得到第一备选标记点影像；所述第一备选标记点影像的像素点的像素值大于等于第一阈值；

根据各个所述第一备选标记点影像，确定与各个所述第一备选标记点影像对应的方形区域；与所述第一备选标记点影像对应的方形区域为包含所述第一备选标记点影像的最小方形区域；

根据各个所述方形区域中像素点的个数以及方形区域边界上的像素点的个数，得到目标方形区域；所述目标方形区域的像素点的个数大于等于第二阈值，且边界上的像素点的个数符合预设条件；

将与所述目标方形区域对应的第一备选标记点影像确定为所述第i帧图像中的标记点影像。

较佳地，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，包括：

获取所述标记点影像在第i帧图像中的识别信息以及在第i-1帧图像中的识别信息；i为正整数，且1≤i≤n；

根据所述标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，所述待测对象的各物理标记点为红外点；所述根据设定的时序参数来展现各物理标记点在不同时刻的状态为根据设定的在不同时刻的亮度参数来展现各物理标记点在不同时刻的亮度状态；所述标记点影像在第一至第n帧图像中的识别信息是根据所述物理标记点在不同时刻的亮度状态而得到的标记点影像的面积；

根据所述标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定所述标记点影像在第i帧图像中的状态信息，包括：

根据所述标记点影像在第i帧图像中的的面积与在第i-1帧图像中的面积的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，将所述标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定所述第一至第n帧图像中的标记点影像与所述待测对象的物理标记点的对应关系，包括：

确定所述标记点影像在n个时刻的状态信息对应的第一编码信息；

确定所述各物理标记点设定的时序参数对应的第二编码信息；

若所述标记点影像的第一编码信息与物理标记点的第二编码信息之间的相似度大于等于第一阈值，则将该标记点影像确定为该物理标记点对应的标记点影像，进而得到所述第一至第n帧图像中的m个标记点影像与所述待测对象的m个物理标记点的对应关系。

较佳地，通过以下方式得到各物理标记点设定的时序参数对应的第二编码信息：

第一物理标记点为所述待测对象的各物理标记点中的任一个，通过以下方式确定所述第一物理标记点设定的时序参数对应的第二编码信息：

根据所述待测对象的物理标记点的个数建立编码库，所述编码库中的编码信息的个数大于或等于所述待测对象的物理标记点的个数；

从所述编码库中选取一组编码信息；

确定该组编码信息与已确定的物理标记点的第二编码信息的汉明距离大于第二阈值后，将该组编码信息确定为所述第一物理标记点的编码信息。

较佳地，根据所述标记点影像与所述物理标记点的对应关系，以及所述各个物理标记点和所述各个标记点影像的位置信息，确定所述待测对象在所述第一至n帧图像对应时刻的运动信息，包括：

根据所述标记点影像与所述物理标记点的对应关系，以及所述各个物理标记点和所述各个标记点影像的位置信息，利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量；

根据所述摄像装置相对于所述待测对象的旋转量和平移量，得到所述待测对象在所述第n帧图像对应时刻的运动信息；所述待测对象在所述第n帧图像对应时刻的运动信息为所述待测对象在所述第n帧图像对应时刻相对于所述摄像装置的旋转量和平移量。

较佳地，所述利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量之后，确定所述待测对象在所述第n帧图像对应时刻的运动信息之前，还包括：

采用lm算法对所述摄像装置相对于所述待测对象的旋转量和平移量进行优化。

本发明实施例提供一种确定待测对象的运动信息的装置，包括：

获取模块，用于获取连续采集到的待测对象在n个时刻的第一至第n帧图 像，每帧图像至少包括所述待测对象的m个物理标记点的标记点影像，所述待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态；

确定模块，用于针对m个标记点影像中的每个标记点影像，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，将所述标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定所述第一至第n帧图像中的标记点影像与所述待测对象的物理标记点的对应关系；

处理模块，用于根据所述m个标记点影像与所述m个物理标记点的对应关系，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，所述获取模块还用于：

获取所述待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及所述m个标记点影像在预设的图像坐标系中的位置信息；

所述处理模块具体用于：

根据所述m个标记点影像与所述m个物理标记点的对应关系，以及所述m个物理标记点和所述m个标记点影像的位置信息，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，所述确定模块还用于：

根据如下方式确定第i帧图像中的标记点影像，i为正整数，且1≤i≤n：

根据所述第i帧图像的各个像素点的像素值，得到第一备选标记点影像；所述第一备选标记点影像的像素点的像素值大于等于第一阈值；

根据各个所述第一备选标记点影像，确定与各个所述第一备选标记点影像对应的方形区域；与所述第一备选标记点影像对应的方形区域为包含所述第一备选标记点影像的最小方形区域；

根据各个所述方形区域中像素点的个数以及方形区域边界上的像素点的个数，得到目标方形区域；所述目标方形区域的像素点的个数大于等于第二阈值，且边界上的像素点的个数符合预设条件；

将与所述目标方形区域对应的第一备选标记点影像确定为所述第i帧图像中的标记点影像。

较佳地，所述确定模块具体用于：

获取所述标记点影像在第i帧图像中的识别信息以及在第i-1帧图像中的识别信息；i为正整数，且1≤i≤n；

根据所述标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，所述待测对象的各物理标记点为红外点；所述根据设定的时序参数来展现各物理标记点在不同时刻的状态为根据设定的在不同时刻的亮度参数来展现各物理标记点在不同时刻的亮度状态；所述标记点影像在第一至第n帧图像中的识别信息是根据所述物理标记点在不同时刻的亮度状态而得到的标记点影像的面积；

所述确定模块具体用于：

根据所述标记点影像在第i帧图像中的的面积与在第i-1帧图像中的面积的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，所述确定模块具体用于：

确定所述标记点影像在n个时刻的状态信息对应的第一编码信息；

确定所述各物理标记点设定的时序参数对应的第二编码信息；

若所述标记点影像的第一编码信息与物理标记点的第二编码信息之间的相似度大于等于第一阈值，则将该标记点影像确定为该物理标记点对应的标记点影像，进而得到所述第一至第n帧图像中的m个标记点影像与所述待测对象的m个物理标记点的对应关系。

较佳地，所述确定模块具体用于：

第一物理标记点为所述待测对象的各物理标记点中的任一个，通过以下方式确定所述第一物理标记点设定的时序参数对应的第二编码信息：

根据所述待测对象的物理标记点的个数建立编码库，所述编码库中的编码 信息的个数大于或等于所述待测对象的物理标记点的个数；

从所述编码库中选取一组编码信息；

确定该组编码信息与已确定的物理标记点的第二编码信息的汉明距离大于第二阈值后，将该组编码信息确定为所述第一物理标记点的编码信息。

较佳地，所述处理模块具体用于：

根据所述标记点影像与所述物理标记点的对应关系，以及所述各个物理标记点和所述各个标记点影像的位置信息，利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量；

根据所述摄像装置相对于所述待测对象的旋转量和平移量，得到所述待测对象在所述第n帧图像对应时刻的运动信息；所述待测对象在所述第n帧图像对应时刻的运动信息为所述待测对象在所述第n帧图像对应时刻相对于所述摄像装置的旋转量和平移量。

较佳地，所述处理模块还用于：

利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量之后，确定所述待测对象在所述第n帧图像对应时刻的运动信息之前，采用lm算法对所述摄像装置相对于所述待测对象的旋转量和平移量进行优化。

本发明的上述实施例中，获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括待测对象的m个物理标记点的标记点影像；针对m个标记点影像中的每个标记点影像，从第一至第n帧图像中识别出标记点影像在n个时刻的状态信息，将m个标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定第一至第n帧图像中的标记点影像与待测对象的物理标记点的对应关系；获取待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及第一至第n帧图像的m个标记点影像在预设的图像坐标系中的平均位置信息；根据m个标记点影像与m个物理标记点的对应关系，以及m个物理标记点和m个标记点影像的位置信息，确定待测对象在第n帧图像对应时刻的运动信息。本发明实施例中，待测对象的各物理标记点根据 设定的时序参数来展现各物理标记点在不同时刻的状态，从而使得第一至第n帧图像中的m个物理标记点的标记点影像也具有不同的状态信息，进而根据标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数的比较结果，更准确快速地得到标记点影像与物理标记点的对应关系，并基于标记点影像的位置信息和物理标记点的位置信息，确定出待测对象的运动信息，相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法，本发明实施例能够有效确定出待测对象的平移量，从而更准确快速地感知待测对象的运动状态，实时性较高，能够显著改善用户的实际体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例适用的系统架构示意图；

图1a为本发明实施例中摄像装置的结构示意图；

图1b为本发明实施例中待测对象的结构示意图；

图2为虚拟现实头盔上各个侧面红外灯的布设示意图；

图3示出了本发明实施例提供的一种确定待测对象的运动信息的流程示意图；

图4为本发明实施例中确定标记点影像在第i帧图像中的状态信息的流程示意图；

图5为本发明实施例提供的一种确定待测对象的运动信息的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中提供的确定待测对象的运动信息的方法可适用于多种应用场景，图1示例性呈现出本发明实施例适用的一种系统架构示意图。

如图1所示，该系统架构包括服务器101、摄像装置102，待测对象103。其中，服务器101与摄像装置102之间可进行有线或无线通信，即服务器101与摄像装置102之间可通过有线传输或无线传输的方法传输信息，例如，摄像装置102可通过有线传输或无线传输的方法将拍摄到的图像发送给服务器101；服务器101与待测对象103之间也可进行有线或无线通信，例如，服务器101通过有线传输或无线传输的方法向待测对象103发送场景渲染数据。

进一步地，本发明实施例中，服务器101可将预先设定的时序参数实时发送给待测对象103，以使待测对象根据预先设定的时序参数来展现各物理标记点在不同时刻的状态，同时，服务器101也实时向摄像装置102发送拍摄指令，或者，待测对象在根据预先设定的时序参数展现各物理标记点在不同时刻的状态后，实时向摄像装置102发送拍摄指令，以使摄像装置102拍摄待测对象103的各物理标记点在不同时刻的状态。例如，服务器在时刻a将设定的时序参数发送给待测对象103，待测对象103接收到设定的时序参数后，根据时序参数展现各物理标记点的状态，同时，服务器在时刻a也向摄像装置102发送拍摄指令，摄像装置102接收到拍摄指令后，对待测对象进行拍摄，从而使得在时刻a拍摄到的图像中包括待测对象的多个物理标记点在时刻a的状态。

优选地，本发明实施例中，服务器101也可以预先将设定的不同时刻的时序参数发送给待测对象103，以使待测对象103在不同时刻按照不同时刻对应的时序参数展现各物理标记点的状态，例如，服务器将第一至第n时刻的时序参数一次性发送给待测对象103，同时服务器101向拍摄装置102发送一条通 知指令，该通知指令中包括为拍摄装置102设置的拍摄频率，从而使得拍摄装置按照预设的拍摄频率拍摄待测对象的各物理标记点在不同时刻(第一至第n时刻)的状态。通过这种方式，可以降低服务器的处理负担和传输资源，即无需实时向待测对象和摄像装置发送时序参数和拍摄指令。

上述方式仅为示例性说明，本发明实施例对此不做限制。

本发明实施例中，服务器101可以为具有数据处理能力的pc主机。

待测对象103可以为虚拟现实头盔，该虚拟现实头盔包括第一至第六侧面(假定虚拟现实头盔的正常使用情况是戴在用户的头上，基于此，可以确定头盔的第一至第六侧面相对于摄像装置分别为前面、后面、上面、下面、左面，右面)。各个侧面上布设有红外灯(也可称为红外点)，其中，各个侧面上红外灯均是按照预先设置的布设规则进行布设的。具体地，为便于后续运算过程，本发明实施例中的布设规则可以为将各个侧面上的红外灯均按照凸多边形阵列的方式进行布设，针对不同的侧面，也可以在基于上述布设规则的情况下，考虑不同的布设，例如，左右两面、上下两面可以进行相同的布设。如图2所示，为虚拟现实头盔上各个侧面红外灯的布设示意图。需要说明的是，图2仅为红外灯布设的一种示例性表示，具体实物可能存在比例上的差异。

摄像装置102可以为红外相机，主要用于拍摄虚拟现实头盔上布设的红外灯的状态信息，并将拍摄的图像传送给服务器101，以使服务器通过相关计算确定出虚拟现实头盔的运动信息(旋转矩阵r和平移向量t)。

具体地，本发明实施例中，虚拟现实头盔、红外相机通过usb数据线连接到pc主机，usb2.0和usb3.0均可，优选为usb3.0。虚拟现实头盔还通过hdmi接口连接到pc主机，以便于获取场景渲染数据。

进一步地，图1a为本发明实施例中摄像装置的结构示意图，如图1a所示，待测对象包括主控制器1021、红外图像传感器1022、图像信号处理器1023、通讯电路1024。其中，主控制器1021可以为单片机，通过有线(如usb)或者无线(如蓝牙)连接到服务器；可选地，在其它场景下，主控制器也可以为 fpga、cpld等可编程器件或者cpu微处理器等；红外图像传感器1022可以是cmos图像传感器，在此不做限制；图像信号处理器1023实现对红外图像传感器采集到等图像信号进行处理；通讯电路1024主要是实现系统通讯功能，实现方式可以是有线(如usb)或者是无线(如蓝牙)等方式。

图1b为本发明实施例中待测对象的结构示意图，如图1b所示，待测对象包括主控制器1031、红外灯控制电路1032、通讯电路1033。其中，主控制器1031可以为单片机，通过有线(如usb)或者无线(如蓝牙)连接到服务器；可选地，在其它场景下，主控制器也可以为fpga、cpld等可编程器件或者cpu微处理器等；红外灯控制电路1032主要实现对红外灯的控制；通讯电路1033主要是实现系统通讯功能，实现方式可以是有线(如usb)或者是无线(如蓝牙)等方式。

基于图1所示的系统架构，图3示出了本发明实施例提供的一种确定待测对象的运动信息的流程示意图，基于服务器的角度，包括：

步骤301，获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括所述待测对象的m个物理标记点的标记点影像，所述待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态；

步骤302，针对m个标记点影像中的每个标记点影像，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，将所述m个标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定所述第一至第n帧图像中的标记点影像与所述待测对象的物理标记点的对应关系；

步骤303，根据所述m个标记点影像与所述m个物理标记点的对应关系，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

本发明实施例中，待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态，从而使得第一至第n帧图像中的m个物理标记点的标记点影像也具有不同的状态信息，进而根据标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数的比较结果，更准确快速地得到标记 点影像与物理标记点的对应关系，并基于标记点影像的位置信息和物理标记点的位置信息，确定出待测对象的运动信息，相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法，本发明实施例能够有效确定出待测对象的平移量，从而更准确快速地感知待测对象的运动状态，实时性较高，能够显著改善用户的实际体验。

本发明实施例中的物理标记点可以为红外点，标记点影像为红外点影像。

本发明实施例中，在虚拟现实头盔的运动信息(空间平移量)光学追踪过程中，始终只对头盔上、下、左、右、前、后六个侧面中能够被摄像头拍摄的物理标记点进行处理。因此，下面针对确定虚拟现实头盔的运动信息的过程给予具体说明。

本发明实施例中，由于摄像装置在拍摄图像时会存在环境灯以及其它因素的干扰，因此，在步骤301中，获取到连续采集的待测对象的第一至第n帧图像后，应分别对第一至第n帧图像进行预处理，，排除干扰影像，确定出标记点影像。下面以第一至第n帧图像中任一帧图像(即第i帧图像)的预处理为例进行说明。

具体地，根据所述第i帧图像的各个像素点的像素值，得到第一备选标记点影像；所述第一备选标记点影像的像素点的像素值大于等于第一阈值；根据各个所述第一备选标记点影像，确定与各个所述第一备选标记点影像对应的方形区域；与所述第一备选标记点影像对应的方形区域为包含所述第一备选标记点影像的最小方形区域；根据各个所述方形区域中像素点的个数以及方形区域边界上的像素点的个数，得到目标方形区域；所述目标方形区域的像素点的个数大于等于第二阈值，且边界上的像素点的个数符合预设条件；将与所述目标方形区域对应的第一备选标记点影像确定为所述第i帧图像中的标记点影像。其中，第一阈值、第二阈值及预设条件均可由本领域技术人员根据经验设置。本发明实施例中的方形区域可以为长方形区域，包括长边界和短边界。此时，预设条件可以为长方形区域的短边界上的像素点的个数与长边界上的像素点 的个数之比大于等于3/4，且长方形区域中的像素点的个数大于等于长边界和短边界上的像素点个数的乘积的一半。本发明实施例中通过上述过程对第一至第n帧图像进行预处理，从而快速准确地排除环境中的干扰因素，确定出标记点影像，为后续确定标记点影像与标记点之间的对应关系奠定了良好基础。

本发明实施例中，在步骤302中，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，包括：

获取所述标记点影像在第i帧图像中的识别信息以及在第i-1帧图像中的识别信息；i为正整数，且1≤i≤n；

根据所述标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

本发明实施例中，设定的时序参数与待测对象的物理标记点的编码信息相对应。根据设定的时序参数来展现各物理标记点在不同时刻的状态是指根据设定的在不同时刻的亮度参数来展现各物理标记点在不同时刻的亮度状态。

具体地，待测对象的物理标记点的编码信息是预先设置的，例如，待测对象具有7个红外灯，分别编号红外灯1至红外灯7，也就是用二进制可以表示为：001，010，011，100，101，110，111，这些二进制即为各个红外灯的编码信息，而且，由于3位二进制便可以明确区分出7个红外灯。时序参数即为各个红外灯对应的二进制编码，以上述7个红外灯为例，本发明实施例中的待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态是指7个红外灯按规律从第一个二进制位到第三个二进制位逐位闪灯，二进制位为1，则红外灯闪亮，二进制为0，则红外灯闪灭，闪三次就可以确定每个灯的编号。同理，本发明实施例中，虚拟现实头盔上通常具有40个红外灯，需要6位二进制位表示才能加以区分。

需要说明的是，一方面，常规上红外灯有两个状态，即亮和灭分别对应二进制位1和0，即二进制位为1，则红外灯闪亮，二进制为0，则红外灯闪灭，然而，考虑到红外灯闪灭时，摄像头无法拍摄到标记点影像，因此，本发明实 施例中可以将红外灯的全亮和半亮分别对应到二进制位1和0，即二进制位为1，则红外灯闪亮，二进制为0，则红外灯半亮。

另一方面，考虑到干扰或者遮挡的情况，例如，虚拟现实头盔上通常具有40个红外灯，采用6位二进制位表示加以区分，此时通过图像上的红外灯影像识别出的第一编码信息应与红外灯的第二编码信息完全一致，方可确定对应关系。若连续6次红外灯的状态中的某一次被干扰或者遮挡，则通过拍摄到的图像识别出的状态无法与红外灯进行对应，即该物理标记点的标记点影像的第一编码信息和该物理标记点的第二编码信息不一致，从而使得不能正确得到物理标记点与标记点影像之间的对应关系。本发明实施例中，为避免上述情况，结合通讯的理论，采用冗余二进制的方式来实现纠错功能。具体实施方法是，以3个红外灯为例，原理上采用2位二进制位就可以编码表示，则为具有更强的纠错功能，可选择采用3位二进制编码，分别表示三个红外灯001、010、111，此时每个编码中任一个二进制位识别错误，仍然可以区分三个红外灯。应用到本发明中，虚拟现实头盔上通常具有40个红外灯，则可以优选采用10位二进制位编码表示，或者也可以采用更多位二进制编码表示，本发明实施例对此不做具体限定。

具体地，第一物理标记点为待测对象的各物理标记点中的任一个，本发明实施例中，通过以下方式确定第一物理标记点设定的时序参数对应的第二编码信息：根据红外灯的个数，建立编码库，例如，若选择10位二进制编码，则建立一个10位二进制编码的编码库，优选编码库中的编码信息的个数大于待测对象的物理标记点的个数；从编码库中选取一组编码信息，确定该组编码信息与已确定的物理标记点的第二编码信息的汉明距离大于第二阈值后，将该组编码信息确定为第一物理标记点的编码信息。在信息论中，两个等长字符串(字符串即本发明实施例中的编码信息)之间的汉明距离是两个字符串对应位置的不同字符的个数，即是指将一个字符串变换成另外一个字符串所需要替换的字符个数，例如，编码信息111000与111100之间的汉明距离为1。第二阈值可由本 领域技术人员根据经验设置，例如，可以设置为2，从而保证不同物理标记点之间的汉明距离大于2。

在步骤302中，针对m个标记点影像中的每个标记点影像，获取标记点影像在第i帧图像中的识别信息以及在第i-1帧图像中的识别信息；i为正整数，且1≤i≤n；根据标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定标记点影像在第i帧图像中的状态信息。

具体地，标记点影像在第一至第n帧图像中的识别信息是根据物理标记点在不同时刻的亮度状态而得到的标记点影像的面积；根据标记点影像在第i帧图像中的的面积与在第i-1帧图像中的面积的比较结果，确定标记点影像在第i帧图像中的状态信息。

图4为本发明实施例中确定标记点影像在第i帧图像中的状态信息的流程示意图，下面以标记点影像b为例，结合图4对本发明实施例中确定标记点影像在第i帧图像中的状态信息进行说明。

步骤401，确定标记点影像b在第i帧图像中的面积。

步骤402，确定标记点影像b在第i-1帧图像中的面积；具体地，由于本发明实施例中，拍摄频率较快，在较短的拍摄时间间隔内，标记点影像b在第i-1帧图像中的位置和第i帧图像中的位置十分接近，因此，可将第i-1帧图像中与第i帧图像中的标记点影像b的位置十分接近的标记点影像确定为标记点影像b，从而得到标记点影像b在第i-1帧图像中的面积。

步骤403，判断标记点影像b在第i帧图像中的面积(记为bi)与第i-1帧图像中的面积(记为bi-1)的大小关系，若x*bi大于y*bi-1，则执行步骤404，否则执行步骤405。其中，x、y为权重值，可由本领域技术人员根据经验设置，例如，可设置x＝12，y＝13。

步骤404，确定标记点影像b在第i帧图像中的状态信息为亮，并对应编码“1”。

步骤405，判断p*bi是否小于q*bi-1，若是，则执行步骤406，否则执行步骤407。其中，p、q为权重值，可由本领域技术人员根据经验设置，例如，可 设置p＝13，q＝13。

步骤406，确定标记点影像b在第i帧图像中的状态信息为半亮，并对应编码“0”。

步骤407，确定标记点影像b在第i帧图像中的状态信息与第i-1帧图像中的状态信息相同，编码也相同。

步骤408，判断编码信息的总位数是否大于等于10，若是，则执行步骤409；若否，则循环至步骤401，获取标记点影像b在第i+1帧图像中的面积。

步骤409，将该编码信息确定为标记点影像b的第一编码信息

通过上述401至409可确定出标记点影像b在第一至第n帧图像的状态信息，并得到标记点影像b对应的第一编码信息，同理，可得到第一至第n帧图像的m个标记点影像的第一编码信息。

在步骤302中，针对于第一至第n帧图像的一个标记点影像，将该标记点影像的第一编码信息与物理标记点的第二编码信息进行比较，若该标记点影像的第一编码信息与物理标记点的第二编码信息的相似度大于等于第一阈值，则将该标记点影像确定为该物理标记点对应的标记点影像，进而得到第一至第n帧图像中的m个标记点影像与待测对象的m个物理标记点的对应关系。其中，第一编码信息和第二编码信息之间的相似度可根据汉明距离得到，汉明距离越小，则相似度越大。

可选地，本发明实施例中，可根据相似度建立编码信息的查找表，查找表中包括第一编码信息和第二编码信息之间的对应关系。具体地，以一个物理标记点a为例，与物理标记点a的第二编码信息的相似度大于等于第一阈值的第一编码信息均为与物理标记点a的第二编码信息对应的第一编码信息。因此，在得到物理标记点影像的第一编码信息后，可直接查询查找表，得到第一编码信息对应的第二编码信息，进而根据第二编码信息对应的物理标记点，得到标记点影像与物理标记点的对应关系。

采用这种事先建立查找表的方式，在得到标记点影像的第一编码信息后， 可直接查询查找表，而无需进行相似度的计算和比较，从而有效提高确定标记点影像与物理标记点的对应关系的效率，节省处理时间。本发明实施例中基于上述编码的方式来确定标记点影像与物理标记点的对应关系，从而使得该对应关系的确定更为准确快速，为后续确定待测对象的运动信息奠定了良好的基础。

在步骤303中，仍以标记点影像b为例，考虑标记点影像b在第一至第n帧图像中的位置信息有可能会存在小的差异，本发明实施例中，可将标记点影像b在第一至第n帧图像中的位置信息的平均值确定为标记点影像b最终的位置信息。

基于步骤302中得到的标记点影像与物理标记点的对应关系，以及步骤303中得到的各个物理标记点和各个标记点影像的位置信息，利用pnp算法确定摄像装置相对于待测对象的的旋转量和平移量，并采用lm算法对摄像装置相对于待测对象的的旋转量和平移量进行优化；根据摄像装置相对于待测对象优化后的的旋转量和平移量，得到待测对象在第n帧图像对应时刻的运动信息；待测对象在第n帧图像对应时刻的运动信息为待测对象在第n帧图像对应时刻相对于摄像装置的旋转量和平移量。

本发明的上述实施例中，获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括待测对象的m个物理标记点的标记点影像；针对m个标记点影像中的每个标记点影像，从第一至第n帧图像中识别出标记点影像在n个时刻的状态信息，将m个标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定第一至第n帧图像中的标记点影像与待测对象的物理标记点的对应关系；获取待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及第一至第n帧图像的m个标记点影像在预设的图像坐标系中的平均位置信息；根据m个标记点影像与m个物理标记点的对应关系，以及m个物理标记点和m个标记点影像的位置信息，确定待测对象在第n帧图像对应时刻的运动信息。本发明实施例中，待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态，从而使得第一至第n 帧图像中的m个物理标记点的标记点影像也具有不同的状态信息，进而根据标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数的比较结果，更准确快速地得到标记点影像与物理标记点的对应关系，并基于标记点影像的位置信息和物理标记点的位置信息，确定出待测对象的运动信息，相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法，本发明实施例能够有效确定出待测对象的平移量，从而更准确快速地感知待测对象的运动状态，实时性较高，能够显著改善用户的实际体验。

针对上述方法流程，本发明实施例还提供一种确定待测对象的运动信息的装置，该装置的具体内容可以参照上述方法实施。

基于相同构思，图5为本发明实施例提供的一种确定待测对象的运动信息的装置的结构示意图，该装置包括：

获取模块501，用于获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括所述待测对象的m个物理标记点的标记点影像，所述待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态；

确定模块502，用于针对m个标记点影像中的每个标记点影像，从所述第一至第n帧图像中识别出所述标记点影像在n个时刻的状态信息，将所述标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定所述第一至第n帧图像中的标记点影像与所述待测对象的物理标记点的对应关系；

处理模块503，用于根据所述m个标记点影像与所述m个物理标记点的对应关系，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，获取模块501还用于：

获取所述待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及所述m个标记点影像在预设的图像坐标系中的位置信息；

所述处理模块503具体用于：

根据所述m个标记点影像与所述m个物理标记点的对应关系，以及所述m个物理标记点和所述m个标记点影像的位置信息，确定所述待测对象在所述第n帧图像对应时刻的运动信息。

较佳地，所述确定模块502还用于：

根据如下方式确定第i帧图像中的标记点影像，i为正整数，且1≤i≤n：

根据所述第i帧图像的各个像素点的像素值，得到第一备选标记点影像；所述第一备选标记点影像的像素点的像素值大于等于第一阈值；

根据各个所述第一备选标记点影像，确定与各个所述第一备选标记点影像对应的方形区域；与所述第一备选标记点影像对应的方形区域为包含所述第一备选标记点影像的最小方形区域；

根据各个所述方形区域中像素点的个数以及方形区域边界上的像素点的个数，得到目标方形区域；所述目标方形区域的像素点的个数大于等于第二阈值，且边界上的像素点的个数符合预设条件；

将与所述目标方形区域对应的第一备选标记点影像确定为所述第i帧图像中的标记点影像。

较佳地，所述确定模块502具体用于：

获取所述标记点影像在第i帧图像中的识别信息以及在第i-1帧图像中的识别信息；i为正整数，且1≤i≤n；

根据所述标记点影像在第i帧图像中的的识别信息以及在第i-1帧图像中的识别信息的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，所述待测对象的各物理标记点为红外点；所述根据设定的时序参数来展现各物理标记点在不同时刻的状态为根据设定的在不同时刻的亮度参数来展现各物理标记点在不同时刻的亮度状态；所述标记点影像在第一至第n帧图像中的识别信息是根据所述物理标记点在不同时刻的亮度状态而得到的标记点影像的面积；

所述确定模块502具体用于：

根据所述标记点影像在第i帧图像中的的面积与在第i-1帧图像中的面积的比较结果，确定所述标记点影像在第i帧图像中的状态信息。

较佳地，所述确定模块502具体用于：

确定所述标记点影像在n个时刻的状态信息对应的第一编码信息；

确定所述各物理标记点设定的时序参数对应的第二编码信息；

若所述标记点影像的第一编码信息与物理标记点的第二编码信息之间的相似度大于等于第一阈值，则将该标记点影像确定为该物理标记点对应的标记点影像，进而得到所述第一至第n帧图像中的m个标记点影像与所述待测对象的m个物理标记点的对应关系。

较佳地，所述确定模块502具体用于：

第一物理标记点为所述待测对象的各物理标记点中的任一个，通过以下方式确定所述第一物理标记点设定的时序参数对应的第二编码信息：

根据所述待测对象的物理标记点的个数建立编码库，所述编码库中的编码信息的个数大于或等于所述待测对象的物理标记点的个数；

从所述编码库中选取一组编码信息；

确定该组编码信息与已确定的物理标记点的第二编码信息的汉明距离大于第二阈值后，将该组编码信息确定为所述第一物理标记点的编码信息。

较佳地，所述处理模块503具体用于：

根据所述标记点影像与所述物理标记点的对应关系，以及所述各个物理标记点和所述各个标记点影像的位置信息，利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量；

根据所述摄像装置相对于所述待测对象的旋转量和平移量，得到所述待测对象在所述第n帧图像对应时刻的运动信息；所述待测对象在所述第n帧图像对应时刻的运动信息为所述待测对象在所述第n帧图像对应时刻相对于所述摄像装置的旋转量和平移量。

较佳地，所述处理模块503还用于：

利用pnp算法确定所述摄像装置相对于所述待测对象的的旋转量和平移量之后，确定所述待测对象在所述第n帧图像对应时刻的运动信息之前，采用lm算法对所述摄像装置相对于所述待测对象的旋转量和平移量进行优化。

从上述内容可以看出：本发明实施例中，获取连续采集到的待测对象在n个时刻的第一至第n帧图像，每帧图像至少包括待测对象的m个物理标记点的标记点影像；针对m个标记点影像中的每个标记点影像，从第一至第n帧图像中识别出标记点影像在n个时刻的状态信息，将m个标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数进行比较，确定第一至第n帧图像中的标记点影像与待测对象的物理标记点的对应关系；获取待测对象的m个物理标记点在预设的世界坐标系中的位置信息以及第一至第n帧图像的m个标记点影像在预设的图像坐标系中的平均位置信息；根据m个标记点影像与m个物理标记点的对应关系，以及m个物理标记点和m个标记点影像的位置信息，确定待测对象在第n帧图像对应时刻的运动信息。本发明实施例中，待测对象的各物理标记点根据设定的时序参数来展现各物理标记点在不同时刻的状态，从而使得第一至第n帧图像中的m个物理标记点的标记点影像也具有不同的状态信息，进而根据标记点影像在n个时刻的状态信息与各物理标记点设定的时序参数的比较结果，更准确快速地得到标记点影像与物理标记点的对应关系，并基于标记点影像的位置信息和物理标记点的位置信息，确定出待测对象的运动信息，相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法，本发明实施例能够有效确定出待测对象的平移量，从而更准确快速地感知待测对象的运动状态，实时性较高，能够显著改善用户的实际体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。