一种定位物体的身份识别方法、装置和系统与流程

本发明涉及定位技术领域，特别涉及一种定位物体的身份识别方法、装置和系统。

背景技术：

视觉定位是一种常用的定位技术，通过一个或多个摄像头采集固定在待定位物体上的发光体，从而确定该发光体的三维位置是视觉定位的一种技术手段。

但是，当存在多个定位物体或者多个发光体时，确定摄像头采集的图像中的发光点对实际中的发光体对应关系，是视觉定位中的一大难题，无法确定对应关系，就无法实现发光体，即待定位物体的身份识别。现有技术中的方法是让每个发光体发出不同颜色的光，再通过rgb摄像头通过颜色来确定。但在图像中易于分辨的颜色数量有限，一旦发光体过多有些颜色会变得难以确定；同时rgb摄像头很容易受到室内光噪声的影响，常常导致结果错误，因此，现有技术中的方法无法有效的确定图像中的发光点对实际中的发光体对应关系，导致无法追踪多个发光体，降低用户体验的问题。

技术实现要素：

鉴于现有技术中的方法无法有效的确定图像中的发光点对实际中的发光体对应关系，导致无法追踪多个发光体，降低用户体验的问题，提出了本发明的一种定位物体的身份识别方法、装置和系统，以便解决或至少部分地解决上述问题。

根据本发明的一个方面，提供了一种定位物体的身份识别方法，多个定位物体上各设置有一发光体和一惯性测量单元imu；所述方法包括：

通过双目摄像头模组采集所述多个发光体的当前帧图像；

根据所述当前帧图像中的发光点的位置，利用双目成像原理确定与所述发光点对应的每个所述发光体相对于所述双目摄像头模组的三维位置坐标；

根据所述当前帧图像中的每个所述发光点的历史轨迹以及每个所述imu的朝向的历史轨迹确定所述发光点与所述imu的对应关系；

利用所述发光点对应的所述三维位置坐标和与所述发光点具有对应关系的所述imu采集的四元数，分别实现每个所述定位物体的追踪。

根据本发明的另一个方面，提供了一种定位物体的身份识别装置，多个定位物体上各设置有一发光体和一惯性测量单元imu；所述装置包括：

图像采集模块，用于通过双目摄像头模组采集所述多个发光体的当前帧图像；

三维位置坐标确定模块，用于根据所述当前帧图像中的发光点的位置，利用双目成像原理确定每个所述发光点对应的每个所述发光体相对于所述双目摄像头模组的三维位置坐标；

对应关系确定模块，用于根据所述当前帧图像中的每个所述发光点的历史轨迹以及每个所述惯性测量单元imu的朝向的历史轨迹确定所述发光点与所述imu的对应关系；

识别模块，用于利用所述发光点对应的所述三维位置坐标和与所述发光点具有对应关系的所述imu采集的四元数，分别实现每个所述定位物体的追踪。

根据本发明的又一个方面，提供了一种定位物体的身份识别系统，所述系统包括：外置于定位物体的双目摄像头模组、分别置于多个定位物体上的定位模块和如权利要求6-9任一项所述的定位物体的身份识别装置；所述定位模块包括一发光体和一惯性测量单元；

所述定位模块和所述双目摄像头模组有线或无线连接所述定位物体的身份识别装置。

综上所述，本发明在多个定位物体上各设置一发光体和一imu，通过双目摄像头模组采集所述多个发光体的当前帧图像，根据当前帧图像中的发光点的历史轨迹以及imu的朝向的历史轨迹确定当前帧图像中发光点与imu的对应关系，imu与定位物体一一对应，当确定发光点与定位物体的对应关系后，实现定位物体的身份识别；再利用具有对应关系的发光点对应的三维位置坐标和imu采集的四元数，分别实现每个定位物体的追踪。可见，本发明通过视觉定位与imu相结合的方式实现多个定位物体的身份识别和追踪，同时发光体不局限于不同的颜色，在具有相同的波长的情况下也可以实现；并且，成本较低，不受光噪声的干扰，增强用户体验。

附图说明

图1为本发明一个实施例提供的一种定位物体的身份识别方法的流程示意图；

图2为本发明一个实施例提供的一种确定发光点与imu的对应关系示意图；

图3为本发明一个实施例提供的一种定位物体的身份识别装置的结构示意图；

图4为本发明一个实施例提供的一种定位物体的身份识别系统的结构示意图。

具体实施方式

本发明的设计思路是：在多个定位物体上各设置一发光体和一imu，通过双目摄像头模组采集所述多个发光体的当前帧图像，根据当前帧图像中的发光点的历史轨迹以及imu的朝向的历史轨迹确定当前帧图像中发光点与实际中发光体的对应关系；再利用具有对应关系的发光点对应的三维位置坐标和imu采集的四元数，分别实现每个发光体的追踪。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明一个实施例提供的一种定位物体的身份识别方法的流程示意图。多个定位物体上各设置有一发光体和一惯性测量单元imu。如图1所示，该方法包括：

步骤s110，通过双目摄像头模组采集多个发光体的当前帧图像。

本实施例中，多个定位物体上的发光体可以是同波长的，也可以是不同波长的。

步骤s120，根据当前帧图像中的发光点的位置，利用双目成像原理确定与发光点对应的每个发光体相对于双目摄像头模组的三维位置坐标。

步骤s130，根据当前帧图像中的每个发光点的历史轨迹以及每个imu的朝向的历史轨迹确定发光点与imu的对应关系。

因为imu与定位物体一一对应，当确定发光点与imu对应关系，即确定了发光点与定位物体的对应关系后，实现定位物体的身份识别。

步骤s140，利用发光点对应的三维位置坐标和与发光点具有对应关系的imu采集的四元数，分别实现每个定位物体的追踪。

双目成像原理是基于视差原理并利用双目摄像头从不同的位置获取物体的两幅图像，通过计算图像中对应点间的位置偏差，来获取物体三维集合信息的方法。该方法的优点是效率高、精度高、结构简单、成本低等优点。在本实施例中，使用外置于定位物体的双目摄像头模组采集定位物体上红外发光体的当前帧图像，然后根据当前帧图像中的发光点的位置，利用双目成像原理确定发光体相对于双目摄像头模组的三维位置坐标。

惯性测量单元imu(imu)是一种可以输出自身位移、姿态等六个自由度的传感器，其优点是成本低、精度高、体积小。本实施例中，将imu置于定位物体上，是为了结合imu采集的数据实现图像中发光点与imu的对应关系，因为imu是与实际中发光体相对应的，所以，实现图像中发光点与imu的对应关系，也就是实现图像中发光点与实际中发光体的对应关系。

利用具有对应关系的发光点对应的三维位置坐标和imu采集的四元数，就可以分别实现每个发光体的追踪。可见，本发明通过视觉定位与imu相结合的方式实现多个发光体的追踪，同时发光体不局限于不同的颜色，在具有相同的波长的情况下也可以实现多个定位物体的身份识别和追踪；并且，成本较低，不受光噪声的干扰，增强用户体验。

在本发明的一个实施例中，步骤s130中的根据当前帧图像中的每个发光点的历史轨迹以及每个imu的朝向的历史轨迹确定发光点与imu的对应关系包括：根据当前帧图像中的每个发光点的历史轨迹计算每个发光点的线速度方向；根据每个imu采集的四元数确定每个imu当前朝向的单位方向向量；并根据每个imu的朝向的历史轨迹和当前朝向的单位方向向量计算每个imu的角度变化方向；判断每个发光点的线速度方向与每个imu块的角度变化方向是否一致；若判断为是，则确定方向一致的发光点与imu具有对应关系。

具体地，上述判断发光点的线速度方向与imu的角度变化方向是否一致包括：判断发光点的线速度方向与imu的角度变化方向的点积与自然数1的差异是否小于预设阈值；若判断为是，则确定发光点与imu之间具有对应关系。

因为在定位物体连接到本定位系统中时，系统会为每个定位物体设定唯一的识别号，也就是发定位刚体上的发光体与该定位物体上的imu是一一对应的，当确定了图像中发光点与imu的对应关系，就相当于确定了图像中发光点与实际中发光体的对应关系。

图2为本发明一个实施例提供的一种确定红外发光点与imu的对应关系示意图。如图2所示，根据imu的朝向的方向向量的历史轨迹可以确定imu上一帧的朝向的方向向量，根据imu的四元数确定imu当前朝向的单位方向向量，这样就可以计算每个imu的角度变化方向；根据红外发光点的历史轨迹计算每个红外发光点的线速度方向。当两者一致时，就可以确定对应关系。这里的imu的朝向与手柄的朝向一致，例如图2所示的，手柄的朝向为设置有发光体一端的延长线的指向，则imu的朝向与该指向一致。为保证imu朝向与手柄的朝向一致，在将imu设置在手柄中时，需要令imu中的一个坐标轴的方向与手柄的朝向一致。

由上述说明可知，本方案的实施需要利用发光点的历史轨迹以及imu的朝向的历史轨迹，所以，在本发明的一个实施例中，在步骤s140的利用发光点对应的三维位置坐标和与发光点具有对应关系的imu采集的四元数，分别实现每个发光体的追踪之后，图1所示的方法进一步包括：保存每个发光点的三维位置坐标，并根据三维位置坐标记录发光点的历史轨迹；以及，保存每个imu的当前朝向的单位方向向量，并根据单位方向向量记录imu的朝向的历史轨迹。

在多个发光体追踪的过程中，如果时刻进行对应关系的确定，会浪费系统资源，影响追踪效率，降低用户体验。因此，在本发明的一个实施例中，在步骤s140中的根据当前帧图像中的每个发光点的历史轨迹以及每个imu的朝向的历史轨迹确定发光体与imu的对应关系之前，图1所示的方法进一步包括：利用三维追踪方法确定发光点与imu的对应关系，并判断是否存在未确定对应关系的发光点和imu；若判断为是，对于无法确定对应关系的发光点和imu，根据每个无法确定对应关系的发光点的历史轨迹以及每个无法确定对应关系的imu的朝向的历史轨迹确定发光点与imu的对应关系。

本实施例中的三维追踪方法可以采用现有技术中的三维追踪方法，当利用现有技术中的三维追踪方法无法确定发光点与imu的对应关系时，对于无法确定对应关系的发光点和imu，再根据每个无法确定对应关系的发光点的历史轨迹以及每个无法确定对应关系的imu的朝向的历史轨迹确定发光点与imu的对应关系。

在本实施例中，可以通过三维追踪时输出追踪状态，判断是否存在未确定对应关系的发光点与imu。

例如，当图像中发光点的位置较近时，三维追踪进行估算时，在同一个方位内会出现两个光点，那么，利用三维追踪方法就无法确定；针对上述情况，在实际应用中，肯定存在无法确定对应关系的两个发光点，和两个imu，那么就对根据这两个无法确定对应关系的发光点的历史轨迹以及这两个无法确定对应关系的imu的朝向的历史轨迹确定发光点与imu的对应关系。

图3为本发明一个实施例提供的一种定位物体的身份识别装置的结构示意图。多个定位物体上各设置有一发光体和一惯性测量单元imu。如图3所示，该定位物体的身份识别装置300包括：

图像采集模块310，用于通过双目摄像头模组采集多个发光体的当前帧图像；

三维位置坐标确定模块320，用于根据当前帧图像中的发光点的位置，利用双目成像原理确定每个发光点对应的每个发光体相对于双目摄像头模组的三维位置坐标；

对应关系确定模块330，用于根据当前帧图像中的每个发光点的历史轨迹以及每个惯性测量单元imu的朝向的历史轨迹确定发光点与imu的对应关系；

识别模块340，用于利用发光点对应的三维位置坐标和与发光点具有对应关系的imu采集的四元数，分别实现每个定位物体的追踪。

需要说明的是，本实施例中的定位物体可以是vr设备、手柄等。

在本发明的一个实施例中，对应关系确定模块330，具体用于根据当前帧图像中的两个发光点的历史轨迹计算每个发光点的线速度方向；根据imu采集的四元数确定imu当前朝向的单位方向向量；并根据imu的朝向的历史轨迹和当前朝向的单位方向向量计算imu的角度变化方向；判断每个发光点的线速度方向与每个imu的角度变化方向是否一致；若判断为是，则确定方向一致的发光点与imu具有对应关系。

在本发明的一个实施例中，对应关系确定模块330，用于分别判断发光点的线速度方向与imu的角度变化方向的点积与自然数1的差异是否小于预设阈值；若判断为是，则确定发光点与该imu之间具有对应关系。

在本发明的一个实施例中，装置还包括：

存储模块350，用于保存每个发光点的三维位置坐标，并根据三维位置坐标记录发光点的历史轨迹；以及，保存imu的当前朝向的单位方向向量，并根据单位方向向量记录imu的朝向的历史轨迹。

在本发明的一个实施例中，处理器310，用于利用三维追踪方法确定发光点与imu332或342的对应关系，并判断是否存在未确定对应关系的发光点和imu；若判断为是，对于无法确定对应关系的发光点和imu，根据每个无法确定对应关系的发光点的历史轨迹以及每个无法确定对应关系的imu的朝向的历史轨迹确定发光点与imu的对应关系。

本发明还提供了一种定位物体的身份识别系统，系统包括：外置于定位物体的双目摄像头模组、分别置于多个定位物体上的定位模块和如图3所示的定位物体的身份识别装置；定位模块包括一发光体和一惯性测量单元。图4为本发明一个实施例提供的一种定位物体的身份识别系统的结构示意图。如图4所示，该定位物体的身份识别系统400包括：外置于定位物体的双目摄像头模组410、置于定位物体上的定位模块420、置于定位物体上的定位模块430、如图3所示的定位物体的身份识别装置440。其中，定位模块420包括发光体421和imu422；定位模块430包括发光体431和imu432。

定位模块420、定位模块430和双目摄像头模组410有线或无线连接定位物体的身份识别装置440。

还需要说明的是，图3所示的装置和图4所示的系统的各实施例与图1所示方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

综上所述，本发明在多个定位物体上各设置一发光体和一imu，通过双目摄像头模组采集所述多个发光体的当前帧图像，根据当前帧图像中的发光点的历史轨迹以及imu的朝向的历史轨迹确定当前帧图像中发光点与imu的对应关系，imu与定位物体一一对应，当确定发光点与定位物体的对应关系后，实现定位物体的身份识别；再利用具有对应关系的发光点对应的三维位置坐标和imu采集的四元数，分别实现每个定位物体的追踪。可见，本发明通过视觉定位与imu相结合的方式实现多个定位物体的身份识别和追踪，同时发光体不局限于不同的颜色，在具有相同的波长的情况下也可以实现；并且，成本较低，不受光噪声的干扰，增强用户体验。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。