摄像设备相对位姿信息生成方法、装置、设备和可读介质与流程

本公开的实施例涉及计算机，具体涉及摄像设备相对位姿信息生成方法、装置、设备和可读介质。

背景技术：

1、随着增强现实(augmented reality，ar)技术的发展，为了让ar设备渲染出的虚拟物体与现实物体紧密结合达到虚实融合的视觉效果，需要更加精确的摄像装置拍摄的图像中的物体与摄像装置之间的相对位姿信息。摄像设备相对位姿信息生成，是生成摄像装置拍摄的图像中的物体与摄像装置之间的相对位姿信息的一项技术。目前，在生成物体与摄像装置之间的相对位姿信息时，通常采用的方式为：通过各个视角图特征点信息重构物体在三维空间中的各个三维特征点，直接根据未去除无效特征点的各个视角图特征点信息、三维特征点信息与摄像装置拍摄的图像对应的二维特征点信息，生成相对位姿信息。

2、然而，当采用上述方式生成相对位姿信息时，经常会存在如下技术问题：

3、第一，通过各个视角图特征点信息重构物体在三维空间中的各个三维特征点时，由于不同视角下特征点的自遮挡、各个视角图像对应的各个视角范围有限，导致了各个视角图像上的部分特征点在重构各个三维特征点后没有对应的三维特征点存在。这些没有对应的三维特征点存在的特征点(即无效特征点)，在通过以各个视角图像上的各个特征点的特征点信息为媒介，匹配三维特征点信息与摄像装置拍摄的图像对应的二维特征点信息的对应关系时，无效特征点仍会参与后续的匹配与生成相对位姿信息的处理过程，导致计算机算力资源浪费。

4、然而，实践中发现，检索各个共视特征点信息组集合中与上述待定位物体图像特征点信息集特征相似度最高的共视特征点信息组时，进一步存在如下技术问题：

5、第二，直接通过将待定位物体图像特征点信息集中的每个待定位物体图像特征点信息与各个共视特征点信息组集合中的每个共视特征点信息进行一一匹配，确定每两个匹配的特征点信息的相似度，进而确定待定位物体图像特征点信息与各个共视特征点信息组集合中各个共视特征点信息组的相似度。通过检索待定位物体图像特征点信息与各个共视特征点信息组集合中的每个共视特征点信息组的相似度确定各个共视特征点信息组集合中与待定位物体图像特征点信息集特征相似度最高的共视特征点信息组，增加了计算机处理的复杂度，使得计算机在检索与待定位物体图像特征点信息集相似度最高的共视特征点信息组时的检索时间较长。

6、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了摄像设备相对位姿信息生成方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种摄像设备相对位姿信息生成方法，该方法包括：获取对应定位物体的物体视角图像集，其中，上述物体视角图像集中各个物体视角图像对应各个拍摄视角；对于上述物体视角图像集中的每个物体视角图像，对上述物体视角图像进行特征点信息提取处理，得到对应上述定位物体的初始特征点信息组；将所得到的各个初始特征点信息组确定为初始特征点信息组集，其中，上述物体视角图像集中一个物体视角图像与上述初始特征点信息组集中对应的一个初始特征点信息组对应；将上述初始特征点信息组集输入至预先训练好的特征点匹配预测模型，得到各个匹配特征点预测信息组；基于上述各个匹配特征点预测信息组，生成对应上述各个匹配特征点预测信息组的三维点云信息集；对于上述初始特征点信息组集中的每个初始特征点信息组，根据上述各个匹配特征点预测信息组，对上述初始特征点信息组进行无效特征点信息剔除处理，得到特征点信息组；将所得到的各个特征点信息组确定为特征点信息组集，其中，上述特征点信息组集中的一个特征点信息组与上述三维点云信息集中对应的一个三维点云信息对应，上述特征点信息组中的每个特征点信息与上述三维点云信息对应；获取摄像设备所采集的对应上述定位物体的待定位物体图像；对上述待定位物体图像进行特征点信息提取处理，生成对应上述待定位物体图像的待定位物体图像特征点信息集；基于上述待定位物体图像特征点信息集、上述特征点信息组集与上述三维点云信息集，生成各个共视特征点信息组集；基于上述待定位物体图像特征点信息集与上述各个共视特征点信息组集，将上述待定位物体图像特征点信息集中的至少三个待定位物体图像特征点信息作为各个二维特征点信息与上述三维点云信息集中的三维点云信息匹配，得到各个匹配特征点信息组，其中，上述各个匹配特征点信息组中的匹配特征点信息组包括一个待定位物体图像特征点信息与一个三维点云信息；基于上述各个匹配特征点信息组，生成上述待定位物体图像中的定位物体与上述摄像设备的相对位姿信息。

4、第二方面，本公开的一些实施例提供了一种摄像设备相对位姿信息生成装置，装置包括：第一获取单元，被配置成获取对应定位物体的物体视角图像集，其中，上述物体视角图像集中各个物体视角图像对应各个拍摄视角；第一提取处理单元，被配置成对于上述物体视角图像集中的每个物体视角图像，对上述物体视角图像进行特征点信息提取处理，得到对应上述定位物体的初始特征点信息组；第一确定单元，被配置成将所得到的各个初始特征点信息组，确定为初始特征点信息组集，其中，上述物体视角图像集中一个物体视角图像与上述初始特征点信息组集中对应的一个初始特征点信息组对应；输入单元，被配置成将上述初始特征点信息组集输入至预先训练好的特征点匹配预测模型，得到各个匹配特征点预测信息组；第一生成单元，被配置成基于上述各个匹配特征点预测信息组，生成对应上述各个匹配特征点预测信息组的三维点云信息集；剔除处理单元，被配置成对于上述初始特征点信息组集中的每个初始特征点信息组，根据上述各个匹配特征点预测信息组，对上述初始特征点信息组进行无效特征点信息剔除处理，得到特征点信息组；第二确定单元，被配置成将所得到的各个特征点信息组，确定为特征点信息组集，其中，上述特征点信息组集中的一个特征点信息组与上述三维点云信息集中对应的一个三维点云信息对应，上述特征点信息组中的每个特征点信息与上述三维点云信息对应；第二获取单元，被配置成获取摄像设备所采集的对应上述定位物体的待定位物体图像；第二提取处理单元，被配置成对上述待定位物体图像进行特征点信息提取处理，生成对应上述待定位物体图像的待定位物体图像特征点信息集；第二生成单元，被配置成基于上述待定位物体图像特征点信息集、上述特征点信息组集与上述三维点云信息集，生成各个共视特征点信息组集；匹配单元，被配置成基于上述待定位物体图像特征点信息集与上述各个共视特征点信息组集，将上述待定位物体图像特征点信息集中的至少三个待定位物体图像特征点信息作为各个二维特征点信息与上述三维点云信息集中的三维点云信息匹配，得到各个二维三维匹配特征点信息组，其中，上述各个匹配特征点信息组中的匹配特征点信息组包括一个待定位物体图像特征点信息与一个三维点云信息；第三生成单元，被配置成基于上述各个匹配特征点信息组，生成上述待定位物体图像中的定位物体与上述摄像设备的相对位姿信息。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的摄像设备相对位姿信息生成方法，减少了计算机算力资源浪费。具体来说，造成计算机算力资源浪费的原因在于：通过各个视角图特征点信息重构物体在三维空间中的各个三维特征点时，由于不同视角下特征点的自遮挡、各个视角图像对应的各个视角范围有限，导致了各个视角图像上的部分特征点在重构各个三维特征点后没有对应的三维特征点存在。这些没有对应的三维特征点存在的特征点(即无效特征点)，在通过以各个视角图像上的各个特征点的特征点信息为媒介，匹配三维特征点信息与摄像装置拍摄的图像对应的二维特征点信息的对应关系时，无效特征点仍会参与后续的匹配与生成相对位姿信息的处理过程，导致计算机算力资源浪费。基于此，本公开的一些实施例的摄像设备相对位姿信息生成方法，首先，获取对应定位物体的物体视角图像集，其中，上述物体视角图像集中各个物体视角图像对应各个拍摄视角。由此，可以得到用于生成三维点云信息集的物体视角图像集。然后，对于上述物体视角图像集中的每个物体视角图像，对上述物体视角图像进行特征点信息提取处理，得到对应上述定位物体的初始特征点信息组。由此，可以对物体视角图像进行特征点信息提取处理，得到对应物体视角图像的初始特征点信息组。接着，将所得到的各个初始特征点信息组确定为初始特征点信息组集，其中，上述物体视角图像集中一个物体视角图像与上述初始特征点信息组集中对应的一个初始特征点信息组对应。之后，将上述初始特征点信息组集输入至预先训练好的特征点匹配预测模型，得到各个匹配特征点预测信息组。由此，可以通过特征点匹配预测模型对初始特征点信息组集中的初始特征点信息进行匹配，得到各个匹配特征点预测信息组。然后，基于上述各个匹配特征点预测信息组，生成对应上述各个匹配特征点预测信息组的三维点云信息集。由此，可以得到表征定位物体在三维空间的三维模型对应的三维点云信息集。接着，对于上述初始特征点信息组集中的每个初始特征点信息组，根据上述各个匹配特征点预测信息组，对上述初始特征点信息组进行无效特征点信息剔除处理，得到特征点信息组。由此，可以将初始特征点信息组中的无效特征点剔除。然后，将所得到的各个特征点信息组确定为特征点信息组集，其中，上述特征点信息组集中的一个特征点信息组与上述三维点云信息集中对应的一个三维点云信息对应，上述特征点信息组中的每个特征点信息与上述三维点云信息对应。由此，可以得到用于生成各个共视特征点信息组集的特征点信息组集。接着，获取摄像设备所采集的对应上述定位物体的待定位物体图像。由此，可以得到用于确定图像中的定位物品与摄像设备之间相对位姿信息的待定位物体图像。然后，对上述待定位物体图像进行特征点信息提取处理，生成对应上述待定位物体图像的待定位物体图像特征点信息集。由此，可以对待定位物体图像进行特征点信息提取处理，得到待定位物体图像特征点信息集。之后，基于上述待定位物体图像特征点信息集、上述特征点信息组集与上述三维点云信息集，生成各个共视特征点信息组集。由此，可以得到用于生成各个匹配特征点信息组的各个共视特征点信息组集。然后，基于上述待定位物体图像特征点信息集与上述各个共视特征点信息组集，将上述待定位物体图像特征点信息集中的至少三个待定位物体图像特征点信息作为各个二维特征点信息与上述三维点云信息集中的三维点云信息匹配，得到各个匹配特征点信息组，其中，上述各个匹配特征点信息组中的匹配特征点信息组包括一个待定位物体图像特征点信息与一个三维点云信息。由此，可以以各个无效特征点剔除处理后的特征点信息组为媒介，匹配三维点云信息集中的三维特征点信息与对应摄像装置拍摄图像的二维特征点信息的对应关系。最后，基于上述各个匹配特征点信息组，生成上述待定位物体图像中的定位物体与上述摄像设备的相对位姿信息。由此，可以生成待定位物体图像中的定位物体与上述摄像设备的相对位姿信息。也因为采用了在根据对应各个物体视角图像的各个初始特征点信息组，生成物体在三维空间中的各个三维特征点对应的三维点云信息集之后，对各个初始特征点信息组进行了无效特征点信息剔除处理，得到各个无效特征点剔除处理后的特征点信息组。通过以各个无效特征点剔除处理后的特征点信息组为媒介，匹配三维点云信息集中的三维特征点信息与对应摄像装置拍摄图像的二维特征点信息的对应关系。减少了匹配与生成相对位姿信息的处理过程中的计算机算力资源的浪费。