一种应用于AR设备的目标定位方法、装置及电子设备与流程

本技术涉及虚拟现实的，具体涉及一种应用于ar设备的目标定位方法、装置及电子设备。

背景技术：

1、增强现实（ar）设备是一种创新的可穿戴技术，这种设备融合了虚拟场景与真实世界。通常一个ar设备包括一个内置显示屏、摄像头和多种传感器，这些元件共同工作，使用户能够在他们的现实视野中看到虚拟元素。这些虚拟元素似乎与周围环境互动，就像它们存在于真实世界中一样。

2、用户佩戴这种眼镜后，可以在自己的视野中看到虚拟物体、图像、信息和交互元素。这些虚拟元素伴随用户的视线移动，与真实世界相互交织，营造出引人入胜的增强现实体验。这项技术有广泛的应用，例如ar设备在军事领域被开发出越来越多的应用功能，这些功能可以提高单兵的战斗能力、战场感知和决策制定。士兵还可以通过ar设备获得实时情报，包括敌人的位置、友军动向和其他重要信息，帮助他们更好地理解战场局势。

3、士兵在执行任务时，可能会遭到隐藏的目标阻击任务，因此需要及时发现目标，并快速处理目标。但有时候会需要其他友军辅助解决目标，因此需要先向友军提供目标的信息，以使友军找出目标。有相关技术可以通过ar设备进行跨设备目标共享，不同的ar设备在拍摄到同一目标后，在显示屏上进行标记，便于不同的士兵快速发现并确定目标。但是在确定目标时，需要获取该目标的位置信息。目前，有通过比较来自ar设备摄像头的两个图像之间的视差来计算目标位置的方法。在ar设备上配备双摄像头，通过检测相同物体在两个图像中的位置差异，使用立体视觉来计算物体与ar设备之间的距离。可以估算出深度信息。最后根据ar设备的位置以及物体与ar设备之间的距离，计算出目标的位置。

4、但是通过上述立体视觉法计算目标位置的方法在不同深度上的距离估计精度可能会不均匀。通常，距离摄像头更近的物体距离估计更准确，而远离摄像头的物体可能会有较大的距离误差，导致这一方法计算出的目标位置精确度较低。因此，需要一种方法提高ar设备的目标物体距离计算的精准度。

技术实现思路

1、本技术提供一种应用于ar设备的目标定位方法、装置及电子设备，能够提高ar设备的目标物体距离计算的精准度。

2、在本技术的第一方面提供了一种应用于ar设备的目标定位方法，所述方法应用于第一ar设备，所述第一ar设备通信连接有第二ar设备，所述方法包括：

3、获取第一图像和第二图像，所述第一图像为第一ar设备拍摄的图像，所述第二图像为第二ar设备拍摄的图像；

4、确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；

5、基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；

6、获取第一位置数据，并获取所述第二ar设备发送的第二位置数据，所述第一位置数据为所述第一ar设备的位置数据，所述第二位置数据为所述第二ar设备的位置数据；

7、根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。

8、通过采用上述技术方案，相对于立体视觉法通过单个ar设备的两个摄像头采集图像，然后计算目标到ar设备的距离，以确定目标的位置。本技术考虑了两个不同视角下的预设目标的位置信息，通过获取第一图像和第二图像，并确定目标在两个图像中的像素坐标，然后结合两个ar设备的位置数据，计算出预设目标的目标位置数据。本技术利用多个ar设备之间的信息共享和协作来提高计算精度，将第一ar设备和第二ar设备的视线方向向量以及各自的位置数据结合起来，可以更准确地确定目标物体在空间中的位置，不会存在不同深度上的距离估计精度不均匀的问题。

9、可选的，所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据，具体包括：

10、对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量；

11、计算所述预设目标的坐标，具体计算公式如下：

12、；

13、其中，p为所述预设目标的坐标，da’为所述第一方向向量，db’为所述第二视线方向向量，所述第一位置数据为（xa，xb，xc），所述第二位置数据为（xb，yb，zb）；

14、将所述预设目标的坐标设置为所述目标位置数据。

15、通过采用上述技术方案，计算第一方向向量与第二方向向量的叉积。叉积是一种向量运算，结果是一个新的向量，垂直于原始两个向量的平面。这个叉积向量的方向指向了两个原始向量所确定的平面内。第一方向向量与第二方向向量的叉积方向将指向目标所在的三维空间点。计算向量叉积的结果与(xa-xb)、(ya-yb)以及(za-zb)的叉积，其中(xa-xb)、(ya-yb)以及(za-zb)是第一ar设备与第二ar设备的的位置向量之差。这个差向量表示了从第一ar设备指向第二ar设备的方向。最后，将叉积结果除以叉积向量的模的平方，得到预设目标的坐标。这是通过向量加法和标量乘法来实现的，确保p位于两个方向向量所确定的平面上。最后，将预设目标的坐标设置为目标位置数据。

16、可选的，所述基于所述第一像素坐标，确定第一ar设备拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定第二ar设备拍摄所述预设目标的第二视线方向向量，具体包括：

17、通过如下公式计算所述第一视线方向向量：

18、；

19、其中，da为所述第一视线方向向量，所述第一像素坐标为(ua，va）；

20、通过如下公式计算所述第二视线方向向量：

21、；

22、其中，db为所述第二视线方向向量，所述第一像素坐标为(ub，vb）。

23、通过采用上述技术方案，基于摄像机成像原理以及摄像机投影模型，可以将像素坐标映射到摄像机坐标系中的三维点，进而确定视线方向向量。而视线方向向量描述了从ar设备的摄像头到预设目标的方向，这些方向向量将用于后续目标位置数据的计算。

24、可选的，所述确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标，具体包括：

25、获取第一用户输入的第一目标，所述第一用户佩戴所述第一ar设备，所述第一目标为所述预设目标在所述第一图像中的显像；

26、确定所述第一目标在预设影像坐标系下的第一像素坐标，所述预设摄像坐标系为采集所述第一图像和所述第二图像时，基于ar设备的硬件参数设置的坐标系；

27、发送所述第一目标的特征至所述第二ar设备；

28、在所述第二ar设备基于所述第一目标的特征识别出第二目标后，获取所述第二ar设备发送的所述第二像素坐标，所述第二目标为所述预设目标在所述第二图像中的显像。

29、通过采用上述技术方案，获取第一用户输入的第一目标，并确定第一目标在预设影像坐标系下的第一像素坐标，然后将第一目标的特征发送到第二ar设备。在第二ar设备基于第一目标的特征识别出第二目标后，获取第二目标在预设影像坐标系下的第二像素坐标。可以准确地确定第一目标和第二目标在预设影像坐标系下的像素坐标，从而可以更准确地确定目标物体在空间中的位置。

30、可选的，所述获取第一用户输入的第一目标，具体包括：

31、获取所述第一用户的瞳孔变化；

32、根据所述瞳孔变化，确定所述第一用户的观察视线；

33、确定所述观察视线与所述第一图像的交点；

34、对所述第一图像进行轮廓检测，识别得到多个第一待定目标；

35、确定多个所述第一待定目标中的第二待定目标，所述第二待定目标包含所述交点；

36、确定所述交点位于所述第二待定目标的聚焦时长；

37、判断所述聚焦时长是否大于或等于预设时长，若所述聚焦时长大于或等于所述预设时长，则确定所述第二待定目标为所述第一目标。

38、通过采用上述技术方案，通过结合第一用户的视线方向和关注时长来确定预设目标，可以更准确地识别出第一用户想要共享的预设目标。同时不需要第一用户手动选择或标记预设目标，减少了第一用户的操作步骤。通过自动识别和确定目标，可以加快目标共享的速度，进而提高目标共享效率。

39、可选的，对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量，具体包括：

40、将预设影像坐标系下的所述第一视线方向向量转换到世界坐标系下的所述第一方向向量，具体通过如下公式转换：

41、；

42、其中，da’为所述第一方向向量，ra是所述第一视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，ta是所述第一视线方向向量进行坐标系转换的平移矩阵，da为所述第一视线方向向量；

43、将所述预设影像坐标系下的所述第二视线方向向量转换到所述世界坐标系下的所述第二方向向量，具体通过如下公式转换：

44、；

45、其中，db’为所述第二方向向量，rb是所述第二视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，tb是所述第二视线方向向量进行坐标系转换的平移矩阵，db为所述第二视线方向向量。

46、通过采用上述技术方案，将预设影像坐标系下的视线方向向量转化为世界坐标系下的方向向量，能够确保不同摄像机之间的坐标参考系一致，以便在一个统一的坐标系中进行目标位置的三维重建。这是因为摄像机通常以其自身坐标系拍摄图像，而目标的三维坐标通常是相对于某个参考坐标系定义的。

47、可选的，在所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据之后，所述方法还包括：

48、发送所述第一图像至所述第二ar设备；

49、发送所述第一位置数据至所述第二ar设备；

50、在所述第二ar设备根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的验证位置数据后，接收所述第二ar设备发送的所述验证位置数据；

51、比对所述目标位置数据与所述验证位置数据是否一致，若所述目标位置数据与所述验证位置数据一致，则向第一用户和第二用户展示所述目标位置数据，所述第一用户佩戴所述第一ar设备，所述第二用户佩戴所述第二ar设备。

52、通过采用上述技术方案，通过将第一图像和第一位置数据发送到第二ar设备，使得第二ar设备可以根据第一视线方向向量、第二视线方向向量、第一位置数据和第二位置数据来确定预设目标的位置。然后，第二ar设备将验证位置数据发送回第一ar设备进行比对。如果目标位置数据与验证位置数据一致，则向第一用户和第二用户展示目标位置数据。进而可以检测出可能存在的错误或异常情况，并及时进行修正或处理。

53、在本技术的第二方面提供了一种应用于ar设备的目标定位装置，所述装置为第一ar设备，包括获取模块、识别模块以及计算模块，其中：

54、所述获取模块，用于获取第一图像和第二图像，所述第一图像为第一ar设备拍摄的图像，所述第二图像为第二ar设备拍摄的图像；

55、所述识别模块，用于确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；

56、所述计算模块，用于基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；

57、所述获取模块，用于获取第一位置数据，并获取所述第二ar设备发送的第二位置数据，所述第一位置数据为所述第一ar设备的位置数据，所述第二位置数据为所述第二ar设备的位置数据；

58、所述计算模块，用于根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。

59、可选的，所述计算模块，用于对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量。

60、所述计算模块，用于计算所述预设目标的坐标，具体计算公式如下：

61、；

62、其中，p为所述预设目标的坐标，da’为所述第一方向向量，db’为所述第二视线方向向量，所述第一位置数据为（xa，xb，xc），所述第二位置数据为（xb，yb，zb）。

63、所述计算模块，用于将所述预设目标的坐标设置为所述目标位置数据。

64、可选的，所述计算模块，用于通过如下公式计算所述第一视线方向向量：

65、；

66、其中，da为所述第一视线方向向量，所述第一像素坐标为(ua，va）。

67、所述计算模块，用于通过如下公式计算所述第二视线方向向量：

68、；

69、其中，db为所述第二视线方向向量，所述第一像素坐标为(ub，vb）。

70、可选的，所述获取模块，用于获取第一用户输入的第一目标，所述第一用户佩戴所述第一ar设备，所述第一目标为所述预设目标在所述第一图像中的显像。

71、所述识别模块，用于确定所述第一目标在预设影像坐标系下的第一像素坐标，所述预设摄像坐标系为采集所述第一图像和所述第二图像时，基于ar设备的硬件参数设置的坐标系。

72、所述获取模块，用于发送所述第一目标的特征至所述第二ar设备。

73、所述获取模块，用于在所述第二ar设备基于所述第一目标的特征识别出第二目标后，获取所述第二ar设备发送的所述第二像素坐标，所述第二目标为所述预设目标在所述第二图像中的显像。

74、可选的，所述获取模块，用于获取所述第一用户的瞳孔变化。

75、所述识别模块，用于根据所述瞳孔变化，确定所述第一用户的观察视线。

76、所述识别模块，用于确定所述观察视线与所述第一图像的交点。

77、所述识别模块，用于对所述第一图像进行轮廓检测，识别得到多个第一待定目标。

78、所述识别模块，用于确定多个所述第一待定目标中的第二待定目标，所述第二待定目标包含所述交点。

79、所述计算模块，用于确定所述交点位于所述第二待定目标的聚焦时长。

80、所述识别模块，用于判断所述聚焦时长是否大于或等于预设时长，若所述聚焦时长大于或等于所述预设时长，则确定所述第二待定目标为所述第一目标。

81、可选的，所述计算模块，用于将预设影像坐标系下的所述第一视线方向向量转换到世界坐标系下的所述第一方向向量，具体通过如下公式转换：

82、；

83、其中，da’为所述第一方向向量，ra是所述第一视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，ta是所述第一视线方向向量进行坐标系转换的平移矩阵，da为所述第一视线方向向量。

84、所述计算模块，用于将所述预设影像坐标系下的所述第二视线方向向量转换到所述世界坐标系下的所述第二方向向量，具体通过如下公式转换：

85、；

86、其中，db’为所述第二方向向量，rb是所述第二视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，tb是所述第二视线方向向量进行坐标系转换的平移矩阵，db为所述第二视线方向向量。

87、可选的，所述获取模块，用于发送所述第一图像至所述第二ar设备。

88、所述获取模块，用于发送所述第一位置数据至所述第二ar设备。

89、所述计算模块，用于在所述第二ar设备根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的验证位置数据后，接收所述第二ar设备发送的所述验证位置数据。

90、所述识别模块，用于比对所述目标位置数据与所述验证位置数据是否一致，若所述目标位置数据与所述验证位置数据一致，则向第一用户和第二用户展示所述目标位置数据，所述第一用户佩戴所述第一ar设备，所述第二用户佩戴所述第二ar设备。

91、在本技术的第三方面提供了一种电子设备，包括处理器、存储器、用户接口以及网络接口，所述存储器用于存储指令，所述用户接口和所述网络接口均用于与其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上述任意一项所述的方法。

92、在本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上述任意一项所述的方法。

93、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

94、相对于立体视觉法通过单个ar设备的两个摄像头采集图像，然后计算目标到ar设备的距离，以确定目标的位置。本技术考虑了两个不同视角下的预设目标的位置信息，通过获取第一图像和第二图像，并确定目标在两个图像中的像素坐标，然后结合两个ar设备的位置数据，计算出预设目标的目标位置数据。本技术利用多个ar设备之间的信息共享和协作来提高计算精度，将第一ar设备和第二ar设备的视线方向向量以及各自的位置数据结合起来，可以更准确地确定目标物体在空间中的位置，不会存在不同深度上的距离估计精度不均匀的问题。