一种障碍物信息标注方法、装置、电子设备和存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种障碍物信息标注方法、装置、电子设备和存储介质。

背景技术：

在数字轨、自动驾驶、车路协同、机器人导航等技术中，通过安装在车辆上或者路侧单元上的摄像头来感知它所监控的道路区域的路况信息，获得关于道路状况的视频图像，然后通过对视频图像的分析，来获得监控道路上障碍物的相关信息。

相关技术中，提供了对视频图像中的目标障碍物用二维区域的信息进行标注的方式，但是该方式只能确定障碍物在二维图像坐标系下的二维信息，以至于无法获得目标障碍物的三维信息，难以满足自动驾驶、车路协同和辅助驾驶中，对道路状况分析中所要求的对障碍物在三维空间中进行精确定位的要求。

相关技术中，还提供了一种依赖于激光雷达传感器确定障碍物的三维信息的方式，但是该方式成本较高、激光雷达的分辨率较低，难以对道路中的障碍物进行精确定位。

技术实现要素：

本申请提供一种障碍物信息标注方法、装置、电子设备和存储介质，以解决上述技术问题。

本申请第一方面提供了一种障碍物信息标注方法，所述方法包括：

获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系；

确定所述视频图像中的目标障碍物；

在所述目标障碍物不具有初始化的三维标注信息的情况下，根据所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的锚点；所述几何约束条件为：4个锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个锚点所构成的三维矩形标注框所占据的三维矩形空间区域一致；

初始化所述三维矩形标注框的姿态角为初始姿态角；根据所述4个锚点在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系、以及所述三维矩形标注框的初始姿态角，获得所述4个锚点各自对应的初始三维坐标；其中，所述三维矩形标注框的姿态角为：所述三维矩形标注框的前向与所述路面坐标系的前向之间的夹角；

根据所述4个锚点各自对应的初始三维坐标所述三维矩形标注框，以及三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。

本申请第二方面提供了一种障碍物信息标注装置，所述装置包括：

第一获取模块，用于获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系；

第一确定模块，用于确定所述视频图像中的目标障碍物；

锚点获取模块，用于在所述目标障碍物不具有初始化的三维标注信息的情况下，根据所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的锚点；所述几何约束条件为：4个锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个锚点所构成的三维矩形标注框所占据的三维矩形空间区域一致；

第二获取模块，用于初始化所述三维矩形标注框的姿态角为初始姿态角；根据所述4个锚点在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景的路面坐标系信息、以及所述三维矩形标注框的初始姿态角，获得所述4个锚点各自对应的初始三维坐标；其中，所述三维矩形标注框的姿态角为：所述三维矩形标注框的前向与所述路面坐标系的前向之间的夹角；

第一标注模块，用于根据所述4个锚点各自对应的初始三维坐标、所述三维矩形标注框以及所述三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。

本申请第三方面提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行以实现一种障碍物信息标注方法。

本申请第四方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行实现一种障碍物信息标注方法。

与现有技术相比，本申请包括以下优点：

本发明根据摄像头采集的视频图像和投影变换矩阵，确定视频图像的目标障碍物，在视频图像中选取目标障碍物的相应锚点，获得该目标障碍物的三维矩形标注框，通过获取三维矩形标注框的位置、尺寸和姿态信息，获得目标障碍物的三维标注信息。本发明依赖于视频图像获得目标障碍物的三维标注信息，其成本低、信息准确度高、障碍物辨别能力强，能够满足自动驾驶、车路协同、辅助驾驶等应用中需要对道路中的目标障碍物进行三维精确定位的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请各个实施例的技术方案，下面将对本申请各个实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种障碍物信息标注方法的步骤流程图；

图2是本发明一实施例提供的一种先确定锚点再调整姿态角的障碍物信息标注方法的步骤流程图；

图3是本发明一实施例提供的路面坐标系的示意图；

图4是本发明一实施例提供的二维显示坐标系下的三维矩形标注框；

图5是本发明一实施例提供的路面坐标系中的三维矩形标注框；

图6是本发明中图4和图5中所示的具体的4个锚点p1、p2、p3和p4的流程图；

图7是本发明另一实施例提供的二维显示坐标系下的三维矩形标注框；

图8是本发明另一实施例提供的路面坐标系中的三维矩形标注框；

图9是本发明中具有初始化的三维标注信息的情况下确定三维标注信息的流程图；

图10是本发明另一实施例提供的一种障碍物信息标注装置的结构示意图；

图11是本发明另一实施例提供的电子设备的结构示意图；

图12是本发明另一实施例提供的一种障碍物信息标注系统的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

在自动驾驶、车路协同、辅助驾驶等技术中，需要训练算法模型对视频中的障碍物进行检测和定位。训练这些模型需要对摄像头采集到的视频数据进行标注，标出视频图像中的障碍物在图像中的位置和大小。一般是先把视频图像显示到一个显示窗口，然后通过在显示窗口中标注出目标障碍物在视频图像中所在的二维区域。然后把标注的二维标注信息存储到存储设备。

相关技术中，能够采用二维信息对视频图像中的目标障碍物进行标注。利用二维信息对目标障碍物进行标注的方式具体如下：摄像头采集道路区域的视频图像，在视频图像中标注出目标障碍物所占据的二维区域。然而，这种方法所标注的二维标注信息不能反映视频图像中的目标障碍物在三维空间的信息。如果采用标注有二维标注信息的视频图像对检测模型或定位模型或相关的视频分析模型进行训练，训练出的模型只能定位目标障碍物在二维图像坐标系下的二维信息，不能得到目标障碍物在三维空间中的三维标注信息，因此，这种模型难以对摄像头中的目标障碍物进行三维定位，难以满足自动驾驶、车路协同和辅助驾驶中对道路状况分析中所要求的对目标障碍物在三维空间中进行精确定位的要求。

由此可见，上述“采用二维信息对视频图像中的目标障碍物进行标注”的相关技术，只能标注视频图像中目标障碍物在二维图像坐标系下的二维区域信息，不能标注视频图像中目标障碍物在三维空间中的三维信息，所以得到的标注数据不包含监控道路区域的视频图像中目标障碍物的三维信息，不能用来训练目标障碍物的三维检测或定位模型或相关的视频分析模型，不能通过对视频图像的分析，得到目标障碍物的三维空间信息，也就不能在三维空间中精确定位视频图像中的障碍物，也就难以满足自动驾驶、车路协同、辅助驾驶等应用中需要对道路中的目标障碍物进行三维精确定位的需求。

相关技术中，还提供了另一种依赖于激光雷达传感器所感知得到的三维点云信息来获得障碍物的三维信息的方式。即，基于激光雷达的点云信息包含监控道路区域的采样点的三维信息，可以对三维点云中的目标障碍物进行三维空间区域的标区域的标注。因为三维点云包含道路区域相对于激光雷达坐标系的三维坐标信息，所以可以对目标障碍物的三维信息进行标注，包括目标障碍物的位置信息、所占据的三维空间区域信息、以及三维姿态信息。

然而，上述依赖于激光雷达传感器所感知得到的三维点云信息来获得障碍物的三维信息的方式，虽然能通过激光雷达所感知到的监控道路的点云数据对道路上的目标障碍物标注出三维信息，但激光雷达成本昂贵，并且激光雷达的分辨率相较视频图像分辨率就很低，难以对道路中的目标障碍物进行精确定位，对目标障碍物在三维空间中所占的三维空间区域的定位也比视频图像低。另外，激光雷达不能感知道路区域上的色彩信息，对目标障碍物分类的准确性低于基于视频图像对目标障碍物分类的准确性。例如，路面上有人、箱体和车辆，其中，人和箱体差别不大，如果依赖于激光雷达对目标障碍物进行定位，由于不能感知色彩信息，所以很容易将人和箱体进行混淆，进而降低目标障碍物分类的准确性。

障碍物的三维标注信息包括障碍物的位置信息、障碍物所占据的三维空间信息、以及障碍物的姿态信息。三维标注信息对于障碍物在三维空间中的定位和分析至关重要，只有对障碍物在三维空间中的位置进行准确地定位，对障碍物的状态做出精确的分析，才能让自动驾驶车辆能够根据这些信息来做出正确的驾驶决策，避开车辆附近的障碍物，确保车辆安全与顺畅地行驶。

要对监控道路区域的单目视频图像中的障碍物的三维空间信息进行分析，需要用标注有障碍物三维信息的单目视频数据来训练视频分析模型。因此需要相关的技术和系统能够对单目视频中的障碍物进行三维信息标注，精准地反映单目视频图像中的障碍物在三维空间的位置信息、所占据的三维空间区域信息、以及在三维空间中的姿态信息。

本申请为了解决上述出现的技术问题，提供了一种障碍物信息标注方法，根据摄像头采集的视频图像和投影变换矩阵，确定视频图像的目标障碍物，在视频图像中选取目标障碍物的相应锚点，获得该目标障碍物的三维矩形标注框，通过获取三维矩形标注框的位置、尺寸和姿态信息，获得目标障碍物的三维标注信息。

相比于相关技术中的激光雷达获取三维信息的方式而言，本申请依赖于视频图像获得目标障碍物的三维标注信息，本申请只需要依赖于视频图像就能够获得目标障碍物的三维标注信息，且能够轻易地获得较高分辨率的视频图像，因此本申请所提供的标注方法花费的成本低；基于视频图像获得目标障碍物的三维标注信息，由于视频图像本身的分辨率可以很高，因此，基于高分辨率的视频图像可以获得更准确目标障碍物的三维信息；并且视频图像可以识别并记录目标障碍物的颜色，可以有效提高障碍物辨别能力。本申请相比于相关技术中通过二维信息标注障碍物的方式，能够获得准确的三维标注信息，因此能够满足自动驾驶、车路协同、辅助驾驶等应用中需要对道路中的目标障碍物进行三维精确定位的需求。

本申请提供的一种障碍物信息标注方法，如图1和图2所示，具体如下：

步骤s11，获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系。

摄像头采集的视频是由一帧一帧的视频图像构成的，本申请通过对视频中的每一帧视频图像的障碍物进行标注，从而完成对整个视频中出现的障碍物的标注。

本申请中对于给定的摄像头，根据该摄像头相对于三维全局坐标系的位置和姿态、以及摄像头的内部参数值，可以得到在此三维全局坐标系下的三维空间中的一个点的三维坐标，到摄像头的成像面上的成像坐标系的二维平面中对应的二维点的二维坐标之间的坐标变换关系，这个坐标变换关系可以表示为一个投影变换矩阵。这个投影变换矩阵可以表示为一个3×4的齐次矩阵p，一般表示为k[r|t]的形式，k为3×3的内参矩阵，r是3×3的旋转矩阵，t是3×1的三维向量。投影变换矩阵把3维点的齐次坐标变换为2维点的齐次坐标，完成由三维到二维的投影变换过程。

确定摄像头所在的三维坐标系(即三维全局坐标系，三维全局坐标系是指世界坐标系)，以及摄像头对应的路面坐标系。

摄像头对应的路面坐标系是指，摄像头所处道路的路面坐标系。路面坐标系的获取方式如下：

如图3所示，监控的道路路面区域近似为一个平面。相对于三维全局坐标系，道路路面平面由道路路面的法向量v_n和道路前向向量v_f，以及道路路面上的一个锚点a的三维坐标系统来描述。锚点a可以是该道路路面的任意一点。

由道路路面的法向量v_n和道路路面前方方向向量v_f，可计算出道路路面的左向向量其中为向量的叉积。其中，v_n、v_f、和v_l构成道路路面坐标系的三个坐标轴。

步骤s12，确定所述视频图像中的目标障碍物。

对于一帧视频图像中出现的所有障碍物，都可以成为目标障碍物。在步骤s12中，可以将所有需要确定三维标注信息的障碍物都确定为目标障碍物，然后为所有目标障碍物一一确定三维标注信息；也可以先只确定一个目标障碍物，待该目标障碍物的三维标注信息确定之后，再来确定下一个需要标注三维标注信息的目标障碍物，为其确定三维标注信息。

步骤s13，在所述目标障碍物不具有初始化的三维标注信息的情况下，根据所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的锚点；所述几何约束条件为：4个锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个锚点构成的三维矩形标注框所占据的三维矩形空间区域一致。

在确定目标障碍物之后，先需要确定目标障碍物是否具备初始化的三维标注信息，这个初始化的三维标注信息是预先存在的。初始化的三维标注信息可以是通过相关技术中的方式获得的。

在自动驾驶、车路协同、辅助驾驶的过程中，由于目标障碍物处于车辆行驶的路面上，可能会对车辆造成行驶障碍，因此需要确定目标障碍物在道路中的位置、空间区域等信息。虽然道路上的障碍物所占的位置、空间区域因障碍物本身的不同而不同，但是只要获得障碍物在三维全局坐标系中水平方向的最长长度、竖直方向的最长长度以及所占用的位置就能确定该障碍物对行驶车辆的影响。因此，本申请将目标障碍物抽象为三维矩形标注框，通过获得三维矩形标注框的三维信息，获得目标障碍物的三维信息。

本申请中，三维矩形标注框是按照如下方式获得的：

如图4所示，为二维显示坐标系下的三维矩形标注框(其中，二维显示坐标系是指呈现视频图像的显示窗口的屏幕上的二维坐标，o是二维显示坐标系的原点，u是二维显示坐标系的横轴，v是二维显示坐标系的纵轴)。在视频图像中的呈现的目标障碍物的附近或者目标障碍物的边缘上依次选择4个锚点p1、p2、p3、p4(即这4个锚点是从视频图像中选取的二维坐标系中的二维点)，这4个处于二维显示坐标系中的锚点在三维空间中各自对应了一个锚点，分别记为p1、p2、p3和p4。在三维空间中的锚点p1、p2、p3和p4需要满足几何约束条件，几何约束条件是指，依照获取顺序获得的4个锚点构成的线段p1-p2、p2-p3、p3-p4相互垂直；因此，4个锚点能够约束构成一个长方体，该长方体即为三维矩形标注框。如图5所示，是路面坐标系中的三维矩形标注框。

如图6所示，图6是结合具体的4个锚点p1、p2、p3和p4的确定三维标注信息的流程图。具体步骤如下：输入视频图像、摄像头投影变换矩阵和道路路面坐标系信息，在显示窗口中显示输入的视频图像；确定视频图像中的目标障碍物，在显示窗口中顺序选择锚点p1、p2、p3和p4，同时计算相对应的三维点p1、p2、p3和p4的三维坐标；根据需要，调整锚点p1、p2、p3和p4在二维坐标系中的位置，更新他们对应的三维点的三维坐标；根据需要调整姿态角，得到目标障碍物的三维标注信息；再按照上述方式确定下一目标障碍物的三维标注信息；再对得到的三维标注信息进行传输或存储。

另外，4个锚点的位置也可以如图7所示，图8是以图7所示的锚点位置确定的、在路面坐标系中的三维矩形标注框，可以按照如图6所示的确定三维标注信息的流程图确定三维标注信息。

由于目标障碍物处于三维矩形标注框的内部，车辆在具体自动驾驶过程中，只要避开三维矩形标注框的区域，就能够避开目标障碍物。

为了简化三维矩形标注框，本申请可以设定所有障碍物都处于路面上；本申请还可以设定三维矩形标注框的底面和道路路面重合。设定三维矩形标注框的前向与道路的前向一致，即假设三维矩形标注框的姿态角为0，后续再对三维矩形标注框进行调整，使得三维矩形标注框的姿态角与目标障碍物的姿态角相同。

步骤s14，初始化所述三维矩形标注框的姿态角为初始姿态角；根据所述4个锚点在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系、以及所述三维矩形标注框的初始姿态角，获得所述4个锚点各自对应的初始三维坐标；其中，所述三维矩形标注框的姿态角为：所述三维矩形标注框的前向与所述路面坐标系的前向之间的夹角。

即根据初始二维坐标、投影变换矩阵、路面坐标系以及初始姿态角，获得4个锚点在三维全局坐标系中的初始三维坐标。

步骤s15，根据所述4个锚点各自对应的初始三维坐标、所述三维矩形标注框以及三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。

三维标注信息包括目标障碍物的位置信息、目标障碍物所占据的三维空间信息以及目标障碍物的姿态信息。

其中，目标障碍物的位置信息通过三维矩形标注框的一个锚点的三维坐标表示，这个锚点可以是三维矩形标注框的底面所设定的一个顶点，也可以是三维矩形标注框底面矩形的中心点等。

目标障碍物所占据的三维空间信息是指三维矩形标注框所占用的空间体积。

目标障碍物的姿态信息是指目标障碍物的前向与道路路面的前向向量之间的夹角。

例如，目标障碍物是一个人，人体的前面朝向道路路面的前向，则人体的前向与道路路面的前向向量之间的夹角为0°。人体的前面背对道路路面的前向，则人体的前向与道路路面的前向向量之间的夹角为180°。

在获得了三维标注信息后，就可以将三维标注信息标注在该视频图像中；还可以将这些信息存储到信息存储设备，和/或通过信息传输设备发送到目标设备。其中，目标设备是指需要三维标注信息的设备，例如自动驾驶的汽车等。

其中，步骤s15具体包括：

步骤s1501，根据所述4个锚点各自对应的初始三维坐标，确定所述4个锚点所在的三维矩形标注框的位置和尺寸。

在步骤s14中，已知4个锚点的初始三维坐标，也就能够确定三维矩形标注框的位置和尺寸，其中，三维矩形标注框的位置通过三维矩形标注框的一个锚点的三维坐标表示，这个锚点可以是三维矩形标注框的底面所设定的一个顶点，也可以是三维矩形标注框底面矩形的中心点等。三维矩形标注框的尺寸为三位矩形标注框的长宽高所占用的三维空间的体积。其中，长是指三维矩形标注框在v_f方向上的长度，宽是指三维矩形标注框在v_l方向上的宽度，高是指三维矩形标注框在v_n方向上的高度。障碍物的三维姿态信息是指障碍物的前方方向与道路前方方向v_f的夹角θ。

三维矩形标注框的前向由相应的目标障碍物的前向确定。

步骤s1502，在所述三维矩形标注框的初始姿态角与所述目标障碍物的姿态角相同的情况下，根据所述4个锚点各自对应的初始三维坐标、所述三维矩形标注框的位置和尺寸，以及所述三维矩形标注框的初始姿态角，确定所述目标障碍物的三维标注信息；其中，所述目标障碍物的姿态角为：所述目标障碍物的前向与所述路面坐标系的前向之间的夹角。

在选择4个锚点构建三维矩形标注框时，有可能使得三维矩形标注框的姿态角与目标障碍物的姿态角有差异，在两者的姿态角有差异的情况下，根据该三维矩形标注框获得三维标注信息与目标障碍物实际的三维标注信息是有差异的。

为了避免这种差异，需要确定三维矩形标注框的姿态角与目标障碍物的姿态角是否相同。其中，三维矩形标注框的姿态角是对目标障碍物的姿态角进行估计之后的体现，三维矩形标注框的姿态角是用三维矩形标注框所占据的三维矩形空间是否与障碍物所占据的三维矩形空间是否一致来进行确认的。若三维矩形标注框的姿态角让三维矩形标注框所占据的三维矩形空间与障碍物所占据的三维矩形空间一致，就认为这个三维矩形标注框的姿态角反映的就是障碍物的姿态角。

在所述三维矩形标注框的初始姿态角与所述目标障碍物的姿态角相同的情况下，即，在所述三维矩形标注框的初始姿态角能够让三维矩形标注框所占据的三维矩形空间区域与所述目标障碍物所占据的三维矩形空间区域一致，从而能够正确反映所述目标障碍物的姿态角的情况下，意味着三维矩形标注框能够正确表示目标障碍物的三维信息，则可以根据4个锚点各自对应的初始三维坐标、三维矩形标注框的位置和尺寸，以及三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息。

步骤s1503，在所述三维矩形标注框的初始姿态角与所述目标障碍物的姿态角不相同的情况下，调整所述三维矩形标注框的初始姿态角，使得调整后的所述三维矩形标注框的姿态角与所述目标障碍物的姿态角相同；

即，在初始三维矩形标注框的初始姿态角不能让三维矩形标注框所占据的三维矩形空间区域与所述目标障碍物所占据的三维矩形空间区域一致，从而不能正确反映所述目标障碍物的姿态角的情况下，调整所述三维矩形标注框的初始姿态角，使得调整后的所述三维矩形标注框的姿态角让三维矩形标注框所占据的三维矩形空间区域与障碍物所占据的三维矩形空间区域相一致。

根据调整后的所述三维矩形标注框的姿态角，确定调整后的所述4个锚点的调整二维坐标；

根据调整后的所述4个锚点的调整二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系、以及调整后的所述三维矩形标注框的姿态角，确定4个锚点调整姿态角之后各自对应的调整三维坐标；

根据所述4个锚点各自对应的所述调整三维坐标、所述三维矩形标注框的位置和尺寸，以及调整后的所述三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。

在所述三维矩形标注框的姿态角与所述目标障碍物的姿态角不相同的情况下，即在所述三维矩形标注框的姿态角不能够让三维矩形标注框所占据的三维矩形空间区域与所述目标障碍物所占据的三维矩形空间区域一致，从而不能正确反映所述目标障碍物的姿态角的情况下，意味着三维矩形标注框无法正确表示目标障碍物的三维信息，则需要对三维矩形标注框的姿态角进行调整。

在标注过程中可以通过不断调整姿态角的初始值，让三维矩形标注框在路面上发生旋转，直到达到一个角度，使得三维矩形标注框的角度与目标障碍物的角度一致，此时可以调整三维矩形标注框的位置和尺寸，让三维矩形标注框所表示的三维矩形空间区域与目标障碍物所占据的三维矩形空间区域相一致。

最后让三维矩形标注框所表示的三维矩形空间区域与目标障碍物所占据的三维空间区域最为一致的角度就是能够正确反映目标障碍物的姿态角。

例如，通过改变p1在显示窗口中的位置，可以改变三维矩形框在三维空间中的位置。此外，通过改变p2在显示窗口中相对于p1的位置，可以改变三维矩形框的高度，通过改变p3在显示窗口中相对于p2的位置，可以改变三维矩形框的长度，通过改变p4在显示窗口中相对于p3的位置，可以改变三维矩形框的宽度。

并且，4个锚点的二维坐标与三维坐标之间也是一一对应的，因此，调整后的三维矩形标注框可以依赖于二维坐标与三维坐标之间的关系，确定三维矩形标注框的位置、尺寸等信息。

此外，在三维矩形标注框的体积大小已经确定的基础上，通过移动三维矩形标注框的1个锚点的二维坐标，就能带动整个三维矩形标注框进行旋转或移动，从而可以调整三维矩形标注框的姿态角，使得三维矩形标注框的姿态角与目标障碍物的姿态角一致。

如果障碍物的朝向并不与v_f的方向一致，则可以通过调整三维矩形标注框的姿态角的角度θ，让三维矩形框绕v_n轴逆时针旋转θ角，使得三维矩形标注框的朝向和障碍物的朝向一致。

在所述三维矩形标注框的姿态角与所述目标障碍物的姿态角相同的情况下，意味着三维矩形标注框能够正确表示目标障碍物的三维信息，则可以根据4个锚点各自对应的调整后的三维坐标、调整后的三维矩形标注框的位置和尺寸，以及调整后的三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息。

在本申请提供的另一实施例中，在确定目标障碍物之后，先需要确定目标障碍物是否具备初始化的三维标注信息，这个初始化的三维标注信息是预先存在的。初始化的三维标注信息可以是通过相关技术中的方式获得的，也可以通过本申请中提供以下方式给出，具体如下：

步骤s21，获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系。

步骤s21与步骤s11的原理相似，请参见步骤s11的相关内容，此处不再赘述。

步骤s22，确定所述视频图像中的目标障碍物。

步骤s22与步骤s12的原理相似，请参见步骤s12的相关内容，此处不再赘述。

步骤s23，根据所述目标障碍物的朝向，对所述目标障碍物的姿态角进行预估，得到所述目标障碍物的预估姿态角；其中，所述目标障碍物的姿态角为：所述目标障碍物的前向与路面坐标系的前向之间的夹角。

对视频图像中的目标障碍物的姿态角进行预估，得到一个不是很准确的预估姿态角。例如，如果目标障碍物是一个人，则以人体的面部朝向为前向，如果人体的面部朝向道路的前向，则预估姿态角为0。再例如，如果目标障碍物是一辆停在路边的汽车，且车头的方向与道路路面的左向向量平行，则该汽车的前向与道路的前向之间的夹角为90°，则预估姿态角为90°。再例如，如果目标障碍物是另一辆停在路边的汽车，且车头的方向倾斜，则该汽车的前向与道路的前向之间的夹角为45°，则预估姿态角为45°。

步骤s24，根据所述目标障碍物的预估姿态角、所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的初始锚点；所述几何约束条件为：4个初始锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个初始锚点构成的初始三维矩形标注框所占据的三维矩形空间区域一致。

以目标障碍物的预估姿态角为基准，根据摄像头所处的三维坐标系以及摄像头对应的路面坐标系，依次获取4个满足几何约束条件的初始锚点，以这4个初始锚点构建初始三维矩形框，构建初始三维矩形框与步骤s13中获取三维矩形框的方式相同，此处不再赘述。

步骤s25，根据所述4个初始锚点在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系以及所述目标障碍物的预估姿态角，获得所述4个初始锚点各自对应的初始三维坐标。

步骤s25与步骤s14的原理相似，请参见步骤s14的相关内容，此处不再赘述。

步骤s26，根据所述4个初始锚点各自对应的初始三维坐标、所述初始三维矩形标注框的位置和尺寸，以及所述预估姿态角，确定所述目标障碍物的初始化的三维标注信息。

步骤s26与步骤s15的原理相似，请参见步骤s15的相关内容，此处不再赘述。

步骤s27，将所述目标障碍物的所述初始化的三维标注信息标注在所述视频图像中。

在所述目标障碍物有初始化的三维标注信息的情况下，需要判断该初始化的三维标注信息是否能够准确地反映目标障碍物的信息。如果利用该三维标注信息确定的三维矩形标注框能够将目标障碍物完全覆盖在三维矩形标注框的内部，则意味着该初始化的三维标注信息能够准确地反映目标障碍物的信息，反之则不行。

具体地，如图9所示，图9是具有初始化的三维标注信息的情况下确定三维标注信息的流程图，在所述目标障碍物有初始化的三维标注信息的情况下，所述方法具体包括：

步骤s31，根据所述初始化的三维标注信息获得初始化的三维矩形标注框；

步骤s32，在所述目标障碍物所占据的三维矩形空间区域与所述初始化的三维矩形标注框所占据的三维矩形空间区域一致的情况下，将所述初始化的三维标注信息标注在所述视频图像中。

步骤s33，在所述目标障碍物所占据的三维矩形空间区域与所述初始化的三维矩形标注框所占据的三维矩形空间区域不一致的情况下，调整初始化的三维矩形标注框中至少1个锚点的位置，和/或三维矩形标注框的姿态角，使得所述目标障碍物所占据的三维矩形空间区域与调整后的4个锚点的新位置所构成的新三维矩形标注框所占据的三维矩形空间区域一致。

即对4个初始锚点的位置进行调整得到4个锚点的新位置，根据4个新锚点确定新三维矩形标注框。

调整初始化的三维矩形标注框中至少1个锚点的位置，和/或三维矩形标注框的姿态角，均是在显示视频图像的显示窗口中，通过调整二维显示坐标系中的锚点的二维坐标的位置，从而改变三维矩形标注框的长宽高以及姿态角。

步骤s33中确定4个新锚点的条件和原理与步骤s13相同，请参见步骤s13的相关内容，此处不再赘述。

步骤s34，初始化所述三维矩形标注框的姿态角为初始姿态角；根据所述调整后的4个锚点的新位置在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系、以及所述三维矩形标注框的初始姿态角，获得所述调整后的4个锚点的新位置各自对应的初始三维坐标。其中，所述新三维矩形标注框的姿态角为：所述新三维矩形标注框的前向与所述路面坐标系的前向之间的夹角

步骤s34与步骤s14的原理相似，请参见步骤s14的相关内容，此处不再赘述。

步骤s35，根据所述调整后的4个锚点的新位置各自对应的初始三维坐标，确定所述新三维矩形标注框的位置和尺寸。

步骤s35与步骤s1501的原理相似，请参见步骤s1501的相关内容，此处不再赘述。

步骤s36，在所述新三维矩形标注框的姿态角与所述目标障碍物的姿态角相同的情况下，根据所述调整后的4个锚点的新位置各自对应的初始三维坐标、所述新三维矩形标注框的位置和尺寸，以及所述新三维矩形标注框的姿态角，确定所述目标障碍物的新三维标注信息，并将所述新三维标注信息标注在所述视频图像中；其中，所述目标障碍物的姿态角为：所述目标障碍物的前向与所述路面坐标系的前向之间的夹角。

步骤s36与步骤s1502的原理相似，请参见步骤s1502的相关内容，此处不再赘述。

步骤s37，在所述新三维矩形标注框的姿态角与所述目标障碍物的姿态角不相同的情况下，调整所述新三维矩形标注框的初始姿态角，使得调整后的所述新三维矩形标注框的姿态角与所述目标障碍物的姿态角相同；

根据调整后的所述新三维矩形标注框的姿态角和所述投影变换矩阵，确定调整后的4个新锚点各自对应的调整三维坐标；

根据所述调整后的4个锚点各自对应的所述调整三维坐标、所述新三维矩形标注框的位置和尺寸，以及调整后的所述新三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述新三维标注信息标注在所述视频图像中。

步骤s37与步骤s1503的原理相似，请参见步骤s1503的相关内容，此处不再赘述。

具体地，上述三维矩形标注框的姿态角θ的调整过程，以及显示窗口中锚点p1、p2、p3、p4的位置的调整过程可以不断进行，直至所标注的三维矩形标注框能够准确反映所标注障碍物在三维空间中的位置和在三维空间中所占据的空间区域；再把三维矩形标注框在三维空间中的位置信息、长宽高信息、姿态角信息作为所标注障碍物的三维标注信息保存下来。

对视频图像中所有的障碍物重复以上过程，就可以完成对所有障碍物的三维信息的标注。一旦完成对视频图像中所有障碍物的三维信息的标注，就结束对此视频图像的三维信息标注，把相应的三维标注信息存储到信息存储设备，和/或通过信息传输设备发送到目标设备。

通过以上实例的实现方式，可以在单目视频图像上准确有效地对路面上的障碍物进行三维信息的标注，从而能够获得有三维信息标注的单目视频数据集，用来训练能够从单目视频图像中检测并在三维空间中进行障碍物定位的模型算法，从而在车路协同、自动驾驶、机器人避障等应用场景下，能够通过单目摄像头检测并精准定位路面上的障碍物，大大降低车路协同、自动驾驶、机器人避障等技术的成本，提高障碍物的定位精度。保障自动驾驶车辆行驶的安全性。

本申请能够完成对视频图像已有的三维标注信息进行调整修改，确保视频图像三维标注信息的准确性；可以先用自动化的工具对视频图像进行三维信息的预标注，然后再经过调整修改，从而提高视频图像三维信息标注的效率，降低视频图像三维信息标注的成本。

本申请用一个三维矩形框来标注视频图像中的一个障碍物，反映障碍物在三维空间中的位置、所占据的三维空间区域，以及三维姿态信息。其中，三维矩形框的底面和道路路面重合。

首先输入要标注的视频图像，以及相应的摄像头投影变换矩阵和路面坐标系信息，把视频图像显示到显示窗口，如果有初始的三维标注信息，则把初始的三维标注信息也显示到显示窗口。

确定好视频图像中要进行标注的目标障碍物后，在显示窗口中选择第一个锚点的位置，约束这个锚点在道路路面上，根据摄像头投影变换矩阵和路面坐标系信息，计算第一个锚点在三维空间中所对应的第一个三维点的三维坐标，约束第一个三维点是三维矩形标注框上的一个顶点，以第一个三维点来定位三维矩形标注框在三维空间中的位置。

在显示窗口中选择第二个锚点的位置，根据摄像头投影变换矩阵和路面坐标系信息，计算第二个锚点在三维空间中所对应的第二个三维点的三维坐标，约束第二个三维点在三维矩形标注框的一个顶点上，并和第一个三维点的连线构成三维矩形标注框的第一条棱。以第一条棱来确定三维矩形框在第一条棱方向上的尺寸。

在显示窗口中选择第三个锚点的位置，根据摄像头投影变换矩阵和路面坐标系信息，计算第三个锚点在三维空间中所对应的第三个三维点的三维坐标，约束第三个三维点在三维矩形标注框的一个顶点上，并和第二个三维点的连线构成三维矩形标注框的第二条棱。约束第二条棱与第一条棱在三维空间中互相垂直。以第二条棱来确定三维矩形标注框在第二条棱方向上的尺寸。

在显示窗口中选择第四个锚点的位置，根据摄像头投影变换矩阵和路面坐标系信息，计算第四个锚点在三维空间中所对应的第四个三维点的三维坐标，约束第四个三维点在三维矩形标注框的一个顶点上，并和第三个三维点的连线构成三维矩形标注框的第三条棱。约束第三条棱与第一条棱和第二条棱在三维空间中互相垂直，以第三条棱来确定三维矩形标注框在第三条棱方向上的尺寸。

通过调整三维矩形标注框的姿态角的值，让三维矩形标注框绕着路面平面法向量方向的一条轴旋转，让三维矩形标注框的姿态和视频图像中所对应的障碍物的姿态一致。

通过调整第一锚点的位置来调整三维矩形标注框在三维空间中的位置。通过调整第二锚点的位置，来调整三维矩形标注框在第一条棱方向的尺寸。通过调整第三锚点的位置，来调整三维矩形标注框在第二条棱方向的尺寸。通过调整第四锚点的位置，来调整三维矩形标注框在第三条棱方向的尺寸。

根据摄像头投影变换信息和路面坐标系信息，把三维矩形标注框的各条棱边显示到显示窗口，可以在显示窗口中通过移动棱边的位置来调整三维矩形标注框的尺寸。

视频图像中的每个障碍物用对应的三维矩形标注框在三维空间中的位置，长宽高尺寸、姿态角来进行三维信息的标注。视频图像的三维信息标注完成后，把三维标注信息存储到存储设备，和/或通过传输设备发送到目标设备。

根据同一技术构思，本申请提供了一种障碍物信息标注装置，如图11所示，具体如下：

第一获取模块121，用于获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系；

第一确定模块122，用于确定所述视频图像中的目标障碍物；

锚点获取模块123，用于在所述目标障碍物不具有初始化的三维标注信息的情况下，根据所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的锚点；所述几何约束条件为：4个锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个锚点构成的三维矩形标注框所占据的三维矩形空间区域一致；

第二获取模块124，用于初始化所述三维矩形标注框的姿态角为初始姿态角；根据所述4个锚点在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景的路面坐标系信息、以及所述三维矩形标注框的初始姿态角，获得所述4个锚点各自对应的初始三维坐标；其中，所述三维矩形标注框的姿态角为：所述三维矩形标注框的前向与所述路面坐标系的前向之间的夹角；

第一标注模块125，用于根据所述4个锚点各自对应的初始三维坐标所述三维矩形标注框以及三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。所述第一标注模块包括：第一确定子模块，用于根据所述4个锚点各自对应的初始三维坐标，确定所述4个锚点所在的三维矩形标注框的位置和尺寸；

第二确定子模块，用于在所述三维矩形标注框的初始姿态角与所述目标障碍物的姿态角相同的情况下，根据所述4个锚点各自对应的初始三维坐标、所述三维矩形标注框的位置和尺寸，以及所述三维矩形标注框的初始姿态角，确定所述目标障碍物的三维标注信息；其中，所述目标障碍物的姿态角为：所述目标障碍物的前向与所述路面坐标系的前向之间的夹角。

姿态角调整模块，用于在所述三维矩形标注框的初始姿态角与所述目标障碍物的姿态角不相同的情况下，调整所述三维矩形标注框的初始姿态角，使得调整后的所述三维矩形标注框的姿态角与所述目标障碍物的姿态角相同；

第二确定模块，用于根据调整后的所述三维矩形标注框的姿态角，确定调整后的所述4个锚点的调整二维坐标；

第三确定模块，用于根据调整后的所述4个锚点的调整二维坐标、所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系、以及调整后的所述三维矩形标注框的姿态角，确定4个锚点调整姿态角之后各自对应的调整三维坐标；

第二标注模块，用于根据所述4个锚点各自对应的所述调整三维坐标、所述三维矩形标注框的位置和尺寸，以及调整后的所述三维矩形标注框的姿态角，确定所述目标障碍物的三维标注信息，并将所述目标障碍物的所述三维标注信息标注在所述视频图像中。

第三获取模块，用于在所述目标障碍物有初始化的三维标注信息的情况下，根据所述初始化的三维标注信息获得初始化的三维矩形标注框；

第三标注模块，用于在所述目标障碍物所占据的三维矩形空间区域与所述初始化的三维矩形标注框所占据的三维矩形空间区域一致的情况下，将所述初始化的三维标注信息标注在所述视频图像中。

新锚点确定模块，用于在所述目标障碍物所占据的三维矩形空间区域与所述初始化的三维矩形标注框所占据的三维矩形空间区域不一致的情况下，调整初始化的三维矩形标注框中至少1个锚点的位置，和/或三维矩形标注框的姿态角，使得所述目标障碍物所占据的三维矩形空间区域与调整后的4个锚点的新位置构成的新三维矩形标注框所占据的三维矩形空间区域一致；

第四获取模块，用于根据所述调整后的4个锚点的新位置在所述视频图像中的初始二维坐标、所述摄像头的投影变换矩阵以及所述摄像头对应的路面坐标系信息，获得所述调整后的4个锚点的新位置各自对应的初始三维坐标；

第四标注模块，用于根据所述4个锚点的新位置各自对应的初始三维坐标、所述新三维矩形标注框以及所述新三维矩形标注框的姿态角，确定所述目标障碍物的新三维标注信息，并将所述目标障碍物的所述新三维标注信息标注在所述视频图像中。

其中，三维矩形标注框获取模块包括：

第一获取子模块，用于获取摄像头采集的视频图像、所述摄像头的投影变换矩阵以及所述摄像头所摄场景所对应的路面坐标系；

第三确定子模块，用于确定所述视频图像中的目标障碍物；

预估子模块，用于对所述目标障碍物的姿态角进行预估，得到所述目标障碍物的预估姿态角；其中，所述目标障碍物的姿态角为：所述目标障碍物的前向与路面坐标系的前向之间的夹角；

第二获取子模块，用于根据所述目标障碍物的预估姿态角、所述摄像头所处的三维坐标系以及所述摄像头所摄场景所对应的路面坐标系，依次获取4个满足几何约束条件的初始锚点；所述几何约束条件为：4个初始锚点依照获取顺序构成的3条线段在三维空间中所对应的三条线段相互垂直，使得所述目标障碍物所占据的三维矩形空间区域与4个初始锚点所构成的初始三维矩形标注框所占据的三维矩形空间区域一致；

初始三维坐标子模块，用于根据所述4个初始锚点在所述视频图像中的初始二维坐标和所述摄像头的投影变换矩阵、所述摄像头所摄场景所对应的路面坐标系以及所述目标障碍物的预估姿态角，获得所述4个初始锚点各自对应的初始三维坐标；

第四确定子模块，用于根据所述4个初始锚点各自对应的初始三维坐标、所述初始三维矩形标注框的位置和尺寸，以及所述预估姿态角，确定所述目标障碍物的初始化的三维标注信息；

标注子模块，用于将所述目标障碍物的所述初始化的三维标注信息标注在所述视频图像中。

本申请还提供了一种电子设备，如图11所示，包括：

处理器111；

用于存储所述处理器可执行指令的存储器112；

其中，所述处理器111被配置为执行以实现一种障碍物信息标注方法所执行的操作。

本申请还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行实现一种障碍物信息标注方法所执行的操作。

此外，本申请所提供的一种障碍物信息标注方法可依赖的一种视频图像三维信息标注系统，如图12所示，包括：显示设备、交互设备、计算设备、信息存储设备、信息传输设备。

其中，显示设备用来在显示窗口中显示视频图像和相应的三维标注信息，交互设备用来在显示窗口中选择锚点，通过计算设备计算出每个锚点所对应的三维点在三维空间中的坐标，并根据所选择的4个锚点所对应的三维坐标信息，计算出对应三维矩形标注框的三维空间位置信息、三维矩形框姿态信息、三维矩形框的长宽高信息，从而获得目标障碍物的三维标注信息。一旦视频图像中障碍物的三维信息标注完成，就把视频图像中的三维标注信息存储到信息存储设备，和/或通过信息传输设备发送出去。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本申请所提供的一种障碍物信息标注方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。