基于逆透视变换矩阵的单目视觉目标定位方法及系统与流程

1.本发明涉及协同探测目标定位技术领域。更具体地，涉及一种基于逆透视变换矩阵的单目视觉目标定位方法及系统。


背景技术：

2.相机的成像特点如同人眼，拍摄的图像均为透视图，相当于从世界坐标系到图像坐标系进行一次透视变换。而逆透视变换从原理层面上与透视变换并没有本质区别，相当于从图像坐标系到世界坐标系的一次转换。当前，逆透视变换被广泛应用于国内外智能车自动驾驶技术中车道线检测研究领域，应用单目相机通过逆透视变换矩阵可以准确的识别出车体和车道线之间的距离信息。
3.目标定位是协同探测领域的核心，由于单一传感器适应条件的局限性，目前通常采用不同规格的异构传感器进行多元信息采集后进行数据融合，从而达到协同搜索、识别、定位及最后的目标跟踪的目的。多种异构传感器的引入可以增加目标搜索范围，使目标定位更精准。但是，多元信息数据的处理必将使上位机的计算成本加大，增加整个系统的时间代偿。因此，如何在保证目标位置定位精度的情况下，减少传感器的使用数量是近年来研究的重点。


技术实现要素：

4.本发明的一个目的在于提供一种通用化时统装置，提供一种可灵活扩展接口的通用化时统设备，提高时统设备通用性，提高效费比。本发明的另一个目的在于提供一种通用化时统方法。
5.为达到上述目的，本发明采用下述技术方案：
6.本发明公开了一种基于逆透视变换矩阵的单目视觉目标定位方法，包括：
7.通过设置在车辆上的单目相机采集包括目标的像素图像；
8.确定所述像素图像中所述目标的目标像素坐标；
9.根据像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及所述目标像素坐标得到目标在uwb坐标系的uwb坐标。
10.优选的，进一步包括预先确定所述逆透视变换矩阵的步骤：
11.确定uwb坐标系下标准物的uwb坐标与车辆上单目相机采集的像素图像的第一转换关系；
12.确定像素图像与uwb坐标系的第二转换关系；
13.根据所述第一转换关系和所述第二转换关系确定像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵。
14.优选的，所确定uwb坐标系下标准物的uwb坐标与车辆上单目相机采集的像素图像的第一转换关系具体包括：
15.通过车辆上设置的单目相机采集标准物的像素图像；
16.确定所述像素图像的像素坐标系中标准物多个预设点的像素坐标；
17.根据所述多个预设点的像素坐标和在uwb坐标系下的uwb坐标得到所述第一转换关系。
18.优选的，所述确定像素图像与uwb坐标系的第二转换关系具体包括：
19.根据所述像素图像的图像坐标系与所述单目相机的相机坐标系间的第一对应关系和所述像素坐标系与所述图像坐标系的对应关系确定所述像素坐标系与所述相机坐标系的第二对应关系；
20.根据所述相机坐标系与车辆的车体坐标系间的第三对应关系、所述车体坐标系与所述uwb坐标系的第四对应关系以及所述第二对应关系得到所述第二转换关系。
21.优选的，进一步包括预先确定所述第一对应关系的步骤：
22.根据单目相机的焦距确定所述像素图像的图像坐标系与所述单目相机的相机坐标系间的第一对应关系。
23.优选的，进一步包括预先确定所述第三对应关系的步骤：
24.根据单目相机的云台水平偏角确定所述相机坐标系与车辆的车体坐标系间的第三对应关系。
25.优选的，进一步包括预先确定所述第四对应关系的步骤：
26.根据车辆的车体偏航角确定所述车体坐标系与所述uwb坐标系的第四对应关系。
27.本发明还公开了一种基于逆透视变换矩阵的单目视觉目标定位系统，包括：
28.图像采集模块，用于通过设置在车辆上的单目相机采集包括目标的像素图像；
29.图像处理模块，用于确定所述像素图像中所述目标的目标像素坐标；
30.目标确定模块，用于根据像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及所述目标像素坐标得到目标在uwb坐标系的uwb坐标。
31.本发明还公开了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，
32.所述处理器执行所述程序时实现如上所述方法。
33.本发明还公开了一种计算机可读介质，其上存储有计算机程序，
34.该程序被处理器执行时实现如上所述方法。本发明通过设置在车辆上的单目相机采集包括目标的像素图像，通过图像识别等技术可确定像素图像中目标的目标像素坐标。根据预先确定的像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及得到的目标像素坐标可得到目标在uwb坐标系的uwb坐标，即确定目标位置。本发明在已知空间uwb坐标系的条件下，只使用单目相机，通过一次标定实验求得逆透视变换矩阵，即可实现仅通过目标在图像中的目标像素坐标就可以获得其在空间中的位置，实现通过单目相机进行目标位置的精准定位。
附图说明
35.下面结合附图对本发明的具体实施方式作进一步详细的说明。
36.图1示出了本发明一种基于逆透视变换矩阵的单目视觉目标定位方法一个具体实施例的流程图；
37.图2示出了本发明一种基于逆透视变换矩阵的单目视觉目标定位方法一个具体实
施例各个坐标系的示意图；
38.图3示出了本发明一种基于逆透视变换矩阵的单目视觉目标定位方法一个具体实施例透视与逆透视的示意图；
39.图4示出了本发明一种基于逆透视变换矩阵的单目视觉目标定位方法一个具体实施例相机转运的示意图；
40.图5示出了本发明一种基于逆透视变换矩阵的单目视觉目标定位系统一个具体实施例的结构图；
41.图6示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
42.为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
43.需要说明的是，在本发明的一个或多个实施例中，uwb(ultra
‑
wide band，超宽带)无线定位技术在隧道、监狱、化工、工厂、煤矿、工地、机场等各个场合应用十分广泛。该技术利用纳秒级的非正弦波窄脉冲传输数据，能在宽频上发送一系列非常窄的低功率脉冲，具有抗多径干扰性强、传输速率高、带宽极宽、时间分辨率高、功耗小及定位精度高等优点，在封闭无gps信号的空间条件下uwb定位技术的优势尤为显著。
44.根据本发明的一个方面，本实施例公开了一种基于逆透视变换矩阵的单目视觉目标定位方法。如图1所示，本实施例中，所述方法包括：
45.s100：通过设置在车辆上的单目相机采集包括目标的像素图像。
46.s200：确定所述像素图像中所述目标的目标像素坐标。
47.s300：根据像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及所述目标像素坐标得到目标在uwb坐标系的uwb坐标。
48.本发明通过设置在车辆上的单目相机采集包括目标的像素图像，通过图像识别等技术可确定像素图像中目标的目标像素坐标。根据预先确定的像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及得到的目标像素坐标可得到目标在uwb坐标系的uwb坐标，即确定目标位置。本发明在已知空间uwb坐标系的条件下，只使用单目相机，通过一次标定实验求得逆透视变换矩阵，即可实现仅通过目标在图像中的目标像素坐标就可以获得其在空间中的位置，实现通过单目相机进行目标位置的精准定位。
49.在优选的实施方式中，所述方法进一步包括预先确定所述逆透视变换矩阵的步骤：
50.s010：确定uwb坐标系下标准物的uwb坐标与车辆上单目相机采集的像素图像的第一转换关系。
51.s020：确定像素图像与uwb坐标系的第二转换关系。
52.s030：根据所述第一转换关系和所述第二转换关系确定像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵。
53.可以理解的是，可通过采用标准物标定实验的方式确定uwb坐标系与像素图像的像素坐标系的第一转换关系。单目相机拍摄的像素图像的像素坐标系与uwb坐标系的第二
转换关系可通过相机、车辆和形成uwb坐标系的uwb定位设备间的相互位置关系得到。进一步的，通过第一转换关系和第二转换关系可得到像素坐标系与uwb坐标系的逆透视变换矩阵。
54.在优选的实施方式中，所述s010确定uwb坐标系下标准物的uwb坐标与车辆上单目相机采集的像素图像的第一转换关系具体包括：
55.s011：通过车辆上设置的单目相机采集标准物的像素图像。
56.s012：确定所述像素图像的像素坐标系中标准物多个预设点的像素坐标。
57.s013：根据所述多个预设点的像素坐标和在uwb坐标系下的uwb坐标得到所述第一转换关系。
58.具体的，可预先在单目相机的拍摄范围内设置标准物，确定该标准物在uwb坐标系下的四个锚点(预设点)。通过单目相机可采集到包括标准物的像素图像，通过图像识别方法可得到像素图像上目标的像素范围，从而可得到与uwb坐标系下的四个锚点分别对应的像素图像上的四个锚点的像素坐标。从而根据像素坐标系和uwb坐标系对应的八个锚点可得到像素坐标系与标准物的uwb坐标的对应关系，即得到像素坐标系中像素坐标与uwb坐标系中的标准物uwb坐标的第一转换关系。
59.在优选的实施方式中，所述s020确定像素图像与uwb坐标系的第二转换关系具体包括：
60.s021：根据所述像素图像的图像坐标系与所述单目相机的相机坐标系间的第一对应关系和所述像素坐标系与所述图像坐标系的对应关系确定所述像素坐标系与所述相机坐标系的第二对应关系。
61.s022：根据所述相机坐标系与车辆的车体坐标系间的第三对应关系、所述车体坐标系与所述uwb坐标系的第四对应关系以及所述第二对应关系得到所述第二转换关系。
62.可以理解的是，由于单目相机设置在车辆上，车辆和uwb定位设备的位置可实时确定。因此，通过确定图像坐标系与相机坐标系以及图像坐标系与像素坐标系间的对应关系可得到像素坐标系与相机坐标系的第二对应关系。相机设置在车辆上，从而可确定相机坐标系与车辆的车体坐标系间的第三对应关系。车辆的位置可通过gps定位或确定车辆位移等方式确定，uwb定位设备的位置可根据设置时的具体设置位置得到，从而可得到车体坐标系与uwb坐标系的第四对应关系。进而根据第二对应关系、第三对应关系和第四对应关系可得到像素图像的像素坐标系与uwb坐标系间的第二转换关系。进一步根据像素坐标与物体uwb坐标的第一转换关系可得到逆透视转换矩阵，即在实际应用中，通过确定逆透视转换矩阵以及目标在像素图像上的目标像素坐标即可得到目标在uwb坐标系中的uwb坐标。
63.在优选的实施方式中，所述方法进一步包括预先确定所述第一对应关系的步骤：
64.s001：根据单目相机的焦距确定所述像素图像的图像坐标系与所述单目相机的相机坐标系间的第一对应关系。
65.其中，在一个具体例子中，如图2所示，uwb坐标系记为o
uwb
‑
x
uwb
y
uwb
z
uwb
。车体坐标系以车辆质心中心为原点o
v
，纵向运动方向为x
v
轴，横向运动方向为y
v
轴，竖直方向为z
v
轴，记作o
v
‑
x
v
y
v
z
v
。相机固定于车体的中间之上的云台上，由于云台的旋转运动，相机坐标系与车体坐标系具有平移和旋转关系，以相机坐标系点o
c
为原点，记作o
c
‑
x
c
y
c
z
c
。以像素为单位的像素坐标系为o0‑
uv，以物理单位毫米表示的图像坐标系为o
‑
xy。
66.图像坐标系和像素坐标系之间的相互转换关系为：
67.即
[0068][0069]
其中，dx为每个像素在横轴x上的尺寸，dy为每个像素在纵轴y上的尺寸。
[0070]
图像坐标系与相机坐标系相互转换关系(第一对应关系)为：
[0071][0072]
其中，f为相机坐标系与图像坐标系之间的距离，s为比例因子(s＝z
c
)。
[0073]
则可得到像素坐标系与相机坐标系相互转换关系(第二对应关系)为：
[0074][0075]
在优选的实施方式中，所述方法进一步包括预先确定所述第三对应关系的步骤：
[0076]
s002：根据单目相机的云台水平偏角确定所述相机坐标系与车辆的车体坐标系间的第三对应关系。
[0077]
其中，在上述具体例子中，可确定相机坐标系与车体坐标系相互转换关系(第三对应关系)为：
[0078][0079]
其中，θ
c
为云台水平偏角。
[0080]
在优选的实施方式中，所述方法进一步包括预先确定所述第四对应关系的步骤：
[0081]
s003：根据车辆的车体偏航角确定所述车体坐标系与所述uwb坐标系的第四对应关系。
[0082]
其中，在上述具体例子中，可确定车体坐标系与uwb坐标系相互转换关系(第四对应关系)为：
[0083][0084]
其中，θ
v
为车体的偏航角。
[0085]
本发明提出一种基于逆透视变换矩阵的单目视觉目标定位方法，通过分别在uwb坐标系和图像坐标系上标定锚点、确定逆透视变换矩阵、定位目标位置，已解决协同探测目标定位的问题。
[0086]
下面通过一个具体例子来对本发明作进一步的说明。在该具体实施方式中，单目视觉目标定位方法主要有四个步骤分别为：建立像素坐标系、图像坐标系、相机坐标系、车体坐标系以及uwb坐标系的各个坐标系、确立各个坐标系间的转换关系、分别在uwb坐标系和图像坐标系上标定四个锚点，通过八个锚点计算逆透视转换矩阵以及根据像素图像上目标的目标像素坐标和逆透视转换矩阵计算目标位置。
[0087]
步骤一、建立各个坐标系。例如，如图2所示，uwb坐标系可记为o
uwb
‑
x
uwb
y
uwb
z
uwb
。车体坐标系以车辆质心中心为原点o
v
，纵向运动方向为x
v
轴，横向运动方向为y
v
轴，竖直方向为z
v
轴，记作o
v
‑
x
v
y
v
z
v
。相机固定于车体的中间之上的云台上，由于云台的旋转运动，相机坐标系与车体坐标系具有平移和旋转关系，以相机坐标系点o
c
为原点，记作o
c
‑
x
c
y
c
z
c
。以像素为单位的像素坐标系为o0‑
uv，以物理单位毫米表示的图像坐标系为o
‑
xy。
[0088]
步骤二、各个坐标系间的转换关系。
[0089]
图像坐标系和像素坐标系之间的相互转换关系为：
[0090]
即
[0091][0092]
其中，dx为每个像素在横轴x上的尺寸，dy为每个像素在纵轴y上的尺寸。
[0093]
图像坐标系与相机坐标系相互转换关系(第一对应关系)为：
[0094][0095]
其中，f为相机坐标系与图像坐标系之间的距离，s为比例因子(s＝z
c
)。
[0096]
则可得到像素坐标系与相机坐标系相互转换关系(第二对应关系)为：
[0097][0098]
相机坐标系与车体坐标系相互转换关系(第三对应关系)为：
[0099][0100]
其中，θ
c
为云台水平偏角。
[0101]
车体坐标系与uwb坐标系相互转换关系(第四对应关系)为：
[0102][0103]
其中，θ
v
为车体的偏航角。
[0104]
步骤三、分别在uwb坐标系和像素坐标系上标定四个锚点并计算逆透视转换矩阵。
[0105]
在相机坐标系下呈正方形放置四个标志物，按照顺时针顺序记录标志物坐标分别为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)。与此同时在像素坐标系中找到与之一一对应的标志物图像坐标(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，如图3所示。
[0106]
设相机水平偏角为dx(顺时针为正)，竖直偏角dy(仰角为正)，如图4所示，则相机经过两次偏转的坐标变化为
[0107][0108][0109]
即：
[0110][0111]
即得到相机的最新位置。
[0112]
步骤四、通过逆透射矩阵定位目标。由于像素坐标系上的像素点与相机坐标系上的坐标位置点具有一一对应关系，因此只需要在图像中识别出目标的像素坐标，通过逆透视矩阵变换即可以得到相机坐标系下目标的坐标值，再经过坐标系的旋转平移变化即可求取在uwb坐标系下目标的具体位置，达到目标定位的目的。
[0113]
因此，在已知空间坐标系的条件下，只使用单目视觉相机，通过一次标定实验求得逆透视变换矩阵，即可实现在一定误差范围内仅通过目标在图像中的像素坐标就可以获得其在空间中的位置。
[0114]
基于相同原理，本实施例还公开了一种基于逆透视变换矩阵的单目视觉目标定位系统。如图5所示，本实施例中，所述系统包括图像采集模块11、图像处理模块12和目标确定模块13。
[0115]
其中，图像采集模块11用于通过设置在车辆上的单目相机采集包括目标的像素图像。
[0116]
图像处理模块12用于确定所述像素图像中所述目标的目标像素坐标。
[0117]
目标确定模块13用于根据像素图像的像素坐标系与uwb坐标系的逆透视变换矩阵以及所述目标像素坐标得到目标在uwb坐标系的uwb坐标。
[0118]
由于该系统解决问题的原理与以上方法类似，因此本系统的实施可以参见方法的实施，在此不再赘述。
[0119]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、各种嵌入式开发板、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0120]
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的由客户端执行的方法，或者，所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
[0121]
下面参考图6，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
[0122]
如图6所示，计算机设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram))603中的程序而执行各种适当的工作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602、以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0123]
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶反馈器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
[0124]
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
[0125]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0126]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0127]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0128]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0129]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0130]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0131]
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0132]
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0133]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134]
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。