基于Ladybug全景相机图像的360度全方位测距算法
【专利摘要】本发明公开了一种基于Ladybug全景相机图像的360度全方位测距算法，它涉及计算机视觉领域中的图像测距【技术领域】。其方法步骤：读入Ladybug相机采集的各镜头图像序列；各相机分别进行姿态估计；在相邻两帧中分别选择两次待测距离起点和终点；计算起点和终点分别所属相机索引号；计算起点和终点的局部三维坐标；局部三维坐标转为统一坐标系下三维坐标；计算统一坐标系下起点和终点间虚拟距离；Xsense获取车载相机速度和加速度；拟合两帧间车载相机间距；计算比例因子；计算起点和终点间实际三维空间距离。本发明能够实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。
【专利说明】基于Ladybug全景相机图像的360度全方位测距算法
【技术领域】
[0001]本发明涉及计算机视觉领域中的图像测距【技术领域】,具体涉及一种基于Ladybug全景相机图像的360度全方位测距算法。
【背景技术】
[0002]图像测距技术涉及特征点检测与匹配、摄像机标定和姿态估计、将虚拟距离转换为空间实际距离等技术。
[0003]其中“将虚拟距离转换为空间实际距离”技术一般利用地面控制点实现，本发明在未知地面控制点的情况下，利用Xsense数据计算出空间实际距离与虚拟距离间的比例因子，实现实际距离测量。
[0004]传统的图像测量一般利用某个方向上的相机图像，只能测量该方位上的实际距离。
【发明内容】
[0005]有鉴于现有技术的上述缺陷，本发明提供一种基于Ladybug全景相机图像的360度全方位测距算法，利用Ladybug全景相机360度全方位拍摄空间景物，将各镜头的局部坐标统一到Ladybug全局坐标系下，实现起点和终点落入不同相机下的距离测量，进而实现360度测量任意一段距离。
[0006]为实现上述目的，本发明提供了一种基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，其方法步骤为:
[0007](I)、读入Ladybug相机采集的各镜头图像序列:在Ladybug相机采集过程中，每个镜头都会采集一系列序列图像；
[0008](2)、各相机分别进行姿态估计:在各相机的内参矩阵K已知的前提下，利用Bundle对各镜头序列图像进行相机姿态估计；
[0009](3)、在相邻两帧中分别选择两次待测距尚起点和终点:在起始帧选择一次起点Pd和终点qo，在下一帧选择一次相同的起点P1和相同的终点Q1 ;
[0010](4)、计算起点和终点分别所属相机索引号:根据Ladybug提供的API函数获取两次起点所属的相机索引号CamIdStart和两次终点所属的相机索引号CamIdEnd ；
[0011](5)、计算起点和终点的局部三维坐标--第2步获取了相机的内外参数，根据三角测量理论和CamIdStart号相机的内外参数计算Pci和P1两图像点所对应的三维空间点坐标Pstart ;同理计算出qo和Q1两图像点所对应的三维空间点坐标Qmd ;
[0012](6)、局部三维坐标转为统一坐标系下三维坐标:将第5步中的不同的坐标系下的三维坐标Pstart和Qend转换到同一坐标系下；
[0013](7)、计算统一坐标系下起点和终点间虚拟距离:利用向量间欧式距离计算起点和终点在统一坐标系下的间距DisVir ；
[0014](8)、Xsense获取车载相机速度和加速度:在车载Ladybug采集图像的同时,硬件Xsense会实时记录车辆在采样点上的速度和加速度，分别获取相邻两帧采样点的速度和加速度:v0，a0, Vi, Ei1 ；
[0015](9)、拟合两帧间车载相机间距:已知两点的速度和加速度:vQ，a0, v2, a2，利用四阶多项式拟合相邻两帧采样点间的距离DisGap ；
[0016](10)、计算比例因子 :根据车辆在两采样点间实际间距DisGap和两点相机间变换关系，计算实际距离与虚拟三维距离间的比例因子；
[0017](11)、计算起点和终点间实际三维空间距离:根据比例因子Scale计算出起点和终点间虚拟距离DisVir对应的实际空间距离DisAct。
[0018]所述的步骤(6)的局部坐标系下坐标转为统一坐标系下坐标的具备步骤为:在Ladybug全景相机里，每个镜头相机定义了一个统一的全局坐标系，每个局部相机坐标系与Ladybug全局坐标系间存在一个唯一的变换关系，即矩阵H,该变换关系通过Ladybug提供的 API 函数 IadybugGetCameraUnitExtrinsics O 获得；
[0019]设世界坐标系下某空间点Q在某局部相机坐标下坐标为Qf1,该局部相机坐标系与Ladybug全局坐标系间变换矩阵为H，该点在Ladybug全局坐标系下坐标为QLadybug,则它们满足如下关系:
[0020]Ql^dybug-H.Qlocal 公式 1
[0021]选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵R和平移向量T获得，设点Q是世界坐标系下某空间点，R和T是某相机在世界坐标系下的位置姿态，Qloc31为该点Q在该相机坐标系下的坐标，则关系如下:
【权利要求】
1.基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，其方法步骤为: (1)、读入Ladybug相机采集的各镜头图像序列:在Ladybug相机采集过程中，每个镜头都会采集一系列序列图像； (2)、各相机分别进行姿态估计:在各相机的内参矩阵K已知的前提下，利用Bundle对各镜头序列图像进行相机姿态估计； (3)、在相邻两帧中分别选择两次待测距离起点和终点:在起始帧选择一次起点Ptl和终点qo，在下一帧选择一次相同的起点P1和相同的终点Q1: (4)、计算起点和终点分别所属相机索引号:根据Ladybug提供的API函数获取两次起点所属的相机索引号CamIdStart和两次终点所属的相机索引号CamIdEnd ； (5)、计算起点和终点的局部三维坐标:第2步获取了相机的内外参数，根据三角测量理论和CamIdStart号相机的内外参数计算Pci和P1两图像点所对应的三维空间点坐标Pstart ;同理计算出qo和Q1两图像点所对应的三维空间点坐标Qmd ; (6)、局部三维坐标转为统一坐标系下三维坐标:将第5步中的不同的坐标系下的三维坐标Pstart和Qmd转换到同一坐标系下； (7)、计算统一坐标系下起点和终点间虚拟距离:利用向量间欧式距离计算起点和终点在统一坐标系下的间距DisVir ； (8)、Xsense获取车载相机速度和加速度:在车载Ladybug采集图像的同时，硬件Xsense会实时记录车辆在采 样点上的速度和加速度，分别获取相邻两帧采样点的速度和加速度:v0，a0, V1, Ei1 ； (9)、拟合两帧间车载相机间距:已知两点的速度和加速度:V(I，a0,v2, a2，利用四阶多项式拟合相邻两帧采样点间的距离DisGap ； (10)、计算比例因子:根据车辆在两采样点间实际间距DisGap和两点相机间变换关系，计算实际距离与虚拟三维距离间的比例因子； (11)、计算起点和终点间实际三维空间距离:根据比例因子Scale计算出起点和终点间虚拟距离DisVir对应的实际空间距离DisAct。
2.根据权利要求1所述的基于Ladybug全景相机图像的360度全方位测距算法,其特征在于，所述的步骤(6)的局部坐标系下坐标转为统一坐标系下坐标的具备步骤为:在Ladybug全景相机里，每个镜头相机定义了一个统一的全局坐标系，每个局部相机坐标系与Ladybug全局坐标系间存在一个唯一的变换关系，即矩阵H,该变换关系通过Ladybug提供的 API 函数 IadybugGetCameraUnitExtrinsics O 获得； 设世界坐标系下某空间点Q在某局部相机坐标下坐标为Q^1，该局部相机坐标系与Ladybug全局坐标系间变换矩阵为H，该点在Ladybug全局坐标系下坐标为Q^lybug,则它们满足如下关系:
^Ladybug H ^Local
公式I 选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵R和平移向量T获得，设点Q是世界坐标系下某空间点，R和T是某相机在世界坐标系下的位置姿态，Qloc31,为该点Q在该相机坐标系下的坐标，则关系如下:
{P T? T、
Jx ~ Iv I QLocal = ηχ.Q公式 2
Vu 1 J根据公式I和公式2H 口可将不同世界坐标系下的不同空间点表示到统一 Ladybug全局坐标系下。
3.根据权利要求1所述的基于Ladybug全景相机图像的360度全方位测距算法，其特征在于，所述步骤(10)中，计算比例因子的公式为: Scale=DisGap' / DisGap 公式 3 其中，在所述第2步的相机姿态估计中，可计算同一索引号相机在相邻两帧中各自相对世界坐标系的位置姿态，则相邻两帧相机的平移向量间的欧式距离即为该索引号相机在两帧处的虚拟间距DisGap'。
【文档编号】G06T7/00GK103903263SQ201410114919
【公开日】2014年7月2日 申请日期:2014年3月26日 优先权日:2014年3月26日
【发明者】胡伏原, 吴宏杰, 严蔚岚, 翟金鑫 申请人:苏州科技学院