一种对象定位方法及装置与流程

文档序号:31936598发布日期:2022-10-26 01:57阅读:82来源:国知局
一种对象定位方法及装置与流程

1.本发明涉及图像处理技术领域,更具体的,涉及一种对象定位方法及装置。


背景技术:

2.在对象检测,如面部检测、眼部检测、瞳孔检测等检测过程中,为了提高检测仪器的检测精度,需要医生或者操作人员使用手动或者自动方式将检测仪器对准对象中的检测点,因此,不管使用手动方式还是自动方式,都需要对对象中的检测点进行定位。
3.目前定位方法有很多种,但大多数都是对于对象图像进行处理检测出检测点在图像中的位置,告诉操作人员去手动移动仪器对准到该检测点,并不能获得检测点的三维坐标来辅助仪器自动定位到仪器中心进行后续的检查。而目前的自动定位方法主要依赖于额外加入的光路设计来定位检测点在空间上的距离,或者加入距离传感器来检测检测点距离仪器的前后距离等。这就不仅增加了光路的复杂性,仪器的成本也提高了。


技术实现要素:

4.有鉴于此,本发明提供了一种对象定位方法及装置,在不需要额外增加光路设计以及硬件设备的基础上,实现对象检测点自动定位。
5.为了实现上述发明目的,本发明提供的具体技术方案如下:第一方面,本发明实施例提供了一种对象定位方法,包括:获取第一相机对目标对象拍摄的第一对象图像以及第二相机对所述目标对象拍摄的第二对象图像,并获取所述第一对象图像与所述第二对象图像中的对象检测点坐标;根据所述第一对象图像与所述第二对象图像中的对象检测点坐标,确定对象检测点在初始三维世界坐标系中的三维坐标,所述初始三维世界坐标系是以所述第一相机或所述第二相机的光心为原点构建的;将所述对象检测点在所述初始三维世界坐标系中的三维坐标转换为在目标三维世界坐标系中的三维坐标,所述目标三维世界坐标系是以目标点为原点构建的;根据所述对象检测点在所述目标三维世界坐标系中的三维坐标,确定所述对象检测点与所述目标点的相对位置。
6.在一些实施例中,获取所述第一对象图像与所述第二对象图像中的对象检测点坐标,包括:分别对所述第一对象图像与所述第二对象图像进行预处理,得到所述第一对象图像与所述第二对象图像中的目标对象区域以及所述目标对象区域的边缘点坐标;分别对所述第一对象图像与所述第二对象图像中的所述目标对象区域的边缘点坐标进行轮廓拟合并获取轮廓中心点坐标;将所述第一对象图像对应的轮廓中心点坐标确定为所述第一对象图像中的对象检测点坐标,并将所述第二对象图像对应的轮廓中心点坐标确定为所述第二对象图像中的对象检测点坐标。
7.在一些实施例中,所述分别对所述第一对象图像与所述第二对象图像进行预处理,得到所述第一对象图像与所述第二对象图像中的所述目标对象区域以及所述目标对象区域的边缘点坐标,包括:对所述目标对象图像依次进行灰度化处理、高斯滤波处理,得到模糊图像,所述目标对象图像为所述第一对象图像或所述第二对象图像;计算所述模糊图像的全局阈值;为所述模糊图像创建与其尺寸大小一致的第一空白图像、第二空白图像以及第三空白图像;分别计算所述模糊图像中每行的行阈值,将行阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该行进行二值化处理,并将所述模糊图像中每行的二值化处理结果放入所述第一空白图像的对应行;分别计算所述模糊图像中每列的列阈值,将列阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该列进行二值化处理,并将所述模糊图像中每列的二值化处理结果放入所述第二空白图像的对应列;将所述第一空白图像与所述第二空白图像中位置相同且二值化处理结果都为255的二值化处理结果放入所述第三空白图像的对应位置,并将所述第三空白图像剩余位置的像素值置0,得到所述模糊图像对应的分割图像;对所述分割图像进行候选区域筛选;根据所述分割图像的候选区筛选结果确定所述目标对象图像中的所述目标对象区域以及所述目标对象区域的边缘点坐标。
8.在一些实施例中,对所述分割图像进行候选区域筛选,包括:对所述分割图像依次进行候选区域检测以及连通域检测,得到所述分割图像中的所有候选区域的轮廓参数、每个候选区域的连通域以及连通域的外接矩形参数;筛选掉连通域的面积不在预设面积区间内、连通域的外接矩形的长或宽不在预设长度区间内、连通域的长宽比不在预设长宽比区间内、连通域的面积与外接矩形面积的比值不在预设面积比值区间内或候选区域的像素均值不在预设像素值区间内的候选区域,得到所述分割图像的候选区筛选结果。
9.在一些实施例中,所述根据所述分割图像的候选区筛选结果确定所述目标对象图像中的所述目标对象区域以及所述目标对象区域的边缘点坐标,包括:在所述分割图像的候选区筛选结果中候选区数量不为0的情况下,根据所述分割图像中候选区域的外接矩形参数获取所述目标对象图像中的对应区域图像块;计算所述分割图像中候选区域的外接矩形对应的图像块与所述目标对象图像中的对应区域图像块的归一化互相关系数,得到每个候选区对应的归一化互相关系数;将所述分割图像的候选区筛选结果中大于阈值的归一化互相关系数中的最大值对应的候选区确定为所述目标对象图像的所述目标对象区域;对所述目标对象图像的所述目标对象区域进行边缘点检测,得到所述目标对象区域的边缘点坐标。
10.在一些实施例中,所述初始三维世界坐标系的构建方法,包括:对所述第一相机和所述第二相机进行标定,得到所述第一相机和所述第二相机的
内外参数,并确定所述第一相机相对于所述第二相机的旋转参数和平移参数;建立所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系,所述初始三维世界坐标系以所述第二相机的光心为原点;基于所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系、每个相机的内外参数以及所述第一相机相对于所述第二相机的旋转参数和平移参数,构建初始三维重建模型,所述初始三维重建模型用于计算所述第一对象图像与所述第二对象图像中的对应点在所述初始三维世界坐标系中的三维坐标。
11.在一些实施例中,所述目标三维世界坐标系的构建方法为:获取所述目标三维世界坐标系中三个坐标轴的方向向量;根据所述第一相机和所述第二相机的光心与所述目标点的位置关系,以及所述目标三维世界坐标系中三个坐标轴的方向向量,确定所述目标三维世界坐标系的第一坐标轴与第二坐标轴在所述初始三维世界坐标系中的直线方程;计算所述目标点在所述初始三维世界坐标系中的坐标,确定所述目标三维世界坐标系的第三坐标轴在所述初始三维世界坐标系中的直线方程。
12.在一些实施例中,将所述对象检测点在所述初始三维世界坐标系中的三维坐标转换为在目标三维世界坐标系中的三维坐标,包括:根据所述目标点在所述初始三维世界坐标系中的坐标以及所述目标三维世界坐标系中的第一坐标轴、第二坐标轴、第三坐标轴在所述初始三维世界坐标系中的直线方程,确定所述目标三维世界坐标系中的三个坐标平面在所述初始三维世界坐标系中的平面方程;在所述初始三维世界坐标系中,分别计算所述对象检测点到三个坐标平面的距离,作为所述对象检测点在所述目标三维世界坐标系中的坐标。
13.在一些实施例中,获取所述目标三维世界坐标系中三个坐标轴的方向向量,包括:在真实世界中选取点a、在过点a的水平方向上选取点b、在过点a的竖直方向上选取点c;检测所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标;根据所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标,计算a、b、c在所述初始三维世界坐标系中的三维坐标;以向量ab的方向作为所述目标三维世界坐标系第一坐标轴的正向,根据a、b的三维坐标确定所述第一坐标轴的方向向量;以向量ca作为所述目标三维世界坐标系第二坐标轴的正向,根据c、a的三维坐标确定所述第二坐标轴的方向向量;以向量ca与向量ab的叉乘作为所述目标三维世界坐标系第三坐标轴的正向,确定所述第三坐标轴的方向向量。
14.第二方面,本发明实施例提供了一种瞳孔直径测量方法,包括:在目标对象为瞳孔时,获取对瞳孔区域的边缘点坐标进行椭圆拟合后得到的椭圆边缘以及椭圆中心点坐标;确定过所述椭圆中心点的水平线,并确定所述水平线与椭圆边缘的两个交点的坐
标;利用所述对象定位方法,分别获取两个交点在初始三维世界坐标系中或在目标三维世界坐标系中的三维坐标,进一步计算瞳孔直径。
15.第三方面,本发明实施例提供了一种对象定位装置,包括:对象检测点二维坐标获取单元,用于获取第一相机对目标对象拍摄的第一对象图像以及第二相机对所述目标对象拍摄的第二对象图像,并获取所述第一对象图像与所述第二对象图像中的对象检测点坐标;对象检测点三维坐标确定单元,用于根据所述第一对象图像与所述第二对象图像中的对象检测点坐标,确定对象检测点在初始三维世界坐标系中的三维坐标,所述初始三维世界坐标系是以所述第一相机或所述第二相机的光心为原点构建的;三维坐标转换单元,用于将所述对象检测点在所述初始三维世界坐标系中的三维坐标转换为在目标三维世界坐标系中的三维坐标,所述目标三维世界坐标系是以目标点为原点构建的;相对位置确定单元,用于根据所述对象检测点在所述目标三维世界坐标系中的三维坐标,确定所述对象检测点与所述目标点的相对位置。
16.在一些实施例中,所述对象检测点二维坐标获取单元,包括:图像预处理子单元,用于分别对所述第一对象图像与所述第二对象图像进行预处理,得到所述第一对象图像与所述第二对象图像中的目标对象区域以及所述目标对象区域的边缘点坐标;轮廓拟合子单元,用于分别对所述第一对象图像与所述第二对象图像中的所述目标对象区域的边缘点坐标进行轮廓拟合并获取轮廓中心点坐标;对象检测点坐标确定子单元,用于将所述第一对象图像对应的轮廓中心点坐标确定为所述第一对象图像中的对象检测点坐标,并将所述第二对象图像对应的轮廓中心点坐标确定为所述第二对象图像中的对象检测点坐标。
17.在一些实施例中,所述图像预处理子单元,包括:模糊图像获取子单元,用于对所述目标对象图像依次进行灰度化处理、高斯滤波处理,得到模糊图像,所述目标对象图像为所述第一对象图像或所述第二对象图像;全局阈值计算子单元,用于计算所述模糊图像的全局阈值;空白图像创建子单元,用于为所述模糊图像创建与其尺寸大小一致的第一空白图像、第二空白图像以及第三空白图像;第一二值化处理子单元,用于分别计算所述模糊图像中每行的行阈值,将行阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该行进行二值化处理,并将所述模糊图像中每行的二值化处理结果放入所述第一空白图像的对应行;第二二值化处理子单元,用于分别计算所述模糊图像中每列的列阈值,将列阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该列进行二值化处理,并将所述模糊图像中每列的二值化处理结果放入所述第二空白图像的对应列;分割图像获取子单元,用于将所述第一空白图像与所述第二空白图像中位置相同
且二值化处理结果都为255的二值化处理结果放入所述第三空白图像的对应位置,并将所述第三空白图像剩余位置的像素值置0,得到所述模糊图像对应的分割图像;候选区域筛选子单元,用于对所述分割图像进行候选区域筛选;对象区域确定子单元,用于根据所述分割图像的候选区筛选结果确定所述目标对象图像中的所述目标对象区域以及所述目标对象区域的边缘点坐标。
18.在一些实施例中,所述候选区域筛选子单元,具体用于:对所述分割图像依次进行候选区域检测以及连通域检测,得到所述分割图像中的所有候选区域的轮廓参数、每个候选区域的连通域以及连通域的外接矩形参数;筛选掉连通域的面积不在预设面积区间内、连通域的外接矩形的长或宽不在预设长度区间内、连通域的长宽比不在预设长宽比区间内、连通域的面积与外接矩形面积的比值不在预设面积比值区间内或候选区域的像素均值不在预设像素值区间内的候选区域,得到所述分割图像的候选区筛选结果。
19.在一些实施例中,所述对象区域确定子单元,具体用于:在所述分割图像的候选区筛选结果中候选区数量不为0的情况下,根据所述分割图像中候选区域的外接矩形参数获取所述目标对象图像中的对应区域图像块;计算所述分割图像中候选区域的外接矩形对应的图像块与所述目标对象图像中的对应区域图像块的归一化互相关系数,得到每个候选区对应的归一化互相关系数;将所述分割图像的候选区筛选结果中大于阈值的归一化互相关系数中的最大值对应的候选区确定为所述目标对象图像的所述目标对象区域;对所述目标对象图像的所述目标对象区域进行边缘点检测,得到所述目标对象区域的边缘点坐标。
20.在一些实施例中,所述装置还包括初始三维世界坐标系构建单元,用于:对所述第一相机和所述第二相机进行标定,得到所述第一相机和所述第二相机的内外参数,并确定所述第一相机相对于所述第二相机的旋转参数和平移参数;建立所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系,所述初始三维世界坐标系以所述第二相机的光心为原点;基于所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系、每个相机的内外参数以及所述第一相机相对于所述第二相机的旋转参数和平移参数,构建初始三维重建模型,所述初始三维重建模型用于计算所述第一对象图像与所述第二对象图像中的对应点在所述初始三维世界坐标系中的三维坐标。
21.在一些实施例中,所述装置还包括目标三维世界坐标系构建单元,用于:获取所述目标三维世界坐标系中三个坐标轴的方向向量;根据所述第一相机和所述第二相机的光心与所述目标点的位置关系,以及所述目标三维世界坐标系中三个坐标轴的方向向量,确定所述目标三维世界坐标系的第一坐标轴与第二坐标轴在所述初始三维世界坐标系中的直线方程;计算所述目标点在所述初始三维世界坐标系中的坐标,确定所述目标三维世界坐标系的第三坐标轴在所述初始三维世界坐标系中的直线方程。
22.在一些实施例中,所述三维坐标转换单元,具体用于:根据所述目标点在所述初始三维世界坐标系中的坐标以及所述目标三维世界坐
标系中的第一坐标轴、第二坐标轴、第三坐标轴在所述初始三维世界坐标系中的直线方程,确定所述目标三维世界坐标系中的三个坐标平面在所述初始三维世界坐标系中的平面方程;在所述初始三维世界坐标系中,分别计算所述对象检测点到三个坐标平面的距离,作为所述对象检测点在所述目标三维世界坐标系中的坐标。
23.在一些实施例中,所述相对位置确定单元,具体用于:在真实世界中选取点a、在过点a的水平方向上选取点b、在过点a的竖直方向上选取点c;检测所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标;根据所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标,计算a、b、c在所述初始三维世界坐标系中的三维坐标;以向量ab的方向作为所述目标三维世界坐标系第一坐标轴的正向,根据a、b的三维坐标确定所述第一坐标轴的方向向量;以向量ca作为所述目标三维世界坐标系第二坐标轴的正向,根据c、a的三维坐标确定所述第二坐标轴的方向向量;以向量ca与向量ab的叉乘作为所述目标三维世界坐标系第三坐标轴的正向,确定所述第三坐标轴的方向向量。
24.相对于现有技术,本发明的有益效果如下:本发明公开的一种对象定位方法,在获取第一相机与第二相机对目标对象进行拍摄得到的第一对象图像与第二对象图像的对象检测点坐标,并确定对象检测点在初始三维世界坐标系中的三维坐标之后,由于初始三维世界坐标系以第一相机与第二相机中的一个相机的光心为原点,不能直观的确定对象检测点与目标点的相对位置,本发明通过将对象检测点在初始三维世界坐标系中的三维坐标转换为在以目标点为原点的目标三维世界坐标系中的三维坐标,实现快速、准确的定位对象检测点与目标点的相对位置,在不需要依赖额外加入的光路设计或增加距离传感器的基础上,实现对象检测点的准确定位。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
26.图1为本发明实施例公开的一种对象定位方法的流程示意图;图2为本发明实施例公开的一种对象定位方法的部分方法的流程示意图;图3为本发明实施例公开的一种对象定位方法的部分方法的流程示意图;图4为本发明实施例公开的候选区域示意图;图5为本发明实施例公开的候选区域与对应原图像块之间的对比示意图;图6为本发明实施例公开的一种对象定位方法的部分方法的流程示意图;图7为本发明实施例公开的一种棋盘格图像示意图;
图8为本发明实施例公开的一种双目相机示意图;图9为本发明实施例公开的一种双目相机拍摄的棋盘格图像对示意图;图10为本发明实施例公开的初始三维世界坐标系示意图;图11为本发明实施例公开的目标三维世界坐标系示意图;图12为本发明实施例公开的一种对象定位方法的部分方法的流程示意图;图13为本发明实施例公开的标注有目标三维世界坐标系中三个坐标轴的方向向量的棋盘格图像示意图;图14为本发明实施例公开的瞳孔直径示意图;图15为本发明实施例公开的一种对象定位装置的结构示意图。
具体实施方式
27.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
28.本发明提供了一种对象定位方法及装置,可以应用于现有任意一种定位设备,如面部检测仪器、眼部检测仪器、视光测量仪器等,定位设备设置有两个相机,本发明不需要依赖额外加入的光路设计或增加距离传感器,仅需通过图像处理就能实现对象检测点的准确定位,降低了定位成本,提高了定位效率。
29.具体的,请参阅图1,本发明实施例提供的一种对象定位方法包括以下步骤:s101:获取第一相机对目标对象拍摄的第一对象图像以及第二相机对目标对象拍摄的第二对象图像,并获取第一对象图像与第二对象图像中的对象检测点坐标;可以理解的是,第一对象图像与第二对象图像分别为两个相机对同一目标对象所拍摄得到的两个图像。这里的第一相机和第二相机可以为双目相机中的两个相机,也可以不是双目相机中的相机,本发明不做具体限定。
30.针对不同应用场景,对象检测点不同,例如:在面部检测中对象检测点可以为鼻尖中心点,在眼部检测中对象检测点可以为内眼角点,在瞳孔检测中对象检测点可以为瞳孔中心点。
31.进一步,请参阅图2,本实施例提供了一种可选的s101的实施方式,具体包括以下步骤:s201:分别对第一对象图像与第二对象图像进行预处理,得到第一对象图像与第二对象图像中的目标对象区域以及目标对象区域的边缘点坐标;请参阅图3,本实施例提供了一种可选的s201的实施方式,具体包括以下步骤:s301:对目标对象图像依次进行灰度化处理、高斯滤波处理,得到模糊图像,目标对象图像为第一对象图像或第二对象图像;s302:计算模糊图像的全局阈值;具体的,可以使用大津法计算模糊图像的全局阈值,当然,也可以使用其他现有方法计算模糊图像的全局阈值,本发明不做具体限定。
32.s303:为模糊图像创建与其尺寸大小一致的第一空白图像、第二空白图像以及第
三空白图像;s304:分别计算模糊图像中每行的行阈值,将行阈值与第一系数的乘积、全局阈值与第二系数的乘积中的最小值作为最终阈值对该行进行二值化处理,并将模糊图像中每行的二值化处理结果放入第一空白图像的对应行;具体的,可以使用大津法计算模糊图像中每行的行阈值,当然,也可以使用其他现有方法计算模糊图像中每行的行阈值,本发明不做具体限定。
33.s305:分别计算模糊图像中每列的列阈值,将列阈值与第一系数的乘积、全局阈值与第二系数的乘积中的最小值作为最终阈值对该列进行二值化处理,并将模糊图像中每列的二值化处理结果放入第二空白图像的对应列;具体的,可以使用大津法计算模糊图像中每列的列阈值,当然,也可以使用其他现有方法计算模糊图像中每列的列阈值,本发明不做具体限定。
34.s306:将第一空白图像与第二空白图像中位置相同且二值化处理结果都为255的二值化处理结果放入第三空白图像的对应位置,并将第三空白图像剩余位置的像素值置0,得到模糊图像对应的分割图像;s307:对分割图像进行候选区域筛选;s308:根据分割图像的候选区筛选结果确定目标对象图像中的目标对象区域以及目标对象区域的边缘点坐标。
35.需要说明的是,为了便于描述,用目标对象图像表示第一对象图像或第二对象图像,也就是说,第一对象图像和第二对象图像都会执行上述s301~308的处理。以下为了便于描述,以image1表示第一对象图像,以image2表示第二对象图像。
36.对image1和image2先进行灰度化处理,然后再进行高斯滤波处理获得第一模糊图像imageblur1和第二模糊图像imageblur2。使用大津法分别获取imageblur1和imageblur2的全局阈值threshall1和threshall2。以第一模糊图像imageblur1为例,定义三个与第一模糊图像imageblur1尺寸大小一致的空白图像第一空白图像imagex1,第二空白图像imagey1,第三空白图像imagebw1。
37.对第一模糊图像imageblur1的每一行进行处理,使用大津法计算每一行的阈值,thresh1i表示imageblur1中第i行的阈值。对比thresh1i*r1和threshall1*r2的大小,选取较小者作为最终阈值对该行进行二值化处理,并将结果放入第一空白图像imagex1中对应位置。第一模糊图像imageblur1的每一列同理,获得填充后的第二空白图像imagey1,其中,r1和r2为两个系数,取值可以为0.5。对第一空白图像imagex1和第二空白图像imagey1进行处理,若第一空白图像imagex1与第二空白图像imagey1中位置相同且二值化处理结果都为255,则将第三空白图像imagebw1对应位置设置为255,否则为0,得到第一分割图像。
38.然后,对第一分割图像进行候选区域筛选,为了提高候选区域的筛选精度,可以经过以下五轮筛选,得到第一分割图像的候选区筛选结果:使用findcontours函数获取第三空白图像imagebw1中所有连通域的轮廓参数,并使用boundingrect算法获取第三空白图像imagebw1所有连通域的外接矩形参数。
39.因为目标对象区域在一幅图像不会很大或者很小,因此筛选掉连通域的面积不在预设面积区间内的候选区域,如筛选掉连通域面积大于最大阈值15000或小于最小阈值100的候选区域。
40.目标对象连通域的外接矩形的长或宽不会很长或者很短,因此筛选掉连通域的长或宽不在预设长度区间内的候选区域,如筛选掉外接矩形的长或宽大于最大阈值200或小于最小阈值20的候选区域。
41.对于一个目标对象连通域的外接矩形来说,其长宽比是在一定范围内的。尤其是在目标对象为瞳孔或虹膜的情况下,以目标对象为瞳孔为例,因为瞳孔本身是圆形的,哪怕是在不同的角度,比如从下往上看瞳孔,从侧面看瞳孔等,瞳孔发生了形变变成椭圆的情况下,其高宽比或者宽高比也不会大于最大值ratiomax,不会小于最小值ratiomin。因此筛选掉连通域的外接矩形长宽比不在预设长宽比区间内的候选区域,如筛选掉外接矩形长宽比大于最大阈值2或小于最小阈值0.5的候选区域。
42.对于一个目标对象连通域来说,其连通域面积对于其外接矩形的占比是大于一定值的,如果面积占比较小,说明该轮廓存在大片空心区域,不是目标对象区域。以目标对象为瞳孔为例,如图4所示,第一个为瞳孔区域连通域,后三个为非瞳孔区域连通域,可以看出哪怕瞳孔有亮斑的干扰,其连通域面积占比仍然要大于后面三个。因此筛选掉连通域的面积与外接矩形面积的比值不在预设面积比值区间内的候选区域,如筛选掉连通域面积占比小于阈值0.55的候选区域。
43.由于目标对象区域的像素值小于周边区域,但是其均值不会接近于0。还需要筛选掉候选区域的像素均值不在预设像素值区间内的候选区域,如根据候选区域的连通域的外接矩形参数,在imagblur1和imagebw1中截取对应位置的图像块blockblur和blockbw,并根据以下公式计算其像素均值graymean。筛选掉graymean大于最大阈值graymax或小于最小阈值graymin的候选区域。如筛选掉graymean小于0.075或大于0.25的候选区域。
44.其中,blockbw为imagebw1中根据外接矩形参数截取的对应位置的图像块;blockblur为imageblur1中根据外接矩形参数截取的对应位置的图像块;表示计数,用于统计图像块blockbw中属于连通域的像素个数;表示图像块blockbw中位置为(m,n)的像素值;表示图像块blockblur中位置为(m,n)的像素值表示符合以上公式中的条件的像素值之和。
45.经过以上五轮筛选后,若剩下的候选区域数为0,则表示该图像中不存在目标对象。若不为0,则剩下的候选区域即为候选区筛选结果。
46.进一步,利用ncc(normalized cross correlation,归一化互相关系数)对剩下的候选区域进行进一步筛选,得到目标对象区域。
47.使用外接矩形截取到的目标对象区域blockblur,一定是中间区域的像素值小于四周的像素值,截取到的候选区域blockbw进行取反同样是中间黑,四周白,则目标对象区域与轮廓区域存在一定的相似性,其ncc值较高,而那些非目标对象候选区域,与其对应轮廓区域的相似性就较低,即其ncc值较低。以目标对象为瞳孔为例,如图5所示,三组图像分
别为候选区域与对应原图像块之间的对比示意图,其中,每组图像中左边图像为包括候选区域的图像块,右边图像为原图像块,图像组(1)表示瞳孔区域,图像组(2)和(3)表示非瞳孔区域,可见,瞳孔区域的连通域图像块与对应的原图像块之间的相似程度要大于后两种情况,即其ncc值在三者中最大。
48.因此,本实施例中以ncc值最大的候选区域作为最终的目标对象区域。blockbw取反操作后,计算分割图像中候选区域的外接矩形对应的图像块与目标对象图像中的对应区域图像块的ncc,其中,可以根据分割图像中候选区域的外接矩形参数获取目标对象图像中的对应区域图像块,如根据分割图像中的候选区域的外接矩形的左上角顶点、外接矩形的长和宽获取目标对象图像中的对应区域图像块。
49.ncc值的计算公式如下:ncc值的计算公式如下:为blockblur的像素均值,为blockbw的像素均值。
50.选取ncc值大于阈值且ncc值最大的那个候选区域作为目标对象区域。
51.获取目标对象区域的经过findcontours算法检测连通域得到的边缘点坐标。
52.s202:分别对第一对象图像与第二对象图像中的目标对象区域的边缘点坐标进行轮廓拟合,并获取轮廓中心点坐标;目标对象区域的轮廓可以为矩形、三角形、其他多边形、椭圆、圆形等,根据目标对象的形状确定,以目标对象为瞳孔为例,对目标对象区域的边缘点坐标进行轮廓拟合具体为椭圆拟合。
53.s203:将第一对象图像对应的轮廓中心点坐标确定为第一对象图像中的对象检测点坐标,并将第二对象图像对应的轮廓中心点坐标确定为第二对象图像中的对象检测点坐标。
54.为了便于说明,将imageblur1图像的对象检测点坐标表示为(x1,y1),对imageblur2的处理同上,获得对象检测点坐标(x2,y2)。
55.以目标对象为瞳孔为例,上述对象检测点即为瞳孔中心点。
56.s102:根据第一对象图像与第二对象图像中的对象检测点坐标,确定对象检测点在初始三维世界坐标系中的三维坐标,初始三维世界坐标系是以第一相机或第二相机的光心为原点构建的;在定位设备投入使用之前,需要构建以第一相机与第二相机中的一个相机的光心为原点的初始三维世界坐标系,请参阅图6,构建初始三维世界坐标系包括以下步骤:s401:对第一相机与第二相机进行标定,得到第一相机与第二相机的内外参数,并
确定第一相机相对于第二相机的旋转参数和平移参数;s402:建立第二相机从像素坐标系到初始三维世界坐标系之间的映射关系,初始三维世界坐标系以第二相机的光心为原点;s403:基于第二相机从像素坐标系到初始三维世界坐标系之间的映射关系、每个相机的内外参数以及第一相机相对于第二相机的旋转参数和平移参数,构建初始三维重建模型,初始三维重建模型用于计算第一相机和第二相机拍摄的对象图像对中的对应点在初始三维世界坐标系中的三维坐标。
57.本实施例采用张正友标定法对第一相机与第二相机进行标定,以下为具体标定过程:在准备阶段准备一张棋盘格图像,一种可选的棋盘格图像如图7所示,最好保证横竖方向上的黑白交叉点个数不同。将准备的棋盘格图像粘贴于一块钢板或者硬纸板上,从而便于将棋盘格图像放置于装配好的第一相机与第二相机前。第一相机与第二相机可以组成双目相机,由第一相机与第二相机组成的双目相机的一种示例如图8所示,要保证两个相机能够同时拍摄到棋盘格图像的全部。每拍摄一对图像,就将棋盘格调整一下位置或者姿态,如此拍摄n对棋盘格图像,n为正整数,拍摄的一对棋盘格图像示例如图9所示。
58.对于每一对棋盘格图像,使用角点检测算法、寻找棋盘角算法(findchessboardcorners)或其他算法,从棋盘格图像的左上角开始沿着预设顺序分别检测每张棋盘格图像中黑白交叉点的角点坐标,如此获取两组角点坐标,且一一对应。由于一对棋盘格图像对应该棋盘格在真实世界坐标系下的一个位姿,因此同时可以获得角点对应的三维坐标(x,y,z),从左上角角点开始,设置左上角角点的三维坐标为(0,0,0),相邻的角点的三维坐标增幅为side,即棋盘格中每个正方形方块的边长side,单位为mm。以左右相邻的两个交叉点为例,其坐标分别为(x,y,z)和(x+side,y,z)。为了方便后续的标定处理,z设置为0。
59.以上建立了棋盘格图像与真实棋盘格上对应点的一一对应关系之后,就可以将建立起对应关系的这些点对传入标定函数stereocalibrate中,计算出两个相机的内参矩阵cameramatrix1、cameramatrix2,畸变参数矩阵distcoeffs1、distcoeffs2以及外参矩阵r1、r2、t1、t2。其中,内参矩阵cameramatrix1、cameramatrix2以及外参矩阵r1、r2都是3*3大小的矩阵,t1和t2是1*3大小的矩阵。
60.以上只是获得每个相机自己的内外参数,由于本实施例使用的是两个相机,因此就需要计算出两个相机之间的外参数,具体的,将上述所有参数传入函数stereorectify中,即可获得两个相机之间的旋转矩阵参数r和平移矩阵参数t。需要说明的是,计算出来的r和t为第一相机相对于第二相机的旋转参数r和平移参数t。如此就完成了第一相机与第二相机标定的过程。
61.由于第一相机与第二相机拍摄的瞳孔图像对中的瞳孔中心点坐标为二维坐标,需要根据标定后的第一相机与第二相机的参数构建初始三维世界坐标系模型,初始三维世界坐标系模型用于计算第一相机与第二相机拍摄的瞳孔图像对中的点在初始三维世界坐标系中的三维坐标。具体包括以下步骤:在张正友标定法中,建立的单目相机从像素坐标系到世界坐标系之间的映射计算公式如下:
(1)其中(u,v)是相机所拍摄图像中点的像素坐标,(x,y,z)是对应点在三维坐标系中的三维坐标,zc表示该点到相机的垂直距离,cameramatrix为相机的内参矩阵。
62.为将上述等式(1)左边的部分展开后得到的数学参数表示形式。
63.令和分别表示两个相机对应的参数,和分别表示两个相机中拍摄到的对应点坐标,将公式(1)进行展开可得:(2)基于公式(1)和公式(2)消去zc得方程组:(3)需要说明的是,上述第一相机与第二相机标定出来的r和t是第一相机相对于第二相机的旋转矩阵和平移矩阵。将r和t作为第一相机的旋转矩阵参数和平移矩阵参数。第二相机的旋转矩阵和平移矩阵可以设置为:(4)将两个相机的旋转矩阵和平移矩阵代入公式(1)和(3)即可算出第一相机与第二相机拍摄的瞳孔图像对中的任意一点p对应的三维坐标(x,y,z)。
64.如此便完成了初始三维世界坐标系模型的构建,以上是以第二相机的光心为初始三维世界坐标系的原点进行说明的,可以理解的是,也可以以第一相机的光心为初始三维世界坐标系的原点,本发明不做具体限定。
65.基于此,即可根据第一对象图像与第二对象图像中的对象检测点坐标,确定对象检测点在初始三维世界坐标系中的三维坐标。
66.s103:将对象检测点在初始三维世界坐标系中的三维坐标转换为在目标三维世界坐标系中的三维坐标,目标三维世界坐标系是以目标点为原点构建的;需要说明的是,上述初始三维世界坐标系是以第一相机与第二相机中的一个相机的光心为原点,以光心轴为z轴建立的模型,如图10所示。初始三维世界坐标模型的原点为第二相机的光心,也即为图10中的点o,xyz三个轴分别如图10显示。因此计算出来的三维坐标,并不能直观准确表示对象检测点p到第一相机与第二相机所在平面的前后距离以及上下左右的距离。这样的情况下,计算出来的对象检测点三维坐标不能够表示对象检测点到第一相机与第二相机所在平面的前后距离,即不能够测距,同样不能表示对象检测点距离图中目标点的上下左右距离。
67.因此就需要进行再次重建三维世界坐标系模型,构建出我们需要的目标三维世界坐标系模型,如图11所示,即将图10中初始三维世界坐标系原点移动到目标点的位置,以第一相机与第二相机所在平面为xy平面,以垂直xy平面的方向为z轴建立目标三维世界坐标系。请参阅图12,构建目标三维世界坐标系的具体操作为:s501:获取目标三维世界坐标系中三个坐标轴的方向向量;s502:根据第一相机与第二相机的光心与目标点的位置关系,以及目标三维世界坐标系中三个坐标轴的方向向量,确定目标三维世界坐标系的第一坐标轴与第二坐标轴在初始三维世界坐标系中的直线方程;s503:计算目标点在初始三维世界坐标系中的坐标,确定目标三维世界坐标系的第三坐标轴在初始三维世界坐标系中的直线方程。
68.在真实世界中选取点a、在过点a的水平方向上选取点b、在过点a的竖直方向上选取点c;本领域技术人员也可以选取更多的点,例如选取真实世界中的点d、e代表水平方向,f、g代表竖直方向,计算原理与以下方法相同,本实施例中为了方便计算,仅以最优方案示例;检测所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标;根据所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标,计算a、b、c在所述初始三维世界坐标系中的三维坐标;以向量ab的方向作为所述目标三维世界坐标系第一坐标轴的正向,根据a、b的三维坐标确定所述第一坐标轴的方向向量;以向量ca作为所述目标三维世界坐标系第二坐标轴的正向,根据c、a的三维坐标确定所述第二坐标轴的方向向量;以向量ca与向量ab的叉乘作为所述目标三维世界坐标系第三坐标轴的正向,确定所述第三坐标轴的方向向量。
69.具体的,保证棋盘格图像的竖直方向是真实世界的垂直向下方向,让棋盘格图像平面与第一相机与第二相机所在平面完全平行,拍摄一对图像,如图13所示,其中直线ab就是真实世界中的水平方向,直线ac就是真实世界中的竖直方向,直线ab和直线ac所在平面的垂线就是真实世界的前后方向。
70.利用角点检测算法、寻找棋盘角算法(findchessboardcorners)或其他算法,检测出两张图像中a点、b点、c点的像素坐标:,,,将其两两代入公式(3)中求得a点、b点、c点的三维坐标,,。
71.接着开始构建目标三维世界坐标系模型的原点和三个轴,为了便于说明,第一次构建的初始三维世界坐标系模型中的坐标均以大写字母表示,第二次构建的目标三维世界坐标系模型中的坐标则以小写字母表示。
72.以向量ab的方向作为x轴的正向,以向量ca作为y轴的正向,以向量ca和向量ab的叉乘作为z轴的正向:(5)其中,,,;,,;,,。
73.获取三个坐标轴的方向向量后,就需要以两个相机在初始三维世界坐标系中的坐标来构建目标三维世界坐标系的三个坐标轴和坐标原点。在上述的标定过程中,确立了一个以其中第二相机的光心为原点的初始三维世界坐标系,设该相机为c2,其中c1为右边的相机,c2为左边的相机。因为第一次构建的模型是以c2为原点o,因此c2光心的坐标为(0,0,0)。c1光心的坐标可以根据公式(6)获得:(6)其中,r和t分别是第一相机相对于第二相机的旋转矩阵参数和平移矩阵参数,(x
c2
,y
c2
,z
c2
)表示c2光心的坐标,(x
c1
,y
c1
,z
c1
)表示c1光心的坐标,令:(7)其中,为r展开后的数学参数表示形式,为t展开后的数学参数表示形式。
74.展开可得:(8)代入相关值进行求解,即可得c1光心的坐标(x
c1
,y
c1
,z
c1
)。
75.接下来就可以根据两个相机的光心坐标以及三个坐标轴的方向向量来构建目标
三维世界坐标系中的原点和三个坐标轴。分为两种情况,一种情况是两个相机光心的对称轴通过目标点点,另一种情况是两个相机光心的对称轴不通过目标点点。目标点点即需要把瞳孔对准的位置,也就是点和瞳孔中心点的连线与平面垂直。设c1c2中点为c3(x
c3
,y
c3
,z
c3
),则其坐标为(x
c1
/2,y
c1
/2,z
c1
/2),令目标点点的坐标为:,则其求解过程如下:1)两个相机光心的对称轴通过中心点:(1-1):若、c1、c2三点共线,那么点即点c3;(1-2):若直线和直线垂直。以图11所示为例,目标三维世界坐标系模型中x轴一定通过第一相机的光心点c1,即侧面相机,y轴一定通过第二相机的光心点c2,即下面相机。
76.则x轴直线和y轴直线的方程式为:(9)其中,在x轴所在直线1方程中(x,y,z)为x轴所在直线上的对应点在初始三维坐标系中的三维坐标,在y轴所在直线2方程中(x,y,z)为y轴所在直线上的对应点在初始三维坐标系中的三维坐标。
77.接着用求解直线与平面交点的方式来求解目标三维世界坐标系模型原点,由公式(9)可以获取过点c1(t1,t2,t3)与直线2垂直的平面方程,即获得平面方程;也可获取过点c2(0,0,0)与直线1垂直的平面方程,即平面方程:平面方程:(10)在平面方程中(x,y,z)为平面上的对应点在初始三维坐标系中的三维坐标,在平面方程中(x,y,z)为平面上的对应点在初始三维坐标系中的三维坐标。
78.然后求解原点:求解x轴直线与平面或y轴直线与平面的交点即可获得原点,以y轴直线与平面的交点为例,构建方程组如下:(11)(x,y,z)表示y轴直线与平面的交点在初始三维坐标系中的三维坐标,t为计算过程的中间变量。
79.展开可得:(12)求得t值为:
(13)代入公式(12)即可求得新模型原点坐标。
80.因此新模型z轴所在直线方程为:(14)(x,y,z)表示z轴所在直线上的对应点在初始三维坐标系中的三维坐标。
81.(1-3):其他情况。通过物理测量获得其中一个相机到点的距离d0,可得:(15)表示相机c1到点的距离,表示相机c2到点的距离。
82.(16)(17)(18)若点在过直线c1c2并且与平面垂直的平面的左边或上边,则取大于0对应的解作为点坐标;若点在过直线c1c2并且与平面垂直的平面的右边或下边,则取小于0对应的解作为点坐标。
83.2)两个相机的对称轴不通过中心点,这种情况下,就需要物理测量出两个相机到中心点的距离d1、d2。两个相机之间的距离可以利用两点间距离公式计算,也可以物理测量,设其为d3。利用余弦定理,求得点在线段c1c2上的投影点c4距离c1和c2的距离d4和d5,根据d4和d5和直线方程c1c2求解获得c4的坐标(x
c4
,y
c4
,z
c4
)。后续的求解与(1-3)中同理,只不过把c3的坐标换成c4即可。
84.如此获得中心点的坐标之后,结合公式(5)中的三个方向向量就可以确定三个轴的直线方程,即完成了目标三维世界坐标系的构建。
85.在得到三个轴的直线方程之后,就可以计算空间中一点d(设点d在第一次重建的初始三维世界坐标系模型中计算获得的三维坐标为(xd,yd,zd)在目标三维世界坐标系模型中的坐标,主要原理为利用点到平面的垂直距离求解方式,分别求解点d到新模型平面、平面、平面的距离:第一步:分别求解过点d与平面垂直的直线与平面的交点、过点d与平面垂直的直线与平面的交点、过点d与平面垂直的直线与平面的交点:
(19)第二步:计算点d坐标的绝对值:(20)第三步:计算点d坐标的正负值:(21)根据以上原理,则可以根据对象检测点在初始三维世界坐标系中的三维坐标以及目标三维世界坐标系中x轴、y轴与z轴所在直线方程,计算对象检测点在目标三维世界坐标系中的三维坐标。
86.s104:根据对象检测点在目标三维世界坐标系中的三维坐标,确定对象检测点与目标点的相对位置。
87.具体的,根据目标点在初始三维世界坐标系中的坐标以及目标三维世界坐标系中的第一坐标轴、第二坐标轴、第三坐标轴在初始三维世界坐标系中的直线方程,确定目标三维世界坐标系中的三个坐标平面在初始三维世界坐标系中的平面方程。然后,在初始三维世界坐标系中,分别计算对象中心点到三个坐标平面的距离,作为对象中心点在目标三维世界坐标系中的坐标,即得到对象检测点与目标点的相对位置。
88.可见,本实施例公开的一种对象定位方法,在获取第一相机与第二相机对目标对象进行拍摄得到的瞳孔图像对中的对象检测点坐标,并确定对象检测点在初始三维世界坐标系中的三维坐标之后,由于初始三维世界坐标系以第一相机与第二相机中的一个相机的光心为原点,不能直观的确定对象检测点与目标点的相对位置,本发明通过将对象检测点在初始三维世界坐标系中的三维坐标转换为在以目标点为原点的目标三维世界坐标系中的三维坐标,实现快速、准确的定位对象检测点与目标点的相对位置,在不需要依赖额外加入的光路设计或增加距离传感器的基础上,实现对象检测点的准确定位。
89.进一步,在目标对象为瞳孔且对象检测点为瞳孔中心点的情况下,本实施例还公开了一种瞳孔直径测量方法,该方法包括以下步骤:1、获取第一相机对目标对象拍摄的第一瞳孔图像以及第二相机对目标对象拍摄的第二瞳孔图像。
90.2、分别对第一瞳孔图像与第二瞳孔图像进行预处理,得到第一瞳孔图像与第二瞳孔图像中的瞳孔区域以及瞳孔区域的边缘点坐标。
91.3、分别对第一瞳孔图像与第二瞳孔图像中的瞳孔区域的边缘点坐标进行椭圆拟合,获取椭圆边缘以及椭圆中心点坐标,即图14中的点p。
92.4、确定过椭圆中心点的水平线,并确定水平线与椭圆边缘的两个交点的坐标。
93.具体的,根据椭圆中心点坐标确定过椭圆中心点的水平线的直线方程,并根据过椭圆中心点的水平线的直线方程以及瞳孔区域的边缘点坐标,即可确定水平线与椭圆边缘的两个交点的坐标。
94.请参阅图14过椭圆中心点p的水平线,水平线与椭圆边缘的两个交点x1与x2。
95.5、利用所述对象定位方法,分别获取两个交点在初始三维世界坐标系中或在目标三维世界坐标系中的三维坐标,进一步计算瞳孔直径。
96.具体是根据三维坐标,求解两个交点之间实际的距离,即得到瞳孔直径。需要说明的是,这里的瞳孔直径不是像素直径,而是实际的真实直径。
97.基于上述实施例公开的一种对象定位方法,本实施例对应公开了一种对象定位装置,请参阅图15,该装置包括:对象检测点二维坐标获取单元101,用于获取第一相机对目标对象拍摄的第一对象图像以及第二相机对所述目标对象拍摄的第二对象图像,并获取所述第一对象图像与所述第二对象图像中的对象检测点坐标;对象检测点三维坐标确定单元102,用于根据所述第一对象图像与所述第二对象图像中的对象检测点坐标,确定对象检测点在初始三维世界坐标系中的三维坐标,所述初始三维世界坐标系是以所述第一相机或所述第二相机的光心为原点构建的;三维坐标转换单元103,用于将所述对象检测点在所述初始三维世界坐标系中的三维坐标转换为在目标三维世界坐标系中的三维坐标,所述目标三维世界坐标系是以目标点为原点构建的;相对位置确定单元104,用于根据所述对象检测点在所述目标三维世界坐标系中的三维坐标,确定所述对象检测点与所述目标点的相对位置。
98.在一些实施例中,所述对象检测点二维坐标获取单元101,包括:图像预处理子单元,用于分别对所述第一对象图像与所述第二对象图像进行预处理,得到所述第一对象图像与所述第二对象图像中的目标对象区域以及所述目标对象区域的边缘点坐标;轮廓拟合子单元,用于分别对所述第一对象图像与所述第二对象图像中的所述目标对象区域的边缘点坐标进行轮廓拟合并获取轮廓中心点坐标;对象检测点坐标确定子单元,用于将所述第一对象图像对应的轮廓中心点坐标确定为所述第一对象图像中的对象检测点坐标,并将所述第二对象图像对应的轮廓中心点坐标确定为所述第二对象图像中的对象检测点坐标。
99.在一些实施例中,所述图像预处理子单元,包括:模糊图像获取子单元,用于对所述目标对象图像依次进行灰度化处理、高斯滤波处理,得到模糊图像,所述目标对象图像为所述第一对象图像或所述第二对象图像;全局阈值计算子单元,用于计算所述模糊图像的全局阈值;空白图像创建子单元,用于为所述模糊图像创建与其尺寸大小一致的第一空白图像、第二空白图像以及第三空白图像;第一二值化处理子单元,用于分别计算所述模糊图像中每行的行阈值,将行阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该行进行二值化处理,并将所述模糊图像中每行的二值化处理结果放入所述第一空白图像的对应行;第二二值化处理子单元,用于分别计算所述模糊图像中每列的列阈值,将列阈值与第一系数的乘积、所述全局阈值与第二系数的乘积中的最小值作为最终阈值对该列进行二值化处理,并将所述模糊图像中每列的二值化处理结果放入所述第二空白图像的对应列;分割图像获取子单元,用于将所述第一空白图像与所述第二空白图像中位置相同且二值化处理结果都为255的二值化处理结果放入所述第三空白图像的对应位置,并将所述第三空白图像剩余位置的像素值置0,得到所述模糊图像对应的分割图像;候选区域筛选子单元,用于对所述分割图像进行候选区域筛选;对象区域确定子单元,用于根据所述分割图像的候选区筛选结果确定所述目标对象图像中的所述目标对象区域以及所述目标对象区域的边缘点坐标。
100.在一些实施例中,所述候选区域筛选子单元,具体用于:对所述分割图像依次进行候选区域检测以及连通域检测,得到所述分割图像中的所有候选区域的轮廓参数、每个候选区域的连通域以及连通域的外接矩形参数;筛选掉连通域的面积不在预设面积区间内、连通域的外接矩形的长或宽不在预设长度区间内、连通域的长宽比不在预设长宽比区间内、连通域的面积与外接矩形面积的比值不在预设面积比值区间内或候选区域的像素均值不在预设像素值区间内的候选区域,得到所述分割图像的候选区筛选结果。
101.在一些实施例中,所述对象区域确定子单元,具体用于:在所述分割图像的候选区筛选结果中候选区数量不为0的情况下,根据所述分割图像中候选区域的外接矩形参数获取所述目标对象图像中的对应区域图像块;计算所述分割图像中候选区域的外接矩形对应的图像块与所述目标对象图像中的对应区域图像块的归一化互相关系数,得到每个候选区对应的归一化互相关系数;将所述分割图像的候选区筛选结果中大于阈值的归一化互相关系数中的最大值对应的候选区确定为所述目标对象图像的所述目标对象区域;对所述目标对象图像的所述目标对象区域进行边缘点检测,得到所述目标对象区域的边缘点坐标。
102.在一些实施例中,所述装置还包括初始三维世界坐标系构建单元,用于:对所述第一相机和所述第二相机进行标定,得到所述第一相机和所述第二相机的内外参数,并确定所述第一相机相对于所述第二相机的旋转参数和平移参数;
建立所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系,所述初始三维世界坐标系以所述第二相机的光心为原点;基于所述第二相机从像素坐标系到所述初始三维世界坐标系之间的映射关系、每个相机的内外参数以及所述第一相机相对于所述第二相机的旋转参数和平移参数,构建初始三维重建模型,所述初始三维重建模型用于计算所述第一对象图像与所述第二对象图像中的对应点在所述初始三维世界坐标系中的三维坐标。
103.在一些实施例中,所述装置还包括目标三维世界坐标系构建单元,用于:获取所述目标三维世界坐标系中三个坐标轴的方向向量;根据所述第一相机和所述第二相机的光心与所述目标点的位置关系,以及所述目标三维世界坐标系中三个坐标轴的方向向量,确定所述目标三维世界坐标系的第一坐标轴与第二坐标轴在所述初始三维世界坐标系中的直线方程;计算所述目标点在所述初始三维世界坐标系中的坐标,确定所述目标三维世界坐标系的第三坐标轴在所述初始三维世界坐标系中的直线方程。
104.在一些实施例中,所述三维坐标转换单元103,具体用于:根据所述目标点在所述初始三维世界坐标系中的坐标以及所述目标三维世界坐标系中的第一坐标轴、第二坐标轴、第三坐标轴在所述初始三维世界坐标系中的直线方程,确定所述目标三维世界坐标系中的三个坐标平面在所述初始三维世界坐标系中的平面方程;在所述初始三维世界坐标系中,分别计算所述对象检测点到三个坐标平面的距离,作为所述对象检测点在所述目标三维世界坐标系中的坐标。
105.在一些实施例中,所述相对位置确定单元104,具体用于:在真实世界中选取点a、在过点a的水平方向上选取点b、在过点a的竖直方向上选取点c;检测所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标;根据所述第一对象图像中a、b、c的像素坐标以及所述第二对象图像中a、b、c的像素坐标,计算a、b、c在所述初始三维世界坐标系中的三维坐标;以向量ab的方向作为所述目标三维世界坐标系第一坐标轴的正向,根据a、b的三维坐标确定所述第一坐标轴的方向向量;以向量ca作为所述目标三维世界坐标系第二坐标轴的正向,根据c、a的三维坐标确定所述第二坐标轴的方向向量;以向量ca与向量ab的叉乘作为所述目标三维世界坐标系第三坐标轴的正向,确定所述第三坐标轴的方向向量。
106.本实施例公开的一种对象定位装置,在获取第一相机与第二相机对目标对象进行拍摄得到的第一对象图像与第二对象图像的对象检测点坐标,并确定对象检测点在初始三维世界坐标系中的三维坐标之后,由于初始三维世界坐标系以第一相机与第二相机中的一个相机的光心为原点,不能直观的确定对象检测点与目标点的相对位置,本实施例通过将对象检测点在初始三维世界坐标系中的三维坐标转换为在以目标点为原点的目标三维世界坐标系中的三维坐标,实现快速、准确的定位对象检测点与目标点的相对位置,在不需要依赖额外加入的光路设计或增加距离传感器的基础上,实现对象检测点的准确定位。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1