基于模板的单目视觉目标空间定位方法与流程

本发明属于空间定位技术领域，具体的说是一种基于模板的单目视觉目标空间定位方法。

技术背景

目标的准确定位对于目标的识别以及图像的理解与分析起着十分重要的作用，复杂背景中的目标定位在军事、工业监控、交通控制管理等领域有着重要的应用。对于目标定位方面的研究，JorgeLob等提出结合惯性信息与视觉的三维重建方法，利用惯性传感器与双目视觉结合来恢复地平面及与之垂直线段的三维参数；中科院沈阳自动化研究所的郝颖明等在目标上预设一些人工标志点，根据双目立体视觉来对环境的三维信息进行获取，实时计算出移动机器人相对标志物的位置关系；石玉洁对视频监控中双视角运动目标三维空间定位技术进行研究，基于SURF算法来提取特征点，并在户外的环境中引入GPS来建立统一坐标系实现目标定位。

单目视觉通过单目摄像机进行空间定位的一种定位技术。目前新的方法不断产生，随着多种学科的交叉引用，更促进单目视觉目标定位方法不断发展。现有目标定位方法主要利用视觉特征建立目标标定模型，通过目标投影定位确定目标空间位置。颜色、纹理、边缘、光流等视觉特征易于提取，但易受环境因素影响，特征稳定性不好，导致目标定位失效，定位准确度低。小波特征、局部特征、特征基等虽然能够增强定位的准确性，但特征提取算法计算复杂度高，不利于实时目标定位。定位速度快、精准度高、鲁棒性强的定位算法是目前单目视觉目标定位方法的研究重点。

技术实现要素：

为了解决现有目标定位方法通过目标投影定位确定目标空间位置时，其颜色、纹理、边缘、光流等视觉特征虽易于提取，但易受环境因素影响，特征稳定性不好，导致目标定位失效、定位准确度低的问题。

本发明技术方案如下：

一种基于标定模板的单目视觉目标标定方法：定义标定模板，检测标定模板图像空间二维位置，将标定模板图像空间二维坐标系映射到三维空间坐标系，根据标定模板在图像平面内的投影推导其在三维空间中相对摄像头的距离与方位以对单目视觉目标标定。

进一步的，所述定义标定模板，包括如下步骤：采用对角黑色正方形方块为模板基本形式，定义中心点与顶点，并定义中心点与顶点的完备性，对顶点与中心点编码。

进一步的，所述定义中心点与顶点的完备性的具体步骤是：

根据模板形式，定义中心点或顶点的四象限分区，四个分区分别记为I₁、I₂、I₃、I₄，对任意中心点或顶点在任意i方向上等间距选取的n个像素点，其均值为对应中心点或顶点在I₁分区的像素均值为：

同理，以此求出中心点或顶点四个分区的像素均值中心点或顶点完备性定义如下：

完备中心点或顶点：

半完备中心点或顶点：

不完备中心点或顶点：均不存在；

其中，TH₁表示图像中对角黑色方块或者对角白色区域像素的相似程度，TH₂表示图像中黑白区域像素的差异程度。

进一步的，所述对顶点与中心点编码的具体步骤是：

标定模板中心点O的4个分区上的像素均值分别记根据像素均值确定4个分区的编码，其中黑色用0编码，白色用1编码；

确定顶点各分区像素均值对任一顶点进行编码，其中黑色用0编码，白色用1编码；

根据中心点及顶点四个分区的像素均值确定其颜色进行编码。

进一步的，所述推导标定模板在三维空间中相对摄像头的距离与方位，包括如下步骤：

使用模板标定摄像机，确定初始标定参数；

使标定模板与待测目标绑定，进行图像采集；

搜索该采集图像角点，提取完备及半完备的中心点和顶点，计算采集图像中的其中一对中心点与顶点的欧氏像素距离；

确定单目视觉采集到的采集图像中心点；

根据所述采集图像的标定模板的中心点与顶点欧氏像素距离，及初始标定参数，计算采集图像中心点与摄像机中心的欧氏像素距离；

计算采集图像中心点与标定模板中心点的欧氏像素距离；

依上述采集图像中心点与摄像机中心的欧氏像素距离及

采集图像中心点与标定模板中心点的欧氏像素距离，

计算标定模板中心与摄像机中心的距离、方位角。

进一步的，所述使用标定模板标定摄像机，确定初始标定参数，包括如下步骤：

将标定模板中心点O点放置于摄像机镜头组中心轴线上，平行于镜头平面；

标定模板由近至远连续水平平移拍照取样，得到各距离上的标定图像，分别对每张标定图像检测所有角点，提取完备中心点、半完备中心点、完备顶点与半完备顶点，根据顶点编码匹配对应中心点与顶点，获取中心点及顶点坐标；

计算标定图像中B、O两点的欧氏像素距离d_BO，标定图像中E、O两点的欧氏像素距离d_EO：

其中，顶点O(x₀,y₀)、顶点B(x_B,y_B)、顶点E(x_E,y_E)；

d_l表示黑块顶点与中心点间欧氏像素距离：

d_l＝E(d_BO，d_EO) (3)

确定初始标定参数β_i：

其中，D_KO为标定图像中心点O与摄像机中心点K的欧氏空间距离。

进一步的，所述根据所述采集图像的标定模板的中心点与顶点欧氏像素距离，及初始标定参数，计算采集图像中心点与摄像机中心的欧氏像素距离的具体步骤是：

采集图像的中心点记为P(x,y)，根据所述采集图像的标定模板的中心点与顶点欧氏像素距离d_l，及初始标定参数β_i，计算采集图像中心点P与摄像机中心点K的欧氏空间距离D_KP：

DKP＝β_i×d_l (5)。

进一步的，所述计算采集图像中心点与标定模板中心点的欧氏像素距离的具体步骤是：标定模板中心点O(x₀,y₀)与采集图像中心点P(x,y)的欧氏像素距离为d_OP：

其中：(x₀,y₀)为采集图像中模板中心点O点坐标。

进一步的，所述计算标定模板中心与摄像机中心的距离、方位角的具体步骤是：标定模板中心点与摄像机中心的欧氏空间距离D与方位角α：

有益效果：

现有目标定位方法需要额外辅助传感器或测距设备，需要进行坐标系变换或重新建模，计算复杂度高，无法实时为后续处理提供精确的目标参数信息，致使目标跟踪、目标识别、语音定位等处理计算失效，同时，测试成本过高，多传感器信息融合也会降低准确度，对优化算法要求更高，不利于实时性要求高、以及低功耗的小型设备采用。

本发明针对现有目标空间定位技术中，摄像机标定方法复杂，无法实现实时、准确定位目标的问题，提供一种基于标定模板的单目视觉目标空间定位方法(后简称中的模板也为标定模板)，根据模板在图像平面内的投影推导其在三维空间中相对摄像头的距离与方位，当模板紧邻放置于运动目标前面时，可等效地对被测定运动目标进行定位，以此辅助后续的视频图像运动目标跟踪、运动目标定位、麦克风声源阵列定位以及行人目标定位等研究。该方法仅利用单目摄像头/摄像机为采集前端即可实现对运动目标的初始化定位工作，省去采用激光测距仪、红外测距仪等辅助定位手段所带来的坐标系变换步骤，降低测试测量设备成本，提高实时定位测量效率。

本发明所述方法以模板替代运动目标进行辅助定向、测距，利用模板标定摄像机推导计算初始参数，检测模板中心在图像中的位置，即模板图像空间二维位置，根据初始标定参数将模板图像空间二维坐标系映射到三维空间坐标系，以此获取目标空间位置(包括方向角和距离)。目标空间位置的确定能够克服在重叠和部分遮挡的情况下，运动目标在图像平面不能被准确识别的缺点，特别是在行人检测、声源阵列定向中实际应用时，作为有益的辅助初始定位参数获取手段，更突显其工程实用价值。

附图说明

图1 I型和II型标定模板示意图；

图2 任意方向等距取点示意图；

图3 中心点完备性示意图(n＝1)；

图4 中心点O编码示意图；

图5 顶点E编码示意图；

图6 摄像头标定方法示意图；

图7 模板定位示意图；

图8 摄像机标定过程；

图9 目标距离3m检测结果示意图；

图10 实例2定位测试示意图；

图11 实例3定位测试示意图；

图12 实例4定位测试示意图；

图13 实例5定位测试示意图；

图14 单目视觉目标标定过程说明图。

具体实施方式

下面结合附图与具体实施方式对本发明进行进一步详细描述：

一种基于标定模板的单目视觉目标标定方法，

第一步，根据要求定义标定模板，定义目标步骤如下：

(1)定义标定模板

如图1所示，标定模板分为图1中I型、II型两种形式，采用对角黑色正方形方块(two-square feature)为模板基本形式，定义为摄像机标定模板样式。该I型或II型模板独立使用，黑白打印于A4纸张(国际标准尺寸为210mm×297mm)，要求水平且垂直居中，其中，设任意一个黑色正方形的边长为l(单位：毫米)。

(2)定义中心点与顶点的完备性

图1中，I型和II型标定模板的O点定义为标定模板的中心点，后简称中心点；A、B、C、D、E和F点定义为标定模板的顶点，后简称顶点。

根据模板形式，定义中心点的四象限分区，如图2所示，四个分区分别记为I₁、I₂、I₃、I₄，对任意中心点在任意i方向上等间距选取的n个像素点，其均值为对应中心点在I₁分区的像素均值为：

同理求出中心点四个分区的像素均值中心点完备性定义如下：

完备中心点：

半完备中心点：

不完备中心点：均不存在；

其中，TH₁表示图像中对角黑色方块或者对角白色区域像素的相似程度，TH₂表示图像中黑白区域像素的差异程度。顶点完备性定义与中心点同理。

在本实施例中，n是取点个数其中为向下取整操作。图2中，黑色与白色表示取点位置，作为一种实施例，分别以45°、135°、225°和315°方向取点，点数n＝4。4个分区的像素点均值记为，使用上述方法，以确定各点的完备性。

(3)顶点与中心点编码

本实施例中，使用I型模板为例说明。标定模板中心点O的4个分区上的像素均值分别记根据像素均值确定4个分区的编码，其中黑色用0编码，白色用1编码；

确定顶点各分区像素均值对任一顶点进行编码，其中黑色用0编码，白色用1编码；

根据中心点及顶点四个分区的像素均值确定其颜色进行编码。中心点及顶点编码示意如图4和图5所示，编码字典如表1所示。

第二步，利用模板标定摄像头，确定初始标定参数β_i

将标定模板中心点O点放置于摄像机镜头组中心轴线上，平行于镜头平面(或焦平面)，位置关系如图6所示。

标定模板由近至远连续水平平移拍照取样，得到各距离上的标定图像，分别对每张标定图像使用Harris角点检测算法检测所有角点，提取完备中心点、半完备中心点、完备顶点与半完备顶点，根据顶点编码匹配对应中心点与顶点，获取中心点及顶点坐标。以顶点O(x₀,y₀)与顶点B(x_B,y_B)和顶点E(x_E,y_E)为例，可知：

其中，d_BO为图像中B、O两点的欧氏像素距离，d_EO为图像中E、O两点的欧氏像素距离，d_l表示黑块顶点与中心点间欧氏像素距离，则有：

d_l＝E(d_BO，d_EO)

其中，D_KO为图像中心点(此时，即为模板中心点O)与摄像机镜头中心点K的欧氏空间距离，由此确定初始标定参数β_i：

第三步：将标定模板与待测目标固定在一起，利用标定模板位置代替待测目标位置，进行图像采集与视频拍摄，如图7所示。具体的，将模板固定在运动目标中心处，通过摄像头采集视频图像，并将视频帧转换为灰度图像序列。

第四步：利用Harris角点检测算法，对灰度图像帧进行角点搜索、计算。

第五步：检测各角点的完备性，提取完备及半完备的中心点和顶点。

第六步：根据中心点及顶点编码表进行查表匹配，确定中心点O与顶点B、C、E、F的坐标，取其中一对顶点与中心点进行欧氏像素距离计算，记为d_l。

第七步：确定图像中心点P(x,y)，计算模板中心点O与图像中心点P的欧氏像素距离d_OP，根据初始参数β_i与d_l确定图像中心点与摄像机中心的欧氏空间距离D_KP。

第八步：根据d_OP和D_KP，计算模板中心与摄像机的距离D与方位角α。

由此，步骤四至步骤八的具体方法还可使用如下表述：

利用角点检测法，检测输入图像(采集图像)或视频帧中全部角点，根据角点的完备性，检测中心点与顶点。根据编码表，匹配中心点与各顶点，获取中心点及各顶点坐标，计算图像中模板中心点与顶点间的欧氏像素距离d_l。输入图像中心点记为P(x,y)，模板中心点O与图像中心点P的欧氏像素距离为d_OP，根据初始标定参数β_i与中心点与顶点间的欧氏像素距离d_l，确定图像中心点P与摄像机中心的欧氏空间距离为D_KP。

D_KP＝β_i*d_l

定位模板中心，即对目标进行定向、测距，根据D_KP与d_OP确定模板中心点与摄像机的欧氏空间距离D与方位角α

本实施例解决现有目标定位技术中初始化定位算法复杂，经常需要激光测距仪、红外测距仪等辅助定位手段，测试成本高，实时性差的问题。提供一种基于模板的单目视觉目标定位方法。通过单目摄像头/摄像机，利用模板代替运动目标进行辅助定向、测距，算法复杂度低，降低测试设备成本，大大增强了目标定位的实时性和准确性，为后续目标跟踪、目标检测、声源阵列初始定位等实际应用提供必要的初始化参数和实时校准保障。

通过采用上述技术方案，本实施例提供的一种基于模板的单目视觉目标定位方法，与现有技术相比具有这样的有益效果：

现有目标定位方法需要额外辅助传感器或测距设备，需要进行坐标系变换或重新建模，计算复杂度高，无法实时为后续处理提供精确的目标参数信息，致使目标跟踪、目标识别、语音定位等处理计算失效，同时，测试成本过高，多传感器信息融合也会降低准确度，对优化算法要求更高，不利于实时性要求高、以及低功耗的小型设备采用。

本实施例采用模板代替运动目标，对模板进行检测、定向以及测距，利用模板标定摄像机，计算初始标定参数，利用角点检测和角点完备性检测确定模板中心，根据初始参数，将图像二维空间模板位置映射到三维空间位置，获取运动目标距摄像头的距离及方向角。该方法能够有效应用于室内、室外场景，适用于单个或多个运动目标定位，解决运动目标易受光照、遮挡等环境因素影响导致特征提取困难、检测实现的问题，计算复杂度低，能够快速有效的定位运动目标，运动目标空间位置的确定，能够有效的应用于目标跟踪、行人检测、声源阵列定向等后续处理中，具有一定的工程使用价值。

实施例1：摄像机标定，初始标定参数确定

本实施例为摄像机标定过程，确定初始标定参数，并对本发明所提方法测试。在室外环境中，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，本次采用十字网格摄像机，自动获取摄像头拍摄，在镜头的视野内，运动目标手持模板，自0.5米-5米之间连续平移，摄像机从目标距离0.5米时开始拍照，目标距离每增加0.5米摄像机拍摄一次，拍摄过程中，保证模板方向尽量正对摄像头，保证模板中心点与摄像机拍摄图像中心保持重合。

实例参数说明：图像格式PNG，图像尺寸1920×1080，标定图像张数10张。

本实例标定过程如图8所示，以目标距离摄像机3m时的检测结果为例，如图9所示，初始标定参数计算结果如表2所示，利用初始参数β_i计算此时测量距离与方向角，与实际距离与实际角度进行对比，得到距离误差和角度误差，由于标定过程中模板中心始终与摄像头中心重合，实际角度为0°。标定误差如表3所示，可知，距离误差范围在15mm内，角度误差范围在1.2°内，均达到误差允许范围指标内。

实施例2：基于模板的单目视觉目标定位方法性能测试

本实施例基于实施例1，根据初始标定参数，基于模板利用单目摄像机对目标进行定位。在室内环境中，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，本次采用十字网格摄像机，自动获取摄像头拍摄，在镜头的视野内，运动目标手持模板，根据设定距离与方向移动，利用地面标定尺确定目标实际距离与实际角度，利用本文方法对拍摄图像进行检测，测量值与实际值技术距离误差与角度误差。

实例参数说明：图像格式PNG，图像尺寸1920×1080，标定图像张数8张。本实例定位过程如图10所示，利用初始参数β_i计算此时测量距离与方向角，与实际距离与实际角度进行对比，得到距离误差和角度误差，定位结果及方法性能测试结果如表4所示，可知，距离误差范围在15mm内，角度误差范围在1.2°内，均达到误差允许范围指标内。

实施例3：走廊环境，单个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，走廊内单个目标运动定位。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野内，一个人物目标手持模板，模板方向尽量正对摄像机，目标按照0.6m/s的速度，在视野范围内由远及近靠近摄像机。本实例基于实例1的摄像头标定过程，对视频中运动目标进行定位。

实施例参数说明：视频格式MP4，视频帧数160帧，视频图像尺寸1920×1080。

本实例定位过程如图11所示，以第10帧、30帧、50帧、70帧、90帧、110帧、130帧、150帧为例，说明运动目标运动过程及检测结果，目标定位结果如表5所示。

实施例4：室外环境，单个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，室外广场内单个目标运动定位。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野内，一个人物目标手持模板，模板方向尽量正对摄像机，目标按照0.6m/s的速度，在视野范围内由远及近远离摄像机。本实例基于实例1的摄像头标定过程，对视频中运动目标进行定位。

实施例参数说明：视频格式MP4，视频帧数160帧，视频图像尺寸1920×1080。

本实例定位过程如图12所示，以第10帧、30帧、50帧、70帧、90帧、110帧、130帧、150帧为例，说明运动目标运动过程及检测结果。目标定位结果如表6所示。

实施例5：室外环境，两个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，室外广场内两个运动目标定位。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野内，目标1号手持I型模板，目标2号手持II型模板，模板方向尽量正对摄像机，分别按照0.6m/s的速度，在视野范围内由远及近走近摄像机。本实例基于实例1的摄像头标定过程，对视频中运动目标进行定位。

实施例参数说明：视频格式MP4，视频帧数160帧，视频图像尺寸1920×1080。

本实例定位过程如图12所示，以第10帧、30帧、50帧、70帧、90帧、110帧、130帧、150帧为例，说明运动目标运动过程及检测结果，目标定位结果如表5所示。

附表：

表1 I型模板中心点-顶点编码表；

表2 初始标定参数表；

表3 初始标定定位测试表；

表4 实例2定位结果；

表5 实例3定位结果；

表6 实例4定位结果；

表7 实例5定位结果。

表1 I型模板中心点-顶点编码表

表2 初始标定参数表

表3 初始标定定位表

表4 实例2定位结果

表5 实例3定位结果

表6 实例4定位结果

表7 实例5定位结果

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。