一种基于直方图控制点的图像配准目标检测方法与流程

本发明涉及图像配准领域，尤其是涉及了一种基于直方图控制点的图像配准目标检测方法。

背景技术：

目标检测可用于检测图像中的人体以及动物的各个器官、部位，以及食物，家居用品等物品的颜色、种类，它是图像增强、图像恢复、特征提取、特征匹配、图像编码压缩和形状分析等的基础，在计算机视觉、医学图像处理，如肿瘤检测、病变定位、血管造影，还有地质勘探、航空侦察，场景理解、机器人的控制、导航以及材料力学等领域都具有广泛的应用。根据具体应用的不同，有的侧重于通过变换结果融合两幅图像，有的侧重于研究变换本身以获得对象的一些力学属性。图像配准技术经历了从静态到动态，从形态到功能，从平面到立体的飞速发展。迭代最近点(ICP)算法，基于点到模型的方法和点到点技术等，虽然证明了有良好的配准结果，但是这些方法的性能在严重闭塞和杂波以及类似的视觉干扰的情况下效果明显降低。

本发明提出了一种基于直方图控制点的图像配准目标检测方法，首先将直方图控制点(HoCP)特征的计算过程描述为缩放变量部分表示，用隐式B样条(IBS)表示点云，然后将这些尺度变化特征的辨别信息编码到迭代霍夫森林(IHF)检测算法中，最后，利用学习到的形状信息以粗略到精细的方式细化6D对象姿态估计，通过初始配准大致对准测试对象，通过迭代姿态细化进一步改进。本发明运用了迭代霍夫森林检测算法的控制点直方图的新型架构，能够估计给定候选2D边界框的遮挡和混乱对象的6D姿态，确保了对象姿态的细化，提高在严重闭塞和杂波以及类似的视觉干扰的情况下的配准效果。

技术实现要素：

针对用户在严重闭塞和杂波以及类似的视觉干扰的情况下效果明显降低等问题，本发明的目的在于提供一种基于直方图控制点的图像配准目标检测方法，首先将直方图控制点(HoCP)特征的计算过程描述为缩放变量部分表示，用隐式B样条(IBS)表示点云，然后将这些尺度变化特征的辨别信息编码到迭代霍夫森林(IHF)检测算法中，最后，利用学习到的形状信息以粗略到精细的方式细化6D对象姿态估计，通过初始配准大致对准测试对象，通过迭代姿态细化进一步改进。

为解决上述问题，本发明提供一种基于直方图控制点的图像配准目标检测方法，其主要内容包括：

(一)缩放变量部分表示：直方图控制点(HoCP)；

(二)HoCP和迭代霍夫森林(IHF)检测算法的组合；

(三)6D对象姿态估计。

其中，所述的缩放变量部分表示：直方图控制点(HoCP)，给定一个正的深度图像，最初将其归一化为一个单位立方体，不同尺度的新点云被采样如下：

其中，

其中，X＝[X,Y,Z]是原始前景点云的坐标向量，是X的平均值，X_N＝[X_N,Y_N,Z_N]是归一化的前景像素，m是尺度的数量，α是比例因子，h是比例；常数s_i取实数以生成不同尺度的点云，从对应于初始归一化的s₀＝1开始。

进一步地，所述的用隐式B样条(IBS)表示点云，一旦生成一组尺度空间图像，首先用IBS的控制点全局地表示这些点云；IBS通过B样条张量积的组合来定义：

其中，{n_i,j,k}是定义大小为N×N×N的控制点阵的系数，B_i(x),B_j(y),B_k(z)是样条基函数；该定义可以重新表示为以下内积：

f(x)＝n^Te(x)＝e(x)^Tn (4)

其中，系数向量n包括控制值{n_i,j,k}，并且基向量e(x)取决于给定数据点，因为它对样条基函数乘积{B_i(x)B_j(y)B_k(z)}进行排序；公式(4)中的基向量为整个点云计算，系数向量n基于3L算法计算；通过以下混合函数构建样条基函数B_i(x),B_j(y),B_k(z)：

并重新定义公式(3)，以便确定被归一化为单位立方体[0 1]³的点云的控制点矢量n：

其中，

Δ＝1/(N-3)

因此，单位立方体被分成N×N×N个体素网格，其中N是IBS分辨率；n中的每个控制点用索引权重对进行定义：索引号表示相关控制点所在的网格的顶点。

进一步地，所述的隐式B样条(IBS)，IBS将全局表示的规模空间深度图划分为多个部分；在图像像素中表示部分大小g，其也描绘了提取部分的大小与全局点云的边界框之间的比率；提取和表示具有相同大小的部分，即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积，现在扩展为提取大小不同的部分；

以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历，并且在非零像素周围提取部分；在该3D边界框中的数据点的总数对于不同尺度的点云而变化，因此，提取的部分的尺寸不同；

每个部分具有其自己的隐含体积表示，由到部件中心的最接近的控制点形成，沿着位于3D边界框内的深度方向；这些部分描述以级联方式表征局部性，在点周围生长具有不同特性的区域；将此信息编码为球面坐标中的直方图，每个零件中心与球体的中心重合，该部分的控制点由半径t_r的对数，倾斜度t_θ的余弦描述和方位角t_φ；然后，将球体划分为二进制数和二进制数v_r,v_θ,v_φ之间的关系，和直方图坐标t_r,t_θ,t_φ，给出如下：

其中，r_min和r_max是具有最小和最大体积的嵌套球的半径，x,y,z是具有半径r的每个描述符的笛卡尔坐标；r_max等于贴片中心和相关贴片的最远描述符之间的距离；每个区间中的控制点的数目被计数并存储d＝v_r*v_θ*v_φ维特征矢量f中。

其中，所述的HoCP和迭代霍夫森林(IHF)检测算法的组合，IHF是随机二进制决策树的组合；它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练；从每个训练点云生成一组尺度空间图像，并采样一组部分{P_i}，注释如下：

其中，是以像素为单位的部分中心，Δx_i＝(Δx_i,Δy_i,Δz_i)是零件和物体的中心之间的3D偏移量，是从其提取部分P_i的点云的旋转参数，D_i是部分的深度图。

进一步地，所述的迭代霍夫森林(IHF)检测算法，每个树通过使用注释训练部分的子集来构造；从中随机选择一个模板补丁T，并将其分配给根节点；测量T和中的每个补丁S_i之间的相似性如下：

(1)深度检查：检查表示部分S_i和T的描述符和Tⁿ的深度值，并去除中的空间不一致的深度值，生成Ω，包括块S_i的空间一致的描述符；

(2)相似性度量：使用Ω，生成特征向量f_Ω，并测量此向量和f_T之间的范数：

(3)相似性分数比较：根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点；

通过使用一组随机分配的分片{T_i}和阈值{τ_i}来在每个节点处产生一组候选分裂函数；选择最佳优化偏移和姿态回归熵的函数作为分割函数；通过递归地重复该过程来生长每个树，直到满足森林终止标准；当满足终止条件时，形成叶节点，并且它们存储对于对象中心Δx＝(Δx,Δy,Δz)和对象旋转θ＝(θ_r,θ_p,θ_y)；

根据零件提取方法，中的所有零件，如公式(8)，可以具有相同的大小或可变的大小；从现在开始，把可变尺寸部件上训练的森林称为IHF可变尺寸，通过使用固定尺寸部分作为IHF固定尺寸学习的森林。

其中，所述的6D对象姿态估计，将尺度变量HoCP特征的判别信息编码到森林中，接下来演示对象的6D姿态估计，认为学习的森林是IHF变量大小；所提出的架构在两个步骤中配准对象：初始配准和迭代姿态细化。

进一步地，所述的初始配准，大致对准测试对象，并且该对准通过迭代姿态细化进一步改进；

考虑由粗边界框I_b检测到的对象，在迭代时刻k，定义以下量：

Δx^0:k＝{Δx⁰,Δx¹,…,Δx^k}＝{Δx⁰,Δx^1:k}：对象位置预测的历史；

θ^0:k＝{θ⁰,θ¹,…,θ^k}＝{θ⁰,θ^1:k}：对象旋转估计的历史；

V^0:k＝{v⁰,v¹,…,v^k}：应用于测试图像的输入(噪声去除)的历史；

特征向量的集合的历史，其中

h^k：在迭代k处的单位立方体中的对象尺度(前景像素的尺度)，如公式(2)；

g^k：在迭代k处提取的部分的大小；

将初始配准制定如下：

找到最大化初始对象位置Δx⁰和初始对象旋转θ⁰的关节后密度的最佳参数；首先将测试图像标准化为单位立方体；与训练不同，这是对应s₀＝1的“单”尺度归一化，如公式(1)；从全局表示的点云提取的补丁用HoCP特征描述，并且沿所有树传递。

进一步地，所述的初始化配准阶段，在这个阶段，从测试图像中提取最粗糙的补片，即在图像像素中占据最大面积的补片；通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响，并近似公式(1)中给出的初始配准；一旦获得初始假设x⁰＝(Δx⁰,θ⁰)，则根据以下标准从I_b中去除属于背景/前景杂波{P_i}的像素集合：

以及

其中，和是在迭代k处假设H的深度图，并且I_b，ψ₁和ψ₂是缩放系数。

进一步地，所述的迭代姿态细化，测试图像和初始假设被叠加；利用这个假设，并且如公式(11)中那样，由v¹更新测试图像，并被分配作为第一次迭代的输入；

它被归一化表示，单位立方体中的对象“缩放”(h¹)相对增加(与初始配准相比)，并且计算更多的辨别性控制点描述符n；遍历单位立方体中的3D边界框，而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段；这种姿态细化处理被迭代地执行，直到达到最大迭代：

以像素为单位提取具有预定义尺寸的部分，并且在迭代时刻k，g^k将保持与g⁰相同。

附图说明

图1是本发明一种基于直方图控制点的图像配准目标检测方法的系统流程图。

图2是本发明一种基于直方图控制点的图像配准目标检测方法的迭代霍夫森林检测算法和控制点直方图。

图3是本发明一种基于直方图控制点的图像配准目标检测方法的6D对象姿态估计。

图4是本发明一种基于直方图控制点的图像配准目标检测方法的初始配准和迭代姿态细化。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于直方图控制点的图像配准目标检测方法的系统流程图。主要包括缩放变量部分表示：直方图控制点(HoCP)，HoCP和迭代霍夫森林(IHF)检测算法的组合以及6D对象姿态估计。

缩放变量部分表示：直方图控制点(HoCP)，给定一个正的深度图像，最初将其归一化为一个单位立方体，不同尺度的新点云被采样如下：

其中，

其中，X＝[X,Y,Z]是原始前景点云的坐标向量，是X的平均值，X_N＝[X_N,Y_N,Z_N]是归一化的前景像素，m是尺度的数量，α是比例因子，h是比例；常数s_i取实数以生成不同尺度的点云，从对应于初始归一化的s₀＝1开始。

隐式B样条(IBS)表示点云，一旦生成一组尺度空间图像，首先用IBS的控制点全局地表示这些点云；IBS通过B样条张量积的组合来定义：

其中，{n_i,j,k}是定义大小为N×N×N的控制点阵的系数，B_i(x),B_j(y),B_k(z)是样条基函数；该定义可以重新表示为以下内积：

f(x)＝n^Te(x)＝e(x)^Tn (4)

其中，系数向量n包括控制值{n_i,j,k}，并且基向量e(x)取决于给定数据点，因为它对样条基函数乘积{B_i(x)B_j(y)B_k(z)}进行排序；公式(4)中的基向量为整个点云计算，系数向量n基于3L算法计算；通过以下混合函数构建样条基函数B_i(x),B_j(y),B_k(z)：

并重新定义公式(3)，以便确定被归一化为单位立方体[0 1]³的点云的控制点矢量n：

其中，

Δ＝1/(N-3)

因此，单位立方体被分成N×N×N个体素网格，其中N是IBS分辨率；n中的每个控制点用索引权重对进行定义：索引号表示相关控制点所在的网格的顶点。

IBS将全局表示的规模空间深度图划分为多个部分；在图像像素中表示部分大小g，其也描绘了提取部分的大小与全局点云的边界框之间的比率；提取和表示具有相同大小的部分，即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积，现在扩展为提取大小不同的部分；

以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历，并且在非零像素周围提取部分；在该3D边界框中的数据点的总数对于不同尺度的点云而变化，因此，提取的部分的尺寸不同；

每个部分具有其自己的隐含体积表示，由到部件中心的最接近的控制点形成，沿着位于3D边界框内的深度方向；这些部分描述以级联方式表征局部性，在点周围生长具有不同特性的区域；将此信息编码为球面坐标中的直方图，每个零件中心与球体的中心重合，该部分的控制点由半径t_r的对数，倾斜度t_θ的余弦描述和方位角t_φ；然后，将球体划分为二进制数和二进制数v_r,v_θ,v_φ之间的关系，和直方图坐标t_r,t_θ,t_φ，给出如下：

其中，r_min和r_max是具有最小和最大体积的嵌套球的半径，x,y,z是具有半径r的每个描述符的笛卡尔坐标；r_max等于贴片中心和相关贴片的最远描述符之间的距离；每个区间中的控制点的数目被计数并存储d＝v_r*v_θ*v_φ维特征矢量f中。

图2是本发明一种基于直方图控制点的图像配准目标检测方法的迭代霍夫森林检测算法和控制点直方图。迭代霍夫森林检测算法是随机二进制决策树的组合；它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练；从每个训练点云生成一组尺度空间图像，并采样一组部分{P_i}，注释如下：

其中，是以像素为单位的部分中心，Δx_i＝(Δx_i,Δy_i,Δz_i)是零件和物体的中心之间的3D偏移量，是从其提取部分P_i的点云的旋转参数，D_i是部分的深度图。

迭代霍夫森林(IHF)检测算法中，每个树通过使用注释训练部分的子集来构造；从中随机选择一个模板补丁T，并将其分配给根节点；测量T和中的每个补丁S_i之间的相似性如下：

(1)深度检查：检查表示部分S_i和T的描述符和Tⁿ的深度值，并去除中的空间不一致的深度值，生成Ω，包括块S_i的空间一致的描述符；

(2)相似性度量：使用Ω，生成特征向量f_Ω，并测量此向量和f_T之间的范数：

(3)相似性分数比较：根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点；

通过使用一组随机分配的分片{T_i}和阈值{τ_i}来在每个节点处产生一组候选分裂函数；选择最佳优化偏移和姿态回归熵的函数作为分割函数；通过递归地重复该过程来生长每个树，直到满足森林终止标准；当满足终止条件时，形成叶节点，并且它们存储对于对象中心Δx＝(Δx,Δy,Δz)和对象旋转θ＝(θ_r,θ_p,θ_y)；

根据零件提取方法，中的所有零件，如公式(8)，可以具有相同的大小或可变的大小；从现在开始，把可变尺寸部件上训练的森林称为IHF可变尺寸，通过使用固定尺寸部分作为IHF固定尺寸学习的森林。

图3是本发明一种基于直方图控制点的图像配准目标检测方法的6D对象姿态估计。将尺度变量HoCP特征的判别信息编码到森林中，接下来演示对象的6D姿态估计，认为学习的森林是IHF变量大小；所提出的架构在两个步骤中配准对象：初始配准和迭代姿态细化。

图4是本发明一种基于直方图控制点的图像配准目标检测方法的初始配准和迭代姿态细化。大致对准测试对象，并且该对准通过迭代姿态细化进一步改进；

考虑由粗边界框I_b检测到的对象，在迭代时刻k，定义以下量：

Δx^0:k＝{Δx⁰,Δx¹,…,Δx^k}＝{Δx⁰,Δx^1:k}：对象位置预测的历史；

θ^0:k＝{θ⁰,θ¹,…,θ^k}＝{θ⁰,θ^1:k}：对象旋转估计的历史；

V^0:k＝{v⁰,v¹,…,v^k}：应用于测试图像的输入(噪声去除)的历史；

特征向量的集合的历史，其中

h^k：在迭代k处的单位立方体中的对象尺度(前景像素的尺度)，如公式(2)；

g^k：在迭代k处提取的部分的大小；

将初始配准制定如下：

找到最大化初始对象位置Δx⁰和初始对象旋转θ⁰的关节后密度的最佳参数；首先将测试图像标准化为单位立方体；与训练不同，这是对应s₀＝1的“单”尺度归一化，如公式(1)；从全局表示的点云提取的补丁用HoCP特征描述，并且沿所有树传递。

在初始化配准阶段，从测试图像中提取最粗糙的补片，即在图像像素中占据最大面积的补片；通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响，并近似公式(1)中给出的初始配准；一旦获得初始假设x⁰＝(Δx⁰,θ⁰)，则根据以下标准从I_b中去除属于背景/前景杂波{P_i}的像素集合：

以及

其中，和是在迭代k处假设H的深度图，并且I_b，ψ₁和ψ₂是缩放系数。

迭代姿态细化，测试图像和初始假设被叠加；利用这个假设，并且如公式(11)中那样，由v¹更新测试图像，并被分配作为第一次迭代的输入；

它被归一化表示，单位立方体中的对象“缩放”(h¹)相对增加(与初始配准相比)，并且计算更多的辨别性控制点描述符n；遍历单位立方体中的3D边界框，而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段；这种姿态细化处理被迭代地执行，直到达到最大迭代：

以像素为单位提取具有预定义尺寸的部分，并且在迭代时刻k，g^k将保持与g⁰相同。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。