一种基于直方图控制点的图像配准目标检测方法与流程

技术特征：

1.一种基于直方图控制点的图像配准目标检测方法，其特征在于，主要包括缩放变量部分表示：直方图控制点(HoCP)(一)；HoCP和迭代霍夫森林(IHF)检测算法的组合(二)；6D对象姿态估计(三)。

2.基于权利要求书1所述的缩放变量部分表示：直方图控制点(HoCP)(一)，其特征在于，给定一个正的深度图像，最初将其归一化为一个单位立方体，不同尺度的新点云被采样如下：

${\left\{X_N\right\}}_i=\frac{X_{n\×3}-{\stackrel{\‾}{X}}_{N\×3}}{s_i*\mathrm{\α}}+0.5,i=0,1,2,...,m---\left(1\right)$

其中，

$\mathrm{\α}=max\left\{\begin{array}{c}max\left(X\right)-min\left(X\right)\\ max\left(Y\right)-min\left(Y\right)\\ max\left(Z\right)-\min \left(Z\right)\end{array}\right\},h_i=max\left(Z_{N_i}\right)-min\left(Z_{N_i}\right)---\left(2\right)$

其中，X＝[X,Y,Z]是原始前景点云的坐标向量，是X的平均值，X_N＝[X_N,Y_N,Z_N]是归一化的前景像素，m是尺度的数量，α是比例因子，h是比例；常数s_i取实数以生成不同尺度的点云，从对应于初始归一化的s₀＝1开始。

3.基于权利要求书2所述的用隐式B样条(IBS)表示点云，其特征在于，一旦生成一组尺度空间图像，首先用IBS的控制点全局地表示这些点云；IBS通过B样条张量积的组合来定义：

$f\left(x\right)=\underset{i,j,k,=1}{\overset{N}{\Σ}}{n}_{i,j,k}{B}_i\left(x\right)B_j\left(y\right)B_k\left(z\right)---\left(3\right)$

其中，{n_i,j,k}是定义大小为N×N×N的控制点阵的系数，B_i(x),B_j(y),B_k(z)是样条基函数；该定义可以重新表示为以下内积：

f(x)＝n^Te(x)＝e(x)^Tn (4)

其中，系数向量n包括控制值{n_i,j,k}，并且基向量e(x)取决于给定数据点，因为它对样条基函数乘积{B_i(x)B_j(y)B_k(z)}进行排序；公式(4)中的基向量为整个点云计算，系数向量n基于3L算法计算；通过以下混合函数构建样条基函数B_i(x),B_j(y),B_k(z)：

$b_0\left(u\right)=\frac{1-u^3}{6},b_1\left(u\right)=\frac{3u^3-6u^2+4}{6},$

$b_2\left(u\right)=\frac{-3u^3+3u^2+3u+1}{6},b_3\left(u\right)=\frac{u^3}{6}---\left(5\right)$

并重新定义公式(3)，以便确定被归一化为单位立方体[0 1]³的点云的控制点矢量n：

$f\left(x\right)=\underset{l,m,p=1}{\overset{3}{\Σ}}{n}_{i+l,j+m,k+p}{b}_l\left(u\right)b_m\left(v\right)b_n\left(w\right)---\left(6\right)$

其中，

Δ＝1/(N-3)

因此，单位立方体被分成N×N×N个体素网格，其中N是IBS分辨率；n中的每个控制点用索引权重对进行定义：索引号表示相关控制点所在的网格的顶点。

4.基于权利要求书3所述的隐式B样条(IBS)，其特征在于，IBS将全局表示的规模空间深度图划分为多个部分；在图像像素中表示部分大小g，其也描绘了提取部分的大小与全局点云的边界框之间的比率；提取和表示具有相同大小的部分，即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积，现在扩展为提取大小不同的部分；

以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历，并且在非零像素周围提取部分；在该3D边界框中的数据点的总数对于不同尺度的点云而变化，因此，提取的部分的尺寸不同；

每个部分具有其自己的隐含体积表示，由到部件中心的最接近的控制点形成，沿着位于3D边界框内的深度方向；这些部分描述以级联方式表征局部性，在点周围生长具有不同特性的区域；将此信息编码为球面坐标中的直方图，每个零件中心与球体的中心重合，该部分的控制点由半径t_r的对数，倾斜度t_θ的余弦描述和方位角t_φ；然后，将球体划分为二进制数和二进制数v_r,v_θ,v_φ之间的关系，和直方图坐标t_r,t_θ,t_φ，给出如下：

$\begin{array}{c}{t}_r=\frac{v_r}{\log \left(\frac{r_{\max }}{r_{\min }}\right)}\log \left(\frac{r}{r_{\min }}\right)\\ t_{\mathrm{\θ}}=v_{\mathrm{\θ}}\frac{z}{r}\\ t_{\mathrm{\φ}}=\frac{v_{\mathrm{\φ}}}{2\mathrm{\π}}{\tan }^{-1}\left(\frac{y}{x}\right)\end{array}---\left(7\right)$

其中，r_min和r_max是具有最小和最大体积的嵌套球的半径，x,y,z是具有半径r的每个描述符的笛卡尔坐标；r_max等于贴片中心和相关贴片的最远描述符之间的距离；每个区间中的控制点的数目被计数并存储d＝v_r*v_θ*v_φ维特征矢量f中。

5.基于权利要求书1所述的HoCP和迭代霍夫森林(IHF)检测算法的组合(二)，其特征在于，IHF是随机二进制决策树的组合；它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练；从每个训练点云生成一组尺度空间图像，并采样一组部分{P_i}，注释如下：

其中，是以像素为单位的部分中心，Δx_i＝(Δx_i,Δy_i,Δz_i)是零件和物体的中心之间的3D偏移量，是从其提取部分P_i的点云的旋转参数，D_i是部分的深度图。

6.基于权利要求书5所述的迭代霍夫森林(IHF)检测算法，其特征在于，每个树通过使用注释训练部分的子集来构造；从中随机选择一个模板补丁T，并将其分配给根节点；测量T和中的每个补丁S_i之间的相似性如下：

(1)深度检查：检查表示部分S_i和T的描述符和Tⁿ的深度值，并去除中的空间不一致的深度值，生成Ω，包括块S_i的空间一致的描述符；

(2)相似性度量：使用Ω，生成特征向量f_Ω，并测量此向量和f_T之间的范数：

(3)相似性分数比较：根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点；

通过使用一组随机分配的分片{T_i}和阈值{τ_i}来在每个节点处产生一组候选分裂函数；选择最佳优化偏移和姿态回归熵的函数作为分割函数；通过递归地重复该过程来生长每个树，直到满足森林终止标准；当满足终止条件时，形成叶节点，并且它们存储对于对象中心Δx＝(Δx,Δy,Δz)和对象旋转θ＝(θ_r,θ_p,θ_y)；

根据零件提取方法，中的所有零件，如公式(8)，可以具有相同的大小或可变的大小；从现在开始，把可变尺寸部件上训练的森林称为IHF可变尺寸，通过使用固定尺寸部分作为IHF固定尺寸学习的森林。

7.基于权利要求书1所述的6D对象姿态估计(三)，其特征在于，将尺度变量HoCP特征的判别信息编码到森林中，接下来演示对象的6D姿态估计，认为学习的森林是IHF变量大小；所提出的架构在两个步骤中配准对象：初始配准和迭代姿态细化。

8.基于权利要求书7所述的初始配准，其特征在于，大致对准测试对象，并且该对准通过迭代姿态细化进一步改进；

考虑由粗边界框I_b检测到的对象，在迭代时刻k，定义以下量：

Δx^0:k＝{Δx⁰,Δx¹,…,Δx^k}＝{Δx⁰,Δx^1:k}：对象位置预测的历史；

θ^0:k＝{θ⁰,θ¹,…,θ^k}＝{θ⁰,θ^1:k}：对象旋转估计的历史；

V^0:k＝{v⁰,v¹,…,v^k}：应用于测试图像的输入(噪声去除)的历史；

特征向量的集合的历史，其中

h^k：在迭代k处的单位立方体中的对象尺度(前景像素的尺度)，如公式(2)；

g^k：在迭代k处提取的部分的大小；

将初始配准制定如下：

找到最大化初始对象位置Δx⁰和初始对象旋转θ⁰的关节后密度的最佳参数；首先将测试图像标准化为单位立方体；与训练不同，这是对应s₀＝1的“单”尺度归一化，如公式(1)；从全局表示的点云提取的补丁用HoCP特征描述，并且沿所有树传递。

9.基于权利要求书8所述的初始化配准阶段，其特征在于，在这个阶段，从测试图像中提取最粗糙的补片，即在图像像素中占据最大面积的补片；通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响，并近似公式(1)中给出的初始配准；一旦获得初始假设x⁰＝(Δx⁰,θ⁰)，则根据以下标准从I_b中去除属于背景/前景杂波{P_i}的像素集合：

以及

其中，和是在迭代k处假设H的深度图，并且I_b，ψ₁和ψ₂是缩放系数。

10.基于权利要求书7所述的迭代姿态细化，其特征在于，测试图像和初始假设被叠加；利用这个假设，并且如公式(11)中那样，由v¹更新测试图像，并被分配作为第一次迭代的输入；

它被归一化表示，单位立方体中的对象“缩放”(h¹)相对增加(与初始配准相比)，并且计算更多的辨别性控制点描述符n；遍历单位立方体中的3D边界框，而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段；这种姿态细化处理被迭代地执行，直到达到最大迭代：

以像素为单位提取具有预定义尺寸的部分，并且在迭代时刻k，g^k将保持与g⁰相同。