基于梯度回归树的车辆关键点检测方法及装置的制造方法
【技术领域】
[0001] 本发明设及图像处理领域，尤其设及基于梯度回归树的车辆关键点检测方法及装 置。
【背景技术】
[0002] 目前的智能交通体系大多依靠车牌识别对交通事件进行追踪和处理，但车牌识别 的局限性过大，如车牌模糊、车牌遮挡甚至假牌、无牌等现象均会导致车牌识别失效，如果 能进一步确认车标、车型、车身颜色、车辆年检贴特征W及驾驶员特征等信息，对于车辆的 追踪和识别均有极大的帮助。
[0003] 车辆关键点检测可W将车窗的4个角点W及车身的关键点位置信息检测出来，例 如车窗4个角点的检测对于后续基于车窗的车辆标识物检测W及驾驶员检测较有帮助，而 车灯角点（即左侧车灯的左上角角点W及右侧车灯的右上角角点）对于车身的车型识别W 及车身颜色识别均有很大帮助，拥有广阔的应用前景。
[0004] 现有技术存在对关键点采用分类器进行检测的手段，例如对对车窗或车牌的角点 进行Adaboost检测，运种特征检测方式所采用的分类器通过滑动窗口获取一定区域内的特 征，并进行各特征的比较得到检测结果，对于需要区块检测的图像处理手段比较有效(例如 车牌识别），但是如果需要检测点，则运种方式容易受到边缘其他点的干扰，如果旁边存在 其他车辆，则在分类过程中容易向检测出的关键点位置会向其他方向偏移导致定位错误。
[0005] 因此现有技术存在定位易受初始定位位置的干扰，关键点不易正确定位的问题。
【发明内容】
[0006] 为解决现有技术存在的问题，本发明提供了一种关键点检测的方法，W使各关键 点逐点单独回归，减少关键点回归的误差。
[0007] -种基于梯度回归树的车辆关键点检测方法，包括:获取各关键点的初始位置W 及将各关键点的初始位置输入经过训练的分类器中检测得到各关键点的最终位置，所述分 类器的训练方法包括：
[000引获取多张图片作为训练样本，所述训练样本中关键点相对于目标位置具有偏移， 且训练样本具有关键点的目标位置信息；
[0009] 提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练，其 中所述分类器包括多个层级，每一层级中回归树均与关键点一一对应，各回归树W对应关 键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征，并在每 一层级训练完成后均利用回归结果重新提取特征并更新下一层级的回归目标，直至完成所 有层级的回归树训练。
[0010] 本发明方法中分类器具有多个层级的回归树，即采用梯度回归树(G抓T)将关键点 的初始位置向正确的位置回归。GBDT可W认为是一组残差迭代决策树，每一棵回归树都在 学习前N-1棵树预测结果相对于正确值的残差。每个关键点的回归树都是单独的，通过将关 键点的当前位置到目标位置的距离作为回归目标，将训练样本中的关键点按照分布位置进 行分类，使得各分布位置都能向正确的方向逼近，对于每个关键点都是独立回归的，不会受 到其他点的干扰，从而提高了检测的准确性。
[0011] 进一步而言，单个层级中任意一个关键点所对应的回归树经过多次分裂，每次分 裂均将当前关键点的分布位置进行区域划分，所述训练后的回归树使划分得到的每个子区 域内各关键点分布位置到目标位置的距离差异最小。
[0012] 训练过程中，每一棵树需要获得正确的划分方式，使得在各区域中关键点的分布 位置与目标位置的差值尽可能一致，在运种情况下，各关键点分布位置在减去差值W后的 位置(即向目标位置逼近后的位置)不会分布过远，运种训练方式考虑到了关键点初始位置 分布区域的差异性，使得检测出的各处位置的关键点均能回归到正确的位置。
[0013] 进一步而言，各回归树经过L次分裂，其中对于单个层级中任意一个关键点所对应 的回归树训练方法包括：
[0014] 设定Θ的假设函数he(Xi)，表达式为：
[0015] 在每一次分裂时，得到关键点分布区域的划分线及Θ的组合使得最大似然函数1 (曰，θ)值最大，1(0, Θ)的表达式为：
[0016]
[0017]其中，所述假设函数he(Xi)为yai出现的概率，其中，X功第i张训练样本中所提取的 特征，其中i的取值范围为巧ljs，s表示训练样本的数目，在前次分裂中，划分线经过关键 点的目标位置，α为所述划分线与水平方向的夹角，α的初始取值范围为0到179度，后续心2 次分裂每一次都从前一次划分所得的每个区域中分别捜索得到一个对应的〇,当 |^>tan〇)时，所述yai为1，否则，yai为0;在最后一次分裂中，划分线在水平方向上截距 y di 为n，与水平方向夹角为m，当m*xdi+n>ydi时，所述yai为1，否则yai为0;其中划分线斜率W及 截距的捜索步长为预设值。
[0018] 本发明中，关键点通过逻辑回归方式进行回归，每棵树的每次分裂都将训练样本 中得到的关键点分布区域的二分类方式划分，其中分裂的次数根据所需要的划分精度确 定，一般而言考虑到计算效率与精度之间的折中，选择四到六次分裂。其中，训练样本中的 关键点分布位置受初始检测精度的影响，可能存在较大差异，因此需要将不同的分布位置 进行归类，使得同一区域中的分布位置差异较小，从而具有较为一致的回归值，运样在检测 时就可W较准确地知道需要将所检测到的点向什么位置移动多少距离。通过多个层级逐步 逼近，使得回归的位置具有较高准确度。本发明的运种回归方式，不仅考虑到了关键点的特 征，同时也考虑到了关键点初始定位的分布位置，使得定位更加准确。
[0019] 进一步而言，还包括在将所述待检测图片在每通过一层级的回归树后都对所述待 检测图片所有关键点位置坐标进行形状约束，所述第一层级之后每一层级输入的位置坐标 均为经过形状约束后的位置坐标，且最终检测得到的位置坐标为通过最后一层级回归树后 进行形状约束所得的位置坐标。
[0020] 由于采用回归方式逐步逼近，实际上是通过关键点的不同特征和不同位置之间的 拟合来得到一个相对准确的位置，但由于初始定位存在定位较远的情况，为了防止回归往 远离目标位置的方向回归，通过建立形状约束，使得各关键点之间相互制约，防止关键点在 回归过程中跑偏到误差较大的位置。
[0021] 进一步而言，每个层级通过W下函数进行关键点位置坐标的形状约束：
[0022]
[0023] 其中，（表示第i个关键点的目标位置坐标，（xi，yi)表示待约束的关键点坐 标，其中[sR(Xi，yi)T]x表示坐标经过旋转和缩放之后取水平方向坐标，[sR(Xi，yi)T]y表示坐 标经过旋转和缩放之后取垂直方向坐标，其中约束参数为缩放系数s、2*2的旋转矩阵R、水 平方向上的平移距离txW及垂直方向上的平移距离ty，在每一层级回归之后将回归后的各 关键点坐标及对应的关键点目标位置坐标输入该函数，获取当前层级的各约束参数，使得 所述函数值最小，其中λι为水平方向的权重，λ2为垂直方向的权重，λι及λ2随着层级增加而 减小且每一层级λ?>λ2,第i个关键点的正则惩罚项系数为预设值，且第i个关键点如果 为车牌角点，则λι W及λ2在各层级的取值均小于。
[0024] 本发明的形状约束加入了λι和λ2且λι〉λ2,因为水平方向的约束高于垂直方向的约 束，对于不同车型而言，水平方向上的距离不太可能发生变化，而垂直方向的距离比例则可 能有一定变化。另外作为正则惩罚项，避免任何一点位移数值过大，由于车牌4个角点初 始位置信息置信度很高，因此其权重需要增大，λι及λ2随着层级增加而减小表示随着级数的 增长，表示随着回归结果向目标的逐步逼近，全局约束越来越弱，更加相信的是回归树的结 果，所W最终得到的结果是平均形状和当前位置的一个综合优化效果。例如，通过经验选 值，λι = 2Α，λ2 = ?Α化取值为当前级数，1~20之间，Aci(i = 7/8/9/10) = 4(车牌附近4个 点），λΕ?(其它点）=0.5。
[0025] 进一步而言，所述训练样本的获取方式为，获取a张带有关键点标注的初始图片， 将每张初始图片复制为b份，将得到的所有图片进行预设范围内的随机形变，并从所得的ab 张图片中随机选取S张图片作为训练样本，其中预设范围内的随机形变包括:在预设倍数范 围内的缩小或放大;预设角度范围内的随机旋转，在预设的距离范围内的随机平移；
[0026] 对应地，各关键点的目标位置为关键点在a张初始图片中位置坐标的平均值。
[0027] 现有初始位置一般通过较为成熟的车牌角点定位得到，但由于定位手段的准确性 有限，因此初始位置可能存在着一定的形变，例如图片经过放大或缩小后位置偏移，受环境 中其他物体影响导致发生方向和距离上的偏移，为了模拟运种有误差的初始定位，使训练 出的结果能够接受初始位置的偏移，在训练样本中各关键点的坐标都是通过将训练样本的 图片变形得到的。
[0028] 进一