汽车仪表盘视觉检测中基于尺度不变特征变换的图像roi定位方法及装置制造方法
【专利摘要】汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI定位方法及装置，属于图像图像ROI定位领域。为了解决目前基于模板的ROI定位方法效果差的问题。它包括：确定模板图像和待检测图像的检测项区域的ROI，基于尺度不变特征变换的图像ROI定位方法提取模板图像和待检测图像的特征点集和特征向量集，再对模板图像和待检测图像利用欧氏距离进行初匹配，并用马氏距离进行匹配点对的筛选，进而求取模板图像到待检测图像匹配点的变换矩阵，根据变换矩阵对待检测图像的每个检测项区域的ROI进行重构，获得最新ROI，对获得最新ROI进行检测，判断是否定位成功。它用于汽车仪表盘的视觉检测中。
【专利说明】汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI 定位方法及装置
【技术领域】
[0001] 本发明属于图像图像R0I定位领域。
【背景技术】
[0002] 在汽车仪表盘的视觉检测中，首要步骤即为对图像的R0I (感兴趣区域）进行选 取。汽车仪表盘的待检测项目很多，其不同区域都有不同的R0I，这些R0I需要能精确包含 待检测区域，并且不能互相存在重叠。在流水线工作中，相机的摆放位置往往会有不同程度 的偏差，这些偏差很难利用一些机械设施完全消除。这些位置偏差会令图像原本的R0I不 能选取到正确的待检测区域，这会对后续图像处理工作造成不可预知的错误。
[0003] 基于图像处理的软件R0I定位可以很好的消除位置偏差对后续处理造成的不良 影响。相比于人工精确放置仪表，软件中的图像R0I定位具有更好的稳定性、更快的速度和 更高的精度。基于图像处理的软件R0I定位具有更精简的工作环境。相比于制造机械装置 对仪表盘进行固定以减小位置误差，加入越多的机械装置则会对整个检测平台造成更大的 负担，并且工人将仪表盘安装在机械装置上也会耗费更多的时间。
[0004] 在图像R0I定位的众多方法中，基于模板处理的图像R0I定位方法应用最多，其思 想为将模板图像进行位移上、旋转角度上等位姿的变换，利用距离匹配、矩匹配或其他匹配 方式，对模板图像特征和待检测图像特征进行处理，得出匹配度最高的情况，然后利用这种 情况的位姿变换参数来计算R0I的变换结果。
[0005] 该方法受限于图像特征的完整性，在汽车仪表盘的视觉检测中，表盘的LED亮灭 和指针指向等特征具有多变性，这些不确定性都会对图像校正造成不同程度影响。基于标 定板的相机标定技术也可以对图像进行R0I定位，但考虑到检测空间受限，没有可以放置 标定板的地方，所以一般把汽车仪表盘自身特征当做标定依据。
[0006] 基于模板处理的方法，对模板图像的选取需要很严格，不仅需要尽可能的包含多 种汽车仪表盘点亮情况，即点亮所有灯，让相机尽量收进所有表盘内容，还需要模板图像和 待检测图像的获取环境一致。但是，当遇到表盘LED灯无法点亮或图像缺失等问题，现有方 法无法提供有效的处理手段。待检测汽车仪表盘图像相对于模板图像多出的噪声信息也会 给现有算法带来不稳定，例如阴影、辉光、反射等由于工作环境不同而导致的噪声干扰，这 些噪声会被当做表盘内容进行匹配。仪表盘视觉检测中，光线和清晰度对检测的影响很高， 基于模板处理的方法无法很好的处理过亮、过暗和模糊的情况，图像的特征会受很大程度 的影响。
【发明内容】
[0007] 本发明的目的是为了解决目前基于模板的R0I定位方法对处理过亮、过暗和模糊 的待检测图像时，待检测图像的特征会受很大程度的影响，以致于R0I定位效果差的问题， 本发明提供一种汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定位方法及装 置。
[0008] 本发明的汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定位方法，
[0009] 它包括如下步骤：
[0010] 用于获取汽车仪表盘模板图像和待检测图像的检测项区域的R0I和定位用R0I信 息，并将所述信息存储的步骤；
[0011] 用于根据模板图像的定位用R0I，利用尺度不变特征变换方法提取模板图像的特 征点集和特征向量集，并保存的步骤；
[0012] 用于根据取待检测图像的定位用R0I，利用尺度不变特征变换方法提取待检测图 像的特征点集和特征向量集，并保存的步骤；
[0013] 用于求模板图像的特征向量集中的每一项与待检测图像的特征向量集的每一项 的η维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的步骤；
[0014] 所述初匹配点对集包括模板图像初匹配特征点集和待检测图像初匹配特征点集， 所述模板图像初匹配特征点集和待检测图像初匹配特征点集一一对应；
[0015] 用于分别计算模板图像初匹配特征点集和待检测图像初匹配特征点集的样本均 值，进而求出每个初匹配点到相应初匹配特征点集的马氏距离，并根据所述马氏距离得到 最终匹配点对集的步骤；
[0016] 用于根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的步骤；
[0017] 用于通过变换矩阵求出模板图像的每个检测项区域的R0I的四个顶点坐标在待 检测图像中的取值，并对得到的四个取值进行矩形重构，获得待检测图像新的R0I的四个 顶点坐标，从而确定待检测图像的每个检测项区域的最新R0I的步骤；
[0018] 用于对待检测图像的各个检测项区域的最新R0I进行判断是否有重合和超出边 界的情况，若满足其中一种情况，则判断R0I定位失败，否则，判断R0I定位成功的步骤。
[0019] 汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定位装置，它包括如下 模块：
[0020] 用于获取汽车仪表盘模板图像和待检测图像的检测项区域的R0I和定位用R0I信 息，并将所述信息存储的模块；
[0021] 用于根据模板图像的定位用R0I，利用尺度不变特征变换方法提取模板图像的特 征点集和特征向量集，并保存的模块；
[0022] 用于根据取待检测图像的定位用R0I，利用尺度不变特征变换方法提取待检测图 像的特征点集和特征向量集，并保存的模块；
[0023] 用于求模板图像的特征向量集中的每一项与待检测图像的特征向量集的每一项 的η维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的模块；
[0024] 所述初匹配点对集包括模板图像初匹配特征点集和待检测图像初匹配特征点集， 所述模板图像初匹配特征点集和待检测图像初匹配特征点集一一对应；
[0025] 用于分别计算模板图像初匹配特征点集和待检测图像初匹配特征点集的样本均 值，进而求出每个初匹配点到相应初匹配特征点集的马氏距离，并根据所述马氏距离得到 最终匹配点对集的模块；
[0026] 用于根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的模块；
[0027] 用于通过变换矩阵求出模板图像的每个检测项区域的R0I的四个顶点坐标在待 检测图像中的取值，并对得到的四个取值进行矩形重构，获得待检测图像新的ROI的四个 顶点坐标，从而确定待检测图像的每个检测项区域的最新R0I的模块；
[0028] 用于对待检测图像的各个检测项区域的最新R0I进行判断是否有重合和超出边 界的情况，若满足其中一种情况，则判断R0I定位失败，否则，判断R0I定位成功的模块。
[0029] 本发明提取图像特特征点，然后对特征点进行匹配，它只需要两幅图像的部分特 征点匹配成功，即可完成两幅图像的变换矩阵的求取，即可以完成待检测图像的R0I定位。 本发明可以自动避免仪表盘长边缘、如段式灯带来的冗余特征点，本发明可以自动消除同 类边缘特征点。在特征点和特征向量求取后，本发明在两幅仪表盘图像的匹配环节利用欧 氏距离进行初匹配，并用马氏距离进行匹配点对的筛选，可以有效避免由于仪表盘摆放差 异所造成的特征点集的不同，当出现仿射变换较严重的时候也能准确的找出匹配点对。并 且可以求出R0I参数的最优解，在求取两幅汽车仪表盘图像匹配点的变换矩阵时，会求取 特征点阵的最小二乘广义逆矩阵，为最优解。所以本发明有益效果在于：
[0030] 1、本发明不需要进行模板图像匹配操作，所以对待检测图像的完整性要求不高， 只需要可以取到一部分特征点即可，算法会自动过滤掉未匹配成功的特征点，并且这些点 对R0I定位结果无影响，算法的鲁棒性和R0I定位效果好。
[0031] 2、本发明可以避免汽车仪表盘图像噪声对R0I定位结果的影响，由于相机环境不 同，其阴影、辉光、反射等噪声可能会被当作表盘内容，但是这些噪声提取出的特征点在模 板图像中不一定存在，所以会被自动的过滤掉。
[0032] 3、本发明会对不同尺度下的汽车仪表盘图像进行处理，通过对图像进行初匹配点 对集和最终匹配点对集降采样，可以提取到的特征点非常全面，大大提高了算法的精度。
[0033] 4、本发明受光线影响和图像清晰度影响较小，本发明会通过对区域极值点的查找 来确定极值点，所以整体图像的亮度对特征点的提取影响不大。
[0034] 5、本发明可以求出R0I的最优解，在求取变换矩阵时，需要求取特征点阵的最小 二乘广义逆矩阵。在求出所有最新R0I后，会对这些参数进行判断，当有重合、超出图像边 界的无效情况时，会给出警告。
【专利附图】
【附图说明】
[0035] 图1为【具体实施方式】一所述的汽车仪表盘视觉检测中基于尺度不变特征变换的 图像R0I定位方法的原理不意图。
【具体实施方式】
【具体实施方式】 [0036] 一：结合图1说明本实施方式，本实施方式所述的汽车仪表盘视觉 检测中基于尺度不变特征变换的图像R0I定位方法，它包括如下步骤：
[0037] 用于获取汽车仪表盘模板图像和待检测图像的检测项区域的R0I和定位用R0I信 息，并将所述信息存储的步骤；
[0038] 用于根据模板图像的定位用R0I，利用尺度不变特征变换方法提取模板图像的特 征点集和特征向量集，并保存的步骤；
[0039] 用于根据取待检测图像的定位用R0I，利用尺度不变特征变换方法提取待检测图 像的特征点集和特征向量集，并保存的步骤；
[0040] 用于求模板图像的特征向量集中的每一项与待检测图像的特征向量集的每一项 的η维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的步骤；
[0041] 所述初匹配点对集包括模板图像初匹配特征点集和待检测图像初匹配特征点集， 所述模板图像初匹配特征点集和待检测图像初匹配特征点集一一对应；
[0042]用于分别计算模板图像初匹配特征点集和待检测图像初匹配特征点集的样本均 值，进而求出每个初匹配点到相应初匹配特征点集的马氏距离，并根据所述马氏距离得到 最终匹配点对集的步骤；
[0043]用于根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的步骤；
[0044] 用于通过变换矩阵求出模板图像的每个检测项区域的R0I的四个顶点坐标在待 检测图像中的取值，并对得到的四个取值进行矩形重构，获得待检测图像新的R0I的四个 顶点坐标，从而确定待检测图像的每个检测项区域的最新R0I的步骤；
[0045] 用于对待检测图像的各个检测项区域的最新R0I进行判断是否有重合和超出边 界的情况，若满足其中一种情况，则判断R0I定位失败，否则，判断R0I定位成功的步骤。
[0046] 本实施方式中，
[0047] 步骤一：采集汽车仪表盘的模板图像，人工确定仪表盘各个检测项区域的R0I 和定位用R0I，利用尺度不变特征变换方法提取定位用R0I所圈定图像区域的特征点集
【权利要求】
1. 汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI定位方法，其特征在于， 它包括如下步骤： 用于获取汽车仪表盘模板图像和待检测图像的检测项区域的R0I和定位用R0I信息， 并将所述信息存储的步骤； 用于根据模板图像的定位用R0I，利用尺度不变特征变换方法提取模板图像的特征点 集和特征向量集，并保存的步骤； 用于根据取待检测图像的定位用R0I，利用尺度不变特征变换方法提取待检测图像的 特征点集和特征向量集，并保存的步骤； 用于求模板图像的特征向量集中的每一项与待检测图像的特征向量集的每一项的η 维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的步骤； 所述初匹配点对集包括模板图像初匹配特征点集和待检测图像初匹配特征点集，所述 模板图像初匹配特征点集和待检测图像初匹配特征点集一一对应； 用于分别计算模板图像初匹配特征点集和待检测图像初匹配特征点集的样本均值，进 而求出每个初匹配点到相应初匹配特征点集的马氏距离，并根据所述马氏距离得到最终匹 配点对集的步骤； 用于根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的步骤； 用于通过变换矩阵求出模板图像的每个检测项区域的R0I的四个顶点坐标在待检测 图像中的取值，并对得到的四个取值进行矩形重构，获得待检测图像新的R0I的四个顶点 坐标，从而确定待检测图像的每个检测项区域的最新R0I的步骤； 用于对待检测图像的各个检测项区域的最新R0I进行判断是否有重合和超出边界的 情况，若满足其中一种情况，则判断R0I定位失败，否则，判断R0I定位成功的步骤。
2. 根据权利要求1所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定 位方法，其特征在于，所述求模板图像的特征向量集中的每一项与待检测图像的特征向量 集的每一项的η维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的步骤包括 ： 用于从模板图像的特征向量集中选择一特征向量，与待检测图像的特征向量集中所有 特征向量取欧氏距离，其中最小距离为EdiSl，次小距离为
当
时，则 相应的两个特征点为初匹配点对的步骤 所述β为欧氏距离倍数阈值，β的取值范围为0. 6?0. 8 ; 用于当对模板图像的特征向量集中的所有特征向量均进行上述步骤后，得到的所有初 匹配点存入初匹配点对集的步骤。
3. 根据权利要求2所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定 位方法，其特征在于，β =0.75。
4. 根据权利要求1或2所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像 R0I定位方法，其特征在于，所述用于根据所述马氏距离得到最终匹配点对集的步骤包括； 用于获取初匹配点对集中每一初匹配点对到相应初匹配特征点集的马氏距离的差值， 获得的差值组成差值序列的步骤； 用于求取差值序列的均值和方差的步骤； 用于当求取的方差在设定的阈值内时，则相应的初匹配点对存入最终匹配点对集内的 步骤； 用于当求取的方差不在设定的阈值内时，则求取相应的差值序列中的最大值dmax，删除 所有差值满足大于或等于thd*dmax的初匹配点对，并重新组成差值序列的步骤； 其中thd的取值范围为0. 001-0. 01。
5. 根据权利要求4所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI定 位方法，其特征在于，thd = 0. 003。
6. 根据权利要求4所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI定 位方法，其特征在于，所述根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的 步骤为：
，其中，
为待检测图像的最终匹配点集，
为模板图像的 最终匹配点集 所述变换矩阵
。
7. 根据权利要求6所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定 位方法，其特征在于，所述对新的R0I顶点坐标进行矩形重构，确定待检测图像的每个检测 项区域的最新R0I的步骤包括： 所述新的R〇i顶点坐标为（χ^ 、（χ2, y2)、（χ3, 和（x4, ，分别代表所述R〇i左上、 右上、右下和左下方向四个顶点位置坐标； 选取min匕，y2)为最新R0I的上边界纵坐标的步骤； 选取max (y3, y4)为最新R0I的下边界纵坐标的步骤； 选取min (Xp x4)为最新R0I的左边界横坐标的步骤； 选取max(x2,x3)为最新R0I的右边界横坐标的步骤。
8. 根据权利要求7所述的汽车仪表盘视觉检测中基于尺度不变特征变换的图像R0I定 位方法，其特征在于，所述用于对待检测图像的各个检测项区域的最新R0I进行判断是否 有重合或超出边界的情况，若满足其中一种情况，则判断R0I定位失败，否则，判断R0I定位 成功的步骤包括： 用于对待检测图像的各个检测项区域的最新R0I进行判断互相是否有重合，当满足一 个不重合条件的，则判断相应的两个最新R0I不重合，否则判断相应的两个最新R0I重合的 步骤； 所述不重合条件包括： 条件a :A左边界在B右边界的右方；条件b :B左边界在A右边界的右方；条件c :A上 边界在B下边界的下方；条件d :B上边界在A下边界的下方； A表示一个检测项区域的最新ROI，B表示另一个检测项区域的最新R0I ; 用于对待检测图像的各个检测项区域的最新R0I进行判断是否有超出边界，当一个检 测项区域的最新R0I满足所有未超出边界条件时，则判断相应的最新R0I未超出边界，否 则，则判断相应的最新R0I超出边界的步骤； 未超出边界条件包括： 条件e :最新ROI的左边界位直坐标小于0 ;条件f :最新ROI的右边界位直坐标大于宽 度；条件g :最新ROI的上边界位置坐标小于〇 ;条件h :最新ROI的下边界位置坐标大于商 度。
9.汽车仪表盘视觉检测中基于尺度不变特征变换的图像ROI定位装置，其特征在于， 它包括如下模块： 用于获取汽车仪表盘模板图像和待检测图像的检测项区域的ROI和定位用ROI信息， 并将所述信息存储的模块； 用于根据模板图像的定位用ROI，利用尺度不变特征变换方法提取模板图像的特征点 集和特征向量集，并保存的模块； 用于根据取待检测图像的定位用ROI，利用尺度不变特征变换方法提取待检测图像的 特征点集和特征向量集，并保存的模块； 用于求模板图像的特征向量集中的每一项与待检测图像的特征向量集的每一项的η 维空间欧氏距离，并通过所述欧氏距离来提取初匹配点对集的模块； 所述初匹配点对集包括模板图像初匹配特征点集和待检测图像初匹配特征点集，所述 模板图像初匹配特征点集和待检测图像初匹配特征点集一一对应； 用于分别计算模板图像初匹配特征点集和待检测图像初匹配特征点集的样本均值，进 而求出每个初匹配点到相应初匹配特征点集的马氏距离，并根据所述马氏距离得到最终匹 配点对集的模块； 用于根据最终匹配点对集求取模板图像到待检测图像的变换矩阵的模块； 用于通过变换矩阵求出模板图像的每个检测项区域的ROI的四个顶点坐标在待检测 图像中的取值，并对得到的四个取值进行矩形重构，获得待检测图像新的ROI的四个顶点 坐标，从而确定待检测图像的每个检测项区域的最新ROI的模块； 用于对待检测图像的各个检测项区域的最新ROI进行判断是否有重合和超出边界的 情况，若满足其中一种情况，则判断ROI定位失败，否则，判断ROI定位成功的模块。
【文档编号】G06T7/00GK104091325SQ201410267691
【公开日】2014年10月8日 申请日期:2014年6月16日 优先权日:2014年6月16日
【发明者】高会军, 李博伦, 于金泳, 李竹奇, 杨学博, 由嘉 申请人:哈尔滨工业大学