一种基于超像素的确定性模型拟合方法
【专利摘要】一种基于超像素的确定性模型拟合方法，涉及计算机视觉技术。包括以下步骤：A.准备数据集；B.对图片进行超像素分割；C.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度；D.在数据集的分组信息基础上，提出一种确定性生成假设方法；E.提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设；F.根据选取的每个模型实例，区分内点与野点，完成模型拟合。能提取超像素分割的有效信息，以确定性地生成高质量的模型假设。有效避免当前模型选择方法对内点尺度的敏感性。能确定地处理多结构模型数据，而且不需大量的迭代优化，从而保证方法高效性。
【专利说明】
一种基于超像素的确定性模型拟合方法
技术领域
[0001] 本发明涉及计算机视觉技术，具体是涉及一种基于超像素的确定性模型拟合方 法D
【背景技术】
[0002] 计算机视觉是计算机重要的组成部分，它的发展与我们的生活已息息相关。如何 让计算机快速有效地获取场景信息，显然是一个基础任务。而模型拟合是基于观测数据拟 合参数，将场景信息提炼成数字信息传送到计算机中。
[0003] 当前，模型拟合方法在很多方面都有了比较成功的运用，比如，运动分割、图像拼 接、光流计算、单应估计、基础矩阵估计等。在这些方法中，比较典型的例子是Random Sample Consensus(RANSAC)(M.A.Fischler and R.C.Bolles.Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography ? Comm. ACM，24(6): 381-395，1981) DRANSAC拟合方法能够处理含有 高比例野点的数据，其主要步骤包括:1)通过随机采样生成大量模型假设;2)通过人工设定 内点尺度，计算每个模型假设的内点数目，并选择内点数最多的模型假设为模型实例。基于 随机采样，大量的鲁棒拟合方法被提出来，如，gpbM(S.Mittal，S.Anand，and P.Meer.Generalized projection-based m-estimator.IEEE Trans.PAMI,34(12):2351-2364，2012)，SCAMS(Z?Li，L._F.Cheong，and S.Z.Zhou.Scams:simultaneous clustering and model selection.In CVPR,pages 264-271.IEEE,2014)?RCG(H.Liu and S.Yan.Efficient structure detection via random consensus graph.In CVPR,pages 574-581,2012)?PEaRL(H.Isack and Y.Boykov.Energy based multi-model fitting& matching for 3d reconstruction.In CVPR,pages 1146-1153.IEEE，2014)，等。
[0004] 然而，随机算法需要大量的样本，否则，对过程和结果是不可预测的，无规律可寻 的C3当前有些研究者提出了全局性优化来保证结果的确定性，如，Li(H.Li .Consensus set maximization with guaranteed global optimality for robust geometry estimation. In ICCV，pages 1074-1080? IEEE，2009)提出将拟合问题转化成一个混合整数 规划问题，然后用松弛化来确定性地解决模型拟合问题；Lee等（K.H. Lee and S.ff.Lee.Deterministic fitting of multiple structures using iterative maxfs with inlier scale estimation.In ICCV，pages 41_48.IEEE，2013)提出使用最大可行性 子系统框架来确定性生产模型假设；Litman等（R.Litman，S.Korman，A.Bronstein，and S.Avidan.Inverting ransac:Global model detection via inlier rate estimation. In CVPR，pages 5243-5251，2015)提出基于内点尺度的全局优化转换来确定 性处理拟合问题；Chin等（T.-J.Chin，P.Purkait，A.Eriksson，and D.Suter.Efficient globally optimal consensus maximisation with tree search.In CVPR,pages 2413-2421，2015)提出将拟合问题转化为树搜索问题，并用Astar搜索来全局优化问题。
[0005] 当前的确定性算法初步保证了结果的确定性，然而，全局性优化存在的时间复杂 度太高的问题依然存在，尤其是内点数目比较稀少或者整体数据点较高时，时间复杂度问 题会更加突出。此外，当前的确定性算法大部分是针对单结构数据。
【发明内容】
[0006] 本发明的目的在于提供一种基于超像素的确定性模型拟合方法。
[0007] 本发明包括以下步骤：
[0008] A.准备数据集；
[0009] B.对图片进行超像素分割；
[0010] C.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度；
[0011] D.在数据集的分组信息基础上，提出一种确定性生成假设方法；
[0012] E.提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设；
[0013] F.根据选取的每个模型实例，区分内点与野点，完成模型拟合。
[0014] 在步骤A中，所述准备数据集的具体方法如下：
[0015] A1.采用SIFT特征提取算法和匹配算法获取图像的匹配对，得到义 N为数据总数，设为自然数。
[0016] 在步骤B中，所述对图片进行超像素分割的具体方法为：
[0017] B1.使用当前流行的超像素分割方法，对输入的两张图片均做超像素分割，得到区 域一致性信息。
[0018] 在步骤C中，所述对输入的数据进行预分组的具体方法为：
[0019] C1.处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的概率来 自同一个模型实例。
[0020] 在步骤D中，所述确定性生成假设方法的具体方法为：
[0021] D1.根据以下公式，合并相邻的分组以扩大采样区域：
[0022] Gi={Gj|GjGN(Gi)} UGi
[0023]式中，N(Gi)是Gi的所有邻居分组，即在2S' X2S'区域内所有分组;其中，S'是一个 网格间隔，设定为s'= 其中，N和M分别表示像素和超像素的数量，均为自然数；
[0024] D2.通过SIFT匹配计算每个数据点（即匹配对)的匹配分数；
[0025] D3.根据匹配分数& …彳]，对每个分组内的所有数据集6 =丨（ni为 第i个分组内的匹配对数目，ru为自然数)进行排序，得到一组排序号〃/… <]，排 序规则如下：
[0026] U< V^ Sf > Sf
[0027] 式中，<和< 分别表示第i个分组Xll^PXlv的排序索引；
[0028] D4.根据最小采样子集原则，对于每个分组，提取排序最前面的p+2数据点，即 ，财P穌触++翻織戶編勺副、雜翻；
[0029] D5.根据采样到的子集，评估每个子集的模型假设参数，生成模型假设集0。
[0030] 在步骤E中，所述模型选择方法的具体步骤为：
[0031 ] El.在模型假设集0，选取含有内点数目最大的模型假设01;
[0032] E2.根据模型假设0:，根据以下公式判定是否为多余模型假设： fl, h{〇.)^d{〇.)^'3, _ _ = ，其 4,
[0034]式中，b(0j)为模型假设0j的米样子集，d(0i)为模型假设0i的内点集合，b(0j) rid (1)用于判定模型假设h的采样子集是否有成员属于模型假设I的内点集合，若属于，则被 认为是多余的模型假设；
[0035] E3.去除多余的模型假设<9,(=沖山
[0036] & ^ 6 \ {(.9- o' 0t I-；
[0037] E4.回到步骤El，直到找到所有数据集中模型实例。
[0038] 本发明针对确定性算法，提出一种基于超像素的模型拟合方法。本发明首先用超 像素分割图片，然后利用超像素的分组信息提出一种确定性模型假设生成方法，接着提出 一种新型的模型选择框架，最后通过选择的模型实例分割图像，完成模型拟合。超像素能够 根据区域一致性的分组信息来刻画匹配对。该拟合方法能够提取超像素分割的有效信息， 以确定性地生成高质量的模型假设。此外，本发明还包含一种新型的模型选择框架，能够快 速高效地提取有效的模型实例。该模型选择框架有效避免了当前模型选择方法对内点尺度 的敏感性。整体上，本发明能够确定地处理多结构模型数据，而且不需要大量的迭代优化， 从而保证了算法的高效性。相对当前的确定性模型拟合方法，本发明在时间和精度上提高 了一个比较大的档次，促进了科学的发展和进步。
【附图说明】
[0039]图1为本发明实施例的流程图。
[0040]图 2为本发明在BLOGS数据集（http : //www ? cse ? usf ? edu/~sarkar/BLOGS/)、 OXford VGG数据集（http: //www ? robots ? ox ? ac ? uk/~vgg/data/)和AdelaideRMF数据集 (http://cs.adelaide.edu.au/~dsuter/code and data/和http:// cs .adelaide ? edu.au/~hwong/doku.php?id = data)进行单结构估计的效果。其中，（a)~ (e)为单应性拟合结果，（f)~(j)为基础矩阵拟合结果。
【具体实施方式】
[0041]下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方 案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述 的实施例。
[0042]参见图1，本发明实施例的实施方式包括以下步骤：
[0043] S1.准备数据集。
[0044] 具体包括:采用SIFT特征提取算法和匹配算法获取图像的匹配对，得到Z 』， 负为数据总数，&为自然数。
[0045] S2.对图片进行超像素分割。
[0046] 具体包括:使用当前流行的超像素分割方法，对输入的两张图片均做超像素分割， 得到区域一致性信息。
[0047] S3.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂 度。
[0048] 具体包括:处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的 概率来自同一个模型实例。
[0049] S4.在数据集的分组信息基础上，提出一种确定性生成假设方法。
[0050] 具体包括：
[0051] 根据以下公式，合并相邻的分组以扩大采样区域：
[0052] Gi={Gj|GjGN(Gi)} UGi
[0053]式中，N(Gi)是Gi的所有邻居分组，也就是在2S' X2S'区域内所有分组。这里的S'是 一个网格间隔，我们设定为y=4nim，其中，n和m分别表示像素和超像素的数量，均为自 然数。
[0054] 通过SIFT匹配计算每个数据点（即匹配对)的匹配分数。
[0055] 根据匹配分数& … <]，对每个分组内的所有数据集6 =丨(ni为第i 个分组内的匹配对数目，m为自然数)进行排序，得到一组排序号a,. 排序规 则如下：
[0056] u < v => s~' > sf
[0057] 式中，< 和考分别表示第i个分组XljPxlv的排序索引。
[0058] 根据最小采样子集原则，对于每个分组，我们提取排序最前面的p+2数据点，即 ，其中P表示生成一个模型假设所需的最小子集数目。
[0059] 根据采样到的子集，评估每个子集的模型假设参数，生成模型假设集0。
[0060] S5.提出一种新型模型选择方法，每次选取最佳模型假设，同时去除多余模型假 设。
[0061 ] 具体包括：
[0062] 在模型假设集0，选取含有内点数目最大的模型假设01;
[0063] 根据模型假设0:，根据以下公式判定是否为多余模型假设：
[1, _]心>{〇, I 其 &
[0065]式中，b(0j)为模型假设0j的米样子集，d(0i)为模型假设0i的内点集合。b(0j) fid (1)用于判定模型假设h的采样子集是否有成员属于模型假设I的内点集合，若属于，即被 认为是多余的模型假设。
[0066] 去除多余的模型假设S (=#山-
[0067] 0^0 \ 1<.9; u6*;!
[0068] 回到步骤El，直到找到所有数据集中模型实例。
[0069] S6.根据选取的每个模型实例，区分内点与野点，完成模型拟合。
[0070]本发明在BLOGS数据集（http : //www ? cse ? usf ? edu/~sarkar/BLOGS/)、0Xford VGG数据集(http://www.robots .ox.ac.uk/~vgg/data/)和AdelaideRMF数据集(http:// cs.adelaide.edu.au/~dsuter/code and data/和http://cs?adelaide?edu?au/~ hwong/doku.php?id = data)进行单结构估计的效果参见图2c3图2中，（a)~(e)为单应性拟 合结果，（f)~(j)为基础矩阵拟合结果。
[0071] 本发明与其他几种模型拟合方法进行单结构估计的错误率和时间效率分析对比 参见表3。
[0072] 表 3
[0074] 其中，对比方法有]\1.六上18(311161'等提出的方法1^旧六〇(]\1.六上18(31116『&11(1 R.C.Bolles.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography.Comm.ACM,24(6):381-395，1981)，0.Chum等提出的方法PR0SAC(0.Chum and J.Matas.Matching with prosac-progressive sample consensus. In CVPR，pages 220_226,2005)，H.Li提出的方法BnB (H.Li.Consensus set maximization with guaranteed global optimality for robust geometry estimation.In ICCV，pages 1074_1080.IEEE，2009)和T.-J.Chin等提出的方法 AStar(T.-J.Chin,P.Purkait,A.Eriksson,and D.Suter.Efficient globally optimal consensus maximisation with tree search.In CVPR,pages 2413-2421，2015)〇
【主权项】
1. 一种基于超像素的确定性模型拟合方法，其特征在于包括W下步骤： A. 准备数据集； B. 对图片进行超像素分割； C. 通过分析超像素信息，对输入的数据进行预分组，W降低算法捜索时间复杂度； D. 在数据集的分组信息基础上，提出一种确定性生成假设方法； E. 提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设； F. 根据选取的每个模型实例，区分内点与野点，完成模型拟合。2. 如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤A中， 所述准备数据集的具体方法如下： 采用SIFT特征提取算法和匹配算法获取图像的匹配对，得离^数据 总数，N为自然数。3. 如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤B中， 所述对图片进行超像素分割的具体方法为： 使用当前流行的超像素分割方法，对输入的两张图片均做超像素分割，得到区域一致 性信息。4. 如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤C中， 所述对输入的数据进行预分组的具体方法为： 处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的概率来自同一个 模型实例。5. 如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤D中， 所述确定性生成假设方法的具体方法为： Dl.根据W下公式，合并相邻的分组W扩大采样区域： Gi={Gj|GjGN(Gi)} UGi 式中，N(Gi)是&的所有邻居分组，即在2少区域内所有分组;其中，^是一个网格 间隔，设定）中，N和M分别表示像素和超像素的数量，均为自然数； D2.通过SIFT化配计算每个数据点（即匹配对)的匹配分数； D3.根据匹配分数4 =杉,1苗…玲]，对每个分组内的所有数据集G, 为第i个 分组内的匹配对数目，m为自然数)进行排序，得到一组排序号a = [。,I u/…]，排序规则 如下：式中，皆和如分别表示第i个分组Xiu和Xiv的排序索引；据最小采样子集原则，对于每个分组，提取排序最前面的P + 2数据点，即 其中P表示生成一个模型假设所需的最小子集数目； UO.很站采样到的子集，评估每个子集的模型假设参数，生成模型假设集e。6. 如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤E中， 所述模型选择方法的具体步骤为： El.在模型假设集0，选取含有内点数目最大的模型假设01; E2.根据模型假设01，根据W下公式判定是否为多余模型假设：式中，b(0j)为模型假设M勺采样子集，d(0i)为模型假设01的内点集合，b(0j)nd(0i)用 于判定模型假设0北勺采样子集是否有成员属于模型假设01的内点集合，若属于，则被认为是 多余的模型假设； E3.去除多余的模型假设巧户冷E4.回到步骤E1，直到找到所有数据集中模型实例。
【文档编号】G06T7/00GK105913423SQ201610214978
【公开日】2016年8月31日
【申请日】2016年4月8日
【发明人】王菡子, 肖国宝, 严严
【申请人】厦门大学