基于密集匹配子自适应相似性度量的rgb-d物体识别方法和装置的制造方法_3

文档序号:9751324阅读:来源:国知局
的求其平均值作为γ。这一策略对噪 声具有很大的鲁棒性。相似度分数的物理意义是:经过物体匹配(公式(2))之后,两个物体 之间的尺度、视角以及姿态能够保存一致。这样,通过度量两者之间的相似度分数(公式 (4)),即可以很好地衡量两个物体之间的相似度关系,相似度分数越高,说明待查询的物体 的类别就越可能与参考物体的类别相同。
[0085] 由于不存在一个完美的融合比例能够适应所有的类别或者任何一个类别。这是因 为不同的类别对表观(RGB)和空间几何形状(深度)的依赖程度是不同的,即使是某一个类 另IJ,由于类内差和视角差异性,对表观和空间几何形状的依赖也会发生变化。
[0086] 这就需要设计一组对应不同融合比例的密集匹配子,并且通过学习的方法来融合 所有的匹配子,这称之为学习-融合策略。学习融合策略的目的就是要融合所有的匹配子得 到一个最终的分数。
[0087] 在一个可选的实施例中,假设一组ΘΕ[0,1],从而得到一组相似度分数8Θ,融合所 有的匹配子·徨刹一个昜線的相Μ麽令翁.
[0088]
(5)
[0089] 对于任意一个融合系数0,80是指与其对应的相似度分数,¥0是指权重系数,b表示 融合的偏差因子。将线性叠加写成向量点乘的形式,其中, w = 、"··,:%,1],¥表不融合的权重向量,φ表不融合的分数向 量。
[0090] 本领域技术人员应该能够理解,上述假设仅仅是为了更好地说明本发明,不应视 为是对本发明的不当限定。
[0091] 公式(5)的物理意义是:给定一个待查询物体Iq以及参考物体Ir,在度量两者之间 的相似度时,本发明实施例采用不同的融合参数Θ来得到不同的匹配关系(即匹配子),每种 匹配子都可以通过公式(4)得到一个相似度分数Se。基于学习-融合的策略就是探究有效的 融合所有的相似度分数来得到一个最终的分数,利用该最终的分数来度量物体之间最终的 相似度关系。
[0092] 在学习 w的过程中,目标是^,Οζ?及)>&_(々I夂),其中,/丨和Iq Iq来自同一个 类别,而f来自不同的类别。
[0093] 学习的目的就是让同类之间相似度高于不同类之间的样本。
[0094] 为了求解最优的W,在一个可选的实施例中,采用的是ranking SVM算法,其目标函 数为:
[0095]
(6)
[0096] 其中,w二[w0i,%2,:…,w%,b]在此表示要优化的融合权重向量, Φ = [sw,s,.v…,,1]表示融合的分数向量;0二丨/;.+,/「)丨二表示三元组数据库;I#示 待查询物体;€表示与所示待查询物体同类别的参考物体;/Γ表示与所示待查询物体不同 类别的参考物体;ξ表示松弛变量;C表示惩罚参数。
[0097] 为了优化这一目标函数,需要预先构造0 = 这样的三元组数据库。 在该数据库中,对于每个待查询物体Ii,会找到一个与待查询物体同类别的参考物体//,以 及与待查询物体不同类别的参考物体C,这样Ihf和C组成一个三元组。数据库Ω由大量 的这种三元组组成。
[0098]利用ranking SVM算法来优化公式(6)的目的就是为了融合权重向量W能够保证同 类别的物体之间的相似度分数要大于非同类物体之间的相似度分数。这样,提高了 top-Ι的 物体识别精度。
[0099]步骤S108:基于参考物体和待查询物体之间的相似性,对待查询物体进行分类。 [0100]在一个可选的实施例中,给定一个待查询物体It,利用基于特征的方法来检索最 相近的T个候选类,在每个候选类中选取K个参考物体,则:
[0101] 将物体It分为类别^的投票值为:
[0102]
(?)
[0103] 其中,Ci表不检累的候选类的类别。
[0104] 投票值是指每个待查询物体与候选类中所有的参考物体的相似度分数的均值,它 衡量的是待查询物体与该候选类的相似性关系,投票值最大也就是候选类的类别即为待查 询物体的类别,即:It的类别就取决于投票值的大小。
[0105] 这种分类是基于重排序的。图5a为根据一示例性实施例示出的基于密集匹配的重 排序示意图。图5b为根据另一示例性实施例示出的基于密集匹配的重排序示意图。对于每 个待查询物体,第一行给出的是传统的最好的方法所检索的top-3结果,第二行给出的是本 发明实施例的方法的检索结果。其中,图5a显示的是本发明实施例的方法能够很好地将同 类的物体排在#1位置;图5b显示了本发明实施例的方法和传统的方法都不能正确的将同类 的物体排在#1位置,但是本发明实施例的方法能够很好地将同类别物体的位置往前排列, 即:表明本发明实施例的方法依然能够给出更合理的结果。通过重排序的方法,提高了物体 识别的精度。
[0106] 下面提供一优选的实施例来更好地说明本发明。如图2所示,该方法可以包括:
[0107] 步骤S202:对每个物体的RGB和深度图片分别提取三维卷积神经网络特征。
[0108] 步骤S204:利用双层的松弛置信度传播算法求解任意两个物体之间的密集匹配, 并且求取相似度分数。
[0109] 步骤S206:定义一系列融合比例,得到一系列的密集匹配子,并利用学习-融合策 略来最优化RGB和深度的融合。
[0110] 步骤S208:给定一个待查询样本,按照公式(7)求其与某个类别的投票值,并将投 票值最大的类别作为待查询样本的类别。
[0111] 上述方法实施例中将各个步骤按照上述先后次序的方式进行了描述,本领域技术 人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可 以同时执行或执行次序颠倒,这些简单的变化都在本发明的保护范围之内。
[0112] 基于与方法实施例相同的技术构思,本发明实施例还提供一种基于密集匹配子自 适应相似性度量的RGB-D物体识别装置30。如图3所示,该装置30至少可以包括:特征提取模 块32、密集匹配模块34、相似性度量模块36及分类模块38。其中,特征提取模块32用于提取 待查询物体和参考物体的卷积神经网络特征;密集匹配模块34用于基于卷积神经网络特 征,并融合RGB和深度信息,对参考物体和待查询物体进行密集匹配;相似性度量模块36用 于基于密集匹配的结果,度量参考物体和待查询物体之间的相似性;分类模块38用于基于 参考物体和待查询物体之间的相似性,对待查询物体进行分类。
[0113] 上述装置实施例可以用于执行上述方法实施例,其技术原理、所解决的技术问题 及产生的技术效果相似,所属技术领域的技术人员可以清楚地了解到,为描述的方便和简 洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘 述。
[0114]需要说明的是:上述实施例提供的基于密集匹配子自适应相似性度量的RGB-D物 体识别装置在进行物体识别时,仅以上述各功能模块的划分进行举例说明,在实际应用中, 可以根据需要而将上述功能分配由不同的功能模块来完成,即将装置的内部结构划分成不 同的功能模块,以完成以上描述的全部或者部分功能。
[0115]以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体 的个
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1