基于密集匹配子自适应相似性度量的rgb-d物体识别方法和装置的制造方法
【技术领域】
[0001] 本发明实施例涉及模式识别、机器学习、计算机视觉技术领域，尤其是涉及一种基 于密集匹配子自适应相似性度量的RGB-D物体识别方法和装置。
【背景技术】
[0002] 随着计算机运算能力的飞速提升，计算机视觉、人工智能、机器感知等领域也迅猛 发展。图像分类作为计算机视觉中的一个基本问题之一，也得到了长足的发展。图像分类就 是利用计算机对图像进行智能分析，进而判断图像所属的类别。传统的图像分类算法一般 仅仅依靠 RGB图片来对物体进行识别，很容易受到光线变化、物体颜色变化以及背景嘈杂的 干扰，在实际运用中很不鲁棒，精度也很难到用户需求。
[0003] 深度传感技术的发展，像微软的Kinect，能够捕捉到高精度的深度图片，很好地弥 补了传统的RGB图片的上述缺陷，为鲁棒性好、精度高的物体识别提供了可能性。在计算机 视觉和机器人领域，有大量的研究探索如何有效地利用RGB和深度信息来提高物体识别的 精度。这些算法基本上都可以归纳为模式识别中的三大环节:模式(特征)表达、相似性度量 和分类器设计。由于现在的特征表达方法基本上都是与输入无关的，无法自适应输入图片 中物体的任意尺度、视角和姿态，所以物体识别的鲁棒性差。
[0004] 有鉴于此，特提出本发明。
【发明内容】
[0005] 本发明实施例的主要目的在于提供一种基于密集匹配子自适应相似性度量的 RGB-D物体识别方法和装置，其至少部分地解决了如何提高物体识别的鲁棒性的技术问题。
[0006] 为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
[0007] -种基于密集匹配子自适应相似性度量的RGB-D物体识别方法，至少可以包括：
[0008] 提取待查询物体和参考物体的卷积神经网络特征；
[0009] 基于所述卷积神经网络特征，并融合RGB和深度信息，对所述参考物体和所述待查 询物体进行密集匹配；
[0010] 基于所述密集匹配的结果，度量所述参考物体和所述待查询物体之间的相似性；
[0011] 基于所述参考物体和所述待查询物体之间的相似性，对所述待查询物体进行分 类。
[0012] 进一步地，利用以下公式来对所述参考物体和所述待查询物体进行密集匹配：
[0013]
其中，示数据项；项； ：示平7目 i I 项;ti表示待查询物体中第i个像素点在参考物体中找到的对应像素点的位移量;tj表示待 查询物体中第j个像素点在参考物体中找到的对应像素点的位移量;Ddt)表示两个匹配的 像素点的卷积神经网络特征之间的差异;λ表示限定待查询物体中相邻像素点的结构关系 的一个阈值;α和β表示数据项、平移项和平滑项之间的加权系数。
[0014] 进一步地，所述数据项具体包括：
[0015] Di(ti) = 0 · [frgb(pi | Ir)-frgb(pi+ti | Iq) ] +
[0016] ；
[0017] (1-θ) · [fdepth(pi I Ir)-fdepth(pi+ti I Iq)].
[0018] 其中，5社(？」1<1)，5的(？」1:)是指待查询物体和参考物体的1^图片中第1个像素 点提取的卷积神经网络特征;fdepth(Pi I Iq)，fdepth(Pi I Ir)是指提取的深度特征；Θ是指RGB和 深度信息的融合系数。
[0019] 进一步地，所述度量所述参考物体和所述待查询物体之间的相似性，具体包括：
[0020] 利用以下公式来度量所述参考物体和所述待查询物体之间的相似性：
[0021]
[0022] 其中，γ表示尺度化因子;se(Ir|lq)表示参考物体和待查询物体之间的相似度分 数。
[0023] 进一步地，所述利用以下公式来度量所述参考物体和所述待查询物体之间的相似 性，
[0024] 还具体包括：
[0025]
Θ：-
[0026] 其中，80是指与其对应的相似度分数，训是指权重系数，b表示融合的偏差因子;w表 示融合的权重向量，Φ表示融合的分数向量。
[0027] 进一步地，所述W通过ranking SVM算法，并利用以下公式来求解：
[0028]
[0029] 其中，Ω二丨(/;.,/;+, 表示三元组数据库；h表示待查询物体;#表示与所示 待查询物体同类别的参考物体；7「表示与所示待查询物体不同类别的参考物体;ξ表示松弛 变量;C表示惩罚参数。
[0030] 进一步地，所述对待查询物体进行分类，具体包括：
[0031 ]利用以下公式来对所述待查询物体进行分类：
[0032]
[0033] 其中，It表示待查询物体;Ci表示检索的候选类的类别;Κ表示候选类中参考物体的 个数。
[0034] 根据本发明的另一个方面，还提供了一种基于密集匹配子自适应相似性度量的 RGB-D物体识别装置，所述装置至少包括：
[0035] 特征提取模块，用于提取待查询物体和参考物体的卷积神经网络特征；
[0036] 密集匹配模块，用于基于所述卷积神经网络特征，并融合RGB和深度信息，对所述 参考物体和所述待查询物体进行密集匹配；
[0037] 相似性度量模块，用于基于所述密集匹配的结果，度量所述参考物体和所述待查 询物体之间的相似性；
[0038] 分类模块，用于基于所述参考物体和所述待查询物体之间的相似性，对所述待查 询物体进行分类。
[0039] 与现有技术相比，上述技术方案至少具有以下有益效果：
[0040] 本发明实施例通过将卷积神经网络特征与RGB和深度信息相融合，来对参考物体 和待查询物体进行密集匹配，并基于该密集匹配的结果，度量参考物体和待查询物体之间 的相似性，再基于该相似性，对待查询物体进行分类。由此，能够很好地利用RGB和深度的互 补性，提高了物体识别的鲁棒性。
[0041] 当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
[0042]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明 书、权利要求书以及附图中所特别指出的方法来实现和获得。
[0043]需要说明的是，
【发明内容】
部分并非旨在标识出请求保护的主题的必要技术特征， 也并非是用来确定请求保护的主题的保护范围。所要求保护的主题不限于解决在【背景技术】 中提及的任何或所有缺点。
【附图说明】
[0044]附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性 实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图 仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他附图。在附图中：
[0045]图1为根据一示例性实施例示出的基于密集匹配子自适应相似性度量的RGB-D物