一种基于语境信息进行视点估计的方法与流程

本发明涉及图像识别领域，尤其是涉及了一种基于语境信息进行视点估计的方法。

背景技术：

图像识别常用于海洋、智能仓储、智能交通监控以及娱乐等领域，捕捉目标信息，分析转化为可读结果。具体地，在海洋应用中，基于视觉的图像识别可以对浮游生物进行识别和现场监测，并且能够实现对赤潮的预测。智能仓储中，分拣机器人对不同货物进行识别，从而快速进行分类放入不同货仓。智能交通监控领域内，图像识别往往用于识别和检测路上车辆或行人，从而检索并跟踪目标车辆或人物。除此之外，图像识别已经用于满足人们娱乐需求，帮用户找到与其长相最匹配的明星等。虽然现有方法在观察对象特征和分析已满足一定的准确性，但是目前方法多数只考虑局部信息，而忽略空间一致性，从而导引起估计误差，导致对特定场景中的部分目标无法进行准确的识别和检测。

本发明提出了一种基于语境信息进行视点估计的方法，利用场景中其他对象的信息进行视点估计。首先，给定一幅图像，运行视点感知对象检测器来收集一组具有类标签和预测的离散观点的对象假设，接着定义所有对象假设之间的成对关系，对于每个对象假设，使用其他对象假设的语境信息作为来源估计其语境响应，最后将由视点感知对象检测器提供的局部响应与语境响应相结合以获得最终视点估计。本发明突破了现有方法仅考虑局部信息的局限，基于语境信息减少视点估计误差，并且在包含大量对象实例的场景中依然表现出优异的性能，改善了对象视点估计，使得图像检测在不同场景下依然保持高准确度，同时大大提高信息检索效率。

技术实现要素：

针对现有方法仅考虑局部信息的问题，本发明的目的在于提供一种基于语境信息进行视点估计的方法，基于语境信息减少视点估计误差，并且在包含大量对象实例的场景中依然表现出优异的性能，改善了对象视点估计，使得图像检测在不同场景下依然保持高准确度，同时大大提高信息检索效率。

为解决上述问题，本发明提供一种基于语境信息进行视点估计的方法，其主要内容包括：

(一)对象检测；

(二)定义对象关系；

(三)基于语境的视点分类；

(四)谨慎推理；

(五)视点估计。

其中，所述的对象检测，使用三个不同的视点感知检测器，其中两个是可变形部件模型(dpm)检测器的变形，其中模型的特定部分被学习从而对每个离散的视点进行分类，是通过卷积神经网络(cnn)执行基于最先进的基于学习表示方法实现的，该检测由一个更快的rcnn检测器组成，用于局部对象实例，结合微调的cnnalexnet架构对预测对象边界框的视点进行分类。

其中，所述的定义对象关系，首先对象和关系的表示方式给出定义，给定图像，使用视点感知对象检测器来收集一组对象假设o＝(o1，o2，...，om)的感兴趣类别，每个对象假设oi被表示为元组oi＝(ci，li，fi，si)，其中ci表示对象的类别，li表示场景中对象边界框的中心位置，fi表示附加的对象相关特征(例如纵横比或尺寸)，以及si表示由检测器报告的局部检测得分，另外每个假设都具有预测的离散观点αi，使用o^v表示预测的对象假设的状态，o⁺表示对象假设被正确定位，即它们的预测边界框覆盖有效的对象实例，用o^-代表错误的对象假设，同样使用α^ω指示预测视点的状态，α⁺和α^-来表示对象的视点α的预测是否正确，最后用将预测的视点类与其状态相结合，即

进一步地，所述的成对关系，将对象之间的关系用作语境信息的来源，从覆盖对象的边界框导出得到相对属性来定义成对关系，对象是投影在图像空间中的二维实体，对于每个对象oi，测量其与每个其他对象oj的相对位置(rxij，ryij)，相对比例rsij和视点αj，生成一个关系描述符rij＝(rxij，ryij，rsij，αj)，将下面的成对关系的相对属性定义为：其中(xi，yi，wi，hi)定义了对象oi的边界框的中心、宽度和高度，产生由五个属性定义的成对关系，每个图像的成对关系的数量关于对象的数量具有二次生长，更确切地说，对于具有m个对象的图像，被提取出总共(m(m-1))个成对关系。

其中，所述的基于语境的视点分类，估计对象oi的视点αi使对象oi在给定邻域的似然性最大化：

对象的组拟合通过加权投票关系邻域(wvrn)分类器的输出来测量，该输出是针对特定任务定义的，如下所示：

其中，wj是考虑到对象检测器中的噪声所添加的加权项，原v(oi，oj)被定义为表示类别ci的对象oi代表正确预测的视点的假设是真实的概率，给定其与对象oj的关系rij，使用贝叶斯规则，将作为后验：

其中rij是训练过程中，在注释对象之间计算得出的成对关系。

进一步地，所述的对象的组拟合，基于每个对象oi与语境中的所有其他对象oj的关系来估计该对象的响应，使用加权投票关系邻域分类器(wvrn)获得该语境响应，wvrn能够利用网络数据之间的底层结构，以节点为中心的方式运行，即基于语境中的对象oj一次处理一个对象oi，利用wvrn分类器计算语境分数：

其中z＝∑wj是归一化项，v(oi，oj)测量给定对象oi与oj的关系的似然性，加权因子wj用于调制邻居oj的作用，因此等式(1)被重新定义为：

分类器对视点αi的预测感兴趣，所以在等式中明确添加视点αi。

进一步地，所述的后验，在训练集上运行局部检测器扩展对象和关系的集合，为避免重复的对象实例，通过相应注释，用正确预测的视点替换真实假设同样地，用相应注释产生的这些正确假设来代替这些正确的假设所产生的关系，将假设整合到训练数据中的这一步骤，允许对由局部检测器引入的关系rij中的噪声建模，产生了一组对象oi，其对应的成对关系r＝(rij)，利用以上信息可以通过核密度估计(kde)估计概率密度函数(pdf)，最后，在测试期间，通过在关系rij定义的测试点处评估pdf来计算和其中关系rij在对象假设之间计算可得。

进一步地，所述的加权项，等式(2)的加权项wj考虑了由(预测邻近对象oj中的)对象检测器引入的噪声，使用概率局部分类器估计wj，该概率局部分类器考虑了由各自假设oj的对象检测器提供的分数sj，该分类器的输出将是对象oj的后验类别cj被正确定位具有正确预测的视点给定其分数sj，计算此后验：

该方程的分量获得途径类似于等式(3)，每个点被分别分配了标签o⁺，o^-，基于这些标记的假设，分别通过kde计算条件概率以及最后，根据训练数据中的每个类别估计先验以及作为标记假设的相应比例，根据检测分数，表示假设正确的概率。

其中，所述的谨慎推理，对于第一个原则，与最确定的对象相关，针对假设o＝(o1，...，on)，分别定义包含已知和未知对象的互不相交的集合o^k和o^u，其中o＝o^k∪o^u，在推推理中，初始化o^k＝{}和o^u＝o，并将其标记为已知对象，基于概率局部分类器(等式(6))得到具有最高分数的假设，该假设被移动到已知对象的集合o^k，接着重新估计每个未知对象oi∈o^u的wvrn得分，仅考虑其语境ni中的已知对象oj∈o^k，按以下方式重新定义等式(4)：

将具有最高wvrn响应的假设标记为已知，并将其移动到已知对象集o^k，重复此过程，一次提升一个假设oi∈o^u，直到一组未知对象o^u为空，最后，为了在新分数排名中保证相似性，使用等式(7)将第二个被提升的对象作为已知的语境对象，重新估计第一个对象的得分，使用kde来估计每个语境对象oj的投票

其中，所述的视点估计，对于每个假设oi，一方面，它的局部响应包括视点αi和对象检测器仅基于局部特征得到的评分si，另一方面，在不同的视点上，通过关系响应(等式(5))定义其语境响应两个响应ψ^l和ψ^c之间互补，虽然局部响应ψ^l提出对内在对象特征的决定，但是语境响应ψ^c以这样一种方式来提取决策，使得被分类的对象适应于图像中的对象组，为了在这些响应之间找到平衡，对每个假设oi，构建一个耦合响应向量并估计对象的视点为：

其中f是从耦合响应向量训练的多类分类器，从验证集收集的对象假设中提取的视点注释对(ψi，α)。

附图说明

图1是本发明一种基于语境信息进行视点估计的方法的系统流程图。

图2是本发明一种基于语境信息进行视点估计的方法的语境分析图例。

图3是本发明一种基于语境信息进行视点估计的方法的集体分类原理图。

图4是本发明一种基于语境信息进行视点估计的方法的关系推理的类型。

图5是本发明一种基于语境信息进行视点估计的方法的关系提取图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于语境信息进行视点估计的方法的系统流程图。主要包括对象检测、定义对象关系、基于语境的视点分类、谨慎推理、视点估计。

其中，所述的对象检测，使用三个不同的视点感知检测器，其中两个是可变形部件模型(dpm)检测器的变形，其中模型的特定部分被学习从而对每个离散的视点进行分类，是通过卷积神经网络(cnn)执行基于最先进的基于学习表示方法实现的，该检测由一个更快的rcnn检测器组成，用于局部对象实例，结合微调的cnnalexnet架构对预测对象边界框的视点进行分类。

其中，所述的定义对象关系，首先对象和关系的表示方式给出定义，给定图像，使用视点感知对象检测器来收集一组对象假设o＝(o1，o2，...，om)的感兴趣类别，每个对象假设oi被表示为元组oi＝(ci，li，fi，si)，其中ci表示对象的类别，li表示场景中对象边界框的中心位置，fi表示附加的对象相关特征(例如纵横比或尺寸)，以及si表示由检测器报告的局部检测得分，另外每个假设都具有预测的离散观点αi，使用o^v表示预测的对象假设的状态，o⁺表示对象假设被正确定位，即它们的预测边界框覆盖有效的对象实例，用o^-代表错误的对象假设，同样使用α^ω指示预测视点的状态，α⁺和α^-来表示对象的视点α的预测是否正确，最后用将预测的视点类与其状态相结合，即

进一步地，所述的成对关系，将对象之间的关系用作语境信息的来源，从覆盖对象的边界框导出得到相对属性来定义成对关系，对象是投影在图像空间中的二维实体，对于每个对象oi，测量其与每个其他对象oj的相对位置(rxij，ryij)，相对比例rsij和视点αj，生成一个关系描述符rij(rxij，ryij，rsij，αj)，将下面的成对关系的相对属性定义为：其中(xi，yi，wi，hi)定义了对象oi的边界框的中心、宽度和高度，产生由五个属性定义的成对关系，每个图像的成对关系的数量关于对象的数量具有二次生长，更确切地说，对于具有m个对象的图像，被提取出总共(m(m-1))个成对关系。

其中，所述的基于语境的视点分类，估计对象oi的视点αi使对象oi在给定邻域的似然性最大化：

对象的组拟合通过加权投票关系邻域(wvrn)分类器的输出来测量，该输出是针对特定任务定义的，如下所示：

其中，wj是考虑到对象检测器中的噪声所添加的加权项，原v(oi，oj)被定义为表示类别ci的对象oi代表正确预测的视点的假设是真实的概率，给定其与对象oj的关系rij，使用贝叶斯规则，将作为后验：

其中rij是训练过程中，在注释对象之间计算得出的成对关系。

进一步地，所述的对象的组拟合，基于每个对象oi与语境中的所有其他对象oj的关系来估计该对象的响应，使用加权投票关系邻域分类器(wvrn)获得该语境响应，wvrn能够利用网络数据之间的底层结构，以节点为中心的方式运行，即基于语境中的对象oj一次处理一个对象oi，利用wvrn分类器计算语境分数：

其中z＝∑wj是归一化项，v(oi，oj)测量给定对象oi与oj的关系的似然性，加权因子wj用于调制邻居oj的作用，因此等式(1)被重新定义为：

分类器对视点αi的预测感兴趣，所以在等式中明确添加视点αi。

进一步地，所述的后验，在训练集上运行局部检测器扩展对象和关系的集合，为避免重复的对象实例，通过相应注释，用正确预测的视点替换真实假设同样地，用相应注释产生的这些正确假设来代替这些正确的假设所产生的关系，将假设整合到训练数据中的这一步骤，允许对由局部检测器引入的关系rij中的噪声建模，产生了一组对象oi，其对应的成对关系r＝(rij)，利用以上信息可以通过核密度估计(kde)估计概率密度函数(pdf)，最后，在测试期间，通过在关系rij定义的测试点处评估pdf来计算和其中关系rij在对象假设之间计算可得。

进一步地，所述的加权项，等式(2)的加权项wj考虑了由(预测邻近对象oj中的)对象检测器引入的噪声，使用概率局部分类器估计wj，该概率局部分类器考虑了由各自假设oj的对象检测器提供的分数sj，该分类器的输出将是对象oj的后验类别cj被正确定位具有正确预测的视点给定其分数sj，计算此后验：

该方程的分量获得途径类似于等式(3)，每个点被分别分配了标签o⁺，o^-，基于这些标记的假设，分别通过kde计算条件概率以及最后，根据训练数据中的每个类别估计先验以及作为标记假设的相应比例，根据检测分数，表示假设正确的概率。

其中，所述的谨慎推理，对于第一个原则，与最确定的对象相关，针对假设o＝(o1，...，on)，分别定义包含已知和未知对象的互不相交的集合o^k和o^u，其中o＝o^k∪o^u，在推推理中，初始化o^k＝{}和o^u＝o，并将其标记为已知对象，基于概率局部分类器(等式(6))得到具有最高分数的假设，该假设被移动到已知对象的集合o^k，接着重新估计每个未知对象oi∈o^u的wvrn得分，仅考虑其语境ni中的已知对象oj∈o^k，按以下方式重新定义等式(4)：

将具有最高wvrn响应的假设标记为已知，并将其移动到已知对象集o^k，重复此过程，一次提升一个假设oi∈o^u，直到一组未知对象o^u为空，最后，为了在新分数排名中保证相似性，使用等式(7)将第二个被提升的对象作为已知的语境对象，重新估计第一个对象的得分，使用kde来估计每个语境对象oj的投票

其中，所述的视点估计，对于每个假设oi，一方面，它的局部响应包括视点αi和对象检测器仅基于局部特征得到的评分si，另一方面，在不同的视点上，通过关系响应(等式(5))定义其语境响应两个响应ψ^l和ψ^c之间互补，虽然局部响应ψ^l提出对内在对象特征的决定，但是语境响应ψ^c以这样一种方式来提取决策，使得被分类的对象适应于图像中的对象组，为了在这些响应之间找到平衡，对每个假设oi，构建一个耦合响应向量并估计对象的视点为：

其中f是从耦合响应向量训练的多类分类器，从验证集收集的对象假设中提取的视点注释对(ψi，α)。

图2是本发明一种基于语境信息进行视点估计的方法的语境分析图例。对象在这个世界上发生的自然或“所需”的配置，经常为此对象的身份提供很强的线索，例如只看场景中的其他物体，也不难猜出白色区域所覆盖的物体的视点。首先对关系信息最确定的对象的视点进行分类，然后使用它们来引导对其他对象的预测。即使不能访问诸如颜色或纹理的对象的内在特征，周围对象的总体配置提供了强烈的提示来预测其视点。

图3是本发明一种基于语境信息进行视点估计的方法的集体分类图示。集体分类是机器学习和数据挖掘中的一个常见问题，其中数据采用图形的形式，任务是在使用网络结构的同时预测图中节点的类，以及几个示例分类节点。图中所示即为基于特定对象oi(灰色)与其邻近对象oj的关系rij来处理oi的分类。给定对象假设o，对于每个对象oi，定义它与其邻域ni中的每个对象oj的成对关系rij。为了简单起见，设置ni等于图像中每个其他对象组成的集合，则每个图像对应产生总共(m(m-1))个成对关系，其中m是图像中的对象的总数。

图4是本发明一种基于语境信息进行视点估计的方法的关系推理的类型。图中a为视点感知对象检测假设(以量表刻度编码的分数)，b积极推理，c-e谨慎推理。对象对箭头指向的另一个对象产生影响。实体框表示已知对象，虚线框表示要进行分类的对象假设。考虑一个由视点感知检测器产生的假设如(a)所示。检测分数均以量表刻度编码，并且假设位于灰色区域比黑色区域具有更高的分数。由于有三个对象假设，所以在谨慎推理过程中会有三个步骤。第一步，灰色的假设被提升为已知对象(c)，使其成为其他对象语境信息的有效来源(d)。在第二步中，假设最初为黑色，具有较高的关系得分者被提升为已知对象。同理此假设成为剩余假设的语境来源。此外，第二个提升的假设将被用于重新估计第一个假设。最后，通过将所有已知的假设作为语境，估计得到最初的白色假设(e)。

图5是本发明一种基于语境信息进行视点估计的方法的关系提取图。给定场景中的一组对象，通过从覆盖对象的边界框导出得到相对属性来定义成对关系。物体是投影在图像空间中的二维实体。给定一组对象o＝(o1，o2，...，om)，对于每个对象oi，我们测量其与每个其他对象oj的相对位置(rxij，ryij)，相对比例rsij和视点αj，生成一个关系描述符rij＝(rxij，ryij，rsij，αj)，见图5。将下面的成对关系的相对属性定义为：其中(xi，yi，wi，hi)定义了对象oi的边界框的中心、宽度和高度。产生由五个属性定义的成对关系。每个图像的成对关系的数量关于对象的数量具有二次生长，更确切地说，对于具有m个对象的图像，被提取出总共(m(m-1))个成对关系。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。