本发明属于计算机视觉
技术领域：
，具体地涉及一种基于边缘置信度的三维物体跟踪方法。
背景技术：
：三维物体跟踪能够连续获得三维物体与相机之间的空间位置关系，是计算机视觉中的一项重要任务。目前三维跟踪已经有着广泛的应用场景，例如工业制造、医学诊断、娱乐游戏、机器人等领域。三维物体跟踪根据使用的图像特征类型不同，可以大致分为三类：基于特征点的方法，基于区域的方法和基于边缘的方法。基于特征点的方法需要在图像上检测稳定的尺度不变特征变换(scale-invariantfeaturetransform，sift)和快速特征点提取和描述的算法(orientedfastandrotatedbrief，orb)特征点，并根据特征点间的对应关系获得较为鲁棒稳定的位姿参数。当物体没有纹理或纹理较弱时，不足以提取稳定特征点，会使该类方法失效。目前，无纹理或弱纹理物体的跟踪则仍然面临诸多挑战，其面对的主要问题是无法建立特征点之间准确的对应关系。目前适用于无纹理或弱纹理物体的跟踪方法是基于区域的方法和基于边缘的方法。基于区域的方法通过最大化前景和背景的颜色差异求解最优位姿参数，其划分前背景区域的过程也是隐式寻找物体轮廓的过程，在背景复杂场景的跟踪中更加具有优势，该类方法根据前背景颜色建立颜色概率模型，因此在一些复杂情况，例如前背景颜色相似、光照变化剧烈等场景，会导致图像颜色变化剧烈，使颜色模型不能及时更新导致跟踪失败。基于边缘的方法使用边缘特征找到物体的三维模型轮廓点与二维图像轮廓点的对应关系，通过最小化三维轮廓点的重投影误差迭代计算出物体的最优位姿参数，该类方法所涉及的采样点较少，因此具有显著的速度优势；但是该类方法依赖于图像轮廓点的匹配效果，当背景存在大量复杂边缘或物体被遮挡时，现有方法容易产生大量错匹配的物体轮廓点，导致跟踪偏移和失败。虽然，目前一些方法使用局部颜色特征提高物体轮廓点的匹配精度，但是这些方法仅仅使用简单的全局颜色直方图描述轮廓点附近的颜色信息，并不能准确描述复杂前景和背景局部区域的颜色信息。另外，现有方法使用轮廓点的距离特征来判断轮廓点是否被错匹配，并对轮廓点的能量项进行加权，但是当物体存在结构复杂或快速运动时，仅仅使用距离特征并不能有效区分错匹配轮廓点，导致复杂场景和物体快速运动情况下跟踪的稳定性和准确性较差，不能满足增强现实的应用需求。技术实现要素：针对现有技术中存在的问题，本发明提供了一种基于边缘置信度的三维物体跟踪方法，该三维物体跟踪方法在融合边缘的颜色特征和边缘特征，解决了单类特征在特定场景下可能失效的问题。为实现上述目的，本发明采用如下技术方案：一种基于边缘置信度的三维物体跟踪方法,具体包括如下步骤：(1)将跟踪物体的三维模型投影到第一帧图像上，在三维模型投影的轮廓附近采用若干个局部圆形区域，根据圆形区域内的第一帧图像的像素颜色建立对应的前景区域颜色模型和背景区域颜色模型；(2)根据第一帧位姿将物体投影到第一帧图像上，得到投影轮廓点，过任一投影轮廓点，在垂直于三维模型投影轮廓的方向上构造法相搜索线，每条法相搜索线上包括：投影轮廓点、前景点和背景点；(3)使用canny边缘检测算法提取第一帧图像中纹理边缘，将与法相搜索线相交的纹理边缘点作为候选点；(4)分别根据前景区域颜色模型和背景区域颜色模型计算每个候选点属于前景边缘点概率、属于背景边缘点概率和属于物体轮廓点的概率，并保留属于物体轮廓点的概率大于属于前景边缘点概率且属于物体轮廓点的概率大于属于背景边缘点概率的候选点；(5)对步骤(4)保留的每个候选点，结合颜色特征置信度和距离特征置信度计算该候选点属于物体轮廓点的置信度，找到与每条法相搜索线上置信度最大的候选点相匹配的跟踪物体轮廓点；(6)根据步骤(5)得到的跟踪物体轮廓点和投影轮廓点，最小化跟踪物体轮廓点对应的能量函数，估计出第二帧最优位姿；(7)利用步骤(6)估计出第二帧最优位姿重复步骤(2)-(6)，进行三维物体跟踪。进一步地，候选点属于物体轮廓点的概率p(hij|c)的计算过程为：其中，hij表示第i条搜索线上的第j个候选点，pf(x)表示法相搜索线上采样点x处的颜色值属于前景区域的概率，pb(x)表示法相搜索线上采样点x处的颜色值属于背景区域的概率，表示候选点hij的左侧区域，表示候选点hij的右侧区域。进一步地，候选点属于前景边缘点概率p(hij|f)的计算过程为：进一步地，候选点属于背景边缘点概率p(hij|b)的计算过程为：进一步地，步骤(5)中距离特征置信度wd(hij)具体为：其中，d(hij)为候选点与投影轮廓点在图像上的欧氏距离，当d(hij)大于阈值λd时，表示该候选点为干扰点,将置信度wd(hij)设置为0。进一步地，步骤(5)中颜色特征置信度具体为：wc(hij)＝[1-(1-p(hij|c))2]2(5)进一步地，该候选点属于物体轮廓点的置信度w(hij)的计算过程为：w(hij)＝wd(hij)wc(hij)(6)进一步地，所述能量函数e(ξ)为：其中，ni表示法向搜索线li的方向向量，w(si)表示物体轮廓点si的权重；c表示物体模型的投影轮廓；表示最优位姿。与现有技术相比，本发明的有益效果是：1.本发明提供的一种基于边缘置信度的三维物体跟踪方法。结合边缘点的颜色特征和距离特征计算候选边缘点的边缘置信度，解决单类特征在物体轮廓点匹配和位姿参数优化中可能失效的问题。使用边缘置信度进行三维物体跟踪以应对各种复杂的场景，将颜色特征和距离特征融合可以应用于不同的场景，提高了跟踪鲁棒性。2.本发明使用候选边缘点的颜色特征滤除非物体轮廓点：颜色特征涉及的采样点为物体轮廓周围的区域点，同时包括前景点和背景点；不同于以往方法在所有候选边缘点中搜索匹配物体轮廓点。本发明考虑候选轮廓点附近的颜色特征计算其属于前景边缘点，背景边缘点和物体轮廓的概率，通过比较这三个概率滤除非物体轮廓点，解决非物体轮廓点容易干扰物体轮廓点搜索和位姿参数优化的问题。3.本发明中边缘置信度的加入可以极大提高边缘匹配的精度，边缘置信度结合边缘点的颜色特征和距离特征，可以评判搜索线上所有候选边缘点属于物体轮廓点的置信度，解决以往方法仅使用边缘点的距离特征导致大量错匹配轮廓点的问题。4.本发明提供的跟踪方法中，依据边缘置信度计算每个物体轮廓点的权重，根据轮廓点的置信度动态调整其参与位姿优化的权重，可以屏蔽低置信度的错匹配轮廓点带来的负面影响，提高位姿参数优化的精度。5.本发明通过在物体轮廓点匹配和位姿参数优化阶段使用边缘置信度，能够完成在复杂场景下(如复杂背景，前背景颜色相似，快速移动造成的运动模糊，光照变化等)的三维物体跟踪；其跟踪速度约为30帧每秒，满足实时性要求。具体实施方式本发明提供了一种基于边缘置信度的三维物体跟踪方法,具体包括如下步骤：(1)将跟踪物体的三维模型投影到第一帧图像上，在三维模型投影的轮廓附近采用若干个局部圆形区域，根据圆形区域内的第一帧图像的像素颜色建立对应的前景区域颜色模型和背景区域颜色模型，前景区域颜色模型和背景区域颜色模型使用颜色直方图建立，表示不同颜色在局部区域中所占的比例。(2)前景区域和背景区域的交界曲线为物体轮廓，根据第一帧位姿将物体投影到第一帧图像上，得到投影轮廓点，过投影轮廓上任一投影轮廓点mi，在垂直于三维模型投影轮廓的方向上构造法相搜索线li，每条法相搜索线上包括17个采样点，具体为：1个投影轮廓点、8个前景点和8个背景点。(3)使用canny边缘检测算法提取第一帧图像中纹理边缘，将与法相搜索线li相交的纹理边缘点作为候选点hij；(4)分别根据前景区域颜色模型和背景区域颜色模型计算每个候选点hij属于前景边缘点概率p(hij|f)、属于背景边缘点概率p(hij|b)和属于物体轮廓点的概率p(hij|c)，并保留属于物体轮廓点的概率p(hij|c)大于属于前景边缘点概率p(hij|f)且属于物体轮廓点的概率p(hij|c)大于属于背景边缘点概率p(hij|b)的候选点；在复杂场景和局部遮挡情况下，图像中存在大量非物体轮廓干扰点，此类干扰点严重影响物体轮廓点搜索结果。本发明使用局部区域颜色模型计算边缘点分别属于前景，背景和物体轮廓的概率，通过概率比对滤除复杂前景和背景中的非物体轮廓点，避免干扰点影响物体轮廓点搜索。所述候选点属于物体轮廓点的概率p(hij|c)的计算过程为：其中，hij表示第i条搜索线上的第j个候选点，pf(x)表示法相搜索线上采样点x处的颜色值属于前景区域的概率，pb(x)表示法相搜索线上采样点x处的颜色值属于背景区域的概率，表示候选点hij的左侧区域，由3个连续搜索线采样点{xi,j-1,xi,j-2,xi,j-3}组成，表示候选点hij的右侧区域，由3个连续搜索线采样点{xi,j+1,xi,j+2,xi,j+3}组成。所述候选点hij属于前景边缘点概率p(hij|f)的计算过程为：所述候选点hij属于背景边缘点概率p(hij|b)的计算过程为：(5)对步骤(4)保留的每个候选点hij，结合颜色特征置信度wc(hij)和距离特征置信度wd(hij)计算该候选点属于物体轮廓点的置信度w(hij)，找到与每条法相搜索线li上置信度最大的候选点hij相匹配的跟踪物体轮廓点mi；本发明中，使用候选点hij颜色特征置信度wc(hij)，可以滤除大部分前景区域和别境区域中的非物体轮廓边缘点。结合候选点hij的颜色特征置信度wc(hij)和距离特征置信度wd(hij)计算候选边缘点属于轮廓点的置信度，可以明显提高物体轮廓点的匹配精度。所述距离特征置信度wd(hij)具体为：其中，d(hij)为候选点与投影轮廓点在图像上的欧氏距离，对d(hij)较大的候选点hij的设置较低的置信度，可以在轮廓点匹配和位姿参数优化中屏蔽低质量的非物体轮廓干扰点带来的负面影响。当d(hij)大于阈值λd时，表示该候选点离投影轮廓点过远，表示该候选点为干扰点,将置信度wd(hij)设置为0。所述颜色特征置信度wc(hij)具体为：wc(hij)＝[1-(1-p(hij|c))2]2(5)对p(hij|c)较小的候选点hij的设置较低的置信度，可以在轮廓点匹配和位姿参数优化中屏蔽非物体轮廓干扰点带来的负面影响。所述候选点属于物体轮廓点的置信度w(hij)的计算过程为：w(hij)＝wd(hij)wc(hij)(6)(6)根据步骤(5)得到的跟踪物体轮廓点和投影轮廓点，最小化跟踪物体轮廓点对应的能量函数e(ξ)，估计出第二帧最优位姿；使用物理轮廓点的置信度对轮廓点的能量项进行加权，可以极大降低错匹配物理轮廓点对位姿参数优化的负面影响，极大地提高了本发明方法的稳定性。所述能量函数e(ξ)为：其中，ni表示法向搜索线li的方向向量，w(si)表示物体轮廓点si的权重；c表示物体模型的投影轮廓；表示最优位姿。(7)利用步骤(6)估计出第二帧最优位姿重复步骤(2)-(6)，进行三维物体跟踪。实施例针对本发明提供的三维物体跟踪方法进行准确率的测试，采用的数据集为rbot数据集[h.tjaden,u.schwanecke,e.schomer,andd.cremers.aregion-basedgauss-newtonapproachtoreal-timemonocularmultipleobjecttracking.ieeetransactionsonpatternanalysisandmachineintelligence,2019.]，该数据集利用相机拍摄的真实场景作背景,将渲染的虚拟物体叠加到真实背景上得到带基准位姿，是首个摄像机与物体同时运动的三维跟踪数据集。rbot数据集中包含18个物体的三维模型，4种运动模式(常规模式，regular；动态光照模式，dynamiclight；噪声和动态光照模式，noisy+dynamiclight；遮挡模式，occlusion)，共72个视频序列，每个视频序列包含1001帧图像。表1为在使用不同边缘点特征在不同运动模式下的跟踪准确率，表1中数值表示所有模型视频序列跟踪准确率的平均值。其中cs列为单独使用颜色特征进行物体轮廓点搜索，选取属于物体轮廓概率最大的候选边缘点为匹配的物体轮廓点；cds列为结合颜色特征和距离特征计算边缘置信度，并选取边缘置信度最大的候选边缘点为匹配的物体轮廓点；dw列为单独使用颜色特征对轮廓点的能量项进行加权；cdw列为结合颜色特征和距离特征计算边缘置信度，并使用边缘置信度对轮廓点能量项进行加权。表1：使用不同边缘点特征在不同运动模式下的跟踪准确率使用置信度cscdsdwcdw常规模式73.476.882.186.9动态光照模式72.676.682.487.3噪声和动态光照模式44.949.659.265.0遮挡模式71.674.678.784.9根据表1可以看出，在物体轮廓点匹配阶段，使用边缘置信度(cds列)，不论那种模式，准确率都高于单独使用颜色特征(cs列)进行轮廓点匹配的跟踪结果，说明了结合颜色特征和距离特征的置信度可以提高轮廓点匹配精度，进而提高位姿优化精度。在位姿参数优化阶段，使用边缘置信度(cdw列)进行轮廓点能量项加权，不论那种模式，准确率都高于单独使用距离特征(dw列)进行能量项加权的跟踪结果，说明了使用置信度进行能量项加权可以提高轮位姿参数优化精度。另外，在有轮廓点能量项加权的情况下(dw列和cdw列)，其准确率都高于没有能量项加权的情况(cs列和cds列)。本发明通过在物体轮廓点匹配和位姿参数优化阶段使用置信度融合边缘点的颜色特征和距离特征，能够完成在复杂场景下(如复杂背景，前背景颜色相似，快速移动造成的运动模糊，光照变化等)的三维物体跟踪；其跟踪速度约为30帧每秒，满足实时性要求。对比例采用tjaden等提出的方法，基于区域的方法，仅使用颜色信息，建立前景颜色模型与背景颜色模型，通过最大化前景与背景之间的颜色差异得到最优位姿。[h.tjaden,u.schwanecke,e.schomer,andd.cremers.aregion-basedgauss-newtonapproachtoreal-timemonocularmultipleobjecttracking.ieeetransactionsonpatternanalysisandmachineintelligence,2019.]。在rbot数据上将本发明提供的三维物体跟踪方法与对比例提供的跟踪方法进行对比，实验结果如表2所示，从表2中可以看出，本发明提供的三维物体跟踪方法全面优于对比例提供的跟踪方法，针对猩猩、饮料罐、虎钳、果汁饮料瓶、相机、喷壶、猫、小丑玩具、正方体、电钻、鸭子、鸡蛋盒、胶水瓶、电熨斗、糖果盒、台灯、电话和松鼠18中模型的跟踪准确率，在常规、动态光照和噪声模式下，平均提高7％，在遮挡模式下准确率平均提高10％。表2：本发明提供的三维物体跟踪方法与对比实验提供的跟踪方法跟踪准确率对比综上可知，本发明提供的跟踪算法使用边缘置信度，融合了图像边缘点的距离特征和颜色特征，解决复杂背景和遮挡环境下轮廓点容易错匹配的问题。通过边缘置信度对每个轮廓点的能量项加权，降低复杂背景边缘点和被遮挡物体轮廓点在姿态优化中的权重，解决了姿态优化方法容易受干扰点影响的问题，极大地提高了对物体跟踪的稳定性和准确性。当前第1页12