一种基于rgb-d数据的多目标检测与跟踪方法
【技术领域】
[0001] 本发明涉及一种多目标检测与跟踪技术方法，特别涉及一种基于RGB-D数据的多 目标检测与跟踪方法。
【背景技术】
[0002] 多目标检测是多目标跟踪的基础，如果单独在彩色图像中检测多个运动目标，很 容易造成漏检和误检，比如：当目标与背景的颜色十分相近时，会造成漏检；当多个目标前 后遮挡时，会被误检成一个目标。如果可以融合深度信息中的多目标检测结果，就可以在很 大程度上提高目标检测的准确率，为多目标跟踪提供更有利的前提条件。
[0003] 在复杂的视频监控环境中，运动目标之间会发生遮挡、碰撞等，运动目标的数目 也会不断变化。一些传统的多目标跟踪方法不能很好的解决这些问题，如：多假设跟踪 (Multiple Hypothesis Tracking，MHT)和联合概率分布滤波器（Joint Probabilistic Data Association Filter，JPDAF),无法解决多目标之间的交互问题。马尔科夫链蒙特卡 洛（Markov Chain Monte Carlo,MCMC)粒子滤波算法虽然可以很好的解决多目标之间的交 互问题，但是只能跟踪固定数目的目标。
[0004] 多目标检测与跟踪技术是计算机视觉领域的关键问题之一，在视频监控，机器人 导航，智能交通、驾驶员辅助系统等领域都有着广泛的应用。随着RGB-D摄像机技术的发 展，尤其是Kinect传感器的推出，使得同时获得高质量的彩色图像和深度图像成为现实。 深度信息可以改善多目标检测与跟踪的性能，但如何有效地融合彩色图像信息和深度信息 进行多目标检测，并且在检测的基础上实现多目标跟踪仍然是一项具有挑战性的研宄课 题。
【发明内容】
[0005] 本发明克服了现有技术中的缺点，提供一种基于RGB-D数据的多目标检测与跟踪 方法。
[0006] 为了解决上述存在的技术问题，本发明是通过以下技术方案实现的：
[0007] -种基于RGB-D数据的多目标检测与跟踪方法，其内容包括如下步骤：
[0008] -、有效的融合彩色图像信息和深度信息对运动目标进行检测；选取RGB图像和 深度图像的HOG直方图作为检测目标的特征，分类器选用支持向量机（Support Vector Machine，SVM)，检测策略选用滑动窗口搜索；
[0009] 将基于RGB图像的检测结果和基于深度图像的检测结果有效的融合起来，构建鲁 棒性更强的多目标检测算法：
[0010] 令矩阵表示RGB-D数据中的任意一帧，其中，If表示RGB图像，If表示 深度图像；表示基于RGB图像做目标检测时分类器的输出，hD(It)表示基于深度图像 做目标检测时分类器的输出；将分类器的输ahK(It)和hD(I t)映射为概率p(Yt|Xt, θκ)和 p(Yt|xt, 0D)：
[0011]
【主权项】
1. 一种基于RGB-D数据的多目标检测与跟踪方法，其特征在于该方法内容包括如下步 骤： 一、 有效的融合彩色图像信息和深度信息对运动目标进行检测；选取RGB图像和深度 图像的HOG直方图作为检测目标的特征，分类器选用支持向量机，检测策略选用滑动窗口 搜索； 将基于RGB图像的检测结果和基于深度图像的检测结果有效的融合起来，构建鲁棒性 更强的多目标检测算法： 令矩阵I, 表示RGB-D数据中的任意一帧，其中，If表示RGB图像，If表示深度 图像；hK(It)表示基于RGB图像做目标检测时分类器的输出，hD(I t)表示基于深度图像做 目标检测时分类器的输出；将分类器的输出hK(It)和hD(I t)映射为概率p(Yt|Xt, θ κ)和 p(Yt|Xt，0d)： 尸(Υ,|χ ,Α)?(/Λι)) ,Α) = Λ(Α0(Ι)) 其中，fK和fD分别表示基于RGB图像和深度图像的映射函数，θ凋θ D分别表示分类 器的参数，X, = P !，χ ?，......X ;v)(表示t时刻多目标的隐藏状态变量，X;表示第i个目标在3维 空间中的位置和速度，Yt= {Y i，Y2，…，YJ表示t时刻得到的一系列多目标的观测值； 将融合RGB图像和深度信息的多目标检测结果表示为概率： p (Yt I Xt, Θ) =kE (It) p (Yt I Xt, 0E)+kD(It)p(Yt|Xt, θΒ) 式中：kK(It) = l-kD(It)，kK(It)和kD(I t)分别表示给基于RGB图像和深度图像的检测 赋于的权重；当深度信息中的无效点数越多，kD(It)越小，kK(I t)越大； 由贝叶斯理论可知： P(XjYt) -P(YjXt) / p (Xt I Xt^1) p (Xt^11 YtJdXw 其中：P(YtIXt)表示观测似然模型，P(XtIXw)表示连续两帧的状态转移模型；第t帧目 标的最佳状态值可以通过最大后验概率估计得到，BP :
二、 将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建 合理的状态转移模型； 1、 观测似然模型 为了更好的衡量目标的有效性，将RGB图像和深度图像的目标检测结果有效的结合起 来构建观测似然方程； 2、 状态转移模型 状态转移模型的构建考虑两个方面的影响因素：t时刻目标的存在概率; 运动的平滑性Psfotim (XtIU :将状态转移模型定义为： p (Xt I Xh) = pExist (Xt I Xh) pMotion (Xt I Xh) ~m)=n ~《(md i 式中：i表示第彳目标；
运动先验Psfotim(Xt I XtJ能够描述为： 这里假设A&_(X卞服从高斯分布， 艮P :/w"" (Xtu) = ^XiiXU) 式中，Ψ是一个对角矩阵； 三、通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪； URJMCMC粒子滤波算法 RJMCMC通过定义多种可以互逆的运动类型来实现马尔科夫链中抽样维数的变化也是 可逆的； 在贝叶斯框架中，目标跟踪的问题被归结为最大后验概率估计问题，'用 RJMCMC粒子滤波算法估计后验概率p (Xt I Yt)，t时刻的后验概率可以用一系列马尔科夫链 离散抽样来近似表示： 式中N为抽样总数，X /为第j个抽样；如果给定t-Ι时刻的一系列采样，t时刻的后验 概率可以估计为： ρ(χ,|υ,)9(υ,|χ,)Σρ(χ ,|χ"） 7 ; 2、建议分布 在RJMCMC粒子滤波算法中，通过定义可逆跳的运动模式，在每次抽样前，选择一种运 动模式，按照每种运动模式的建议分布产生一个候选状态进行迭代；这里定义5种运动 模式，它们分别为：Leave和Stay，Add和Delete，Update ;每种运动模式对应的建议分布 g(X /+1，X /)，其中，x广为根据建议分布产生的新抽样； 5种运动模式的建议分布为： Leave :如果一个目标离开监控场景，则建议把该目标从目标集合中去除；假设有队个 在前一帧中出现而在本帧中未出现的目标，则以均匀概率4随机选择一个目标L，将其去 除；如果队=0,则建议分布为0,即：Leave动作的建议分布为：
Stay :是Leave的可逆动作，假设有队个未在本帧中出现且已经从删除的目标集 合中以均匀分布的概率随机选择一个目标S，重新加入到目标集合中；根据状态转移模型 和观测似然模型的混合模型来构建建议分布，这样会提高采样过程的鲁棒性；Stay动作的 建议分布为：
Add :当检测到一个新的目标时，则建议加入到目标集合；假设有乂个检测到的新目 标，则根据均勾分布选择一个目标A加入到目标集合;Add动作的建议分布为：
Delete :是Add的可逆动作，从Nd个已经检测到的并且已经在目标集合中的目标以概 率;^随机选择一个去除；Delete动作的建议分布为：
Update :Update动作是根据建议分布给目标分配一个新的位置，一个Update动作可以 和另外一个Update动作互为可逆动作Update动作的建议分布为：
式中，X Γ"表示目标i更新的状态，《"表示随机噪声，N( ·)表示高斯分布函数； 根据Metropolis-Hastings算法，一个新的抽样X广的接受率为：
【专利摘要】本发明公开了一种基于RGB-D数据的多目标检测与跟踪方法，其内容是：有效的融合彩色图像信息和深度信息对运动目标进行检测；将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建合理的状态转移模型；通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪。本发明通过融合RGB图像和深度图像的信息来对多目标进行检测，降低漏检率和误检率.利用RJMCMC粒子滤波算法实现多目标跟踪，通过设定合理的可逆跳动作，选择相应的建议分布，不但可以解决多目标之间的遮挡和交互，还可以处理多目标数目发生变化的问题。
【IPC分类】G06T7-20
【公开号】CN104732559
【申请号】CN201510054639
【发明人】姜明新
【申请人】大连民族学院
【公开日】2015年6月24日
【申请日】2015年2月2日