专利名称：移动物体侦测装置与方法
技术领域：
本发明是关于 一 种移动物体侦测装置与方法
(Moving Object Detection Apparatus And Method)。
背景技术：
移动物体侦测在自动化监控系统(surveillance system)中扮演相当重要的角色，监控系统由分析监 控画面内移动物体轨迹与行为，得以侦测异常保全事 件的发生，并有效通知安全人员进行处理。服务型保 全(security)机器人的发展趋势，正朝向提供机器 人智能型保全异常事件侦测能力，以支持动态部署， 协助监控系统执行长时间、重复性且无间断的监控任 务，以取代只能消极的录像存证，无法主动监控与侦 测异常保全事件的监控保全系统。
例如，美国专利号6 8 6 7 7 9 9的文献揭露里， 于移动式摄影机的对象侦测系统中，建立 一 个可持续 保持特定的移动对象在摄影机监控画面区域内的监控机制。可根据使用者所指定的移动对象区域，持续移 动摄影机，使移动的对象保持在可视画面内。美国专
利号7 1 2 3 7 4 5的文献中，揭露 一 个侦测移动人
物或者其它感兴趣的物体的影像处理系统。从固定式
摄影机的连续影像中，使用找出差异影像(difference 工mage )找出移动人物，并侦测其头部位置与头部大小。 例如，美国专利号5 9 9 1 4 2 8的文献是揭露
一种于移动摄影机画面内，侦测前景移动物体的技术， 将画面分害ij 、 比对(template matching)与综合评分
(evaluation and voting), 并4古i十相邻画面对应区 块的位移向量，根据整张画面的多数(dominant)移 动向量，决定相邻画面间的对齐(align)向量，据此 移动(shift)其中一张画面进行对齐及对齐画面差异 比对，分析出移动物体区域。而美国专利号5 4 7 3 3 6 4的文献是揭露 一 种移动平台上的移动物体侦测 系统，假设前后时间的前后摄影机所撷取的影像的撷 取位置只有些许差异，将前摄影机的影像做对齐后与 后摄影机的影像相减，利用高斯金字塔建构法
(Gaussian pyramid construction) 计算区域能量而
侦测出移动物体，可得到较稳定的移动物体轮廓。
然而，建置在固接式摄影机架构下的影像式移动 物体侦测技术无法提供动态保安支持，在监控区域被局限的情况下，监控效果往往事倍功半。若采用如架
设于机器人平台的移动式摄影机(movable camera) 监控架构，摄影机的移动会造成整体画面变换，其补 偿因摄影机移动所造成的画面移动所产生的误差无法 使用单 一 影像式侦测技术有效地将移动物体侦测出， 来进行对象侦测。
如图1与图2所示，Desa等人及Spagnolo等人分 别于2 0 0 4年及2 0 0 6提出了结合背景相减 (background subtraction) 与连续画面差异两禾中方 法来侦测移动物体。背景相减方法是在前景侦测里， 考虑 一 个区域的背景点来侦测前景，而连续画面差异 方法是指在连续几张影像上，找其差异处，以侦测画 面中移动部分。惟，图1与图2的技术中，背景相减 结果与连续画面差异结果仅单纯做运算整合，如此， 仅可将移动物体的外框侦测出，却无法侦测出整个移 动物体的内部区域。
发明内容
本揭露的实施范例可提供 一 种移动物体侦测装置 与方法。侦测出的移动物体的信息至少包括移动物体 在画面内的发生区域。
在 一 实施范例中，本揭露是关于 一 种移动物体侦领lj装置，包含影像撷取模组(image fetch module )、 影像对齐模组 (image alignment module)、 连续画面 差异模组 (temporal differencing module )、 距离转 换模组 (distance transform module)、 以及背景相 减模组 (background subtraction module)。 影像撷 取模组撷取 一 移动物体在不同时间点的影像；影像对 齐模组若于 一 移动平台的状态下，则将此不同时间点 的影像对齐。连续画面差异模组在此不同时间点的影 像或是此对齐后的影像，进行连续画面差异技术，求 出 一 差异影像。距离转换模组将此差异影像转换成一 距离地图(distance map)。背景相减模组将距离地图 应用至 一 背景相减技术，并与目前撷取的影像比对而 得到此移动物体的信息。
在另 一 实施范例中，本揭露是关于 一 种移动物体 侦测方法，包含撷取 一 移动物体在不同时间点的影像； 若是移动平台的状态下，则将此不同时间点的影像对 齐；在此不同时间点的影像或是此对齐后的影像，进 行连续画面差异技术，求出一差异影像；经由距离转 换，将此差异影像转换成 一 距离地图；以及将此距离 地图应用至 一 种背景相减技术，并与目前撷取影像比 对而得到此移动物体的信息。
本揭露的实施范例于摄影机移动式平台上，可实时地侦出移动物体。利用连续画面差异的距离地图
来加强背景相减技术，也可应用于摄影机固定式平台
上如此也可增加移动物体侦:测的可靠度，
以下配合下列附图、实施范例的详细说明，将上
述及本发明的其它目的与优点详述于后，其中
图1是 一 种结合背景相减与连续画面差异来侦测 移动物体的范例示意图。
图2是另——^种结合北 冃相减与连续画面差计来侦
移动物体的范例示思图
图3是个移动物体侦测装置的范例不思图，与
本揭露的某匙实施范例致
图4是范例示思图，说明移动物体侦测方法的
运作流程，与本揭露的某些实施范例 一致，
图5是进行影像对齐的个范例示意图，与本揭
露的某些实施范伊J致。
图6是进行连续画面差异的 一 个范例不意图，与
本揭露的某匙实施范例一致
图7是进行距离转换的个范例意图，与本揭
露的某些实施范例致图8是一范例示意图，进 一 步说明背景相减模组
的运作，与本揭露的某些实施范例 一 致。
图9是整合前述图5至图8的一个示意图，与本
揭露的某些实施范例 一 致。
具体实施例方式
本揭露的实施范例中，分析移动摄影机所拍摄的
动态画面，先使用影像分析技术补偿因摄影机移动所
造成的背景画面变化，并结合连续画面差升、距离转
换、背景相减楚 寸技术稳固地侦测出前景的移动物体区
域
图3是个移动物体侦测装置的范例示意图，与
本揭露的某些实施范例 一 致。参考图3，移动物体侦测装置3 00可包含影像撷取模组3 01、影像对齐
模组3 0 3、连续画面差异模组3 0 5、距离转换模
组30 7 、以及北 冃景相减模组30 9 o
影像撷取模组3 0 1撷取一移动物体310在不
同时间点的影像影像对齐模组3 0 3若于移动平台
的状态下，则将此不同时间点的影像对齐，对齐后的
影像如标号303a所示。连续画1面差异模组305在
此不同时间点的影像或是其对齐后的影像，进行连续
画面差异技术，求出 一 差异影像3 0 5 a。距离转换模组307将此差异影像305 a转换成距离地图3
07背景相减模组309将距离地图307应用
至背景相减技术，并与巨前撷取的影像比对而得到
最后的移动物体侦测结果也就是移动物体的信息3
0 9 a。
在移动平台的状态下，影像对齐模组303提供
对齐后的影像303 a给连续画面差巳 升模组305参
考，并且提供所使用的对齐参数给背旦 足相减模组30
9参考在静态平台的状态下，可以不需要将相邻影
像对齐，所以，在静态平台的状态下，移动物体侦测
装置300可以不包括影像对齐模组303而北 冃旦 足
相减模组也不需要对齐参数的输入
搭配图3的移动物体侦测装置的架构，图4以一
范例流程图，说明其移动物体侦测如何运作，与本揭
露的某些实施范例一致。参考图4，在步骤4 1 0中，
撷取一移动物体在不同时间点的影像。若是移动平台
的状态下，在步骤42 0中，将此不同时间点的影像
30 1a对齐，并产生对齐后的影像3 0 3 a 。然后，
连续画面差异技术会使用对齐后的影像3 Q 3 a ，来求
出差异影像3 05 a 。若非移动平台的状态下，连续画
面差异技术会使用不同时间点的影像来求出差异影像
30 5所以，如35骤4 3 0所示，在此不同时间点、的影像3Ola或是对齐后的影像3 0 3a，进行连续
画面差升技术，来求出差异影像3 0 5a。
在步骤4 40中，经由距离转换，将差巳 汁影像3
05转换成距离地图3 0 7a 。在步骤4 50中，将
距离地图3 0 7a应用至背景相减技术，并与目、'-刖撷取
影像比对而得到此移动物体的信息。移动物体的信息
可包括如标示tl:i的此移动物体在画面内的发生区域
如刖學像素)等。在步骤4 5 0中，也会并参考
所使用的对齐参数将背學模型对齐至目.、/ 刖撷取影像，
来求逾移动物体的信息
图3的范例中，影像撷取模组3 01例如可通过
场旦 足中物体移动，来撷取多个不同时间点在摄影机
移动平台或是静态平台的状态下所拍摄的连续影像3
01影像对齐模组303可根据不同时间占 / 、、、于移动
平台的状态下所拍摄的连续影像的背景移动求得对齐
参数，并可将不同时间占于移动平台的状态下所拍摄
的连续影像的背景对齐例如图5所示，可从二个连
续时间点t - 1 、 t 、 t +丄 7的三张相邻影像Ft-1 、Ft、
Ft + 1中，求出两张影像的对齐参数，将影像Ft—对齐至 影像Ft， Ft"对齐至影像Ft，如此可消除因为摄影机 移动所造成的画面变换。
本揭露的实施范例中，可以有多种实施背景移动校正补偿的范例，例如，利用多阶层移动模组估算技
术 (mu1ti-reso1ution estimation of parametric motion models),此技术先利用高斯低通滤波器建立 多阶层影像金字塔，再于每阶层影像上由相邻画面差 值平方最小化，估算出相邻画面间运动参数。
图6是进行连续画面差异的一个范例示意图，与 本揭露的某些实施范例 一 致。参考图6 ，影像Ft + 1、 Ft-i 对齐后，由与影像Ft的差异，可得到两个影像差异 (framedifference) 6 1 0与6 2 0， 亦艮P影像Ft + i
与Ft的差异以及影像与Ft的差异。再利用影像差 异610与620以及一交集(AND)运算630，求
出差异影像3 Q 5 a ，侦测出可能的前景位置。也就是 说，连续画面差异模组3 0 5可将三连续影像分析应 用在补偿校正后的影像，来侦测移动物体可能的前景位置。
以下是从三张相邻影像Ft-!、 Ft、 Ft + !求出此差异 影像的 一 个范例。假设Xi代表影像的画面位置，C ( Xi ) 是影像画面位置的 一 种表示矩阵而能与运动参数矩阵 进行相乘运算，则影像Ft-i校正至影像Ft，影像 Ft + 1 校正至影像Ft后，可得到两个运动参数An及At + 1， 经由以下公式，可得到两个影像差异FDt-i及FDt + 1:
14否则的话，
其中k = t- 1 ， t+ 1 ， &为临界值。使用"AND" 逻辑表达式处理影像差异FDt —!及FDt + 1，即可得到差异 影像FAt，亦即^(4)=叫-i",)A叫+i(A)。
如果是静态平台的状态下所拍摄的连续影像3 0 1 a ，则不需要将相邻影像对齐，可直接将不同时间点 撷取的影像，进行连续画面差异，求出此差异影像3 0 5 a ，以侦测移动物体可能的前景位置。
距离转换模组3 0 7可利用 一 距离转换技术，将 差异影像3 0 5 a转成距离地图3 0 7 a 。此距离转换
技术，例如下列公式，可将差异影像FAt转成距离地图
其中Xk为距离Xi最近的前景点，52为最大容许 距离。换句话说，距离地图Dt的每 一 点的值是最近的 前景点的距离除以最大容许距离的 一 个比例，距离前 景点越近，其值越小，表示愈有可能属于移动物体； 反之亦然。图7是进行距离转换的一个范例示意图，与本揭露的某些实施范例一致图7中，差升影像的
范例705进行距离转换后，产生的距离地图的范例
如标号70 7所示距离地图对移动物体所在的位置
提供了个机率分布，因此，从距离地图可以看出整
个移动物休在画面内的发生区域，增强移动物体侦泖J
的稳定性。
北 冃學相减模组309将距离地图应用至北 冃相减
技术并与目前撷取影像比对而得到此移动物体的信
。图是 一 范例不息图，进步说明扭旦 冃豕相减模组
的运作如图8所不，背景相减模组30 9将对齐参
数811使用至背學模型8 12，以将扭旦 冃足对齐至目
.、/ 目U撷取影像。将对齐后的'背景模型821以及时间
影像F以距离地图17如标号707的范例，作为更
新率来更新背景模型，如标号830所示。并且此对
齐后的北 冃景经由距离地图，如标号707的范例的权
重，与时间撷取的影像比对，进行t时间的前景侦观U，而侦测出此移动物体，如标号809的范例，
在前景侦测阶段，由于背景对齐误差，可考虑一. 个区域的背景点来侦测前景。而连续画面差异的距离
转换结果，即距离地图Dt ，则作为前景判定的可适性 的 (adaptive) 门槛值 (threshold value), 若前景
机率较高，则门槛值愈低，反之亦然。当背景更新时，
16同样利用距离地图Dt作为可适性的更新率(updating rate),若前景机率较高，则维持原来的背景值，反之亦然。
由于背景相减模组3 0 9将距离地图应用至背景 相减技术，在时间t的前景侦测以及背景更新时，利 用距离地图Dt作为参数调整的依据。因此得出的移动 物体信息不仅可以看出移动物体的整体外型，移动物 体内部区域的信息也比较完整。
图9是整合—、/一 目'J述图5至图8的个范例示思图，
与本揭露的某扭实施范例一致。从图9范例以及 Z -刖述
的说明，可以清楚看出本揭露的实施范例先补偿因摄
影机平台移动所造成的画面移动，再由结合背學相减
与连续画面差已 升技术，将连续画面差升的结果利用距
离转换产生出距离地图以辅助背學相减法稳固地侦
测出目IJ旦 眾的移动⑩体区域
本揭露的实施范例中，以连续画面差升技术来辅
助背學相减技术7在背學移动校正补偿后的影像上侦
测前景物体，来达成利用单摄影机即可有效且实时地 进行移动摄影机的移动物体侦测。而本揭露的实施范 例更应用距离转换技术，将连续画面差异的侦测结果 转换为距离地图，如此，对物体所在的位置给了 一个 机率分布，将此分布应用至背景相减技术中，成为前旦 足侦泖J及北 冃學更新的很好的权重值
_ "一 l引J學侦测时对于移动物体部分加强权重，而北 冃學
更新时将降低移动物体部分的权重，使得移动物体更
易被侦测出如此，将可改善既有的北 冃學相减技术的
缺点、，而更稳定地侦测出移动物体本揭露的实施范
例中使用连续画面差异来帮助北 冃學相减的机制，除
了能够在移动平台实施外，也可以应用在固定式平台
来增强移动物体侦测的稳定性
以上所述者仅为本发明的实施范例而己，当不能
依此限定本发明实施的范围凡是依本发明权利要求
范围所作的均等变化与修饰，皆应仍属本发明专利涵
生 皿_的范围内
权利要求
1、一种移动物体侦测装置，其特征在于，该装置包含影像撷取模组，撷取一移动物体在不同时间点的影像；影像对齐模组，若于一移动平台的状态下，则将该不同时间点的影像对齐；连续画面差异模组，在该不同时间点的影像或是该对齐后的影像，进行连续画面差异技术，并求出一差异影像；距离转换模组，将该差异影像转换成一距离地图；以及背景相减模组，将该距离地图应用至背景相减技术，并与目前撷取影像比对而得到该移动物体的信息。
2 、如权利要求1所述的移动物体侦测装置，其 特征在于，其中在该移动平台的状态下，该影像对齐 模组提供所使用的对齐参数给该背景相减模组，以得 到该移动物体的信息。
3 、如权利要求1所述的移动物体侦测装置，其 特征在于，其中在该移动平台的状态下，该影像对齐模组提供该对齐后的影像给
4、如权利要求i所述特征在于，中该移动物体体在画面内的发生区域
5、如权利要求i所述特征在于，苴 7 、中该距离地图提供个机率分布。
6、如权利要求i所述特征在于，中该装置适用台
7、如权利要求6所述特征在于，其中于固定式平像对齐模组
8、种移动物体侦测法包含撷取一移动物体在不同若是移动平台的状态下像对齐在该不同时间点的影像行连续画面差巳 升技术，并求经由距离转换技术将该连续画面差异模组。的移动物体侦测装置，其 的信息至少包括该移动物的移动物体侦测装置，其 对该移动物体所在的位置的移动物体侦测装置，其 于移动式平台与固定式平的移动物体侦测装置，其 台下，该装置不包括该影方法，其特征在于，该方时间点的影像； ，则将该不同时间点的影或是该对齐后的影像，进 出 一 差异影像；该差异影像转换成 一 距离地图；以及将该距离地图应用至- 种背景相减技术并与百^y』 目U撷取的影像比对而得到该移动物体1!]J lA ;K、'
9、如权利要求8所述的移动物体侦测方法，其特征在于，中若是移动平台的状态下，则将至少对齐参数使用在该移动体的背景模型，以对齐该不同时间点的影像。
10 、如权利要求8所述的移动物体侦测方法，其特征在于，其中该背景相减技术包括将变形参数使用至该移动物体的背景模型，以对齐该背景模型至目前时间撷取的影像；将该对齐后的背景模型以及目前时间撷取的影像 以该距离地图作为更新率来更新背景模型；以及该对齐后的背景经由该距离地图的权重，与目前 时间撷取的影像比对，进行目前时间的前景侦测，而 侦测出该移动物体。
11、如权利要求8所述的移动物体侦泖J方法，特征在于，其中若是移动平台的状态下，则进行该连续画面差卄的.、/' 刖先对相邻画面进行影像对齐，以对齐相邻影像背旦 豕区域，补偿因平台移动所造成的画面的变化
12、如权利要求8所述的移动物体侦，方法其特征在于，其中该连续画面差异技术是经由变形转 换后的两影像差异进行 一 交集运算来求出该差异影像。
13、如权利要求8所述的移动物体侦测方法， 其特征在于，其中从该距离地图看出该移动物体在画 面内的发生区域。
14、如权利要求1 0所述的移动物体侦测方法， 其特征在于，其中在该前景侦测时，该距离地图作为 前景判定的 一 可适性的门槛值。
15、如权利要求1 0所述的移动物体侦测方法， 其特征在于，其中在该背景更新时，该距离地图作为 一可适性的更新率。
全文摘要
一种移动物体侦测装置与方法，此装置包含影像撷取模组、影像对齐模组、连续画面差异模组、距离转换模组、以及背景相减模组。影像撷取模组撷取一移动物体在不同时间点的影像。影像对齐模组若于移动平台的状态下，则将此不同时间点的影像对齐。连续画面差异模组在此不同时间点的影像或是其对齐后的影像，进行连续画面差异技术，求出一差异影像。距离转换模组将此差异影像转换成一距离地图。背景相减模组将距离地图应用至背景相减技术，并与目前撷取影像比对而得到此移动物体的信息。
文档编号G01C11/00GK101469987SQ20071030812
公开日2009年7月1日 申请日期2007年12月29日 优先权日2007年12月29日
发明者石明于, 赵盈盈 申请人:财团法人工业技术研究院