专利名称：：物体尺寸估测之系统及方法
技术领域：
：本发明涉及测量系统及方法，且特别涉及获得影像内物体尺寸之系统及方法。
背景技术：
：随着科技演进以及社会安全需求的增加，监视系统变成受欢迎的研究主题并且可用于许多应用情况。许多监视系统需要在许多位置上安装许多视频摄影机，并且记录的视频影像通过缆线或网络传输至存储媒体。若在监视区域内发生意外或纠纷，则稍后可查阅己记录的视频影像供进一步分析。因为视频影像的辨识通常依赖人工识别，这难以让监视系统提供事先和/或预防警示。因此，利用计算系统自动分析的发展吸引许多人的注意。近年来，运用视觉技术获得几何信息已广为应用。其应用的范例包含建筑与室内测量、画作内物体重建、广场测量以及交通意外调査。针对范例，该技术可用于利用身高以及自定目标分析来区分景物内的人。一种获得物体尺寸的方法例如在监视场景内某处放置一支或多支尺，如此稍后可参照这些尺来评估物体尺寸。其它方式是使用计算机分析摄取的可见信息，在离线状态下获得物体尺寸，这样有时候比较精确、有弹性以及有效目前有许多从影像中测量物体的计算技术，例如Criminisi等人提出一种从单一透视影像中计算物体测量值的方法，此由A.Criminisi与A.Zisserman于1999年9月在希腊Kekyrn举行的ComputerVision(计算机视觉)国际会议中的S/wg/eW，m"rafogy第434-442页内所提出。假设可从影像中决定场景中参考平面的消失线以及参考方向中的消失点，根据消失线与点，与参考平面平行的任何平面间之距离、这些平面上的面积与长度比例以及摄影机位置都可计算。其它方式为使用摄影机与3D场景之间的直线转换获得参数，接着可用于计算物体尺寸，此为A.Bovyrin和K.Rodyushkin于IEEE2005中//證aw//e妙//VeWc"ow朋dioa^!s5幼'w加,ow》rWv""c^iPdeo^rve/〃朋ceS"fe腊第219-223页内所提出。Wang等人提出先通过参考空间平面及其虚拟消失点的对应来获得摄影机投射矩阵，然后使用该矩阵以及某些可变场景限制摄取场景的几何实体，像是物体高度以及从点到线的距离，这由G.Wang、Z.Hu、F.Wu以及H.Tsui于2005年在ImageVisionComputing,ElsevierB.V的5V"g/eWewMe/ra/ogy尸ra/w5be"eComtra/她中提出。在其它方式中，物体尺寸由通过两端测定影像之间关系所获得的参数来计算，这由Z.Chen、N.Pears以及B.Liang于2006年在PatternRecognitionLetters,ElsevierB.V白勺爿AfeAotio/Pfewa/A/ie^o/ogyFromt/wcfl/Aratoi/wages1中提出。
发明内容构成本发明的一个范例提供一种获得影像内目标物体尺寸的方法。该方法包含接收该影像内许多特征点的坐标、接收该影像内具有己知尺寸的至少一个参考物体之坐标、执行校正来调整至少该特征点之一的中的一个该坐标，以及接收该影像内该目标物体的坐标并根据该特征点的该坐标来决定该目标物体的该尺寸。调整至少一个特征点的坐标来增加决定参考物体尺寸时的精确度。在其它范例中，提供一种获得影像内目标物体尺寸的方法。该方法包含接收对应至该影像内许多特征点的坐标、根据对应至该特征点的该坐标来决定对应至消失点的坐标、接收对应至该影像内具有己知尺寸的至少一个参考物体之坐标、根据对应至该消失点的该坐^^来决定对应至该参考物体的该尺寸、执行校正来调整对应至该特征点的该坐标，以及接收该影像内该目标物体的坐标并根据该消失点决定该目标物体的尺寸。调整对应至特征点的坐标来增加决定参考物体尺寸时的精确度。构成本发明的其它范例提供一种获得影像内目标物体尺寸的系统。该系统包含第一装置，其可提供对应至该影像内许多特征点的坐标，并提供对应至该影像内至少一个参考物体的坐标，其中该参考物体的尺寸己知，以及校正装置，其用于接收对应至该特征点的该坐标以及对应至该参考物体的该坐标，以及用于调整对应该特征点的该坐^^。调整对应至特征点的坐标来增加决定参考物体尺寸时的精确度。所属
技术领域：
的技术人员可了解到，上述一般说明以及下列详细说明都仅是示范，并不因此限制本发明。当并同各附图而阅览时，即可更佳了解本发明之摘要以及下文详细说明。为达本发明之说明目的，各附图里图绘有现属较佳之各具体实施例。然应了解本发明并不限于所绘之精确排置方式及设备装置。在各附图中图1为用于说明构成本发明的一项应用之范例场景附图；图2A-2C为用于说明某些几何原理的附图；图3说明构成本发明的范例内用于物体尺寸^^测的方法之范例流程；图4为场景的范例说明。图5为用于说明构成本发明的影像处理技术之范例方框图；图6为构成本发明的范例内用于应用物体尺寸估测方法之场景说明；以及图7为构成本发明的范例内用于应用物体尺寸估测方法之场景说明。主要元件标记说明100102一般视频CCD监视摄影机数字视频摄影机104地平面106计算机108人110车辆114树112房屋200地平面202并行线2102D影像平面212一致的直线214消失点216消失线218摄影机中心220平面222参考方向230平面400影像402地平面404立方体406参考物体408鼠标500视频数据502快照504测试点手动选择506高度估测508物体分割510测试点自动选择具体实施方式图1显示可实施本发明的示范范例。请参照图1，像是一般视频CCD监视摄影机100以及数字视频摄影机102的这类单眼摄影机可用于摄取影像。摄影机100或102的设置方式为将地平面104包含在摄取场景内。此外，摄影机100或102连接至并入本发明内的计算机106。在适当设置摄影机100或102之后，可执行下列将详细讨论的最佳空间校正，以获得物体测量的最佳参数。根据最佳参数，只要提供物体的顶端与底端坐标，就可估测影像内的任何物体，例如人108、车辆IIO、树114以及房屋112。图2A-2C说明有关平面的消失线与消失点之某些几何原理。请参照图2A，3D空间内的参考平面通常但不必然为地平面200。一组地平面200上的并行线202投射进入2D影像平面210变成一组一致的直线212。这些直线在2D影像平面210内的会合点称之为消失点214。将地平面200上所有可能并行线的消失点214连接起来构成消失线216，如图2B所示。消失线216和摄影机中心218可构成与地平面200平行的平面220。图2B显示物体在两平面之间3D空间内相对于从地平面200到摄影机中心218的距离。请参照图2B，假设3D空间内的物体具有底部坐标P和顶端坐标P'，高度为Z。顶端与底部坐标分别位于地平面200与和参考平面200平行的平面230上。参考方向222为平面200和230的法向量，如图2B所示。V3为与参考方向222平行的方向上之消失点，如图2B所示。C为平面220和与参考方向222平行的直线之交叉点。因为摄影机中心218和点C都落在平面220上，所以点C和地平面200之间的距离等于摄影机中心218与地平面200的距离Ze。对应至图2B，图2C显示物体在两平面之2D影像平面210上相对于从两平面中的一个到摄影机中心218的距离。点214为平面200的两消失点，并且构成消失线216。v;为与平面200垂直的方向上之消失点。c为消失线216与和平面200垂直并连接至V3的直线之交叉点。大写字母(P)用于指示3D空间内的数量，并且小写字母(p)用于指示影像数量。图2C上标示的四点个p、p'、c、V3定义出交叉率。交叉比例的值提供3D空间内的长度比例，可如下决定出平面200与230之间的距离Z，相对于摄影机与地平面200的距离Ze:，，c)xd(p',v3)—d(P，C)xt/(P',V)d(p'，c)xd(p，v3)—d(P'，C)xd(P,V)(J)其中d(xl,x2)为两个一般点xl和x2之间的距离。因为点V的背面投H丄射为无限远的点，所以"(P，V)—。另外因为d(P,C):Ze并且d(P',C"Zc-z，所以简化(l)上的代数式产生<formula>formulaseeoriginaldocumentpage10</formula>(2)根据上述等式(2)，一旦指定摄影机的距离Ze，就可从此距离比例获得绝对距离z。另外，可先根据像是己知的物体尺寸这类己知的参考距离计算出Ze，然后可套用计算出的Ze来估测影像内物体的尺寸。图3说明构成本发明的范例内物体测量方法之范例流程。如图3所示，首先在步骤302上设定初始参数。图4说明步骤302的示范范例。在影像400内，地平面402上的参考立方体404提供许多特征点&-f6。特征点&-f6可由通过鼠标408在影像400上手动按一下或由计算机自动侦测来识别。在坐标对应至特征点f,-f6并且通过鼠标408选择参考物体406的情况下，影像可先放大，增加选择坐标提供给物体尺寸估测系统的准确度。^3和"、"和"以及^和玩的延伸线会导致三个消失点。利用连接与地平面402平行的直线上两个消失点可建立消失线。在已经物体高度或尺寸，像是图4上所示的参考立方体404或旗子406的情况下，物体406、404的顶端与底部坐标q和q'以及其实际尺寸可提供给本发明的物体尺寸估测系统来完成步骤302。请回头参照图3，步骤304执行最佳空间校正，避免点或坐标位置的手动选择或自动侦测误差影响到消失点的计算，最终影响到物体尺寸估测。步骤302上所识别对应至特征点的坐标可考虑当成要调整的初始参数。利用与参考物体的实际尺寸做比较使用目标函数，来评估根据初始参数计算的物体尺寸估测。以图4上的立方体404当成范例。立方体404可提供六个特征点&-f6的坐标，集中表示为x—f'卜、1^…4e912。因为每一个特征点fi都具有坐标(/T,/)，六个特征点就可提供十二个参数。根据这十二个参数，就可根据直线^和^、直线^和^以及直线^和^计算出三个消失点。从与参考平面平行的直线中获得的两消失点可建立一条消失线。根据消失线与第三消失点，可获得图2C上显示的交叉点c。根据等式(2)，摄影机中心218与地平面200的距离可计算如下<formula>formulaseeoriginaldocumentpage11</formula>假设已知高度的参考物体数量为N，集中表示为(q'，《，Ml'/42"'一，则x的目标函数为<formula>formulaseeoriginaldocumentpage11</formula>其中Zi为根据下列等式计算出来的第j个参考物体之高度:<formula>formulaseeoriginaldocumentpage11</formula>为了找寻A-"'1'=的最佳参数集，将第k个参数fk设定在[//)-^，//)+5/(]的范围之间，其中&为找寻空间并且k:1，2，3,...12。运用计算机仿真，像是基因算法、退火算法、禁制搜寻法或粒子群体最佳化法，候选参数抽象呈现的数量发展成更佳的参数集，如此参考物体的估测尺寸会更接近其实际尺寸。D.E.Goldberg于1989年发表于J/gon说m515"earc/2C^/脂'z"f/owM3c/z/"e丄ear油g，Addison—Wesley,ReadingMA中、D.T.Pham和D.Karaboga于2000年发表于/"fe〃/ge"f」朋ea/Z"g朋diVewra/iVefvvorfo，NewYork:Springer-Verlag中以及M,Clerc于2006年发表于尸aW/c/e5V(3rm(9p"w/z""ow，HermesSciencePubns中，在此都分别关于基因算法、退火算法、禁制搜寻法或粒子群体最佳化法而并入本发明。请回头参照图3，在步骤304的最佳空间校正之后，在提供对应至影像内特定物体的顶端与底部坐标之下，可进行相同影像内任何物体上的物体尺寸估测。在步骤306上，对应至要测量的物体之坐标会通过使用者输入装置或所选物体坐标的自动侦测提供给系统。在步骤308上，根据上述等式(2)可获得物体尺寸。图5说明步骤306和308的示范范例。快照502可先摄取一系列视频数据500的讯框，以获得特定影像。一旦获得影像，在步骤504上使用者可通过鼠标或键盘选择要测量的物体顶端与底部点。然后根据上述等式(2)获得物体尺寸估测。另外，可依赖物体分割技术508侦测所要测量物体的所在区域，以此利用计算机分析取得该区域的顶端与底部坐标。图6和图7为构成本发明的范例内用于应用物体尺寸估测方法之范例场景说明。在此范例中，使用LogitechQuickCamSphere数字视频摄影机以及CCDPulisP2650视频摄影机含影像摄取卡WinnovVideum1000+来进行实验。两支摄影机的影像分辨率都为640x480像素。范例使用基因算法进行最佳空间校正。搜寻空间设定为&=5。迭代次数设定为5000。群体的大小Np。p为20。选择率Ps设定为0.2、交配率Pe为0.8并且突变率Pm设定为0.1。使用尺寸为275mm的立方体当成参考方块。在第一范例中，数字视频摄影机P4摄取如图6所示的场景。摄影机的实际高度为800mm。立方体可提供六个特征点，并且图6内垂直画出的三个特征点P1、P2和P3。假设原点的坐标为(O,O)，则影像上每一点的坐标为P,(365,175)、P2(345,140)、P3(370，125)、P4(75,90)、Q"380，250)、Q2(315,170)、Q3(410，135)、Q4(285,120)。下列表1显示根据特征点最佳坐标获得的物体尺寸估测结果。表1<table>tableseeoriginaldocumentpage13</column></row><table>其中像素表示影像上参考物体占用的像素、转换比例为(实际高度/像素数目)并且误差率为(l估测高度-实际高度l/实际高度)。在第二范例中，使用CCD摄影机P4摄取场景，类似于图7内所显示。在此范例中摄影机的实际高度为2，650mm。假设原点的坐标为(O，0)，则影像上每一点的坐标为P,(505，260)、P2(475，230)、P3(495，210)、P4(30,220)、Qt(475，320)、Q2(635，320)、Q3(840,320)、Q4(l170，290)、Q5(670，185)、Q6(755，170)、Q7(755，100)。下列表2显示根据特征点最佳坐标获得的物体尺寸估测结果。表2<table>tableseeoriginaldocumentpage14</column></row><table>根据上述表1和表2，本发明可提供高精确度的影像内物体之尺寸估测。所属
技术领域：
的技术人员应即了解可对上述各项具体实施例进行变化，而不致悖离其广义之发明性概念。因此，应了解本发明并不限于上述特定具体实施例，而为涵盖权利要求所定义之本发明精神及范围内的改变。权利要求1.一种获得影像内目标物体尺寸之方法，该方法包含接收该影像内许多特征点的坐标；接收该影像内具有已知尺寸的至少一个参考物体之坐标；执行校正来调整至少该特征点之一的该坐标，其中调整至少该特征点之一的该坐标来增加决定该参考物体尺寸时的精确度；以及接收该影像内该目标物体的坐标并根据该特征点的该坐标来决定该目标物体的该尺寸。2.根据权利要求l所述的方法，其特征在于该校正由最佳化算法来执行。3.根据权利要求2所述的方法，其特征在于该最佳化算法包含至少基因算法、退火算法、禁制搜寻法以及粒子群体最佳化法之一。4.根据权利要求1所述的方法，其特征在于还包含根据该特征点的该坐标来决定消失点的坐标。5.根据权利要求4所述的方法，其特征在于还包含根据该消失点来决定该参考物体的尺寸。6.根据权利要求4所述的方法，其特征在于还包含接收该影像内该目标物体的坐标，并根据该消失点决定该目标物体的尺寸。7.根据权利要求1所述的方法，其特征在于根据该影像内使用者选择的对应点来识别该特征点以及该参考物体的该坐标。8.根据权利要求1所述的方法，其特征在于根据自动侦测来识别该特征点以及该参考物体的该坐标。9.一种获得影像内目标物体尺寸之方法，该方法包含接收对应至该影像内许多特征点的坐标；根据对应至该特征点的该坐标来决定对应至消失点的坐标；接收对应至该影像内具有已知尺寸的至少一个参考物体之坐标；根据对应至该消失点的该坐标来决定对应至该参考物体的该尺寸；执行校正来调整对应至该特征点的该坐标，其中调整对应至该特征点的该坐标来增加决定该参考物体尺寸时的精确度；以及接收该影像内该目标物体的坐标并根据该消失点决定该目标物体的尺寸。10.根据权利要求9所述的方法，其特征在于该校正由最佳化算法来执行。11.根据权利要求io所述的方法，其特征在于该最佳化算法包含至少基因算法、退火算法、禁制搜寻法以及粒子群体最佳化法之一。12.根据权利要求9所述的方法，其特征在于根据使用者选择来识别对应至该特征点以及该参考物体的该坐标。13.根据权利要求9所述的方法，其特征在于根据自动侦测来识别该特征点以及该参考物体的该坐标。14.一种获得影像内目标物体尺寸之系统，该系统包含第一装置，其可提供对应至该影像内许多特征点的坐标，并提供对应至该影像内至少一个参考物体的坐标，其中该参考物体的尺寸为已知；以及校正装置，其用于接收对应至该特征点的该坐标以及对应至该参考物体的该坐标，以及用于调整对应该特征点的该坐标，其中调整对应至该特征点的该坐标来增加决定该参考物体尺寸时的精确度。15.根据权利要求14所述的系统，其特征在于该第一装置为使用者输入装置。16.根据权利要求14所述的系统，其特征在于该第一装置为自动侦测装置。17.根据权利要求14所述的系统，其特征在于该校正装置执行最佳化算法。18.根据权利要求17所述的系统，其特征在于该最佳化算法包含至少基因算法、退火算法、禁制搜寻法以及粒子群体最佳化法之一。19.根据权利要求14所述的系统，其特征在于还包含第二装置，其用于接收对应至该特征点的该坐标并产生消失点的坐标。全文摘要本发明披露一种获得影像内目标物体尺寸之系统及方法，其包含接收影像内许多特征点的坐标、接收该影像内具有已知尺寸的至少一个参考物体之坐标、执行校正来调整至少一个特征点上的坐标，以及接收影像内目标物体的坐标，并根据特征点的坐标来决定目标物体的尺寸。然后调整至少一个特征点的坐标来增加决定参考物体尺寸时的精确度。文档编号G01C11/00GK101216304SQ20071012318公开日2008年7月9日申请日期2007年7月2日优先权日2007年1月4日发明者李国征申请人:财团法人工业技术研究院