专利名称：：用于通信的系统和方法用^I信的系^fB方法鹏员域本发明涉及一种用于将包括多个位于同一平面上的m的场景的三iW/示传输^^N^多个客户^g的系辦n方法，^H乡t^^皿由柳^M相丰;i^捕获的^f:的一个或多个柳频图像中产生的。背景魷随^ffl信M的发展，例如，接入网络(WiFi，UMTS，3G)，现在例如移动电话之类的客户^S肯,te诉见频,。可以利用因特网协i^l国际互^I信网来传输!鹏,，其鹏于4糊服务质誠确倒腿时和可预测蹄寺网协议包不稳定性以及包丢失。以这种方式^^柳频,是已知的，如因特网协议电视(IPTV)。但是，舰因特网通信繊iif^枧频,雜一个fe^挑战，由于因特网通信的一4^争性是兽^^通信带宽的约束，其可以用于^M柳频并且可能因为IP包丢失而引起娜的丢失。广播l^i^i，，一个^:衫战，由于用于&縮新牛的编蹄见号的可禾拥时间是有限的。财卜，当用户观看实时或非实时产生的挪频图像时，其期望尽可育^t、用户对謝牛的欣赏的^a。为了^a用户对从柳顷图像中观看的謝牛的鹏时，可以〗顿多^w^M辦誠爐的照相inA而以不同健和角s^见看*#。财卜，戶刑胃的运动员^t几(cams)辛細^中捕辦寺^ii动员的动作。但是，布置多个^m/人而驢一个事件是非常昂贵的并^ajt^卜将每一个Mt机产生的图鹏合是—个鋭的任务。麟，无论舰多少摄傲几，要从没有,几的娜赠靴的需求。因此，可以认iRM柳有限的通儲宽将显恭鹏事件，如体育割牛的视频,嫌合客户端设备是一个技术蜱
发明内容鄉一方面，衝共一种用于将包含了多个位于一竹面上的鄉的驗的表示传输^"个或者多个客户设备的系统。iM^是由柳^f斜几获得的^:的一个或者多个枧频图像产生的。该系^^括MM^M，可操作用于接W人柳频摄像机接收的场景的视频图像，该Jif:包括在该平面上的鄉的视图，用于《获得的视频图像从而从每一个对象中提取一个或者多个图像特征，用于将该一个或者多个图像特征与来自视频S^包含的可肖际例对象的预定组的样本S^特征进行比较，用于根据该图像伊征与顿肖际例鄉的腕图像特征靴匕棘i湖U，用于为每一个，产生i湖湘^m的)(^径l^;并且Jlf共已iR^对象在视频图像中的所述平面的三维丰Mi:t树于时间的位置；用^it^t据m路径将每一个对象的^从柳频图像中的平面投影到该平面的三维模型中的,矩阵。分配服务器可操作用于接收由MM^fi产生的x^m^和投魏阵，从而将iMm^径和^E阵^S^iJ—个赫多个客户端设备。在一个实施例中，该客户端设备可以被隨为产生力硫的三itt/示，其包括位于该平面上的多个鄉的每一个的合腿示。在另一个实施例中，该客户端设备可以被隨为接收柳频a^同目标路^^和s^g阵，从而禾,来自分配月艮务器的目标路^i^和i^e阵i賜晦一个目标，并且响鹏户的选择，来显t个赫多个鄉啲目标所在的1分鹏,。本发明的实施例可以鄉一种ifig，其中，例如运齢事件的一个事件的表示可以产生并且被传fi^多个客户端设备，使得用户^g可以以三纟tt/示再现该割牛。在一酵仔中，可以鹏单个的^*产生谢见频图像，尽管可以i顿多个*几。因此，本发明的实施例可以麟多馆点，包搖以一种,的方式M31允许客户端设备改变以三维方力见看事件的相对视亂从而允许客户端设备观看新牛的三食w^，例如足球比条允许客户端设备^#~种粒了三乡^的方式，包括赠的合《^，禾口/m^^f处的平面6^的^;斷ra于恭示新牛所需晰言息的M，其可以TOMil例如移动通信网络^^互联网通信^^之类的具WW限带宽6^体传输一^Hi^新牛附腿；—种配置，其中客户端设备可以提取一部分具有选择的一个^多个鄉的视频图像，而无需要求,一个樹斜脉专门采集这&J^的柳频图像，其由整个;tM(足球比赛)的图像产生一个局部(运动员集合)视图。本发明的实施例允许改变,生的三维M中的相对视图，使f粘顯见看点以该场景的三维，IM樹期见看，在真实环境中在该观看点并不^用于获取JM场景^^频,的s^a。因此，该场景的三维丰趣掛共了一个真实t綠的戯以M/示，其可以用于e^6^tlM的观看。本发明的实施例也Jlf共了仅iW^h)^mg某m^的观看，而无^i^一个^a专门用于M^m中获鹏P个g那Mm。本发明的其他M方面禾时寺征由附加的权利要求限定，其包括一种#^s、一种客户端设备、一种方法和一种具有其上记载了teHt^;m^的信息信号的綠媒体的娜载体。1^将##附图来1鹏述本发明的实施例，其中图i是根据本发明的一个实施例的^isi系统的示意亂图2是一个根据本发明的实施例的^t^方法的淑呈图3A和3B是根据本发明的实施例的X^i踪的示意亂图4是根据本发明的实施例的X^ii^的遮^^测的/琉图6A和6B是根据本^明的实施例的^i^口遮m测的示意亂图7示出了根据本发明的实施例的图像i賜仿法的纟繊图；图8示出了根据本发明的实施例的图像特征的图像鹏的示意亂图9示出了根据本发明的实施例的用^i十算特征向量^图像特征的图像，的示意图；'图10是一个从一个场景中获得的柳频图像的示意图，其示出了包括要Mii^的队员的足球比赛；图11A是一个B^M用本发明的^M^平均^而产生背景^^的视频图像的示意图，并且图11B示出了考虑至咬化时的背景丰I^;图12是一个B^OT本发明的fe^M的卑鹏图像的示意亂从而示出了运动员的iil^置；图13^A两个不同的照相机获得的两个4见频,的示意图，其中的每一个照相丰鹏W^的每Hi，以腿球比赛的JME见实的蔬图，其中的运动员在相应时间被追踪；图14是一个足球比赛的视频图像的显示，其中根据本发明的^a^的队员被總；图15是一个足球比赛的齒以模型的三纟/示，其中比赛的观看可以被;图16是一个用于产^￡球比赛的^^模型的系统的禱框图，其中比赛舰可MS联网,给客户端设备的AX合，素显示。图17是一个用f^客户端设^^产生:^t的1分挪频图像的Wl的系统的^亂其中的^^出了部^f的m:图18是一^^图16和17中示出的系统,作的漸呈的示意图；以及图19是一^/示图17中示出的系统W^作的谳呈的示意图。具体实施例公开了xmii踪的系鄉卩方法。在下面的描述中，为了对本发明的实施例有全面的理解，公开了许多特定细节。然而，很明显，对于本领域的S^人员来说,无需<顿这離定细节也可实1发明。相,出于清楚说明实施例的目的，省略了对于本领m^人员来说是已知的特定细节。图1示出了按照本发明实施例的^I^系统的示意图。在如图1所示的实施例中，要M^的mJi^^30上的足^g动员(标出)。辦汤30的高清(HD)枧频,(1920x1080像素)由一个或多个高清^MIM获。尽管本发明的实施例可用于自多个^的柳频,中11￡^，但在一些实施例中仅使用一个樹斜几。可以,的是，高清wm很贵，所以仅4顿一个衝斜几能斷氐实测OT本^的系^^需的总费用。然而，仅^OT—个衝象机只肖^f井vX^排列于其中的:t綠的一个二维视图。结果，ffi由柳频图^^的场景中的鄉更加困难了，因为在其中一个^ii挡另一个X^的遮挡事件更可能了。图l中示出了这样的单个M^几20的实例，尽管如纖机22.1和22.2所示，可以选择使用两个S^几，#^于足^的不同半场。在图1中，视^^几20位于足球体育场中的固定点，并被安扫瞎g由MWl20捕获的冬鹏图像的信号^Jl^内^bSX作站10，后者执行图像《及其ft!^作，以il!^^^上的运动员+树于时间的^S。然后，iS^^禾胸于时间的运动员^1!的，以^和比,计,例々嫩^ii动员在比赛场,寺定部分所花费时间的长度、^tit动员奔跑了多远磐。^目对于时间的运动员OT的ic^为^Ht动员形^^，据，^^及Wt动员在视频,中的路径。根据足職(^tm平面)的三维牛難4^^^，以鄉与根据运动员场上，的运动员移动相关联的信息，这禾幅息从(二维的)柳频图像中看来不是很明显。随后，这种已产生的路《^M細于当足球比赛的镜头通过^1的介质#^^观,働见的观看，，自旨导足球队时帮助教练。下面将详细描j^tm的追踪，所^tm例如是球场30上的运动员。在本发明的实施例中，内MbSX作站10^ffi由Sony、Toshiba⑧及I,^^研发的Cell自机。Cell^S机的^^性使得它特别适合执mt^1^的^bS任务，例如图像鹏、图像i湖讽^ii^。然而，fe^人员可以離，招可适合的工作站和，单元都可以用于实1^发明的实施例。可以離的是，根据本发明实施例的W^系鄉防法不必鄉蹄伪鹏^igl上的运动员。例如，可以鹏其它体育队的运动员，例女PltW、板球、美战球、》姆、^t磐。另外，根据本发明的实施例，还可以鹏如球、冰球用:例如赛车的1具等等的)^0根据本发明的技术，^ffi高清柳Mt机20产生的视频图像被安排用于捕^^的视亂使得可以itl^fc汤上的运动员。因此，/AMf斜几20的静碰置捕1^，尽管如j^;m，为了捕ww^可以4OT多于一个摄ftt几。在一个实例中，如J^/M，lOT两个^tm22.1和22.2，^h位W^f的不同半场。在这个实例中，如英国专利申请NO.0624410.7臓，^^衝斜/L^生的视频,可以被内msx作站10结合在1以il^自高^^率视频图像。在这个实施例中，在纟顿结合M(stitchingprocess)之后，SHtl几集群的输出被认为是单个的超高彌率,。超高清设备的优点很多，包括无需进行光学并因此不必影响体育场的整体,即育狭出显^i动员的特定特征的能力。财卜，由于比赛的背景是静止的及WE^iii^tm的较高屏^fl率，使得)^的自动，很容易。!^参考图2、3和4来描^i据本发明实施例的^tii^。图2示出了根据本发明实施例的^ii^方法的淑呈图。为了itl^j^，从已接收柳频的在f腕义縫的帧上实质上被检测为静止的那鄉分中构造背景模型。^"^骤S30中，对接收自^Ml20的^^^^的枧频MiS行^i，以构造图像的背景丰!Mo构造背景丰i^是为了创建辅助i朋诉tai^单个运动员的前景屏蔽(mask)。在步骤S30,为了粒背景鄉，舰为,象素确鹏斜贞之间的像mim&像素傲M^形成背景t難。因此，^^贞中像糊值不做大的被，随后为了i湖i撤景屏蔽，可以将^^Mi别i伪背景像素。这样的背景/前景分割是图像鹏领域已知的方法，本发明的S^应用了由Manzanera和Richefeu所著的、发表于2004年ICVGIP会寸义录的、名为"ArobustandCcmputationallyEfficientMotionDetectionAlgorithmBasedonH-ABackgroundEstimation"的文章中戶腿的算法。然而，本发明的tfe^F限于这个已失鹏，根据用于鹏的背景丰難:^r景屏蔽的其fffi^也是已知的。可以的是，在1^几的船1^括一些人群的情况下，背景輕中不太可能包括人群，因为他顆艮可育^^走去。这是不希望发生的，因为当执行对mill^时，很可能增加Cell鹏ai:的雌负载，而1J^也是不必要的，因为大多数体育转播公司不太可軎树，人群中的人们感兴趣。在本发明的实施例中，在比赛开始,造背景模型，并且甚至能^ii动员入场前誠。另外，Wh比赛中周斯ttMifi憎背景翻，以考虑照明^i牛的招5J^化，例如齡比赛中齢被的阴影。在步骤s40,M^自mm的弓i入图像中减去背景丰趣以i照杯同区域。因此，从该图像中减去背景，難，得到的s^用于^^wt动员的屏蔽。在步骤S45，根据在背景|鄉被减去时产生的翻象|的像素繊犍阈值。ffiil首先确定在一系歹诉见频图像帧上的像mi^i^产生背景丰IM。从^h^素的,中，可以计算来自现频,帧的^m素的方差。然后，^^素的方魏于确定阈值，该阈于视频图像的所有像素范围中的^€素来说是可以变化的。对于对应于部分图像的像素来说，方差高的地方，例如包括人群的部分，阈值被^S为高值，而对应w^的图像的部分具w^低阈值，因为辦汤的鹏和内容始终是相同的，除了运动员出现的地方。因此，阈值将确定前景元素;i^存在，并且为此相魁也i賜J前景屏蔽。在步骤S50，基于与平均人l^l趣的关联的^^概率TO于Mf景屏蔽中提^态。财卜，为了创^fe概率屏蔽，为了i尸^J运动员，从图像中提Mfe1T征，例如Mii动员衬衫的鹏中提取。因此，每队衬衫的颜色會嫩用于将运动员彼此区别欣。最后，内WMx條io條已知的^h足球队的固,^^fet娥。因此，需要每队衬衫的鹏、守门员及辦l损衬衫的颜色。然而，可以M的是，可以使用其他^i的M^皿和/劍莫阪匹配方法。回到图2，在步骤S50中，内^WT作站10将^^Mfe牛鎌的^t^素与对应于运动员图像的衬衫区域的像^a行比较。随后，内#1:作站10产生指示^fe^S像素与戶;M像素之间樹以性的概率值，以便基i^m^B值(HSV)fe^空间中的距离鄉)^fe概率，该^S空间来自球队和^^鹏^難。另外,麟概率用于定條动员，^^概率基于与平均人l^^觀的关联。跳移动概率基于与隨的距离，该^Sfflil鹏开始錢、m^/鹏織的递归最小平方估^t算得出。图3A示出了运动员屏蔽的创自程。图3A示出了由视ilM像机20产生的足嫩汤30的^视图210。就像B^说明过的，嫩汤30形成了背景丰翻的一部分，同附(Lt^M，运动员230、232、234、236、238、240形成了前景屏蔽的1分。运动员的边界方框(boundingbox)以^h运动员周围的虚^出。至此，对于|几图像，，已执行步骤S30、S40、S45和S50。已设计前景屏^§，在首5W运动员flffl聘之后，在步骤S55中M:^ifi^^ltt^行运动员麟。因此，为了Mi^逝呈中除去这些运动员，首先M被i朋伪离摄f斜/Wa的运动员。在步骤S60，Mlfii动员的雌以便于最大化條、鹏和移动概率。在步骤S70，构造排除了已知的将要被其他Mifi的运动员執J^fa^的图像区域的遮挡屏蔽。这确保了被其^ii动员部分或^P鹏的运动员只能与可视图像区域匹配。遮挡屏蔽提高了鹏的可靠性，因为其斷氏了车A^洽并(其中^U当事件之后，两条车AM随相同的运动员)的发生率。当多个目1if^辦目同时，这J^^辦问题，因为他们不倉^iiWfe(简单地)被区分。遮挡屏蔽允许^^素分職(5f他的运动员湘滁顿的运动员，P肚两条车M匹配相同集合糊象素，从而麟了他们的與虫鄉U。然后，下面iliiill^m图像中衝共的伊征并舰们,到如图3A和3B所示的三维，I3Lt，继续iii^^Ng动员的鹏。因此，为了与^f斜/l^生的二维图像中的^g相一致，将三维^a分船能动员，其最大化g、,和移动概率。简要说明，如果已经检测至腿挡割牛，贝ij更e^动员的选择皿二维图像至iH维teU:的舰。为了辅助步骤S65中从二维图像向三维丰勉的,，对将要lffi^的运动员进行初始化，以使得KfeSMfe概率中的ilW,到:Sii合的运动员选取。要强调的是，步骤S65中执行的净加台化仅执行一次，典型Jttii^战呈开始的时fi^w亍一次。为了对系^a行好的初始化，运动员应凝当浙。初始^t后，根据本发明的M，运动员，中的樹可^^|5#被自动更正，其不需要AI干涉。为了实tt^自二维S^位置的三维模型中的追踪，通过^ffiS^g阵P进行转换。麟需要二维图像腿与三维禾翅中的健相縣。ffl^顿職(P)矩阵来誠離换。二维空间中的点等于三维空间中的线<formula>formulaseeoriginaldocumentpage14</formula>二维空间中的点等于三维空间中的线，因为第三维絲知的，織三维是离S^几的距离，因此会作为穿HH维翻的^^相舰出现。膽(运动员)的高度可以用于确定与,几的距离。舰沿位于已知地面a的固定高度(平均人类高度)的^t取点，可以获得三维空间中的点。在由M^n校准^sia行的匹ss^前，^^Mt几一wwKffs^g阵p，^mn校准M中,的物理伊征(例如鄉30的拐角31A、31B、31C、31D)用于确定樹斜几参数，因此，其可以辅助将已i朋啲运动员的二维腿,至lj三维t難上。4顿已粒的方法，这是已知的駄。根鹏理織，S^g阵P合^f斜几的^^7K平(zoomlevel)、光心、三维^S&H维旋转短(指向的地方)。步骤S60中执行的繊算法是可伸缩的，其肖,用^"个或多个i^a仅仅需要MS4"个M^几处可以看见鄉上的所有点(以足够的^fl率)。除了和條匹15^外，步骤S60包括H^呈，其中，为了以^bMft率准确i朋lj^hl动员，也包括了正在M1^的运动员的移动。因此，根据禾树运动和方向可以确定帧之间的运动员的相对运动。因此，相对运动可用于随后的帧以产顿于i鄉將^it动员的〗嫁区域。形卜，如图犯所示，足鄉的三维，趣可以歸到30.1、32.1、34.1、36.1、38.1、240.1的^i4行扩展，戶;ft^相对于运动员^S的图形J际定位，以反,嫩lLhit动员移动的相对方向。在步骤S70，一旦三维模型中的运动员相，置被ij測，随后将i^g相应M^回足嫩汤的二维S^视图中，并将禾树边^^到三维丰翻中根据其體识别的运动员周围。还是在步骤S70，运动员周围的丰,界随后動卩到i^g动员的遮挡屏蔽。图3B示出了足嫩汤的戯财趣220的平面图。在图3B所示的实施例中，运动员230、232和234(位于场地的左手边)已被内^MT作站10i湖ij为穿着与运动员236、238和240(位于场地的右手边)不同的足球衬衫，因此J际他们属于不同队伍。以这种方式区^i动员使^ai挡割牛之后检测^1^动员变得容易一些，因为職做i、湖艮的Mfe可以很容易地区分Wh。回头##图2，在步骤S60，《顿例如卡尔曼滤波的已矢P^i^^tit动员的，，当然^^其他^的s^也是可以s^的。该，发生^mm视图210禾口傲以丰難220中。在本发明的实施例中，由内^ME作站104顿^^模型220中的运动员^3^1行的皿预测被用于辅助^|^|几视图210中的每重复步骤S60和S70,鼓咖判定框S75所示的男P^fcS^^有运动员。因此，如果不Ji^有的运动员繊鹏了，Wa转到步骤S60，M^，如果鹏誠；feWt预骤S80结束。如图2戶标，图示的方法进1包鄉骤S85，如果图像由多个Smn^生就需要该步骤。由此，可M来自齡衝斜几的柳频图像执行鹏步骤S30到S80。这样可以麟^Hg动员来自齡Mm的检屑概率。因此，根据步骤S85,按照沬自^t衝斜几的^tii动员,率来估算^1Si动员的iig，并且根据每个^mW^的最大概率来估算i^J员6^,使得^Sl动员具有最^Jt率的，被ii^iJ为运动员的^S。如果B^确定ffii^^^JJi动员的斑呈中发生错误，那么就在步骤S90中Sf初始，i^i动员的，。，^^动员的检测的概率对^#定1^说相对较低，就会产^i^中的错误检测，并从而重新初始化辦Aa。执行如图2戶麻的方法的结果是为^tit动员产锁径娜，^t枧频图像的^^贞中^^运动员&^e,iMm^^j员整场比赛所走的路径。因此，路M^皿了关于时间6^S。鹏麟如果如图4戶;f^，一^i动员遮挡另一^Ht动员的M或部分，当^旨运动员的皿形^^个樹Ml视图时就会出现问题。图4示出了多iSt动员310、320、330和340,与他们关联的边界框如針运动员周围的虚^B^。运动员310与340清楚的区分tt，而运动员320遮挡了运动员330的一部分。iM尤敲刑胃的遮挡新牛。当一^ig动员的^P或部，挡至^"个其^g动员的鄉或部分荆吏得对运动员的鹏变得模湖时，甚至在考虑其他因素(例如运动员的丰,动和方向)之后，京拨生了遮挡事件。然而，可以，可以发生两个^M多^ii^员牵涉其中的遮挡事件。，内^MT作站10检测与运动员有关联的屏蔽的^P或部分^和与另一^Ni动员有关联的屏蔽的，或部分出现于相同的,区域。^!挡割牛中涉及的运动员属于对立的球卩AS因此而穿着不同颜色衬衫的情况下，可以很容易的区瓶动员鄉Jtbiili他们。然而，遮挡事件发^t后，如果运动员都属于同一方，内WMX作站io可能无法区洲(MSi动员是明PK尤其是由^il徵件之后他们的移动(例如由鹏童导致的移动)可能无法预测并因此无法Miii^ii动员。结果，分1^^运动员的11纟她许被魏了。为了解决运动员鹏中的丰娜性，内^hSX作站10为遮挡割牛中涉及的所有运动员标±薪牛中涉及的所有运动员的身份|^8。然后，在稍后如果一个或多^ii动员变得易于区分，内WMT作站io就J柳这^Ht息将运动员的身份^RSf^Se^正确的运动员，以便于f;^rHi动员是哪个的记录。参考图5详细鹏鄉呈c图5示出了根据本发明实施例的x^i^SM^ti柳方法的流程图。在步骤sioo，内WWi作站对已捕获的丰鹏图像执行图像M,以便于提取##上面图2戶腿的一个或多个图像特征。随后已提取的图像特征与提取自对象的可能实例的对应M特tES行比较，以识别^h对象。在本发明的实施例中,下面t^图7和图8详细^A衬衫上的数字i賜胆动员。然后，内^bSX作站为^tm生成i賜ij^hm的^m极只。可逝也，在本发明的实施例中，操作员M^作员界面i照iM^对象(例如运动员)。然后，内^MT作站10使用i^a作员界面输入的l^以产^^椒尸激据。然而，t^:人员可以,，通a^作员可以将,i湖iJS^与裕尸為^^以便于产^m标i尸激据，或可以^^其合的)^^标识方法，例如数字i朋iJ，m字i朋iJMMii动员衬衫背后的数字来鄉鹏员。在步骤S105，依^步骤S100提取的一个或M图像特征，内^MT作站10检领!H5J可,te^测的^，例如##上面图2所描述的运动员。如上所述，J顿J^M魏220禾口^m几视图210鹏#1^动员。内^bmi作站10j顿追1^11呈期间^;的*产生^#存路径，该路4^^描述了^h)^m在接,啲，鹏,中所走的路径。^mma^i^关于时间的运动员x-y坐标的样本的形式。在本发明的实施例中，路径数据的形式为U，&力)，其中";i^样时间，A和义是^^样时间6时的m的x和y坐标。然而可以S^，可以細其他铖的路式。据一起，iM^径i^涉及^h^在柳频图像中^i的路径。、己Bt的i^存i^f内^hSX作站10柳M驱动器(HDD)g^随机访问存储器(DRAM)上。这使得肖&iat明MSi动员与^h检测和鹏的路径相关。随后已记录的繊育,用于^^^Ni动员以及比糊间他们在何处的i^。例如，可以从存4針关联碟中的娜得到运动员在^^寺定区i^;f花费的时间。财卜，如果由于樹可原因运动员与路^t间的关，得模糊，例如挡薪牛后可肖拨生，这种i碌能被麟到如下所^l决丰難胸题为止。下面的表1示出了与mj各径~^的已^^^斜尸的实例。<table>tableseeoriginaldocumentpage17</column></row><table>^h^的)^m^iPJ^和iM^的)^路径f^之间的关联允iWh对斜目，Mii^及il^ij。^m实施例中，可以iEl^Ng动员，因此允许转播公司了鹏JH^动员是谁，即4数MSS动员可鄉巨离很远以至于无法在视觉上被操作员i湖戚被内^WT作站10所执行的醜i湖ij附鄉j。这允许转播公司基于鉄勝且合更多的、转播内容的观众可能会需要的^tK信息。显示图像视图中的ill^据的更多的例子稍后描述。在步骤S120，参考图4，内^tlO:作站10检测参照图4所述的謝牛M发生。如果没有检测至1事件，处M^就转至l脸测M^的步骤S105。这样，m^tm肯嫩賴虫的鹏，^h鄉的路径与iMm的梳只唯一地关联。然而，如果检测到遮挡薪牛，那么在步骤S125，CellMm^遮挡^^牛中涉及的^N^的，标i尸J^与遮挡事件中涉及的^N^的対象路径数据关联。例如，如果两个标为A和B的)(^m分别与路径P和Q相关，在涉^J^A和B的遮挡執^测之后，路径PM被关職lJA和B,路径Q^被关職UA和b。随后，^!Wi牛之后，如j^mia^由内Mhax作站io产生的关联。^!尤允许鹏割牛中涉及的膽(例如运动员)IfeiiSl而无需魏i湖J^^舰，艮P麟于明Wt动员是明Ph雜一些W定性。因此，陶氐了内^MI^^占10上的M负载，因为仅ttl^ii^謝牛中涉及的mi^地i湖ij，而割牛中没有涉及的鄉仍能被鄉IJ。在步骤S130，内^bai作站io检歸歸已i鄉拙遮挡事件中涉及的一个够个鄉，以便育嫩解决与所产4^径相关联的膽的身份。内WMX作站ilii将一个或多个与iM^眹联的图像伊征与提取自iM^的可能实例的图像^!Ba行比较，来i咽侄^"个^M^。如果没有i朋咄，则接着MMIS,与,謝牛中涉及的所有那^t^相关联的w^m的已^m径转至ij步骤S105。然而，如果检测至i腿W^牛中涉及的一个或多个赠的i賜JB拨生，另P么在步骤S135，魏已綠的路M^，以iK^肯定己被i明啲鄉的身份。在上面给出的实例中，魏关联"i碌以便A与路径P相关联，B与路径Q相关联。可，x^的丰!H只可由操作员m:^作界面^i行，也可由内^MT作站l(HOT根据本发明实施例的,i朋JM(如下戶舰)*^1行，M31两种技术的结^e誠。然而，可以,，樹可其鹏于区分或i湖ij^h顺的i湖啦糊可使用。就图像i湖睞说内WbSO:作站10可以^S信度(confidencelevel),體信度指明了由图像i朋IJM^f做的标识有多大可能是正确的。在本发明的实施例中，标识被确定为在其中置信度高于予跪义的阈值。另外，操作员可以将置信度分鹏他们的极只，如果^g信j^l了予腕义的阈值，另卩么就检测到标识。在本发明的实施例中，事件的历對旨出了己在何时魏了1战的路^，这也可以被存储以便于在肯定的t斜邻正实为不正确的情况下作为^^。例如，操作员之M^远离柳^Ml20的运动员具有特定标识,但是当i^j员离枧频i^i;i^一些的时候(允许用户看至隨动员更高辨,率的图像)，操作员意炉^j他，昔了，此咐斜只育胸证实为不正确的。如果^s样，術|'诃以{顿操作员界面MM他们先IM运动员的i賜J，只要内^SX作站io肯嫩因此而MfH3^的路^。"面给出的实例中，标识執牛历史可以与—^#储于内#工作站10柳跑驱娜(HDD)^g随机访问存储器(D薩)上，iM^标新只新牛历史也能包括在极尸sMI呈中产生的置信度。如果后来的标识由具有高于先前肯定的极只的置信度的一个置信度的m构成，那么后来的标识的置信度可用于检验離除先前的标识。可以，在检测至'腿挡割牛之后，可以在itJ当新牛之后的樹可时间标iR^象，以便消f^M^f牛中涉及的m的才I^性。因此，在检测至'爐挡事件之后，内w^x作站io可以mm^的肯定的柳凝作为背景鹏而发生，戶;MW景M与步骤S105到S125同时进行。I赃参考图7a和图7b说明根据本发明实施例的)^ii^&l挡检测的一些实例。在图6a所示的实例中，标识为A和B的两个X^m涉，l腿挡事件410。鄉挡事件之后，如箭头所示的两个检测的)^&径都与A和B相关联(AB)。一段时间之后，肯^fc^^B硫只为如Ay/f^的^^^m:。该标识随后用于Mig与路径之间的关联，以H!^mA在遮挡事件410之后与较高路径相关联，对象BM^割牛410之后与劍氐路径相关联。在图6b所示的实例中，聰A和B最净7J^及至腿挡事件420。然而，^j"^A和B肖辦肯，被i朋lj之前，在遮件420后与A和B躺目关联的^f氐路祉的X^m又涉及与膽C的另一^Hi挡割牛430。因此，^ii挡新牛430之前,稀MI当割牛420;t^^^低路祉的赠^j^A还JiX^B。所以，挡謝牛430之后，两个)^^走的较高路径和较低路径,)^A，B和C相关联(ABC)。一段时间之后，遮挡割牛430之后樹氐路祉的鄉肯定地被i賜j为膽B(A^C)。所以，Mff关联i碌以igii挡事件430之后的较高路径与^C相关联。财卜，此信息可以用于，关联记录以便兽嫩消M^割牛420中涉及的两个对象的翻性，因为鹏薪牛430后鄉B被明确i賜J为与樹鹏径相关联，遮挡事件430中所涉及的必定j^t^B。因此，魏关联1碌以{1挡*#420后的较高路径与膽A相关联，遮挡割牛420后的较低路径与膽B相关联。所以，即使在肯魏i鄉Mm^前也许B^拨生几4^M事件，本发明的实施例也允许^与m的iii^&径相关联。财卜，本发明的实施例允许对不同对象的身份相SS行^X弓间，以鹏iWh路径与正确的,目关联。数字i賜JK参考图7说明根据本发明实施例的i朋iMm的方法。图7示出了根据本发明实施例的图像i湖仿法的漸呈图。在本发明的实施例中，一种肯魏鄉隨动员的方法是检测并卿该运动员衬衫背后的数字。因此，在步骤S200，夠图3、4a和4b，如J^Mtfe^l鹏割牛中涉及的至d^"^i动员Smg。在下述的实施例中，假设{5^割牛中涉及的一个运动员进行,i賜ij，但是可以SM，当至^^4^员位于现^几20的视场中时，戶脱方法魏常地可翻于在樹可时间检测并i賜J至少^^Si动员。然后，在步骤S205，提W"应于,面积的可能区域的M区域，其中该图像面积的可能区自应于^i鹏运动员。^*发明的实施例中，皿隔离对应于运动员的屏蔽的,区鄉^i&一步骤，0MP蔽在图2的步骤S45M，但是可以M可以i顿其他统的方法。财卜，^^膽的已知属性^^测到的S^伊征育滩进"^efciSWtv行,i賜J的,区域。例如，京捉躯动员来说，我们矢爐，i照隨动员的数字通常印ffii动员足球衫的后面。印艇动员足球衫后面的数字是要fe^测的图像餘征的实例，但是可以離，其他額的图像特征也能微测。ilii^对应^it动员屏蔽的图像区^Mra当分割，育^l取图像区域，其中很可能找到所需的属性或S^特征。然而，tfc^人员可以,，可以4顿其他魏的方^M^m行,i湖啲,区域。用这种方法提取图像区鹏加了图像区域中有用信m^冗余信息的比例，因为要i湖鹏特征极有可能d^图像区域的^:比例。在一个实例中，il31,素与阈it^行对比l^l取或分离那^1阈值w素来誠分割。在步骤S210，图像阈itffl于所提取的M区域以便于将戶;f^图像区:^换为二值图像。典型地，应用阈值以便于Mi黑白阈值图像，但是可以理解，可以使用其他,阈值，例如那^S于乐絶的阈值。在本发明的实施例中，要被i朋啲所需a^r鹏M区域的一些其他特征的现有知识可用于^^二值图像。例如,可以OTi动员衬衫的Mfel^,阈值以il^生二值图像。MiKOT基于将被i朋啲特^^的属性的现有知识的,阈值，可以提高要i賜j的所需图像牛鞭与背景之间的差异，^^与将i湖啲a^ir征不一致的图像餘征包含在合随后，在步骤S215，^^鹏的阈值,区域中检测那薪皮此邻接的图像区域。然后将已检测的邻接(contiguous)区域分配为戶腿的、g^Ti^^图像鹏的邻接图像区域。因此,步骤S215检测feit邻接的相同翻的像素。继，术语"相同类型"是指像素的颜色、像素的亮度(也就尉象素的属性)等等。换句话说，邻接的图像区^i舰相邻并对应于在分割中标识的相同鄉的像素属性的那，素所标识的,区域。例如，^i^的合成阈值图像是黑白图像的情况下，对应于邻接的黑色像素的图像区域(也就是:相邻柳陛黑色像素)可以被检测并被分配为戶腿的邻接,区域。在步骤S220，倒可不太可能与特性相一致的戶腿邻接图像区域作为虚假图像区嫩皮移除，Mf除的戶鹏階,区域以鹏定要i照啲特性的数目。在本发明的实施例中，为了移除虛假图像区域，依靠戶膽的邻接图像区域、基于在已提取的,区域中戶腿的邻接,区域的大小、麟、ffi^t隨禾,荆OT已矢Pi^:来计^^同的Mo在##检测足^动员衬衫的数字的，实施例中，很可能雜一个或两个数邦检测。因此，例如，ftl可彼此ra相同高戯彼具有超辦目同尺寸的戶;^邻接,区斬太可肖鹏要1啲数字。因此，放弃那些不太可能与要检测的特性一致的戶;^邻接图像区域。然后，4顿高斯概率^a信度，體信度指明乘除的戶腿邻接图像区域与予腚义ms:的特性相一致的可肯^。在本发明的实施例中，Mf除的戶;M邻接图像区域，以便参考上面给出的足球衫实例来确定他们与两w寺性纖字题一致。如體信度没有^31予腕的阈值，另，么假设只雜一个数字，并选取已提取的图像区域的中心区域中的招可戶;f^邻接图像伊tt^瑰^的翻象鹏。然而，如棘除的戶;^邻接,区域确实对应于两个数字，那么分离鹏戶;^邻接图像区域，^i行关于^hf除的戶腿邻接,区域的如下戶腿的进"^图像处理。这>了需要分类的不同特性的数目，因而離了内^bS工作站10上的处理负载。例如，当要i湖擞字时，如果同时^^有剩余的所选邻接图像区^U:执行数字识^J，那么仅，字0到9而不是0"99或0"999需要分类。在步骤S225，细化在步骤S220分离出的戶膽邻接图像区域。凭借此鹏，将邻接区縱宽度方向上>为仅1501错素的行宽。典型地，已M^、的行宽是一刊象素的宽度。像素数量由细化MiS1ff腕义^^于^^取的所需要的图像特征。ThierryM.Bernard禾口AntoineManzanera所著的、名为"ImprovedLowComplexityFullyParallelThinningAlgorithm:发軒1999年第十届图像分析M国际^i义(ICIAP,99)第215-220页的文章描述了賴的细化M方法。细化邻接,区域的好处在于斷氐了形态的复杂度，因此简化了所有的进一步处理步骤。例如，MM化数字而不管所4顿的雜，可以产生实质上相同的臓。参考图s说明对戶;M邻接图像区域的细化。舰那些已被确定为可能与要检测的特性相一致的戶;M邻接图像区Ji^行的细化^sM^了必须由内^Mr作站io执行的,M的M:。图8示出了根据本发明实施例的戶;^邻接图像,征的图像鹏的示意图。在图8戶标的实施例中，要被检测和i賜J的图像特征是数字5。在根据步骤S200到S220的图像^Ot后，提^^，的邻接M区域510以用于细化M。细itt后，图像1T征510M^了，以至于其仅有一，素的宽度，因成了修正的宽度图像特征520，对该修正的伊征可以进，~^处理。从图8可以看出，图像1T征的复杂度陶氐了。由于修正的宽度劉象特征仅一，素的宽度，所以数字5在宽JtJl的变4^字体的个揪伊征(例如字,征530)被移除了。在本发明的实施例中，一旦所选的邻接图像区敏薄(细化)为一，穀且的线，就在步骤S230将其膨,B厚为予腚义,素宽度，以致在魏取特征向量的戶腿的邻接图像区域中有更多像素。然后，对于^^分离的戶;f^邻接M区域，在步骤S230计算该图像区域的特征向量。典型地，由于得到的输出就旋转及伸縮不变的，所以^f顿Zernike^fc誠iMf呈。这么1腿有优势的，因为其允许从,中提取实质上相同的特征向量，即j^被i湖鹏特性^^方面发生失真(例如由于衣服不坚挺而发生^t动员衬衫上)。然而，fe^人员可以,，i情来自图像特征的伊征向量的其他^S的对旋转及伸缩不变的(rotationalandscalarinvariant)方ffli可以舰。在本发明的实施例中，为了提柳;^邻接图像区域的ir征向量，〗柳已矢啦术来i憎该区域的质心。〗顿质'lM乍为i憎Zernike矩的原点。另外，检测己提取图像区域中具有距原点最対巨离的像素，并统一标准化己检测的距离以辅助Zernike矩的计算。矩计算中<顿的Zernike多项劾卩下给出(例如，参见http:〃mathworld.wolfram.ccm/ZernikePolynanial.html)。这里，p是离原点的径向距离，0《p《1,4>是方位角，0《d)《2兀，n和m是!EMt关于111，n的^;(力如下定义，其中n^0:。-m)/2(-l)'("—/)!/![〃2("+w)—/]![〃2("-w)—0n-m为偶数n-m为奇数为已提取的,区域中的^t素健计算Zernike矩，随后在已提取的图像区^il斜n所述Zernike矩以^征向量。得到的特征向有与在矩{情中使用的多项式同样多的元素。下面示出特征向量的实例。多项式餘征向量广Xi、XzXaXiXsXi此处，用于i!3i^MiM瞎,区域的像素的和来计算矩的多项式在标题为"多项式"的列中示出，矩將得至啲值Xi是顿的伊征向量的元素。典型地，从到"7(A-)的Zernike多项式用于^lt征向量，这在计算旨性和M具有足^M的元素以^ti行分类时消,性m之间的模湖性的伊征向量之间鄉了很好的平衡。然而，可以,，可以i婉超l坏同阶的其它范围戯戶腿多项式體的矩。如w脱，在本发明的实施例中，一旦细化了戶;f^邻接,区域，其可以随后^l^Eit^之辦皮加厚到跪义的线宽。^>了在已细化,区域中特征向量计算对于噪声#差的性，因为小的方M^向于超IJ平衡。图9示出了根据本发明实施例的用Tit^特征向量的加厚的所选邻接图像区域。图9示出了itM寺征向St働幅的戶;f^邻接,区域600的实例。此处，翻象特征630说明了Zernike多项式的实例图。如J^M在醜区域600中的每^H象素^Si愤Zernike多项式的值(例如，对仅出于说明目的示出的像素605、610、615和620)。随后将在^ht素iMi十算出的多项式的值斜B，以给出该多项舒H,区域600的Zernike矩。该得到的值随后用悩tLh^服的特征向量中的项目。作为将已细化的邻接图像区働卩厚到^义的线宽的可割戈方法，可以使用插值法帮HT^f本f[S，对这些样本斜呵以形成Zernike矩。在步骤S235，4顿誠的分数颇步骤S230中i"t奪出的特征向量进行分类，以便检测其可育^t应于明mt性。扯面给出的i朋隨动员衬衫上数字的实例中，可能的特性是数字0"9，虽然可以a^他们可以是倒可其他誠的特性。在本发明的实施例中，f顿已知的神经网^^ir征向量进行分类，以便于对已顿的伊征向SS行分类。随后神经网络的输出用于检测所选邻接,区域可育鹏于liW性。在另一个实施例中，将步骤S230中产生6^jir征向量与先前由I^义特^生的餘征向量进行比较。^ffi与步骤S230相同的特征向ft^生方^l^^预定义特性的伊征向量，以便在予跪义的特性与艘i照啲已检测图像特tiEt间进行比较。^^寺征向量^^方法以便于为^Hf性顿明显不同,征向量，以便繊它们各自的伊征向i^轻易i^lt特性舰区^W^在该实施例中，^^前的伊征向量的置信度，其^^来自在步骤S230中产生的已检测图像伊征的特征向量与旨先前产生的伊征向量之间的相似性。例如，将图8中所示的产生自细化的邻接区域(5卩^1>宽度的图像特征520)辦寺征向量与先前产生自数字0-9的特征向量相比较。当与一个先前产生,征向量比较时，如IK^了離的图像特征的置信M31予腚义阈值，那么就舰少了繊的图像伊征i湖伪与用于^i,生的特征向量的特性一致。例如，在图8所示的实施例中，被i湖啲数字，字5。将产生自减少了宽度的图像特征520的特征向量与先前产生自数字5的醜的特征向Sa行比较，该比,生置信度，如果體信M31阈值，那么就m^了宽度的ffl^特征520i賜J为数字5。将SM寺征与至少两错前顿的不同的餘征向sa行比较，生驢信度，如果^S信i^i腚义的阈值，那么该i湖J无效，重复涉及接收自视^W^m20的另一^M贞的WiH呈。—旦i鄉j了数字或特性，(在将被i賜J鹏性包括两个鞭多^K寺性的情况下)可以将^4争性的i湖跑合在1，以便于i湖j运动员衬衫上的数字。数字的i朋赎着可以与^^HDD740±^#插入在BD-R0M驱动器760中的介质上的査^使用，以便于ii^ijil^员。一fiig动员被ij拐ij，就可以在图5的步骤S130和S135i顿这个娜以魏关联綠。另外，在本发明的实施例中，—旦内^bSX作站10已经卿嫩它会际操作^M3i统,作者界面验证该鄉J。示例说明图10、IIA、11B和12衛共了辦比赛的实例现频图像的帧的示例说明，其中4顿本发明的S^i^动员并^^比赛的三维丰趣作为戯以，難。图10提供了由一个高清樹斜几产生的足球比赛的视顷图像的示例。图11A提供图9的枧频图像的实例，其中仅使用旨像素的i^I^M图像以^背景，图UB提供图9辦鹏图像实例，其中仅使用图像中^#素的方^处理图像以生成背景。图12鄉鹏结果的实例，其樹共了与图3A中所示实例相一致的在^h运动员周围的边界框。图13提供了相应的实例，其中使用两台摄傲几(如摄像机22.1、22.2)来^频,，^t樹斜几分别定位預至杯同的半场。彼半场和右半场中，如图朋^131在#^运动员±^卩的边界{^1动员。在图13的下半部分，^^球比赛的虚柳IM以^ii动员的位置，在图13的上半部分，如二维现频图像中由1朋膽到糊,，根据运动员在场上的錢用数字进很斜只。因此，足球比赛的三维+趣视图与图3B所示的^^趣的实例相一致。按照沐发明的M，如J^^4W足球比赛二维图像的三维丰I3^f产生的ii^息可以柳倒由柳^^傲臓获的掛频图像中。图14中说明了实例。如图3B所示，足嫩汤的三维禾IOT于辅助鹏及检测縱嫩汤上的运动员。一旦/AH维牛IM中检测至i返动员的相对^g，那么随后将i^I动员的屏蔽,到二维M上，并用于辅助在二维图像中检测和iiSlil动员。然而，一fiii^员的健以相对高的概率被i鄉J，就能得知樹象机的二维柳频图像中^^动员的健。因此，说明运动员身份的图形(如iil^制古算的男,)可以舰内^KT作站10覆盖于/AMt几m的直播视m^。因此，如图14所示，为W^动员300、302、304、306皿相应的t礎308、310、312、314，为了itSlii动员的身份，该禾蔬随后用于Wtt汤周围足Mig动员。图14中的,视图te出了两个已提取图像的集合320、322。给足嫩汤的每~^^己提取图像鹏合320和322中的一个。齡,是由衞斜几20麟的断象糊蚊部分，其打算尽可育^itk分离足嫩汤上的运动员。因此，iR^齡运动员，然后可以提取柳频图像中凝动员的图傲并和与足辦汤上^WPM应的^t^合中的其J艇动员^M示出来。已提取,的这种^^可以掛共特^ii动员视图的自动分,无需单独的Mln^场，比^P，i^i动员。因此，可以4顿一个^t鹏Wh足,，京鹏4顿多个11^动员一^^场比赛中ii^1SI动员。结果，可以在很対mhM^摘，斷氐系统鋭度。在真实图像与^^SM司转换如上所述，参考图3A和3B，为了帮助对运动员的ii^llS^位，，^1动员的战呈利用了足職的三维纟趣。！據关于运动员健估算的信息并在柳频,的^M响、司()(^，据)皿1^息，可以i!31合成^h运动员的图像并^H维模型中恭^M^动员救iME播现频M的MJ^示。财卜，可以使用已矢P^:来调整丰難视图的t树健^^以空间中的合成的樹象机健，以便m^t汤的三维禾翅的相关视图。因此，对于由Mt,生的图像视图所确定的运动员的^关于时间的位置，可以iA^斜几的所需^S中重新创M:播足球比赛的^JOH维视图。如图15中实例所示，Mil将WI动员的路径繊鄉到三维f翻可以合^H维丰難(如图3B和13戶标)，并且可以由^h^员在随时间顿的健处的禾IM泰^t动员。财卜，由于可以改t维牛難的视图，为了在现实世界中不#^几的地;^比赛的视亂可以机的*胸健。因此，作为实例，如果判罚了任意球，如图15戶麻，为了在现实世界中^#^#1的地旅,意球的视图，可以从球门的后面掛(斜几的相对位置。如上戶，，^fflS^g阵P及将相对，映射到来自球场拐角的mi几，的三维t趣中,呲目的。财卜，如J^WtM古算Wi动员的相对方位，然后该相对方位可以与WS动员的路《^1被,，并显示具有该方位的运动员的合^t翅，i^"位随时间被。因此，向被i朋伪J^ii^鹏的一部分的运动员的方位，路S^，以^^^球比赛的三维禾IM，由于其对应于真实图像，i^"i^用于^^^中的运动员方位。用于用户决定内容的IFTV图16说明了本发明进一步的实施例。如上B^，为了实际直播足球比赛的表示，通过^ffl^算法产生的^i息()^m激据)，及结合由图3B中方織J际的他们的^t方^teffl^t运动员的合成的恭示，可以合麟实足球比赛的三维^m禾IM。因皿^ffi^缩形式，因为S31以合成的，，割^球场jji动员的iii^a，直播视频图像可以由三维的合鹏5S^^。由此，根据三维戯以丰M的足球比赛的^可WM51因特网流向客户端设备。图16中示出了这样的装置，其中内^hSX作站10接收来自i^存储器400的数据，^f共跌M的足^t动员的合^/示。为了增^￡球比赛的戯^/示，该恭示也可以包括属W^i动员姿势、枕态或行为的信息。因此，产生自如J^腿的，ai呈的路径数据可以被增加为包括与运动员姿势、状态或行为相关的信息，这，息用于选取相应的运动员的合淑I^。^存储器400,收合^/示，内^fcSX作站10可以4^球比赛的三维腐M/示，并且可选#^^^三维^^的1^传给后设备410。后^hS机410可用于将与，比赛的三维^^I^有关的信息打包以船盼劉艮务器420。在图16中，多个客户端鹏机422中的每一个都肖^M^取涉^S^喜欢的球,腐欢的特能动员的视图的选项(其随后供磁合分划艮务器420)，来请求鹏比赛的三维^^魏鹏定视图。然后，分划艮务器420肖,据客户终端422,W^项，^!f^球比赛的三维^^M的,。然后，客户终端422育,帮见他们的三维^M趣的^M见图，其斧^tWf共了由^t机20产生的直播柳频图像的i^縮版本。因此，用于tt^比赛的三维丰趣的繊可以，M^iu客户端设备，其鄉了直播或^sm播的足球比赛的低带t^本。微据可以简单地包括,^t^动员关于时间的位置的ii^的^^各径数据，并可以包^hit动员的方位。足球场的三维，IM可以ffl31位于客户终端的CT软件来，，其mAii动员的合淑I^并应用路纟^^以创M球比赛的三维丰IM。,地，三维MM可用于创建i+^几,，其fi^^fi^真实的比赛。图17示出了本餘的另一，仔，其中^t几22.1、22.2产生的其中显示^^足球比赛的!鹏,M^的柳频,与mm^和S^阵一起传输给客户设备。该冬J^,m内^hSX作站104^f^客户设备422#从分配月艮务器420縱。例如图17中戶标的，内^bJil作站10M;信道500糊见频图像1吩賺务器420。如图麻该鹏图^M51M/，了舰转换禾鹏来自，场的两个半场的枧频图像形成的足球比赛504的场景。分,艮务器420随后将也肯^^鹏客户设备422的柳频图像与絲二信道502接幡啲鄉路径繊打包。根据本发明的S^，客户设备422被配置为显示足球比赛的1分现频图像,例如其仅，示足,上的一个队员，通5i^卑，图像中将足^^上的该队员的视图隔离。客户设备422包括一个用于接收由工作站产生的)(^径和矩阵的通儲口。如B^描述的，m^^g为每一个i湖啲队员鄉了每一个M球场(平面)的三维MM中的队员丰树于时间6^置。客户设备中的，鹏器(标出)禾,m^^和i^阵i賜J柳频图像中的足嫩汤上的每一个队员。在一，仔中，客户设备422中的娜鹏器重新产狄TO的3D模型并且^^6阵与^路径—,于定^^辦汤上的每一个队员。Sil将足微的三维丰翅与柳频图像中掛共的嫩汤的视图相匹配，柳频图像中的每一个队员可以被i口^J。同样，M了一个期望的队员，贝0辦皮,为在客户设备的显示屏幕J^^视频TO的仅仅出现该队员的那1分。如图17戶标的示例',统6^作，选择的每一个队员的,，如在图14中作为例子的在组320、322中的每一个可以显示在客户设备422的屏幕上。无需附加的^m^3fciJI^每一个队员6^见频图像，并且几乎所有的用于实现每一个队员的隔离的iti^bS都可以在内^bSI作站10(例如PS3)中执行，因此减少了需要在客户端设备422(例如PSP)中执行的M的数量。形卜，特定队员的隔离的视图可以从^h足,的视图中实现。图18和19提供了一个流程，其示出了图16和17中示出的系统,作。在图18中，该示出的方^&,骤S300;接收韦见频图像。S305;M获得的丰鹏图像从而从每一个^中提取一个^多^HT征，将一个^多个图像伊征与^MM皿的可能的示例)^的预定组的采样a^特tet行比较，从而根据图像特征与可能的豨iMm的予腕图像特征靴匕较而识jj撒S310;产生每一个X^的)(^^径数据，其i朋啲相应的对象，并且提供识别的鄉在枧频图像中的平面的三维f魏抖树于时间棘图像帧的健。S315;根棘封鹏图像的该平面的)^径,十敦每每一个膽的讎臓到该平面的三维丰翅中的S^阵；以及S320;将^^^和i^E阵^il^^个^多个客户设备。为了反映图16^的系统,作，图18中可，作包括S325;产生一个场景的三^^:，其包括位于平面上的多个)^中的每一个的合^M^，利用^g阵和予腕的每一个膽的高度的假设^t假设的MMl与三维，Mm的位置的确定的距离，通过根据)^m^^将m^si^至胆綠的三维丰M平面上。图19示出了图19示出的系统执行的处理，其包,骤S330;将具有X^^m和^E阵的^iM^i^个^多个客户端设备，S335;禾,从，艮务，收的)^§径和^^阵，在客户端设备识别每一个撒以及S340;响应于用户的麟，显示其中包括一个赫多个i湖啲膽的一部分柳频图像。在—徵仔中，了一种系辦昉法，用于将包含了多个位h个平面上的^的:t綠的三^te^^^个^多个客户设备，i^3W^是由MW傲几获得驗的一个棘多个柳频W产生的。縣统包括一个图像M^S,可操作用于接收由卑见^Mftl鹏收的包括在一M面上的鄉的观看的滅的鹏图像，用于M获得的枧频M从而从每一个)^m中提取一个^多个翻象ir征，用于将一个^多个图像伊征与来自视频图像包含的可能的示伊mm的予腕组的样本图像特tES行比较，用于根据该图像1T征与可能的示伊M^的予跪图像特征的比^i湖树象，用于产生i朋湘^m的每一个X^的X^径i^;并且产生在柳频,中的一M面上的i朋鹏X^t应于时间6^;用于i"f^l^一个)^的^g根皿自视频图像中的平面的)^^投影滩琉的三维模式中的i^g阵，以及用于^irx^m^^从而产生在平面上的多个m中的每一个的合皿示的體。可以,，不脱离由附啲权利要求确定的本发明范围，就可以对说实施例做出多种修改。例如，虽総考足球比赛说明示例实施例，但可以鄉的是，倒可其他体育比赛鄉姊表演(例如鄉ij)timr以考虑鹏上面公开的狱。此外，可以4柳除了ceii^^紋外的其他M^i^m行戶;f^^术。根据本发明技术的处MMf呈可以用计穀;i^聘产品的形^现，该计穀ii^y产品包括剤軒|^体(例如、M、《離、PR(M、國、闪存，些^它存储介质的任意组合)上的^bs器可执行指令，鹏网络(例如以太网、職网、因特网鹏些鄉他网络的任意组合)JbMil娜信号储的舰器可执行指令。权利要求1、一种用于将包含了多个位于一个平面上的对象的场景的表示传输给一个或者多个客户设备的系统，该表示是由视频摄像机获得的场景的一个或者多个视频图像产生的，该系统包括图像处理装置，可操作用于接收从视频摄像机接收的场景的视频图像，该场景包括在该平面上的对象的视图，用于处理获得的视频图像从而从每一个对象中提取一个或者多个图像特征，用于将该一个或者多个图像特征与来自视频图像包含的可能示例对象的预定组的样本图像特征进行比较，用于根据该图像特征与该可能示例对象的预定图像特征的比较来识别对象，用于为每一个对象产生识别相应对象的对象路径数据；并且提供已识别对象在视频图像中的所述平面的三维模型上相对于时间的位置；用于计算根据对象路径数据将每一个对象的位置从视频图像中的平面投影到该平面的三维模型中的投影矩阵，以及分配服务器，可操作用于接收由图像处理装置产生的对象路径数据和投影矩阵，从而将该对象路径和投影矩阵分配到一个或者多个客户端设备。2、如权利要求1的系统，其中客户端设备可操作用于MMf鹏投影矩阵和每一个膽的高度的予婉假设将根据)^m^的对象的位置鄉至肠景的三维丰趣的平面上，产生该场景的三纟t^，^H纟W/示^^位于该平面上的多个,的每一个的合皿示。3、々敝禾展求1的系统，其中客户端设純括用户接口，用于接收标改变所i^H维模型的视图的请求的用户控第i腊号，以及响应该用户控带腊号，该客户端设备被操作用于当^M示屏幕J:M^H维模型的显示时改变产生的三维tlM4、如权利要求1的系统，其中,鹏驢可操作用于为每一个x^t^产生在该平面J^tm的相对方向的际，以及将该相对方向的指示包含^]^^径数据中，并且该客户端设备可操作用于禾'J用与对象路径数据一起提供的该方向指示来定向三维模型平面中的合成的对象。5、女P^利要求1的系统，其中客户端设备被配置为接收^^每一个对象的合成的标的娜，以用于产43對魏。6、女p^利要求1的系统,其中该客户设备鹏作用于传输一^i青求给服务器，该请^/示用户对对^示、i^^景内的平面^S^g阵中至^i^个的选择，并且劍艮务器可操作为根据该请求匹Md^m的悉示，该模办汤景的平面赫微矩阵，并且传输4様所匹配的m的^/于、该模^t琉的平面離S^E阵以用于产^3對I^。7、如权利要求l的系统，其中每一个Xjm都是人并且该,M縫可操作为每一个)M^产生在柳频图像的平面中的人的相对姿态、体态^t行为的指示，以及用于将关于人的^、M^t行为的^^包含至iM^路a^中，并且该客户端设备可操作用于,视频图像中的每一个人的一组表示，在该组中的每一^^对应于径中的人的木断驗、條棘行为的一个可能t际，禾口用于根据对象路径娜中的人的相对魏、体态或錢的線从每—个对象的可肖^^且中选,一个人的^，和用于在根据，路^^ems和方向上，^H维模型的平面中生卿;f^择的标。8、々敝利要求i的系统，其中利用因特网协议，iiii因特网将x^^径娜和S^g阵传繊合客户端设备。9、如权利要求1的系统，其中分,艮务親皮I2S为接收该i綠的柳频图像，并且该分配服务器可操作用于糊见频酣象与)^^路^iyg和^E阵"^传,一个赫針客户端设备，并且该客户端设备鹏作用于利用从分配服务fm^出的^^^^和^E阵i賜晦一个鄉，以及用于响应于用户鹏，显示具有一个赫多个已i鄉j鄉的一部分柳频图像。10、一种可操作用于产生场景的三乡^的客户端设备，^H^^，包括位于一个平面上的多个对象，^3t^从一个或多个由摄像丰;u人场景的观看中获得的挪频,产生，该^t包括多个)^，该客户端设备包括通信接口，可操作用于接收由|^§^生的^|径和,矩阵的，iMm路径i^为^"H^jm,了相wm的m只；以及在柳频TO中的该平面的三维净,己i照iM^S对于时间的，，禾B鹏器，可操作用于爐收卽艮务器的膽路^^和s^g阵中产生该场景的三纟^,^H纟t^^包括戶，平面上的多个m的每一个的合皿示。11、如权利要求10的客户端设备，其中繊舰器可操作用于鹏佣蹄矩阵和每一个膽的高度的m^假设将根据x^径繊的繊的錢鄉至畅景的三维+魏的平面上，产生该力琉的三纟t^/示，^H纟W^包括位于该平面上的多个鄉的每一个的合腿示。12、女敝利要求10的客户端设备，包括用户接口，用于接收^/示^0f^H维丰IM的视图的请求的用户控伟赔号，以及响应该用户控葡腊号，该客户端设备IS^作用于当^M示屏幕JiM^H维l翻的显示时^^生的三维，趣的相对观看点。13、一种客户端设备，可操作于M^t的一个g多个视频图像的1分,该场景包括位于一个平面上的多个对象，该抓频图像是由衝斜/u人包括多个x^m的驗的观看中获得的，该客户端设純括通信接口，可操作用于接收由sm^s^a^生糊w^^w和,矩阵的数据，iM^路径数据为每一个)^m提供了相^t^的标识；以及己i朋ijm在视频图像中的该平面的三维，I3Ui相对于时间的位置，，1^皿一个或多个柳频,，器，可操作用于利用x^mm^和s^g阵来i湖i胜柳频謝象内的平面上的^^个x^，以及用于响应于用户的选择，显示具有一个或者多个已i賜iMm的一部分柳频图像的。14、^J^利要求13的客户端设备，其中的M鹏器可操作用^31利用投，阵和每一个)^的高度的予^假设将根据)^jm路^^的，6mi,到场景的三维模型的平面上，i湖赃柳频图像内的平面上的每一个对象，以及裕见频图像中的该平面与三维輕中的平面匹配。15、女败利要求12的客户端设备，包括用户接口，用于接鹏户控伟赔号，溯户控帝腊号^/示对于与艘显示的一个或多个己识冽職眹的一部分柳频图像的请求，并且响应于该用户控带腊号，该客户端设备可操作用于提取包括了一个或者多个己i賜M^的1分枧频M，并M示提取的部分。16、一种服务器，用于将,鹏^1^生的)(^^和^^阵传输到一个棘多个客户端设备，该图像M^!A包括在一^P面上的多个膽的视图的场景的一个或者多个柳频图像产^和&^阵，该现频,由视频摄像机产生，M获得的图像从而从每一个m中提取一个或者多个图像特征，将一个或者多个图像特征与来自视频a^包含的可肖际例对象的页定组的样本图像特征比较，根据图像1T征与存储的可肯际例膽的SM寺征的比棘识别对象，为每一个对象产生i朋湘/Mm的)(^径繊；以^l^己i湖iMm在三维模型平面上的相对于时间em置；并且计算用于根据^径将每一个膽的位置从视频图像的平面鄉到该力綠的三维牛魏中的iam阵，劍艮务器可操作用于接wm^^和is^g阵，以及将请求、)^j^^和s^g阵^^客户端设备。17、—种用于将包含了多个位T^HF面上的鄉的驗的^^传^^个赫多个客户设备的方法，i^^是由该驗的一个赫多个枧频ffl^产生的，其包括由柳^m;i^生的该平面上的)^m，,括鹏获得的现频,从而从每一个赠中提取一个赫多愤征，将一个，多个图像伊征与来自视频图像所包括的可肖际例对象的预定组的样本图像特腿行比较，根据图像伊征与可肖^，ij膽的予腚图像特征的比棘i賜ij膽，产生每一个^的^^^，其i湖湘应的)^，并E^已炉^Mm在柳频图像中的平面的三维，趣中相对于时间的隨；计,据对象路径将每一个^的^§^枧频图像的该平面，到该平面的三维，IM中的^E阵；以及将x^]^^和^g阵传総l个棘多个客户设备。18、女n^利要求17的方法，包Mil利用Si^g阵和^^个鄉的高度的预定假设将根据对象路径的)^的至畅景的三维模型的平面上，产生该场景的三维，，^H纟S^包括位于该平面上的多个m的每一个的合皿示。19、如权利要求17的方法，包括粉见频图像和对象路径娜以及^g阵"^传fi^所述一个棘多个客户端设备，在客户端设备利用从細艮务離收的^m5M和S^阵i湖晦一个撒以及口向应于用户的織，显示包括一个或者多个已i湖树象的一部分柳频M。20、一种包括由计鋭几可读指令的载体，当由i1^t几执行时，促使计算机实鹏据权利要求17的方法。21、一种用于将包含了^h位于一个平面上的)^的:t據的^^W^个或者多个客户设备的縫，i^/于是由该驗的一个棘多个柳频a^产生的，其包括由柳^WWl^生的该平面上的自，该^S包括用于处理获得的视频图像从而从每一个对象中提取一个或者多个特征的装置，用于将一个^多个图像特征与来自1^图像所包括的可肖际例对象的预定组的样本W特鹏亍比较的驢，用于根据图像特征与可能示例对象的预定图像特征的比g识别对象的装置，用于产生每一个对象的)(t^路径娜，其i湖湘应的鄉，并且鄉已i湖ijX^^在IMM中的平面的三维^M中相对于时间的位置的，；用于计,据对象路^g将每一个g的^S从枧频M的该平面，到该平面的三维模型中的S^E阵的装置；以及用于将X^M^^和^e阵^^^个或者多个客户设备的装置。全文摘要本发明涉及一种用于通信的系统和方法，更具体地涉及用于将包含了多个位于一个平面上的对象的场景的表示传输给一个或者多个客户设备的系统，该系统包括图像处理装置，可操作用于接收场景的视频图像，用于处理获得的视频图像从而从每一个对象中提取一个或者多个图像特征，用于将该一个或者多个图像特征与来自可能示例对象的预定组的样本图像特征进行比较，用于根据该图像特征与该可能示例对象的预定图像特征的比较来识别对象，用于为每一个对象产生对象路径数据；并且提供已识别对象在平面的三维模型上相对于时间的位置；用于计算投影矩阵，以及分配服务器，可操作用于接收对象路径数据和投影矩阵，从而将它们分配到一个或者多个客户端设备。文档编号H04N13/00GK101415125SQ20081017698公开日2009年4月22日申请日期2008年9月5日优先权日2007年9月5日发明者C·H·吉拉尔,M·W·A·戴维申请人:索尼株式会社