专利名称：在现有静止图像内可视化视频的制作方法
在现有静止图像内可视化视频
背景技术：
除了少数例外，例如其职业是操作机动车的那些人，大多数个人通常将驾驶所花费的时间看作是非生产时间。这种非生产性可以由于处于(Stuck in)高容量交通状况中的驾驶员所体验的恼怒和其他情绪代价(emotional toll)而变得更糟。照此，长久以来， 期望在驾驶时避免高容量交通状况。这样的期望已经利用个人可得到的无数的交通信息而得以满足，这些交通信息帮助人们避免高容量交通状况或他们希望避免的其他基于交通的事件发生(incidence)。例如，许多汽车导航系统现在提供实时交通信息的一些测量 (measure).类似地，作为另一个实例，许多基于网络的测绘(mapping)应用同样提供实时交通信息。通常，所提供的交通信息为了较容易使用(consumption)而被统一化。例如，交通信息经常利用普遍存在的红色、黄色和绿色编码来提供，其中绿色被用于指示低容量交通状况，而红色被用于指示高容量交通状况。作为另一个实例，交通信息还经常用平均速度或行进预定距离(例如两个有名的十字路口或其他这样的地标之间的距离)所花费的时间量来提供。尽管这种统一化的交通信息确实可以更易于用户来使用，例如如果用户全神贯注于操作机动车，但是在某些情况下它实在不能提供足够的信息。对于那些其中可能期望更详细的交通信息的情况，交通信息也可以典型地通过通信地耦合到计算设备的较大网络(例如普遍存在的因特网或同样普遍存在的万维网)的摄像机以特定位置的机动车交通的实时图像的形式来提供。传统上，这种交通摄像机由政府机构(例如国家或地方运输部门)来维护并且以这样的方式安装和定位以在重要路或其他大道的特定方向上提供有利位置(vantage point)。典型地，可以通过网站或其他相似的基于网络的界面以原始交通摄像机图像馈给(feed)的形式获得对由这种交通摄像机提供的图像的访问。例如，网站可以显示地图，该地图具有经由适当图标或其他指示符指示的交通摄像机的位置。这种图标或其他指示符的选择可以导致常常在子窗口或其他相似的独立用户界面元素(e 1 ement)内呈现原始交通摄像机图像馈给。由于成本和带宽的考虑，典型地，所利用的交通摄像机可能不能够提供高质量的图像。而且，交通摄像机被设计成提供机动车交通的图像，而不提供背景(contextual)或周围环境图像。因此，用户在访问交通摄像机图像馈给时经常体验到混乱。例如，用户经常难以确定交通摄像机面向哪个方向。同样，用户经常难以确切地识别正被拍摄的是哪条道路(roadway)，因为交通摄像机图像馈给的呈现作为现场的、实时的、移动的图像呈现在背景方面极大地不同于所显示的地图，用户从所显示的地图中选择交通摄像机，并且所显示的地图提供交通摄像机位置的图标可视指示符。
发明内容
在一个实施例中，交通摄像机图像馈给在包括该交通摄像机图像馈给中特写 (feature)的相同道路的现有全景的背景内呈现给用户。这样的合并(amalgamation)可以使得能够在现有全景的更大的可视背景内观看由交通摄像机提供的移动和动态的交通图像。现有全景典型地已经通过安装在专用车辆上的专用全景摄像机捕获，并且典型地通过现有的基于地图的网站或其他相似的以网络为中心的界面作为所选地图区域的街道级的视图呈现给用户。用户对这种街道级视图的熟悉结合由全景提供的背景可视信息可以使得用户能够更容易地理解并利用当在这种全景内呈现时移动和动态的交通摄像机图像馈给。在另一个实施例中，交通摄像机图像馈给可以被预处理以确定适用于该交通摄像机图像馈给的变换参数从而改进其与现有全景的可视集成(visual integration)。这种预处理可以包括识别在其内显示该交通摄像机图像馈给的一个或多个适当全景，并且可以进一步包括识别该交通摄像机图像馈给的随时间变化的那些部分和在时间上保持静态的那些部分。在另一个实施例中，交通摄像机图像馈给可以集成到一个或多个现有全景中，使得通过根据预定的变换参数变换整个交通摄像机图像馈给且然后将其显示在现有全景内来将来自交通摄像机的移动和动态的视频呈现在所述一个或多个全景的更大可视背景内。 可替代地，仅交通摄像机图像馈给的移动或变化的成分(component)可以被过滤并在现有全景内显示。作为又一个可替代方案，交通摄像机图像馈给的移动或变化的成分结合道路或其他合适背景结构可以被过滤并在现有全景内显示。在又一个实施例中，线匹配算法可以用于计算变换参数。这种线匹配算法可以试图使交通摄像机图像馈给的静态部分的适当方面的线与一个或多个现有全景的相似方面匹配。该发明内容被提供用于以简化的形式介绍下面在具体实施方式
中进一步描述的概念的选择。该发明内容并不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用于限制要求保护的主题的范围。根据参照附图进行的下面的详细描述，附加特征和优点将变得清楚明白。
当结合附图考虑时，下面的详细描述可被最好地理解，在附图中
图1是用于将交通摄像机图像馈给集成到现有全景中的示范性系统的框图； 图2是将交通摄像机图像馈给结合到现有全景中的示范性机制的框图； 图3是用于结合到现有全景中的交通摄像机图像馈给的示范性预处理的框图； 图4是用于将交通摄像机图像馈给与现有全景匹配的示范性机制的流程图； 图5是用于在现有全景内显示交通摄像机图像馈给的示范性机制的框图；以及图6是示范性计算设备的框图。
具体实施例方式下面的描述涉及将实时摄像机图像数据(本文中称为“馈给”)集成到典型地在全景图像形式内的现有图像中以使得来源于摄像机的移动视频被显示在现有图像的更大的图像背景内。最初，可以执行预处理以获得变换参数，变换参数可以用于可视地变换摄像机图像馈给，使其混合在一个或多个现有全景图像中并且与其配合(fit with)。随后，预定的变换参数可以用于例如通过典型地由用户用来访问一个或多个现有全景图像的用户界面在这样的全景图像内显示摄像机图像馈给。在车辆交通的背景内，交通摄像机图像馈给可以整体地被变换和集成到一个或多个现有全景中，或者仅交通摄像机图像馈给的某些部分可以被显示在全景内，例如仅移动的车辆或可替代地例如仅移动的车辆和下面的道路可以被显示在全景内。一种用于获得变换参数的机制可以利用线匹配算法，线匹配算法可以将来自摄像机图像馈给的静态部分的适当的线与一个或多个全景图像中的对应的线匹配。适当的线可以经由使用过滤技术(例如通过基于运动方向过滤或基于预先存在的被叠加的地图数据过滤)来识别。出于图示的目的，本文中所描述的技术针对呈现在现有全景图像内的交通摄像机图像馈给，现有全景图像针对联网的地图界面中的街道级视图的背景而收集并呈现在该背景中。然而，这样的提及确实是示范性的且不旨在将所描述的机制限于所提供的特定实例。 事实上，所描述的技术适用于将既包括移动的部分又包括静态的部分的任何摄像机图像馈给与提供包围由摄像机图像馈给构成(frame)的一个或多个元素的更大背景的现有静止图像集成。因此，下面对“交通摄像机”的引用旨在被广义地理解为表示任何摄像机，以及对 “全景”的引用旨在被广义地理解为适用于提供更大可视背景的任何静止图像，因为下面的描述同样适用于这种更宽泛的概念且不以任何方式被唯一地仅限于交通摄像机或全景图像。尽管没有要求，但是下面的描述将在由计算设备执行的计算机可执行指令(例如程序模块)的一般背景下。更具体地，本描述将提及由一个或多个计算设备或外围设备执行的操作的符号表示以及动作，除非另有指示。照此，应当理解，这种动作和操作(其有时被称为正被计算机执行的)包括表示结构形式的数据的电信号的处理单元的操作 (manipulation)。该操作变换数据或将其保持在存储器中的位置处，这以本领域技术人员充分理解的方式重新配置或另外地改变计算设备或外围设备的操作。数据被保持其中的数据结构是具有由数据的格式定义的特定属性的物理位置。一般地，程序模块包括例程、程序、对象、组件、数据结构以及执行特定任务或实现特定的抽象数据类型的类似物。而且，本领域技术人员将理解，计算设备无需限于常规个人计算机，且包括其他计算配置，包括手持设备、多处理器系统、基于微处理器或可编程消费型电子器件、网络PC、微型计算机、大型计算机等等。类似地，计算设备无需限于孤立的计算设备，因为，所述机制也可以在分布式计算环境中实施，在分布式计算环境中由通过通信网络链接的远程处理设备执行任务。在分布式计算环境中，程序模块可以位于本地存储器存储设备和远程存储器存储设备这二者中。转向图1，示出了示范性系统100，其包括客户端计算设备130、地图服务器计算设备120和交通摄像机110，其中每个设备通过网络180彼此通信地耦合。出于图示的目的， 图1的示范性系统100中的交通摄像机110被示出为位于道路170上方的天桥171上，使得交通摄像机110能够提供在道路170上的车辆交通的图像。可以经由通过网络180的通信使由单独的图像141、142、143、144和145在图1的系统100中图形表示的交通摄像机图像馈给140对于一个或多个计算设备可用。在由图1的系统100图示的实例中，地图服务器计算设备120可以从交通摄像机110接收交通摄像机图像馈给140，如通信149所图示。为了使得用户(例如客户端计算设备130的用户)能够在更有意义且更容易理解的背景中接收到交通摄像机图像馈给140，地图服务器计算设备120可以将交通摄像机图像馈给140与一个或多个现有地图全景150结合以向客户端计算设备130提供合并的图像160，合并的图像160可以包括覆盖在一个或多个地图全景150上且呈现在其背景内的交通摄像机图像馈给140或其部分。如本领域技术人员将认识到的，地图全景150可以包括以这样的方式布置和组织的全景图像使得它们可以在基于地图的背景内被呈现给用户。例如，典型地经由网络180 (例如以地图为中心的网站)使其可用的地图信息可以包括能够向用户呈现某个形式的街道级视图的一个或多个界面(interface)。这样的街道级视图典型地使得用户能够可视化(visualize)特定位置，例如通过更传统的地图浏览技术选择的位置，因为它在沿所选大道向下行走或驾驶的同时可被看见。如将被本领域技术人员认识到的，地图全景150可以用于提供这样的街道级视图。更具体地，地图全景150可以典型地由安装在沿着特定大道行驶的专用全景捕获车辆上的专用摄像机来获取，期望能够针对所述特定大道向用户呈现街道级视图。因此，地图全景150包括一系列在沿着这样的特定大道的连续点处拍摄的全景图像，并且可以通过连续地显示全景来呈现可以呈现给用户的街道级视图，由此使得用户能够模拟沿着大道的运动，同时也使得用户能够模拟转动他们的头，或者另外地模拟改变视图正被呈现的方向。 出于图示这样的一系列全景图像的目的，在图1的系统100中示出十字路口 159，因为它将与在沿着十字路口 159的大道之一的点处拍摄的一系列连续全景图像151、152、153、巧4和 155—起出现在地图上。全景151、152、153、巧4和155以及其他全景可以是可通信地耦合到地图服务器计算设备120的地图全景150的一部分。出于图示和解释的目的，十字路口 159可以等效于下面的道路170与上面的其上安装有交通摄像机110的天桥171的交叉的地方(intersection)。因此，一个或多个全景 151、152、153、巧4和155可以至少近似地包括由交通摄像机110捕获的场景。如下文将进一步详细描述的，地图服务器计算设备120可以识别一个或多个地图全景150并且可以将交通摄像机图像馈给140集成到这样的全景中以如通信169所示向客户端计算设备130提供合并的图像160，从而正经由地图全景150向其呈现街道级视图的客户端计算设备130的用户还可以在该街道级视图内看到由交通摄像机110通过交通摄像机图像馈给140呈现的道路170上的包括当前交通的当前状况。尽管由于附图的静态性质而难以图示，合并的图像160意在表示包括移动的和动态的视频，该移动的和动态的视频例如由交通摄像机110 以交通摄像机图像馈给140的形式提供，该移动的和动态的视频以这样的方式覆盖在现有图像上或另外地与其集成使得现有图像为移动的和动态的视频提供更大的可视背景并且使得该视频在现有的图像内以移动和动态的形式显示。通过在现有全景的背景内呈现交通摄像机图像馈给140，可以向用户提供明显更大的可视背景，在该背景内理解并领会交通摄像机图像馈给140。此外，如可从单独的图像141、142、143、144和145看到的，在一个实施例中，交通摄像机110可以是可移动的，使得由该摄像机捕获的覆盖范围可以随时间变化。例如，图像 142可以表示自从捕获图像141开始已经向下摇交通摄像机110的镜头。类似地，图像143 可以表示自从捕获图像142开始且事实上自从捕获图像141开始向上摇交通摄像机110的镜头。同样地，图像144和145可以分别表示自从捕获141开始向右和向左摇交通摄像机 110的镜头。如下文进一步详细解释的，由地图服务器计算设备120执行的处理可以说明 (account for)交通摄像机110的取向的这样的变化。转向图2，系统200更加详细地图示了这样的处理通过该处理摄像机馈给可以与现有全景集成，以使得摄像机馈给以移动和动态的形式在现有全景的可视背景内显示。最初，例如在预处理阶段期间，交通摄像机图像馈给140可以在有限量的时间里被采样，该有限量的时间例如是可以预先确定的时间量，或者是获得来自交通摄像机图像馈给的足够量的可视信息所需的时间量。在一个实施例中，这种预定的时间量可以考虑自然照明因素，使得可以选择例如预定的时间量以避免包括白天图像和夜间图像这二者，或者作为另一个实例，使得可以选择预定的时间量以避免包括上午图像和晚间图像这二者。如果正被采样的交通摄像机图像馈给140指示从其接收这种交通摄像机图像馈给的交通摄像机能够被移动，使得由该摄像机捕获的覆盖范围可以随时间变化，则在一个实施例中，可以首先进行初始图像稳定化，例如由图2的系统200图示。更具体地，如图2中所示，诸如在图1的系统 100中单独示出的图像141、142、143、144和145之类的图像序列(每一个都包括变化的覆盖范围)可以被对准以使得每个图像的公共元素重叠。然后，可以利用最后所得到的合成物 (composite)，其中源摄像机的后续移动被简单地视为该合成物的不同部分的后续捕获。根据这种合成物，由动作225指示的一种分析可以标识在预定量时间(在此期间采样图像馈给)上展示运动的合成物的区域。指示运动的所述区域可以利用本领域技术人员公知的现有图像分析技术以运动掩模(maS!O220的形式来标识。类似地，根据该合成物， 由动作235指示的另一种分析可以标识在预定量时间(在此期间采样图像馈给)上保持静态或不变的合成物的区域。本领域技术人员公知的现有图像分析技术再次可以用于标识这样的区域。例如，一种这样的技术可以在所述预定量时间(在此期间图像馈给正被采样)中的一些时间或所有时间里对来自交通摄像机图像馈给140的图像取平均。这种取平均可以减少或在实践中消除移动通过各种图像帧的元素，同时强调保持静态的那些元素。最后所得到的平均图像230可以包括作为交通摄像机图像馈给140的部分的图像的不随时间变化的那些部分。与交通摄像机图像馈给140 —起，关于交通摄像机110的位置210的信息可以被获取以方便选择一个或多个潜在的全景图像。更具体地，如图2的系统200中所示，将摄像机的位置210与在一个或多个全景(例如全景151、152、153、巧4和155)上的位置进行比较 (如由动作215指示)。如本领域技术人员将认识到的，当这样的全景图像首先被收集时，它们的确切位置同样可被记录，使得这些全景可以被适当地显示并且与现有地图集成，例如作为结合这种地图的提供而提供的街道级视图的一部分。因此，交通摄像机110的位置210 与拍摄一个或多个全景的位置之间的比较可以以简单的方式来进行。动作215可以表示从现有全景集中选择候选全景，该选择可以由上面提及的位置元数据(除其他因素以外)告知。例如，在一个实施例中，可能已经在到交通摄像机110的位置210预定距离内拍摄的所有全景可以被选择为候选全景。在一个可替代实施例中，可能已经沿着适当的大道拍摄的全景可以被选择为候选全景。在又一个可替代实施例中，候选全景的选择可以由多个因素告知，例如地形、视线或其他因素，通过这些因素，全景可能包括(至少在全景的一部分中)与由提供交通摄像机图像馈给140的交通摄像机110捕获的图像范围相似的图像范围。在图2中所示的示范性系统200中，出于图示和解释的目的，由动作215至少部分地基于交通摄像机110的位置210选择全景152、153和154为候选全景， 该位置210连同全景的集合被作为输入提供给动作215。一旦候选全景集已被选择，可以将一个或多个候选全景的适当部分与由交通摄像
8机图像馈给140提供的图像范围匹配。在一个实施例中，一个或多个候选全景的适当部分的选择可以由可以与候选全景关联的现有地图数据告知。例如，如本领域技术人员将认识到的，使用这些全景图像对街道级视图的典型呈现也可以包括计算机生成的地像数据的覆盖，例如指示特定道路的线或其他地图指示的元素。这种与候选全景相关联的现有地图数据可以用于告知要与由交通摄像机图像馈给140提供的图像范围匹配的一个或多个候选全景的适当部分的选择。更具体地，摄像机的位置210连同其他潜在可用的元数据可以指示一个或多个大道，交通摄像机110沿着这些大道取向，这些大道的车辆交通由交通摄像机图像馈给140捕获。然后可以参考与候选全景相关联的现有地图数据以识别候选全景在相似方向上或沿着相同大道取向的那些部分。在图2中所示的示范性系统200中，候选全景152、153和154的各自的部分252、 253和2M可以通过例如参考以十字路口 159的形式示出的可能与候选全景相关联的地图数据来选择。如前所示，十字路口 159可以是提供交通摄像机图像馈给140的交通摄像机 110可以位于的十字路口，例如由摄像机的位置210所指示。因此，候选全景152、153和IM 的各自的部分252、253和邪4可以通过选择候选全景的已知已参考地图数据沿着十字路口 159的道路中适当的一条道路取向的那些部分来选择。从候选全景152、153和154的各自的部分252、253和254中选择的部分253可以通过如由动作250指示的将候选全景的部分的各方面与可能已经以前述方式从交通摄像机图像馈给140生成的平均图像230匹配来获取。例如，在一个实施例中，匹配动作250可以通过使部分252、253和254中的线与平均图像230中的等效线匹配来进行。一种用于选择线来匹配的机制可以是，选择那些在运动方向上的线或等效地在道路方向上的线。因此， 关于平均图像230，可以参考运动掩模220来选择来自图像的可被选择用于匹配的线。例如，来自平均图像230的可被选择用于匹配的线可以是基本平行于运动掩模220或包含在其中的那些线。类似地，关于候选全景152、153和巧4各自的部分252、253和254，可以参考与每个候选全景相关联的地图数据选择来自每个部分的要匹配的线。更具体地，所选的线可以是基本平行于道路的方向，该道路被认为是交通摄像机110沿其指向的道路，例如将由与每个候选全景相关联的覆盖的地图数据指示。对于候选全景152、153和巧4各自的部分252、253和254中的每一个，所选的线可以与平均图像230的所选的线匹配，并且所选部分253可以基于对哪些线最精确匹配的确定而被选择。线匹配算法是本领域技术人员公知的，并且因此不会进一步描述。然而，匹配动作250不限于线匹配。在其他实施例中，点、图像部分或数据群(cluster)可以用于将候选全景152、153和巧4各自的部分252、253和2M与平均图像230匹配。如本文所利用的，术语“图像特征匹配”意在总体上表示这样的实施例。此外，尽管图2的系统200图示了仅一个全景153的所选部分253，但是在其他实施例中，下文描述的变换参数沈0的获得可以针对多个全景来执行，使得交通摄像机图像馈给140可以与多个不同的全景集成，尽管如本领域技术人员将认识到的，不同的变换参数可以被计算和用于交通摄像机图像馈给到多个不同全景中特定的一个全景中的每个这种集成。一旦全景的所选部分253被选择，那么平均图像230可以被变换并对准于所选部分以实现交通摄像机图像馈给140与全景153的组合，所选部分253从全景153获得。由动作265表示的这样的变换和对准的结果可以是变换参数沈0，如下文进一步描述的，变换参数260可以随后实时地应用于交通摄像机图像馈给140以实现在现有全景(例如全景153) 的背景内的来自交通摄像机110的当前显示。如在上述匹配250的情况下，图像特征匹配同样可以用作变换和对准沈5的一部分以选择最优变换参数260。在一个实施例中，单应(homography)可以用于执行变换和对准265。更具体地，来自平均图像230的线可被随机选择并且单应可以用于变换平均图像 230以使得随机选择的线匹配所选部分253中的等效线。随后，可以对其他非选择的线在变换的且对准的平均图像230和所选的部分253之间多么接近地配合进行检查。所述配合的接近度可以以本领域技术人员公知的方式评分(score)，并且该得分可以连同被利用的变换参数一起被存储。随后，未变换的平均图像230可以再次被参考以再次随机地选择不同的线集并执行另一个单应以变换平均图像230，使得新的随机选择的线匹配所选部分253 中的等效线。然后该变换的得分可以再次以与先前相同的方式确定，并且可以连同所利用的变换参数一起被存储。最后，可被选择为最终的变换参数260的变换参数可以是导致最佳得分的那些变换参数，其证明了变换的且对准的平均图像230与所选部分253之间的最佳配合。在其他实施例中，可以使用除单应之外的配合模型，例如仿射映射或全投影。一旦变换参数沈0已被确定，则它们可以用于基本实时地变换从交通摄像机110 接收的交通摄像机图像馈给140并且将该变换的图像集成到现有地图全景中。更具体地， 且如图2的示范性系统200中所示，实时接收的交通摄像机图像馈给140可以基于运动掩模220中的变换参数260而被过滤和变换，如由动作275指示。运动掩模220可以用于识别交通摄像机图像馈给140的将被集成到现有地图全景中的那些部分。随后，一旦那些部分已被识别，且交通摄像机图像馈给140的剩余部分(remainder)已被滤除，则变换参数260可以用于变换交通摄像机图像馈给的剩余部分。然后，最后所得的过滤的和变换的交通摄像机图像馈给270可以与现有图像组合，如下文进一步详细描述。再次，已知附图的静态性质，过滤的和变换的交通摄像机图像馈给270在图2中被图示为单个图形成分 (composition)，但是像以前一样，由附图标记270标识的图形成分意在表示来自交通摄像机110的移动的和动态的视频，除了现在根据上述变换基于逐帧或本领域技术人员公知的其他基础图形变换的视频，这将在下文中进一步详细描述。然后，如由动作285所指示，可以将过滤的和变换的交通摄像机图像馈给270与地图全景153的先前选择的部分253组合。该组合285可以使得交通摄像机图像馈给140 的图像范围正确地定位在地图全景153的更大图像范围内，或更精确地，使得交通摄像机图像馈给的图像特征覆盖在地图全景153的等效图像特征上。这种组合可能导致合并的图像观0，其包括作为正显示在地图全景280部分内的移动的和动态的视频的现场的、或基本现场的交通摄像机图像馈给，其然后被显示给用户，如动作295所指示。以这种方式，可以向用户提供从交通摄像机110接收的视频的更大的背景。例如，浏览例如可以通过基于地图的网站呈现的街道级视图的用户，当该用户越过交通摄像机110所位于的十字路口浏览时，不仅可以向他们呈现这样的十字路口的街道级视图，而且还可以向他们呈现叠加在交叉道路的图像上的实际移动的车辆交通的实时或近似实时的图像。类似地，作为另一个实例，可以向试图观看交通摄像机图像馈给140的用户呈现在现有地图全景的背景内的这样的交通摄像机图像馈给，使得用户可以与全景交互并且接收用于正被示出的移动和动态的交通摄像机视频的更好背景，例如更好地理解交通摄像机110指向哪条道路以及摄像机指着哪个方向。转向图3，这里所示的流程图300图示了示范性的预处理步骤的系列，其可以被执行以获得先前在图2中所示的变换参数沈0。最初，如图3中所示，在步骤310处，可以采样交通摄像机图像馈给，并且在步骤350处可以获得交通摄像机位置。作为在步骤310处采样交通摄像机图像馈给的一部分，在步骤315处，可以做出关于正从其中采样交通摄像机图像馈给的交通摄像机是否可移动的确定。在步骤315处，可以例如通过检测图像范围是否在交通摄像机图像馈给的各个图像帧中改变来做出该确定。如果在步骤315处，确定了交通摄像机不是可移动的，则处理可以继续进行到步骤330和335。可替代地，如果在步骤 315处，确定了交通摄像机是可移动的，则处理可以继续进行到步骤320，在该点处，正从交通摄像机图像馈给接收的图像可以例如以先前描述的方式被稳定化。然后，处理可以继续进行到步骤330和335。如图3的流程图300中所指示，步骤330和340以及步骤335的执行可以并行执行或者以这样的方式执行使得步骤330和340以及步骤335之间的执行顺序可以是不相关的。在步骤330处，平均图像可以在这样的时间段上获得该时间段包括在其间采样交通摄像机图像馈给的时间的至少一些(如果不是所有的话)。随后，在步骤340处，在一个实施例中，在步骤330处获得的平均图像中的线可以利用已知的线检测技术来检测。在步骤335 处，示出随时间运动的区域掩模可以从正被采样的交通摄像机图像馈给获得。在完成步骤330和340以及步骤335时，处理可以继续进行到步骤345，在该点处， 在步骤330处获得的平均图像中的在步骤340处检测到的线可以利用在步骤335处获得的运动掩模来过滤，使得最后所得的线是那些沿着如由运动掩模所标识的运动方向或近似与之平行的线。与上述步骤并行且独立于它们，在步骤355处，已在交通摄像机位置附近拍摄的全景可以基于在步骤350处接收或另外获得的交通摄像机位置来识别。在步骤360处，在于步骤355处识别的全景之中，通过利用已知的线检测技术，可以在全景的某个部分中或事实上在全部全景中检测线。随后，在步骤365处，在步骤360处检测到的线可以基于与所选的全景集成并与之相关联的现有地图数据来过滤。更具体地，在步骤365处执行的线过滤可以选择沿着被识别为交通摄像机(其提供交通摄像机图像馈给)沿其取向的道路的一条或多条道路或在其方向上的线。在步骤370处，在完成在步骤345处对线的过滤和在步骤365处对线的过滤时，可以在过滤的线之间进行比较以识别被采样的交通摄像机图像馈给与一个或多个预先存在的地图全景的至少某部分之间的最佳匹配。一旦在步骤370处识别了最佳匹配，则交通摄像机图像馈给可以例如经由图4中所示的系统400而被与所识别的全景或其部分配合和对准，并且将在下文进一步详细地描述。最后，不管用于执行将交通摄像机图像馈给与所识别的全景或其部分配合和对准的确切机制，这种机制的结果可以是变换参数，在获得变换参数时，如在图3的流程图300中所示的步骤375处可以结束相关的预处理。转向图4，这里示出的流程图400图示了一种示范性机制，通过该机制可以获得可以用于交通摄像机图像馈给以使得它能够被充分可视地集成到现有地图全景中的变换参数。如先前所指示，尽管图4的流程图400和实际上图3的流程图300的各方面提及线的利用以执行和评估交通摄像机图像馈给与一个或多个现有地图全景之间的匹配，但是这样的提及仅仅是示范性的且其他图像特征同样可以被用于执行这样的匹配和评估。最初，如图4的流程图400所示，(交通摄像机图像将与其配合和对准的)现有全景中的交通摄像机图像可以在步骤410处获得。随后，在步骤420处，交通摄像机图像中的线可以随机选择。如先前所指示，线的集合(在步骤420中可以从中随机选择一些线)可以是由运动掩模标识的那些线或另外地是沿着运动方向或基本与之平行的线。随后，在步骤 430处，交通摄像机图像可以被变换和对准以使随机选择的线与现有全景中对应的线配合。 在一个实施例中，单应可以用于执行这种变换。在步骤440处，现有全景中的变换的和对准的交通摄像机图像之间的整个配合可例如通过评估其他线如何在到对准交通摄像机图像的变换与现有全景之间匹配来评分。在步骤450处，在步骤430处获得并利用的变换参数可以与在步骤440处确定的对应得分一起保存。在步骤460处，可以做出关于是否达到阈值的确定。在一个实施例中，这种阈值可以简单地是重复的具体数量，而在其他实施例中，这种阈值可以是与变换的和对准的交通摄像机图像与现有全景之间的配合的可接受性的阈值水平相关联的最小得分，或其他类似阈值。如果，在步骤460处，确定了适当阈值还没有达到，则处理转向步骤420，在该点处不同的线集可被随机选择并且步骤430、440和450的处理可以利用新随机选择的线来重复。 相反地，如果在步骤460处，确定了已经达到适当阈值，则处理可以继续进行到步骤470，在该点处，可以选择导致最佳得分的变换参数。在步骤470处选择的变换参数可以是如先前也在图3的流程图300中提及的如步骤375所指示的相关处理的目标。转向图5，这里示出的框图500图示了示范性合成图像集，其图示了三种机制，通过这些机制可以将交通摄像机图像馈给与现有全景集成。像以前一样，由于附图的静态性质，合并510、530和550被示为单个图形成分，但是它们旨在表示利用静态图像显示的移动的和动态的视频的叠加或其他组合。因此，视频内的各种图形元素旨在被读者理解和可视化为移动和动态的图形元素。此外，如本领域技术人员将认识到的，所图示的三种机制仅仅是示范性的，并且其他可视集成机制同样可以用于交通摄像机图像馈给而不背离本文所提供的说明。在由合并的图像510图示的一个实施例中，地图全景的所选部分253可以已经在其上叠加由轻微阴影区域520表示的变换和对准的移动交通摄像机图像视频。然而，如本领域技术人员将认识到的，这种呈现可能缺乏视觉锐度(finesse)并且可能被某些用户以消极方式感知。因此，在由合并的图像530图示的另一个实施例中，地图全景的所选部分253可能已将在其上仅叠加了那些被认为是车辆交通的移动交通摄像机视频的元素，例如车辆531、 532、533、534和535。尽管这种实施例可以提供更大的视觉锐度且保持全景图像大部分的连续性，但是全景图像本身经常可以包括车辆交通的静止图像，车辆交通可能已经在道路的图像在全景中捕获的时间被呈现在该道路上。因此，如合成图像530中所示，可能已成为全景的一部分的车辆541和542可以表现为占据与来自交通摄像机图像馈给的车辆531、 532、533、534和535相同的空间或近似相同的空间。此外，因为车辆531、532、533、534和 535是移动的和动态的视频的移动元素，所以它们可以表现为“通过”车辆541和542或在车辆541和M2的“顶部上”行驶，车辆541和542是静态全景部分253的静态元素。这种表现和这种视觉性状可能使某些用户迷惑。因此，在由合成图像550图示的又一个实施例中，地图全景的所选部分253可以已经在其上叠加了包括被识别为道路和其上的车辆交通的内容的移动交通摄像机视频的部分560。在这种实施例中，可能已成为全景的一部分的任何车辆可以在来自交通摄像机图像馈给的道路与来自视频的移动车辆交通一起叠加在它们顶部上时被掩蔽(masked)。在某些情况中，这种实施例可以在由交通摄像机图像馈给提供的有意义的可视信息与由全景提供的背景可视信息之间提供近似无缝的可视集成。例如，这种实施例可以使得来自交通摄像机视频的移动车辆交通表现为在全景部分253内无缝地移动。然而，如前所指示，可以使用集成这两个图像的其他机制，而不背离上文描述的范围。此外，还如前所指示，上面的描述未被特别地限于交通摄像机和地图全景，尽管为了阐明上面的描述已经提及这样的内容。事实上，上面的描述适用于视频到静止图像中的任何集成。例如，各种公有的和私有的实体保持它们自己的摄像机并且提供对来自这种摄像机的图像馈给的访问。这样的实体可以包括滑雪胜地，其摄像机可以显示各种滑雪斜坡上的当前状况；公有或私有海滩，其摄像机可以显示当前海滩状况；以及公有或私有大学， 其摄像机可以简单地显示它们的校园的各个部分。来自这样的摄像机的图像馈给可以以与来自上文提及的交通摄像机的图像馈给相同的方式被集成到现有静止图像中。例如，滑雪斜坡、海滩和大学校园经常位于路的附近，出于在测绘背景(mapping context)内提供街道级视图的目的，所述路的全景已被捕获。因此，这样的其他摄像机可以将它们的移动的和动态的视频集成到上面提及的相同地图全景中。作为又一个可替代方案，窄视野摄像机(例如安全摄像机)可以将它们的移动的和动态的视频集成到出于提供窄视野安全摄像机的更大可视背景的目的而拍摄的静止图像中。因此，作为实例，建筑物可以具有被拍摄的广角静止图像，每个图像捕获这样的建筑物的至少两侧。随后，位于建筑物周围的大量安全摄像机的全部可以使它们的视频显示在这样的宽视野图像的背景内。可以看到，上面的描述适用于集成到提供更大可视背景的静止图像中的宽范围的移动和动态的视频。转向图6，其上图示了示范性计算设备600，并且上述机制可以结合该计算设备来实现。示范性计算设备600可以是先前提及的附图中图示并在上面更详细地描述的客户端计算设备130、地图服务器计算设备120或者甚至交通摄像机110中的任意一个或多个。图 6的示范性计算设备600可以包括但不限于，一个或多个中央处理单元(CPU)620、系统存储器630(其可以包括RAM 632)、和将包括系统存储器的各种系统组件耦合到处理单元620的系统总线621。系统总线621可以是包括使用多种总线架构的任一种的存储器总线或存储器控制器、外围总线和局部总线的若干总线结构类型中的任意一种类型。计算设备600可以可选地包括例如用于显示可视用户界面的图形硬件，包括但不限于图形硬件接口 690和显示设备691。此外，计算设备600还可以包括图形输入硬件，例如数字摄像机651，其可以表示交通摄像机110通过其捕获交通摄像机图像馈给140的物理硬件。图形输入硬件，例如数字摄像机651，可以经由外围设备接口 650通信地耦合到系统总线621。计算设备600典型地还包括计算机可读介质，其可以包括可被计算设备600访问的任何可用介质并且包括易失性和非易失性介质以及可移动和不可移动介质。例如但非限制地，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据) 的介质。计算机存储介质包括但不限于RAM、ROM、EEPR0M、闪存或其他存储技术、CD-ROM、数字通用盘(DVD )或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储设备，
13或可以用于存储期望的信息并且可以被计算设备600访问的任何其他介质。通信介质典型地包含计算机可读指令、数据结构、程序模块或经调制的数据信号(例如载波或其他传送机制)中的其他数据，并且包括任何信息传递介质。例如但非限制地，通信介质包括诸如有线网络或直接有线连接之类的有线介质和诸如声学、RF、红外线和其他无线介质之类的无线介质。任何上述介质的组合也应当包括在计算机可读介质的范围内。系统存储器630包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM) 631和前述RAM 632。包含例如在启动期间帮助在计算设备600内的元件之间传送信息的基本例程的基本输入/输出系统633 (BIOS)典型地存储在ROM 631中。 RAM 632典型地包含立即可访问的和/或当前正被处理单元620操作的数据和/或程序模块。例如但非限制地，图6图示了操作系统634连同其他程序模块635和程序数据636。计算设备600还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅通过实例的方式，图6图示了从不可移动、非易失性磁性介质读取或向其写入的硬盘驱动器641。可以与示范性计算设备一起使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于盒式磁带、闪存卡、数字通用盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器641典型地通过诸如接口 640之类的不可移动存储器接口连接到系统总线621。上文讨论并在图6中图示的驱动器和它们的相关联的计算机存储介质提供用于计算设备600的计算机可读指令、数据结构、程序模块和其他数据的存储。在图6中，例如， 硬盘驱动器641被图示为存储操作系统644、其他程序模块645和程序数据646。注意到， 这些组件可以相同于或不同于操作系统634、其他程序模块635和程序数据636。操作系统 644、其他程序模块645和程序数据646在这里被给出不同的数字，以说明在最低限度上它们是不同的副本。计算设备600可以使用到一个或多个远程计算机的逻辑连接在联网的环境中操作。计算设备600被图示为通过网络接口或适配器670 (其又连接到系统总线621)而连接到通用网络连接671。在联网的环境中，相对计算设备600或其一部分或其外围设备而描绘的程序模块可以存储在一个或多个通过通用网络连接671通信地耦合到计算设备600的其他计算设备的存储器中。应当理解，所示的网络连接是示范性的，并且可以使用在计算设备之间建立通信链路的其他手段。从上文的描述可以看出，已经列举了用于将现场摄像机馈给与现有静态图像集成的机制。鉴于本文中描述的主题的许多可能的变形，我们请求将所有这样的实施例保护为我们的发明，所有这样的实施例可以落入后面的权利要求及其等价物的范围内。
权利要求
1.一种用于生成包括可视地集成到现有静止图像(253)中的视频(140)的合并的图像 (160，观0)的方法，所述现有静止图像提供比所述视频(140)更大的图像范围，该方法包括步骤获得视频(140)的样本；选择其图像范围包括视频(140)的图像范围的至少一部分的现有静止图像(253)，该选择由与视频和静止图像这二者相关联的位置元数据告知；识别采样的视频(140)和所选的静止图像(253)这二者所共有的图像特征，其将被用于变换采样的视频(140)并且将其与所选的静止图像(253)对准；以及参考所识别的图像特征获得用于变换并对准用于与所选静止图像(253)集成的视频 (140)的变换参数(260)，使得视频(140)出现在所选静止图像(253)内，其中视频(140)的图像特征被覆盖在所选静止图像(253)的等效图像特征上；接收视频(140)；使用变换参数(260)变换并对准所接收的视频(140)；以及生成包括覆盖在所选静止图像(253)上的经变换和对准的视频(140)的至少一部分的合并的图像(160，280)。
2.权利要求1的方法，其中视频来自交通摄像机，并且其中进一步地，现有静止图像是用于提供街道级视图的地图全景。
3.权利要求1的方法，其中所述识别将用于变换和对准采样的视频的图像特征包括 获得包括那些遍及视频的样本保持静态的元素的平均图像；获得标识其中元素遍及视频的样本而移动的区域的运动掩模；以及识别平均图像中沿着运动掩模的图像特征。
4.权利要求1的方法，其中识别将用于变换和对准采样的视频的图像特征包括识别所选的静止图像中沿着与所选的静止图像相关联的道路的被覆盖的地图数据的图像特征， 交通摄像机沿着所述道路取向，其中视频来自交通摄像机，且其中所选的静止图像是具有被覆盖的地图数据的地图全景。
5.权利要求1的方法，其中获得变换参数包括在所识别的图像特征中选择第一图像特征集；获得变换参数以变换视频的样本并将其与所选静止图像对准，使得来自视频的样本的作为第一图像特征集的一部分的图像特征与来自所选静止图像的对应图像特征对准； 对经变换和对准的视频样本与所选静止图像之间的整体配合评分，该评分基于所识别的图像特征中不是第一图像特征集的一部分的其他图像特征的对准精度；针对选自所识别的图像特征之中的后续图像特征集重复所述获得和评分；以及，将那些产生整体配合的最佳得分的变换参数选为所述变换参数。
6.权利要求1的方法，其中所述图像特征是线，并且其中进一步地，所述获得变换参数包括使用这些线执行单应。
7.权利要求1的方法，进一步包括以下步骤将视频的样本稳定化为与与彼此对准的视频样本的各个帧的合成物，使得每个帧的公共图像元素重叠。
8.一个或多个计算机可读介质，包括用于执行权利要求1的步骤的计算机可执行指令。
9.一种用于可视地将视频(140)集成到提供比视频(140)更大的图像范围的至少一个现有静止图像(253)中的方法，该方法包括步骤接收视频(140)；使用变换参数(260)变换并对准所接收的视频(140)；以及生成合并的图像(160，观0)，其包括覆盖在现有静止图像(252，253，254)中至少一个 (253)上的经变换和对准的视频(140)的至少一部分。
10.权利要求9的方法，其中视频来自交通摄像机并且其中进一步地，所述至少一个现有静止图像是用于提供街道级视图的地图全景。
11.权利要求10的方法，其中生成合并的图像的步骤进一步包括滤出视频中除了道路和其上的车辆交通之外的部分并且仅将道路和车辆交通覆盖在所述至少一个现有静止图像上。
12.权利要求9的方法，其中生成合并的图像的步骤进一步包括从视频中滤出静态图像元素并且仅将来自视频的移动图像元素覆盖在所选静止图像的至少一个上。
13.权利要求9的方法，其中至少一个现有静止图像与其位置元数据关联，该位置元数据标识紧接由与视频相关联的位置元数据标识的位置的位置。
全文摘要
来自摄像机的视频可以集成到静止图像中，该视频可以与静态图像共有共同的元素以提供更大的背景和可理解性。预处理可以获得用于以可视流的方式变换和对准待集成到静止图像中的视频的变换参数。该变换参数随后可以用于实时变换和对准视频并且在静止图像内显示该它。预处理可以包括视频的稳定化(如果摄像机是可移动的)并且可以包括静态元素和运动的区域的标识。变换参数可以通过使视频的静态元素与一个或多个现有图像的各部分配合来获得。视频在静止图像中的实时显示可以包括显示整个经变换和对准的视频图像或仅显示所选的部分，以提供更加平滑的可视集成。
文档编号H04N7/18GK102447886SQ20111027094
公开日2012年5月9日 申请日期2011年9月14日 优先权日2010年9月14日
发明者陈 B., 奥费克 E. 申请人:微软公司