专利名称：使用高帧率图像流来更新低帧率图像的制作方法
使用高帧率图像流来更新低帧率图像
背景技术：
为了真实体验处于某个物理场所的感觉，人们有可能在该场所当场出现。然而，随着媒体捕捉、图像显示、无线数据递送以及移动计算方面的技术进步，替代品数字体验有可能会成为ー种更引人注目的替代品。用于递送高分辨率、高帧率媒体的用途可能出现在探索和计划应用中。有吋，由于用户计划參观某个场所或者由于用户不熟悉某个场所，其有可能希望对该场所进行探索。这些计划有可能与计划某个晚上的活动是一样简单的。我应该在哪儿吃饭？我不是不应该在饭后參观附近的场所？夜间步行将会怎样？通过虚拟參观某个场所，这种问题可以得到回答。
虚拟访问领域可以包括在单个时间点递送高保真媒体的技术以及递送低保真度的实时高帧率媒体的技术。高保真媒体可以包括分辨率相对较高的照片和全景图。高保真媒体还可以覆盖较大的场景区域。例如，卫星图像可以覆盖加利福利亚的整个海岸线，而本地相机只能显示沿着100码的海岸线上的波浪的图像。这种高保真媒体可以允许用户通常在很短的时段或是某个时刻捕获高分辨率图像。通过将多张照片缝合成单个全景图，可以允许创建出高分辨率的全景图像。对于捕获某个很短时段发生的事件而言或是在需要静态图像的情况下，这种高保真图像是非常有效的。其他捕获技术可以以相对较低的保真度但却较高的频率来获取媒体。视频是以较低保真度但却相对较高的帧率获取图像的媒体的ー个示例。通常，这种低保真度的媒体每秒会被获取24帧以上，由此能以低保真度来实现丰富的事件捕捉。由于具有高帧率，大量数据可被获取，但是捕获分辨率通常会很低，并且视野通常会很窄。
发明内容
本概述是为了以简化形式引入精选概念而被提供的，并且在以下的详细描述中将会进ー步描述这些概念。本概述的目的既不是确定所保护主题的关键或必要特征，也不是用于限定所保护的主题的范围。虽然在上文中指出了现有技术的某些缺陷，但是所保护的主题并不局限于解决所指出的现有技术中的任何或所有缺陷的实施方式。描述了使用较高帧率的信息来增强低帧率媒体或静态图像的不同实施例。ー种示例方法可以使用视频流来更新静态图像。该方法可以从视频源获取视频流，并且该视频流可以与静态图像对准(align)。另ー个操作可以是分析视频流中相对于静态图像的变化。该变化可被应用于针对该静态图像的视频流。更进一歩的操作可以是显示应用了所述变化的静态图像。在一个示例中，组合的静态图像和视频流可以作为输出视频一起再现。—个示例的系统可以使用视频流来更新静态图像。视频输入模块可以接收来自视频源的视频流。静态图像模块可用于获取静态图像。对准模块可以基于静态图像与视频流之间的參考点而将来自视频流的视频图像与静态图像对准。分析模块可以分析视频流中的变化，并且将视频流中的变化应用于静态图像。然后，再现模块可以将组合的静态图像和视频流再现为高分辨率、高帧率的视频。
另ー个示例方法可以使用高帧率图像流来更新低帧率图像。该方法可以包括从流传输源获取高帧率图像流，以及将高帧率图像流对准到低帧率图像。在高帧率图像流中可以分析图像修改。所述图像修改可以是照明变化，移动、或别的变化。所述图像修改可以从高帧率图像流应用到低帧率图像。组合的低帧率图像和高帧率图像流可以作为复合高帧率图像来再现。
图I是示出了使用视频流来更新静态图像的方法示例的流程图。图2是示出了使用视频流来更新静态图像的系统示例的框图。图3示出的是在日间所捕获的360度办公室全景图以及图像子集的较高帧率视频馈送的示例。
图4示出的是在夜间所捕获的360度办公室全景图以及图像子集的较高帧率视频馈送的示例。图5是示出了使用高帧率图像流来更新低帧率图像的方法示例的流程图。
具体实施例方式现在将參考附图中示出的示例性实施例，并且在这里将会使用具体的语言来描述这些示例。然而应该理解，本技术的范围并不会因此受到限制。这里示出的特征的替换和进ー步修改以及这里示出的实施例的附加应用是能被相关领域并拥有本公开的技术人员想到的，并且这些替换、修改和附加应用被认为处于本说明书的范围以内。可以提供一种技术来使用高帧率信息增强低帧率媒体和/或静态图像。当捕获或是在网络或因特网上流传输图像流时，这时可以获取高帧率信息。通过组合来自第一源的高分辨率静态图像以及来自第二源的高帧率信息，可以允许用户以高分辨率和高帧率来实时地数字体验远程场所。通过将实时、高分辨率、高帧率的媒体递送给用户，使得用户能够具有“身临其境”的体验、使用探索应用、以及使用计划应用。术语高分辨率图像可以是相对于在网络上递送或是来自计算机可读存储介质的较低分辨率运动图像而言的较高分辨率的图像。例如，高分辨率图像可以包括数百万像素大小的图像到十亿像素的图像乃至更高。低分辨率图像可以是那些可以可靠地在因特网之类的网络中传输的运动图像。低分辨率图像的示例可以是低于百万像素的图像，例如视频流中包含的视频帧。术语高帧率可以被定义成是以大于I小时I帧或I天I帧的速率更新的图像。在一个示例中，高帧率图像或流可以包括毎秒24帧(fps)或更高的速率，该速率可以向观看者提供流畅的运动。相比之下，术语低帧率可被定义成是以低于每小时I帧或是每天I帧的速率更新的图像。在一个示例中，低帧率可以是每小时更新一次或是每天更新一次的静态图像。另ー个示例可以是在线电子地图工具中的虚拟探索区域中的街旁图像，其中该图像可以每隔数年更新一次。术语静态图像可以意味着在确定的时段中几乎不显现出变化的图像。静态图像的进ー步的示例可以包括没有动画运动或是照明变化的图像。例如，静态图像可以每小时更新一次，但是静态图像在某个时段有可以是静态的，并且可以周期性地被另ー个静态图像所替换。术语实时可被定义成是立即在网络、因特网或别的传输中将所捕获的图像并在接收到该图像时显示给用户。本技术组合了高帧率技术和低帧率技术的方面，使得高分辨率、高帧率、实时媒体的显示成为可能。照片和全景图可以作为高分辨率的环境使用，并且高分辨率图像可以用低分辨率的实时高帧率视频来增強。全景图可以是局部全景图或完整的360度全景图。通常，与较低帧率的图像相比，较高分辨率的源可以具有较宽的覆盖区域，并且两个图像源可以具有仅仅局部的共同覆盖。可被最終用户看到的输出可以是在高帧率图像或视频中实时发生的事件中有响应的高分辨率全景图。图I示出的是使用视频流来更新静态图像的示例方法。该方法可以包括像方框110中那样从视频源获取视频流。该视频流可以是高帧率视频流。所述视频流可以是从在远程场所正在捕获图像的摄像机获取的，并且视频图像可以经由因特网、广域网(WAN)、局 域网(LAN)或别的网络而被流式传输。静态图像可以是高分辨率的全景图像或是高分辨率的矩形图像。然后，如在方框120中的，视频流可被对准到静态图像。该视频流可被对准到静态图像的參考点。例如，用户可以在静态图像中定义ー个对准点，以及在视频的图像帧中定义相应的參考点或參考对象。作为替换，可以使用參考点或參考对象将视频流对准到静态图像，其中所述參考点或參考对象是用自动方法发现的，这些方法可以包括特征提取、匹配方法或是传感器对准。參考点或參考对象可以处于图像本身之中，或者參考点可以包括用于所使用的摄影设备的机械测量。在方框130中，更进ー步的操作可以是分析视频流中相对于静态图像的变化。在一个示例中，在视频流中相对于静态图像可以识别出照明变化。该视频流可以显示在所捕获的场所，夜晚已经来临，并且其照明有可能不同于在日间捕获的静态图像中的照明。在方框140中，在视频流中检测到的变化可被应用于静态图像。在照明变化的示例中，可以基于在分析阶段识别的照明而将照明中的变化应用于静态图像。所述照明变化可以使用直方图匹配而将来自视频流的照明变化应用于静态图像。如果在视频流捕获的场所，照明变化是夜晚，那么可以将夜间特性应用于静态图像。在另ー个示例中，视频流中的运动变化可以相对于静态图像而被识别。然后，该运动变化可被应用于静态图像。所述运动变化可以使用应用于图像的子区域变形来应用。另一种应用运动变化的方法可以是三维(3D)计算机图形建模、ニ维(2D)动画或是用于运动的计算机建模的其他技木。检测到的运动变化可以是随机运动或结构化运动。在ー个具体实例中，交通摄像机馈送可被用于在航空图像中“动画化”道路上的车辆。某个海岸上的波浪运动的视频可以用于动画化整个加利福利亚海岸线视图上的波浪。随风而动的树或麦田的视频可以用于动画化整个乡村区域。使用显示在人行道上行走的人的网络摄像头，可以用移动的人来填充市中心城区(例如人的密度可以用人在静态图像或大面积的静态图像中的存在来指引)。然后，在方框150中可以显示应用了变化的静态图像。该静态图像既可以单独显示，也可以在视频图像附近显示。此外，视频帧可被嵌入到用于输出视频的静态图像的预期场所。在一个示例中，组合的静态图像和视频流可以作为输出视频而被一起再现。输出视频可以是分辨率至少与静态图像一祥高的高帧率视频。作为替换，组合的输出可以是经过修改的静态图像，其中该经过修改的静态图像是基于用户定义的时段而被周期性更新的。例如，用户有可能希望每隔15分钟、30分钟或I小时就用视频中的变化来更新图像全景图或是矩形静态图像。使用所描述的技术来模拟实际“身临其境”的体验具有若干个引人注目的应用领域。这其中的一个应用领域是旅游业。通常，游客有可能希望在实际去往某个地点之前查看该地点。例如，希望访问佛罗里达海滩的游客可能希望预先查看用户更愿意參观的海滩。如果要了解某些平房是否看得见海滩或者是否起被树或其他房屋遮挡，那么同样是很有用的。在房地产领域，模拟“身临其境”的体验同样是很有用的。在买进房屋之前，购买者去往该地点并体验房产是明智的。然而，购买者不可能參观每一个可供购买的住宅，如果具有用干“身临其境”的数字表示，那么将会节约时间并且有助于规划实际參观。而这也正是房地产网站具有附帯的照片或全景图的ー个原因。
本技术还可以在媒体原始环境中显示所捕获的媒体。例如，在地图软件(例如BingMaps streets)中，在具有以相同夜间状况再现的先前捕获图像的恰当地理场所可以显示和/或嵌入最終用户晚间在街上拍摄的照片。关于这种技术的更进ー步的应用可以将人们吸引到所述媒体。在一个范例中，夜总会入口的视频可以在启用因特网的地图应用(例如Bing Maps)中现场显示在街道上。在用户浏览至接近于所述视频的嵌入场所的时候，与嵌入当前视频的地点较为接近的街道可被加上阴影，以便与直播视频的照明相匹配。作为替换，与嵌入视频较为接近的街道可以用诸如红色或黄色之类的某种颜色逐渐加上阴影，以使用户更有可能注意到嵌入视频的地点。本技术的另一个示例用途可以是通过动画化下列各项来使得整个州或区域(例如加利福利亚)的卫星图像变得生动海浪、树木的运动，以及车辆和步行者的移动(在州的零星地点使用当前的网络摄像头采样)。图2示出的是使用视频流来更新静态图像的系统。视频输入模块212可以接收来自视频源(例如摄像机)的视频流，并且静态图像模块210可以获取静态图像。该静态图像可以是高分辨率图像或高分辨率全景图。对准模块214可以用于以静态图像和视频流之间的參考点为基础而将来自视频流的视频图像与静态图像对准。在一个示例中，可以使用静态图像中的參考点而将视频流对准到静态图像。静态图像和视频中的一个或多个參考点可以手动识别，或者所述ー个或多个參考点可以用自动方法识别，其中所述方法可以包括特征提取，匹配方法或是传感器对准。静态图像与视频图像之间的对准可以使用图像变换、图像旋转、图像弯曲(warping)或图像变形来进行。也可使用静态图像遮蔽以对要插入到静态图像中的视频图像创建嵌入场所。该对准还可以动态进行。换句话说，来自旋转相机、车载相机、电视赛事报道等等的视频可以參考静态图像并作为来自频繁移动的摄像机的帧而被持续动态地并入静态图像。分析模块218可以分析视频流中的变化，并且可以将来自视频流的变化应用于静态图像。在一个示例中，分析模块识别视频流中相对于静态图像的照明变化，并且将所述照明变化应用于静态图像。该照明变化可以用直方图变换来应用，以便将来自视频流的照明变化应用于静态图像。直方图变换是ー种可以以直方图均衡为基础的技木。也可以用内核滤波器来应用照明变化，以便照明、变暗某个图像或是改变图像的顔色。在另ー个示例中，分析模块可以识别视频流中相对于静态图像的运动变化，并且将所述运动变化应用于静态图像。可以使用子区域变形或是其他运动建模技术而将该运动变化应用于静态图像。通过使用再现模块220，可以将静态图像和视频流组合成一个高分辨率的高帧率视频222。由此，可以输出能被最終用户查看的单个视频流。当视频流中发生变化时，这些变化可被分析并应用于静态图像。作为替换，经过修改的静态图像既可以单独显示，也可以显示在视频流图像的旁边。以上为图2描述的模块可以在计算设备298上运行，其中该计算设备可以是服务器、工作站、个人计算机或是别的计算节点。计算设备或计算节点可以包括硬件处理器设备290、硬件存储器设备292、允许在硬件设备与组件之间通信的本地通信总线294、以及在网络上与其他图像生成模块、其他计算节点上的进程或是其他计算设备通信的联网设备296。
现在将描述使用来自相同场所的视频来更新来自所捕获场所的高分辨率图像，以便匹配在所捕获场所出现的实时照明、事件和运动的技术的附加详细示例。该系统可以对准、分析输入图像和视频，并且将其一起再现成是单个的高分辨率高帧率实时视频(或単独是经过更新的图像)。本技术可以采用多种方式来增强静态照片和全景图。低帧率图像可以通过调整表观照明以及通过动画化静态图像中那些原本不变或是变化很小的运动来增强。来自所捕获场所的视频还可以对与最終再现的视频一起呈现的声音作出贡献或对其进行修改。本技术的输入可以是图像和视频。图像可以是单个照片或是照片的复合物，这与縫合的全景图中是一祥的。所述照片或全景图可以被认为是低帧率图像。举个例子，如图3所示，该图像可以是所捕获的办公室310的360度全景图。所述视频可以是图像某个子集的较高帧率的视频馈送312。例如，该视频可以是ー个网络摄像机馈送，其中所述馈送被配置成流传输办公室的特定子视图乃至全景图的实况高帧率视频。该视频可以是从视频流获取的，所述视频流则可以是从经由因特网发送的视频流获取的。可以看出的是，在视频帧与视频帧在全景图中的位置之间有可能存在对应性314。图像和视频可被输入到对准块(与图2中一祥)。该对准块可以将图像的像素对准到视频帧。这种对准可以假设视频是固定在相对于图像的位置的；否则，该对准有可能产生取决于帧的输出。所述对准既可以自动执行，也可以半自动执行，还可以手动执行。自动对准意味着可以使用特征提取和匹配技术，这其中包括经常与计算机视觉系统一起使用的运动推断结构(structure-from-motion)或追踪方法。对准还可以使用通过传感器对准的相机来执行，其中所述传感器感测位置、方位和相机定位。在很多相机、移动设备和具有相机的电话中，这种传感器正在日益普及。关于这种传感器的示例可以是全球定位系统(GPS)传感器、指南针或是方位传感器。如先前所讨论的，将视频帧对准到静态图像也可以是动态的，其中来自移动相机的视频帧可被动态并入最终图像。例如，在摄像机每次移动的时候，具有关于静态图像的变化场所的视频帧都可以被集成到静态图像中。在手动对准的示例中，手动技术可以用于指定视频与图像之间的点对应性。该技术可以假设视频与图像之间的平面代理。但是，平面限制有可能会减小，并且可以使用其他的对应性表面类型(例如曲面)。对准块的输出可以包括图像空间中的ニ进制掩码，其规定可以将视频像素定位在相对于图像的什么位置。在这里可以规定ー个弯曲函数，以使视频像素精确对应于图像像素。由于可以从所述弯曲函数中推导出掩码，因此弯曲函数和ニ进制掩码有可能是多余的，尽管如此，当在两个图像之间在像素级对应性之上使用统计的对应性(例如计算直方图)时，包含ニ进制掩码将会是非常便利的。在分析块中(与图2中一祥)，视频与图像的对应性可以用于增强图像，以使其看起来更像该视频。如先前所述，这可以包括针对照明和运动的某些增強。在照明增强中，输出图像的照明可被增强，以使其看上去像是输出视频。如果该视频包含照明变化，那么输出视频也有可能显现出相同的照明变化。举个例子，如果输入图像是在日间捕获的全景图，并且实况视频流在夜间的，那么可以修改输出图像或视频，以使其看上去像是在夜间捕获的全景图。图4示出的是照明增强的进ー步的示例。在这里示出的是网络摄像头视频412在夜间的图像。此外，所增强的全景图已被修改，以便使用夜间视频410作为照明參考来模拟夜间灯光。为了完成照明增强，在视频与掩码内部的图像像素之间可以执行直方图匹配。相同的直方图转换功能可以应用于图像中的剰余像素。 其他增强可以包括运动推断。在这种情况下，视频中发生的事件的运动可被推断成是图像中的子区域变形。这些运动本身可以进一歩分成随机和结构化运动。随机运动可以包括能够通过来自诸如高斯的或指数的随机处理的采样表征的运动。这种处理可以用于表面上模拟本地随机运动，例如海浪或树在风中的温和摇晃和摆动。其他示例包括模拟天空中的z 的运动。在视频中，可以借助追! 示检测运动并将运动分IllJ成局部运动。如果已知的话，那么还可以使用运动模型和先前运动模型，例如波浪的垂直周期性运动。结构化的运动可以是运动的外推，例如汽车交通、机器运动、重复的人群运动或是其他类似的运动。一旦提取了运动并将其分割，则可以将来自视频的相应图像纹理匹配到图像，以及在与具有运动的视频区域相类似的高分辨率的图像区域中应用该纹理来提供运动。与照明增强相比，用于运动的对准对应性可以用视频中的云、水和树木和在图像中找到的那些运动之间的匹配来增强。运动和/或变化照明的其他示例可以是提供闪烁的城市灯光、天空中的静态的星星，或是在天空中闪烁的星星。诸如尺度不变特征变换(SIFT)匹配和最稳定极值区域(MSER)之类的现有匹配方法可以用于为那些被识别出运动的云、水和树木区域找到近似的匹配。过去，图像使用了动画来为运动提供程序式动画或其他模拟运动，例如云，以便综合地插值整个天空。但是，本技术使用了图像或视频作为指导来将运动添加到没有运动的区域中。换句话说，高帧率视频可以用于增强低帧率照片的图像。视频可以由ー个空间稀疏传感器捕获，并且视频与图片之间共有的区域可以用于推断出视频区域之外的其他照片区域的外观和运动。最終的处理模块可以是再现块(与图2中一祥)。该块可以执行预期的混合来最终将视频复合成图像，以及提供単独的视频输出流。诸如拉普拉斯(Laplacian)或泊松(Poi sson )混合之类的混合技术可以用于混合图像或图像边缘。作为替换，经过修改的静态图像既可以单独显示，也可以显示在视频流图像旁边。最終的输出可以是初始摘获图像的具有闻分辨率的视频，而且该视频还包括闻中贞率实时视频的变化。由此，系统可以采用若干种方式来增强照片和/或全景图，其中包括调整表观的照明，以及动画化原本在静态图像中基本上不会移动的运动。
图5示出的是使用高帧率图像流来更新低帧率图像的更进ー步的示例方法。低帧率图像可以是完整或局部全景图，或是别的静态摄影图像。该方法可以包括在方框510，从流传输源获取高帧率图像流的操作。所述流传输源可以是硬盘驱动器上的视频文件、光盘上的视频文件、经由网络发送的已记录的视频流，或是因特网上的实况视频流。在方框520，高帧率图像流可被对准到低帧率图像。在方框530，可以分析较高帧率的图像流中的图像修改。该图像修改可以是照明变化、运动变化或是别的变化。在方框540，图像修改可被从高帧率图像流应用到低帧率图像。在方框550，组合的低帧率图像和高帧率图像流可被再现成是复合的高分辨率高帧率图像。作为替换，经过修改的静态图像既可以单独显示，也可以显示在视频流图像旁边。本说明书中描述的某些功能単元被标记成了模块，以便更具体地强调其实施方式的独立性。例如模块可以实现为包含了定制的VLSI电路或门阵列、诸如逻辑芯片、晶体管之类的现有半导体组件或其他分立组件。模块还可以在可编程硬件设备中实现，例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等。 模块还可以在由不同类型的处理器运行的软件中实现。举例来说，所识别的可执行代码模块可以包括一个或多个计算机指令块，这些指令快可被组织成对象、过程或函数。然而，用于所识别的模块的可执行文件在物理上未必是在一起的，而可以包括保存在不同位置的不同的指令，其中所述指令包括模块，并且其在被逻辑上连接在一起的时候实现所陈述的模块的功能。实际上，可执行代码模块可以是单个指令或很多指令，并且甚至可以分布在若干个不同的代码段中、不同的程序中以及若干个存储器设备上。同样，在这里可以将操作数据识别并且示例在模块内，并且可以体现在任何适当的形式中以及组织在任何适当类型的数据结构中。该操作数据可以是作为单个数据集收集的，或者可以分布在包括不同的存储设备上的不同的位置。这些模块可以是无源或有源的，其中包括可操作以执行预期功能的代理。这里描述的技术还可以保存在计算机可读存储介质上，其中所述介质包括易失和非易失、可移除和不可移除媒体，其是使用用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何技术来实现的。计算机可读存储媒体包括但不局限于RAM、R0M、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多用途碟片(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或是其他任何可以用于存储预期信息以及所描述的技术的计算机存储介质。这里描述的设备还可以包括允许设备与其他设备通信的通信连接或联网设备以及网络连接。通信连接是通信媒体的ー个示例。典型地，通信媒体将计算机可读指令、数据结构、程序模块或其他数据包含在载波之类的调制的数据信号或其他传输机制中，并且可以包括任何信息递送媒体。“调制的数据信号”指的是以在信号中对信息编码的方式设定或改变其ー个或多个特性的信号。作为示例而不是限制，通信媒体包括有线媒体，例如有线网络或直接有线连接，以及无线媒体，例如声学、射频、红外以及其他无线媒体。这里使用的术语计算机可读媒体包括通信媒体。此外，在一个或多个实施例中，所描述的特征、结构或特性可以采用任何适当的方式组合。在先前描述中提供了众多特定细节，例如用于提供关于所描述的技术的实施例的全面理解的不同配置的示例。然而，相关领域的技术人员将会认识到，该技术是可以在没有ー个或多个特定细节或是具有其他方法、组件、设备等等的情况下实现的。在其他实例中，众所周知的结构或操作并未详细显示或描述，以免与本技术的方面相混淆。虽然在特定于结构特征和/或操作的语言中描述了本主题，但是应该理解，附加权利要求中定义的主题未必局限于上述特定特征或操作。相反，以上描述的特定特征和操作是作为用于实施权利要求的示例形式公开的。在不脱离所描述的技术的精神和范围的情况下，众多的修改和替换布置都是可 以设计的。
权利要求
1.一种使用视频流来更新静态图像的方法，包括 从视频源获取视频流； 将视频流对准到静态图像； 分析视频流中相对于静态图像的变化； 将视频流中的变化应用于静态图像；以及 显示应用了所述变化的静态图像。
2.如权利要求I的方法，其中显示静态图像还包括将组合的静态图像和视频流作为输出视频来再现。
3.如权利要求I的方法,其中应用变化还包括 识别视频流中相对于静态图像的照明变化；以及 将所述照明变化应用于静态图像。
4.如权利要求3的方法，其中照明变化使用直方图匹配而将来自视频流的照明变化应用于静态图像。
5.如权利要求I的方法,其中应用变化还包括 识别视频流中相对于静态图像的运动变化；以及 将所述运动变化应用于静态图像。
6.一种使用视频流来更新静态图像的系统，包括 视频输入模块，用于接收来自视频源的视频流； 静态图像模块，用于获取静态图像； 对准模块，基于静态图像与视频流之间的参考点，而将来自视频流的视频图像与静态图像对准； 分析模块，用于分析视频流中的变化，以及将视频流中的变化应用于静态图像；以及 再现模块，用于将组合的静态图像和视频流再现为高分辨率、高帧率视频。
7.如权利要求6的系统，其中分析模块识别视频流中相对于静态图像的照明变化，并且将所述照明变化应用于静态图像。
8.如权利要求7的系统，其中照明变化使用直方图匹配而将来自视频流的照明变化应用于静态图像。
9.如权利要求6的系统，其中分析模块识别视频流中相对于静态图像的运动变化，并且将所述运动变化应用于静态图像。
10.如权利要求6的系统，其中运动变化使用了子区域变形来将变化应用于静态图像。
全文摘要
描述了使用较高帧率的信息来增强低帧率媒体或静态图像的技术。一种示例方法可以使用视频流来更新静态图像。该方法可以从视频源获取视频流，并且该视频流可以与静态图像对准。另一个操作可以是分析视频流中相对于静态图像的变化。该变化可被应用于该静态图像的视频流。进一步的操作可以是显示应用了所述变化的静态图像。
文档编号H04N1/387GK102685364SQ20121003185
公开日2012年9月19日 申请日期2012年2月13日 优先权日2011年2月11日
发明者B.陈, E.奥菲克, I.奥默 申请人:微软公司