用于对场景的交互视图导航的综合分组的制作方法
【专利说明】
【背景技术】
[0001]许多用户可以使用诸如数字摄像机、平板设备、移动设备、智能电话等之类的各种不同的设备来创建图像数据。例如，用户可以在度假的同时使用移动电话捕获描绘海滨的一组图像。该用户可以将该组图像组织为影集、基于云的照片共享流、可视化等等。在可视化的示例中，该组图像可以被拼接(Stitch)在一起以创建由该组图像所描绘的场景的全景。在另一个可视化的示例中，该组图像可以被用来创建旋转电影。不幸的是，由于从各种不同观察点(viewpoint)描绘场景的该组图像，所以对可视化进行的导航可以是非直觉的和/或过于复杂的。
【发明内容】
[0002]本
【发明内容】
被提供来以简化的形式介绍在下文【具体实施方式】中被进一步描述的概念的选择。本
【发明内容】
不是旨在识别所要求保护的主题的关键因素或必要特征，也不是旨在被用来限制所要求保护的主题的范围。
[0003]除了别的之外，用于生成综合分组(synch packet)和/或用于通过利用该综合分组提供交互视图导航体验的一个或多个系统和/或技术在本文中被提供。
[0004]在生成综合分组的某些实施例中，与描绘场景的一组输入图像相关联的导航模型可以被识别。该导航模型可以对应于与被用来捕获该组输入图像的摄像机的位置信息和/或旋转信息相关联的捕获模式。例如，捕获模式可以对应于输入图像从中被捕获的一个或多个观察点。在示例中，用户可以在每隔几英尺对建筑物正面进行拍照的同时沿着街道步行，其可以对应于扫射(strafe)捕获模式。在另一个示例中，用户可以在对雕像进行拍照的同时以圆周运动绕着该雕像步行，其可以对应于旋转(spin)捕获模式。
[0005]根据导航模型所构造(structured)的本地图可以被构建(construct)。本地图可以指定在该组图像内的相应的输入图像之间的关系信息。例如，本地图可以包括表示第一输入图像的第一节点以及表示第二输入图像的第二节点。第一边缘可以基于指示第二图像具有与第一图像的关系(例如，用户可能已经拍摄了雕像的第一图像、走了几英尺并且然后拍摄了该雕像的第二图像，以使得该场景的当前视图可以从第一图像被可视地导航到第二图像)的导航模型在第一节点和第二节点之间被创建。第一边缘可以表示在第一输入图像和第二输入图像之间的平移(translat1nal)视图信息，其可以被用来从第一图像以及第二图像所贡献的图像数据来生成场景的平移视图。在另一个示例中，导航模型可以指示第三图像是从距离拍摄第一图像以及第二图像的观察点充分远的观察点而被拍摄的(即，用户在拍摄第三图像之前可能必须绕雕像步行半圈)。因此，在本地图内第一节点和第二节点可以不被连接到表示第三图像的第三节点，这是由于从第一图像或者第二图像可视地导航到第三图像可能导致各种不同的可视质量问题(例如，模糊、跳跃、对场景的不正确描绘、接缝线、和/或其他可视的错误)。
[0006]包括该组输入图像以及本地图的综合分组可以被生成。本地图可以被用来在对场景(例如，可视化)的交互视图导航期间在该组输入图像之间进行导航。用户可以能够使用交互视图导航输入(例如，变换成场景的当前视图的直接操纵的在触摸设备上的一个或多个手势)连续地在一维空间和/或二维空间中对场景进行导航。与在单独输入图像之间进行导航相对，场景的交互视图导航可以作为单个可导航的可视化(例如，全景、绕着对象的旋转电影、沿着走廊移动等)而对用户出现。在某些实施例中，综合分组包括摄像机姿势集合(pose manifold)(例如，场景从其中被观看的视图视角(perspective))、粗略几何构型(geometry)(例如，一个或多个输入图像可以被投影在其上的场景的表面的多维度表示)，和/或其他图像信息。
[0007]在提供交互视图导航体验的某些实施例中，综合分组包括一组输入图像、摄像机姿势集合、粗略几何构型以及本地图。交互视图导航体验可以显示一组输入图像(例如，雕像的面部视图)所描绘的场景的一个或多个当前视图。交互视图导航体验可以允许用户基于交互视图导航输入来连续地和/或无缝地在多维空间中对该场景进行导航。例如，与在单独的输入图像之间可视地转换相对，用户可以可视地绕着雕像步行好像该雕像的场景是单个多维可视化一样。交互视图导航体验可以基于导航在综合分组内的本地图而被提供。例如，响应于接收到交互视图导航输入，本地图可以基于交互视图导航输入而从第一部分(例如，第一节点或者第一边缘)被导航到(例如，遍历(traverse))第二部分(例如，第二节点或者第二边缘)(例如，从表示描绘雕像的面部的第一图像的第一节点导航到表示描绘雕像左侧的第二图像的第二节点)。该场景的当前视图(例如，雕像的面部视图)可以被转换到对应于本地图的第二部分的场景的新的当前视图(例如，雕像的左侧的视图)。在节点和/或边缘之间的转换可以被变换成对该场景的无缝的三维导航。
[0008]为了实现前述和相关目标，下面的说明书和附图阐述某些说明性的方面以及实现方式。这些仅仅指示了可以以其使用一个或多个方面的各种不同的方式中的一些方式。当结合附图一起考虑时，本公开的其他方面、优点以及新颖的特征将从下文的【具体实施方式】中变得显然。
【附图说明】
[0009]图1是图示了生成综合分组的示例性方法的流程图。
[0010]图2是一维导航模型的示例。
[0011]图3是二维导航模型的示例。
[0012]图4是图示了用于生成综合分组的示例性系统的组件框图。
[0013]图5是在输入图像捕获期间为摄像机提供建议的摄像机位置的示例。
[0014]图6是图示了利用综合分组提供交互视图导航体验的示例性方法的流程图。
[0015]图7是图示了用于通过使用综合分组提供诸如场景的可视化之类的交互视图导航体验的示例性系统的组件框图。
[0016]图8是示例性计算设备可读介质的图示，其中被配置来包括本文所阐述的规定中的一个或多个规定(provis1n)的处理器可执行指令可以被包括。
[0017]图9图示了示例性计算环境，其中本文所阐述的规定中的一个或多个规定可以被实现。
【具体实施方式】
[0018]现在，参考附图来描述所要求保护的主题，其中相同的附图标记一般被用来在全文中指代相同的元件。在下面的说明书中，为了解释的目的，众多特定的细节被阐述以便提供对要求保护的主题的理解。但是，显然的是，要求保护的主题可以在没有这些特定细节的情况下而被实践。在其他示例中，结构和设备以框图的形式被图示，以促进对要求保护的主题的描述。
[0019]图1的示例性方法图示了生成综合分组的实施例。在102处，方法开始。一组输入图像可以从各种不同的观察点来描绘场景(例如，房屋的外部)。在104处，与该组输入图像相关联的导航模型可以被识别。在示例中，导航模型可以基于用户对导航模型的选择而被识别(例如，一个或多个潜在的导航模型可以被呈现给用户以用于作为导航模型的选择)。在另一个示例中，导航模型可以基于该组输入图像而被自动生成。例如，摄像机姿势集合可以基于该组输入图像而被估计(例如，可以根据该组输入图像而构建的房屋的各种不同的视图视角)。粗略的几何构型基于该组输入图像而被构建(例如，基于来自运动过程的结构，基于深度信息等等)。粗略的几何构型可以包括该场景的表面的多维表示(例如，房屋的三维表示，其可以通过将该组输入图像投影到粗略的几何构型而被织构化(textured)以便生成具有诸如颜色值之类的纹理信息的织构化粗略几何构型)。导航模型可以基于摄像机姿势集合以及粗略几何构型而被识别。导航模型可以指示在输入图像之间的关系信息(例如，第一图像是从描绘房屋的前门部分的第一视图视角被拍摄的，并且第一图像是与从第二视图视角而被拍摄的第二图像相关的，所述第二视图视角是距离第一视图视角几英尺远，描绘了从前门部分稍微偏移的房屋的前部)。
[0020]因为该组输入图像可能不以所期望的质量和/或分辨率描绘场景的每个方面，所以从导航模型以及一个或多个之前捕获的输入图像导出的建议的摄像机位置可以在输入图像的捕获期间被提供以用于包括在该组输入图像内。建议的摄像机位置可以对应于没有被一个或多个之前捕获的输入图像描绘的场景的视图。例如，导航模型可以对应于旋转捕获模式，其中用户在对房屋拍照的同时绕着房屋步行。但是，用户可能尚未充分捕获该房屋的第二层的侧视图，其可以基于旋转捕获模式以及该房屋的一个或多个之前所捕获的输入图像而被识别。相应地，对应于第二层侧视图的建议的摄像机位置可以被提供。在另一个