摄影机导航系统及方法
【专利摘要】提供导航摄影机系统与方法。在一些方面，方法包括在摄影机的视野端口上目标辨识初始投射。初始投射与摄影机的初始摄影机姿态相关。方法包括确定视野端口上目标的最终投射。最终投射相关于摄影机的最终摄影机姿态。方法包括计算在该初始摄影机与该最终摄影机姿态之间沿着导航路径的摄影机的多个中间摄影机姿态。每一个中间摄影机姿态相关于视野端口上目标的对应中间投射。中间摄影机姿态被计算，以使得中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
【专利说明】摄影机导航系统及方法
[0001]相关申请案的交叉参考
[0002]本申请案主张2012年3月19日申请的美国专利申请案案号13/424，313案名为「摄影机导航系统及方法」的优先权，前述申请案主张2011年8月16日申请的美国专利申请案案号61/524，305案名为「摄影机导航系统及方法」的优先权，前述两个申请案全文并入本案作为参考。
【技术领域】
[0003]本发明涉及摄影机导航，且更特别地涉及映像应用的摄影机导航系统及方法。
【背景技术】
[0004]映像应用通常提供所关注点的高海拔空中影像与低海拔「街景」影像。当用户观看高海拔空中影像时，所述映像应用可在地图接口上提供链接，使得使用者选择与观看所述连结辨识的不同低海拔「街景」影像。从所述高海拔影像至所述低海拔影像的转变可以是突然且不悦的使用者经验。
【发明内容】
[0005]根据本申请案技术的各方面，提供用于导航摄影机的计算器实施方法。所述方法包括辨识在所述摄影机的视野端口(viewport)上目标的初始投射。所述初始投射与所述摄影机的初始摄影机姿态(camera pose)相关。所述方法也包括在所述视野端口上确定目标的最终投射。所述最终投射与所述摄影机的最终摄影机姿态相关。所述最终摄影机姿态对应于在海拔低于对应所述最初摄影机姿态的初始摄影机影像的海拔的最终摄影机影像。所述方法也包括沿着所述初始摄影机姿态与所述最终摄影机姿态之间的导航路径，计算所述摄影机的多个中间摄影机姿态。所述多个中间摄影机姿态的每一个与所述视野端口上所述目标的对应中间投射相关。计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
[0006]根据本申请案技术的各方面，提供摄影机的导航系统。所述系统包括投射模块，用来辨识在所述摄影机的视野端口上目标的初始投射，以及确定在所述视野端口上所述目标的最终投射。所述初始投射与所述摄影机的初始摄影机姿态相关。所述最终投射与所述最终摄影机姿态相关。所述最终摄影机姿态对应于最终摄影机影像。所述系统也包括摄影机姿态模块，用来沿着所述初始摄影机姿态与所述最终摄影机姿态之间的导航路径，计算所述摄影机的多个中间摄影机姿态。
[0007]所述多个中间摄影机姿态的每一个中间摄影机姿态与所述视野端口上目标的相应的中间投影相关。所述摄影机姿态模块是用来计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
[0008]根据本申请案技术的各方面，提供用于导航摄影机的以可执行指令编蚂的机器可读取媒介。所述指令包括码，用于辨识在所述摄影机的视野端口上目标的初始投射。所述初始投射与所述摄影机的初始摄影机姿态相关。所述初始摄影机姿态对应于显示所述目标的空中影像。所述指令也包括用于以所述目标为基础确定所述摄影机的最终摄影机姿态的码。所述最终摄影机姿态对应于显示所述目标的街道等级全景影像。所述指令也包括用于确定在所述视野端口上所述目标的最终投射的码。所述最终投射与所述摄影机的最终摄影机姿态相关。所述指令也包括用于沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径而计算所述摄影机的多个中间摄影机姿态的码。所述多个中间摄影机姿态的每一个中间摄影机姿态与在所述视野端口上所述目标的相应中间投射相关。计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。所述多个中间投射在所述初始投与所述最终投射之间直线对准。
[0009]本申请案技术的其他特征与优点将如下所述，以及部分可明显得自描述内容，或可由实施本申请案技术而学习。本申请案的优点将通过描述内容与权利要求以及附随图式特别指出的结构而实现与获得。
[0010]可理解前述的一般说明与以下的详细说明是例举，以及是用于对权利要求所主张的发明提供更进一步的解释。
【专利附图】
【附图说明】
[0011]本申请案附随的图式是提供本申请案技术的更进一步说明，并且并入且作为说明书的一部分，说明本申请案技术的各方面，且与详细说明一同解释本申请案技术的原理。
[0012]图1为根据本申请案技术的各方面说明摄影机导航系统的范例。
[0013]图2为根据本申请案技术的各方面说明摄影机导航方法的范例。
[0014]图3为根据本申请案技术的各方面说明沿着从高海拔位置俯冲至低海拔位置的导航路径观看目标的摄影机范例。
[0015]图4为根据本申请案技术的各方面说明沿着导航路径在不同阶段的摄影机视野端口上形成的目标的多个投射范例。
[0016]图5为根据本申请案技术的各方面说明广告牌影像的范例。
[0017]图6为根据本申请案技术的各方面说明控制器组件的方块图。
【具体实施方式】
[0018]在以下的详细说明中，许多特定细节是提供本申请案技术的完全说明内容。然而，对于本领域技术人员而言，不需要这些特定细节中的一些仍可实施本申请案技术。在其他例子中，已知的结构与技术不再详细说明而不模糊本申请案技术。
[0019]根据本申请案技术的各方面，在映射应用中提供在摄影机的视野端口中产生从初始高海拔影像视野至目标低海拔影像视野的俯冲或飞翔过渡的方法。所述方法可沿着所述初始高海拔影像视野与所述目标低海拔影像视野之间的过渡路径内插摄影机姿态。所述摄影机姿态可被确定受到一或多个限制。例如，所述一或多个限制可包含需要目标投射在所述摄影机的视野埠上，以单调地在所述过渡过程中更接近视野端口上目标的最终投射。所述限制也可包含维持所述视野端口上所述目标的投射在二维(2D)线，其结合所述视野端口上目标的原始投射至所述视野埠上的最终投射。
[0020]图1为根据本申请案技术的各方面说明摄影机导航系统100的范例。系统100包括投射模块102、摄影机姿态模块104以及视野范围(field-Of-view，F0V)模块106。这些模块可彼此通讯。在一些范例中，所述模块可实施在软件(例如子程序与码)。在一些实施方式中，一些或全部所述模块可实施在硬件(例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、状态机器、闸逻辑、分离硬件组件或任何其他合适的装置)以及/或二者的组合。根据本申请案技术的各方面，这些模块的其他特征与功能更进一步描述在本申请案揭露内容中。
[0021]图2为根据本申请案技术的各方面说明摄影机导航方法200的范例。图3为根据本申请案各方面说明沿着从高海拔位置(例如位置314)俯冲至低海拔位置(例如位置320)的导航路径310观看目标310的摄影机302范例。方法200可用于计算在所述高海拔位置与所述低海拔位置之间摄影机302的多个摄影机姿态，以产生俯冲过渡。目标306可为映像应用中的所关注点。例如，目标306可为用户可自高海拔位置观看的三维(3D)地标。为了得到所述3D地目标较近「街景」，所述使用者可从映像应用选择目标306来定位低海拔位置的摄影机302。方法200可用于计算摄影机302的多个摄影机姿态，以从高海拔位置至低海拔位置导航摄影机302。
[0022]回到图1与图2，根据步骤202，投射模块102可辨识在摄影机302的视野端口上目标306的初始投射。图4为根据本申请案技术的各方面说明沿着导航路径310在不同阶段的摄影机302的视野端口上形成的目标306的多个投射范例。如图3与图4所示，当摄影机302是在初始位置314 (例如高海拔位置)时，目标306在摄影机302的视野312内，且在视野端口 412上形成初始投射402。出始投射402与摄影机302的初始摄影机姿态相关。例如，当摄影机302假设初始摄影机姿态时，目标306的初始投射402形成在视野埠412 上。
[0023]所述初始摄影机姿态可包括摄影机302的初始位置(例如位置314)与摄影机的初始位向至少其中之一。在一些实施方式中，所述摄影机302的初始位置可用于确定摄影机302的目标306之间的初始距离。摄影机302的初始位向可包括摄影机302的初始倾斜角与摄影机302的初始航向角(headingangle)至少其中之一。例如，如图3所示,摄影机302是在位置314的初始摄影机姿态。在此初始摄影机姿态中，摄影机302就地球表面322法线而言倾斜零度。因此，在初始摄影机姿态的摄影机302可提供表面322的高架视野，其包括目标306的俯视图。
[0024]回到图1与图2，根据步骤S204，摄影机姿态模块104可基于目标306来确定摄影机302的最终摄影机姿态。例如，在所述用户选择在低海拔位置所要观看的目标306之后，摄影机姿态模块104可确定在低海拔位置所需要观看的最终摄影机姿态。所述最终摄影机姿态可包括摄影机302的最终位置(例如在位置320的低海拔位置)与摄影机302的最终位向至少其中之一。例如，如图3所示，摄影机302是在位置320的最终摄影机姿态。在此最终摄影机姿态中，相对于垂直表面322，摄影机302就表面322的法线而言倾斜90度。
[0025]根据一些实施方式，可使用全景影像304而替代使用目标306附近环境的三维模式来提供目标306的街景。也就是说全景影像304可用于提供目标306的街景以及目标306附近的环境。在一些实施方式中，全景影像304可为球面，以及摄影机302可被定位在全景影像304的中心内，使得使用者通过定位摄影机302于不同方向而观看目标306附近的环境。虽然全景影像304显示为球面，且完全环绕摄影机302，全景影像304也可为一些其他适合方式的拋物线或曲线，使得所述全景影像304可完全或部分环绕摄影机302，以提供目标306的街景与目标306附近的环境。在一些实施方式中，摄影机302可被定位在全景影像304的中心。可通过确定所述最终位置(例如在图3全景影像304的中心)与最终位向，以提供用户目标306的街景，来确定所述最终摄影机姿态。根据一些实施方式，广告牌影像308可用于确定摄影机302的所述最终位置与最终位向。
[0026]图5为根据本申请案技术的各方面说明广告牌影像308的范例。摄影机姿态模块104可通过产生广告牌影像308来确定摄影机302的最终摄影机姿态。广告牌影像308可为垂直于地平面(例如图3中的表面322)的二维(2D)平面，以及可用与摄影机302在全景影像304的位置320且位向在目标306方向的相同方式显示目标306。广告牌影像308可作为摄影机302的终点影像，以导航捕捉广告牌影像308中所示的视野。没有广告牌影像308作为终点影像，很难确定观看全景影像304内目标所需要的最终位向。例如，摄影机姿态模块104可确定摄影机302的最终位置与最终位向，使得摄影机302的视野端口 412与广告牌影像308对准。当摄影机302假设最终摄影机姿态(例如在最终位置与最终位向)时，摄影机姿态模块104可移除广告牌影像308，以及摄影机302提供的目标306的视野与广告牌影像308提供的视野相同。在一些实施方式中，当摄影机302导航为全景影像304时，摄影机姿态模块104可移除广告牌影像308。
[0027]可使用各种参数定义广告牌影像308。例如，可由观看位置与观看位向来定义广告牌影像308。例如，定位在观看位置与定向在观看位向的摄影机可观看广告牌影像308。摄影机姿态模块104可通过匹配所述最终位置与所述观看位置以及匹配所述最终位向与所述观看位向，确定摄影机302的最终位置与最终位向。如图3所示，摄影机302定位在观看位置且定向在观看位向，这使得摄影机302观看广告牌影像308(如视野312所指)。可通过观看位置与广告牌影像308中心之间的纬度、经度、高度与距离，定义观看位置。可通过航向(例如摄影机可面对观看广告牌影像308的方向)来定义所述观看位向。
[0028]也可根据其他数据组定义广告牌影像308。例如，可由广告牌影像308的2D平片的中心高度、垂直所述2D平面的航向以及摄影机定位于观看广告牌影像308的观看位置来定义广告牌影像308。可通过观看位置与2D平面中心之间的距离、观看位置的纬度以及观看位置的经度来定义此观看位置。在一些实施方式中，所述观看位置的纬度可包括减去沿着航向的距离的2D平面的中心纬度。观看位置的经度可包括减去沿着航向的距离的2D平
面中心的经度。所述观看位置与2D平面中心之间的距离可为
【权利要求】
1.一种用于导航摄影机的计算器实施方法，所述方法包括: 辨识在所述摄影机的视野端口上目标的初始投射，所述初始投射与所述摄影机的初始摄影机姿态相关； 确定在所述视野端口上所述目标的最终投射，所述最终投射与所述摄影机的最终摄影机姿态相关，所述最终摄影机姿态相应于在海拔低于相应于初始摄影机姿态的初始摄影机影像的海拔的最终摄影机影像，所述最终摄影机姿态包括所述摄影机的最终位置与所述摄影机的最终位向至少其中一个；以及 计算沿着所述最初摄影机姿态与该最终摄影机姿态之间导航路径的该摄影机的多个中间摄影机姿态，所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关， 其中计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
2.如权利要求1所述的方法，其中所述最终摄影机影像包括显示所述目标的全景影像。
3.如权利要求1至2中任一项所述的方法，其中所述最终位置是集中在所述最终摄影机影像内。
4.如权利要求1至2中任一项所述的方法，还包括确定所述最终摄影机姿态，其中确定所述最终摄影机姿态包括: 产生显示所述目标的广告牌影像；以及 确定所述摄影机的所述最终位置以及所述摄影机的所述最终位向，使得所述摄影机的所述视野端口对准所述广告牌影像。
5.如权利要求4所述的方法，其中所述广告牌影像包括垂直于地面平面的二维平面。
6.如权利要求4所述的方法，还包括当所述摄影机假设所述最终摄影机姿态时，移除所述广告牌影像。
7.如权利要求4所述的方法，其中所述最终摄影机影像包括显示所述目标的全景影像，以及其中所述全景影像至少部分环绕所述广告牌影像。
8.如权利要求4所述的方法，其中通过观看位置与观看位向，定义所述广告牌影像。
9.如权利要求8所述的方法，其中确定所述摄影机的所述最终位置与所述摄影机的所述最终位向包括匹配所述最终位置与所述观看位置，以及匹配所述最终位像与所述观看位向。
10.如权利要求1至2中任一项所述的方法，其中所述多个中间摄影机姿态的每一个包括所述摄影机的中间位置与所述摄影机的中间位向的至少一个，以及其中计算所述多个中间摄影机姿态包括: 确定所述初始摄影机姿态与所述最终摄影机姿态之间所述摄影机的所述多个中间位向；以及 基于所述多个中间位向，确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置。
11.如权利要求10所述的方法，其中确定所述多个中间位向包括在所述初始摄影机姿态与所述最终摄影机姿态之间，线性内插所述多个中间位向。
12.如权利要求1至2中任一项所述的方法，其中所述多个中间摄影机姿态的每一个包括所述摄影机的中间位置与所述摄影机的中间位向至少其中一个，以及其中计算所述多个中间摄影机姿态包括: 确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置；以及 基于所述多个中间位置，确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位向。
13.如权利要求12所述的方法，其中确定所述多个中间位置包括使用三维样条程序，在所述初始摄影机姿态与所述最终摄影机姿态之间，内插所述多个中间位置。
14.一种导航摄影机的系统，所述系统包括: 投射模块，用于辨识在所述摄影机的视野端口上目标的初始投射，以及确定所述视野端口上所述目标的最终投射，所述初始投射与所述摄影机的初始摄影机姿态相关，所述最终投射与所述最终摄影机姿态相关，所述最终摄影机姿态相应于最终摄影机影像；以及 摄影机姿态模块，用于计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径的多个中间摄影机姿态，所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关，以及 其中所述摄影机姿态模块用于计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
15.如权利要求14所述的系统，其中所述初始投射及所述初始摄影机姿态与所述摄影机的初始视野相关，其中所述最终投射及所述最终摄影机姿态与所述摄影机的最终视野相关，以及其中所述系统更包括视野模块，用于计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间所述导航路径的所述摄影机的多个中间视野，所述中间视野的每一个中间视野与在所述视野端口上所述`目标的相应中间投射相关。
16.如权利要求15所述的系统，其中所述中间摄影机姿态的每一个中间摄影机姿态包括所述摄影机的中间位置，以及其中所述摄影机姿态模块用于基于所述多个中间视野，确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置。
17.如权利要求16所述的系统，其中所述摄影机姿态模块用于确定所述多个中间位置，使得所述初始投射、所述多个中间投射以及所述最终投射实质维持相同尺寸，以响应所述多个中间视野。
18.—种方法,包括: 辨识在所述摄影机的视野端口上目标的初始投射，所述初始投射与所述摄影机的初始摄影机姿态相关，所述初始摄影机姿态相应于显示所述目标的空中影像； 基于所述目标，确定所述摄影机的最终摄影机姿态，所述最终摄影机姿态相应于显示所述目标的街道等级全景影像； 确定在所述视野端口上所述目标的最终投射，所述最终投射与所述摄影机的所述最终摄影机姿态相关；以及 计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径的所述摄影机的多个中间摄影机姿态，所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关， 其中计算所述多个中间摄影机姿态，使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射，以及 其中所述多个中间投射对准所述初始投射与所述最终投射之间的直线。
19.如权利要求18所述的方法，其中所述初始投射及所述初始摄影机姿态与所述摄影机的初始视野相关，其中所述最终投射及所述最终摄影机姿态与所述摄影机的最终视野相关，以及其中所述方法还包括计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间所述导航路径的所述摄影机的多个中间视野，所述中间视野的每一个与在所述视野端口上所述目标的相应中间投射相关。
20.如权利要求19所述的方法，其中计算该多个中间视野包括在该初始视野与该最终视野之间沿着该导航路径内插该多个中间视野。
21.一种用于导航摄影机的以可执行指令编码的机器可读取媒介，该指令包括用于执行如权利要求1-13或18-20中任一项所述方法的码。
22.—种计算器系统，包括用以执行如权利要求1-13或18-20中任一项所述方法的硬件。`
【文档编号】G06T19/00GK103875024SQ201280039680
【公开日】2014年6月18日 申请日期:2012年8月14日 优先权日:2011年8月16日
【发明者】卡洛斯·赫尔南德斯埃斯特班 申请人:谷歌公司