用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统与流程

背景技术：

对于附接到车辆的相机，已知相对于地平面对相机位置进行自校准。还已知获取关于车辆中的占据项的信息。例如，占据项可在车辆中的区域的图像中被定位并采用经过训练的神经网络来对图像中的项进行分类。然而，需要将显示设备安装到车辆并基于其来控制车辆的功能。

技术实现要素：

本发明的目标是提供一种使得用户能够提供适于基于位置或移动来控制车辆的至少一种功能的信息的方法和系统。

根据第一方面，提供了一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法，该方法包括：接收与由移动设备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设备与该车辆是分开的；根据与至少一个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息，以根据位置来控制车辆的至少一种功能。

本发明可有利地使用这样的事实：现代车辆通常包括例如在相对于车辆的已知位置处并朝向车辆中就坐的驾驶员和/或乘客而被安装在车辆内部的显示设备，并且个人移动设备诸如移动电话或平板电脑通常包括相机。

根据本发明，可基于与包括相机的移动设备相关联的所确定的位置来控制车辆的至少一种功能，该位置是通过使用相机捕获车辆的一部分的至少一个图像来确定的。例如，车辆的所捕获得部分包括在被安装到车辆的显示设备上显示的视觉内容。通过这种方式，本发明提供了一种使得用户能够确定在车辆内部的位置以基于所确定的位置来控制车辆的至少一种功能的方法和系统。例如，可根据移动设备的位置来控制车辆的声音系统、照明系统和/或空调的功能。

为此，根据一个实施方案，本发明提出例如通过使用被安装到车辆的显示设备、移动设备的相机以及由移动设备的相机捕获的在显示设备上显示的视觉内容的图像来在车辆的坐标系中确定移动设备的位置。此外，基于所确定的位置来控制车辆的至少一种功能。例如，该功能涉及车辆的子系统，诸如声音系统、环境光系统、空调系统或它们的组合。

根据一个实施方案，该方法还包括提供或接收车辆的至少一部分在车辆坐标系中的位置。

根据一个实施方案，车辆的至少一部分包括在被安装到车辆的显示设备上显示的视觉内容。

根据一个实施方案，确定车辆坐标系中的与移动设备相关联的位置包括：根据与至少一个图像相关联的图像信息来确定在捕获至少一个图像时相机相对于车辆的至少一部分的相机位置；以及根据相机位置和车辆的至少一部分在车辆坐标系中的位置来确定车辆坐标系中的与移动设备相关联的位置。

根据另一个实施方案，该至少一个图像是第一图像并且相机是第一相机，并且确定车辆坐标系中的与移动设备相关联的位置包括：接收与由移动设备的第二相机捕获的车辆的至少一部分的第二图像相关联的图像信息；以及根据与第一图像和第二图像相关联的图像信息来重建车辆的至少一部分的模型。

在进一步的发展中，该方法还包括接收与由移动设备的第三相机捕获的第三图像相关联的图像信息，其中第三图像捕获由所重建的模型的至少部分表示的车辆的至少一部分(车辆的该至少一部分可与上文提到的车辆的至少一部分不同；然而，车辆的该至少一部分被包括在所重建的模型中)；根据所重建的模型的至少部分和与第三图像相关联的图像信息来确定在捕获第三图像时第三相机相对于所重建的模型的相机位置；以及根据第三相机的相机位置来确定车辆坐标系中的与移动设备相关联的位置。

根据一个实施方案，该方法进一步包括根据与第一图像相关联的图像信息的至少部分来确定在捕获第一图像时第一相机相对于车辆的至少一部分的相机位置；以及根据与第二图像相关联的图像信息的至少部分来确定在捕获第二图像时第二相机相对于车辆的至少一部分的相机位置。

根据进一步的发展，车辆的至少一部分是车辆的第一部分并且该方法进一步包括接收与移动设备的第四相机捕获的第四图像相关联的图像信息，其中第四图像捕获车辆的第一部分的至少部分和车辆的至少第二部分；以及扩展所重建的模型以包括车辆的第一部分和车辆的第二部分。

优选地，所重建的模型至少描述车辆的至少部分的深度信息。

根据一个实施方案，第一相机、第二相机、第三相机和第四相机中的至少两者是相同的相机。

根据另一个实施方案，第一相机、第二相机、第三相机和第四相机中的至少两者是不同的相机。

根据一个实施方案，其中该至少一种功能是这样一种功能：与车辆的声音系统、车辆的环境光系统和车辆的空调系统中的至少一者相关并根据该位置受到控制。

根据第一方面，还提供了一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统，该系统包括：第一处理设备，该第一处理设备被配置为接收与由移动设备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设备与车辆是分开的，该第一处理设备被配置为根据与至少一个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；以及第二处理设备，该第二处理设备被配置为提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息，以根据该位置来控制车辆的至少一种功能。

根据第二方面，提供了一种用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统，该系统包括：第一处理设备，该第一处理设备被配置为接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与车辆是分开的，该至少两个图像中的每个图像捕获车辆的至少一部分，该第一处理设备被配置为根据与至少两个图像相关联的图像信息确定相对于车辆坐标系的与移动设备相关联的移动；以及第二处理设备，该第二处理设备根据与至少两个图像相关联的图像信息来确定相对于车辆坐标系的与移动设备相关联的移动。

本文描述的以下实施方案以及其他实施方案同样适于结合第一方面和第二方面两者使用。

根据一个实施方案，第一处理设备和第二处理设备是相同的处理设备。

根据一个实施方案，第一处理设备和第二处理设备中的至少一者被包括在移动设备中。根据另一个实施方案，第一处理设备和第二处理设备中的至少一者被包括在车辆中。根据另一个实施方案，第一处理设备和第二处理设备中的至少一者被包括在与移动设备和车辆进行通信的计算机设备中。

根据第二方面，提供了一种用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法，该方法包括：接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与车辆是分开的，该至少两个图像中的每个图像捕获车辆的至少一部分；根据与至少两个图像相关联的图像信息来确定相对于车辆坐标系的与移动设备相关联的移动；以及提供用于指示相对于车辆坐标系的与移动设备相关联的移动的移动信息，以根据移动来控制车辆的至少一种功能。

根据一个实施方案，可根据车辆坐标系中的与移动设备相关联的两个位置来确定相对于车辆坐标系的与移动设备相关联的移动。根据分别与至少两个图像相关联的图像信息可确定与移动设备相关联的两个位置。在至少两个图像中的每个图像中捕获的车辆的至少一部分可具有公共部分或者可不同。

根据另一个实施方案，可根据在捕获至少两个图像时的至少一个相机的两个相机位置来确定相对于车辆坐标系的与移动设备相关联的移动。

上文或下文相对于与确定和移动设备相关联的位置相关的第一方面所述的本发明的各方面和实施方案同样也适用于与确定和移动设备相关联的移动相关的第二方面。

根据一个实施方案，可根据至少两个图像中的每个图像中捕获的车辆的至少一部分的图像位置来确定相对于车辆坐标系的与移动设备相关联的移动。这需要在至少两个图像中的每个图像中捕获的车辆的至少一部分相同或具有公共部分。然而，这不需要车辆的至少一部分在车辆坐标系中的已知位置。

根据本发明，可基于所确定的与移动设备相关联的移动来控制车辆的至少一种功能。例如，可根据移动设备的移动来控制车辆的声音系统、照明系统和/或空调的功能。可使用移动来改变声音系统的音量。照明系统可根据移动设备的所确定的移动来将当前照明位置改变为新的照明位置。例如，所确定的移动可定义从当前照明位置到新的照明位置有多远。在另一个示例中，所确定的移动可定义旋转，使得照明系统可根据旋转从当前照明方向旋转到新的照明方向。

优选地，移动设备是手持设备诸如移动电话、平板电脑或移动计算机。

例如，车辆的至少一部分在车辆坐标系中的位置可由车辆的制造商来提供。

图像中捕获的车辆的至少一部分可以是车辆的任何物理部分。车辆的至少一部分可包括被安装到车辆的显示设备或显示设备的一部分。车辆的至少一部分还可包括在显示设备上显示的一个或多个视觉内容。

显示设备是用于对信息进行视觉呈现的设备。显示设备可基于任何显示技术或材料，诸如阴极射线管(crt)、发光二极管显示器(led)和液晶显示器(lcd)。显示设备可包括2维平面显示器或具有弯曲形状的显示器。显示设备还可以是包括多个平面子显示器的可折叠显示设备，每个子显示器可与其他子显示器一起移动。

可将显示设备安装到车辆。优选地朝向车辆中就坐的驾驶员和/或乘客的眼睛安装，使得驾驶员和/或乘客可看到在显示设备上显示的视觉内容。例如，显示设备可被安装在车辆的前控制面板上或被安装在车辆的前座的背面。

可使用显示设备来显示菜单、地图、软件程序的图形用户界面等。

视觉内容是解剖学眼睛或光学成像设备的任何可视觉察觉到的信息。例如，视觉内容可发射或反射可被人眼或相机捕获的可见光。视觉内容还可发射或反射可能不被人眼捕获但可被相机捕获的不可见光。视觉内容可以是文本、图形、由计算机生成或由相机捕获的图像、符号、图画、它们的组合或它们中的每一者的一部分。例如，视觉内容可以是菜单、按钮、图标、数字地图、软件程序的图形用户界面、它们的组合或它们中的每一者的一部分。可在显示设备上显示视觉内容。

移动设备是便携式的并且包括一个或多个相机。一个或多个相机可具有相对于移动设备的已知位置。移动设备可仅为相机。例如，移动设备是相机、第一相机、第二相机、第三相机和/或第四相机中的任一者，即移动设备和相应的相机是相同的设备。

在一个实施方案中，移动设备可具有至少一个处理设备诸如计算处理器。在另一个实施方案中，移动设备可不具有计算处理器，但是可具有发射器以向另一个设备(例如，车辆)传输数据(例如，由相机捕获的图像的图像数据)。移动设备可以是但不限于移动电话、平板电脑或膝上型电脑。相机可与移动设备分开，但经由电缆或以无线方式与移动设备进行通信。

一个或多个相机是可捕获光学信息的图像信息的光学成像设备。

可将所提出的发明应用于提供图像的任何相机。不限于以rgb格式提供彩色图像的相机。还可将其应用于任何其他色彩格式并且应用于单色图像，例如应用于以灰度级格式提供图像的相机。相机可进一步为图像提供深度数据。不需要与(彩色/灰度级)图像以相同分辨率提供深度数据。为图像提供深度数据的相机常常称为rgb-d相机。rgb-d相机系统可以是渡越时间(tof)相机系统。该相机还可捕获人眼不可见的光诸如红外光。例如，相机可以是热成像相机。

相机在车辆坐标系中的位置可包括车辆坐标系中的平移或旋转或它们的组合。

所显示的视觉内容的视觉外观描述形状、纹理、几何形状或它们的组合。视觉外观可包括或不包括颜色信息。

对象的物理几何形状描述对象在现实世界中的尺寸、形状、尺度、平面性或它们的组合。

显示设备的分辨率是可在其显示区域上显示的每个维度中不同像素的数量。显示设备可具有已知的分辨率。显示设备还可具有针对其显示区域的已知的物理几何形状。显示设备的物理几何形状是指显示设备的显示区域的物理几何形状。具有所显示的视觉内容在显示设备的坐标系中的像素位置以及显示设备的分辨率和物理几何形状便能够确定所显示的视觉内容和显示设备之间的空间关系。这定义了所显示的视觉内容相对于显示设备的位置。此外，也可确定所显示的视觉内容的物理几何形状。可根据所显示的视觉内容相对于显示设备的位置和显示设备相对于车辆坐标系的位置来确定所显示的视觉内容在车辆坐标系中的位置。

可根据图像的至少部分来确定由第一相机捕获第一图像时相机相对于车辆的至少部分的相机位置。具有车辆的至少部分的物理几何形状之后，便可采用各种基于视觉的相机位置估计方法诸如基于2d-3d点对应(参见例如hartley,richard,andandrewzisserman.multipleviewgeometryincomputervision.vol.2.cambridge,2000)来确定相机位置。

具体地，优选地使车辆的至少部分包括所显示的视觉内容。因此相机的图像捕获所显示的视觉内容。视觉内容可提供丰富的纹理和特征(例如，对比角或边缘)，这将使得基于视觉的相机位置估计很稳健。在该示例中，可相对于被安装到车辆的显示设备来确定相机的相机位置。例如，可从车辆制造商提供显示设备相对于车辆坐标系的位置。

具有所显示的视觉内容的已知视觉外观以及其物理几何形状之后，可根据第一图像的图像信息的至少部分以正确的缩放系数来确定相机相对于视觉内容的相机位置。相机位置估计可基于所捕获的图像的图像特征和在显示设备上显示的视觉内容的对应特征之间的对应关系。然后根据相对于所显示的视觉内容的相机位置和所显示的视觉内容在车辆坐标系中的位置来确定车辆坐标系中的相机位置。

可从相对于车辆的至少一部分的相机位置和车辆的至少一部分在车辆坐标系中的位置来确定在相机捕获图像时相机在车辆坐标系中的相机位置。

在一个示例中，相机在车辆坐标系中的位置可确定可向车辆提供以控制车辆的至少一种功能的位置。与移动设备相关联的位置可与相机在车辆坐标系中的位置相同。与移动设备相关联的位置可具有从相机在车辆坐标系中的位置进行的空间位移。

在另一个示例中，相机在车辆坐标系中的位置可能不适于指定与移动设备相关联的位置。例如，相机的位置可能不是要向车辆提供以控制至少一种功能的期望位置。

根据一个实施方案，本发明提出由移动设备的第二相机进一步捕获车辆的至少一部分的第二图像(其中前述相机和图像分别为第一相机和第一图像)。在第二相机和第一相机处于不同位置处时捕获第二图像和第一图像。

根据第二图像的至少部分来确定捕获第二图像时的第二相机相对于车辆的至少一部分的相机位置。也可使用用于确定第一相机的相机位置的所公开的方法来确定第二相机的相机位置。

可根据第一图像和第二图像以及第一相机和第二相机的相机位置来重建车辆的至少一部分的模型。

在所重建的模型的一个实施方案中，确定第一图像和第二图像中的车辆的至少一部分的图像特征之间的对应关系。然后，可使用三角形划分方法来从图像特征对应关系以及第一相机和第二相机的相机位置确定模型，例如参见hartley,richard,andandrewzisserman.multipleviewgeometryincomputervision.vol.2.cambridge,2000。

如上所述，对象的模型至少描述对象的至少部分的深度信息。该模型进一步可包括但不限于以下属性中的一种属性：形状、对称性、平面性、几何尺寸、颜色、纹理和密度。

由于可知道在第一图像和第二图像中捕获的车辆的至少一部分的物理几何形状，因此可例如如下所教导的那样来确定用于所重建的模型的正确缩放系数：davison、andrewj.等人，“monoslam:real-timesinglecameraslam.”patternanalysisandmachineintelligence,ieeetransactionson29.6(2007):1052-1067。可将重建的模型表示为3d顶点、由这些顶点跨越的多边形的面和/或边缘。也可将模型的边缘和面表示为样条或nurbs表面。

可在车辆坐标系中确定重建的模型。也可在任意坐标系诸如其自身的坐标系中确定所重建的模型。在这种情况下，基于车辆的至少一部分在车辆坐标系中的位置，所重建的模型可与车辆坐标系相关。

根据一个实施方案，移动设备的第三相机可捕获第三图像。第三图像包括由所重建的模型的至少部分表示的车辆的一部分。车辆的该部分不需要包括由第一相机捕获的车辆的至少一部分，或者仅包括其部分。具体地，在第三图像中捕获的车辆的该部分不需要包括车辆的显示设备或在显示设备上显示的任何视觉内容。

可根据所重建的模型的至少部分和第三图像的至少部分来确定在捕获第三图像时第三相机相对于该模型的相机位置。例如，可采用slam方法(参见davison、andrewj.等人，“monoslam:real-timesinglecameraslam.”patternanalysisandmachineintelligence,ieeetransactionson29.6(2007):1052-1067)来确定第三相机的相机位置。

在一个示例中，在第三相机捕获第三图像时第三相机在车辆坐标系中的位置可用于确定车辆坐标系中的与移动设备相关联的位置。与移动设备相关联的位置可与第三相机在车辆坐标系中的位置相同。车辆坐标系中的与移动设备相关联的位置可具有从第三相机在车辆坐标系中的位置进行的空间位移。

可从第三相机相对于模型的相机位置以及模型和车辆坐标系之间的空间关系来确定第三相机在车辆坐标系中的相机位置。

此外，还可将该模型用于对基于视觉的同时定位与映射(slam)方法诸如参考[4,5,6]所述的方法进行初始化，以用于在车辆坐标系中跟踪移动设备的一个或多个相机和/或通过添加车辆其他重建的部分来扩展重建的模型。

例如，由移动设备的第四相机来捕获车辆的至少一个第二部分的第四图像。第四图像还可捕获由所重建的模型的至少部分表示的车辆的一部分。然后，可基于slam方法来扩展所重建的模型以具有车辆的第一部分和第二部分。这可能需要基于匹配车辆该部分的图像位置和车辆的该部分的所重建的模型的至少部分来计算在捕获第四图像时第四相机相对于该模型的相机姿态。

可根据移动设备的相机在车辆坐标系中的相机位置来确定与移动设备相关联的位置。可基于slam方根据所重建的模型的至少部分和由相机捕获的至少一个图像来估计相机位置。为此，至少一个图像捕获由所重建的模型的至少部分表示的车辆的一部分。与移动设备相关联的位置可与在相机捕获至少一个图像时的相机的位置相同。

可向车辆提供车辆坐标系中的与移动设备相关联的所确定的位置或所确定的移动，以根据位置或移动来控制车辆的至少一种功能。至少一种功能可与车辆的一个或多个子系统相关。车辆的子系统可以是但不限于声音系统、环境光系统和空调系统。

至少一种功能可根据车辆坐标系中的与移动设备相关联的所确定的位置来控制或配置车辆的一个或多个子系统。例如，该位置可指定空间中的其中环境光系统应当进行照射或空调系统应当监测温度的区域的中心位置。也可由该位置指定收听区域，使得声音系统将被控制或调节，以将其朝向指定的收听区域进行取向。

该移动设备可直接或经由计算机网络与车辆进行通信。移动设备可间接经由其他设备例如经由网络服务提供商来与车辆进行通信。

计算机网络可以是连接处理设备(例如，计算机)以允许系统、软件应用操作和用户之间进行通信和数据交换的电信网络。处理设备可经由电缆或以无线方式或经由电缆并以无线方式进行连接。例如，计算机网络可以是互联网、内联网、局域网或广域网。

在一个实施方案中，移动设备可包括一个相机。第一相机、第二相机第三相机和第四相机是相同的相机。

在另一个实施方案中，移动设备可包括至少两个相机。第一相机、第二相机第三相机和第四相机中的至少两者是不同的相机。

在另一个实施方案中，第一相机、第二相机、第三相机和第四相机中的至少两者是相同的相机。

可基于相机校准方法来提供或校准针对第一相机、第二相机、第三相机和/或第四相机的相机固有参数。可使用相机固有参数基于相机图像来确定相机位置或相机移动。

在一个实施方案中，根据本发明的系统可与移动设备的一部分电耦接或者可以是移动设备的一部分。该系统可与车辆分开。该系统可经由电缆以无线方式或经由计算机网络来与车辆进行通信。该系统可确定车辆坐标系中的与移动设备相关联的位置或移动，并向车辆发送位置或移动以控制至少一种功能。

在另一个实施方案中，该系统可接收来自车辆的车辆信息。车辆信息可包括以下各项中的至少一者：车辆坐标系、所显示的视觉内容的视觉外观、用于显示的显示设备的分辨率、显示设备(即，车辆的至少一部分)在车辆坐标系中的位置、显示设备的物理几何形状(即，车辆的至少一部分)或它们的组合。

在另一个实施方案中，该系统可与车辆的一部分电耦接或是车辆的一部分，并且与移动设备分开。该系统可经由电缆以无线方式或经由计算机网络来与移动设备进行通信。移动设备可向系统发送相机图像。移动设备还可能需要向系统发送相机固有参数(例如，焦距和主点)。可使用相机固有参数基于相机图像来确定相机位置。

在另一个实施方案中，该系统可与移动设备分开并与车辆分开。该系统可经由电缆以无线方式或经由计算机网络来与移动设备和/或车辆进行通信。该系统可从车辆接收车辆信息并从移动设备接收相机图像和相机固有参数。然后，该系统可确定车辆坐标系中的与移动设备相关联的位置或移动，并向车辆或车辆中的与至少一种功能相关的一个或多个子系统发送位置或移动，以控制至少一种功能。

根据另一个方面，本发明还涉及一种包括适于执行根据本发明的方法的软件代码段的计算机程序产品。具体地，计算机程序产品被包含在计算机可读介质上并且是非暂态的。可将软件代码段加载到一个或多个处理设备的存储器中，如本文所述的。

根据一个实施方案，可将该方法实现为一种运行于移动设备诸如移动电话的一个或多个处理设备上并且直接地或间接地与车辆进行通信的应用程序。

根据另一个实施方案，可将该方法实现为一种运行于车辆的一个或多个处理设备上并直接地或间接地与移动设备和/或相机进行通信的应用程序。

根据另一个实施方案，可将该方法实现为一种运行于计算机诸如移动计算机或个人计算机的一个或多个处理设备上直接地或间接地与移动设备和/或相机进行通信并且与车辆进行通信的应用程序。

附图说明

现在将相对于附图来描述本发明的各方面和实施方案，其中：

图1示出了本发明的示例性实施方案的流程图，

图2示出了本发明的另一示例性实施方案的流程图，

图3示出了根据本发明的实施方案的示例性场景。

在下文中，将参考图1到图3中所示的示例性实施方案来解释本发明的各方面和实施方案。以下实施方案是参考使用移动电话来描述的，但原则上可将本发明应用于通过与用于捕获图像的相机的指定的空间关系而相关联的任何移动设备。

具体实施方式

图3示出了车辆的示例性场景，其中车辆3001的一部分包括前控制面板3009和光源3007。显示设备包括被安装到前控制面板3009的屏幕3004。屏幕3004上显示的潜在视觉内容是2d地图3005，但也可以是任何其他视觉内容。车辆坐标系3006与车辆3001相关联。

在图3中所示的示例性场景中，本文使用的移动设备是包括相机3003的移动电话3002。向移动设备提供相机3003的相机固有参数。

在潜在的使用情形中，车辆3001经由计算机服务器来以无线方式向移动电话3002发送车辆信息。车辆信息包括所显示的2d地图3005的图像信息(即视觉外观)的至少部分、屏幕3004的分辨率、屏幕3004在车辆坐标系3006中的位置以及屏幕3004的形状和尺寸。

在另一个实施方案中，屏幕3004可示出移动电话3002的图标轮廓。该图标轮廓在屏幕3004的显示坐标系中具有已知位置，从而还可在车辆坐标系3006中具有已知位置。如果相机3003相对于移动电话3002具有已知位置，则在将移动电话3002放置在屏幕3004上的由图标轮廓指示的位置上时，相机3003可在车辆坐标系3006中具有已知的初始位置。相机3003在车辆坐标系3006中的这一初始位置可用于跟踪相机3003和/或重建车辆3001的一部分。例如，可基于附接到相机3003的惯性传感器或基于由相机3003捕获的两个图像之间的对应图像特征来相对于其自己的初始位置确定相机3003的位置，即确定相机3003的运动。因此，可在车辆坐标系3006中跟踪相机3003，并且因此跟踪与相机3003相关联的移动电话3002。

移动设备(这里是移动电话3002)具有至少一个或多个处理设备，诸如一个或多个微处理器和相关联的电路，它们是现有技术中通用的并且未在附图中示出，因为它们在移动电话3002内部。利用图3中的附图标记3011来指示内部处理设备。在现有技术中通常使用和应用的其他任务中，参照本发明，处理设备3011被配置为与相机3003进行通信并执行本文结合本发明所述的任务和步骤，诸如参考图1和图2所述的步骤。在该示例中，移动电话3002可由用户拿着。相机3003的相机固有参数被提供给处理设备3011，或者可由相机校准过程来确定。

此外，车辆3001可包括至少一个或多个处理设备，诸如一个或多个微处理器和相关联的电路，它们是现有技术中通用的并在图3中利用附图标记3021来指示。在现有技术中通常使用和应用的其他任务中，参照本发明，处理设备3021被配置为在屏幕3004上显示视觉内容3005。处理设备3021还适用于执行本文结合本发明所述的任务和步骤，诸如参考图1和图2所述的步骤。

根据一个实施方案，处理设备3011和/或3021中的每个处理设备或者彼此的任何组合都是合适的，并且可被配置为执行根据本文所述发明的任何步骤，诸如直接从相机或从另一处理设备接收与由相机(例如，相机3003)捕获的图像相关联的图像信息，根据所接收的图像信息来确定车辆坐标系中的与移动设备相关联的位置，并提供指示车辆坐标系中的与移动设备相关联的位置的位置信息。例如，可经由直接通信或间接经由另一处理设备(例如，服务器计算机)来向车辆的控制设备提供此类位置信息，以根据位置来控制车辆的至少一种功能。

这些任务和步骤也可由另外一个或多个处理设备诸如处理设备4001来执行，其既不被包含在移动电话3002中也不被包含在车辆3001中，而是在另一设备中诸如在服务器计算机4000中，例如通过计算机网络以无线方式与移动电话3002和车辆3001进行通信。此外，可在处理设备3011,3021和4001之间共享或分布如本文所述的根据本发明的所有或一些任务和步骤。

移动电话3002的相机3003和外壳相对于彼此具有固定位置。移动电话3002的相机3003和任何部分之间的空间关系可由移动电话3002的制造商提供，或者可如现有技术中通常那样进行校准。

现在转向参考图1所述的过程，在如图1所示的本发明的示例性实施方案中，被安装到具有车辆坐标系的车辆的显示设备在步骤1001中在其屏幕上显示图形，例如图3中所示的2d地图3005形式的视觉内容。车辆在步骤1002中经由互联网来向包括相机的移动电话发送来自车辆的车辆信息。移动电话的相机在步骤1003中捕获在显示设备上显示的图形的图像。在图3所示的示例性场景中，相机3003捕获所显示的2d地图3005的图像。图像可仅包括所显示的2d地图3005的一部分。

步骤1004确定(在该实施方案中，在移动电话上)在相机捕获图像时车辆坐标系中的相机位置。在图3所示的示例性场景中，可确定在相机3003捕获图像时相机3003在车辆坐标系3006中的相机位置，这是根据与所捕获的图像相关联的所接收的图像信息在移动电话3002的处理设备3011上执行的。确定相机位置可基于匹配由相机3003捕获的图像和在移动电话3002处接收的2d地图3005的图像信息。从所确定的相机位置可确定车辆坐标系3006中的与移动设备3002相关联的位置，其可用作用于控制车辆至少一种功能的输入。可将移动设备3002的相机3003和任何部分之间的已知空间关系用于这种确定。

步骤1005从移动电话向车辆发送所确定的相机位置。在图3所示的示例性场景中，从移动电话3002向车辆3001提供相机3003在车辆坐标系3006中的相机位置。

车辆然后可在步骤1006中根据所接收的相机位置来控制车辆的至少一种功能。在图3所示的示例性场景中，车辆3001的处理设备3021可控制光源3007的照明方向。光源3007可被引导以沿着由相机3003的相机位置所定义的方向来照射区域3008。

图2示出了另一示例性实施方案的流程图。步骤2001在被安装到具有车辆坐标系的车辆的显示设备上显示图形。车辆在步骤2002中向包括相机的移动电话发送车辆信息。移动电话的相机在步骤2003中捕获所显示的图形的第一图像。步骤2004根据第一图像和所显示的图形来在移动电话上确定在相机捕获第一图像时车辆坐标系中的相机位置p1。在步骤2005中，将相机即移动电话移动到与位置p1不同的另一个位置。移动电话的相机在步骤2006中捕获所显示的图形的第二图像。步骤2007根据第二图像的图像信息和所显示的图形来在移动电话上确定在相机捕获第二图像时车辆坐标系中的相机位置p2。步骤2008基于第一图像和第二图像的图像信息和相机位置p1和p2来在移动电话上重建车辆的至少部分的模型。这可使用三角形划分方法来实现。

在步骤2009中，移动相机。相机在步骤2010中捕获第三图像。步骤2011根据该模型来在移动电话上确定在相机捕获第三图像时车辆坐标系中的相机位置p3。这可基于slam方法来实现。在步骤2012中，确定位置p3是否是期望位置。期望位置指示用户希望根据期望位置来配置或控制车辆的功能。例如，用户可阅读书籍。期望位置可指示书籍周围区域的中心位置，其中车辆的环境光系统应当进行照射。如果它不是期望位置，则到达步骤2008并使用例如slam方法根据第三图像来扩展该模型。另一方面，如果是期望位置，则从移动电话向车辆发送位置p3(步骤2013)。车辆然后能够根据所接收的位置p3来控制车辆的至少一种功能(步骤2014)。

用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法可包括：接收与由移动设备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设备与车辆是分开的；根据与至少一个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；以及提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息，以根据该位置来控制车辆的至少一种功能。该方法还可包括提供或接收车辆的至少一部分在车辆坐标系中的位置。车辆的该至少一部分包括在被安装到车辆的显示设备上显示的视觉内容。确定车辆坐标系中的与移动设备相关联的位置可包括：根据与至少一个图像相关联的图像信息来确定在捕获至少一个图像时相机相对于车辆的至少一部分的相机位置；以及根据相机位置和车辆的至少一部分在车辆坐标系中的位置来确定车辆坐标系中的与移动设备相关联的位置。该至少一个图像是第一图像并且相机可以是第一相机，并且确定车辆坐标系中的与移动设备相关联的位置可包括：接收与由移动设备的第二相机捕获的车辆的至少一部分的第二图像相关联的图像信息；以及根据与第一图像和第二图像相关联的图像信息来重建车辆的至少一部分的模型。

该方法还可包括接收与由移动设备的第三相机捕获的第三图像相关联的图像信息，其中第三图像捕获由所重建的模型的至少部分表示的车辆的至少一部分；根据所重建的模型的至少部分和与第三图像相关联的图像信息来确定在捕获第三图像时第三相机相对于所重建的模型的相机位置；以及根据第三相机的相机位置来确定车辆坐标系中的与移动设备相关联的位置。该方法还可包括根据与第一图像相关联的图像信息的至少部分来确定在捕获第一图像时第一相机相对于车辆的至少一部分的相机位置；以及根据与第二图像相关联的图像信息的至少部分来确定在捕获第二图像时第二相机相对于车辆的至少一部分的相机位置。车辆的至少一部分可以是车辆的第一部分，并且该方法还可包括接收与由移动设备的第四相机捕获的第四图像相关联的图像信息，其中第四图像捕获车辆的第一部分的至少部分和车辆的至少第二部分；以及扩展所重建的模型以包括车辆的第一部分和车辆的第二部分。所重建的模型可至少描述车辆的至少部分的深度信息。第一相机、第二相机、第三相机和第四相机中的至少两者可以是相同的相机。第一相机、第二相机、第三相机和第四相机中的至少两者可以是不同的相机。至少一种功能可以是这样一种功能：与车辆的声音系统、车辆的环境光系统和车辆的空调系统中的至少一者相关并根据位置受到控制。

用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法可包括：接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与车辆是分开的，至少两个图像中的每个图像捕获车辆的至少一部分；根据与至少两个图像相关联的图像信息来确定相对于车辆坐标系的与移动设备相关联的移动；以及提供用于指示相对于车辆坐标系的与移动设备相关联的移动的移动信息，以根据该移动来控制车辆的至少一种功能。可根据车辆坐标系中的与移动设备相关联的两个位置来确定相对于车辆坐标系的与移动设备相关联的移动。可根据在捕获至少两个图像时至少一个相机的至少两个相机位置来确定相对于车辆坐标系的与移动设备相关联的移动。可根据在至少两个图像中的每个图像中捕获的车辆的至少一部分的图像位置来确定相对于车辆坐标系的与移动设备相关联的移动。至少一种功能可以是基于与移动设备相关联的所确定的移动而受到控制的功能，尤其是根据移动设备的移动而受到控制的与车辆的声音系统、照明系统和空调中的至少一者相关的功能。

用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统可包括：第一处理设备，该第一处理设备被配置为接收与由移动设备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设备与车辆是分开的，该第一处理设备被配置为根据与至少一个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；以及第二处理设备，该第二处理设备被配置为提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息，以根据该位置来控制车辆的至少一种功能。

用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统可包括：第一处理设备，该第一处理设备被配置为接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与车辆是分开的，并且至少两个图像中的每个图像捕获车辆的至少一部分，第一处理设备被配置为根据与至少两个图像相关联的图像信息来确定相对于车辆坐标系的与移动设备相关联的移动；以及第二处理设备，该第二处理设备被配置为提供用于指示相对于车辆坐标系的与移动设备相关联的移动的移动信息，以根据该移动来控制车辆的至少一种功能。第一处理设备和第二处理设备可以是相同的处理设备。第一处理设备和第二处理设备中的至少一者可被包括在移动设备中。第一处理设备和第二处理设备中的至少一者可被包括在车辆中。第一处理设备和第二处理设备中的至少一者可被包括在与移动设备和车辆进行通信的计算机设备中。移动设备可以是手持设备，尤其可以是移动电话、平板电脑或移动计算机。

计算机程序产品可包括在被加载到处理设备的内部存储器中时适于执行上文所述的方法的软件代码段。

利用对提供与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息的修改，上文所述的与用于提供位置信息以用于控制车辆的至少一种功能的方法和系统的第一方面相关的步骤和系统部件可类似地与结合用于提供移动信息以用于控制车辆的至少一种功能的方法和系统的第二方面的相同或相似的部件一起被应用，并且以下步骤考虑如上所述的这个图像信息。此外，如上所述的部件，诸如移动设备、相机和/或处理设备还可被配置为执行第二方面的方法，以用于提供移动信息以用于控制车辆的至少一种功能。

在整个文档中，描述了提供或接收与图像相关联的图像信息。技术人员知道，这可包括提供或接收允许位置估计或姿态估计的图像的任何已处理或未处理的信息(版本)、图像的一部分和/或图像的特征。本发明不需要提供或接收任何原始图像数据。从而，处理包括压缩(例如，jpeg、png、zip)、加密(例如，rsa加密、schnorr签名、el-gamal加密、pgp)、转换到另一色彩空间或灰度级、基于特征描述符裁剪或缩放图像或转换成稀疏表示、提取中的任一者及它们的组合。所有这些图像处理方法可任选地被执行并由图像的图像信息或与图像相关联的图像信息的术语涵盖。