提供由车辆的场景相机捕获的至少一个图像的方法和系统的制作方法

提供由车辆的场景相机捕获的至少一个图像的方法和系统的制作方法
【专利说明】
[0001] 本申请是2014年8月27日提交的PCT/EP2014/068165的部分继续申请。
技术领域
[0002] 本公开设及一种用于提供至少一个真实对象的至少一个图像的方法和系统，所述 图像由安装在车辆上的多个场景相机中的至少一个场景相机捕获。
【背景技术】
[0003] 在潜在情况中，一个人可能对真实环境中（例如，周围环境中）的对象感兴趣（通 常称为"感兴趣的对象"）。运个人（运里也称为用户）可能对进一步识别出感兴趣的对象 感兴趣和/或对确定类似对象感兴趣。在具体的实例中，用户可能想要查明是否可购买到 相同的对象（也称为物品）和/或类似的对象。用户可能进而希望下单订购一个或多个对 象（例如，相同或类似的对象）或者可能进而希望找到用于亲自检查和购买一个或多个对 象的商店。
[0004] 为此，例如，用户可W使用相机来捕获感兴趣的对象的图像并基于图像分析来识 别相同或类似的物品。
[0005] US 8, 228, 364 B2公开了一种用于全方位相机的方法和系统，该全方位相机可用 来记录警车周围发生的事件。该系统和方法包括全方位相机和处理由相机拍摄的图像的数 字处理器。由麦克风产生的信号的方向确定感兴趣的区域。
[0006] US 6, 580, 373 Bl公开了一种车载图像记录系统，通过记录道路表面和车辆的一 部分的图像来促进安全驾驶车辆。该系统包括安装在车辆上的一个或多个相机和记录由相 机捕获的图像的记录设备。在发生事故的情况下，所记录的图像可被用作安全驾驶的证据。
[0007] US 7, 119,832 Bl公开了一种车内视频系统，其中无线麦克风配置有双向通信能 力。当接收到RF激活信号时，无线麦克风自动打开，W捕获伴随由车载视频相机捕获的图 像的音频声道。安装在车内的无线麦克风控制器将RF激活信号发送到无线麦克风。当视 频记录设备开始记录时，无线麦克风控制器发送RF激活信号。
[000引此外，已知一种称为"ASAP54"的移动电话应用程序（所谓的"App")，其允许用户 在看到真实的人或杂志上的用户感兴趣的特定装束或样式时，拍摄该装束的照片。通过利 用图像识别，该应用程序可W找出用户正在观察的那件衣服和许多类似的时装。采用运种 方式，用户需要将他/她的移动电话上的相机聚焦在感兴趣的对象上。

【发明内容】

[0009] 期望提供一种便于用户检索信息的方法和系统，所述信息是关于用户的周围真实 环境中的感兴趣区域并且可WW电子方式存储和处理便于W后使用。
[0010] 根据第一方面，公开了一种提供由安装在车辆上的多个场景相机中的至少一个场 景相机捕获的至少一个真实对象的至少一个图像的方法，该方法包括：提供多个场景相机 中的相应场景相机相对于与车辆相关的参考坐标系的相机姿态；提供由信息捕获设备捕获 的与至少一个用户有关的用户注意力数据；从用户注意力数据中提供相对于参考坐标系的 至少一个注意力方向；根据至少一个注意力方向和至少一个场景相机的相应相机姿态，确 定多个场景相机中的至少一个场景相机；W及提供由至少一个场景相机捕获的至少一个真 实对象的至少一个图像。
[0011] 根据另一方面，公开了一种用于提供至少一个真实对象的至少一个图像的系统， 包括：至少一个处理设备，所述至少一个处理设备禪接至安装在车辆上的多个场景相机和 信息捕获设备，所述信息捕获设备被配置成捕获与至少一个用户相关的用户注意力数据。 所述至少一个处理设备被配置成：提供多个场景相机中的相应场景相机相对于与车辆相关 的参考坐标系的相机姿态；从用户注意力数据中提供相对于参考坐标系的至少一个注意力 方向；根据至少一个注意力方向和至少一个场景相机的相应相机姿态，确定多个场景相机 中的至少一个场景相机；W及提供由至少一个场景相机捕获的至少一个真实对象的至少一 个图像。
[0012] 例如，根据本公开的所述至少一个处理设备可包括一个或多个处理设备，诸如一 个或多个微处理器，所述至少一个处理设备至少部分地被包含在移动设备（诸如移动电 话、可穿戴式计算机、平板计算机、移动计算机（常被称为膝上型计算机）或头戴式显示器 (诸如用于光学透视式增强现实应用）中、车辆中和/或适于与移动设备和/或车辆通信的 服务器计算机中。所述至少一个处理设备可W被包含于运些设备的仅一种中，例如，移动设 备中或服务器计算机中，或者可W是分布式系统，在该分布式系统中，由处理系统的一个或 多个处理设备分配和处理一个或多个处理任务，运些处理设备被分布且彼此通信，例如通 过点对点通信或经由网络。
[0013] 本文针对该方法所描述的任何步骤、实施例、方面和实例可由所述至少一个处理 设备等同地或类似地实施，所述至少一个处理设备被配置成（通过软件和/或硬件）执行 相应的步骤、实施例、方面或实例。任何所使用的处理设备（诸如一个或多个微处理器）可 W通过软件和/或硬件被配置为运样，并经由通信网络（例如经由服务器计算机或点对点 通信）与一个或多个相机、显示器、传感器和/或本文所公开的任何其他部件进行通信。
[0014] 根据另一方面，本公开还设及一种计算机程序产品，其包括适于执行根据本发明 的方法的软件代码部分，特别是权利要求中的任一项所阐述的方法。具体地，软件代码部分 被包含在非瞬时性计算机可读介质上。软件代码部分可W被加载到如本文所描述的一个或 多个处理设备（诸如微处理器）的存储器中。任何所使用的处理设备（诸如一个或多个微 处理器）可W经由通信网络（例如，经由服务器计算机或点对点通信）与如本文所描述的 其他设备进行通信。
【附图说明】
[0015] 现在将参照附图描述本发明的各方面和实施例，附图中：
[0016] 图1示出了根据本发明实施例的方法的流程图。
[0017] 图2示出了根据本发明实施例的用于提供由安装在车辆上的至少一个相机捕获 的至少一个真实对象的至少一个图像的示例性场景。
[0018] 图3示出了可W结合本发明的各方面使用的一种系统格局的实施例。
[0019] 图4示出了根据本发明实施例的另一示例性场景。
[0020] 图5A、5B示出了根据本发明实施例的进一步的示例性场景。
[0021] 图6示出了根据本发明实施例的另一示例性场景。
[0022] 图7示出了根据本发明的进一步实施例的方法的流程图。
[0023] 图8示出了手持移动设备的用户的场景，该移动设备具有前置相机、后置相机、W 及用于识别、跟踪和/或再现感兴趣的对象的显示屏幕。
[0024] 图9示出了手持移动设备的用户的另一场景，该移动设备具有前置相机、后置相 机、W及用于识别、跟踪和/或再现感兴趣的对象的显示屏幕。
[00巧]图10示出了根据本发明实施例的方法的流程图。
[0026] 图11示出了根据本发明另一实施例的方法的流程图。
【具体实施方式】
[0027] 现今，人们经常在车辆中花费大量时间，例如他们在前往购物、上下班或观光的路 上。潜在地，当车辆沿着其道路行驶时，在车辆的周围可能存在许多不同的对象（例如，行 人、行人穿着的衣服、广告海报、真实商店等）。对于坐在车辆中的人来说，使用例如配备有 相机的移动设备（例如，标准相机或带有相机的移动电话）来捕获车辆周围环境中的感兴 趣的对象的图像会很困难且不切实际。对于正在驾驶车辆的驾驶员来说尤其如此。驾驶员 在驾驶期间不能且不允许手持移动设备W捕获图像。
[0028] 在一个人正在驾车从一个地点到另一个地点的潜在示例性场景中，他或她可能发 现了感兴趣的对象，例如走在车辆旁边的人行道上的行人所穿着的裙子。发明人已经发现， 有利的是采用安装在车辆上的相机来捕获含有感兴趣的对象的图像，而不是驾驶员手持相 机来捕获图像。
[0029] 越来越多地，多个相机被安装在车辆（诸如汽车）上。发明人还认为，由每一个车 载相机所捕获的图像及其处理会增加对象检测和/或识别的复杂性。因此，发明人发现，有 利的是确定一个车载相机的子集（即一个或多个车载相机）并进一步处理或分析仅由所确 定的车载相机的子集捕获的图像。
[0030] 本公开的各方面设及一种基于正在车辆中的用户的注意力的方向和/或位置确 定多个车载相机中的至少一个来捕获真实环境的一部分的至少一个图像的方法和系统。由 所确定的至少一个相机捕获的环境的至少一个图像可用来确定真实环境的一个或多个物 品（即感兴趣的对象）。
[0031] 根据本发明，所提供的例如由信息捕获设备捕获的用户注意力数据与用户相关。 具体地，用户注意力数据表示用户的注意力是朝向真实对象（特别是感兴趣的对象）或含 有该真实对象的真实环境的一部分。
[0032] 根据本发明的实施例，如下面更详细阐述的，可W查看车辆周围的感兴趣的对象， 并激活一个或多个车辆相机（例如通过利用声音、或手势、或凝视方向）W捕获感兴趣的对 象的图像（例如，一件衣服），然后确定是否可购买到感兴趣的对象或类似物品。
[0033] 图1示出了根据本发明实施例的方法的流程图，该方法提供由安装在车辆上的至 少一个相机捕获的至少一个真实对象的至少一个图像，还示出了设及基于根据至少一个图 像所确定的感兴趣的对象的示例性应用的可选步骤。图2示出了根据本发明实施例的示例 性场景，用于提供由安装在车辆上的至少一个相机捕获的至少一个真实对象的至少一个图 像。图3示出了可W结合本发明的各方面使用的一种系统格局的实施例。
[0034] 在图2的场景中，车辆（在本实例中为汽车201)被驾驶通过真实环境220。真实环 境220包括固定于环境中的真实对象，例如加油站221、树木222、建筑物223、停车标记224 和道路227。真实环境220还可包括可移动的真实对象，如人226和人225。汽车201还可 被看作是真实环境220的一部分。汽车201配备有安装在汽车上的多个场景相机211-214。 驾驶员202正在观察或面向或指向方向203。
[0035] 图3示出了用于汽车201的内部格局的实施例。设置有安装在汽车201中的两个 信息捕获设备。原则上，有一个就足够了。在该实例中，信息捕获设备包括相机，运里称为用 户相机205和206。汽车201还可W配备有诸如无线通信设备（例如WLAN设备或SIM卡设 备）的通信设备207 W及诸如微处理器的处理设备208。可W通过处理设备208单独地或 与任何其他处理设备结合来执行本公开中所公开的所有步骤或部分步骤。也可W通过独立 于汽车201的远程处理设备，诸如服务器计算机或移动设备，来执行所有步骤或部分步骤。 在当前的情形下，汽车201可W通过通信设备207经由线缆或无线地与远程处理设备进行 通信。远程处理设备可W是服务器计算机301(例如，工作站）或移动设备，例如移动电话 302。
[003引根据图1的流程图，步骤101通过信息捕获设备（诸如根据图3的相机205、206中 的一个）捕获关于用户（在图2中，为驾驶员202)的用户注意力数据。用户注意力数据可 W是表示用户注意力的至少一个方面的任何数据。具体地，用户注意力数据表示或编码与 用户注意力的至少一个方向、至少一个位置和/或至少一个标示空间或区域相关的信息。
[0037] 用户注意力可由凝视（或叮视）来标示。从用户眼睛到眼睛正在观察的方向可W 表示凝视方向，运可被看作是注意力方向。此外，用户的一只眼睛或两只眼睛的视场表示凝 视的用户注意力空间。用户正在观察的位置表示用户注意力的位置。
[0038] 在另一实例中，用户注意力还可W由用户的脸部（例如，脸部或头部的姿态）来标 示。用户脸部的姿态可W表示用户正在聚焦的位置。至少一个注意力方向可W源自脸部的 姿态。在一个实施方式中，所述至少一个注意力方向可W与正面的法线方向相同。
[0039] 在进一步的实例中，用户注意力可W由手指指向或指示方向、位置和/或区域的 任何手势来标示。注意力方向可W通过方向轴线来建模。例如，方向轴线可W由2矢量来 表示。此外，注意力方向可W通过视场来建模。例如，用户的位置可W确定视点，并且用户 眼睛的视场可W限定注意力方向。在另一实例中，方向轴线的标准偏差（例如，来自脸部姿 态估计的正面方向的估计误差）可W确定用于视场的一定角度（例如，垂直或水平范围）， 运可W被认为是注意力方向。
[0040] 例如，用户注意力数据包括但不限于W下数据中的至少一种：由一个或多个相机 捕获的一个或多个图像、生物电信号（例如，眼电图）W及机械信号（例如，手压）。
[0041] 在一个实施例中，信息捕获设备可包括称为用户相机的相机设备。用户相机可W 捕获用户的至少一部分的至少一个用户图像。例如，安装在汽车201上的相机205 (即，用 户相机）可W捕获用户202的正面的图像（目P，用户图像），如图3中所示。
[0042] 在另一实施例中，信息捕获设备可W是眼睛跟踪设备。眼睛跟踪设备（也称为 眼睛跟踪器）可W测量用户的一个或两个眼睛的方向，并且因此可W提供用户的凝视方 向。存在不同类型的眼睛跟踪方法，如眼睛附接跟踪、光学跟踪W及电势测量。眼睛附接 跟踪可W实现为具有嵌入式传感器（如反射镜或磁场传感器）的特殊隐形眼镜。光学 跟踪可采用相机来捕获眼睛的图像并根据图像来确定眼睛方向，例如Kaminski, Jeremy Yrmeyahu, DotanKnaan 和 AdiShavit 发表于 Machine Vision and Applications(机 器视觉和应用）21. I (2009) :85-98 上的"Single image face orientation and gaze detection (单一图像脸部定位和凝视检测）"（下面称为"Kaminski等人的文献"）。电势 测量设备可W利用置于眼睛周围的电极测量电势。一种称为眼电描计术巧OG)系统的技术 可W测量电势（所测量的信号称为眼电图）。Bulling等人提出了可佩带的EOG护目镜；例 如参见 Bulling, An化eas, Daniel Roggen 和 GerhardTVdster 发表于 Journal of Ambient Intelligence and Smart !Environments (环境智能和智能环境杂志）1. 2 (2009) :157-171 上的"Wearable EOG goggles: Seamless sensing and context-awareness in everyday enviro皿ents (可佩带的EOG护目镜：日常生活环境中的无缝感测和背景感知）"。
[0043] 在另一实施例中，信息捕获设备可W是机械传感器，如压力或力传感器。例如，其 测量由用户施加的力或压力。机械传感器可W是机械操纵杆。
[0044] 步骤102提供用户的相对于与车辆相关的参考坐标系的至少一个注意力方向，其 中所述至少一个注意力方向源自用户注意力数据。例如，用户202(即，驾驶员）的注意力 方向203可W在与汽车201相关的参考坐标系209中确定或定义。注意力方向203可W指 示用户202的凝视方向或脸部方向，运可W从安装在汽车201中的相机205(即，信息捕获 设备）所捕获的用户202的脸部的图像（即，用户注意力数据）估计。
[0045] 在一些实施方式中，注意力方向信息可包含在所捕获的用户注意力数据中。例如， 眼睛跟踪器可W在输出信号中提供凝视方向。在其他实施方式中，注意力方向信息可W源 自所捕获的用户注意力数据（例如，从其估计）。例如，当相机用于捕获用户脸部或眼睛的 一个或多个图像时，基于如Kaminski等人的文献或Fanelli, G油riele,化ergen Gall和 Luc Van Gool 发表于 Computer Vision and Pattern Reco即ition(计算机视觉和模式识 别）（CVPR) 2011IE邸 Conference on. I邸E, 2011 上的"Real time head pose estimation with random regression化rests (利用随机回归森林的实时头部姿态估计）"（下面称为 "Fanelli等人的文献）中所公开的计算机视觉方法，可能必须根据相机图像来估计脸部姿 态或凝视光方向。根据本发明，从用户注意力数据提供相对于参考坐标系的至少一个注意 力方向的步骤应该包括所有运些实施方式和实施例。
[0046] 可W相对于信息捕获设备来确定注意力方向。为了使注意力方向位于与车辆相关 的参考坐标系中，可能需要车辆与信息捕获设备之间的设备空间关系，例如6D0F(自由度） 刚度变换。然后，可W根据相对于信息捕获设备的注意力方向W及设备空间关系来确定相 对于参考坐标系的注意力方向。
[0047] 可W根据校准程序来确定设备空间关系。校准程序例如是机械校准。例如，信息 捕获设备（例如，相机205)可W利用机械臂W已知姿态安装在车辆（例如，汽车201)的参 考坐标系中。相机205也可WW任意姿态（即，在安装时刻未知的姿态）安装。在运种情 况下，相机205可捕获汽车201的一部分的图像。汽车的一部分的图像可用来基于计算机 视觉方法来估计设备空间关系（例如，基于特征的姿态估计）。也可W利用另一种跟踪系统 来确定车辆与信息捕获设备之间的设备空间关系。该跟踪系统可W是机械臂、光学相机系 统或磁性跟踪系统，或者任何运动或位置传感器（例如，重力传感器、加速计、GP巧。
[0048] 在一个实施例中，信息捕获设备是一个或多个相机或包括一个或多个相机。如图 3所示，安装在汽车201内的相机205 (和206)是信息捕获设备的一部分。例如，相机205 和与汽车201相关的参考坐标系209具有已知的设备空间关系。可W捕获用户202脸部的 至少一部分的用户图像。
[0049] 可W基于各种计算机视觉方法（如Fanelli等人的文献中所提及的）根据用户图 像来估计用户脸部的姿态。根据脸部姿态，可W确定正面的方向作为注意力方向。图2中 所示的注意力方向203可W表示脸部方向。
[0050] 根据一个实施例，多个注意力方向被确定。当用户图像包含（坐在汽车内的多个 用户的）多个脸部时，可W确定多个脸部姿态。在另一实例中，用户的脸部可W移动，于是 可W确定对于同一脸部的多个脸部方向。在运种情况下，可W根据多个注意力方向来估计 一个主方向。可W采用不同的数学方法来从多个方向中确定主方向。例如，每个方向可具 有相对于公共坐标系的角度。主方向可通过一角度确定，该角度可W计算为与多个方向相 关的多个角度的平均值、最大值、最小值、中等值或均值。在图2中，注意力方向203可W是 基于一个用户估计的一个方向或基于从一个或多个用户的一个或多个用户图像估计的多 个注意力（例如，脸部和/或凝视）方向的主方向。
[0051] 还可W从用户202的脸部的至少一部分的用户图像来估计凝视方向（例如，如 Kaminski等人的文献中所提及的）。图中2所示的注意力方向203可表示凝视方向。还可 W由眼睛跟踪器来估计用户202的凝视方向。
[0052] 此外，当一个或多个用户图像捕获用户的手部或臂部的至少一部分时，可W 根据任何适当的基于视觉的方法（例如，如de La Gorce, Martin,化Vid J. Fleet和 Nikos Paragios 发表于 Computer Vision and Image Understanding(计算机视觉 和图像理解）108. I (2007) :52-73 的"Model-Based 3D Hand 化 Se Estimation from Monocular Video (从单眼视频估计的基于模型的3D手部姿态估计）"或化ol, Ali等人的 "Vision-based hand pose estimation:A review(基于视觉的手部姿态估计：综述）"（下 面称为"化Ol等人的文献"）中所提及的）从所述一个或多个用户图像中估计手部姿态。也 可W如根据化Ol等人的文献中所提及的方法来估计手部姿势（或通常的手势）。作为注 意力方向的方向（例如指向方向）可W源自手部姿势。也可W由一个或多个用户图像来计 算手部指向方向或者通常的手势。图2中所示的注意力方向203可表示运样的手部指向方 向。
[0053] 根据一个实施例，从同一用户注意力数据（例如，从由相机捕获的同一用户图像） 估计用于一个或多个用户的脸部姿态、凝视方向和/或手部姿态。可W确定多个方向（例 如，脸部方向、凝视方向和手部方向中的至少两个）。注意力方向203可W被确定为多个方 向中的一个或基于多个方向所估计的主方向。
[0054] 在另一实施例中，当用户图像由相机205捕获时，相机205具有相对于参考坐