摄像机系统相对于车辆的自动方向估算的制作方法

摄像机系统相对于车辆的自动方向估算的制作方法
【专利摘要】本文可提供一种用于利用车辆的运动来估算车辆的摄像机系统相对于车辆的方向的方法、装置以及系统。可以从位于车辆上的多个摄像机接收图像数据，并且可以基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集。可以基于车辆的一个或多个边界来确定第二约束集。可以基于第一约束集和第二约束集来自动地校准摄像机中的一个或多个。
【专利说明】
摄像机系统相对于车辆的自动方向估算
技术领域
[0001 ] 实施例总体上涉及车辆摄像机环绕系统(vehicle camera surround system)。具 体而言，实施例涉及车辆的基于摄像机的驾驶员辅助系统相对于该车辆的自动校准。
【背景技术】
[0002] 近年来，后视摄像机、侧视摄像机和前视摄像机在车辆中的使用有所增加。这些摄 像机可以用于在泊车时辅助驾驶员，并且也可以用于在车辆处于运动中时辅助驾驶员，来 观察车辆的周围区域。为了最大程度地利用在车辆上安装的摄像机，可以进行摄像机系统 的校准。
[0003] 除了每个摄像机相对于彼此的位置和方向之外，也可以确定摄像机相对于车辆的 方向和位置。通常，通过使用在地上的外部标记，可以在车辆的制造期间在生产线的末尾对 这样的基于摄像机的系统进行校准。然而，这样的方法可能需要在校准期间相对于外部标 记非常精确地放置车辆。此外，为确保使用所述摄像机系统的应用程序的正确结果，可能需 要随着时间频繁地重复所述校准。
【附图说明】
[0004] 对于本领域技术人员而言，通过阅读以下说明书和所附权利要求书并且通过参考 以下附图，实施例的各种优点将变得显而易见，其中：
[0005] 图1是根据实施例的自动校准的示例的图示；
[0006] 图2是根据实施例对基于摄像机的驾驶员辅助系统进行校准的示例性方法的流程 图；
[0007] 图3是根据实施例确定由基于摄像机的驾驶员辅助系统所执行的第二约束集 (constraint set)的示例性方法的流程图；
[0008] 图4是根据实施例确定由基于摄像机的驾驶员辅助系统所执行的第一约束集的示 例性方法的流程图；
[0009] 图5是根据实施例的基于摄像机的驾驶员辅助系统的示例的框图；
[0010]图6是约束集合生成架构的示例性系统的框图；
[0011] 图7是根据实施例的所投影的车辆边缘(edge)的理想表示的示例的图示；
[0012] 图8A是根据实施例的来自基于摄像机的驾驶员辅助系统的摄像机的图像的边界 (border)的示例的图示；
[0013]图8B是根据实施例的图像在地平面(ground plane)上的投影的示例的图示；
[0014] 图9是由根据实施例的基于摄像机的驾驶员辅助系统的摄像机所捕获的鱼眼图像 的示例的图示；
[0015] 图10是根据实施例的具有导航控制器的系统的示例的框图；以及
[0016] 图11是根据实施例的具有小的形状因子的系统的示例的框图。
【具体实施方式】
[0017] 图1是例示了示例性的基于摄像机的驾驶员辅助系统20的示意图。在车辆环绕视 图系统(vehicular surround view system)中，由多个图像触感器(例如，具有鱼眼镜头的 摄像机）所捕获的数据可以被组合，以使得用户能够容易地察看周围环境。可以在容纳 (host)有基于摄像机的驾驶员辅助系统20的车辆上或之内的各种位置提供基于摄像机的 驾驶员辅助系统20的图像传感器。可以执行校准操作，以建立基于摄像机的驾驶员辅助系 统20的摄像机中的每个的外在参数和固有参数。基于摄像机的驾驶员辅助系统20可以包括 多个摄像机27。摄像机27可以是广角摄像机，但不限于此。摄像机中的每个都可以包括鱼眼 镜头，并且每个都可以包括电荷耦合器件(CCD)传感器。摄像机的电光传感器可以耦合到基 于摄像机的驾驶员辅助系统20的图像处理模块(未示出）。尽管所例示的系统20可以用于提 供驾驶员辅助，但是其它类型的基于摄像机的系统（例如，车辆安全系统)例如也可以使用 本文所述的自动校准技术。
[0018] 基于摄像机的驾驶员辅助系统20可以是被安装到车辆21的环绕视图系统。因此， 摄像机27的视场(F0V)可以覆盖在车辆21周围的360°角度范围。摄像机27可以安装在车辆 21的前方、后方和侧方。被安装在车辆21的前方的摄像机27可以具有延伸至车辆21的前方 的F0V。同样地，被安装在车辆21的后方的摄像机27可以具有延伸至车辆21的后方的F0V。被 安装在车辆的侧方的摄像机27可以具有延伸至车辆21的侧方的F0V。被安装在车辆21的侧 方的摄像机27可以安装在车辆21的侧视镜(未示出）上。如果侧视镜是可动的，那么可以将 摄像机27安装在侧视镜的主体(body)的不可动部分。
[0019] 基于摄像机的驾驶员辅助系统20的图像处理模块(未示出）可以接收由摄像机27 所生成的图像数据，并且通过使用校准逻辑单元(该逻辑单元可以包括硬件、软件、固件或 者其组合)来确定摄像机27的外在参数和固有参数两者。固有参数可以包括广角摄像机的 对所捕获的图像的非线性失真进行定义的参数和模型，例如焦距、主点(principal point) 等。当融合(merge)所捕获的图像时，处理模块(未示出）可以存储并且随后取回固有参数， 以便校正所捕获的图像中的非线性失真。车辆定向系统的外在参数可以包括有关摄像机的 位置和方向的信息。
[0020] 根据示例性实施例的一个方面，基于摄像机的驾驶员辅助系统20的摄像机27识别 在车辆21附近的特征点22,并且估算该特征点相对于摄像机27的位置和方向。基于特征点 22的估算结果，可以为外在摄像机参数定义第一约束集23。特征点22可以是非固定的点，并 且可以相对于车辆21位于地平面上。
[0021] 此外，车辆21的一个或多个边界24可以被检测到，并且可以匹配车辆21自身的已 知几何参数。车辆21的边界24可以用于确定第二约束集25。借助于附加的第二约束集25,可 以确定所有必要的外在参数。可以估算车辆21的二维（2D)运动，并且因此可以推断摄像机 参数。
[0022] 因此，在示例性实施例中，摄像机27的校准未利用任何固定的外部环境校准标记 或图案。只是通过移动车辆来获得参数。现在将关于对第一约束集23的确定进行讨论。 [0023]假设摄像机27彼此之间的相对方向是已知的。如果RVCaml是车辆的多个摄像机27中 的第一摄像机(摄像机1)的相对方向，并且检测到R VCaml，那么将知道每个摄像机相对于车辆 的方向。
[0024] 然而，由于可以将此方案应用于摄像机27中的全部，所以甚至可以通过使用最小 二乘误差方法和对测量结果中的全部进行组合来增大所获得的参数的精度。
[0025] 特征点22中的全部都可以位于地平面上邻近车辆21的位置处。运动恢复结构 (SFM)算法可以用于估算特征点相对于基于摄像机的驾驶员辅助系统的摄像机坐标系的角 度和位置。例如，假设根据第一摄像机(摄像机1 )，估算出η个特征点在地平面上，其坐标为
[0027] 将这些坐标点转换到车辆坐标中：[0028]
[0029] 其中，FVCaml是摄像机1坐标系统与车辆坐标系之间的平移矢量，并且XVCaml是车辆 坐标中的点的坐标。这些点中的所有点都可以在地平面上，因此车辆坐标中的Z坐标将为 零:Z VCaml (η) = 0。同样的关系对于第二摄像机有效：
[0030]
[0031]其中，Rvcam2为摄像机2相对于车辆坐标系统的旋转矩阵。使用摄像机1与摄像机2之 间的相对方向和平移(translation)，这导致以下关系：
[0032]
[0033] 在方程式(2)和方程式(3)所给出的这些约束的情况下并且考虑到所有点都可以 在一个平面（Z = 0 !)中，通过仅关注最后一tX(RvCaml_31、RvCaml_32、RvCaml_33)，可以显著地简化
[0034] 通过知道RvCaml_31、RvCaml_32、RvCaml_33,我们依然不知道完整的矩阵。原因在于RvCaml是 标准正交的，并且以下关系有效：
[0035] RvCaml-31 +RvCaml-32 +RvCaml-33 -1 ( 4 )
[0036] 现在参考图9来讨论获得第二约束集的方式。
[0037] 继续参考图1和图9,可以从多个摄像机中的至少四个摄像机获得四张图像91、92、 93和94。多个摄像机可以包括鱼眼镜头。该摄像机可以安装在车辆21上，并且可以指向四个 不同的方向。附加的第二约束集25可以将摄像机系统相对于车辆21固定。利用鱼眼镜头摄 像机27例如可以使得沿着外部图像捕获边界，例如车辆21的边界24。在所捕获的图像中可 见的边界24可以用于生成附加的第二约束集25。可以通过图像的帧的光流(optical flow) 或者通过其它图像处理算法来检测边界24。
[0038] 具体地，在图像数据中的多个图像帧的处理期间，可以跟踪多个连续帧，并且可以 将多个帧中被检测为恒定不变的图像确定为车辆21的边界24。图8A分别例示了鱼眼镜头摄 像机27所捕获的四张图像91、92、93和94中的边界81、82、83和84的估算结果(estimation)。
[0039] 图8B例示了摄像机在地平面上的投影。在所例示的情况下，仅示出了四个摄像 机一第一摄像机85 ( "摄像机Γ )、第二摄像机86 ( "摄像机2"）、第三摄像机87 ( "摄像机3"）和 第三摄像机88( "摄像机4"）。然而，四个摄像机的使用仅仅是示例性的，并且可以使用任意 数量的摄像机。
[0040] 在图8A和图8B中，示例性实施例仅利用被附接到车辆21的前摄像机和后摄像机的 边界，其中边界线投影到地平面上。对于后摄像机的投影，可以通过以下关系来确定第三摄 像机87的相对方向：RvCam3 = RvCaml · RcamlCam3,其中RcamlCam3是已知的，并且再次RvCaml是未知 的。如图8B中所示，在投影之后，车辆前方边界和后方边界的投影曲线示为曲线89(例如，对 应于图1中所例示的边界24)。这种类型的几何特性可以用于外在参数的优化中。对于从图 像所获得的边界点，按照以下方式执行从地平面的投影。
[0041] 每个像素都可以投影到单位球面上。当鱼眼摄像机固有校准参数为已知时，可以 容易地进行此投影。可以确定与摄像机中心的前方和在单位球面上的点相连接的线与地平 面的交点（intersection)。在车辆坐标中，摄像机中心具有坐标Fvcami。可以通过以下方程式 改变单位球面上的点：
[0042]
[0043] 在方程式(5)中，
[0045]是在单位球面上的点，并且
[0047]是同一点在车辆坐标系中的坐标。以此方式，对车辆坐标中的每条线进行投影，并 且利用地平面来计算这些线的交点
[0049] 图2是例示了根据示例性实施例自动地校准基于摄像机的驾驶员辅助系统的方法 31的流程图。方法31例如可以使用电路技术(例如，专用集成电路(ASIC)、互补金属氧化物 半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术），作为一个或多个模块，以被存储在机器或 计算机可读的存储介质（例如，随机存取存储器（RAM)、只读存储器（R0M)、可编程ROM (PR0M)、固件、闪存等）中的逻辑指令集的形式被实施，以可配置逻辑(例如，可编程逻辑阵 列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD))的形式被实施，以固定功 能硬件逻辑的形式被实施，或者以它们的组合被实施。例如，执行方法31中所示的操作的计 算机程序代码可以用一种或多种编程语言(包括诸如C#、JAVA等之类的面向对象的编程语 言）的任意组合来进行编写。
[0050] 在所例示的处理框30中，基于摄像机的驾驶员辅助系统的图像处理模块(未示出） 接收由位于车辆上的多个摄像机所捕获的图像数据。在框35中，可以为多个摄像机确定第 一约束集。可以基于邻近车辆的地平面(ground plane)上的多个特征点来确定第一约束 集。
[0051] 此时，确定第二约束集。可以以多种不同的方式来确定第二约束集。如框45中所 示，可以基于车辆的一个或多个边界来为多个摄像机确定第二约束集。车辆的前方边界和 后方边界可以被检测到，并且投影到地平面，其中所投影的曲线的几何特性可以用作第二 约束集。
[0052]或者，在框40中，可以基于从车辆传感器所获得的车辆传感器信息来确定第二约 束集。该车辆传感器可以包括，但不限于，激光扫描仪和雷达扫描仪。在另一实施例中，可以 将来自框40的传感器信息和来自框45的车辆的边界两者组合使用，以确定第二约束集。 [0053]然后，在所例示的框50中，基于所确定的第一约束集和所确定的第二约束集对多 个摄像机中的一个或多个进行校准。图3更加清楚地例示了确定第二约束集的方式。
[0054]如图3的框45-1中所例示的，由多个摄像机所捕获的并且与该多个摄像机中的每 个的视场相关联的图像数据，被基于摄像机的驾驶员辅助系统的图像处理模块(未示出）接 收。在框45-2中，可以检验（examine)所接收的图像数据的帧的连续集合(a sequential set of frames)，并且可以确定在帧序列（the sequence of frames)中是否存在一致的图 像。然后，在框45-3中可以基于连续帧的光流将该一致的图像识别为一个或多个边界。 [0055]图4是示出了可以确定第一约束集的方式的流程图。由多个摄像机所捕获的图像 数据可以由图像处理模块(未示出)接收，其中在所例示的框35-1处估算每个特征点相对于 多个摄像机的坐标系的方向。此外，在框35-2处，可以估算每个特征点相对于摄像机的坐标 系的位置。然后，可以基于所估算的特征点的方向和位置来确定第一约束集。
[0056] 参考图5,示出了基于摄像机的驾驶员辅助系统28。系统28包括多个摄像机27,每 个都包括用于捕获车辆(未示出）附近环境的图像的电光部件。摄像机可以位于车辆的不同 位置，该车辆容纳(host)有基于摄像机的驾驶员辅助系统。将多个摄像机所捕获的图像传 输(transmit)到基于摄像机的驾驶员辅助系统的传感器接口 51。除了接收由多个摄像机所 捕获的图像之外，传感器接口 51还可以从(位于车辆上的）一个或多个传感器接收附加的传 感器数据。可以将由传感器接口 51所接收的信息传输到特征点提取器52和边界分析器54 (54a_54c)。
[0057] 所例示的特征点提取器52接收与多个摄像机27相关联的图像数据，并且基于所接 收的图像数据对多个特征点进行检测。可以将所提取的特征点传输到特征点分析器53 (53a-53b)，其基于多个特征点22(图1)来为多个摄像机27确定第一约束集23(图1)。特征点 分析器53可以包括方向估算器53a，其对每个特征点相对于多个摄像机27的坐标系的方向 进行估算。特征点分析器53还可以包括位置估算器53b，其对每个特征点相对于多个摄像机 27的坐标系的位置进行估算。
[0058]所例示的边界分析器54基于车辆的一个或多个边界来为多个摄像机27确定第二 约束集。边界分析器54还可以基于附加的车辆传感器数据来确定第二约束集。附加的车辆 传感器可以包括速度数据、转向角数据、方向盘(wheel)信息和惯性数据中的一个或多个。 然而，附加的车辆传感器数据不限于此，并且其它类型的车辆传感器可以获得。
[0059]边界分析器54还可以包括：图像数据接口 54a，该图像数据接口 54a接收与多个摄 像机相关联的并且从传感器接口 51传输的数据;帧分析器54b，该帧分析器54b基于图像数 据中的多个连续帧（sequential frame)来确定光流。边界分析器54还可以包括边界检测器 54c，该边界检测器54c基于图像数据的光流来确定一个或多个边界。具体而言，所例示的边 界检测器54c对由多个摄像机所捕获的许多连续图像帧进行分析，并且多个连续图像帧中 恒定不变的图像将作为车辆21的边界的图像。
[0060] 校准器55可以接收第一约束集和第二约束集，并且基于该第一约束集和该第二约 束集来对多个摄像机中的一个或多个进行自动校准。显示器56可以可视化地输出自动校准 的结果。
[0061] 现在转到图6,示出了约束集生成架构的另一示例。如图6所示，运动恢复结构 (Structure from Motion，SFM)算法57用于估算地平面上的特征点相对于摄像机坐标系的 角度(方向）和位置，由此生成第一约束集。如图6所例示，第二约束集可以根据从多个摄像 机27所接收的边缘(边界）图像61来确定，或者根据直接从车辆21所接收的车辆传感器信息 62来确定。
[0062]现在转到图7,线59表示在由多个摄像机27中的一个所捕获的图像信号中经识别 的边界线。线58表示在车辆21的中心的线，并且线60与线58垂直。根据图像数据所检测的车 辆边界投影在地平面上。实际上车辆的边界的曲线在现实中并非按照字面意义地位于地平 面上，然而投影依然在地平面上完成，这是由于边界曲线将会与地平面平行。图7例示了在 将所检测的车辆边界投影之后的实施例。在图7中的左边的图像对应于当摄像机外在参数 正确时的实施例，并且在图7中的右边的图像对应于当所估算的摄像机外在参数不正确时 的实施例。对摄像机RVCaml (相对于车辆的前摄像头方向）进行优化，以实现图7中的左边的 图像中所给出的表示。用于确定是否达到图7的左边的图像中的表示的约束条件可以是以 下方程式6:
[0064]图10例示了系统700的实施例。在示例性实施例中，系统700可以是媒体系统，尽管 系统700不限于此情境。例如，系统700可以被纳入以下设备:个人计算机(PC)、膝上型计算 机、超薄膝上型计算机(ultra-laptop computer)、平板计算机、触摸板、便携式计算机、手 持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智 能设备(例如，智能手机、智能平板计算机或智能电视机）、移动互联网设备(MID)、消息收发 设备、数据通信设备等。
[0065] 在示例性实施例中，系统700包括耦合到显示器720的平台702,显示器720呈现可 视内容。平台702可以从内容设备(例如，（一个或多个）内容服务设备730或(一个或多个）内 容递送设备740)接收视频比特流内容或者其它类似的内容源。包括有一个或多个导航特征 的导航控制器750可以用于与例如平台702和/或显示器720交互。下面详细介绍这些部件中 的每个部件。
[0066] 在示例性实施例中，平台702可以包括芯片组705、处理器710、存储器712、存储设 备714、图形子系统715、应用程序716和/或无线电装置718的任意组合(例如，网络控制器）。 芯片组705可以提供处理器710、存储器712、存储设备714、图形子系统715、应用程序716和/ 或无线电装置718之间的相互通信。例如，芯片组705可以包括能够提供与存储设备714的相 互通信的存储适配器(未示出）。
[0067]处理器710可以实施为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理 器、x86指令集兼容处理器、多核、或者任意其它微处理器或中央处理单元(CPU)。在实施例 中，处理器710可以包括(一个或多个)多核处理器、（一个或多个)多核移动处理器等。
[0068] 存储器712可以实施为易失性存储器设备，例如，但不限于，随机存取存储器 (RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
[0069] 存储设备714可以实施为非易失性存储设备，例如，但不限于，磁盘驱动器、光盘驱 动器、磁带驱动器、内部存储设备、附加的存储设备、闪速存储器、电池备份S D R A Μ (同步 DRAM)、和/或网络可访问存储设备。在实施例中，例如当包括多个硬盘驱动器时，存储器714 可以包括对于有价值的数字媒体的用于提高存储性能增强保护（storage performance enhanced protection)的技术。
[0070] 图形子系统715可以执行对图像(例如，静止图像或视频)的处理以供显示。图形子 系统715例如可以是图形处理单元(GPU)或者视觉处理单元(VPU)。可以使用模拟或数字接 口将图形子系统715和显示器720进行通信耦合。例如，接口可以是高清多媒体接口、显示端 口、无线HDMI、和/或兼容无线HD的技术中的任一个。图形子系统715可以集成至处理器710 或芯片组705中。图形子系统715可以是以通信方式与芯片组705耦合的独立卡。在一个示例 中，图形子系统715包括多个摄像机设备，并且处理器710被配置为如上所述对多个摄像机 进行自动校准。
[0071] 可以在各种硬件架构中实施本文所描述的图形和/或视频处理技术。例如，图形 和/或视频功能可以集成在芯片组内。或者，可以使用分立的图形和/或视频处理器。作为又 一实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实施。在另一实施例 中，可以在消费电子设备中实施这些功能。
[0072] 无线电装置718可以是网络控制器，包括能够使用各种适当的无线通信技术来传 输和接收信号的一个或多个无线电装置。这些技术可以涉及在一个或多个无线网络上的通 信。示例性的无线网络包括，但不限于，无线局域网(WLAN)、无线个域网(WPAN)、无线城域网 (WMAN)、蜂窝网络和卫星网络。对于在这样的网络上的通信，无线电装置718可以根据任意 版本的一个或多个适用标准来进行操作。
[0073] 在示例性实施例中，显示器720可以包括任意电视机类型的监视器或显示器。显示 器720例如可以包括计算机显示屏幕、触摸屏显示器、视频监视器、类似于电视机的设备和/ 或电视机。显示器720可以是数字的和/或模拟的。在实施例中，显示器720可以是全息显示 器。此外，显示器720可以是可以接收可视投影的透明表面。这样的投影可以传递各种形式 的信息、图像和/或对象。例如，这样的投影可以是移动增强现实（MAR)应用的可视交叠 (visual overlay)。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示 用户界面722。
[0074]在示例性实施例中，（一个或多个）内容服务设备730例如由任意国内、国际和/或 独立服务所容纳，并且因此可访问平台702,例如经由互联网。（一个或多个）内容服务设备 730可以耦合到平台702和/或显示器720。平台702和/或（一个或多个）内容服务设备730可 以耦合到网络760,以通信(例如，发送和/或接收)去向和来自网络760的媒体信息。内容递 送设备740也可以耦合到平台702和/或显示器720。
[0075]在实施例中，（一个或多个）内容服务设备730可以包括有线电视盒、个人计算机、 网络、手机、支持互联网的设备或者能够递送数字信息和/或内容的装置(appliance)、以及 能够经由网络760或直接地在内容提供者与平台702和/或显示器720之间单向地或双向地 通信内容的任意其它类似的设备。应当意识到，可以经由网络760在系统700中部件中的任 意一个与内容提供者之间单向地或双向地通信内容往来。内容的示例可以包括任意媒体信 息，例如包括视频、音乐、医疗和游戏信息等。
[0076](一个或多个）内容服务设备730接收内容，例如有线电视节目（包括媒体信息、数 字信息)和/或其它内容。内容提供者的示例可以包括任意有线电视或卫星电视或无线电或 互联网内容提供者。所提供的不例并非意味着限制实施例。
[0077]在实施例中，平台702可以从具有一个或多个导航特征的导航控制器750接收控制 信号。控制器750的导航特征例如可以用于与用户界面722交互。在实施例中，导航控制器 750可以是定点设备(pointing device)，其可以是使用户能够将空间（例如，连续的和多维 度的)数据输入到计算机中的计算机硬件部件(具体地，人机接口设备）。诸如图形用户界面 (GUI)和电视和监视器之类的许多系统使用户能够利用物理姿势来控制计算机或电视机并 且向计算机或电视机提供数据。
[0078] 通过移动显示器上所显示的指针、光标、聚焦环或其它可视指示器，控制器750的 导航特征的移动可以在显示器(例如，显示器720)上重复(echo)。例如，在软件应用716的控 制下，位于导航控制器750上的导航特征例如可以映射到用户界面722上所显示的可视导航 特征。在实施例中，控制器750可能不是独立部件，而是被集成到平台702和/或显示器720 中。然而，实施例不限于本文所示或所述的元件或方面。
[0079] 在示例性实施例中，驱动器(未示出）例如可以包括当驱动器已启动时，使用户在 初始开机之后像电视机那样通过触摸按钮就能立即接通或关停平台702的技术。当"关停" 平台时，程序逻辑可以使平台702能够将内容流至媒体适配器或其它(一个或多个）内容服 务设备730或（一个或多个）内容递送设备740。此外，芯片组705例如可以包括用于5.1环绕 声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图 形平台的图形驱动器。在实施例中，图形驱动器可以包括外围部件互连(PCI)高速图形卡。
[0080] 在各种实施例中，可以集成系统700中所示的部件中的任意一个或多个。例如，可 以集成平台702和（一个或多个）内容服务设备730,或者可以集成平台702和(一个或多个） 内容递送设备740,或者例如可以集成平台702、（一个或多个）内容服务设备730和（一个或 多个）内容递送设备740。在各种实施例中，平台702和显示器720可以是集成单元。例如可以 集成显示器720和（一个或多个）内容服务设备730,或者可以集成显示器720和（一个或多 个）内容递送设备740。这些示例并非意味着限制实施例。
[0081] 在各种实施例中，系统700可以实施为无线系统、有线系统或两者的组合。当实施 为无线系统时，系统700可以包括适用于通过无线共享媒体进行通信的部件和接口，例如一 个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等。无线共享媒体的示例 可以包括无线频谱的部分，例如RF频谱等。当实施为有线系统时，系统700可以包括适用于 通过有线通信媒体进行通信的部件和接口，例如输入/输出（I/O)适配器、将I/O适配器与相 对应的有线通信媒体进行连接的物理连接器、网络接口卡(NIC )、碟片控制器、视频控制器、 音频控制器等。有线通信媒体的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背 板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
[0082]平台702可以建立一个或多个逻辑或物理信道来通信信息。信息可以包括媒体信 息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例例如可以包 括来自语音对话、视频会议、流视频、电子邮件消息、语音邮件消息、字母数字符号、图形、图 像、视频、文本等的数据。来自语音对话的数据例如可以是语音信息、静默时段、背景噪声、 舒缓噪声、音调等。控制信息可以指表示用于自动化系统的命令、指令或控制字等任何数 据。例如，控制信息可以用于通过系统来递送媒体信息，或者指令节点以预定方式处理媒体 信息。然而，实施例不限于图10中所示或所述的元件或方面。
[0083]如上所述，系统700可以以各种物理款式或形状因子来实施。图10例示了小形状因 子设备800的实施例，其中可以实施系统700。例如，在实施例中，设备800可以实施为具有无 线功能的移动计算设备。移动计算设备可以例如指具有处理系统和移动功率源或电源(例 如，诸如一个或多个电池)的任意设备。
[0084] 如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超薄膝 上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字 助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能手机、智能平板计 算机或智能电视机）、移动互联网设备(MID)、消息收发设备、数据通信设备等。
[0085] 移动计算设备的示例还可以包括被设置为由人穿戴的计算机，例如腕式计算机、 手指式计算机、戒指式计算机、眼镜式计算机、带夹式计算机、臂带式计算机、鞋式计算机、 衣式计算机以及其它可穿戴的计算机。例如，在实施例中，移动计算设备可以实施为能够执 行计算机应用程序以及语音通信和/或数据通信的智能电话。尽管以举例的方式将某些示 例性实施例描述成把移动计算设备实施为智能电话，但是可以理解的是，也可以使用其它 无线移动计算设备来实施其它实施例。示例性实施例不限于这个方面。
[0086] 如图11所示，设备800可以包括外壳802、显示器804、输入/输出（I/O)设备806以及 天线808。设备800还可以包括导航特征812。显示器804可以包括任意适当的显示器单元，用 于显示适用于移动计算设备的信息。I/O设备806可以包括任意合适的I/O设备，用于把信息 输入到移动计算设备。I/O设备806的示例可以包括字母数字键盘、数字键盘、触摸板、输入 键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备以及软件等。还可以通过麦克风向 设备800输入信息。可以通过语音识别设备使这样的信息数字化。实施例不限于这个方面。 [0087] 附加的注释和示例:
[0088] 示例1可以包括一种基于摄像机的驾驶员辅助系统，包括多个摄像机，每个所述摄 像机包括用于捕捉图像的电光部件，其中，所述摄像机位于容纳有所述基于摄像机的驾驶 员辅助系统的车辆上的不同区域中；特征点分析器，所述特征点分析器基于地平面上的邻 近所述车辆的多个特征点来为所述多个摄像机确定第一约束集;边界分析器，所述边界分 析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集;校准器，所述 校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像 机进行自动校准；以及显示器，所述显示器可视化地输出自动校准的结果。
[0089] 示例2可以包括如权利要求1所述的系统，其中，所述边界分析器包括：图像、数据 接口，所述图像、数据接口接收与所述多个摄像机相关联的图像数据;帧分析器，所述帧分 析器基于所述图像数据中的多个帧来确定光流；以及边界检测器，所述边界检测器基于所 述光流来识别所述一个或多个边界。
[0090] 示例3可以包括如权利要求1所述的系统，还包括传感器接口，所述传感器接口从 所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述 附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转 向角数据、方向盘信息和惯性数据中的一个或多个。
[0091] 示例4可以包括如权利要求1所述的系统，其中，所述特征点分析器包括:用于估算 每个特征点相对于所述多个摄像机的坐标系的方向的方向估算器以及用于估算每个特征 点相对于所述多个摄像机的坐标系的位置的位置估算器。
[0092] 示例5可以包括如权利要求5所述的系统，还包括特征点提取器，所述特征点提取 器接收与所述多个摄像机相关联的图像数据，并且基于所述图像数据对所述多个特征点进 行检测。
[0093] 示例6可以包括如权利要求1至5中任一项所述的系统，其中，所述校准器对所述多 个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
[0094] 示例7可以包括一种摄像机校准装置，包括特征点分析器，所述特征点分析器基于 地平面上的邻近所述车辆的多个特征点来为所述多个摄像机确定第一约束集;边界分析 器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束 集；以及校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机 中的一个或多个摄像机进行自动校准。
[0095] 示例8可以包括如权利要求7所述的装置，其中，所述边界分析器包括图像数据接 口，所述图像数据接口接收与所述多个摄像机相关联的图像数据;帧分析器，所述帧分析器 基于所述图像数据中的多个帧来确定光流；以及边界检测器，所述边界检测器基于所述光 流来识别所述一个或多个边界。
[0096] 示例9可以包括如权利要求7所述的装置，还包括传感器接口，所述传感器接口从 所述车辆上的一个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述 附加的传感器数据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转 向角数据、方向盘信息和惯性数据中的一个或多个。
[0097] 示例10可以包括如权利要求7所述的装置，其中，所述帧分析器包括：用于估算每 个特征点相对于所述多个摄像机的坐标系的方向的方向估算器，以及用于估算每个特征点 相对于所述多个摄像机的坐标系的位置的位置估算器。
[0098] 示例11可以包括如权利要求7所述的装置，还包括特征点提取器，所述特征点提取 器接收与所述多个摄像机相关联的图像数据，并且基于所接收的图像数据对所述多个特征 点进行检测。
[0099] 示例12可以包括如权利要求7至11中任一项所述的装置，其中，所述校准器对所述 多个摄像机中的一个或多个摄像机的方向进行估算，以进行所述自动校准。
[0100] 示例13可以包括一种对基于摄像机的驾驶员辅助系统进行自动校准的方法，包括 基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集;基于所述车辆的 一个或多个边界来为所述多个摄像机确定第二约束集；以及基于所述第一约束集和所述第 二约束集来对所述多个摄像机中的一个或多个摄像机进行自动校准。
[0101] 示例14可以包括如权利要求13所述的方法，其中，确定所述第二约束集包括接收 与所述多个摄像机相关联的图像数据，基于所述图像数据中的多个帧来确定光流，以及基 于所述光流来识别所述一个或多个边界。
[0102] 示例15可以包括如权利要求13所述的方法，还包括从所述车辆上的一个或多个传 感器接收附加的传感器数据，其中，所述第二约束集是基于所述附加的传感器数据被确定 的，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一 个或多个。
[0103] 示例16可以包括如权利要求13所述的方法，其中，确定所述第一约束集包括估算 每个特征点相对于所述多个摄像机的坐标系的方向，以及估算每个特征点相对于所述多个 摄像机的坐标系的位置。
[0104] 示例17可以包括如权利要求13所述的方法，还包括接收与所述多个摄像机相关联 的图像数据，以及基于所述图像数据对所述多个特征点进行检测。
[0105] 示例18可以包括如权利要求13至17中任一项所述的方法，其中，进行自动校准包 括对所述多个摄像机中的一个或多个摄像机的方向进行估算。
[0106] 示例19可以包括至少一种非暂态计算机可读存储介质，包括指令集，当所述指令 集被计算设备执行时，使得所述计算设备:基于地平面上的邻近车辆的多个特征点来为多 个摄像机确定第一约束集;基于所述车辆的一个或多个边界来为所述多个摄像机确定第二 约束集；以及基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个 摄像机进行自动校准。
[0107] 示例20可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述 指令当被执行时，使得所述计算设备接收与所述多个摄像机相关联的图像数据，基于所述 图像数据中的多个帧来确定光流，以及基于所述光流来识别所述一个或多个边界，以确定 所述第二约束集。
[0108] 示例21可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述 指令当被执行时，使得所述计算设备从所述车辆上的一个或多个传感器接收附加的传感器 数据，其中，所述第二约束集是基于所述附加的传感器数据被确定的，并且所述附加的传感 器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。
[0109] 示例22可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述 指令当被执行时，使得所述计算设备估算每个特征点相对于所述多个摄像机的坐标系的方 向，以及估算每个特征点相对于所述多个摄像机的坐标系的位置，以确定所述第一约束集。
[0110] 示例23可以包括如权利要求19所述的至少一种计算机可读存储介质，其中，所述 指令当被执行时，使得所述计算设备接收与所述多个摄像机相关联的图像数据，以及基于 所述图像数据对所述多个特征点进行检测。
[0111] 示例24可以包括如权利要求19至23中任一项所述的至少一种计算机可读存储介 质，其中，所述指令当被执行时，使得所述计算设备对所述多个摄像机中的一个或多个摄像 机的方向进行估算，以进行所述自动校准。
[0112] 示例25可以包括一种摄像机校准装置，包括：用于基于地平面上的邻近车辆的多 个特征点来为多个摄像机确定第一约束集的模块;用于基于所述车辆的一个或多个边界来 为所述多个摄像机确定第二约束集的模块；以及用于基于所述第一约束集和所述第二约束 集来对所述多个摄像机中的一个或多个摄像机进行自动校准的模块。
[0113]示例26可以包括如权利要求25所述的装置，其中，所述用于确定第二约束集的模 块包括用于接收与所述多个摄像机相关联的图像数据的模块，用于基于所述图像数据中的 多个帧来确定光流的模块，以及用于基于所述光流来识别所述一个或多个边界的模块。 [0114]示例27可以包括如权利要求25所述的装置，还包括用于从所述车辆上的一个或多 个传感器接收附加的传感器数据的模块，其中，所述第二约束集基于所述附加的传感器数 据被确定，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据 中的一个或多个。
[0115]示例28可以包括如权利要求25所述的装置，其中，所述用于确定第一约束集的模 块包括:用于估算每个特征点相对于所述多个摄像机的坐标系的方向的模块，以及用于估 算每个特征点相对于所述多个摄像机的坐标系的位置的模块。
[0116] 示例29可以包括如权利要求25所述的装置，还包括用于接收与所述多个摄像机相 关联的图像数据的模块，以及用于基于所接收的图像数据对所述多个特征点进行检测的模 块。
[0117] 示例30可以包括如权利要求25至29中任一项所述的装置，其中，所述用于进行所 述自动校准的装置包括用于估算所述多个摄像机中的一个或多个摄像机的方向的模块。
[0118] 因此，本文所描述的技术可以提供一种自动地估算摄像机系统相对于车辆的方向 的方法。该方法可以用于先进的驾驶员辅助系统和车载式信息娱乐系统中。信息娱乐系统 通常是基于信息和基于娱乐的媒体内容或者编程系统，其包括被内置在车辆内或者可以被 添加至车辆以便增强驾驶员和/或乘客的舒适度和便利性的娱乐内容或者硬件和/或软件 产品和系统。该技术可以使用图像识别软件来处理由摄像机(位于车辆上)所捕获的图像。 该技术还可以提供位于车辆上的摄像机的自动校准，而不需要诸如标记或校准图案之类的 外部资源并且不需要制造商进行服务。该技术可以自动地校准所有的旋转参数。可以识别 靠近车辆的特征点，并且可以估算特征点相对于车辆的位置和方向，以针对外在摄像机参 数确定第一约束集。该技术可以通过检测车辆的边界并且将所检测的边界与车辆自身的已 知几何几何形状进行匹配，来确定第二约束集。使用附加的第二约束集的技术允许对所有 必要的外在参数。可以对车辆的二维运动进行估算，并且因此可以推断摄像机参数。该技术 仅使用车辆的运动来估算摄像机系统相对于车辆的方向。如果地平面平坦的话，那么几乎 可以使用任何环境。该技术能够在无需车辆的驾驶员付出努力的情况下获得校准参数。 [0119]除非特别声明，否则可以理解，诸如"处理"、"计算"、"算"、"确定"等之类的术语是 指计算机或计算系统、或类似的电子计算设备的动作和/或过程，这些动作或过程对计算系 统的寄存器和/或存储器内表示物理量(例如，电子)的数据进行操纵和/或转换成在计算系 统的存储器、寄存器或其它这样的信息存储、传输或显示设备中类似地表示物理量的其它 数据。实施例不限于此情境。
[0120] 本文所使用的术语"耦合的"是指所涉及的部件之间的任意类型的关系(直接的或 间接的），并且可以适用于电连接、机械连接、流体连接、光连接、电磁连接、机电连接、或其 它连接。此外，本所使用术语"第一"、"第二"等仅仅是为了便于讨论，并不带有特定的时间 或时序意义，除非另作指示。
[0121] 根据以上说明书本领域技术人员将意识到，可以以各种形式来实施实施例的宽泛 技术。因此，尽管已经结合具体示例描述了本发明的实施例，但是实施例的真实范围不应当 仅限于此，这是由于，对于本领域技术人员来说，在研究了附图、说明书以及所附权利要求 书之后，其它修改将变得显而易见。
【主权项】
1. 一种基于摄像机的驾驶员辅助系统，包括： 多个摄像机，每个所述摄像机包括用于捕捉图像的电光部件，其中，所述摄像机位于容 纳有所述基于摄像机的驾驶员辅助系统的车辆上的不同区域中； 特征点分析器，所述特征点分析器基于地平面上的邻近所述车辆的多个特征点来为所 述多个摄像机确定第一约束集； 边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确 定第二约束集； 校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的 一个或多个摄像机进行自动校准；以及 显示器，所述显示器可视化地输出所述自动校准的结果。2. 根据权利要求1所述的系统，其中，所述边界分析器包括： 图像数据接口，所述图像数据接口接收与所述多个摄像机相关联的图像数据； 帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及 边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。3. 根据权利要求1所述的系统，还包括传感器接口，所述传感器接口从所述车辆上的一 个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数 据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘 信息和惯性数据中的一个或多个。4. 根据权利要求1所述的系统，其中，所述特征点分析器包括： 方向估算器，所述方向估算器估算每个特征点相对于所述多个摄像机的坐标系的方 向；以及 位置估算器，所述位置估算器估算每个特征点相对于所述多个摄像机的坐标系的位 置。5. 根据权利要求1所述的系统，还包括特征点提取器，所述特征点提取器接收与所述多 个摄像机相关联的图像数据，并且基于所述图像数据对所述多个特征点进行检测。6. 根据权利要求1至5中任一项所述的系统，其中，所述校准器对所述多个摄像机中的 一个或多个摄像机的方向进行估算，以进行所述自动校准。7. -种摄像机校准装置，包括： 特征点分析器，所述特征点分析器基于地平面上的邻近车辆的多个特征点来为所述多 个摄像机确定第一约束集； 边界分析器，所述边界分析器基于所述车辆的一个或多个边界来为所述多个摄像机确 定第二约束集;以及 校准器，所述校准器基于所述第一约束集和所述第二约束集来对所述多个摄像机中的 一个或多个摄像机进行自动校准。8. 根据权利要求7所述的装置，其中，所述边界分析器包括： 图像数据接口，所述图像数据接口接收与所述多个摄像机相关联的图像数据； 帧分析器，所述帧分析器基于所述图像数据中的多个帧来确定光流；以及 边界检测器，所述边界检测器基于所述光流来识别所述一个或多个边界。9. 根据权利要求7所述的装置，还包括传感器接口，所述传感器接口从所述车辆上的一 个或多个传感器接收附加的传感器数据，其中，所述边界分析器基于所述附加的传感器数 据来确定所述第二约束集，并且所述附加的传感器数据包括速度数据、转向角数据、方向盘 信息和惯性数据中的一个或多个。10. 根据权利要求7所述的装置，其中，所述帧分析器包括： 方向估算器，所述方向估算器估算每个特征点相对于所述多个摄像机的坐标系的方 向；以及 位置估算器，所述位置估算器估算每个特征点相对于所述多个摄像机的坐标系的位 置。11. 根据权利要求7所述的装置，还包括特征点提取器，所述特征点提取器接收与所述 多个摄像机相关联的图像数据，并且基于所接收的图像数据对所述多个特征点进行检测。12. 根据权利要求7至11中任一项所述的装置，其中，所述校准器对所述多个摄像机中 的一个或多个摄像机的方向进行估算，以进行所述自动校准。13. -种对基于摄像机的驾驶员辅助系统进行自动校准的方法，包括： 基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集； 基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集；以及 基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄像机 进行自动校准。14. 根据权利要求13所述的方法，其中，确定所述第二约束集包括： 接收与所述多个摄像机相关联的图像数据； 基于所述图像数据中的多个帧来确定光流；以及 基于所述光流来识别所述一个或多个边界。15. 根据权利要求13所述的方法，还包括从所述车辆上的一个或多个传感器接收附加 的传感器数据，其中，所述第二约束集是基于所述附加的传感器数据被确定的，并且所述附 加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多个。16. 根据权利要求13所述的方法，其中，确定所述第一约束集包括： 估算每个特征点相对于所述多个摄像机的坐标系的方向；以及 估算每个特征点相对于所述多个摄像机的坐标系的位置。17. 根据权利要求13所述的方法，还包括： 接收与所述多个摄像机相关联的图像数据；以及 基于所述图像数据对所述多个特征点进行检测。18. 根据权利要求13至17中任一项所述的方法，其中，进行自动校准包括对所述多个摄 像机中的一个或多个摄像机的方向进行估算。19. 一种摄像机校准装置，包括： 用于基于地平面上的邻近车辆的多个特征点来为多个摄像机确定第一约束集的模块； 用于基于所述车辆的一个或多个边界来为所述多个摄像机确定第二约束集的模块；以 及 用于基于所述第一约束集和所述第二约束集来对所述多个摄像机中的一个或多个摄 像机进行自动校准的模块。20. 根据权利要求19所述的装置，其中，所述用于确定第二约束集的模块包括： 用于接收与所述多个摄像机相关联的图像数据的模块； 用于基于所述图像数据中的多个帧来确定光流的模块；以及 用于基于所述光流来识别所述一个或多个边界的模块。21. 根据权利要求19所述的装置，还包括用于从所述车辆上的一个或多个传感器接收 附加的传感器数据的模块，其中，所述第二约束集基于所述附加的传感器数据被确定，并且 所述附加的传感器数据包括速度数据、转向角数据、方向盘信息和惯性数据中的一个或多 个。22. 根据权利要求19所述的装置，其中，所述用于确定第一约束集的模块包括： 用于估算每个特征点相对于所述多个摄像机的坐标系的方向的模块；以及 用于估算每个特征点相对于所述多个摄像机的坐标系的位置的模块。23. 根据权利要求19所述的装置，还包括： 用于接收与所述多个摄像机相关联的图像数据的模块；以及 用于基于所接收的图像数据对所述多个特征点进行检测的模块。24. 根据权利要求19至23中任一项所述的装置，其中，所述用于进行所述自动校准的装 置包括用于估算所述多个摄像机中的一个或多个摄像机的方向的模块。
【文档编号】G06T7/00GK106027952SQ201610101599
【公开日】2016年10月12日
【申请日】2016年2月24日
【发明人】K·纳特罗什维利, K-U·舍尔
【申请人】英特尔公司