用于至少两个ToF相机的拍摄方法
【技术领域】
[0001] 本发明涉及一种用于利用至少两个飞行时间（Time-Of-Flight)相机对一个场景 进行拍摄的方法，所述飞行时间相机分别具有一个光源和一个图像传感器，其中所述至少 两个飞行时间相机中的每个都执行多个图像拍摄过程，这些图像拍摄过程包括用于确定深 度信息的测量过程，所述测量过程包括：由光源发出经调制的光，在场景的物体上反射之后 利用图像传感器检测经调制的光，以及由所述经调制的光在被发射和被检测到之间的行进 时间计算深度信息。
【背景技术】
[0002] 飞行时间（ToF)相机是这样相机，所述相机不仅拍摄2D图像，而且对于每个拍摄 像素还测量深度信息。深度信息是指关于场景的各个物体与ToF相机之间的距离的信息。 ToF相机也可以称为主动相机，因为这种相机装备有自带的光源。由所述光源发出的光在要 拍摄的场景的物体上反射并由此到达相机图像传感器的探测区域中。通过行进时间测量或 相位差测量由所述反射的光确定深度信息。
[0003] 光源通常是LED(发光器件）。飞行时间相机发出经调制的光。通常在兆赫范围内 进行OOK(通断键控（On-Off-Keying))对所述光进行调制（例如以20MHz)，并且由此在自 己的相机传感器的可见范围内发射所述光。反射的光分量（光子）由相机传感器记录并用 于计算反射的物体的距离。然后，除了灰度图以外，还提供这种深度数据供使用。在多数应 用中，目前使用红外光作为照射光线。
[0004] ToF相机特别是在工业、交通通信技术以及自主机器人技术中具有很宽的应用范 围。例如ToF相机可以在工业中在最高Im的近距离范围内用作液位测量仪或测距仪。在 交通通信技术中，ToF相机可以在最高30m的范围内用作车辆以及人员检测器和计数器。在 自主机器人技术中，ToF相机用于识别障碍以及用于导航。
[0005] 外来光源的光可能影响深度计算。如果背景光不具有与相机所发出的经调制的光 类似的特性，图像传感器，例如PMD芯片（Photonic Mixer Device)形式的图像传感器可以 对于每个像素执行背景光消除（Ausblendung)。这个功能通常用于消除阳光或房间中的人 造照明光。为了实现消除，PMD芯片对于每个像素在接通和断开自带光源的情况下记录光， 并以电子的形式将两个测量结果相减。只有当在所有所述时间内背景光的强度保持恒定并 且PMD芯片没有进入电饱和状态时，才能实现正确地消除背景光。对于在MHz范围内调制 的人造光，这种消除不能完全起作用并且所计算出的深度数据在具体像素上是错误的。
[0006] 特别是当其他相机的人造光源在自带相机传感器的可见范围内被拍摄时，会在 ToF相机中出现错误的深度计算。这种干扰性的外来光可能直接或通过反射间接地被拍摄。 在这些情况下，深度计算至少部分是无效的。
[0007] 在很多应用领域使用多个相机，这些相机的观察范围可能相互重叠，例如在对房 间进行监控、在交通通信技术中或者在控制多个机器人时。在确定深度信息时，各个相机的 主动光源总是会干扰其他相机，因为这些相机不仅检测到了自己的光，而且还检测到了其 他相机的光，也称为外来光。这种相互干扰会导致，与距离相关的测量结果失真并且深度信 息不再对应于实际情况。
[0008] 为了解决所述问题，可以针对并行运行将各个相机在控制上和在功能上相互联 网，以用于并行运行，但这会明显提高设备上的花费。这里，ToF相机在网络中运行。所述 网络除了数据交换以外还用于同步图像拍摄，以便避免相机相互间的干扰。为此在网络中 交换时间戳和预约令牌（Reservierungstoken)。只有占有预约令牌的相机才被授权执行图 像拍摄。所述令牌可以依次轮流传递或者由网络服务器进行中央管理。这些措施防止了两 个相机的测量过程在拍摄一个场景时相互影响。因此在这种解决方案中采取了预防措施， 使得一个相机在另一个相机的测量或检测过程期间不发出经调制的光。
[0009] 按照所述原理将ToF相机联网的问题在于，这个处理方式会导致材料上和开发工 作上很高的额外成本。此外，由于预约令牌的传送时间导致的网络等待时间会对系统的图 像处理能力产生影响，从而产生问题。这种机制也没有考虑到相机的可见范围，因为只有在 可见范围有重叠时才预期会出现干扰。
[0010] 特别是在各个相机运动的应用场合，必须以一定程度上更为复杂的机制来考虑始 终变化或交变的重叠的可见范围，以便在干扰作用极小的同时仍保持高的图像处理能力。
[0011] 在网络中，图像拍摄的可靠性还与所有相机的预约令牌的传递的可靠性相关。
[0012] 除了数据和控制技术上的问题，特别是用于涉及连接、联网成共同的信号技术系 统以及所需的复杂的软件的耗费的高额成本通常是根本没有考虑ToF相机相互间干扰的 原因，这对于所确定的深度信息的质量产生负面影响。
【发明内容】
[0013] 本发明的目的在于，提供一种方法，所述方法没有所述缺点并且消除了多个ToF 相机相互间的不利影响或者至少使这种不利影响最小化。这个目的应能够以小的设备上的 耗费实现。不再需要通过共同的数据或控制网络将各个相机相互联网。与上面描述的根据 现有技术的解决方案不同，提高了确定深度信息的精度，而不必同时提高设备上的耗费。
[0014] 所述目的利用前面所述的方法这样来实现，即，第一飞行时间相机由该第一飞行 时间相机所执行的测量过程的测量结果确定，在该测量过程中除了由自带的光源发出的光 以外还在何种程度上检测到第二飞行时间相机的经调制的光，并且第一飞行时间相机根据 所述确定操作的结果改变其拍摄模式。
[0015] 当检测到第二相机的经调制的光或者当第二相机的经调制的光检测到的强度超 过阈值时，改变拍摄模式。在多于两个相机时，当然也可以将所有其他相机的外来光包含到 测量中。为了根据图像传感器数据评估来改变拍摄模式，图像传感器和负责对所发出的光 进行调制的单元与相机控制装置连接。
[0016] 因此，第一相机具有这样的能力，即，当在第一相机的可见范围内存在第二相机的 经调制的光时，改变其拍摄模式。当存在使测量过程失真的外来光时，各相机主动做出反 应。通过改变拍摄模式，例如中断图像拍摄过程，可以防止获得错误的深度信息。此外中断 图像拍摄过程或测量过程还实现了，其他相机在其图像拍摄过程中不会受到经调制的光的 干扰。由此明显提高了由这些相机拍摄的图像、图像序列或视频流的图像质量。通过相机 自主的行动还可以提高图像获取或评估的快速性，而不必对控制装置进行加速或发生高的 设备耗费。
[0017] 这里不必在信号或控制技术上例如通过网络将拍摄一个场景的各相机彼此连接。 根据本发明的方法实现了两个或更多个ToF相机的自主同步。根据本发明没有设置各相机 相互间的通信或联网。
[0018] 本发明涉及一种