车载以太网通信网络中相机快门同步的控制方法和设备与流程

本发明涉及一种在车载以太网通信网络中控制相机快门同步的方法和设备，更具体地，涉及一种在车载以太网络中控制相机快门同步的方法和设备，以基于IEEE802.1AS同步的操作车内所有相机的快门。

背景技术：

当今市场上的车辆具有多个电子控制器(ECU：electronic controller)，以用于改善驾驶员的便利性和安全性，并且基本上配置有在上述ECU之间进行通信的车载网络。

特别是，随着车载ECU的数量逐渐增加并且车载ECU能够与各种外部设备进行交互，造成现有车辆网络过载以及与线束相关的成本增加。

另外，因为客户需求高品质的音频/视频(AV：audio/video)数据并且使用AV数据的应用增加，带宽扩展需求也越来越严重。

因此，许多汽车制造商考虑用于车载网络的以太网，并且一些汽车制造商最近已经生产了基于以太网的全景式监控(AVM：around view monitor)系统。

以太网通常包括多个局域网(LAN：local area network)和在局域网之间连接的多个网桥(bridge)。

以太网的特征在于多个节点使用载波侦听多路访问/冲突检测(CSMA/CD：Carrier Sense Multiple Access/Collision Detection)协议竞争性地试图访问公共媒介。然而，CSMA/CD方案对所有业务量(traffic)提供了相同的优先级，从而使多个节点通过竞争发送其业务量，并且由此对传播时延敏感的多媒体数据如AV数据的传输来说是不合适的。

因此，以太网使用同步所有网络节点的时间的技术来传输多媒体数据。

目前，音频/视频桥接(AVB：audio/video bridging)标准作为如 IEEE1722的传输协议层标准正在发展，用于传输对流时间(streaming time)敏感的AV信号。具体地讲，AVB标准的目标是一种用于通过以太网适当传输多媒体流如AV流的质量有保证的传输技术。

如上所述，传统的局域网，特别是具有代表性技术的以太网，基本上已经使用了基于帧的分组交换技术，因此不能够容易的提供高效、质量有保证的传输技术。为了解决这一问题，根据IEEE 802.2同步以太网、住宅以太网等名字，AVB已经初步发展。目前，IEEE 802.1正在研究在网桥上实施类似技术的方法，其不用明显破坏传统的非同步分组(packet)交换的模式。

基本上，IEEE 802.1的AVB是一种使用执行分组交换的传统以太网桥实现同步业务量传输的技术，以及其核心是同步在一定地理范围内的网桥的时钟。如果网桥的时钟是同步的，在希望的时间具有一定大小的以太网帧能够在网桥之间以一定时间间隔准确地进行传输。这个基本概念可以扩展到网桥网格，其能够作为用于稳定传输同步业务量的基础设施。

例如，IEEE 1588精确时间协议(PTP：precision time protocol)是在开放式系统互连(OSI：open systems interconnection)层操作的时间同步标准，以及IEEE802.1AS是基于IEEE1588仅支持OSI第2层即数据链路层的总则的时间同步标准。如果IEEE802.1AS应用到如网桥或交换机的第2层设备，则可以配置OSI第2层的时间同步网络。

根据IEEE802.1AS在设备之间实现时间同步的方法是使用包括时间同步信息的时间戳使发射器和接收器同步的方法。在该方法中，从网络中的多个设备中选择提供用于时间同步的参考时间的超主时钟(grandmaster或GM)，通过使用通知消息将所选超主时钟的本地时间发送到其他设备，因此其他设备使用超主时钟的本地时间作为参考时间。此时，上述超主时钟将通知消息发送到所有其它设备，以发送指示超主时钟存在的信息和指示作为参考时间提供设备的合适性的比较值的信号。

也就是说，超主时钟是IEEE802.1AS时间树的最高节点，并且向子节点周期性地发送当前时间信息。

IEEE802.1AS定义了确定超主时钟以及获取时间同步的流程，发 现网络上的所有设备以及使用多个控制消息控制接入链路的流程，以及使用通知消息持续检查链路状态的流程。

然而，传统的车载以太网相机试图基于IEEE802.1AS的时间同步同时捕捉图像，但是由于快门不同步而不能够容易地获取精确的等时图像。

技术实现要素：

因此，本发明涉及一种车载以太网通信网络中相机快门同步的控制方法和装置，其基本上解决了由于现有技术的限制和缺点导致的一个或多个问题。

本发明的目的是提供一种车载以太网通信网络中控制相机快门同步的方法和装置。

本发明的另一目的是提供一种车载以太网通信网络中控制相机快门同步的方法和装置，以同步车载以太网相机的快门操作。

本发明的又一目的是提供一种车载以太网通信网络中控制相机快门同步的方法和装置，以基于IEEE802.1AS的时间同步通过适应性地控制相机快门的操作提供稳定和精确的相机系统。

本发明的其它优点、目的以及特征将会在下文中被部分地阐述，以及基于下文的审查，本发明的其它优点、目的以及特征对本领域技术人员来说是显而易见的，或可以从本发明实践中获得。通过在所撰写的说明书、权利要求书以及附图中特别指出的结构，可以实现和得到本发明的目的和其他优点。

为了实现这些目的和其他优点并且根据本发明的目的，如本文体现和广泛描述的，一种由相机控制器控制相机快门同步的方法，所述相机控制器通过以太网通信与超主时钟配合，所述方法包括以下步骤：执行与超主时钟的时间同步流程；如果时间同步流程成功完成，则减少预置的每秒脉冲(PPS：pulses per second)递减计数器；以及如果PPS递减计数器达到0，则操作相机快门。

操作上述相机快门的步骤可以包括：以单拍模式操作相机的快门以生成图像帧。

如果图像帧被生成，则可以重新开始减少上述PPS递减计数器的 步骤。

可以在以太网上使用音频/视频桥接(AVB)协议将所生成的图像帧发送到预定控制器。

时间同步流程可以按IEEE802.1AS被定义。

上述方法还可以包括：当相机控制器上电时，设置PPS递减计数器的值；以及基于PPS递减计数器的值可以确定每秒捕获的图像帧的数量。

上述方法还可以包括：如果在预先指定的时间内没有成功地完成时间同步流程，则将相机快门切换到连续拍摄模式。

如果时间同步流程成功地完成，则减少上述PPS递减计数器的步骤可以在连续拍摄模式下被执行。

本发明的另一方面，计算机可读记录介质已经记录了用于执行上述方法的计算机程序。

本发明的另一个方面，一种控制相机快门同步的装置通过以太网与超主时钟配合，并且包括：图像传感器，用于生成图像帧；主控制器，使用从超主时钟接收的参考时间信息设置内部参考时间，并且基于内部参考时间生成用于操作相机快门的第一信号；以及图像信号处理器，当从主控制器接收到第一信号时生成并发送用于操作图像传感器的第二信号到图像传感器，以及生成并发送指示由图像传感器捕获到的图像帧存在的第三信号到主控制器。

可以在上述第一信号的上升沿触发上述第二信号的上升沿。

可以在上述第二信号的下降沿触发上述第三信号的上升沿。

本发明的另一个方面，一种控制相机快门同步的设备通过以太网通信与超主时钟配合，并且包括：执行时间同步流程以通过使用从超主时钟接收的参考时间信息来设置内部参考时间的装置；如果时间同步流程被成功地完成，则减少预置每秒脉冲(PPS)递减计数器的装置；以及如果PPS递减计数器达到0，则操作相机快门的装置。

应当理解，本发明上文的一般描述和下文的详细描述都是示例性和解释性的，并且旨在对所要求保护的本发明提供进一步的解释。

附图说明

附图用于对本发明的进一步理解且被合入并构成本申请的一部分，这些附图示出本发明的实施方式并与具体实施方式一起解释本发明的原理。在附图中：

图1是示出根据现有技术的IEEE802.1AS定义的消息报头的结构的表；

图2是示出根据现有技术的IEEE802.1AS定义的通知消息(announce message)的结构的表；

图3是示出根据现有技术的IEEE802.1AS中的通知消息比较流程和端口分配方法的流程图；

图4是示出根据现有技术的IEEE802.1AS中的时间同步流程的图；

图5是示出根据现有技术的超主时钟选择和通知消息发送流程的流程图；

图6是示出基于IEEE802.1AS的节点间的时间同步方法的图；

图7是示出根据本发明实施方式的相机快门时间同步系统的结构的框图；

图8是示出根据本发明实施方式的相机控制器的硬件配置的框图；

图9是示出根据本发明实施方式的以图像信号处理器的单拍模式操作相机控制器的信号时序图；以及

图10是示出根据本发明实施方式的在车载以太网通信网络中的相机快门时间同步方法的流程图。

具体实施方式

将对本发明的实施方式做出详细的参考，实施方式的实施例在附图中示例说明。本文中使用的后缀“模块”和“单元”用于描述方便。后缀“模块”和“单元”可以互换使用，并且没有任何不同的含义或功能。

虽然构成本发明实施方式的所有元件描述为被集成到一个单元中或以一个单元进行操作，但本发明不一定限于这样的实施方式。根据本实施方式，在本发明的目的和范围内所有元件可以被选择性地集成到一个或多个单元中或以一个或多个单元进行操作。每个元件可以被实现为独立的硬件。可替代地，一些或全部元件可以选择性地结合到 计算机程序，该计算机程序具有在一个或多个硬件中结合的执行一些或所有功能的程序模块。构成该计算机程序的代码和代码段可以由本发明涉及的本领域技术人员容易的推论。该计算机程序可以存储在计算机可读介质，使得计算机程序通过计算机被读出并执行以实现本发明的实施方式。计算机程序存储介质可以包括磁记录介质、光记录媒体以及载波介质。

本文描述的术语“包含”、“包括”或“具有”应被解释为不排除其他元件，而是还可以包括这样的其它元件，因为相应的元件可以是固有的，除非另有说明。对于涉及本发明的本领域普通技术人员来说包括技术和科学术语的所有术语具有通常理解的相同含义，除非另有说明。通常使用的术语，如在字典中定义的术语，应解释为与上下文相关技术的含义一致。除非在本发明中明显定义，否则这样的术语不应被解释为具有理想或过于正式的含义。

应该理解，虽然术语第一、第二、A、B、(a)、(b)等可以在本文中用于描述本发明的各种元件，但是这些术语仅用来区分一个元件和另一元件，这些术语并不限制相关元件的必要性、顺序或序列。应当理解，当一个元件涉及“连接到”、“结合到”或“耦合到”另一元件时，虽然一个元件可以直接连接或耦合到另一元件，但是一个元件也可以通过其他元件“连接到”、“结合到”或“耦合到”另一个元件。

根据现有技术IEEE802.1AS定义的时间同步方法现在参考图1至图5进行简要描述。

IEEE802.1AS定义了用于网络时间同步的消息的报头结构、通知消息的结构、用于提供参考时间信息的超主时钟(GM)的选择方法、交换机的端口角色(role)分配方法等。

图1是示出根据现有技术的IEEE802.1AS定义的消息报头的结构的表，图2是示出根据现有技术的IEEE802.1AS定义的通知消息的结构的表。

通知消息可以包括选择超主时钟的必要信息，例如，currentUtcOffset，grandmasterPriority1，grandmasterPriority2，grandmasterClockQuality和grandmasterIdentity。下文中，为了便于说明，选择超主时钟的必要信息称为参考时间信息。

图3是示出根据现有技术的IEEE802.1AS中的通知消息比较流程和端口分配方法的流程图。

在网络中的每个符合条件的(eligible)设备(站)可以配置包括其参考时间信息的通知消息，以及将该通知消息发送到其他设备。在这种情况下，具有最佳品质时钟的设备可以被选择作为超主时钟。即，当每个设备从其它设备接收到通知消息时，该设备可以比较其本身的参考时间信息和包括在接收到的通知消息中的参考时间信息，并选择具有最高优先级和准确性的设备作为其超主时钟。如果该设备的参考时间比其它设备的参考时间更精确，该设备可确定自身作为超主时钟。

被选为超主时钟的上述设备的所有端口用于将参考时间信息发送到其他设备。下文中，为了便于说明，超主时钟的用于发送参考时间信息的端口被定义为主端口。另一方面，连接到主端口以及接收超主时钟的参考时间信息的另一设备的端口定义为从端口。

如图3所示，当每一设备接收到通知消息时，该设备可以比较其本身的参考时间信息和通知消息中的参考时间信息，例如，grandmasterIdentity、grandmasterPriority1、clockclass、clockAccuracy、offsetScaledLogVariance、grandmasterPriority2、grandmasterIdentity、StepRemoved或SourcePortIdentity，并且确定出哪个设备是超主时钟。例如，如果设备A确认自身作为超主时钟，装置A分配其所有端口作为主端口。否则，如果设备A确认其他设备作为超主时钟，则设备A分配其所有端口作为从端口。

图4是示出根据现有技术的IEEE802.1AS中的时间同步流程的图示。

具体地，图4是示出在使用网桥的星形拓扑网络结构中的时间同步流程的图。

一般地，网桥是能够互连两个局域网(LAN)的网络连接装置，并在开放系统互连(OSI：open systems interconnection)参考模型的数据链路层上进行操作。

网桥可以用于，例如，(1)扩展网络的范围和长度，(2)将大量的设备连接到网络，(3)减少由于连接到网络的设备过多导致的瓶颈情况，(4)互连由不同物理介质(通信线路)配置的网络，以及(5) 连接具有不同拓扑结构如以太网和令牌环的网络结构。

参考图4，假定交换机E 400通过初始时间同步流程被选择为超主时钟。该交换机E 400可以定期生成包括其自身参考时间信息的通知消息，并且将该通知消息发送到网桥450。随后，网桥450可以将接收到的通知消息传递到交换机A 410、交换机B 420、交换机C 430和交换机D 440。

可替代地，网桥450可以分析包括在接收到的通知消息的时间信息，识别提供最精确的时间信息的交换机，以及经控制仅将从所识别出的交换机接收到的通告消息传递到从节点。

图5是示出根据现有技术的超主时钟选择和通知消息发送流程的流程图。

参考图5，交换机1 510到交换机4 540中的每一个发送通知消息到与其连接的交换机，通过参考时间信息比较流程选择超主时钟，以及基于选择结果分配其端口角色(S501)。如图5所示，假定交换机3 530被选择为超主时钟。

此后，交换机3 530周期性地(例如，以1秒的周期)生成通知消息并且通过主端口将该通知消息发送给交换机2 520和交换机4 540，以及交换机2 520通过其从端口将接收到的通知消息传递到交换机1 510(S502)。也就是说，被选为超主时钟的设备可以使用通知消息将超主时钟的存在和其参考时间的优越度(superiority)通知给其他设备。

图6是示出基于IEEE802.1AS的节点间的时间同步方法的图。

参考图6，超主时钟610是802.1AS设备，其通过超主时钟610的时钟主端口611将同步消息和校正跟踪消息(下文简称为跟踪消息)发送到网桥620的时钟从端口624，其中网桥620也是802.1AS设备。

随后，网桥620将基于电缆和网桥延迟的时间校正信息通过网桥620的时钟主端口611发送到其他802.1AS设备(端点630、端点640和网桥650)的时钟从端口624。

在此，上述时间校正信息可以包括链路延迟信息、传播时间延迟信息、邻居速率比信息、校正字段信息等。

图7是示出根据本发明实施方式的以太网相机快门时间同步系统的结构的框图。

参考图7，相机快门时间同步系统可以被配置成主要包括：超主时钟710，其基于IEEE802.1AS提供参考时间信息；以及全景式监控(AVM)系统720，用于通过从超主时钟710接收参考时间信息以获取系统同步。本文中，包括在AVM系统720中的第一至第四相机控制器(721至724)基于IEEE802.1AS作为从节点进行操作。

虽然AVM系统720包括四个相机控制器(例如721至724)以捕获在下面描述的周围图像，本实施方式只有四个相机控制器，但应该指出的是，根据本发明另一实施方式可以包括多于或少于四个的相机控制器。

上述超主时钟710通过第一到第四时钟主端口(711到714)将参考时间信息发送到第一到第四相机控制器(721到724)的从端口。

当通电时，第一到第四相机控制器(721到724)中的每一个与超主时钟710相配合以基于IEEE802.1AS执行时间同步流程。当未获得时间同步时，第一到第四相机控制器(721到724)自动启动相机以捕捉周围图像。

然而，当没有获取时间同步时如果图像被捕获，则相机控制器使用了不同的参考时间，从而有可能不容易同时捕获图像。

另一方面，如果基于IEEE802.1AS获得了时间同步，第一到第四相机控制器(721到724)不会自动启动相机，并且可以基于预定快门控制算法使相机快门的操作同步。因此，由第一到第四相机控制器(721到724)捕获的图像可以控制为等时图像。

特别是，使用多通道(multiple channel)的图像识别系统，例如AVM系统720，需要从多通道同时接收和处理等时图像，用于准确地识别图像。在这方面，所有的相机快门应该在一个精确的时间同时运行。

图8示出根据本发明实施方式的相机控制器的硬件配置的框图。

参考图8，相机控制器800可以被配置成包括主控制器(MCU：main controller)810、图像信号处理器(ISP：image signal processor)820和图像传感器830。

当基于通过时钟从端口接收的通知消息中的参考时间信息来设置内部参考时间时，主控制器810的实时时钟(RTC：real time clock)模 块811使用内部时钟发生器产生用于在某一周期控制相机快门的脉冲信号(下文称为帧同步(FRAME_SYNC)信号)。所产生的FRAME_SYNC信号通过帧同步输出(FSO：FRAME_SYNC OUT)管脚812输入到图像信号处理器820的帧同步输入(FSI:FRAME_SYNC IN)管脚821。本文中，脉冲的周期可以通过用户菜单设置以每秒脉冲(PPS：pulses per second)被定义。

图像信号处理器820基于通过FSI管脚821接收的帧同步(FRAME_SYNC)信号，产生触发输出(TRIGGER_OUT)信号并通过TRIGGER_OUT(TO)管脚822输出。在这种情况下，所产生的触发输出(TRIGGER_OUT)信号通过TO管脚822输入到图像传感器830的触发输入(TI：TRIGGER_IN)管脚831。

图像传感器830基于通过TI管脚831接收的触发输出(TRIGGER_OUT)信号，捕获由相机镜头聚焦的图像。

此外，图像信号处理器820基于所生成的触发输出(TRIGGER_OUT)信号，产生帧有效输出(FRAME_VALID_OUT)信号并通过FRAME_VALID_OUT(FVO)管脚823输出。所产生的帧有效输出(FRAME_VALID_OUT)信号通过图像信号处理器820的FVO管脚823输入到主控制器810的帧有效输入(FVI：FRAME_VALID_IN)管脚813。主控制器810可以基于通过FVI管脚813接收的帧有效输出(FRAME_VALID_OUT)信号识别由图像传感器830捕获的图像即有效帧存在。

图9是示出根据本发明实施方式的以图像信号处理器820的单拍模式操作相机控制器800的信号时序图。

参考图9，接下来描述一种通过图像信号处理器820操作相机快门用于产生信号的给定时间。

如果根据IEEE802.1AS获取了时间同步，图像信号处理器820被切换到单拍模式。

在单拍模式中，图像信号处理器820在通过其FSI管脚821接收的帧同步(FRAME_SYNC)信号的上升沿910触发TRIGGER_OUT信号到上升沿。此后，图像信号处理器820在触发输出(TRIGGER_OUT)信号的下降沿920触发帧有效输出 (FRAME_VALID_OUT)信号到上升沿。

在这种情况下，当触发输出(TRIGGER_OUT)信号的上升沿被触发时，图像传感器830的图像捕获开始。当帧有效输出(FRAME_VALID_OUT)信号的上升沿被触发时，主控制器810可以识别由图像传感器830捕获的图像存在，并由此获得由图像传感器830捕获的图像。通过使用基于AVB协议的以太网将由主控制器810获得的图像发送到相应的控制器。

图10是示出根据本发明实施方式的在车载以太网通信网络中的相机快门时间同步方法的流程图。

当AVM系统720的相机接通电源时，图像信号处理器820的参数设置值和主控制器810的PPS值可以被初始化(S1001)。在这种情况下，主控制器810可以将图像信号处理器820的操作模式从自动启动模式切换到手动启动模式。此外，主控制器810可以设置相机快门的操作周期，即PPS递减计数器为33ms。也就是说，主控制器810可以设置以太网相机以每秒30帧进行捕捉。

因此，在本发明中，每秒捕获的图像帧的数目在单拍模式下可以基于PPS递减计数器的设置值来确定。

此后，主控制器810开始由IEEE802.1AS定义的时间同步流程，并确定时间同步是否已被成功地执行(S1003和S1005)。在这种情况下，当时间同步流程开始时，可以计算时间同步的延迟时间。

当确定时间同步没有被成功执行时，主控制器810确定时间同步的延迟时间是否超过预定时间，例如500毫秒(S1007)。

当确定时间同步的延迟时间超过了预定时间时，主控制器810可以将图像信号处理器820的操作模式从手动启动模式切换到自由运行模式，并开始操作相机快门(S1009)。

在自由运行模式中，主控制器810控制相机快门以连续拍摄模式进行操作(S1011)。在本文中，连续拍摄模式是指图像传感器830连续捕捉图像而无需获取相机控制器之间的快门同步的相机拍摄模式。

操作模式被切换到自由运行模式以防止在AVM系统运行期间整个系统的操作受到时间同步延迟的影响。也就是说，如果在预定时间内例如500毫秒内时间同步没有被获得，则在基于IEEE802.1AS的时 间同步流程开始之后，根据本发明的主控制器810可以被控制为不用通过类似于传统AVM系统的相机操作的相机快门同步实现捕获图像。

当在步骤S1005中确定时间同步被成功完成时，主控制器810开始PPS倒计时步骤，以减少设置为33ms的PPS递减计数器的值(S1013)。

当PPS递减计数器的值达到0时，主控制器810产生帧同步(FRAME_SYNC)信号用于操作相机快门以执行单拍模式(S1015和S1017)。也就是说，主控制器810可以通过在单拍模式下进行操作以控制相机快门产生一个图像帧(S1019)。

在此之后，主控制器810返回到步骤1013，并且继续执行PPS倒计时步骤。因此，如果获取时间同步，照相机控制器能够每33ms产生一个图像帧。

此外，如果在连续拍摄模式下获得时间同步，主控制器810可以切换到单拍模式来控制相机快门以产生同步的图像帧。

从上文描述中可以明显看出根据本发明的方法和装置具有以下效果。

第一，本发明可以提供一种用于控制车载以太网通信网络中相机快门同步的方法和装置。

第二，本发明可以提供一种用于控制车载以太网通信网络中相机快门同步的方法和装置，以通过同步相机的快门操作从多个车载以太网相机中获得等时图像。

第三，本发明可以提供一种用于控制车载以太网通信网络中相机快门同步的方法和装置，以基于IEEE802.1AS时间同步通过适应性地控制相机快门的操作提供稳定和精确的相机系统。

第四，本发明可以提供相机快门的同步，并因此是适用于图像识别应用，例如，高级驾驶辅助系统(ADAS)，其需要在同一时间从多个角度同时捕获图像帧。

本领域技人员应当理解，可以通过本发明实现的效果不限于已经在上文特别描述的内容，以及本发明的其它优点通过上文详细的描述将被更清楚地理解。

本领域技术人员将理解的是，在不脱离本发明的精神和基本特征 的情况下能够以与上文阐述的不同的其他具体方式来实施本发明。

上述示例性实施方式因此将被理解为在各方面是示例说明性的而不是限制性的。本发明的范围应当由所附权利要求及其合法等同物定义，而非由上文的描述定义，以及上述装置的所有改变和所附权利要求的等同范围旨在被包含在其中。