时间延时的测量方法、装置和对电子设备时间同步的系统与流程

本发明涉及电子设备时间同步技术领域，尤其涉及一种时间延时的测量方法、装置和对电子设备时间同步的系统。

背景技术

随着用于个人或商业自动装置(即机器人设备)的发展，比如清洁机器人，slam系统英文全称为(simultaneouslocalizationandmapping，中文名称为时定位与地图构建系统)被广泛用于同步定位与建图。由于机器人设备上slam系统的模组性能、设备型号等参数的不同，多个传感器在同一时刻传入的时间戳会有所区别，因此为使机器人设备正常工作，必须解决slam系统中多个传感器时间同步的问题。

现有技术中大多是通过对比不同传感器的时间戳来实现同步，但是通常情况下各传感器的时间戳不能精确对齐，比如虽然图像传感器与惯性传感器的时间戳相同，但由于不同模组输出的周期不同，因此真实情况并非同一时刻测量的数据，可能会有毫秒级别的延时，进而对机器人设备的正常工作造成影响。

技术实现要素：

(一)发明目的

本发明的目的是提供一种利用图像采集频率更高的图像传感器作为辅助设备来解决slam系统模组中的图像传感器与惯性传感器之间时间同步的方法和系统，相对于现有技术，提高了时间同步精度、操作简单、易于实现。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种时间延时的测量方法，包括：获取第一图像传感器基于预设事件所采集的第一图像集；获取第二图像传感器基于所述预设事件所采集的第二图像集；获取所述惯性传感器基于所述预设事件的感测数据；基于所述第一图像集、第二图像集和感测数据，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

根据本发明的另一个方面，提供一种时间延时的测量装置，包括：第一图像集获取模块，用于获取第一图像传感器基于预设事件所采集的第一图像集；第二图像集获取模块，用于获取第二图像传感器基于所述预设事件所采集的第二图像集；感测数据获取模块，用于获取所述惯性传感器基于所述预设事件的感测数据；时间延时生成模块，用于基于所述第一图像集、第二图像集和感测数据，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

根据本发明的又一方面，提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现上述任一项所述方法的步骤。

根据本发明的又一方面，提供了一种对电子设备进行时间同步的系统，包括：控制器和与所述控制器通信连接的第二图像传感器；所述第二图像传感器用于对预设事件进行图像采集得到第二图像集；所述控制器用于接收所述第二图像集、所述电子设备中的惯性传感器基于所述预设事件的感测数据、以及所述电子设备中的第一图像传感器基于所述预设事件所采集的第一图像集；所述控制器包括存储器和处理器，所述存储器上存储有计算机程序，所述程序被所述处理器执行时实现上述任一项所述方法的步骤。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果：对比传统的采用时间戳对比时延技术来对slam系统模组中各传感器进行时间同步的方法，本发明提出了一种借助图像采集频率更高的图像采集传感器来计算slam系统模组中各传感器之间时延的方法，使得slam系统模组中各传感器时间同步精度更高，同时，本发明提出的方法操作简单，易于实现。

附图说明

图1是本发明提供的时间延时的测量方法的一实施例步骤流程图；

图2是本发明提供的时间延时的测量装置的一实施例模块关系示意图；

图3是本发明提供的对电子设备进行时间同步的系统的一实施例的框架结构示意图；

图4是图3中控制器的一个实施例的硬件结构示意图；

图5是一个具体实施例中惯性传感器采集的感测数据。

附图标记：

11、第一图像集获取模块；12、第二图像集获取模块；

13、感测数据获取模块；14、时间延时生成模块；

1、控制器；2、第二图像传感器；3、第一图像传感器；4、惯性传感器；5、slam系统；6、物体控制装置。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于区分描述对象的目的，而不能理解为指示或暗示相对重要性。

图1是本发明提供的时间延时的测量方法的一实施例步骤流程图。

如图1所示，在本发明第一实施例中，时间延时的测量方法包括以下步骤s1-s4：

s1，获取第一图像传感器基于预设事件所采集的第一图像集。

其中，第一图像集为第一图像传感器以第一图像采集频率所采集；第一图像集包括预设事件发生过程的时间信息和图像信息。

预设事件包括第一事件和第二事件。第一事件是能够被图像传感器采集到，且发生过程随时间变化的事件。第二事件是能够被图像传感器采集，且能够被所述惯性传感器感测到的事件。具体地，所述预设事件为预设物体进行运动并在运动过程中击中所述惯性传感器的事件。例如：预设物体从高处下落到低处并击中位于低处的惯性传感器。再如：预设物体从一侧摆动到另一侧并击中位于另一侧的惯性传感器。预设物体可以是钉子、螺栓、螺母、木块、小球等。

s2，获取第二图像传感器基于所述预设事件所采集的第二图像集。

其中，第二图像集为第二图像传感器以第二图像采集频率所采集；第二图像集包括预设事件的发生过程的时间信息和图像信息。

s3，获取惯性传感器基于所述预设事件的感测数据；

其中，感测数据包括惯性传感器与预设事件交互时的时间信息和加速度信息。

s4，基于所述第一图像集、第二图像集和感测数据，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

需要说明的是，步骤s1和步骤s2执行没有先后顺序，可以先执行步骤s1再执行步骤s2，也可以先执行步骤s2，再执行步骤s1，还可以同时执行或交叉执行。

在本发明提供的时间延时的测量方法的第二实施例中，在上述第一实施例的基础上，第二图像采集频率大于所述第一图像采集频率。例如：第一图像采集频率为24帧/秒；第二图像采集频率为36帧/秒。需要说明的是，由于第一图像传感器的图像采集频率较低，无法清晰、精准地拍到预设物体恰好击中惯性传感器这一瞬间的图像，因此，需要借助比第一图像传感器图像采集频率较高的第二图像传感器，从而能够采集到预设物体恰好击中惯性传感器这一瞬间的图像。

在本发明提供的时间延时的测量方法的第三实施例中，在上述任一实施例的基础上，步骤s4包括以下步骤s41-s43：

s41，基于对所述第一图像集和第二图像集的识别，得到假设击中帧的时间戳；其中，所述假设击中帧为假设所述第一图像传感器采集到的所述预设物体击中所述惯性传感器的一帧图像。

s42，基于所述感测数据，得到所述惯性传感器感测到所述预设事件时的时间戳。

s43，基于假设击中帧的时间戳和预设事件的时间戳进行差值计算，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

在本发明提供的时间延时的测量方法的第四实施例中，在上述第三实施例的基础上，步骤s41包括以下步骤s411-s415：

s411，从所述第一图像集中选择所述预设物体距离所述惯性传感器预定距离的一帧图像，得到选定帧。

具体地，对所述第一图像集中的所有图像帧进行图像识别；基于图像识别结果，从所述第一图像集中筛选出预设物体距离所述惯性传感器预定距离的一帧图像作为所述选定帧。记录所述选定帧的时间戳和选定帧中预设物体所在的位置。

s412，从所述第二图像集中选择所述预设物体与所述选定帧中的预设物体位于同一位置的一帧图像，得到基准帧。

具体地，对第二图像集中的所有图像帧进行图像识别；基于图像识别结果，从所述第二图像集中选择与选定帧中的预设物体位于同一位置的一帧图像作为基准帧，记录所述基准帧的时间戳。

s413，从所述第二图像集中选择所述预设物体击中所述惯性传感器的一帧图像，得到击中帧；记录所述击中帧的时间戳。

s414，基于所述击中帧的时间戳和基准帧的时间戳，得到所述预设物体从所述预定距离运动至击中所述惯性传感器的耗时长度。

s415，基于所述选定帧的时间戳和所述耗时长度，得到假设击中帧的时间戳。

在本发明提供的时间延时的测量方法的第五实施例中，在上述第四实施例的基础上，其中步骤s411中，所述选定帧为所述第一图像集中所述预设物体距离所述惯性传感器距离最近的一帧图像。

在本发明提供的时间延时的测量方法的第六实施例中，在上述第四实施例的基础上，步骤s411中，所述选定帧为所述第一图像集中所述预设物体距离所述惯性传感器距离最近，且能够被识别到所述预设物体所在位置的一帧图像。

在本发明提供的时间延时的测量方法的第七实施例中，在上述第三实施例的基础上，步骤s42包括：如果所述感测数据满足预设变化条件，则将感测数据满足预设变化条件时的时间戳作为所述惯性传感器感测到所述预设事件时的时间戳。记录预设物体击中所述惯性传感器的时间戳。

在一个具体实施例中，惯性传感器采集的感测数据如图5所示。从图5可以看出，在时间戳75934100000至时间戳75936100000期间，感测数据发生突变。在本实施例中，预设物体击中惯性传感器的时间戳timestamp5满足下式：75934100000<timestamp5<75936100000。

图2是本发明提供的时间延时的测量装置的一实施例模块关系示意图。

如图2所示，在本发明提供的时间延时的测量装置的第一实施例中，时间延时的测量装置包括：第一图像集获取模块11、第二图像集获取模块12、感测数据获取模块13、时间延时生成模块14。

第一图像集获取模块11，用于获取第一图像传感器基于预设事件所采集的第一图像集；

第二图像集获取模块12，用于获取第二图像传感器基于所述预设事件所采集的第二图像集；

感测数据获取模块13，用于获取所述惯性传感器基于所述预设事件的感测数据；

时间延时生成模块14，用于基于所述第一图像集、第二图像集和感测数据，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

在另一个实施例中，在上述第一实施例的基础上，所述时间延时生成模块包括：第一时间戳生成单元、第二时间戳生成单元和时间延时生成单元。

第一时间戳生成单元，用于基于对所述第一图像集和第二图像集的识别，得到假设击中帧的时间戳；其中，所述假设击中帧为假设所述第一图像传感器采集到的所述预设物体击中所述惯性传感器的一帧图像；

第二时间戳生成单元，用于基于所述感测数据，得到所述惯性传感器感测到所述预设事件时的时间戳；

时间延时生成单元，用于基于假设击中帧的时间戳和预设事件的进行差值计算，生成所述第一图像传感器与所述惯性传感器之间的时间延时。

在本发明提供的时间延时的测量装置的第二实施例中，在上述第一实施例的基础上，所述第一时间戳生成单元包括：选定帧生成单元、基准帧生成单元、击中帧生成单元、耗时长度生成单元和假设击中帧时间戳生成单元。

选定帧生成单元，用于从所述第一图像集中选择所述预设物体距离所述惯性传感器预定距离的一帧图像，得到选定帧；

基准帧生成单元，用于从所述第二图像集中选择所述预设物体与所述选定帧中的预设物体位于同一位置的一帧图像，得到基准帧；

击中帧生成单元，用于从所述第二图像集中选择所述预设物体击中所述惯性传感器的一帧图像，得到击中帧；

耗时长度生成单元，用于基于所述击中帧的时间戳和基准帧的时间戳，得到所述预设物体从所述预定距离运动至击中所述惯性传感器的耗时长度；

假设击中帧时间戳生成单元，用于基于所述选定帧的时间戳和所述耗时长度，得到假设击中帧的时间戳。

在本发明提供的时间延时的测量装置的第三实施例中，在上述第二实施例的基础上，第二时间戳生成单元用于在所述感测数据满足预设变化条件时，将感测数据满足预设变化条件时的时间戳作为所述惯性传感器感测到所述预设事件时的时间戳。

图3是本发明提供的对电子设备进行时间同步的系统的一实施例的框架结构示意图。

如图3所示，所述电子设备包括：第一图像传感器3、惯性传感器4和slam系统5。所述电子设备可以是清洁机器人、服务机器人等。

惯性传感器，即imu，(英文：inertialmeasurementunit)，惯性传感器用于测量物体三轴姿态角(或角速率)以及加速度。imu内会装有三轴的陀螺仪和三个方向的加速度计，来测量物体在三维空间中的角速度和加速度。

slam，英文全称为simultaneouslocalizationandmapping，中文名称为时定位与地图构建系统，或并发建图与定位系统。

所述slam系统5分别与所述第一图像传感器3与所述惯性传感器4通信连接，所述slam系统基于所述时间延时对所述第一图像传感器与所述惯性传感器所采集的数据进行时间同步。

如图3所示，对电子设备进行时间同步的系统包括：控制器1和与所述控制器通信连接的第二图像传感器2。

所述第二图像传感器2用于对预设事件进行图像采集得到第二图像集；

所述控制器1用于接收所述第二图像集、所述电子设备中的惯性传感器4基于所述预设事件的感测数据、以及所述电子设备中的第一图像传感器3基于所述预设事件所采集的第一图像集；

所述控制器包括存储器和处理器，所述存储器上存储有计算机程序，所述程序被所述处理器执行时基于上述任一时间延时的测量方法的实施例生成所述第一图像传感器与所述惯性传感器之间的时间延时，并将所述时间延时发送给所述电子设备。

优选的，对电子设备进行时间同步的系统还包括用于承载预设物体的物体控制装置6，物体控制装置6与控制器通信连接，物体控制装置6根据控制器的控制信号运作使得预设物体开始运动。

图4是图3中控制器的一个实施例的硬件结构示意图。

如图4所示，控制器包括：一个或多个处理器以及存储器，图4中以一个处理器为例。处理器、存储器可以通过总线或其他方式连接，图3中以通过总线连接的方式为例。

本领域技术人员可以理解，图4中示出的电子设备的结构并不构成对本发明实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器可以由集成电路(integratedcircuit，简称ic)组成，例如可以由单颗封装的ic所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说，处理器可以仅包括中央处理器(centralprocessingunit，简称cpu)，也可以是cpu、数字信号处理器(digitalsignalprocessor，简称dsp)、图形处理器(graphicprocessingunit，简称gpu)及各种控制芯片的组合。在本发明实施方式中，cpu可以是单运算核心，也可以包括多运算核心。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机课执行程序以及模块，如本申请实施例中的时间延时的测量装置对应的程序模块(例如，附图2所示的第一图像集获取模块、第二图像集获取模块、感测数据获取模块、时间延时生成模块)。处理器通过运行存储在存储器的非暂态软件程序以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述时间延时的测量方法实施例的处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；在本发明实施例中，操作系统可以是android系统、ios系统或windows操作系统等等。存储数据区可存储依据时间延时的测量装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或者其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

以下通过一具体应用场景对本发明进行进一步说明。

应用场景为：对清洁机器人中的imu传感器和第一图像传感器传输至slam系统中的数据进行时间同步。清洁机器人包括：imu传感器、第一图像传感器和slam系统。本发明提供的对清洁机器人进行时间同步的系统包括：控制器和与所述控制器通信连接的第二图像传感器。其中，第二图像传感器的图像采集频率高于第一图像传感器。

在进行时间同步之前，需要做以下预备工作：将刻度尺以垂直于水平面的状态放置在第一图像传感器和第二图像传感器均能拍摄到的位置。将imu传感器放置在刻度尺的下方；将一个钉子放置在imu传感器的正上方，且位于刻度尺的正前方有刻度的位置，以使得钉子下落的路径能够经过刻度尺的刻度且击中imu传感器。

在钉子从开始下落到击中imu传感器这一事件的过程中，第一图像传感器和第二图像传感器对这一事件进行图像采集，分别得到第一图像集和第二图像集，并将第一图像集和第二图像集分别发送至控制器。imu传感器将其感测数据发送至控制器。

控制器在接收到第一图像集、第二图像集以及感测数据之后，执行计算机程序实现以下步骤：

s01，对第一图像集进行识别，找到钉子距离imu传感器最近并且可以清晰地看到刻度尺上对应刻度的一帧图像(即选定帧)，记录该帧图像中钉子对应的刻度尺的位置l1和该帧图像的时间戳timestamp1。

s02，对第二图像集进行识别，找到钉子下落到位置l1时的一帧图像(即基准帧)，记录该帧图像的时间戳timestamp2。

s03，对感测数据进行分析，找到感测数据发生突变时的时间戳timestamp5。

s04，第二图像集中找到钉子击中imu传感器时的一帧图像(即基准帧)，并记录该帧图像的时间戳timestamp3。

s05，基于时间戳timestamp3、timestamp2和式(1)，得到钉子从位置l1下落至刚好击中imu传感器的位置的耗时长度△t1。

△t1＝timestamp3-timestamp2式(1)

s06，基于耗时长度△t1、时间戳timestamp1和式(2)，推测出第一图像传感器拍摄下，钉子击中imu传感器时的一帧图像(即假设击中帧)的时间戳timestamp4。

timestamp4＝timestamp1+△t1式(2)

s07，基于时间戳timestamp5、timestamp4和式(3)，得到第一图像传感器和imu传感器之间的时间延时△t2。

△t2＝timestamp5-timestamp4式(3)

s08，将时间延时△t2发送给slam系统。

清洁机器人中的slam系统在接收到控制器发送的时间延时△t2后，基于时间延时△t2对imu传感器和第一图像传感器的传输数据的时间数据进行矫正，使得两者时间同步。当矫正完成后，清洁机器人则可以断开与控制器的连接。

进一步地，在对slam系统中第一图像传感器和imu传感器采集的数据进行融合时，将时间延时△t2传入中央处理器，系统自动将imu传感器采集的数据的时间戳统一减去时间延时△t2，进而实现与第一图像传感器采集的图像数据的时间同步，使两种传感器采集的数据更好地匹配融合，完成slam系统中的图像传感器与imu传感器的时间同步。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。