数据同步方法及摄像设备与流程

本发明涉及数据处理技术领域，尤其涉及一种数据同步方法及摄像设备。

背景技术：

在ar领域，需要使用摄像装置获取手势识别或者运动跟踪，还需要使用惯性测量单元(inertialmeasurementunit，简称imu)来获取运动轨迹(加速度数据和角速度数据)，ar领域中例如slam追踪等很多应用要求摄像装置和imu两种设备采集的数据同步，现有技术通常是通过时间戳比对的方法来获取到同步的图像数据和imu数据，而在分别给图像数据和imu数据进行签名添加时间戳时就已存在误差，使得通过时间戳对比方法得到的同步的图像数据和imu数据出现误差的概率更高，导致出现同步的图像数据和imu数据一致性较低的问题。

技术实现要素：

本发明提供了一种数据同步方法及摄像设备，能够有效提高同步的图像数据和imu数据的一致性。

本申请第一方面提供了一种数据同步方法，应用于包含有摄像装置和惯性测量传感器的摄像设备中，包括：

在所述摄像装置每采集视频图像数据中的一帧图像数据的同时，将同步信号发送给所述惯性测量传感器；

在所述惯性测量传感器接收到所述同步信号时，利用所述惯性测量传感器采集所述摄像设备的运动轨迹信息；

将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

可选的，所述在所述摄像装置每采集所述视频图像数据中的一帧图像数据的同时，将同步信号发送给所述惯性测量传感器，具体包括：

在所述摄像装置每采集所述视频图像数据中的一帧图像数据开始曝光的同时，将所述同步信号发送给所述惯性测量传感器。

可选的，在所述摄像设备包括中央处理器时，所述方法还包括：

在所述同步信号发送给所述惯性测量传感器的同时，将所述同步信号发送给所述中央处理器；

在所述中央处理器接收到所述同步信号时，所述中央处理器读取所述惯性测量传感器采集的所述运动轨迹信息；

所述中央处理器将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

可选的，在所述每组数据存储或转发给其他设备时，在每组数据中加入所述摄像装置的参数和所述惯性测量传感器的参数。

可选的，在将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储之前，所述方法还包括：

对采集的每帧图像数据进行签名，得到采集的每帧图像数据对应的时间戳。

可选的，所述摄像装置采集视频图像的帧率小于所述惯性测量传感器采集所述摄像设备的运动轨迹信息的采样率。

本申请另一实施例还提供了一种摄像设备，包括摄像装置、惯性测量传感器和中央处理器，包括：

所述摄像装置用于采集视频图像，以及在采集视频图像数据中的每帧图像数据的同时，将同步信号发送给所述惯性测量传感器；

所述惯性测量传感器，用于在接收所述摄像装置发送的所述同步信号时，采集所述摄像设备的运动轨迹信息；

所述中央处理器，用于将获取的采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

可选的，所述摄像装置，还用在每采集所述视频图像数据中的一帧图像数据开始曝光的同时，将所述同步信号发送给所述惯性测量传感器。

可选的，所述摄像装置将同步信号发送给所述惯性测量传感器时，所述方法还包括：

所述摄像装置将所述同步信号发送给所述中央处理器；

所述中央处理器接收到所述同步信号时，读取所述惯性测量传感器采集的所述运动轨迹信息；

所述中央处理器将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

可选的，所述摄像装置采集视频图像的帧率小于所述惯性测量传感器采集所述摄像设备的运动轨迹信息的采样率。

本发明的有益效果如下：

基于上述技术方案，由于本申请实施例中在所述摄像装置每采集所述视频图像数据中的一帧图像数据的同时，通过同步信号控制所述惯性测量传感器采集所述摄像设备的运动轨迹信息；再将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储，如此，在数据采集的时就将图像数据与运动轨迹信息进行同步，从而有效降低了同步的图像数据与运动轨迹信息出现误差的概率，进而有效提高了同步的图像数据和imu数据的一致性。

附图说明

图1为本发明实施例中一种数据同步方法的方法流程图；

图2为本发明实施例中采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成的一组数据的结构图；

图3为本发明实施例中摄像装置、imu和中央处理器的数据处理流程图。

具体实施方式

本发明提供了一种数据同步的方法及摄像设备，能够有效提高同步的图像数据和imu数据的一致性。

实施例一：

如图1所示，本发明实施例中提供了一种数据同步方法，应用于包含有摄像装置和惯性测量传感器的摄像设备中，包括以下步骤：

s101、在所述摄像装置每采集视频图像数据中的一帧图像数据的同时，将同步信号发送给所述惯性测量传感器；

s102、在所述惯性测量传感器接收到所述同步信号时，利用所述惯性测量传感器采集所述摄像设备的运动轨迹信息；

s103、将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

本申请实施例中，惯性测量传感器下面具体用imu表示，所述摄像装置例如可以是摄像头、摄像机等拍照装置；进一步的，本申请实施例中的执行主体是包含有摄像装置和惯性测量传感器的摄像设备。

本申请实施例中，所述摄像装置的曝光模式可以为全局曝光模式和卷帘曝光模式，优选为全局曝光模式，以降低拍摄的运动物体出现拖影现象的概率。

其中，在执行步骤s101之前，启动所述摄像装置，然后执行步骤s101，所述摄像装置采集包括多帧图像数据的视频图像数据，且在每采集所述视频图像中的一帧图像数据的同时，将同步信号发送给所述惯性测量传感器。

具体的，在启动所述摄像装置过程中，所述摄像设备首先需要给所述摄像装置上电，使得所述摄像装置处于待机状态，然后所述摄像设备发送启动指令给所述摄像装置，从而启动所述摄像装置采集所述视频图像数据。

例如，所述摄像设备包括摄像头a，所述摄像设备启动后，所述摄像设备供电给摄像头a，以使得摄像头a处于待机状态；在需要使用摄像头a时，所述摄像设备发送启动指令给摄像头a，从而控制摄像头a启动并采集视频图像数据。

在执行步骤s101过程中，在所述摄像装置每采集所述视频图像数据中的一帧图像数据的同时，触发生成所述同步信号，并将所述同步信号发生给imu，以使得imu接收到所述同步信号时，启动imu并采集所述运动轨迹信息。

具体来讲，可以在所述摄像装置每采集所述视频图像数据中的一帧图像数据开始曝光的同时，触发生成所述同步信号，并将所述同步信号发送给imu，以使得imu接收到所述同步信号时，启动imu并采集所述运动轨迹信息。

本申请实施例中，所述同步信号具体可以为帧同步信号。

例如，所述摄像设备还包括imu，所述摄像设备控制摄像头a启动并采集视频图像数据时，触发生成一个帧同步信号，并将生成的所述帧同步信号发送给imu，在imu接收到所述同步信号时，启动imu并采集所述运动轨迹信息，所述运动轨迹信息包括imu采集的加速度信息和角速度信息。

具体来讲，由于所述摄像设备每采集一帧图像数据时，会将同步信号发送给imu，使得imu每接收一个所述同步信号时，控制imu采集相应的运动轨迹信息，如此，可以控制imu会采集到与每帧图像数据同步的运动轨迹信息。

具体的，为了进一步提高采集的每帧图像和同步的运动轨迹信息的一致性，可以在所述摄像装置每采集所述视频图像数据中的一帧图像数据开始曝光的同时，将生成的同步信号发送给imu，然后利用imu采集与该帧图像数据同步的运动轨迹信息；由于所述摄像装置在开始曝光时将同步信号发送给imu，使得imu采集的运动轨迹信息的时间与所述摄像装置同步采集的一帧图像数据的时间相差更短，从而能够有效提高采集的每帧图像和同步的运动轨迹信息的一致性。

本申请实施例中，imu可以是九轴imu或六轴imu，其中，在imu为九轴imu时，九轴imu可以包括六轴加速度计和三轴陀螺仪。

例如，在所述摄像设备为所述摄像设备时，所述摄像设备包括摄像头a和九轴imu，在所述摄像设备控制摄像头a在采集第一帧图像数据进行曝光时，触发生成一个帧同步信号，并将生成的所述帧同步信号发送给九轴imu，在九轴imu接收到所述帧同步信号时，控制九轴imu通过六轴加速度计或陀螺仪采集加速度信息和三轴磁力集采集角速度信息，根据所述加速度信息和所述角速度信息，得到与第一帧图像数据同步的运动轨迹信息；同理，依次获取第二帧、第三帧…直至最后一帧图像数据和与每帧图像数据同步的运动轨迹信息。

本申请实施例中，可以在imu采集与一帧图像数据同步的运动轨迹信息之后，停止采集数据操作；直至接收到所述摄像装置采集下一帧图像数据时发送的同步信号时，才继续采集与下一帧图像数据同步的运动轨迹信息，而且在imu采集所述运动轨迹信息采集完成之后；继续等待下一个同步信号，接收到同步信号时开始采集同步的运动轨迹信息；通过此种方式，能够进一步提高采集的每帧图像及其同步的运动轨迹信息的一致性，降低出现采集的运动轨迹信息错位的概率。

接下来执行步骤s103，可以将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息存储到所述摄像设备的缓存中；也可以在将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息存储到所述摄像设备的缓存之后，再存储到所述摄像设备的存储器或外部存储器中；也可以直接将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息存储到所述摄像设备的存储器或外部存储器中。

其中，在将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息存储到所述摄像设备的缓存中时，能够有效提高每帧图像数据、对应的时间戳及其同步的运动轨迹信息的处理速度。

在具体实施过程中，为了使得采集到与图像数据同步的运动轨迹信息，所述摄像装置采集视频图像的帧率小于imu采集所述摄像设备的运动轨迹信息的采样率，如此，使得imu采集数据的速度大于所述摄像装置采集数据的速度，使得所述摄像装置采集一帧图像数据完成之前imu已采集完成与该帧图像数据同步的运动轨迹信息，从而能够精确采集与图像数据同步的运动轨迹信息。

具体来讲，在将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息进行存储之前，还需对采集的每帧图像数据进行签名，得到采集的每帧图像数据对应的时间戳，然后再进行存储。例如可以在采集到每帧图像数据之后，立刻对采集的每帧图像数据进行签名，如此，可以得到每帧图像数据对应的时间戳；也可以在将采集的每帧图像数据缓存之后，立刻对采集的每帧图像数据进行签名，如此，可以得到每帧图像数据对应的时间戳。

具体的，可以将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。每组数据可以由三个字段组成，其中，第一字段为数据头，用于记录一帧图像数据对应的时间戳；第二字段用于记录一帧图像数据同步的运动轨迹；第三字段用于记录一帧图像数据；由于imu通常由多轴加速度计和多轴陀螺仪组成，使得imu采集的运动轨迹信息包括多组加速度参数和多组角速度参数，即imu采集的运动轨迹信息包含了多组参数。

当然，在所述每组数据存储或转发给其他设备时，在每组数据中加入所述摄像装置的参数和所述惯性测量传感器的参数；以及每组数据还可以加入每帧图像数据对应的索引信息。如此，可以将所述摄像装置的参数、所述惯性测量传感器的参数和每帧图像数据对应的索引信息中的至少一种数据记录在所述第一字段中。

例如，如图2所示，摄像装置(camera)20用于采集视频数据中的每帧图像数据，imu30用于采集与每帧图像数据同步的运动轨迹信息，每组数据分成三个字段，以第一帧图像对应的第一组数据40为例，第一组数据40包括第一字段401、第二字段402和第三字段403，其中，第一字段401中记录摄像装置20采集的第一帧图像数据对应的时间戳和索引信息，第二字段402记录imu30采集的与摄像头a采集第一帧图像数据同步的运动轨迹信息(多组imu数据)；第三字段中记录摄像装置20采集的第一帧图像数据；相应的，第一帧图像数据之后的每帧图像数据对应的每组数据的结构与第一组数据40的结构相同。

在本申请另一实施例中，在所述摄像设备包括中央处理器时，所述方法还包括：

s301、在所述同步信号发送给所述惯性测量传感器的同时，将所述同步信号发送给所述中央处理器；

具体来讲，所述摄像装置在将所述同步信号发送给imu的同时，也将所述同步信号发送给所述中央处理器，以使得所述中央处理能够接受所述摄像装置采集的每帧图像数据及其同步的运动轨迹信息。

s302、在所述中央处理器接收到所述同步信号时，所述中央处理器读取imu采集的所述运动轨迹信息；

具体来讲，在所述中央处理器接收到所述同步信号时，所述中央处理器立即读取imu采集的所述运动轨迹信息。

s303、所述中央处理器将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

具体来讲，步骤s303的执行主体是所述中央处理器，其具体实施方式具体参考步骤s103的实施方式。

在实际应用过程中，可以通过所述摄像设备中的中央处理器(centralprocessingunit，简称cpu)发送启动指令给所述摄像装置，启动所述摄像装置开始拍摄视频图像；在所述摄像装置开始曝光采集图像数据的同时，将生成的帧同步信号发送给imu和cpu，imu接收到所述帧同步信号后采集所述运动轨迹信息；cpu接收到此同步信号后，开始主动读取imu采集的所述运动轨迹信息；而所述摄像装置采集的每帧图像数据传输给cpu，cpu将开辟一块缓存用于存储每帧图像数据及其同步的运动轨迹信息，在缓存每帧图像数据及其同步的运动轨迹信息时，可以在每帧图像数据及其同步的运动轨迹信息的签名加上标记，所述标记例如可以是索引等信息。

当然，在所述摄像装置开始曝光采集图像数据的同时，还可以只将生成的帧同步信号发送给imu，imu接收到所述帧同步信号后采集所述运动轨迹信息，并控制imu主动将采集的所述运动轨迹信息传输给cpu，且所述摄像装置采集的每帧图像数据传输给cpu，cpu将开辟一块缓存用于存储每帧图像数据及其同步的运动轨迹信息，在缓存每帧图像数据及其同步的运动轨迹信息时，可以在每帧图像数据及其同步的运动轨迹信息的签名加上标记，所述标记例如可以是索引等信息。

本申请实施例中的摄像设备不仅可以应用在ar领域，还可以应用在视频拍摄、视频直播等视频领域中。在视频领域中，现有技术通常是通过摄像设备采集视频然后进行传输，而摄像设备若在移动采集视频例如运动拍摄或无人机航拍过程中，为了提高控制摄像设备的姿态，也需要确保摄像装置和imu两种设备采集的数据同步，而现有计算也是通过时间戳比对的方法来获取到同步的图像数据和imu数据，而分别给同步的图像数据和imu数据进行签名添加时间戳时由于采集的数据时间不同且签名的时间不同其存在误差，使得通过时间戳对比方法得到的同步的图像数据和imu数据出现误差的概率更高，而通过本申请所记载的数据同步的方法能够有效提高同步的图像数据和imu数据的一致性。

基于与上述方法相同的技术构思，如图3所示，本发明实施例还提供了一种摄像设备，包括摄像装置20、imu30和中央处理器50，包括：

摄像装置20用于采集视频图像，以及在采集视频图像数据中的每帧图像数据的同时，将同步信号发送给imu30；

imu30，用于在接收摄像装置20发送的所述同步信号时，采集所述摄像设备的运动轨迹信息；

中央处理器50，用于将获取的采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

较佳的，摄像装置20，还用在每采集所述视频图像数据中的一帧图像数据开始曝光的同时，将所述同步信号发送给imu30。

较佳的，摄像装置20将同步信号发送给imu30时，所述方法还包括：

摄像装置20将所述同步信号发送给中央处理器50；

中央处理器50接收到所述同步信号时，读取imu30采集的所述运动轨迹信息；

中央处理器50将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息整合成一组数据后进行存储。

较佳的，在所述每组数据存储或转发给其他设备时，在每组数据中加入摄像装置20的参数和imu30的参数；当然，每组数据还可以加入每帧图像数据对应的索引信息。

较佳的，摄像装置20采集视频图像的帧率小于imu30采集所述摄像设备的运动轨迹信息的采样率。

在实际应用过程中，如图3所示，在拍摄视频图像时，中央处理器50首先发送启动指令给摄像装置20和imu30；摄像装置20和imu30接收到所述启动指令之后，首先进行初始化，然后启动自身并处于待机状态；中央处理器50监测到摄像装置20和imu30均处于待机状态之后，开始采集视频图像并将相应的采集信号发送给摄像装置20；摄像装置20接收到采集信号之后，从待机状态调整为工作状态，开始采集第一帧图像数据，在采集第一帧图像数据进行曝光的同时，发送同步信号给中央处理器50和imu30；imu30接收到所述同步信号时，从待机状态调整为工作状态，采集所述摄像设备的运动轨迹信息(图3中用imu数据表示)；以及中央处理器50接收到所述同步信号之后，读取imu30采集到的与第一帧图像数据同步的运动轨迹信息；以及摄像装置20采集完第一帧图像数据时，将第一帧图像数据发送给中央处理器50；此时，中央处理器50接收到第一帧图像数据及其同步的运动轨迹信息，然后可以对接收到的数据进行签名，得到相应的时间戳，然后将第一帧图像数据、相应的时间戳及其同步的运动轨迹信息整合成一组数据进行缓存。其中，imu30在采集完与第一帧图像数据同步的运动轨迹信息之后，停止采集数据，以降低出现图像数据和其同步的运动轨迹信息不一致的概率；依次针对后续采集的每帧图像数据执行采集第一帧图像数据相同的操作，从而采集到所述视频图像。

当然，在摄像装置20开始曝光采集图像数据的同时，还可以只将生成的帧同步信号发送给imu30，imu30接收到所述帧同步信号后采集所述运动轨迹信息，并控制imu30主动将采集的所述运动轨迹信息传输给中央处理器50，且摄像装置20采集的每帧图像数据传输给中央处理器50，中央处理器50将开辟一块缓存用于存储每帧图像数据及其同步的运动轨迹信息，在缓存每帧图像数据及其同步的运动轨迹信息时，可以在每帧图像数据及其同步的运动轨迹信息的签名进而得到相应时间戳，然后将每帧图像数据、相应的时间戳及其同步的运动轨迹信息整合成一组数据进行缓存。

本发明的有益效果如下：

基于上述技术方案，由于本申请实施例中在所述摄像装置每采集所述视频图像数据中的一帧图像数据的同时，通过同步信号控制所述惯性测量传感器采集操作者的运动轨迹信息；再将采集的每帧图像数据、对应的时间戳及其同步的运动轨迹信息进行存储，如此，在数据采集的时就将图像数据与运动轨迹信息进行同步，从而有效降低了同步的图像数据与运动轨迹信息出现误差的概率，进而有效提高了同步的图像数据和imu数据的一致性。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。