本发明涉及传感技术领域，特别是涉及一种摄像与惯性测量传感装置、场景分割和位姿计算系统。
背景技术：
随着科学技术的飞速发展，移动机器人和无人驾驶等技术的日益成熟，传感器得到了广泛的应用与发展。摄像传感器能够利用光学元件和成像装置获取外部环境图像信息，是机器摄像系统信息的主要来源，而惯性传感器主要运用于运动测量和导航定位等方面，利用摄像与惯性传感器构成的导航系统可以提供位置、速度以及姿态等全部导航参数，在导航定位方面具有良好的优势。
然而，传统的摄像与惯性传感器均是作为分立传感器各自进行感知，每个传感器收集的信息在时间上不同步，采集到信息时需要进行时间校准；并且多个传感器之间难以协同工作，信息难以统一管理，空间校准不能同步进行，在后期进行融合时工作量大、精度低。因此，在传统的导航系统构成中，摄像与惯性传感器存在可靠性差的缺点。
技术实现要素：
基于此，有必要针对传统的便利性低的问题，提供一种摄像与惯性测量传感装置、场景分割和位姿计算系统。
一种摄像与惯性测量传感装置，所述传感装置包括：摄像模块、惯性测量模块和时钟模块，所述摄像模块连接所述时钟模块，所述惯性测量模块连接所述时钟模块，所述时钟模块用于提供全局时间轴，向所述摄像模块和所述惯性测量模块发送触发信号，所述触发信号包括第一触发信号和第二触发信号，所述第一触发信号用于触发所述摄像模块，所述第二触发信号用于触发所述惯性测量模块，所述第二触发信号的频率为所述第一触发信号的频率的整数倍；所述摄像模块用于根据所述第一触发信号进行同步图像采集，得到并输出带有相应时间戳的图像数据；所述惯性测量模块用于根据所述第二触发信号进行同步惯性采集，得到并输出带有相应时间戳的惯性参数。
在一个实施例中，所述传感装置还包括微处理器，所述摄像模块连接所述微处理器，所述惯性测量模块连接所述微处理器，所述微处理器用于接收所述与所述第一触发信号同步的图像和所述与所述第二触发信号同步的惯性参数。
在一个实施例中，当所述第一触发信号和第二触发信号同时触发时，所述微处理器将接收的所述与所述第一触发信号同步的图像和所述与所述第二触发信号同步的惯性参数进行融合。
在一个实施例中，所述惯性参数包括角速度和加速度，所述微处理器将接收的所述与所述第一触发信号同步的图像和所述与所述第二触发信号同步的角速度和加速度进行融合之后，进行图像处理，得到rgbd图像并输出。
在一个实施例中，所述摄像模块为单目或多目摄像头。
在一个实施例中，所述时钟模块为gps时钟模块。
在一个实施例中，所述摄像模块在根据所述第一触发信号进行同步图像采集，输出与所述第一触发信号同步的图像之前，还用于根据接收的摄像标定参数进行参数标定。
在一个实施例中，所述惯性测量模块在根据所述第二触发信号进行同步惯性采集，输出与所述第二触发信号同步的惯性参数之前，还用于根据接收的测量标定参数进行参数标定。
一种场景分割系统，其特征在于，包括上述任意一项所述的摄像与惯性测量传感装置，还包括场景分割模块，所述场景分割模块连接所述微处理器。
一种位姿计算系统，其特征在于，包括上述任意一项所述的摄像与惯性测量传感装置，还包括位姿计算模块，所述位姿计算模块连接所述微处理器。
上述摄像与惯性测量传感装置通过时钟以固定的频率来分别触发摄像模块和惯性测量模块，根据时钟模块向惯性测量模块发送触发信号的频率和向摄像模块发送触发信号的频率之间的关系，使得摄像模块与惯性测量模块的输出在某一特定时间上同步，并且摄像模块与惯性测量模块协同工作，能够在时间上和空间上对摄像模块与惯性测量模块的输出进行同步和校准，具有精度高、响应快和计算简单的特点。相对于传统的摄像与惯性测量分立的传感器具有可靠性高的优点。
附图说明
图1为一实施例中摄像与惯性测量传感装置的结构示意图；
图2为另一实施例中摄像与惯性测量传感装置的结构示意图；
图3为一实施例中场景分割系统结构示意图；
图4为一实施例中位姿计算系统结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
请参阅图1，一种摄像与惯性测量传感装置，包括时钟模块100、摄像模块200和惯性测量模块300，摄像模块200连接时钟模块100，惯性测量模块300连接时钟模块100，时钟模块用于提供全局时间轴，向摄像模块200和惯性测量模块300发送触发信号，触发信号包括第一触发信号和第二触发信号，第一触发信号用于触发所摄像模块200，第二触发信号用于触发惯性测量模块300，第二触发信号的频率为第一触发信号的频率的整数倍；摄像模块200用于根据第一触发信号进行同步图像采集，得到并输出带有相应时间戳的图像数据；惯性测量模块300用于根据第二触发信号进行同步惯性采集，得到并输出带有相应时间戳的惯性参数。
具体地，时钟模块100上集成触发装置，根据时钟模块100提供的全局时间轴对摄像模块200和惯性测量模块300进行分别触发，触发信号相当于一个开关信号，每接收到一次触发信号，摄像模块200和惯性测量模块300进行一次数据的采集。摄像模块200包括镜头和摄像传感器，在进行图像采集时，摄像模块200的镜头接收所要采集物体反射回来的光线，使其聚焦在摄像传感器的受光面，再通过摄像传感器将光信号转换为电信号，光电信号很微弱，需通过预放电路进行放大，再经过各种电路进行处理和调整，得到与所采集对象相对应的图像数据。惯性测量模块300是测量物体三轴姿态角(或角速率)以及加速度的装置。一般包括三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度。第一触发信号以一定的频率对摄像模块200进行触发，摄像模块200每接收到一次接收到第一触发信号进行一次图像采集，根据时钟模块100提供的全局时间轴，输出带有对应时间戳的图像；第二触发信号以第一触发信号触发频率的整数倍对惯性测量模块300进行触发，惯性测量模块300每接收到一次第二触发信号进行一次惯性参数的采集，根据时钟模块100提供的全局时间轴，输出带有对应时间戳的惯性参数。第一触发信号与第二触发信号的频率关系为：
fi＝mfc
其中，fi为第二触发信号的频率，fc为第一触发信号的频率，m为大于等于1的整数。
在一个实施例中，以第二触发信号的触发频率为第一触发信号频率的2倍，第一触发信号以触发频率50hz触发摄像模块200，第二触发信号以触发频率100hz触发惯性测量模块300为例，即摄像模块200以周期0.02s进行图像采集，惯性测量模块300以周期0.01s进行惯性参数采集，每相隔0.01s第一触发信号和第二触发信号就会同时触发，摄像模块200和惯性测量模块300在同一时间点上分别进行图像和惯性参数的采集。通过采用同一时钟模块分别对摄像模块200和惯性测量模块300进行触发，使得摄像模块200和惯性测量模块300在某一时间点上能够输出带有相同时间戳的图像和惯性参数，方便在时间和空间上对图像和惯性参数进行同步校准，具有精度高、响应快和计算简单的优点。
请参阅图2，在一个实施例中，传感装置还包括微处理器400，摄像模块200连接微处理器400，惯性测量模块300连接微处理器400，微处理器400用于接收与第一触发信号同步的图像和与第二触发信号同步的惯性参数。
具体地，摄像模块200接收到第一触发信号进行图像采集并输出之后，将输出的与第一触发信号同步的图像发送到微处理器400进行处理和利用，同样的，惯性测量模块300接收到第二触发信号进行惯性参数采集并输出之后，将输出的与第二触发信号同步的惯性参数发送大微处理器400进行处理和利用。可以理解，在一个实施例中，微处理器400所接收的图像为摄像模块200所采集的所有图像，所接收的惯性参数为惯性测量模块300所采集的所有惯性参数，在另一个实施例中，微处理器400也可以仅仅接收带有相同时间戳的图像和惯性参数，具体情况可以根据实际使用环境进行调整。
在一个实施例中，当第一触发信号和第二触发信号同时触发时，微处理器400将接收的与第一触发信号同步的图像和与第二触发信号同步的惯性参数进行融合。
具体地，第一触发信号和第二触发信号同时触发是指在某一时间点上既有第一触发信号对摄像模块200进行触发，也有第二触发信号对惯性测量模块300进行触发，同样的，以第二触发信号的触发频率为第一触发信号频率的2倍，第一触发信号以触发频率50hz触发摄像模块200，第二触发信号以触发频率100hz触发惯性测量模块300为例，摄像模块200每隔0.02s进行一次图像采集，惯性测量模块每隔0.01s进行一次惯性参数的采集；则在0.02s、0.04s、0.06s等时间点上，既有第一触发信号对摄像模块200进行触发，也有第二触发信号对惯性测量模块300进行触发，微处理器400分别将时间点上的图像和惯性参数进行融合。
进一步地，在一个实施例中，惯性参数包括角速度和加速度，微处理器400将接收的与第一触发信号同步的图像和与第二触发信号同步的角速度和加速度进行融合之后，进行图像处理，得到rgbd(redgreenbluedepth)图像并输出。
具体地，融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，能够最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。本实施例中，摄像模块200采集的到与第一触发信号同步的彩色图像，惯性测量模块300接收第二触发信号进行惯性参数采集，得到的惯性参数包括角速度和加速度，将得到的角速度和加速度发送的微处理器400并且与微处理器400接收的摄像模块200发送的具有相同时间戳的图像进行融合，得到具有加速度和角速度信息的rgbd图像并输出。可以理解，摄像模块200还能根据接收的第一触发信号进行黑白图像的采集，将采集得到的与第一触发信号同步的黑白图像传输到微处理器400，对于摄像模块200采集的不具有相同时间戳图像，可以收集起来，在后续过程中加以利用，比如说用来验证融合之后的rgbd图像，也可以在后续处理之前，直接抛弃，具体应根据实际情况来进行选择。通过对角速度及加速度信息和图像进行融合，能够得到具有加速度和角速度信息的rgbd图像，便于后续过程中的利用。
在一个实施例中，摄像模块200在根据第一触发信号进行同步图像采集，输出与第一触发信号同步的图像之前，还用于根据接收的摄像标定参数进行参数标定。
具体地，摄像标定参数包括内参和外参，在根据接收的摄像标定参数进行参数标定时，分别对内参和外参进行标定。进一步地，在一个实施例中，摄像模块200为单目或多目摄像头。单目或多目摄像头的内参包括焦距和主点，外参包括摄像头坐标系与世界坐标系之间的旋转矩阵和平移矩阵，在进行内参和外参标定时，分别对焦距和主点以及摄像头坐标系与世界坐标系之间的旋转平移矩阵进行标定。单目或多目摄像头接收到时钟模块100发送的第一触发信号之后，进行图像采集并输出的同时，输出标定的内参和与第一触发信号同步的实时外参。通过对内参和外参进行标定并输出与触发信号同步的实时外参，便于微处理器400对接收的图像和惯性参数进行融合和处理。
在一个实施例中，惯性测量模块300在根据第二触发信号进行同步惯性采集，输出与第二触发信号同步的惯性参数之前，还用于根据接收的测量标定参数进行参数标定。
具体地，测量标定参数包括内参和外参，在根据接收的测量标定参数进行参数标定时，分别对内参和外参进行标定。进一步地，惯性测量模块300的内参包括温度漂移和上电漂移，外参包括惯性测量模块自身坐标系与世界坐标系之间的旋转矩阵和平移矩阵。惯性测量模块300接收时钟模块100发送的第二触发信号进行惯性参数的采集并输出的同时，和输出标定的内参及与第二触发信号同步的实时外参。通过对内参和外参进行标定并输出与触发信号同步的实时外参，便于微处理器400对接收的图像和惯性参数进行融合和处理。
在一个实施例中，时钟模块为gps(globalpositioningsystem，全球定位系统)时钟模块。
具体地，gps时钟是一种基于最新型gps高精度定位授时模块开发的时钟模块，能够按照用户需求输出符合规约的时间信息格式，从而完成同步授时服务。gps时钟主要分为两类，一类是gps授时仪，主要输出时标信息，包括1pps(pulsepersecond，秒脉冲)及tod(timeofday，时间信息)信息；另外一类是gps同步时钟，后者输出利用卫星信号驯服ocxo(ovencontrolledcrystaloscillator，恒温晶体振荡器)或者铷钟得到的高稳定频率信息，以及本地恢复的更平稳的时标信号。gps同步时钟由于恒温晶体振荡器精密控温，使晶体工作在零温度系数点的温度上，具有精度高和稳定性强的优点。可以理解，时钟模块100还可以为其它类型的时钟，比如说cdma时间同步时钟，只要能够完成触发信号的发送均可。
上述摄像与惯性测量传感装置通过时钟以固定的频率来分别触发摄像模块200和惯性测量模块300，根据时钟模块100向惯性测量模块300发送触发信号的频率和向摄像模块200发送触发信号的频率之间的关系，使得摄像模块200与惯性测量模块300的输出在某一特定时间上同步，并且摄像模块200与惯性测量模块300协同工作，能够在时间上和空间上对摄像模块200与惯性测量模块300的输出进行同步和校准，具有精度高、响应快和计算简单的特点。相对于传统的摄像与惯性测量分立的传感器具有可靠性高的优点。
请参阅图3，一种场景分割系统，包括上述任意一项的摄像与惯性测量传感装置，还包括场景分割模块500，场景分割模块500连接微处理器400。
具体地，摄像与惯性测量传感装置的微处理器400接收带有相同时间戳的摄像模块200所采集的图像和惯性测量模块300所采集的惯性参数并进行融合处理之后，得到rgbd图像，发送到场景分割模块500进行下一步处理。场景分割模块500基于场景分割网络，将所接收的rgbd图像场景分割网络中，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果，尺度回归层为场景分割网络的中间卷积层，输出与待分割图像对应的场景分割结果。
上述场景分割系统，摄像与惯性测量传感装置通过时钟以固定的频率来分别触发摄像模块200和惯性测量模块300，根据时钟模块100向惯性测量模块300发送触发信号的频率和向摄像模块200发送触发信号的频率之间的关系，使得摄像模块200与惯性测量模块300的输出在某一特定时间上同步，微处理器400接收具有相同时间戳的图像和惯性参数进行融合处理之后发送到场景分割模块500进行相应的场景分割处理，使得并且摄像模块200、惯性测量模块300、微处理器400和场景分割模块500之间协同工作，能够在时间上和空间上对摄像模块200与惯性测量模块300的输出进行同步和校准，有效地提高了图像场景分割的处理效率。
请参阅图4，一种位姿计算系统，包括上述任意一项的摄像与惯性测量传感装置，还包括位姿计算模块600，位姿计算模块600连接微处理器400。
具体地，摄像与惯性测量传感装置的微处理器400接收带有相同时间戳的摄像模块200所采集的图像和惯性测量模块300所采集的惯性参数并进行融合处理之后，得到rgbd图像，发送到位姿计算模块600进行下一步处理。位姿计算模块600接收微处理器400发送的rgbd图像之后，采用brief算法计算描述子对图像进行特征匹配，得到摄像模块200的当前位姿，之后对摄像模块200的当前位姿进行卡尔曼滤波，得到视觉位姿，然后获取惯性测量模块300在三维空间产生的惯性参数，即加速度和角速度值，并对加速度和角速度值进行积分运算，得到惯性位姿，对得到的对视觉位姿和惯性位姿进行卡尔曼融合，得到位姿计算结果。
上述位姿计算系统，摄像与惯性测量传感装置通过时钟以固定的频率来分别触发摄像模块200和惯性测量模块300，根据时钟模块100向惯性测量模块300发送触发信号的频率和向摄像模块200发送触发信号的频率之间的关系，使得摄像模块200与惯性测量模块300的输出在某一特定时间上同步，微处理器400接收具有相同时间戳的图像和惯性参数进行融合处理之后发送到位姿计算模块600进行相应的位姿计算处理，使得并且摄像模块200、惯性测量模块300、微处理器400和位姿计算模块600之间协同工作，能够在时间上和空间上对摄像模块200与惯性测量模块300的输出进行同步和校准，有效地提高了位姿计算的处理效率。
更进一步地，摄像与惯性测量传感装置还可以应用于目标物检测、场景重建移动机器人和无人驾驶等需要进行图像感知的系统或设备上。在一个实施例中，以移动机器人为例，移动机器人需要适时的进行外界环境感知从而进行相应的动作，通过摄像与惯性测量传感装置的时钟以固定的频率来分别触发摄像模块200和惯性测量模块300，根据时钟模块100向惯性测量模块300发送触发信号的频率和向摄像模块200发送触发信号的频率之间的关系，使得摄像模块200与惯性测量模块300的输出在某一特定时间上同步，并且摄像模块200与惯性测量模块300协同工作，能够在时间上和空间上对摄像模块200与惯性测量模块300的输出进行同步和校准。相对于传统的移动机器人采用分立的传感器进行感知，上述摄像与惯性测量传感装置具有精度高、响应快和计算简单的优点，通过上述摄像与惯性测量传感装置能够提高移动机器人在场景分割、位姿计算等方面的处理效率和准确性。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。