传感器及传感信息处理方法与流程

本申请属于传感技术领域，尤其涉及一种传感器及传感信息处理方法。

背景技术：

随着机器人应用的逐渐兴起，同时具备位置追踪功能、以及环境场景感知功能的设备变得越来越重要。其中，用计算机视觉方法做位置追踪与环境场景感知对图像数据的需求不相同，例如：位置追踪要求传感器感应环境亮度信息，另外需要大角度，高动态范围等；用环境场景感知需要彩色信息，并且需要无畸变的图像信息等。

为了减少数据的传输量以及提高后续设备的图像处理效率，图像传感器可以对感应到的原始图像数据进行预处理，来获得预处理后的图像数据以提供给后续设备使用。

如上面所述的，由于进行位置追踪和环境场景感知的需求不同，因此，一般而言，具备上述两种功能的设备通常会通过装配两套独立的传感器(每套传感器包含独立的图像传感模块以及图像预处理模块)来完成，然而，这往往意味着更高的成本和更低的数据处理效率。

技术实现要素：

本申请实施例提供一种基于传感器的解决方案。

在一种可能的实施方式中，提供了一种传感器，包括：

至少一图像传感模块，用于获取至少一组原始图像数据；

图像预处理模块，用于：

从所述至少一图像传感模块获取所述至少一组原始图像数据；

对所述至少一组原始图像数据中的一组原始图像数据进行第一图像预处理得到用于位置追踪的第一预处理图像数据；以及，

对所述至少一组原始图像数据进行第二图像预处理得到用于环境场景感知的第二预处理图像数据；

数据接口模块，用于从所述图像预处理模块获取并向至少一外部设备提供所述第一预处理图像数据和/或第二预处理图像数据。

在另一种可能的实施方式中，提供了一种传感信息处理方法，包括，通过一传感器实施下面的操作：

获取与至少一图像传感模块对应的至少一组原始图像数据；

对所述至少一组原始图像数据中的一组原始图像数据进行第一图像预处理得到用于位置追踪的第一预处理图像数据；

对所述至少一组原始图像数据进行第二图像预处理得到用于环境场景感知的第二预处理图像数据；以及，

向至少一外部设备提供所述第一预处理图像数据和/或第二预处理图像数据。

本申请实施例中通过在一个传感器中对获取的原始图像数据进行分别与位置追踪和环境场景感知对应的预处理，通过单个传感器就可以向其它设备提供用于位置追踪的第一预处理图像数据和用于环境场景感知的第二预处理图像数据，这意味着两种传感器可以共用相同的图像处理技术，因此提高了实现位置追踪和环境场景感知两种功能的计算和存储效率，同时这也意味着更低的设备成本和能源开销。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1是本申请第一实施例提供的一种传感器的结构示意；

图2是本申请第二实施例提供的一种传感器对原始图像数据进行预处理的示意图；

图3是本申请第二实施例提供的一种传感器对原始图像数据进行预处理的示意图；

图4是本申请第二实施例提供的一种传感器对原始图像数据进行预处理的示意图；

图5是本申请第四实施例提供的基于一种传感器的数据处理方法的流程示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请第一实施例提供的一种传感器100的结构示意，包括：

至少一图像传感模块110，用于获取至少一组原始图像数据；

图像预处理模块120，用于：

从所述至少一图像传感模块获取所述至少一组原始图像数据；

对所述至少一组原始图像数据中的一组原始图像数据进行第一图像预处理得到用于位置追踪的第一预处理图像数据；以及，

对所述至少一组原始图像数据进行第二图像预处理得到用于环境场景感知的第二预处理图像数据；

数据接口模块130，用于从所述图像预处理模块获取并向至少一外部设备提供所述第一预处理图像数据和/或第二预处理图像数据。

本申请实施例中通过单个传感器就可以向其它设备提供用于位置追踪的第一预处理图像数据和用于环境场景感知的第二预处理图像数据，提高实现位置追踪和环境场景感知两种功能的效率，同时保留最低的设备和能源开销。

在一种可能的实施方式中，可选地，除了所述图像传感模块110以外，所述传感器还可以包括可以用于位置追踪和/或环境场景感知的至少一其它传感模块。例如惯性传感模块，比如角速度传感模块，加速度传感模块；地磁传感模块；气压计；色温传感模块；或其他传感器等。这些传感模块获取的原始传感数据也可以经过分别与位置追踪和/或环境场景感知对应的处理后，与第一预处理图像数据和/或第二预处理图像数据一起被数据接口模块向外部设备提供。

所述图像预处理模块120用于对所述至少一组原始图像数据进行处理。在一些可能的实施方式中，所述图像预处理模块可以为现场可编程逻辑器件(FPGA)、数字信号处理器(DSP)以及其他可能的数据处理单元中的一种。

所述数据接口模块130可以通过有线或无线的方式向外部设备提供对应的数据。例如，在一种可能的实施方式中，所述数据接口模块130包括USB传输芯片；在另一种可能的实施方式中，所述数据接口模块130为网口传输芯片等。

在一种可能的实施方式中，可选地，所述传感器可以根据外部设备的需要有选择的输出所述第一预处理图像数据、或第二预处理图像数据、或同时输出第一预处理图像数据和所述第二预处理图像数据。

如图2所示，在一种可能的实施方式中，可选地，所述至少一图像传感模块为一图像传感模块，所述至少一组原始图像数据为一组原始图像数据。

在本实施方式中，所述第二预处理图像数据往往用于二维环境场景感知。

用图像来做位置追踪，往往需要黑白图像，另外需要对图像进行畸变矫正。对黑白图像的处理中，往往还需要提取图像中的特征点或者特征线等信息。用单个图像来做物体识别时，需要用到彩色图像，另外如果进行过畸变的矫正效果更好。此外，这两种功能对图像的分辨率，视场角等性能指标也各有不同。

下面结合图2对本实施例进行进一步的说明：

本实施例的传感器包括一个图像传感模块210，本实例选择五百万像素的图像传感模块210，分辨率为2560*1920个像素，所述图像传感模块210所配置的镜头的视场角为120度。在本实施例中数据处理模块为现场可编程逻辑器件FPGA 220，数据接口模块为USB2.0(图2中未示出)。

所述图像传感模块210把采集的彩色图像数据(即原始图像数据)传输给所述FPGA 220进行处理。处理后得到用于位置追踪的第一预处理图像数据和用于环境场景感知(物体识别)的第二预处理图像数据。其中，所述第一预处理图像数据包括灰度图像信息和特征点和/或特征线信息(例如包括特征点和/或特征线的坐标信息和算子描述信息)。所述第二预处理图像数据是经过处理后的彩色图像数据。

所述FPGA 220对所述彩色图像数据进行数据预处理的过程如图2所示。图像传感模块210把彩色图像数据传递到所述FPGA 220中，分别被进行第一图像预处理和第二图像预处理。

由于用于位置追踪的图像往往需要比较大的视场角，但是对图像整体的分辨率要求一般不高，因此，在本实施方式中，所述第一图像预处理包括：

第一步，保留原始图像的全部视场角图像，但是对图像进行下采样处理，得到分辨率比较低的图像以节省运算资源。

第二步，提取图像的灰度信息得到灰度图像。

由于进行位置追踪往往只需要灰度图像，提取出灰度图像可以节省传输的带宽和运算资源。在一种可能的实施方式中，原始图像数据格式为YUV格式，占用两个字节的长度，其中Y就是图像的灰度信息，直接取出可以组成新的灰度图像。

第三步是对灰度图像做畸变矫正。

图像传感模块的镜头往往带有几何畸变，特别在大角度的镜头上。对图像进行畸变矫正来补偿这些畸变，可以让之后提取到的特征信息能够更准确的反映它们在空间中的位置。通过事先测量镜头的相关参数能够准确的得到系统畸变的情况，可以进行畸变反向投影矫正。

第四步是提取灰度图像中的特征点和\或特征线的信息。

其中，提取特征点的方法有很多，比如用SIFT特征方法，SURF特征方法，ORB特征方法等等。特征点信息中的算子描述信息与具体的提取特征点的方法对应。

可以看出通过上面的几步操作，得到用于位置追踪的第一预处理图像数据：所述灰度图像信息和所述特征点和\或特征线的信息。

由于用于环境场景感知的图像往往不需要大角度，只需要覆盖被感知物体即可，但是需要分辨率尽可能高。因此，本实施方式中，所述第二图像预处理并不与第一图像预处理相似地对原始图像数据进行下采样，而是可以在原始图像数据中裁剪相应的视场角图像，但是保留裁剪的图像的全部的像素。

由于中心区域的图像成像质量往往比边缘区域好，因此，在本实方式中，所述第二图像预处理裁剪中心区域60°的视场角的图像信息。

在本实施方式中，所述第二图像预处理还对裁剪的图像进行了图像畸变矫正补偿处理、以及色彩增强等其他颜色处理，最终得到第二预处理图像数据：彩色图像。

上面所述的第一图像预处理和第二图像预处理仅仅是本申请列举的一种实施方式，事实上，根据外部设备对数据的需要，本领域技术人员可以在所述第一图像预处理和第二图像预处理中增加其他处理操作、或减少部分处理操作。

在另一种可能的实施方式中，所述至少一图像传感模块为多个图像传感模块，所述至少一组原始图像数据为分别对应于所述多个图像传感模块的多组原始图像数据。如图3所示，在一种可能的实施方式中，所述传感器包括两个图像传感模块310，所述两个图像传感模块310获取两组原始图像数据。本实施例中，所述两个图像传感模块310用于进行三维环境场景感知。当然，在其他可能实施方式中，根据需要，所述传感器还可以包括三个或更多的图像传感模块，这里不再一一列举。

如图3所示，在本实施例中，图像预处理模块是现场可编程逻辑器件FPGA320，数据接口模块为USB2.0(图3中未示出)。所述两个图像传感模块310把两幅彩色原始图像数据传输给所述FPGA 320进行图像预处理。处理后得到用于位置追踪的数据和用于三维环境场景感知的数据。与上一个实施例类似的，本实施例中，用于位置追踪的数据包括灰度图像信息和特征点和/或特征线的描述信息。与上一个实施例不同的是，用于三维环境场景感知的数据除了经过处理后的彩色图像外，还包括三维深度图数据。

在本实施例中，为了获得所示深度图数据，所述FPGA320需要分别对两个原始图像数据经过相同的图像裁剪和/或缩放和图像畸变矫正补偿的操作，以待进一步操作。因此，本实施例中，所述第一图像预处理用于对所述两幅原始图像数据中的一幅原始图像数据进行处理，可以包括上面所述的图像裁剪和/或缩放和图像畸变矫正补偿的操作，然后与上一实施例类似的，所述第一图像预处理还包括图像去灰度图信息操作、取点特征信息操作等以获得用于位置追踪的灰度图像信息和特征点和特征线信息。

所述第二图像预处理对所述两幅原始图像数据进行操作。其中，由于所述第一图像预处理和所述第二图像预处理对图3中左路的原始图像数据进行的图像裁剪和/或缩放和图像畸变矫正补偿的操作可以是相同的，因此对于这两步操作，所述第一图像预处理和第二图像预处理是重合的，可以不需要重复处理，而是第一和第二图像预处理共用上面两步操作的结果。这样可以进一步减少图像处理的处理量，提高图像预处理的效率。

如图3所示，在本实施例中，右路的原始图像数据经过所述第二图像预处理的图像裁剪和/或缩放和图像畸变矫正补偿的操作后，可以得到用于环境场景感知的彩色图像(在其他可能的实施方式中，还可以对操作后的结果进行例如颜色增强等其他颜色处理等)。

两路原始图像数据分别经过所述图像裁剪和/或缩放和图像畸变矫正补偿的操作后，所述第二图像预处理还包括对两路原始图像数据操作后的结果进行双目算视差图像信息操作、计算深度图信息操作，以得到所述第二预处理图像数据中的深度图信息。

当然，本领域的技术人员可以知道在其他可能的实施方式中，也可以单独对左路的原始图像数据进行所述第一图像预处理得到第一预处理图像数据，这种情况下，所述第一图像预处理和所述第二图像预处理对所述左路的原始图像数据的前两步操作可以不相同，例如可以不对左路的原始图像数据进行裁剪操作；单独对左右两路原始图像数据进行第二图像预处理得到对应的第二预处理图像数据。

在本申请又一个可能的实施例中，还可以在所述第一图像预处理和第二图像预处理之间进行信息交换以显著的减少无用信息，达到减小数据传输带宽和后端处理运算资源的目的。

如图4所示的传感器实施例是在图3所述传感器的基础上进行的扩展，增加了用于环境场景感知的数据和用于位置追踪的数据之间进行的通信，并根据通信的内容进行了相应的数据处理。

双摄像模块得到的深度图在所测深度上的精度并不完全一样，比如十米以外的深度往往误差较大，在一米左右的深度往往较好。另外，也可能根据应用需要的不同选取某个特定深度范围的信息，比如0.5米到2米的范围。因此，在一些可能的实施方式中，往往只需要使用特定深度范围内的图像信息。

为此，图4所示的实施例中，除了进行图3所示实施例中对应的第一和第二图像预处理操作外，所述第一图像预处理还包括：

根据所述深度图信息中设定深度范围内对应的图像坐标信息对所述灰度图像信息以及所述特征点和/或特征线信息进行筛选，得到所述深度范围内的灰度图像信息、以及所述深度范围内的灰度图像信息中的特征点和/或特征线信息；

所述第二图像预处理还包括：

根据所述图像坐标信息对所述彩色图像信息进行筛选，得到所述深度范围内的彩色图像信息。

如上面所述的，这里的设定的深度范围可以是误差较小的有效深度范围，也可以是根据应用需要自行设定的深度范围。

在本实施例中，通过过滤深度图中特定范围，可以得到这个范围中对应的图像坐标信息。通过这些坐标信息进一步筛选灰度图像信息，特征点和特征线线信息，彩色图像信息，就可以得到感兴趣的深度范围内的相应数据了。因为感兴趣的深度范围内的数据只是所有数据的子集，送出到传感器之外的数据量就能够显著的减少。

如图5所示，本申请一种可能的实施例还提供了一种传感信息处理方法，包括，通过一传感器实施下面的操作：

S510获取与至少一图像传感模块对应的至少一组原始图像数据；

S520对所述至少一组原始图像数据中的一组原始图像数据进行第一图像预处理得到用于位置追踪的第一预处理图像数据；

S530对所述至少一组原始图像数据进行第二图像预处理得到用于环境场景感知的第二预处理图像数据；以及，

S540向至少一外部设备提供所述第一预处理图像数据和/或第二预处理图像数据。

本申请实施例的方法通过单个传感器就可以向其它设备提供用于位置追踪的第一预处理图像数据和用于环境场景感知的第二预处理图像数据，提高实现位置追踪和环境场景感知两种功能的效率，同时保留最低的设备和能源开销。

在一种可能的实施例中，可选地，所述至少一图像传感模块为一图像传感模块，所述至少一组原始图像数据为一组原始图像数据。在本实施例中，可选地，所述第一预处理图像数据包括：灰度图像信息以及所述灰度图像信息中的特征点和/或特征线信息；所述第二预处理图像数据至少包括彩色图像信息。

在一种可能的实施例中，可选地，所述至少一图像传感模块为多个图像传感模块，所述至少一组原始图像数据为分别对应于所述多个图像传感模块的多组原始图像数据。在本实施例中，可选地，所述第一预处理图像数据包括：灰度图像信息以及所述灰度图像信息中的特征点和/或特征线信息；所述第二预处理图像数据包括彩色图像信息和深度图信息。

在本实施例中，可选地，对所述一组原始图像数据进行的所述第一图像预处理和所述第二图像预处理至少部分重合，其中，重合的部分为与得到所述第一预处理图像数据和所述第二预处理图像数据均相关的部分。

在所述至少一图像传感模块为多个图像传感模块一种可能的实施例中，可选地，所述对所述至少一组原始图像数据中的一组原始图像数据进行第一图像预处理得到用于位置追踪的第一预处理图像数据；以及对所述至少一组原始图像数据进行第二图像预处理得到用于环境场景感知的第二预处理图像数据包括：

对所述一组原始图像数据进行所述第一图像预处理的部分预处理，得到灰度图像信息以及所述灰度图像信息中的特征点和/或特征线信息；

对所述多组原始图像数据进行所述第二图像预处理的部分预处理，得到所述深度图和彩色图像信息；

其中，所述第一图像预处理还包括：

根据所述深度图信息中设定深度范围内对应的图像坐标信息对所述灰度图像信息以及所述特征点和/或特征线信息进行筛选，得到所述深度范围内的灰度图像信息、以及所述深度范围内的灰度图像信息中的特征点和/或特征线信息；

所述第二图像预处理还包括：

根据所述图像坐标信息对所述彩色图像信息进行筛选，得到所述深度范围内的彩色图像信息。

在本实施例中，通过过滤深度图中特定范围，可以得到这个范围中对应的图像坐标信息。通过这些坐标信息进一步筛选灰度图像信息，特征点和特征线线信息，彩色图像信息，就可以得到感兴趣的深度范围内的相应数据了。因为感兴趣的深度范围内的数据只是所有数据的子集，送出到传感器之外的数据量就能够显著的减少。

本申请中，方法实施例中对应步骤的进一步的实施方式可以参见装置实施例中对应图像预处理的具体操作，这里不再一一赘述。

在本申请所提供的多个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的基于图像的眼镜识别方法及装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的基于图像的眼镜识别方法及装置的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。