一种基于多目图像传感器的信号处理方法及系统与流程

本发明涉及多目立体机器视觉的人工智能领域，主要一种基于多目图像传感器的信号处理方法及系统。

背景技术：

目前在汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域，使用的图像处理技术基本上以单目摄像传感器为主，即便有双目(双视点)的方法也都很难实时呈现被拍摄空间的三维影像和多目标跟踪，而在上述领域，对于空间的识别、目标的检测、以及三维重建等实时性的需求是一个亟待解决的工程技术问题。

技术实现要素：

本发明要解决的技术问题是提供一种更好地识别三维空间环境的基于多目图像的信号处理方法及系统。

为了解决上述技术问题，本发明提供了一种基于多目图像传感器的信号处理方法，包括：a)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；b)对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；c)通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。

进一步地，所述步骤a)还包括通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别。

进一步地，所述步骤a)中在每一帧图像上标注微秒级精度的时间码和帧码。

进一步地，所述多组立体图像传感器中，主视角为三视点的立体图像传感器，其余为双视点立体图像传感器。

进一步地，在持续时间内处理换算多个被拍摄空间的三维纵深坐标信息，对比多个所述三维纵深坐标信息追踪被拍摄空间内的移动目标。

进一步地，对所述被拍摄空间内一定距离范围的目标进行距离、时间、相位信息定量标注。

进一步地，通过被拍摄空间的三维纵深坐标信息生成被拍摄空间内的环视视差3d点云图像。

为了解决上述技术问题，本发明提供了一种基于多目图像传感器的信号处理系统，包括：立体图像采集模块，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；图像信息计算模块，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；空间坐标信息换算模块，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。

进一步地，还包括红外成像传感器，用以通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别。

进一步地，还包括图像标注单元，用于在每一帧图像上标注微秒级精度的时间码和帧码。

本发明通过多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像，对采集的图像进行融合换算等处理，能精确还原被拍摄空间的三维纵深坐标信息，应用于汽车自动驾驶道路路况识别以及多目标障碍物检测跟踪、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等。

附图说明

图1是本发明信号处理方法的流程图。

图2是本发明信号处理系统的组件框图。

图3是本发明的运行流程图。

图4是本发明一种具体实施方式模块原理图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明一种基于多目图像传感器的信号处理方法，包括：

步骤s101，使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；

步骤s102，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；

步骤s103，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。

图2所示本发明的信号处理系统，包括立体图像采集模块10，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；图像信息计算模块20，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；空间坐标信息换算模块30，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。

本发明的多组立体图像传感器采用立体空间内不同相位的至少双视点立体摄像头，实时拍摄可见光与非可见光的空间内多路、每路双视点视差图像，优选采用的每秒钟帧数率为30-60帧图像信号，以对空间场景内的固定和移动目标，进行有效的立体视差拍摄。优选地，本发明还包括图像标注单元，优选用于在每一帧图像上标注微秒级精度的时间码和帧码，还可用于标注镜头号、相位组号等标识信息。在不同的空间相位有效地抓取固定场景和移动目标动态图像信息，一方面可以更加准确的记录场景与目标的起始变化过程，另一方面由于采用了多组摄像头，通过两个摄像头的视差信息可以计算出空间内场景与移动目标的深度信息。这种方法在目标识别的准确率、精度和稳定性方面比单组摄像头进行图像识别要提高很多。

由于环境光线明暗变化对于可见光图像识别有一定的干扰性，为了提高整体系统的可靠性、稳定性，本发明还可包括红外成像传感器，用以通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别，在立体空间的识别图像信号的采集过程中选择加入红外光主动成像传感器，通过红外光对空间主动扫描加强对空间场景三维信息的甄别，从而可以更加准确的判断场景与目标的视差信息，为后续的信号处理提供稳定可靠的空间信号源。

本发明的多路信号数目不作具体限制，但该多路信号应至少两两分组，以采集至少双视点信号。优选地，用于采集多路信号的多组立体图像传感器中，主视角为可采集三路信号的三视点的立体图像传感器，其余为双视点立体图像传感器。如采101路信号可分为50个采集单元，其中主视角为三视点多目立体图像传感器，其余都为双视点立体图像传感器，这样可以精确拍摄应用场景中360度范围内的三维立体空间场景。

本发明进行多路图像进行融合和视差计算时，多个立体图像传感器采集的立体对图分别送到处理器的对应处理单元，进行并行处理。首先是将每组立体对图信号进行两两或三三(主视角为三视点)的图像信号融合，在融合的基础上对每一组立体对图的相应像素点视差计算和比对，即将立体图对图像进行左右图信号融合比对，匹配、提取特征像素点，计算出目标像素点的视差信息。另外，本发明还在处理器中预留了前后动态图像帧间比对的计算空间，以运行于本发明相关的运动帧间光流信息，包括：图像信号中的角点检测、边缘轮廓、物体间距、结构点、纹理、明暗等信息。需要特别指出的是，用于本发明的处理器还应为不同工程应用场景的二次开发预留相应的接口。

本发明进行视差矩阵转换及换算三维纵深坐标时，针对不同相位的多视点立体传感器图像视差的计算结果，用多组立体图像的立体图对像素点视差矩阵，将这些视差矩阵换算成被拍摄空间的360度环视空间坐标。即通过计算得出的视差信息建立每一对图像帧的像素视差矩阵，将视差矩阵换算成被拍摄场景的x、y、z三轴空间坐标系信息。并根据此坐标梳理被拍摄空间内的场景、物体、障碍物、静止与移动目标、景深距离等空间定量信息。

优选地实施方式中，本发明可包括多目标识别与跟踪，应用时，在持续时间内处理换算多个被拍摄空间的三维纵深坐标信息，对比多个所述三维纵深坐标信息追踪被拍摄空间内的移动目标，通过移动目标的坐标改变追踪被拍摄空间内的移动目标。此时，系统将三维场景内的特定目标进行识别和跟踪，将静止(障碍物)与移动目标的场景空间坐标x、y、z的轴向信息(此信息由上述s102、s103两个步骤计算得来)在多目立体传感器拍摄的单位时间内图像变化信息加以分析计算比对得出。

优选地实施方式中，本发明可包括对所述被拍摄空间内一定距离范围的目标进行距离、时间、相位信息定量标注。处理器根据视差矩阵通过坐标系换算，对被拍摄空间内一定距离如0到200米的场景距离、时间、相位信息进行定量标注，如障碍物标注、跟踪目标距离、相位变换等。

优选地实施方式中，本发明可包括三维空间图像信号处理，通过被拍摄空间的三维纵深坐标信息生成被拍摄空间内的环视视差3d点云图像。即通过s102、s103两个步骤获得的基础数据，处理器可以生成被拍摄场景内的环视视差3d点云图像，这些点云图像可以记录、存储、实时显示，以满足不同行业的应用需要。图3为本发明的运行流程图。

此外，本发明通过配合不同的api接口(applicationprogramminginterface,应用程序编程接口)得到广泛的应用。如通过配合相应的图像处理专用软件可以把相关的空间信息以数字化的形式直接在多视点拍摄的图像上进行显示，采用3d立体显示器作为显示终端，直接输出左右格式(sidebyside)的立体对图图像，让观看者可以亲身感受到真实的立体空间场景(与看3d立体电影一样)。

图4所示为本发明的一具体实现实施方式结构，该实施方式采用a～g共7组13路立体图像传感器，配合使用fpga(field－programmablegatearray，现场可编程门阵列)芯片，每组立体图像传感器均至少可采集l、r两路图像信号，其中主传感器可采集l、m、r三路图像信号。每组传感器均与fpga芯片的相应处理单元a～g相对应，各处理单元处理的信息在主控与运算单元进行进一步汇总和处理，并通过输入输出单元配合相应的api接口输出用于不同的需要。用a～g传感器的各个镜头采集图像信号。同时把每一个采集单元一一对应的立体对图存储并传输到指定的fpga的图像处理单元，然后将被拍摄的多路图像信号进行融合处理，通过还原专用算法将视差信息转化为三维空间的纵深坐标信息，并根据不同行业的应用通过与本发明相关的多目标跟踪与三维场景识别算法开放api接口协议，即可使本发明应用到汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域

本发明通过创新的方法，在多视点立体图像信号处理和工程应用上解决了以下技术问题：

a、将最多101路(2-101路)以内的2k分辨率(1920×1080)图像实时做信号融合处理。本发明最多可以处理101路以内的七组多视点立体图像信号，并且实时对多组(50组以内)立体图像信号进行信号融合，匹配分组号、镜头编号、帧号、时间码等信息。

b、实时计算多路全高清图像的相位视差。

c、实时将图像相位信号的计算结果转化为三维空间坐标信息。将各组多视点立体图像传感器的相位视差转换为被拍摄空间的三维坐标信息，以适应各种不同的工程应用场景。

d、实时将三维空间坐标信息进行标注显示。

e、实时对特定多目标进行跟踪。本发明可以被拍摄场景空间内的固定目标和移动目标进行实时跟踪。

f、实时对所跟踪目标进行空间距离标识。本发明可以实时对被拍摄场景内跟踪的多个目标进行空间相位和空间距离的标注。

本发明在汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、遥感、三维空间环境检测与重建等领域有着广泛的应用前景。未来十年仅汽车自动驾驶领域就有数万亿美元的市场，以人工智能为产业引领的机器人、无人驾驶飞行器也是一个巨大的市场需求，另外，地理测绘、建筑、考古、勘探、通讯保障等方面的市场需求同样庞大。本发明能在这些领域中得到有效的应用，将会对上述领域的生产率提高、成本节约、降低安全风险、产业技术进步产生积极广泛的影响。

从技术角度而言，本项发明的相关技术指标和系统整体性能领先于国际同行业水平(目前欧美还没有类似的产品出现)，极大地提升了我国在多目立体图像传感器的fpga信号处理技术方面技术水平，超越了国外现有的技术标准。

从市场角度来看，本项发明可以创造数亿元人民币的经济效益，同时可以大力出口美国、欧洲、日本等国际市场，为国家创造大量的外汇收入。如果达到批量产能每年十万台套的话，将会解决200～300人劳动就业问题，带动上下游产业链配套企业提供就业岗位1000人左右。

综上所述，本项发明在社会效益、市场前景、技术创新、未来经济效益等方面将会产生多方面的有益成果和价值，可能成为改变汽车自动驾驶、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域工程应用的主要多目立体视觉传感器图像信号处理系统之一。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。