一种基于RGBD的目标识别和场景建模方法及装置与流程

本发明涉及人工智能技术领域，尤其涉及一种激光雷达目标识别和场景建模方法。

背景技术：

目标识别技术(targetidentificationtechnique)，是利用雷达和计算机对遥远目标进行辨认的技术，通过对雷达回波中的幅度、相位、频谱和极化等目标特征信息的分析，在数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。

目前，使用激光雷达进行目标识别，一般先从几何特征，将物体的点云分割好，也就是将不同物体通过点云分割出来，然后通过成像关系和rgbd配准信息，在图像上找到对应的区域，即感兴趣区域（regionofinterest，roi），然后对图像进行识别，后续根据识别结果再进行抓取。这一过程中，会将物体所在场景的图像也包括进来，出现背景干扰项，影响最后的检测精度。要提高激光雷达对目标识别的准确度，就要求对目标所在场景有一个模型进行研究，对物体所在场景进行建模是目标识别研究重要的数据源。

传统方法的目标识别和场景建模是两个独立的流程，各自运行，没有交互，没有相关性。场景建模得出的模拟数据为目标识别提供数据源，这种情况下场景建模模块计算完成后，再将结果发予目标识别模块进行计算，计算速度慢，同时也会造成对目标的识别不准确和建模准度偏差大的问题。

技术实现要素：

本发明实施例的目的在于提出一种基于rgbd的目标识别和场景建模系统，针对传统系统中目标识别和场景建模依次进行，彼此之间数据不参考对照，数据处理速度慢，目标识别和场景建模准确性差的问题，本发明实施例采用目标识别和场景建模同时进行，目标识别模块和场景建模模块得到的数据进行交换、判断和融合，形成了一种处理机制，该系统不仅提升了数据处理的速度，而且提高了对目标识别和场景建模的准确性。其中，“rgbd”包括rgb图像数据和深度数据（d）。

本发明其他实施例的目的还在于提出一种基于rgbd的目标识别和场景建模方法，提升了数据处理的速度，而且提高了对目标识别和场景建模的准确性。

为达此目的，本发明实施例采用以下技术方案：

一种基于rgbd的目标识别和场景建模系统，包括数据采集模块、数据处理模块、场景建模算法模块、目标识别算法模块，

所述数据采集模块用于采集rgbd图像；

数据处理模块用于存储本地数据集，控制各功能模块工作，并对各功能模块传来的数据进行处理；

所述场景建模算法模块用于进行场景建模；

所述目标识别算法模块用于进行目标识别；

所述场景建模算法模块与目标识别算法模块之间数据交换，并根据对方数据进行工作。

进一步地，所述基于rgbd的目标识别和场景建模系统还包括共享内存，所述场景建模算法模块与目标识别算法模块之间通过共享内存进行数据交换。

进一步地，所述的数据处理模块包括卷积神经网络，所述的卷积神经网络用于存储本地数据集，场景建模算法模块、目标识别算法模块通过本地数据集进行训练、学习。

另一方面，一种基于rgbd的目标识别和场景建模方法，包括如下步骤：

a、数据采集模块采集rgbd图像数据并将数据传输给数据处理模块；

b、数据处理模块对数据采集模块进行器件标定，确定数据采集模块的参数；

c、数据处理模块根据步骤b的参数对rgbd图像处理，处理得到rgbd点云数据后发予场景建模算法模块、目标识别算法模块；

d、场景建模算法模块、目标识别算法模块将rgbd点云数据与本地数据集进行训练、匹配，得到建模成功概率、目标识别匹配准度概率，发回数据处理模块；

e、数据处理模块将建模成功概率和目标识别匹配准度概率比较，根据比较结果控制场景建模算法模块、目标识别算法模块进行场景建模、目标识别；

f、场景建模算法模块、目标识别算法模块将场景数据与目标识别结果发予数据处理模块，数据处理模块进行融合，输出。

进一步地，所述的数据匹配包括建模匹配和目标识别匹配，其中所述的步骤d包括如下步骤：

d1、场景建模算法模块、目标识别算法模块分别对卷积神经网络里存储的本地数据集进行训练学习，得到训练参数；

d2、场景建模算法模块、目标识别算法模块接收数据处理模块发来的数据并根据训练参数进行匹配，得到建模成功概率、目标识别匹配准度概率。

进一步地，所述的步骤e包括如下步骤：

e1、数据处理模块将建模成功概率和目标识别匹配准度概率进行比较，得出比较结果；

e2、当目标识别匹配准度概率大于等于建模成功概率时，数据处理模块控制目标识别算法模块进行目标识别，得到目标识别结果，场景建模算法模块根据目标识别结果进行场景建模；

e3、当目标识别匹配准度概率小于建模成功概率时，数据处理模块控制场景建模算法模块进行场景建模，得到场景建模结果，目标识别算法模块根据场景建模结果进行目标识别。

进一步地，所述的场景建模包括：

e21、对rgbd点云数据进行数据处理，提取相关数据，无关数据过滤剔除；

e22、对数据进行分割，获取场景中的各目标物体,在卷积神经网络的本地数据子集中对目标物体进行检索得到匹配的模型,所有模型组合得出重建场景。

8、根据权利要求6所述的一种基于rgbd的目标识别和场景建模方法，其特征在于所述的目标识别包括：

e31、目标识别算法模块将rgbd点云数据中的各个点云簇通过规则进行聚类提取，rgb着色，得到像素；

e32、提取用于表述已知目标的像素，然后，将目标的纹理和层次进行匹配，将目标分割出来；

e33、对目标分割后的rgbd点云数据，通过其轮廓、颜色、距离信息与训练参数匹配，进行判定，分类出数据是否属于目标；

e34、目标检测，通过卷积神经网络训练后，得到针对不同目标的不同参数，形状特征，将图像数据与参数，形状特征对比，把图像中所有的目标准确找出来，确定其位置及范围；

e35、参考场景建模信息进一步判断图像中像素归属目标，完成目标识别。

进一步地，所述的步骤c中，对rgbd图像处理数据处理包括将rgbd图像分成rgb图像和深度图像并按照时间一一对应，按照数据采集模块的参数将rgb图像和深度图像统一在一个坐标系内，对深度图像进行过滤去噪。

进一步地，一种基于rgbd的目标识别和场景建模方法，还包括效果渲染：数据处理模块内置的卷积神经网络对融合后的数据进行训练、数据学习后将新增数据存储到本地数据集里，形成新的数据子集，并对目标进行分类、打标签。

本发明的一个实施例具有以下有益效果：

本实施例使用多线程处理，将目标识别和场景建模进行并行处理，剔除冗余信息，缩减特征提取、匹配和分类的时间，有针对性的数据抓取和融合，提升了数据处理速度。

本发明实施例还提高对目标识别和场景建模的准确性：由于现有技术中，基于背景和基于世界坐标系的地平面假设，需要进行多重映射和变换，故存在匹配一致性的误差。本方法通过数据处理模块进行建模匹配和目标识别匹配，场景建模模块和目标识别模块彼此交换数据，建模结果和目标识别结果相互参考，使得特征提取和处理更加规律一致、对目标轮廓判断更准确，两次进行数据过滤去噪，剔除离群点和杂散点，从而使得用于识别和建模的目标数据信息完整且无其他数据干扰（如背景数据、其他物体数据等，从而使准确率大大提高。

附图说明

图1是本发明实施例1的系统模块示意图。

图2是本发明实施例1的功能框图。

图3是本发明实施例2的系统模块示意图。

图4是本发明实施例2的功能框图。

图中：1、数据采集模块；2、数据处理模块；3、场景建模算法模块；4、目标识别算法模块；5、共享内存；6、原型输出端口；7、演示上位机。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本发明实施例

实施例1

如图1所示，一种基于rgbd的目标识别和场景建模系统，包括数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4，所述数据采集模块1用于采集rgbd图像，数据采集模块1选用网络相机、雷达或深度相机，所述的rgbd图像数据包括rgb图像和深度图像，rgb图像即彩色图像。网络相机用于采集彩色图像，雷达或深度相机用于采集深度图像。

数据处理模块2用于存储本地数据集，控制各功能模块工作，并对各功能模块传来的数据进行处理。所述的本地数据集存储了训练参数，包括：场景建模经本地数据集训练后的用于指导建模的参数，如分类方式、场景物体几何特征匹配、场景内物体长宽高；场景建模算法模块匹配的场景参数；目标识别算法模块匹配的目标的定位坐标；本地数据集接收场景建模算法模块和目标识别算法模块发来的数据并对本地数据集进行更新。

场景建模算法模块3用于进行场景建模；目标识别算法模块4用于进行目标识别；所述场景建模算法模块3与目标识别算法模块4之间数据交换，并根据对方数据进行工作。

所述的数据处理模块2包括卷积神经网络，所述的卷积神经网络用于存储本地数据集，场景建模算法模块3、目标识别算法模块4在卷积神经网络中进行训练、学习。

如图2所示，一种基于rgbd的目标识别和场景建模方法，包括如下步骤：

a、数据采集模块1采集rgbd图像数据并将数据传输给数据处理模块2；

b、数据处理模块2对数据采集模块1进行器件标定，确定数据采集模块1的参数；

所述的器件标定采用棋盘格进行二维标定，分别采用平面拟合方法对rgb相机、采用平面配准方法对雷达或深度相机进行初始参数标定和相对位姿标定，确定数据采集模块1的内外参数。平面拟合方法、平面配准方法为现有技术。

通过对数据采集模块1，即rgb相机、雷达或深度相机的标定，得到rgb相机坐标系和世界坐标系的转换关系、深度相机坐标系和世界坐标系的转换关系、rgb相机和深度相机两个坐标系的转换可以通过公式推导得到，这样数据处理模块可以通过一次变换得到rgb信息和深度信息的融合，时间三维的目标识别和场景建模，目标识别处理结果和场景建模处理结果的融合也变得更加高效。

c、数据处理模块2根据步骤b的参数对rgbd图像处理，处理得到rgbd点云数据发予场景建模算法3模块、目标识别算法模块4；

所述的数据处理包括将rgbd图像分成rgb图像和深度图像并按照时间一一对应，按照步骤b得到的数据采集模块1的参数将rgb图像和深度图像统一在一个坐标系内，对深度图像进行过滤去噪、数据合并、拼接，得到rgbd点云数据。

具体步骤为对深度图像进行过滤去噪、数据合并、拼接，具体步骤为数据处理模块2先将深度图像转化成深度点云图像，再将深度点云图像中的杂点过滤，除去干扰噪声；之后将深度点云图像处理成深度点云数据，并将rgb图像复合到深度点云数据上，对深度点云数据着色，进行数据合并及拼接。

d、场景建模算法模块3、目标识别算法模块4将rgbd点云数据与本地数据集进行匹配，得到建模成功概率、目标识别匹配准度概率，发回数据处理模块；

具体来说，数据匹配包括如下步骤：

d1、场景建模算法模块、目标识别算法模块分别对卷积神经网络里存储的本地数据集进行训练学习，得到训练参数；

其中训练参数包括了场景建模经本地数据集训练后的用于指导建模的参数，如分类方式、场景物体几何特征匹配、场景内物体长宽高；场景建模算法模块匹配的场景参数；目标识别算法模块匹配的目标的定位坐标；体素，数据置信度。

d2、场景建模算法模块、目标识别算法模块接收数据处理模块发来的数据并根据训练参数进行匹配，得到建模成功概率、目标识别匹配准度概率。

e、数据处理模块将建模成功概率和目标识别匹配准度概率比较，根据比较结果控制场景建模算法模块、目标识别算法模块进行场景建模、目标识别；

具体来说，场景建模、目标识别包括如下步骤：

e1、数据处理模块将建模成功概率和目标识别匹配准度概率进行比较，得出比较结果；

e2、当目标识别匹配准度概率大于等于建模成功概率时，数据处理模块控制目标识别算法模块进行目标识别，得到目标识别结果，场景建模算法模块根据目标识别结果进行场景建模；

e3、当目标识别匹配准度概率小于建模成功概率时，数据处理模块控制场景建模算法模块进行场景建模，得到场景建模结果，目标识别算法模块根据场景建模结果进行目标识别。

其中场景建模包括如下步骤：

e21、对rgbd点云数据进行数据处理，提取相关数据，无关数据过滤剔除；

e22、对数据进行分割，获取场景中的各目标物体,在卷积神经网络的本地数据子集中对目标物体进行检索得到匹配的模型,所有模型组合得出重建场景。

当目标识别匹配准度概率大于等于建模成功概率时，场景建模算法模块对目标识别后的rgbd点云数据进行数据处理、场景建模；当目标识别匹配准度概率小于建模成功概率时，场景建模算法模块直接对步骤c得到的rgbd点云数据进行数据处理，场景建模。

目标识别包括如下步骤：

e31、目标识别算法模块将rgbd点云数据中的各个点云簇通过规则进行聚类提取，rgb着色，得到像素；

e32、提取用于表述已知目标的像素，然后，将目标的纹理和层次进行匹配，将目标分割出来；

e33、对彩色图像和步骤e22处理得到的深度点云数据，通过其轮廓、颜色、距离信息与训练参数匹配，进行判定，分类出数据是否属于目标；

e34、目标检测，通过卷积神经网络训练后，得到针对不同目标的不同参数，形状特征，将图像数据与参数，形状特征对比，把图像中所有的目标准确找出来，确定其位置及范围；

e35、参考场景建模信息进一步判断图像中像素归属目标，完成目标识别。

当目标识别匹配准度概率大于等于建模成功概率时，目标识别模块直接对步骤c得到的深度图像点云进行聚类提取、目标识别；当目标识别匹配准度概率小于建模成功概率时，目标识别算法模块对场景建模后的深度图像点云进行聚类提取、目标识别。

f、场景建模算法模块、目标识别算法模块将场景数据与目标识别结果发予数据处理模块，进行融合，输出。

实施例2

如图3所示，一种基于rgbd的目标识别和场景建模系统，包括数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4，所述数据采集模块1用于采集rgbd图像，所述场景建模算法模块3用于进行建模匹配，场景建模；所述目标识别算法模块4用于进行目标检测匹配，目标识别。数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4与实施例1相同。

为了安全便捷的传输rgbd数据，在数据采集模块1和数据处理模块2之间设置原型输出端口6，原型输出端口6可以选择多种通信端口，优选为usb端口。

为了向外界输出图像，本实施例还包括演示上位机7，演示上位机7可以选用电视、电脑、手机等终端。

数据采集模块1采集到rgbd图像并将数据通过原型输出端口6发予数据处理模块3，数据处理模块3接收rgbd图像数据并对数据进行解析、过滤，将目标的深度图像转化为点云数据；对场景建模成功率和目标识别匹配准度概率进行比较，根据结果控制场景建模算法模块4、目标识别算法模块6，将场景建模，目标识别结果融合后发予演示上位机7，发予方式为直接发予演示上位机7或者演示上位机7通过轮询查看的方式获取融合后的数据，即是上位机定时查询数据处理模块是否处理完毕，生成可展示的数据，若有可展示数据则展示，否则，过固定时间后继续查询。

为了提高场景建模算法模块3、目标识别算法模块4之间的数据交换效率，本实施例还包括共享内存5，所述共享内存5用于存储、传输场景建模算法模块3、目标识别算法模块4发来的数据，并接受场景建模算法模块3、目标识别算法模块4提取数据。

如图4所示，为了提高图像质量，本申请方法还包括效果渲染：数据处理模块内置的卷积神经网络对融合后的数据进行训练、数据学习后将新增数据存储到本地数据集里，形成新的数据子集，并对目标进行分类、打标签。

所述的效果渲染包括如下步骤：

g1、进行匹配标示，即对rgb图像和经数据处理模块3处理深度点云数据转化得到的点云进行配准，进行坐标系转换，将rgb信息配准到深度点云数据转化的点云中；

g2、目标统计及分类，通过卷积神经网络对本地数据集进行训练，对数据融合后的图像进行识别和建模。这一步骤与之前的识别、建模步骤相同，是闭环重复操作，达到实时训练，实时更新目标识别和场景建模。

数据输出，演示上位机接收融合后的数据输出，演示。

本方法有效规避多次坐标系转换，使得特征提取和处理更加规律一致、对目标轮廓判断更准确，对背景进行统一处理（非目标物体使用统一物体模拟和空阔场景统一剔除离群点和杂散点），从而使得用于识别和建模的目标数据信息完整且无其他数据干扰（如背景数据、其他物体数据等），从而使准确率大大提高。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。