一种基于三维重建下的动态物体识别的方法及系统与流程

本发明涉及信息技术领域，具体涉及一种基于三维重建下的动态物体识别的方法及系统。

背景技术：

三维重建一直是计算机视觉领域中一个重要的研究方向，它在虚拟现实、物体识别和可视化等方面有着广泛的应用。如何在计算机中对场景进行快速、有效的重建，向来都是计算机视觉研究领域的热点和难点。

三维重建是在一个静态场景下的一系列的图像来估计场景的三维结构。同时估计多视图几何可能不一样复杂的对象识别，它需要许多任务；一些例子包括获得致密重建、创建详细的3d模型或犯罪现场、测量距离的图像、机器人技术、建立一个内部三维模型从图像导航、渲染视频特效等。此外，通过多视图系统获得的信息可以用作更高水平的输入、识别或其他系统。

现有视频对动态物体的识别具有多种跟踪实现，但如何实现跟踪下的三维重建，实现快速插入，得到最终模型仍是本领域技术人员极为关注的技术问题。

技术实现要素：

本发明提供了一种基于三维重建下的动态物体识别的方法及系统，该方法可以有效的实现动态物体的识别，再获得动态物体的三维重建模型，其整个过程简单，识别率较高。

本发明提供了一种基于三维重建下的动态物体识别的方法，包括如下步骤：

基于摄像机获取动态物体的视频图像；

同步获取带有场景深度信息的原始视频图像，并采用灰度幅值与梯度之和进行边缘检测判断，识别动态物体轮廓；

使用klt跟踪器对动态物体轮廓进行跟踪搜索，并一次性实现单像素动态物体的自适应跟踪和快速提取；

选取视频图像中的关键帧，标定单像素动态物体所代表的实际距离，并转化为真实坐标距离；

对选取的关键帧进行重建，对动态物体进行三次样条函数插值，获取动态物体的三维重建模型；

构建原始视频图像和动态物体的视频图像间的极几何约束关系，运用多视角重建理论在原始视频图像所对应的三维模型中插入动态物体的三维重建模型。

所述基于摄像机获取动态物体的视频图像包括：

采用matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正，并得到校正后内外参数，然后进行线性高通滤波。

所述选取视频图像中的关键帧包括：

先设置一个参考阈值，在对整个视频的特征点跟踪轨迹中，使用klt跟踪器统计视频帧中的特征点能维持到最后一帧的数量，如果满足所述数量则该帧作为关键帧保留。

所述使用klt跟踪器对动态物体轮廓进行跟踪搜索包括：

选取跟踪时间最长所对应的帧图像最多的n个对应特征点；计算所述n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；建立观测矩阵w，并基于小波变换将观测矩阵w进行分解处理。

所述采用灰度幅值与梯度之和进行边缘检测判断，识别动态物体轮廓包括：

对动态物体轮廓进行小波去燥平滑处理。

相应的，本发明还提供了一种基于三维重建下的动态物体识别的系统，其特征在于，该系统包括：

采集模块，用于基于摄像机获取动态物体的视频图像；

识别模块，用于同步获取带有场景深度信息的原始视频图像，并采用灰度幅值与梯度之和进行边缘检测判断，识别动态物体轮廓；

跟踪模块，用于使用klt跟踪器对动态物体轮廓进行跟踪搜索，并一次性实现单像素动态物体的自适应跟踪和快速提取；

帧提取模块，用于选取视频图像中的关键帧，标定单像素动态物体所代表的实际距离，并转化为真实坐标距离；

三维重建模块，用于对选取的关键帧进行重建，对动态物体进行三次样条函数插值，获取动态物体的三维重建模型；

三维系统模块，用于构建原始视频图像和动态物体的视频图像间的极几何约束关系，运用多视角重建理论在原始视频图像所对应的三维模型中插入动态物体的三维重建模型。

所述采集模块还用于采用matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正，并得到校正后内外参数，然后进行线性高通滤波。

所述帧提取模块先设置一个参考阈值，在对整个视频的特征点跟踪轨迹中，使用klt跟踪器统计视频帧中的特征点能维持到最后一帧的数量，如果满足所述数量则该帧作为关键帧保留。

所述跟踪模块选取跟踪时间最长所对应的帧图像最多的n个对应特征点；计算所述n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；建立观测矩阵w，并基于小波变换将观测矩阵w进行分解处理。

所述识别模块还用于对动态物体轮廓进行小波去燥平滑处理。

在本发明中，采用摄像头即可实现对动态物体的识别过程，并获得三维重建模型，其构建的三维重建模型可以较好的实现插入原有模型库中。采用klt跟踪算法、优化了特征点模型，提高了跟踪效率，从而达到最佳效果。针对原有视频图像与采集的动态物体视频图像之间的约束关系，采用先提取视频中的关键帧作为子集，保证最终系统重建的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于三维重建下的动态物体识别的方法流程图；

图2是本发明实施例中的基于三维重建下的动态物体识别的系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

相应的，图1示出了本发明实施例中的基于三维重建下的动态物体识别的方法流程图，具体包括如下步骤：

s101、基于摄像机获取动态物体的视频图像；

基于摄像机实时采集动态物体的视频图像，获取视频图像的来源，这些动态物体可以是生物，也可以是动态的机器设备等等。相对于原有的静止状态下，其为一个动态行为特征。

具体实施过程中，采用matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正，并得到校正后内外参数，然后进行线性高通滤波。

s102、同步获取带有场景深度信息的原始视频图像，并采用灰度幅值与梯度之和进行边缘检测判断，识别动态物体轮廓；

在采集过程中，同步原始视频图像，可以快速基于相关判断规则，识别出动态物体轮廓，实现后续快速跟踪和提取。

s103、使用klt跟踪器对动态物体轮廓进行跟踪搜索，并一次性实现单像素动态物体的自适应跟踪和快速提取；

选取跟踪时间最长所对应的帧图像最多的n个对应特征点；计算所述n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；建立观测矩阵w，并基于小波变换将观测矩阵w进行分解处理。

s104、选取视频图像中的关键帧，标定单像素动态物体所代表的实际距离，并转化为真实坐标距离；

具体实施过程中，先设置一个参考阈值，在对整个视频的特征点跟踪轨迹中，使用klt跟踪器统计视频帧中的特征点能维持到最后一帧的数量，如果满足所述数量则该帧作为关键帧保留。该参考阈值范围在100到400之间，提取关键帧有两个标准，以测试框架参考系与一个参考阈值进行比较来计算跟踪点的数量，跟踪如果低于这个参考阈值，则为一个关键帧。也可以使用分布处理的方法，将视频图像分成大小相同的若干个图像块进行处理，比如视频图像分割为3*3块，每个小块中的值会被记录下来。这些值值包含超过6个轨迹点的值，当一个关键帧被识别，值将会被覆盖保存。

通过关键帧的选择以及标定实际距离，可以针对动态物体在三维重建模型中的位置定位，获取相关三维模型中的位置参数等等。

s105、对选取的关键帧进行重建，对动态物体进行三次样条函数插值，获取动态物体的三维重建模型；

具体实施过程中，还涉及到对动态物体轮廓进行小波去燥平滑处理。

s106、构建原始视频图像和动态物体的视频图像间的极几何约束关系，运用多视角重建理论在原始视频图像所对应的三维模型中插入动态物体的三维重建模型。

通过原始视频图像与动态物体的视频图像间的约束关系，可以实现整个三维模型中的插入过程，及时构建了三维形体模型间的插入匹配，从而实现了三维重建下的动态物体识别过程。

由此可见，采用摄像头即可实现对动态物体的识别过程，并获得三维重建模型，其构建的三维重建模型可以较好的实现插入原有模型库中。采用klt跟踪算法、优化了特征点模型，提高了跟踪效率，从而达到最佳效果。针对原有视频图像与采集的动态物体视频图像之间的约束关系，采用先提取视频中的关键帧作为子集，保证最终系统重建的稳定性。

相应的，图2示出了本发明实施例中的基于三维重建下的动态物体识别的系统结构示意图，包括：

采集模块，用于基于摄像机获取动态物体的视频图像；

识别模块，用于同步获取带有场景深度信息的原始视频图像，并采用灰度幅值与梯度之和进行边缘检测判断，识别动态物体轮廓；

跟踪模块，用于使用klt跟踪器对动态物体轮廓进行跟踪搜索，并一次性实现单像素动态物体的自适应跟踪和快速提取；

帧提取模块，用于选取视频图像中的关键帧，标定单像素动态物体所代表的实际距离，并转化为真实坐标距离；

三维重建模块，用于对选取的关键帧进行重建，对动态物体进行三次样条函数插值，获取动态物体的三维重建模型；

三维系统模块，用于构建原始视频图像和动态物体的视频图像间的极几何约束关系，运用多视角重建理论在原始视频图像所对应的三维模型中插入动态物体的三维重建模型。

所述采集模块还用于采用matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正，并得到校正后内外参数，然后进行线性高通滤波。

所述帧提取模块先设置一个参考阈值，在对整个视频的特征点跟踪轨迹中，使用klt跟踪器统计视频帧中的特征点能维持到最后一帧的数量，如果满足所述数量则该帧作为关键帧保留。

所述跟踪模块选取跟踪时间最长所对应的帧图像最多的n个对应特征点；计算所述n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；建立观测矩阵w，并基于小波变换将观测矩阵w进行分解处理。

所述识别模块还用于对动态物体轮廓进行小波去燥平滑处理。

综上，采用摄像头即可实现对动态物体的识别过程，并获得三维重建模型，其构建的三维重建模型可以较好的实现插入原有模型库中。采用klt跟踪算法、优化了特征点模型，提高了跟踪效率，从而达到最佳效果。针对原有视频图像与采集的动态物体视频图像之间的约束关系，采用先提取视频中的关键帧作为子集，保证最终系统重建的稳定性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明实施例所提供的基于三维重建下的动态物体识别的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。