跟踪对象的方法和装置的制造方法
【技术领域】
[0001]本发明涉及跟踪对象的方法和装置，更具体地，本发明涉及利用关于对象的三维模型来确定进行对象跟踪的方法和装置。
【背景技术】
[0002]视频图像中的特定对象的跟踪在很多领域具有重要的意义。根据跟踪结果，可获得特定对象的行为特征。例如近年来，驾驶辅助系统的应用日渐普及。这样的驾驶辅助系统通常在车辆上安装有摄像设备，以便拍摄关于前方道路的图像，并通过分析所拍摄的图像来进行例如对象识别、跟踪前方车辆等处理，从而给出有助于驾驶员驾驶的信息。
[0003]传统的视频对象跟踪方法利用二维图像特征来表征对象，在视频图像的不同帧之间进行特征匹配，从而实现跟踪。然而对象的三维特征在映射到二维图像特征时丢失了大量有用的信息。例如在对象发生旋转(即，对象的朝向发生改变)时，对象的二维图像特征发生较大的改变，从而影响特征匹配的结果和最终对象跟踪的性能。
【发明内容】
[0004]本发明实施例的目的在于提供一种跟踪对象的方法和装置，以解决上述问题。
[0005]本发明的一个实施例提供了一种追踪跟踪对象的方法，包括:从视频图像获得对象的三维结构特征和平面图像特征；根据三维结构特征生成对象的三维空间模型；根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型；以及根据所生成的增强三维模型进行对象跟踪。
[0006]本发明的另一实施例提供了一种追踪跟踪对象的装置，包括:特征获取单元，配置来从视频图像获得对象的三维结构特征和平面图像特征；空间模型构建单元，配置来根据三维结构特征生成对象的三维空间模型；增强模型生成单元，配置来根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型；以及对象跟踪单元，配置来根据所生成的增强三维模型进行对象跟踪。
[0007]在根据本发明实施例提供的跟踪对象的方法和装置中，从采集的视频图像获得的对象的三维结构特征和平面图像特征两者来生成对象的增强三维模型，使得通过所生成的增强三维模型能够更加鲁棒并且有效地实现在视频图像中对于对象的跟踪。
【附图说明】
[0008]图1是描述了根据本发明一个实施例的跟踪对象的方法的流程图。
[0009]图2a是示出了根据本发明的一个示例根据深度信息获得的特征点的示意图。
[0010]图2b是示出了根据本发明的一个示例根据多个特征点同时提取对象在三维空间中的特征线和特征面的示意图。
[0011]图3a是示出了根据本发明的示例获得的一个平面图像特征的示意图。
[0012]图3b是示出了根据本发明的示例获得的另一平面图像特征的示意图。
[0013]图4是描述了根据本发明一个示例的根据所生成的增强三维模型进行对象跟踪的方法的流程图。
[0014]图5是示出了所采集的视频图像的图像帧的一个示例的说明图。
[0015]图6是示出了根据本发明的一个实施例的跟踪对象的装置的示范性结构框图。
[0016]图7是示出根据本发明的一个示例的特征获取单元的示范性结构框图。
[0017]图8是示出了根据本发明的一个示例的对象跟踪单元的示范性结构框图。
[0018]图9是示出了根据本发明的一个示例的预测特征选择模块的示范性结构框图。
[0019]图10是示出按照本发明实施例的跟踪对象的硬件系统的总体硬件框图。
【具体实施方式】
[0020]为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。
[0021]图1是描述了根据本发明一个实施例的跟踪对象的方法100的流程图。下面，将参照图1来描述根据本发明实施例的跟踪对象的方法。在根据本发明的实施例中，视频图像为立体相机所采集的三维视频图像，并且立体相机的具体形式包括但不限于双目相机。此夕卜，在根据本发明的实施例中，视频图像中的对象包括在视频图像的场景中出现的机动车、自行车、行人、动物等活动或行进的对象。
[0022]如图1所示，在步骤S101中，从视频图像获得对象的三维结构特征和平面图像特征。根据本发明的一个示例，在步骤S101中，可从视频图像获得例如视差值之类的深度信息，并且从深度信息获得对象的三维结构特征。例如，三维结构特征可包括对象的特征点、特征线、特征面和/或特征体。
[0023]根据本发明的一个示例，可以依次获得特征点、特征线、特征面和特征体。具体地，根据深度信息获得在三维空间中位于对象各个表面上的多个点(即，对象的三维点云数据)作为特征点。然后，可从所获得的多个特征点提取在三维空间中物体的各个表面之间的边界线作为特征线。在提取了多条特征线的情况下，可根据所确定的特征线在三维空间中构建代表对象的表面特征面，并且可根据所构建的特征面进一步在三维空间中构建代表对象的形状的特征体。
[0024]然而，本发明不限于此。根据本发明另一示例，在根据深度信息获得的特征点足够多的情况下，可从所获得的多个特征点同时提取对象在三维空间中的特征线、特征面和特征体。图2a是示出了根据本发明的一个示例根据深度信息获得的特征点的示意图。图2b是示出了根据本发明的一个示例根据多个特征点同时提取对象在三维空间中的特征线和特征面的示意图。如图2a所示，对象表面上的大量特征点构成虚线框210中的不是黑色的区域。并且如图2b所示，从图2a所示的特征点，提取对象在三维空间中的特征线221-227以及特征面231。此外，还可根据深度信息同时提取对象的特征点、特征线、特征面和特征体。
[0025]根据本发明的又一示例，可从视频图像获得在特定朝向下对象呈现的表面的纹理和/或整体的轮廓作为平面图像特征。图3a是示出了根据本发明的示例获得的一个平面图像特征的示意图。图3b是示出了根据本发明的示例获得的另一平面图像特征的示意图。在图3a和图3b所示的示例中，拍摄视频图像的立体相机位于对象300的正前方。在此情况下，如图3a所示，在根据所拍摄的视频图像获得的对象300的正视图中，可将对象300所呈现的表面310的纹理作为一个平面图像特征，例如表面310的纹理可包括汽车格栅311在表面310上的设置位置和形状，车灯321a和车灯321b在表面310上的设置位置和形状等。此外，可将如图3b所示，可将对象300在正视图中呈现的整体的轮廓330作为另一个平面图像特征。此外，根据本发明示例的平面图像特征不限于此，例如，当位于对象的正后方时，在根据所拍摄的视频图像获得的对象的后视图中，可将对象所呈现的表面的纹理和/或整体的轮廓作为平面图像特征；以及当位于对象的旁边时，在根据所拍摄的视频图像获得的对象的侧视图中，可将对象所呈现的表面的纹理和/或整体的轮廓作为平面图像特征。
[0026]返回图1，在步骤S102中，可在根据所述三维结构特征生成对象的三维空间模型。例如，可结合对象的特征点、特征线、特征面和/或特征体中的至少一部分生成对象的三维空间模型。
[0027]然后，在步骤S103中，可根据平面图像特征和所构建的三维空间模型生成对象的增强三维模型。并且在步骤S104中，可根据所生成的增强三维模型进行对象跟踪。以下将结合图4描述根据所生成的增强三维模型进行对象跟踪的一个示例。
[0028]图4是描述了根据本发明一个示例的根据所生成的增强三维模型进行对象跟踪的方法400的流程图。如图4所示，在步骤S401中，根据先前对于对象的跟踪结果，预测对象在视频图像的下一帧中将呈现的朝向。例如，可采用卡尔