无标记增强现实系统及无标记增强现实系统目标跟踪方法
【专利摘要】本发明公开一种无标记增强现实系统，其包括：特征点提取单元，用于从拍摄设备生成的图像的第一帧中提取多个特征点；跟踪点提取单元，利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点；映射点生成单元，用于将所述多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点；跟踪点筛选单元，用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较，且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除。本发明还公开一种无标记增强现实系统目标跟踪方法。
【专利说明】无标记增强现实系统及无标记增强现实系统目标跟踪方法
【技术领域】
[0001]本发明涉及一种对拍摄设备生成的图像进行特征提取并跟踪的无标记增强现实系统及无标记增强现实系统目标跟踪方法。
【背景技术】
[0002]增强现实技术(Augmented Reality, AR)是在虚拟现实技术的基础上发展起来的新技术，其通过计算机系统将虚拟客体叠加到实际图像中以增强用户感官体验，从而实现对现实的增强。
[0003]目前，很多增强现实系统是基于预先准备的标记(如二维码)等来获取包含实际图像的真实物体的特征信息，从而得到照相机与真实物体的位置关系。然而这种基于标记的增强现实系统在实际应用中必须事先准备标记，并将标记存储于数据库中，因此，这一前提条件使得其应用场景和时间存在限制。
[0004]然而，无标记增强现实系统可以通过对实际图像的特征点检测并通过跟踪特征点来掌握照相机和真实物体的位置关系，可在任何场所即时使用。要掌握好照相机和真实物体位置关系的首要条件是要对实际图像的特征点检测并准确跟踪。
【发明内容】
[0005]为了解决上述现有技术存在的问题，本发明的目的在于提供一种无标记增强现实系统，其包括:特征点提取单元，用于从拍摄设备生成的图像的第一帧中提取多个特征点；跟踪点提取单元，利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点；映射点生成单元，用于将所述多个特征点映射到所述除第一中贞外的每一巾贞中，以生成所述除第一巾贞外的每一巾贞的多个映射点；跟踪点筛选单兀，用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较，且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除。
[0006]进一步地，当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时，所述跟踪点筛选单元将该某一跟踪点排除。
[0007]进一步地，所述跟踪点提取单元包括:空间模型建立单元，用于将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型；空间模型搜索单元，利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点；子跟踪点融合单元，用于将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
[0008]进一步地，所述空间模型搜索单元在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量，且所述空间模型搜索单元基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
[0009]进一步地，所述无标记增强现实系统还包括:单应性矩阵生成单元，利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵；其中，所述映射点生成单元利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点。
[0010]进一步地，所述无标记增强现实系统还包括:异常点剔除单元，用于将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
[0011]本发明的另一目的还在于提供一种无标记增强现实系统目标跟踪方法，其包括步骤:A)从拍摄设备生成的图像的第一帧中提取多个特征点；B)利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点；C)将所述多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点；
D)将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较，且基于所述比较结果来判断是否将所述跟踪点排除。
[0012]进一步地，当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时，所述跟踪点筛选单元将该某一跟踪点排除。
[0013]进一步地，所述步骤B)的具体实现方式包括步骤:B1)将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型；B2)利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点；B3)将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
[0014]进一步地，所述步骤B2)的具体实现方式是:在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量，且基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
[0015]进一步地，所述步骤C)的具体实现方式包括步骤:C1)利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵；C2)利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点。
[0016]进一步地，在执行步骤C)之前，将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
[0017]本发明的无标记增强现实系统及无标记增强现实系统目标跟踪方法，通过对拍摄设备生成的图像进行特征检测和跟踪，无需事先准备标记，比以往的基于标记的增强现实系统有更广泛的适应场景。此外，本发明的无标记增强现实系统及无标记增强现实系统目标跟踪方法，在图像的每一帧的具有不同分辨率和不同尺寸大小的空间模型中进行特征点搜索，使之可适用于本身具备多尺度变化的视频跟踪中，并且在变化过程中能够保持较好的跟踪效果。
【专利附图】
【附图说明】
[0018]通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，附图中:
[0019]图1是示出根据本发明的实施例的无标记增强现实系统的结构的框图。
[0020]图2是示出根据本发明的实施例的无标记增强现实系统目标跟踪方法的流程图。【具体实施方式】
[0021]以下，通过参照附图对实施例进行描述来解释本发明，但本发明并不限制或者局限于实施例。
[0022]图1是示出根据本发明的实施例的无标记增强现实系统的结构的框图。
[0023]参照图1，根据本发明的实施例的无标记增强现实系统可包括特征点提取单元110、跟踪点提取单元120、映射点生成单元130和跟踪点筛选单元140。
[0024]无标记增强现实系统对图像进行特征点检测和跟踪，无需事先准备标记并将标记存储在数据库等工作，可构建无标记的增强现实系统。
[0025]首先，需要对图像进行特征点检测并将检测到的特征点进行提取。
[0026]为此，特征点提取单元110可从拍摄设备(例如照相机、视频照相机、视频摄像机等)生成的图像的第一帧中提取易于跟踪的多个特征点。该多个特征点作为后续跟踪的基准信息。具体而言，在本实施例中，特征点提取单元110可采用角点检测方法对拍摄设备生成的图像的第一帧中的某一点进行移动；其中，如果该某一点被移动后的亮度发生较大变化，则该某一点为易于跟踪的特征点。该某一点被移动后的亮度发生的变化量E (U，V)满足下面的式子。
【权利要求】
1.一种无标记增强现实系统，其特征在于，包括: 特征点提取单元，用于从拍摄设备生成的图像的第一帧中提取多个特征点； 跟踪点提取单元，利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一中贞外的每一帧中提取多个跟踪点； 映射点生成单元，用于将所述多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点； 跟踪点筛选单元，用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较，且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除。
2.根据权利要求1所述的无标记增强现实系统，其特征在于，当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时，所述跟踪点筛选单元将该某一跟踪点排除。
3.根据权利要求1或2所述的无标记增强现实系统，其特征在于，所述跟踪点提取单元包括: 空间模型建立单元，用于将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型； 空间模型搜索单元，利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点； 子跟踪点融合单元，用于将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
4.根据权利要求3所述的无标记增强现实系统，其特征在于，所述空间模型搜索单元在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量，且所述空间模型搜索单元基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
5.根据权利要求1或2所述的无标记增强现实系统，其特征在于，所述无标记增强现实系统还包括: 单应性矩阵生成单元，利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵； 其中，所述映射点生成单元利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点。
6.根据权利要求1或2所述的无标记增强现实系统，其特征在于，所述无标记增强现实系统还包括:异常点剔除单元，用于将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
7.一种无标记增强现实系统目标跟踪方法，其特征在于，包括以下步骤: A)从拍摄设备生成的图像的第一帧中提取多个特征点； B)利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点； C)将所述多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点； D)将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较，且基于所述比较结果来判断是否将所述跟踪点排除。
8.根据权利要求7所述的无标记增强现实系统目标跟踪方法，其特征在于，当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时，所述跟踪点筛选单元将该某一跟踪点排除。
9.根据权利要求7或8所述的无标记增强现实系统目标跟踪方法，其特征在于，所述步骤B)的具体实现方式包括以下步骤: BI)将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型； B2)利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪占.B3)将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
10.根据权利要求9所述的无标记增强现实系统目标跟踪方法，其特征在于，所述步骤B2)的具体实现方式是:在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量，且基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
11.根据权利要求7或8所述的无标记增强现实系统目标跟踪方法，其特征在于，所述步骤C)的具体实现方式包括以下步骤: Cl)利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵； C2)利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中，以生成所述除第一帧外的每一帧的多个映射点。
12.根据权利要求7或8所述的无标记增强现实系统目标跟踪方法，其特征在于，在执行步骤C)之前，将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
【文档编号】G06T7/00GK103632374SQ201310666494
【公开日】2014年3月12日 申请日期:2013年12月10日 优先权日:2013年12月10日
【发明者】樊春玲, 邓亮, 冯良炳 申请人:深圳先进技术研究院