特征提取方法、程序和系统的制作方法
【专利摘要】本发明的目的在于提供快速且鲁棒地获得SfM的技术。作为服务器的计算机系统从智能电话接收图像以及加速度传感器的测量结果。计算机系统首先仅仅从图像提取竖直边缘。为了该目的，所述系统使用加速度传感器获得重力向量。所述系统然后使用所述重力向量来获得在屏幕坐标系的竖直方向上的消失点(u′，v′)。然后该计算机系统计算每个像素(u，v)的色饱和度在屏幕坐标系的u和v方向上的微分向量。所述计算机系统然后获得一组沿着所述竖直方向的边缘的边缘强度的和，从而提取竖直方向上的线条。所述计算机系统使用所提取线条的周缘计算特征向量。
【专利说明】特征提取方法、程序和系统
【技术领域】
[0001] 本发明涉及从图像中提取特征量来进行位置估计的技术。
【背景技术】
[0002] 近年来，为了分析诸如购物中心和公共设施处的顾客流动路线，以及为了进行在 库控制，对于室内位置估计技术的要求越来越大。
[0003] 对于室内位置进行精确估计是比较困难的，因为诸如WiFi或RFID设备的无线设 备在室内使用时会产生许多噪声。GPS提供相对精确的位置估计，但是不能在室内使用。因 此，技术上已经注意到，在移动对象上附加摄像头来拍摄图像，并且所拍摄的图像被分析以 用来预测位置。
[0004] 与此有关的现有技术包括在W02008/087974中所披露的技术。W02008/087974涉 及用于计算多个摄像头之间的位置关系的技术，以及用于基于所计算出的位置关系生成 用户界面的技术，其披露了基于所拍摄的图像在不使用GPS的情况下计算多个摄像头的位 置。
[0005] 在"Gradient-Based Feature Extraction :SIFT and HOG" ,Information Processing Society of Japan Technical Report, CVIM[Computer Vision and Image 皿6虹3]，2007，（87)，211-224,2007-09-03这篇文章中，藤吉弘亘（把1'〇11〇1311卩1^17〇8111)提 供了关于SIFT算法的概述，并且描述了在DoG图像的极值检测以及HOG。
[0006] JP2011-53181A披露了使用SIFT (Scale-Invariant Feature Transform)特征值 进行朝向估计，从而提供了一种可靠的信息终端设备，该设备能够在不需要引入地磁传感 器的情况下估计用户的朝向，并且基于所述估计的结果在显示器上控制显示信息。
[0007]SIFT是图像特征提取技术的一种，其涉及特征点的检测和围绕特征点计算特征 向量的方法。除此以外，已经知道运动结构（SfM，StructurefromMotion)，这是一种从 图像来重构奇点间和摄像头位置之间的的三维位置关系的技术。在诸如JP10-40385A， JP2009-237845A和JP2009-237847A中描述了SfM。
[0008]SfM是这样一种技术，诸如角落的特征点从图像中被抽取，然后，特征点周围的 8X8像素的色饱和度被布置为简单地生成64比特的特征向量，或者以其他的方式从特征 点周围的像素计算出特征向量，然后在多个像素之间进行匹配。这样，特征点的三维位置和 摄像头的位置就可以同时被重构。
[0009] 为了稳定地获得SfM，需要一种特征量计算方法，这种方法要对噪声鲁棒，即对于 图像中的起伏鲁棒，并且对图像的旋转和缩放鲁棒。然而，传统的方法具有高计算开销的问 题。为了获得SfM，通常需要与像素数目成比例的计算量，因此对于计算开销的考虑是关键 的。
[0010] 引证清单
[0011] 专利文献
[0012][专利文献l]W〇2〇〇8/〇87974
[0013] [专利文献 2]JP2011-53181A
[0014] [专利文献 3]JP10-40385A
[0015] [专利文献 4]JP2〇〇9_237845A
[0016] [专利文献δ]JP2〇〇9_237847A
[0017] 非专利文献
[0018] [非专利文件 1]藤吉弘亘，"Gradient-BasedFeatureExtraction:SIFTand HOG" ,InformationProcessingSocietyofJapanTechnicalReport,CVIM[Computer VisionandImageMedia]，2007, （87)，211-224,2007-09-03
【发明内容】
[0019] 技术问题
[0020] 因此，本发明的一个目标是提供快速而鲁棒地获得SfM的技术。
[0021] 对该问题的解决方案
[0022] 本发明通过利用以下事实解决了上述问题：SfM中使用的许多特征是与重力方向 平行的线条，并且诸如智能电话的移动设备包括加速度传感器或陀螺仪。
[0023] 根据本发明，作为服务器的计算机系统通过通信功能从智能电话接收图像和加速 度传感器的测量结果。
[0024] 该计算机系统首先从图像中仅仅提取竖直边缘。为此，计算机系统使用加速度传 感器来获得摄像头坐标系中的重力向量。该系统然后在屏幕坐标系中，使用该重力向量来 获得竖直方向上的消失点（u'，v')。
[0025] 该计算机系统然后在屏幕坐标系中计算每个像素（u，V)的色饱和度在u方向和V 方向上的微分向量。该计算机系统获得由每个微分向量和（u' -U，V' -V)所形成的余弦 分量，归一化这两个向量到长度为1，然后计算这两个向量的内积。如果余弦的绝对值大于 或者等于某个阈值，该计算机系统确定该像素具有竖直边缘。
[0026] 该计算机系统然后针对沿着竖直方向分布的一组边缘获得竖直方向上的边缘强 度和。具体而言，计算机系统将屏幕坐标（U，v)转换为摄像头坐标，将屏幕坐标（U，v)的两 个轴投影为一个轴。计算机系统计算（U，V)处的差分向量的绝对值，然后将该绝对值写到 表sum[q]中。
[0027] 一旦提供了sum[q]，计算机系统将sum[q]假设为wX1的长度沿水平方向的图像， 并且使用高斯差分（DoG，DifferenceofGaussian)函数来计算极值。计算机系统使用该 极值来计算特征量。
[0028] 发明的有益效果
[0029] 根据本发明，从移动设备接收图像和加速度传感器的测量结果，依此检测沿竖直 方向的边缘，并且使用这些边缘来提取特征，因此可以用较少量的计算来进行快速的位置 估计。
【专利附图】
【附图说明】
[0030] 图1是示意图，示出使用智能电话获取加速度数据和图像数据，并且将这些数据 传送给计算机以便进行室内处理；
[0031] 图2是方框图，示出用于本发明的计算机的硬件的示例；
[0032]图3是根据本发明的过程的功能性方框图；
[0033] 图4是用于计算sum的过程的流程图；
[0034] 图5是用于计算DoG和检测极值的过程的流程图；
[0035] 图6是特征量计算过程的流程图；
[0036] 图7是示意图，示出摄像头坐标系、屏幕和重力方向之间的关系；
[0037] 图8是示意图，示出将像素的两个轴的坐标投影到与重力方向正交的一个轴上的 方法；
[0038] 图9是示意图，示出将连接像素与消失点并且与地平面垂直的线条投影到屏幕；
[0039] 图10是不意图，不出提取图像中的关键点。
【具体实施方式】
[0040] 下面参照附图描述本发明的示例性实施例。在附图中，除非特殊说明，同样的附图 标记表示同样的项目。应该理解以下是对本发明的一个实施例的描述，而不意图将本发明 限制为所描述的示例性实施例。
[0041] 图1是示意图，概要性地示出用于执行本发明的示例的一般配置。在图1中，诸如 柜子104的位置特征对象被放置在房间102中。
[0042] 操作员106用智能电话108对房间102的内景进行拍照，智能电话108包括加速 度传感器和摄像头功能，然后将所拍摄图像数据和加速度传感器的测量数据通过无线通信 发送到屋内放置的计算机。
[0043] 计算机110接收所传送的图像数据和加速度传感器测量数据，通过使用这些数据 来提取特征，然后进行估计位置的过程。计算机110可以被放置在远程站点，只要计算机 110具有能够从智能电话108接收加速度传感器测量数据和图像数据的配置。在这种情况 下，通过诸如WiFi站点的接收站点将信息转送给布置在远程站点中的计算机110。作为替 换地，将要在后面描述的用于提取特征的过程可以在智能电话108中执行，因为当前的智 能电话很强大。为了解释方便，在以下对示例性实施例的描述中假设在与智能电话108分 离的计算机110中执行特征提取和位置估计过程。
[0044] 图2是方框图，示出计算机110的硬件配置。在图2中，CPU204,主存储器 (RAM) 206,硬盘驱动器（HDD) 208,键盘210,鼠标212,以及显示器214被连接到系统总线 202。优选地，CPU204是基于32位或64位架构的，并且可以例如是Intel公司的Core(商 标）i7或者Core(商标）i5,或者AMDAthlon(商标）II。主存储器206优选地具有4GB或 者更多的容量。
[0045] 通信接口 216也连接到系统总线202。通信接口 216能够通过符合标准，例如IEEE 802.lla/b/g，的天线218与智能电话108通信。注意计算机110从智能电话108接收数据 的方法不限于IEEE802.lla/b/g;任何方法可以被使用，例如报文通信。
[0046] 在硬盘驱动器208中存储有操作系统。操作系统可以是任何与CPU 204兼容的操 作系统，例如Linux(商标），来自微软公司的Windows 7(商标）或者Window XP(商标）， 或者来自苹果计算机公司的Mac OSC(商标）。
[0047] 硬盘驱动器208中还存储有主程序302, sum计算例程306, DoG计算和极值检测 例程310,这些将在下面结合图3进行描述。它们可以用任何现有编程语言来编写，例如C，C++和Java (R)。
[0048]图3是计算机110的一部分的软件配置的框图，其用于执行与本发明有关的功能。
[0049] 在图3中，主程序302响应于键盘210或者鼠标212的操作而激活，其通过诸如 WiFi的机制，通过通信模块304的功能，从智能电话108接收图像数据和加速度传感器测量 数据，然后将这些数据优选地存储在硬盘驱动器208中。
[0050] 主程序302激活sum计算例程306, DoG计算和极值检测例程308以及特征量计算 例程310,以便根据本发明，基于从智能电话108传送来的图像数据和加速度传感器测量数 据发起特征提取。
[0051] 更具体地说，sum计算例程306根据从智能电话108传送来的图像数据和加速度 传感器测量数据来进行计算sum的过程，所述sum是一个一维数组。下面将参考图4中的 流程图详细描述sum计算例程306的过程。
[0052] DoG计算和极值检测例程308使用sum计算例程306计算出的sum的值来进行计 算DoG(高斯差分）和检测极值的过程。以下将参照图5中的流程图详细描述DoG计算和 极值检测例程308的过程。
[0053] 特征量计算例程310基于DoG计算和极值检测例程308检测到的极值（关键点） 来进行计算特征值的过程。以下将参照图6中的流程图详细描述特征量计算例程310的过 程。
[0054] 下面参照图4的流程图描述sum计算例程306的过程。如步骤402处所示，sum计 算例程306被主程序调用，其中图像的色饱和度I(u，V)和阈值作为调用参数。这里，图像 的色饱和度I(u，v)的每一个是位于像素坐标（x，y) = (u，v)处的像素的色饱和度。在一 个示例性实施例中，阈值被设置为〇. 95。
[0055] sum计算例程306在步骤404中获得消失点VW。具体而言，sum计算例程 306根据以下公式计算消失点u'，v'
[0056] u'= f*xg/Zg+w/2
[0057] vr =-f*yg/zg+h/2
[0058] 其中w是图像宽度，h是图像高度，f是焦距，Vg=(xg，yg，zg)是从智能电话108 收到的表示重力方向的加速度值向量。
[0059] 在步骤406中，sum计算例程306根据以下公式，针对每个像素（u，V)获得du(u， V)，dv(u，V)，和dlen(u，V)：
[0060]【公式1】
【权利要求】
1. 一种特征提取方法，用于通过计算机处理从图像中提取特征，该方法包括以下步 骤： 从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的加速度 数据； 基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量； 通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点； 对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量； 获得连接每个像素与所述消失点的连接线向量； 基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围之内，识 别竖直边缘； 获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中； 基于所述变量数组提取关键点；和 从所述关键点计算特征量。
2. 如权利要求1所述的方法，其中所述加速度测量装置是加速度传感器。
3. 如权利要求1所述的方法，其中所述获得竖直边缘的强度和并且将所述和写入到预 定的变量数组中的步骤包括以下步骤：计算所述微分向量和（u' -u，v' -v)的内积的绝对 值，并且将所述绝对值写入到所述变量数组中，其中（u，v)是屏幕坐标并且（u'，v')是 消失点。
4. 如权利要求1所述的方法，其中提取关键点的步骤包括以下步骤：将所述变量数组 假设为长度沿水平方向的图像，并且通过使用DoG函数来计算极值。
5. 如权利要求1所述的方法，其中所述移动设备是智能电话。
6. 如权利要求1所述的方法，其中所述计算特征值的步骤包括计算HoG的步骤。
7. 如权利要求1所述的方法，其中一部分步骤或全部步骤由移动设备执行。
8. -种特征提取程序产品，用于通过计算机处理从图像中提取特征，所述程序产品使 得计算机执行以下步骤： 从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的加速度 数据； 基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量； 通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点； 对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量； 获得连接每个像素与所述消失点的连接线向量； 基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围之内，识 别竖直边缘； 获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中； 基于所述变量数组提取关键点；和 从所述关键点计算特征量。
9. 如权利要求8所述的程序产品，其中所述移动设备是智能电话。
10. 如权利要求8所述的程序产品，其中所述加速度测量装置是加速度传感器。
11. 如权利要求8所述的程序产品，其中所述获得竖直边缘的强度和并且将所述和写 入到预定的变量数组中的步骤包括以下步骤：计算所述微分向量和（U' -U，v' -V)的内 积的绝对值，并且将所述绝对值写入到所述变量数组中，其中（U，v)是屏幕坐标并且（U'， V')是消失点。
12. 如权利要求8所述的程序产品，其中提取关键点的步骤包括以下步骤：将所述变量 数组假设为长度沿水平方向的图像，并且通过使用DoG函数来计算极值。
13. 如权利要求8所述的程序产品，其中所述计算特征值的步骤包括计算HoG的步骤。
14. 如权利要求8所述的程序产品，其中一部分步骤或全部步骤由移动设备执行。
15. -种特征提取系统，用于通过计算机处理从图像中提取特征，所述系统包括： 配置为从包括图像获取装置和加速度测量装置的移动设备接收图像数据和所测量的 加速度数据的装置； 配置为基于所测量的加速度数据，在摄像头坐标系中获得图像中的重力向量的装置； 配置为通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点 的装置； 配置为对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量的装置； 配置为获得连接每个像素与所述消失点的连接线向量的装置； 配置为基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围 之内，识别竖直边缘的装置； 配置为获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中的装置； 配置为基于所述变量数组提取关键点的装置；和 配置为从所述关键点计算特征量的装置。
16. 如权利要求15所述的系统，其中所述移动设备是智能电话。
17. 如权利要求16所述的系统，其中所述加速度测量装置是加速度传感器。
18. 如权利要求15所述的系统，其中所述配置为获得竖直边缘的强度和并且将所述和 写入到预定的变量数组中的装置进行如下处理：计算所述微分向量和（u' -u，v' -v)的内 积的绝对值，并且将所述绝对值写入到所述变量数组中，其中（u，v)是屏幕坐标并且（u'， v')是消失点。
19. 如权利要求15所述的系统，其中所述配置为提取关键点的装置进行如下处理：将 所述变量数组假设为长度沿水平方向的图像，并且通过使用DoG函数来计算极值。
20. 如权利要求15所述的系统，其中所述配置为计算特征值的装置进行如下处理：计 算 HoG。
21. -种通过计算机处理从图像提取特征的移动设备，该移动设备包括： 图像获取装置； 加速度测量装置； 配置为基于来自加速度测量装置的测量数据，在摄像头坐标系中获得由所述图像获取 装置所获取的图像中的重力向量的装置； 配置为通过使用所述重力向量，在屏幕坐标系中，获得图像中在竖直方向上的消失点 的装置； 配置为对于屏幕坐标系中的每个像素，获得沿着两个轴的微分向量的装置； 配置为获得连接每个像素与所述消失点的连接线向量的装置； 配置为基于确定由所述微分向量和所述连接线向量所形成的夹角处于一定阈值范围 之内，识别竖直边缘的装置； 配置为获得竖直边缘的强度和，并且将所述和写入到预定的变量数组中的装置； 配置为基于所述变量数组提取关键点的装置；和 配置为从所述关键点计算特征量的装置。
【文档编号】G06T7/00GK104508706SQ201380040301
【公开日】2015年4月8日 申请日期:2013年6月13日 优先权日:2012年8月15日
【发明者】高桥俊博 申请人:国际商业机器公司