虚拟尺的制作方法
【专利摘要】在一些实施例中，存取指示场景的图像的第一信息。检测一或多个参考特征，所述参考特征与所述图像中的参考对象相关联。基于所述第一信息确定图像空间与真实世界空间之间的变换。存取指示来自用户的输入的第二信息，所述第二信息识别对应于所述真实世界空间中所关心的真实世界距离的所述图像空间中的图像空间距离。接着基于所述第二信息及所述确定的变换估计所关心的所述真实世界距离。
【专利说明】虚拟尺
[0001] 对相关申请案的夺叉参考
[0002] 本申请案主张2012年1月13日申请的题为"虚拟尺（VIRTUAL RULER) "的第 61/586, 228号美国临时申请案及2012年7月31日申请的题为"虚拟尺（VIRTUAL RULER)" 的第13/563, 330号美国申请案的优先权的权益，所述申请案特此以引用的方式全部并入。
【背景技术】
[0003] 通常，识别视线中的对象的准确尺寸是重要的。举例来说，可能有必要识别信封的 尺寸以确定邮资，识别图片的尺寸以确定画框大小，识别桌子的尺寸以确定其是否适配于 房间中，等。虽然卷尺允许我们测量这些尺寸，但我们可能在希望获得测量时不具有卷尺。
【发明内容】
[0004] 在一些实施例中，提供用于辅助用户确定真实世界测量的方法及系统。成像装置 (例如，蜂窝式电话内的相机）可俘获场景的图像。可确定变换（例如，单应性），其可考量 下列各者中的一或多者：缩放、相机倾斜、相机旋转、相机横摇、相机位置等。确定变换可包 含找出场景的图像中的（例如，具有已知大小及/或形状的）参考对象的位置，及将参考对 象的真实世界空间属性（例如，尺寸属性）与场景的图像中的对应的空间属性（例如，尺寸 属性）进行比较。虚拟尺可基于变换来构造，且叠加到场景的图像上（例如，呈现于成像装 置的显示器上）。用户可使用虚拟尺来识别场景中的真实世界尺寸或距离。另外或替代地， 可响应于对距离或尺寸的请求而将真实世界测量提供给用户。
[0005] 举例来说，可将参考卡放置于场景中的表面上。移动装置中的相机可获得场景的 图像，且识别将会将与参考卡相关联的基于图像的坐标（例如，在其拐角处）变换到具有真 实世界意义的坐标（例如，使得经变换的坐标之间的距离准确地反映卡的尺寸）的变换。 移动装置的用户可识别成像的场景内的开始点及停止点（例如，通过使用触摸屏识别所述 点）。基于变换，装置可确定且向用户显示沿着参考卡的平面的开始点与停止点之间的真实 世界距离。在一些实施例中，可在移动装置（例如，蜂窝式电话）上执行整个过程。
[0006] 在一些实施例中，提供一种用于估计真实世界距离的方法。所述方法可包含存取 指示场景的图像的第一信息，及检测与所述第一信息中的参考对象相关联的一或多个参考 特征。所述方法还可包含基于所述图像确定图像空间与真实世界空间之间的变换，及存取 指示来自用户的输入的第二信息，所述第二信息识别对应于所述真实世界空间中所关心的 真实世界距离的在所述图像空间中的图像空间距离。所述方法可进一步包含基于所述第二 信息及所述确定的变换估计所关心的所述真实世界距离。
[0007] 在一些实施例中，提供一种用于估计真实世界距离的系统。所述系统可包含：成像 装置，其用于存取指示场景的图像的第一信息；以及参考特征检测器，其用于检测与所述第 一信息中的参考对象相关联的一或多个参考特征。所述系统还可包含：变换识别器，其用于 基于所述检测到的一或多个参考特征确定图像空间与真实世界空间之间的变换；以及用户 输入组件，其用于存取指示来自移动装置的用户的输入的第二信息，所述第二信息识别对 应于所述真实世界空间中所关心的真实世界距离的在所述图像空间中的图像空间距离。所 述系统可进一步包含距离估计器，所述距离估计器用于基于所述第二信息及所述确定的变 换估计所关心的所述真实世界距离。
[0008] 在一些实施例中，提供一种用于估计真实世界距离的系统。所述系统可包含用于 存取指示场景的图像的第一信息的装置，及用于检测与所述图像中的参考对象相关联的一 或多个参考特征的装置。所述系统还可包含用于基于所述第一信息确定图像空间与真实世 界空间之间的变换的装置，及用于存取指示来自用户的输入的第二信息的装置，所述第二 信息识别对应于所述真实世界空间中所关心的真实世界距离的在所述图像空间中的图像 空间距离。所述系统可进一步包含用于基于所述第二信息及所述确定的变换估计所关心的 所述真实世界距离的装置。
[0009] 在一些实施例中，提供一种计算机可读媒体。所述计算机可读媒体可包含执行以 下步骤的程序：存取指示场景的图像的第一信息，及检测与所述图像中的参考对象相关联 的一或多个参考特征。所述程序可进一步执行以下步骤：基于所述第一信息确定图像空间 与真实世界空间之间的变换，及存取指示来自用户的输入的第二信息，所述第二信息识别 对应于所述真实世界空间中所关心的真实世界距离的在所述图像空间中的图像空间距离。 所述程序还可执行基于所述第二信息及所述确定的变换估计所关心的所述真实世界距离 的步骤。
【专利附图】
【附图说明】
[0010] 图1说明根据一实施例的用于基于图像估计真实世界距离的方法。
[0011] 图2展示将与参考特征相关联的基于图像的坐标映射到具有真实世界尺寸的第 二空间的实例。
[0012] 图3A及3B展示用于识别真实世界距离的系统的实例。
[0013] 图4展示根据一实施例的用于估计真实世界距离的系统。
[0014] 图5展示根据一实施例的用于估计真实世界距离的系统。
[0015] 图6说明计算机系统的实施例。
【具体实施方式】
[0016] 在一些实施例中，提供用于辅助用户确定真实世界测量的方法及系统。成像装置 (例如，蜂窝式电话内的相机）可俘获场景的图像。可确定变换（例如，单应性），其可考量 下列中的一或多者：缩放、相机倾斜、相机旋转、相机横摇、相机位置等。确定变换可包含找 出场景的图像中的（例如，具有已知大小及/或形状的）参考对象的位置，及将参考对象的 真实世界空间属性（例如，尺寸属性）与场景的图像中的对应空间属性（例如，尺寸属性） 比较。虚拟尺可基于变换来构造，且叠加到场景的图像上（例如，呈现于成像装置的显示器 上）。用户可使用虚拟尺来识别场景中的真实世界尺寸或距离。另外或替代地，可响应于对 尺寸或距离的请求而将真实世界测量提供到用户。
[0017] 举例来说，可将参考卡放置于场景中的表面上。移动装置中的相机可获得场景的 图像，且识别将会将与参考卡相关联的基于图像的坐标（例如，在其拐角处）变换到具有真 实世界意义的坐标（例如，使得经变换的坐标之间的距离准确地反映卡的尺寸）的变换。 移动装置的用户可识别成像的场景内的开始点及停止点（例如，通过使用触摸屏识别所述 点）。基于变换，装置可确定且向用户显示沿着参考卡的平面的开始点与停止点之间的真实 世界距离。在一些实施例中，可在移动装置（例如，蜂窝式电话）上执行整个过程。
[0018] 图1说明根据一实施例的用于基于图像估计真实世界距离的方法100。在105,俘 获一或多个图像。所述图像可由例如相机等成像装置俘获。成像装置可位于便携式及/或 电子装置（例如，蜂窝式电话、智能手机、个人数字助理、平板计算机、膝上型计算机、数字 手表等）内。可个别及/或离散地俘获图像。举例来说，用户可推动按钮或选择指示俘获 图像的相异时间点的选项。在一种情况下，在一段时间内重复或连续地俘获图像。举例来 说，电话可经由透镜对场景成像，且处理及/或显示实时图像或实时图像的子集。
[0019] 在110,检测或识别图像中的一或多个参考特征。在一些情况下，检测或识别两个、 三个、四个或四个以上参考特征。在一个实施例中，所述（等）参考特征为已知或怀疑在 图像中的一或多个参考对象的特征。举例来说，可指导用户在俘获图像前在正成像的场景 中及/或在所关心的平面上定位特定对象（例如，矩形参考卡）。作为另一实例，可指导用 户在场景中及/或在平面上定位具有一或多个特定特性的对象（例如，具有标准尺寸的信 用卡、驾照、矩形对象、美国25美分硬币、美国通货券等）。所述对象可为（例如）矩形、硬 的、实质上平坦等。所述对象可具有：至少一个平表面；小于六英寸的一个、两个或三个尺 寸等。所述对象可具有一或多个有区别的特征（例如，视觉有区别的特征），例如，相异的视 觉图案（例如，条形码、一系列色彩等）。在一些情况下，不指导用户将参考对象置于场景 中。举例来说，技术可假定至少一个矩形对象定位于场景内及/或所关心的平面上。
[0020] -个、一个以上或所有参考特征可包含（例如）图像的对应于参考对象、边缘及/ 或拐角的部分或图像的整个部分。举例来说，参考特征可包含界定参考对象的四个边缘。参 考特征可包含参考对象的一或多个部分（例如，在参考对象的顶部附近的红点，及在参考 对象的底部附近的蓝点）。
[0021] 参考特征可包含位置（例如，在基于图像的二维坐标系统内）。举例来说，在105 处俘获的图像可包含成像的场景的二维表示。图像可包含（例如）组织成行及列的多个像 素。因此，图像特征可识别为或基于像素坐标（例如，拐角1位于（4,16);拐角2位于（6， 18)等）。
[0022] 参考特征可包含一或多个长度及/或面积。长度及/或面积可具有图像空间空间 属性。举例来说，"边缘1"可为15. 4个像素长。
[0023] 可使用一或多个计算机视觉技术检测参考特征。举例来说，可使用边缘检测算法， 可分析在各种图像位置处的空间对比度，可使用比例不变特征变换，等等。
[0024] 可基于用户输入检测参考特征。举例来说，可指导用户识别参考特征的位置。用 户可（例如）使用触摸屏、鼠标、小键盘等来识别图像上对应于参考特征的位置。在一种情 况下，可经由触摸屏电子显示器向用户呈现图像，且指导用户触摸屏幕上对应于参考特征 的拐角的四个位置。
[0025] 可检测一个、两个、三个、四个或四个以上参考特征。在一个实施例中，检测至少 四个参考特征，所述参考特征中的至少一些或全部具有固定且已知的相互间的真实世界距 离。举例来说，可检测信用卡参考对象的四个拐角。在一个实施例中，检测至少四个参考特 征，所述参考特征中的至少一些或全部具有与特征自身相关联的固定且已知的真实世界空 间属性（例如，真实世界尺寸）。举例来说，可检测信用卡参考对象的四个边缘。
[0026] 在115,可基于与在图像中检测到的参考特征相关联的一或多个空间属性及/或 一或多个对应的真实世界空间属性确定变换。变换可包含放大、旋转变换、平移变换及/或 透镜失真校正。变换可包含单应性，及/或可减轻或至少部分考量任何透视失真。变换可 包含为成像装置固有的固有参数（例如，考量例如焦距等参数）及/或视正成像的场景而 定的外在参数（例如，考量相机视角或位置）。变换可包含相机矩阵、旋转矩阵、平移矩阵及 /或联合旋转 -平移矩阵。
[0027] 变换可包括图像空间（例如，与图像相关联的二维坐标空间）与真实世界空间 (例如，识别真实世界距离、面积等的二维或三维坐标空间）之间的变换。可通过确定将会 将与一或多个参考特征相关联的基于图像的空间属性（例如，坐标、距离、形状等）转换成 另一空间（例如，与特征之间的真实世界距离相关联）的变换来确定所述变换。举例来说， 可在方法100中的110处检测特定矩形参考对象的四个拐角的基于图像的位置。归因于用 以俘获图像的成像装置的位置、旋转及/或倾斜，对象可看似为倾斜及/或非矩形（例如， 代之以看似为梯形）。基于图像的空间属性与对应的现实空间属性（例如，每一者与一或多 个参考特征相关联）之间的形状的差异可至少部分归因于透视失真（例如，基于成像装置 的角度、位置及/或焦距）。可确定变换以校正透视失真。举例来说，参考特征可包含矩形 参考对象卡的边缘。边缘可与基于图像的空间属性相关联，使得基于图像的边缘的组合针 对梯形。变换基于图像的空间属性可产生形成（例如，具有对应于参考对象卡的真实世界 大小的大小的）矩形的经变换边缘。举例来说，拐角1的基于图像的尺寸可映射到经变换 的坐标（〇,〇);拐角2的尺寸可映射到坐标（3. 21，0);等等。见图2。
[0028] 方程式1到3展示可将二维基于图像的坐标（p，q)变换到二维真实世界坐标（X， y)的方式的实例。在方程式1中，使用与旋转有关的变量（rn-r32)、与平移有关的变量 (t x_tz)及基于相机的或透视-投影变量（f)来变换基于图像的坐标（p，q)。方程式2为方 程式1的简化型式，且方程式3将变量组合成新的单应性变量（h n_h33)。
[0029] 方程式
【权利要求】
1. 一种用于估计真实世界距离的方法，所述方法包括： 存取指示场景的图像的第一信息； 检测与所述第一信息中的参考对象相关联的一或多个参考特征； 基于所述图像确定图像空间与真实世界空间之间的变换； 存取指示来自用户的输入的第二信息，所述第二信息识别对应于所述真实世界空间中 所关心的真实世界距离的所述图像空间中的图像空间距离；以及 基于所述第二信息及所述确定的变换估计所关心的所述真实世界距离。
2. 根据权利要求1所述的方法，其中所述第二信息包括开始点及端点，且所述所关心 的真实世界距离包括与所述开始点及所述端点相关联的真实世界位置之间的距离。
3. 根据权利要求1所述的方法，其进一步包括在所述图像上叠加虚拟尺。
4. 根据权利要求3所述的方法，其中所述第二信息包括所述叠加的虚拟尺的至少部分 将位于所述图像上的位置。
5. 根据权利要求1所述的方法，其中所述变换至少部分考量透视失真。
6. 根据权利要求1所述的方法，其中所述变换包括单应性矩阵。
7. 根据权利要求1所述的方法，其中所述方法全部在移动装置上执行。
8. 根据权利要求7所述的方法，其中所述移动装置包括蜂窝式电话。
9. 根据权利要求1所述的方法，其中所述参考对象包括实质上平坦且实质上矩形的对 象。
10. 根据权利要求1所述的方法，其进一步包括： 确定所述图像空间中与所述参考特征中的所述一或多者相关联的至少一个第一空间 属性； 确定所述真实世界空间中与所述参考特征中的所述一或多者相关联的至少一个第二 空间属性；以及 基于所述至少一个第一空间属性及所述至少一个第二空间属性确定所述变换。
11. 根据权利要求1所述的方法，其中所述估计的所关心真实世界距离与所述参考对 象的表面两者沿着同一平面。
12. 根据权利要求1所述的方法，其中估计所述所关心的真实世界距离包括应用所述 变换的逆算。
13. -种用于估计真实世界距离的系统，所述系统包括： 成像装置，其用于存取指示场景的图像的第一信息； 参考特征检测器，其用于检测与所述第一信息中的参考对象相关联的一或多个参考特 征； 变换识别器，其用于基于所述检测到的一或多个参考特征确定图像空间与真实世界空 间之间的变换； 用户输入组件，其用于存取指示来自移动装置的用户的输入的第二信息，所述第二信 息识别对应于所述真实世界空间中所关心的真实世界距离的所述图像空间中的图像空间 距离；以及 距离估计器，其用于基于所述第二信息及所述确定的变换估计所述所关心的真实世界 距离。
14. 根据权利要求13所述的系统，其中所述第二信息包括叠加于所述图像的呈现上的 尺的旋转。
15. 根据权利要求13所述的系统，其中所述距离估计器包括用于产生待由显示器呈现 的虚拟尺的尺产生器。
16. 根据权利要求13所述的系统，其中显示器同时呈现所述估计的所关心真实世界距 离与所述图像。
17. 根据权利要求13所述的系统，其中所述参考特征检测器包括边缘检测器。
18. 根据权利要求13所述的系统，其中所述用户输入组件及所述显示器被集成为触摸 屏显示器。
19. 一种用于估计真实世界距离的系统，所述系统包括： 用于存取指示场景的图像的第一信息的装置； 用于检测与所述图像中的参考对象相关联的一或多个参考特征的装置； 用于基于所述第一信息确定图像空间与真实世界空间之间的变换的装置； 用于存取指示来自用户的输入的第二信息的装置，所述第二信息识别对应于所述真实 世界空间中所关心的真实世界距离的所述图像空间中的图像空间距离；以及 用于基于所述第二信息及所述确定的变换估计所述所关心的真实世界距离的装置。
20. 根据权利要求19所述的系统，其中所述用于存取所述第一信息的装置包括移动电 话中的相机。
21. 根据权利要求19所述的系统，其中所述用于检测所述一或多个参考特征的装置包 括边缘检测器。
22. 根据权利要求19所述的系统，其中所述用于存取指示来自所述用户的所述输入的 所述第二信息的装置包括触摸屏显示器。
23. 根据权利要求19所述的系统，其中所述用于估计所述所关心的真实世界距离的装 置包括尺产生器。
24. 根据权利要求19所述的系统，其进一步包括用于呈现所述估计的所关心真实世界 距离的装置。
25. -种计算机可读媒体，其含有执行以下步骤的程序： 存取指示场景的图像的第一信息； 检测与所述图像中的参考对象相关联的一或多个参考特征； 基于所述第一信息确定图像空间与真实世界空间之间的变换； 存取指示来自用户的输入的第二信息，所述第二信息识别对应于所述真实世界空间中 所关心的真实世界距离的所述图像空间中的图像空间距离；以及 基于所述第二信息及所述确定的变换估计所述所关心的真实世界距离。
26. 根据权利要求25所述的计算机可读媒体，其中所述程序进一步执行以下步骤： 从数据库识别与所述参考对象相关联的真实世界空间属性。
27. 根据权利要求25所述的计算机可读媒体，其中所述变换包括单应性。
28. 根据权利要求25所述的计算机可读媒体，其中所述第二信息包括开始点及停止 点。
【文档编号】G01B11/25GK104094082SQ201380007922
【公开日】2014年10月8日 申请日期:2013年1月7日 优先权日:2012年1月13日
【发明者】桑迪普·瓦达迪, 克里希那坎特·S·基马拉马里, 约翰·H·洪, 重·U·李 申请人:高通股份有限公司