扩展物理平面的数字表示的制作方法
【技术领域】
[0001] 本发明大体设及扩增现实环境，且更确切地说设及现实世界周围环境的基于机器 的辨识。
【背景技术】
[0002] 在扩增现实(AR)环境中，用户可查看人工或虚拟图形与用户的自然周围环境的集 成。在AR的一些较早实施方案中，用户可经由（例如)扩增现实护目镜观看任意在用户的自 然周围环境中或内显示的图形。举例来说，随机蝴蝶的图形可沿着AR护目镜的视线飞行，同 时用户继续查看他的自然周围环境，而不管所述蝴蝶与用户正自然地看到的任何事物是否 具有任何相关性。在AR的较复杂实施方案中，用户可能够将AR特征或图形直接应用到用户 的自然周围环境的对象或结构。举例来说，用户可能想要引导蝴蝶的图形在墙壁或台子上 着陆，运首先需要AR环境辨识事实上所述墙壁或台子实际上在用户的视野中驻留在何处。
[0003] 在其它情况下，机器人或其它自动机器可在尝试在自然周围环境中将机器人定向 时应用AR领域中的类似概念和技术。例如，机器人可需要理解在机器人的自然周围环境中 墙壁及台子在哪里，使得机器人不撞到墙壁及台子。在其它情况下，机器人可通过(例如)识 别台子上的杯子且拿起所述杯子而与自然周围环境交互。执行此任务可首先需要机器人成 功地识别杯子，且在一些情况下需要成功地识别上面有杯子的台子。然而，实时实现自然周 围环境的基于机器的辨识已证明是难W解决的问题，因为(例如)现有技术不能足够快速或 足够高效节能W用于实时目的。因此，在此项技术中需要在实时设定中对自然周围环境的 基于机器的辨识的改进的方法。
【发明内容】
[0004] 本发明大体设及扩增现实环境，且更确切地说，设及对现实世界周围环境的基于 机器的辨识。
[0005] 本发明呈现用于扩展来自物理场景的物理平面的数字表示的系统、方法及装置。 一种方法可包含:确定所述场景中的物理平面的定向及初始部分;及将所述场景的矫正图 像再分为多个网格单元。对于所述网格单元，可产生图像签名。可确定邻接所述平面的所述 所获得的初始部分的网格单元包含所述物理平面的部分。可针对来自邻接所述所获得的初 始部分的至少部分的网格单元的每一相邻的网格单元执行迭代过程，如果所述相邻网格单 元的所述图像签名类似于已经确定被包含为所述平面的部分的网格单元的图像签名，那么 确定所述相邻网格单元是否将被包含为所述平面的部分。
[0006] -种用于建构来自物理场景的物理平面的数字表示的实例方法可包含:在=维空 间中确定物理场景的图像中的物理平面的定向及初始部分;产生矫正图像，其中所述矫正 图像含有所述物理平面的至少部分的前平行视图；将所述矫正图像再分为多个网格单元； 对于所述多个网格单元中的每一者，基于与所述网格单元相关联的至少一个图像特性而产 生图像签名;选择邻接所述物理平面的所述所获得的初始部分的至少部分的一或多个初始 网格单元W包含为所述物理平面的所述数字表示的部分;将邻接所述一或多个初始网格单 元的每一相邻网格单元的图像签名与当前包含在所述物理平面的所述数字表示中的一或 多个网格单元的图像签名进行比较;及将满足预定阔值的每一网格单元添加到所述物理平 面的所述数字表示。
[0007] 用于建构来自物理场景的物理平面的数字表示的另一实例方法可包含:在=维空 间中确定所述物理场景中的物理平面的定向及初始部分;产生矫正图像，其中所述矫正图 像含有所述物理平面的至少部分的前平行视图；及将所述物理平面的所述前平行视图再分 为多个网格单元。
[0008] 对于所述多个网格单元中的每一者，所述方法可进一步包含:基于与所述网格单 元相关联的至少一个图像特性而产生图像签名;确定邻接所述物理平面的所述所获得的初 始部分的至少部分的网格单元W包含为所述物理平面的所述数字表示的部分;及对于来自 邻接所述所获得的初始部分的至少部分的所述网格单元的每一相邻网格单元：（a)如果所 述相邻网格单元的图像签名类似于已经确定将被包含为所述物理平面的所述数字表示的 部分的网格单元的图像签名，那么确定所述相邻网格单元是否将另外被包含为所述物理平 面的所述数字表示的部分，其中所述类似性是基于至少一个预定阔值准则，且对于邻接已 经被包含为所述物理平面的所述数字表示的部分的网格单元的每一相邻网格单元，继续 (a)中的过程，直到不存在基于(a)中的过程确定另外被包含为所述平面的部分的相邻网格 单元。
[0009] 在一个方面中，所述物理平面的所述初始部分是基于定位在所述物理平面上的已 知对象。在另一方面中，所述物理平面的所述初始部分是基于使所述物理平面配合于点云 模型。
[0010] 在某些方面，所述图像签名包括指示与所述网格单元相关联的图像信息的至少一 个直方图。在一些实施方案中，所述至少一个直方图可包含存在于所述网格单元中的色彩 的量及类型的统计表示、所述网格单元的梯度定向及表示存在于所述网格单元中的色彩的 灰度阴影的量及类型。
[0011] 在一些实施方案中，与所述网格单元相关联的所述至少一个图像特性包括=维信 息。在一个方面中，对于确定不被包含为所述物理平面的所述数字表示的部分的每一相邻 网格单元，所述方法可进一步包含:产生多个辅助网格单元，其中所述多个辅助网格单元中 的每一者的位置是基于与所述相邻网格单元的位置的偏移，其中所述偏移在所述相邻网格 单元的宽度及长度内；及对于所述多个辅助网格单元中的每一者，基于与所述辅助网格单 元相关联的至少一个图像特性而产生图像签名;及如果所述辅助网格单元的图像签名类似 于已经确定将被包含为所述物理平面的所述数字表示的部分的网格单元的图像签名，那么 确定所述辅助网格单元是否将另外被包含为所述物理平面的所述数字表示的部分，其中所 述类似性是基于至少一个预定阔值准则。
[0012] 一种用于建构来自物理场景的物理平面的数字表示的设备可包含存储器及一或 多个处理器。所述一或多个处理器可经配置W:在=维空间中确定所述物理场景中的物理 平面的定向及初始部分;接收所述物理场景的一或多个图像;产生矫正图像，其中所述矫正 图像含有所述物理平面的至少部分的前平行视图；将所述矫正图像再分为多个网格单元； 对于所述多个网格单元中的每一者，基于与所述网格单元相关联的至少一个图像特性而产 生图像签名;选择邻接所述物理平面的所述所获得的初始部分的至少部分的一或多个初始 网格单元W包含为所述物理平面的所述数字表示的部分;将邻接所述一或多个初始网格单 元的每一相邻网格单元的图像签名与当前包含在所述物理平面的所述数字表示中的一或 多个网格单元的图像签名进行比较;及将满足预定阔值的每一网格单元添加到所述物理平 面的所述数字表示。
[0013] 一种用于建构来自物理场景的物理平面的数字表示的实例设备可包含存储器、用 于接收图像数据的相机、一或多个处理器。所述处理器可经配置W用于:在=维空间中确定 所述物理场景中的物理平面的定向及初始部分;产生矫正图像，其中所述矫正图像含有所 述物理平面的至少部分的前平行视图；及将所述物理平面的所述前平行视图再分为多个网 格单元。
[0014] 对于所述多个网格单元中的每一者，所述一或多个处理器可进一步经配置W用 于:基于与所述网格单元相关联的至少一个图像特性而产生图像签名；确定邻接所述物理 平面的所述所获得的初始部分的至少部分的网格单元W包含为所述物理平面的所述数字 表示的部分;及对于来自邻接所述所获得的初始部分的至少部分的所述网格单元的每一相 邻网格单元：（a)如果所述相邻网格单元的图像签名类似于已经确定将被包含为所述物理 平面的所述数字表示的部分的网格单元的图像签名，那么确定所述相邻网格单元是否将另 外被包含为所述物理平面的所述数字表示的部分，其中所述类似性是基于至少一个预定阔 值准则，且对于邻接已经被包含为所述物理平面的所述数字表示的部分的网格单元的每一 相邻网格单元，继续(a)中的过程，直到不存在基于(a)中的过程确定另外被包含为所述平 面的部分的相邻网格单元。
[0015] 在一个方面中，所述物理平面的所述初始部分是基于定位在所述物理平面上的已 知对象。在另一方面中，所述物理平面的所述初始部分是基于使所述物理平面配合于点云 模型。
[0016] 在某些方面，所述图像签名包括指示与所述网格单元相关联的图像信息的至少一 个直方图。在一些实施方案中，所述至少一个直方图可包含存在于所述网格单元中的色彩 的量及类型的统计表示、所述网格单元的梯度定向及表示存在于所述网格单元中的色彩的 灰度阴影的量及类型。
[0017] 在一些实施方案中，与所述网格单元相关联的所述至少一个图像特性包括=维信 息。在一个方面中，所述至少一个预定阔值准则是基于将已经被包含为所述平面的部分的 所述网格单元的所述至少一个直方图与相邻网格单元的直方图进行比较。
[0018] 在一个方面中，对于由所述一或多个处理器确定不被包含为所述物理平面的所述 数字表示的部分的每一相邻网格单元，所述设备可进一步经配置W用于:产生多个辅助网 格单元，其中所述多个辅助网格单元中的每一者的位置是基于与所述相邻网格单元的位置 的偏移，其中所述偏移在所述相邻网格单元的宽度及长度内；及对于所述多个辅助网格单 元中的每一者，基于与所述辅助网格单元相关联的至少一个图像特性而产生图像签名；及 如果所述辅助网格单元的图像签名类似于已经确定将被包含为所述物理平面的所述数字 表示的部分的网格单元的图像签名，那么确定所述辅助网格单元是否将另外被包含为所述 物理平面的所述数字表示的部分，其中所述类似性是基于至少一个预定阔值准则。
[0019] -种实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体 包括可由处理器执行的指令，所述指令包括用W进行W下操作的指令:在=维空间中确定 所述物理场景中的物理平面的定向及初始部分;接收所述物理场景的一或多个图像;产生 矫正图像，其中所述矫正图像含有所述物理平面的至少部分的前平行视图；将所述矫正图 像再分为多个网格单元;对于所述多个网格单元中的每一者，基于与所述网格单元相关联 的至少一个图像特性而产生图像签名;选择邻接所述物理平面的所述所获得的初始部分的 至少部分的一或多个初始网格单元W包含为所述物理平面的所述数字表示的部分;将邻接 所述一或多个初始网格单元的每一相邻网格单元的图像签名与当前包含在所述物理平面 的所述数字表示中的一或多个网格单元的图像签名进行比较;及将满足预定阔值的每一网 格单元添加到所述物理平面的所述数字表示。
[0020] 另一实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体 可包含可由处理器执行W用于进行W下操作的指令:在=维空间中确定所述物理场景中的 物理平面的定向及初始部分;产生矫正图像，其中所述矫正图像含有所述物理平面的至少 部分的前平行视图；及将所述物理平面的所述前平行视图再分为多个网格单元。
[0021] 对于所述多个网格单元中的每一者，所述指令可经配置W用于：基于与所述网格 单元相关联的至少一个图像特性而产生图像签名；确定邻接所述物理平面的所述所获得的 初始部分的至少部分的网格单元W包含为所述物理平面的所述数字表示的部分;及对于来 自邻接所述所获得的初始部分的至少部分的所述网格单元的每一相邻网格单元：（a)如果 所述相邻网格单元的图像签名类似于已经确定将被包含为所述物理平面的所述数字表示 的部分的网格单元的图像签名，那么确定所述相邻网格单元是否将另外被包含为所述物理 平面的所述数字表示的部分，其中所述类似性是基于至少一个预定阔值准则，且对于邻接 已经被包含为所述物理平面的所述数字表示的部分的网格单元的每一相邻网格单元，继续 (a)中的过程，直到不存在基于(a)中的过程确定另外被包含为所述平面的部分的相邻网格 单元。
[0022] 在一个方面中，所述物理平面的所述初始部分是基于定位在所述