视觉标记物的制作方法

1.本公开整体涉及传达信息的视觉标记物(marker)并且涉及捕获并解译此类视觉标记物的图像以获得并使用所传达信息的系统、方法和设备。


背景技术：

2.如今，视觉标记物以条形码、快速响应(qr)码和其他专有格式的形式存在。qr码编码二进制数据诸如字符串或其他有效载荷。


技术实现要素：

3.本文所公开的各种具体实施包括具有按多个形状布置的多个标记的视觉标记物。在一些具体实施中，视觉标记物的标记(marking)可被配置为既指示该视觉标记物的取向又传达信息。在一些具体实施中，每个标记由一组子标记形成，该一组子标记由间隙分开并且根据相应形状布置。这些间隙中的一些间隙被定位成唯一地指示视觉标记物的取向。在一个示例中，每个标记是由环区段子标记形成的环，这些环区段子标记被间隔以限定位置的模板。模板中的这些位置中的一些位置被选择性地填充有其他环区段子标记(表示1)或被保留为间隙(表示0)以传达信息。模板中的这些位置中的其他位置被保留为间隙以指示视觉标记物的取向。例如，在这些指示取向的模板位置处的间隙可提供间隙位置的组合，该组合对于视觉标记物的单个取向是唯一的。标记的大小、形状、位置的数量和其他特性可被配置成使得在某些位置处的间隙提供间隙位置的组合，该组合对于视觉标记物的单个取向是唯一的。本文所公开的各种其他具体实施解码或以其他方式解译视觉标记物以确定视觉标记物的取向或基于该取向获得由视觉标记物传达的信息。
4.在一些具体实施中，视觉标记物通过选择性地编码(例如，封闭或开口)环区段子标记之间的间隙的模板来传达第一组信息，这些环区段子标记在多个标记中的每个标记中形成多个元素。在一些具体实施中，视觉标记物通过选择性地对多个元素的子集着色来传达第二组信息。
5.在一些具体实施中，传达信息的视觉标记物包括按对应多个形状布置的多个标记，每个标记由一组子标记形成，该一组子标记由间隙分开并且根据相应形状布置，其中该多个标记的这些间隙被配置为传达信息(例如，编码数据)并且指示该视觉标记物的取向。
6.在一些具体实施中，在具有处理器的电子设备处，一种方法包括：获得物理环境的图像，该物理环境包括视觉标记物，该视觉标记物包括按对应多个形状布置的多个标记，每个标记由一组子标记形成，该一组子标记由间隙分开并且根据相应形状布置。根据图像中所描绘的多个标记中的标记中的至少两个标记中的间隙中的第一组间隙来确定视觉标记物的取向。然后，基于视觉标记物的取向解码编码在间隙中的第二组间隙中的数据。
7.在一些具体实施中，在具有处理器的电子设备处，一种方法包括：获得物理环境的图像，该物理环境包括视觉标记物，该视觉标记物包括多个元素。然后，基于该图像确定视觉标记物的颜色特性(characteristic)。在一些具体实施中，针对由多个元素展现的颜色
确定数据值，这些数据值是基于所确定颜色特性确定的。然后，基于这些颜色的所确定数据值解码编码在由多个元素展现的颜色中的数据。
附图说明
8.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
9.图1是根据一些具体实施的示例性操作环境的图示。
10.图2是根据一些具体实施的示例性电子设备的图示。
11.图3至图4是示出了根据一些具体实施的使用多个逐渐增大的标记中的间隙指示取向并传达信息的示例性视觉标记物的图示。
12.图5a至图5b是示出了示例性视觉标记物的两个同心环的示例性配置的图示。
13.图6是示出了根据一些具体实施的使用多个逐渐增大的标记中的间隙指示取向并传达信息的示例性视觉标记物的图示。
14.图7是示出了根据一些具体实施的可由物理环境中的电子设备检测到的视觉标记物的图示。
15.图8是示出了根据一些具体实施的解码指示取向并传达信息的视觉标记物的示例性方法的流程图。
16.图9示出了根据一些具体实施的使用多个逐渐增大的标记中的间隙传达信息并且在该多个逐渐增大的标记中的着色子标记中传达信息的示例性视觉标记物。
17.图10是示出了根据一些具体实施的解码使用多个元素中的颜色传达信息的视觉标记物的示例性方法的流程图，该多个元素形成按大小增大的对应多个形状布置的多个标记。
18.图11是示出了根据一些具体实施的解码使用按大小增大的对应多个形状布置的多个标记中的间隙指示取向并传达信息的视觉标记物的示例性方法的流程图。
19.图12是示出了根据一些具体实施的包括按大小增大的对应多个形状布置的多个标记的另一示例性视觉标记物的图示。
20.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
21.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
22.图1示出了在物理环境105中使用电子设备120的示例性操作环境100。物理环境是指人们在没有电子系统帮助的情况下能够与其交互和/或对其感测的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视
觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
23.在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是表、头戴式设备(hmd)、头夹化式设备(眼镜)等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、cpu能力、gpu能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。
24.在一些具体实施中，电子设备120被配置为捕获、解译并使用视觉标记物(例如)以向用户115呈现内容。在一些具体实施中，电子设备120捕获物理环境的一个或多个图像，包括视觉标记物的一个或多个图像。电子设备120可识别一个或多个图像中的视觉标记物并且使用一个或多个图像的对应部分来确定视觉标记物的取向并且基于该取向解译由视觉标记物传达的信息。
25.图2是示例性设备200的框图。设备200示出了设备120的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备200包括一个或多个处理单元202(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备及传感器206、一个或多个通信接口208(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c或类似类型的接口)、一个或多个编程(例如，i/o)接口210、一个或多个显示器212、一个或多个面向内部或面向外部的图像传感器系统214、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
26.在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个i/o设备及传感器206包括以下项中的至少一者：惯性测量单元(imu)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
27.在一些具体实施中，一个或多个显示器212被配置为向用户呈现内容。在一些具体实施中，一个或多个显示器212对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)或类似显示器类型。在一些具体实施中，一个或多个显示器212对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备200可包括单个显示器。又如，电子设备200包括针对用户的每只眼睛的显示器。
28.在一些具体实施中，一个或多个面向内部或面向外部的传感器系统214包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器系统214可以包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机或
者基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统214还包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器系统214还包括相机上图像信号处理器(isp)，其被配置为对图像数据执行多个处理操作。
29.存储器220包括高速随机存取存储器，诸如dram、sram、ddrram或其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。
30.在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储可选的操作系统230和一个或多个指令集240。操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集240包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集240是能够由一个或多个处理单元202执行以实施本文所述技术中的一种或多种的软件。
31.在一些具体实施中，指令集240包括视觉标记物读取器242，该视觉标记物读取器可由处理单元202执行以识别视觉标记物、确定视觉标记物的取向并且基于该取向解译由视觉标记物传达的信息。在一些具体实施中，视觉标记物读取器242被执行以检测并解译例如由一个或多个面向内部或外部的传感器系统214捕获的物理环境的一个或多个图像中存在的视觉标记物。
32.在一些具体实施中，指令集240包括视觉标记物创建者244，该视觉标记物创建者可由处理单元202执行以创建根据本文所公开的技术中的一种或多种技术指示取向并传达信息的视觉标记物。
33.尽管指令集240被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图2更多地用作存在于特定具体实施中的各种特征部(features)的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
34.图3至图4和图6是示出了根据一些具体实施的使用多个逐渐增大的标记中的间隙指示取向并传达数据的示例性视觉标记物的图示。在一些具体实施中，视觉标记物300是模板(例如，未编码的视觉标记物)，并且视觉标记物400是视觉标记物300模板的实例(例如，传达信息)。在一些具体实施中，视觉标记物600是视觉标记物300模板的另一实例(例如，传达信息)。在一些具体实施中，视觉标记物300包括多个(例如，一系列)逐渐增大的标记，其中这些标记中的每个标记具有相同或不同的形状。在一些具体实施中，视觉标记物300包括多个逐渐增大的标记，其中这些标记中的至少一个标记使用不同的形状。在一些具体实施中，视觉标记物300包括多个同心标记。在一些具体实施中，视觉标记物300包括多个逐渐增大的标记(例如，逐渐增大的环)，其中这些标记中的每个标记具有用于传达信息的不同数量的间隙。
35.如图3所示，视觉标记物300包括按对应多个形状布置的多个标记(例如，每个标记是相同形状的环)。在一些具体实施中，多个环310a-310e的每个标记由子标记330形成，这
些子标记根据(例如，沿着)相应形状(例如，环310a-310e中的一个环)布置并且根据(例如，沿着)相应形状(例如，环310a-310e中的一个环)限定位置。在一些具体实施中，多个环310a-310e中的每个环可包括固定子标记330，这些固定子标记限定用于在视觉标记物300中传达信息的间隙320的模板(例如，网格)。在一些具体实施中，间隙320的模板被选择性地填充以传达信息或取向。在一些具体实施中，间隙320的模板被选择性地填充有子标记以传达至少1个信息位。在一些具体实施中，多个环310a-310e中的每个环可包括固定子标记330，这些固定子标记限定在图4和图6所示的视觉标记物类型的每个视觉标记物中(例如，在被译码、未编码或无数据之前)的位置的模板。
36.在一些具体实施中，间隙320或位置的模板被选择性地填充有子标记(例如，表示“1”位)或者被保留为间隙(例如，表示“0”位)以在视觉标记物300模板的实例(例如，所编码的视觉标记物400)中传达信息。在一些具体实施中，环310a-310e中的每个环中的间隙320的大小是相同的。在一些具体实施中，环310a-310e中的全部环中的间隙320的大小是相同的。在一些具体实施中，使用(例如，多个环410a-410e的)所编码标记的多个所编码的相邻间隙(例如，视觉标记物400中的所编码间隙320)表示的数据序列可指示数据序列，例如0100101。
37.图4示出了根据一些具体实施的使用按对应多个形状布置的多个标记中的间隙指示取向并传达信息的示例性视觉标记物400。在一些具体实施中，视觉标记物400包括多个逐渐增大的环绕标记，其中这些标记中的每个标记是相同的形状。在一些具体实施中，视觉标记物400包括多个逐渐增大的标记，其中这些标记中的至少一个标记使用不同的形状。在一些具体实施中，视觉标记物400的多个标记是相等间隔开的。在一些具体实施中，视觉标记物400的多个标记不是相等间隔开的。
38.如图4所示，视觉标记物400包括多个同心环410a-410e，该多个同心环各自可具有用于存储信息的不同数量的间隙。在一些具体实施中，同心环中的每个同心环从最内同心环410a到最外同心环410e越来越大。在一些具体实施中，环410a-410e中的每个环在编码有信息时包括多个弧450与位于2个相邻弧450之间的间隙440。在一些具体实施中，间隙440表示信息的至少一个二进制数字(位)。在一些具体实施中，空间隙440表示“0”，并且形成弧450中的较大大小的弧的所填充间隙(例如，320)表示至少一个“1”。在一些具体实施中，环410a-410e中的每个环中的间隙440的大小是相同的。在一些具体实施中，环410a-410e中的全部环中的间隙440的大小是相同的。在一些具体实施中，视觉标记物400使用间隙440和弧450来编码128位(例如，包括奇偶校验位或错误校正位)。
39.在一些具体实施中，图3所示的视觉标记物300模板被认为全部表示0，而图4所示的视觉标记物400编码有一些数据(例如，模板间隙320被选择性地填充有指示这些数据值的1的子标记)。在一些具体实施中，模板间隙320被选择性地填充有参数化图形元素，以在视觉标记物400中编码多于1个的数据位。
40.在一些具体实施中，视觉标记物400传达信息(例如，指示取向并编码数据)，并且视觉标记物300能够使用间隙320传达信息(例如，指示取向并编码数据的有效载荷)。在一些具体实施中，视觉标记物400将元数据、变元数据或对应的奇偶校验数据编码在模板间隙320中以形成间隙440和弧450。在一些具体实施中，视觉标记物400在间隙440(例如，间隙320)中指示视觉标记物400的取向。在一些具体实施中，视觉标记物400(例如，使用模板间
隙320)将视觉标记物400的美学数据编码在间隙440和弧450中。
41.在一些具体实施中，视觉标记物400、300具有单个可检测取向。在一些具体实施中，视觉标记物400、300使用间隙320来确定单个可检测取向。在一些具体实施中，选择环310a-310e、410a-410e中的每个环中的间隙320的数量以使得仅存在所有间隙320在视觉标记物300、400中对准的一个取向。在一些具体实施中，环310a-310e、410a-410e中的每个环中的间隙320的相应数量被选择为不具有公约数，这确保视觉标记物300、400的单一取向。如图3至图4所示，环310a-310e、410a-410e中的每个环中的间隙320(例如，填充的和空的)的相应数量在视觉标记物300模板和视觉标记物400中为17、23、26、29、33。
42.在一些具体实施中，取向可用于确定在何处开始读取、解码或以其他方式解译由存在于视觉标记物400中的间隙320的位置处的弧450和间隙440表示的信息。例如，读取所定向视觉标记物400中的数据可在6点钟位置处开始并且在环410a-410e中的每个环中逆时针前进以解译由存在于间隙320的位置处的弧450和间隙440表示的信息，并且最内环410a可被解码为11111011101010010。
43.图5a至图5b是示出了具有不同数量的间隙的2个同心环的示例的图示。如图5a所示，内环具有2个间隙，并且外环具有4个间隙。在图5a中，2个同心环具有不明确的取向，因为2个同心环中的间隙对准两次(例如，在0
°
和在180
°
)。如图5b所示，内环具有2个间隙，并且外环具有3个间隙。在图5b中，2个同心环具有明确的取向，因为2个同心环中的间隙以单一取向对准。在图5b中，2个同心环中的间隙的数量不具有公约数。
44.图6示出了根据一些具体实施的使用按对应多个形状布置的多个标记中的间隙指示取向并传达信息的示例性视觉标记物600。如图6所示，在传达信息的视觉标记物600(例如，与视觉标记物400相比传达不同的信息)中，环410a-410e中的每个环中的间隙320(例如，填充的和空的)的相应数量为17、23、26、29、33。如图6所示，环410a-410e中的各自具有1个间隙(例如，440)的至少2个环用于无歧义地指示视觉标记物600的取向。在一些具体实施中，每个环410a-410e中的至少一个间隙(例如，440)用于指示视觉标记物600的取向。在一些具体实施中，环410a-410e中的至少一个环包括多于一个间隙(例如，440)以确定视觉标记物600的取向。
45.在一些具体实施中，视觉标记物300、400、600包括间隙320的指示视觉标记物300、400、600的取向的第一子集。在一些具体实施中，视觉标记物300、400、600包括间隙320的传达视觉标记物400、600的信息(例如，所编码数据)的第二子集。
46.在一些具体实施中，视觉标记物300、400、600包括间隙320的第一子集，该第一子集包括环310a-310e、410a-410e中的至少2个环中的至少一个间隙320。在一些具体实施中，间隙320的包括环310a-310e、410a-410e中的至少2个环中的至少一个间隙320的第一子集被填充(例如，封闭)，除非通过编码视觉标记物400、600的数据(例如，有效载荷)，环410a-410e中的对应环变为实心的(例如，完全填充而无间隙)，并且然后间隙440的第一子集中的该至少1个间隙320未被填充(例如，开口)。
47.在一些具体实施中，视觉标记物400包括用于弧450的第一颜色(例如，前景颜色)和用于间隙440的第二颜色(例如，背景颜色)。在一些具体实施中，所填充间隙320填充有第一颜色以形成弧450。在一些具体实施中，当对应于间隙320的间隙440为背景颜色时，视觉标记物400的间隙440表示“0”位(例如，空的)。在一些具体实施中，当弧450是前景颜色并且
在大小上大于子标记330时，被填充以形成弧450中的一个弧的该间隙320表示“1”位(例如，填充的)。
48.在一些具体实施中，视觉标记物的多个标记(例如，环310a-310e、410a-410e)的第一颜色和视觉标记物的背景的第二颜色是在颜色谱内的任何地方选择的。在一些具体实施中，视觉标记物的第一颜色和第二颜色可以是任何颜色，但是通常两种颜色是基于可检测性或美学选择的。在一些具体实施中，两种颜色的可检测性是基于3d颜色空间中的间隔、照明条件、打印条件、显示条件、图像捕获传感器或美学信息中的一者或多者。在一些具体实施中，视觉标记物400的颜色不用于编码数据。
49.在一些具体实施中，视觉标记物400提供可检测取向或传达信息而不使用视觉标记物中的过大特征。在一些具体实施中，视觉标记物400提供可检测取向或传达信息而不使用视觉标记物中的过小特征。在一些具体实施中，视觉标记物400提供可检测取向或传达信息而不使用视觉标记物中的着色特征。
50.图7是示出了根据一些具体实施的可由物理环境中的电子设备检测到的视觉标记物的图示。如图7所示，物理环境705中的视觉标记物400由第二电子设备720检测到。在一些具体实施中，视觉标记物400位于对象710的表面上。在一些具体实施中，对象710是包括视觉产生设备诸如显示器或投影仪的第一电子设备。
51.如图7所示，视觉标记物400是以预设格式(例如，二进制格式)编码信息的2d/3d对象，该预设格式诸如用于访问基于远程的体验712的字符串或其他有效载荷。在一些具体实施中，到基于远程的体验712的链接包括发起支付的链接(例如，经许可的支付端点)、到网站的链接(例如，url)或启动到基于web的体验的链接。在一些具体实施中，视觉标记物400用于仅启动或仅链接到由视觉标记物400的创建者授权的经认可的基于远程的体验712。在一些具体实施中，视觉标记物的创建者包括设计视觉标记物的实体、打印(例如，制作)视觉标记物的实体(例如，开发者)以及管理/托管视觉标记物的实体。在一些具体实施中，视觉标记物400可不编码url。
52.如图7所示，在一些具体实施中，使用电子设备720上的传感器(例如，相机740)获得物理环境705的图像。在一些具体实施中，传感器可以是rgb相机、立体相机、深度传感器(例如，飞行时间、结构光)、rgb-d相机、单色相机、一个或多个2d相机、ir相机、动态视觉传感器(事件相机)等。在一些具体实施中，可使用彩色图像。另选地，在一些具体实施中，可使用灰度图像。在一些具体实施中，所捕获图像为电子设备720处的2d图像或3d图像。图7示出了可包括电子设备120、200中的一者或两者的一些或所有特征的电子设备。
53.图8是示出了根据一些具体实施的解码使用按大小增大的对应多个形状布置的多个标记中的间隙指示取向并传达信息的视觉标记物的示例性方法的流程图。在一些具体实施中，多个标记按对应的多个扩展同心环布置。在一些具体实施中，使用多个标记中的模板间隙来提供取向并传达数据。在一些具体实施中，使用第一组间隙来提供取向，并且使用多个标记中的不同的第二组间隙来传达数据。在一些具体实施中，方法800由设备(例如，图1至图2的电子设备120、200)执行。可使用电子设备或由彼此通信的多个设备来执行方法800。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
54.在框810处，方法800获得包括视觉标记物的物理环境的图像，该视觉标记物包括按对应多个形状布置的多个标记，该多个标记中的每个标记由一组子标记形成，该一组子标记根据相应形状布置并且由间隙分开。在一些具体实施中，多个标记形成具有不同大小(例如，增大、减小)的多个相同的至少部分环绕的圆形、椭圆形、矩形、多边形、星形或其他形状。在一些具体实施中，多个标记是同心的。在一些具体实施中，第一标记对应于内环，第二标记对应于环绕第一环的第二环，第三标记对应于环绕第二环的第三环等等。在一些具体实施中，多个标记中的间隙可具有一致的大小。在一些具体实施中，视觉标记物具有独特的可检测取向。
55.在一些具体实施中，在框810处，视觉标记物在物理环境中的对象的表面处可见。在一些具体实施中，视觉标记物打印在对象的表面上。在一些具体实施中，视觉标记物由2d或3d打印机打印。在一些具体实施中，视觉标记物由黑白打印机或彩色打印机(例如，rgb或cymk)打印。在一些具体实施中，视觉标记物被着色蚀刻、涂漆、粉末化、绘制、喷涂等到对象的表面上。在一些具体实施中，视觉标记物由显示器显示或由投影仪投影在物理环境中的对象上。在一些具体实施中，显示器或投影仪是自发光的、发射的、透射的或反射的。
56.在一些具体实施中，在框810处，电子设备处的图像传感器捕获包括视觉标记物的物理环境的图像。在一些具体实施中，检测电子设备(例如，包括图像传感器)检测物理环境的图像中的视觉标记物。在一些具体实施中，通过找到图像中的视觉标记物的所选择部分(例如，多个标记中的一个标记)的预先确定的形状来检测视觉标记物。在一些具体实施中，传感器可以是rgb相机、深度传感器、rgb-d相机、单色相机、一个或多个2d相机、事件相机、ir相机等。在一些具体实施中，使用传感器的组合。在一些具体实施中，传感器用于生成表示物理环境的扩展现实(xr)环境。在一些具体实施中，可使用彩色图像。另选地，在一些具体实施中，可使用灰度图像。
57.在框820处，方法800根据图像中所描绘的多个标记中的标记中的至少两个标记中的间隙中的第一组间隙来确定视觉标记物的取向。在一些具体实施中，使用图像中所描绘的多个标记中的两个不同标记中的间隙中的第一组间隙中的至少1个间隙来确定该取向。在一些具体实施中，确定该取向包括：确定对应于第一组间隙的相对定位的视觉标记物的唯一取向。在一些具体实施中，多个标记中的每个标记中的模板间隙的相应数量被分别选择为不具有公约数以提供视觉标记物的单一可检测取向。在一些具体实施中，可矫正图像以考虑图像捕获条件。
58.在框830处，方法800基于视觉标记物的取向解码编码在间隙中的第二组间隙中的数据。在一些具体实施中，使用多个标记中的模板间隙中的第二组间隙来编码数据。在一些具体实施中，第二组间隙和第一组间隙是多个标记中的相同间隙。在一些具体实施中，数据被编码在多个标记中的不同于第一组间隙的第二组间隙中。
59.在一些具体实施中，在框830处，解码包括：将多个标记的像素聚类到对应多个标记中的一个标记中。在一些具体实施中，聚类使用数据驱动的学习分割方法诸如语义分割深度学习模型来将多个标记的像素分类到各自表示对应多个标记中的一个标记的多个类别以及至少一个其他类别(例如，误差、离群值、遮挡等)中。在一些具体实施中，聚类使用k均值聚类和迭代匹配来将多个标记的像素分类到各自表示对应多个形状中的一个形状的多个类别以及至少一个其他类别(例如，误差、离群值、遮挡等)中。
60.在一些具体实施中，在框830处，聚类包括从多个标记的像素随机选择多个点作为一组点(例如，在二值化或图像分割之后)，并且根据所选择的一组点假设建模形状。例如，来自多个标记的像素的5个随机选择的像素形成一组点，该一组点用于将唯一限定的椭圆形假设为建模形状。在另一示例中，来自多个标记的像素的3个随机选择的像素形成一组点，该一组点用于将唯一限定的圆形假设为建模形状。在一些具体实施中，将随机选择步骤和假设步骤重复规定迭代次数(例如，1000次)或者直到满足至少一个另选的停止标准(例如，检测到的内围层的数量、模型拟合成本)为止。在一些具体实施中，对应多个形状中的第一形状根据所假设的建模形状而确定，所假设的建模形状导致在迭代期间获得的接近该形状(例如，高达距离阈值)的最大的一组多个点。在一些具体实施中，使用最佳的一组点(例如，导致接近所假设的建模形状的最高数量的点的该一组点)来确定视觉标记物的多个同心形状中的一个同心形状(例如，一个同心环或多个同心环中的第一同心环)的形状。在一个示例中，多个标记的其余像素被独立地聚类到其余同心环中的每个同心环的对应组(例如，如上文针对第一同心环或最外同心环所描述的)中。然后，对于每个另外的同心环，确定导致接近该形状(例如，高达距离阈值)的最大的一组多个点的最佳的一组点。在该示例中，可将聚类到同心环中的每个同心环的像素从对其余同心环的分析中移除。因此，在一些具体实施中，多个标记的像素独立地聚类到对应多个标记中的一个标记中。在一些具体实施中，预设关系诸如大小或距离在按对应多个形状(例如，多个同心环)布置的多个同心标记之间并且基于标记(例如，环)中的一个标记的形状存在并且已知，此信息可用于幻生(hallucinate)其他标记(例如，估计其他或其余同心环的形状)。在一些具体实施中，一旦估计了其余同心标记，就使用最佳的一组点(例如，上文所描述的)来确定其余同心标记中的每个同心标记的形状。在一些具体实施中，同时比较多个标记中的每个标记中的所聚类像素以匹配多个标记的多组模板子标记中的间隙，以检测视觉标记物的取向以用于解码视觉标记物。
61.在一些具体实施中，在框830处，方法800进一步基于视觉标记物的取向在多个标记中从起始位置顺序地(例如，通过标记诸如最内标记到最外标记以及顺时针/逆时针排序)解码视觉标记物的数据。在一些具体实施中，在框830处，方法800进一步将视觉标记物的数据解码成二进制数据诸如字符串或其他有效载荷以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验、或者启动到其他基于web的体验。在一些具体实施中，就解码之后的用户体验而言，视觉标记物的使用可以是任意的。例如，视觉标记物可在tv上显示，并且在被扫描时，所解码数据可帮助用户选择选项、获得关于正在tv上显示的影片的信息等。在另一示例中，来自视觉标记物的所解码数据在被用户扫描时可发起扫描电子设备(例如，智能电话)上的应用程序，诸如食物递送应用程序。在一些具体实施中，视觉标记物可被显示，并且在被扫描时，所解码数据将音频消息或音乐递送给解码电子设备。
62.在一些具体实施中，在取向确定或数据解码之前将图像中所描绘的视觉标记物二值化。在一些具体实施中，将按对应多个形状布置的多个标记的像素改变为第一颜色(例如，黑色)并且将其余像素改变为第二颜色(例如，白色)。
63.在一些具体实施中，视觉标记物的颜色(例如，两种或更多种)可以是任何颜色，然而，这些颜色是基于可检测性或美学选择的。因此，用于视觉标记物的多个标记的第一颜色和用于视觉标记物的背景的第二颜色是在颜色谱内的任何地方选择的。
64.在一些具体实施中，视觉标记物的版本被编码在多个标记的第一部分(例如，第一或最内标记)中，并且在多个标记的第二部分(例如，其余标记)中利用视觉标记物的所编码数据指示取向。在一些具体实施中，使用第一加密类型来编码视觉标记物的版本，并且使用不同的第二加密类型来编码第二部分。在一些具体实施中，该版本在第二部分中或在视觉标记物中编码多个标记的数量(例如，4个、5个、6个等同心环)。
65.在一些具体实施中，在框810处，方法800基于一个或多个图像确定检测电子设备和视觉标记物之间的相对定位。在一些具体实施中，相对定位确定视觉标记物相对于检测电子设备的相对位姿(位置和取向)。在一些具体实施中，使用计算机视觉技术(例如，vio或slam)或n点透视(pnp)技术来确定相对定位。在一些具体实施中，基于立体图像处理(例如，基于不同的估计)来确定相对定位。在一些具体实施中，基于深度学习(例如，卷积神经网络cnn))来确定相对定位。在一些具体实施中，相对定位确定从检测电子设备到视觉标记物的距离或方向。
66.在一些具体实施中，在检测电子设备处通过识别所捕获图像中的所检测到的视觉标记物的大小或比例来确定相对定位。在一些具体实施中，可基于视觉标记物的大小确定检测电子设备和所检测到的视觉标记物之间的距离。在一些具体实施中，视觉标记物的大小或形状可被编码在视觉标记物中，并且然后直接从物理环境的图像中解码。在一些具体实施中，视觉标记物的大小或形状由检测电子设备预设并已知。在一些具体实施中，在检测电子设备处使用vio、slam、rgb-d图像处理等来确定视觉标记物的大小或形状。
67.另选地，可基于检测物理环境中的视觉标记物的检测电子设备处的深度传感器来确定检测电子设备和所检测到的视觉标记物之间的距离。在一些具体实施中，检测电子设备处的深度传感器使用基于立体的深度估计。在一些具体实施中，检测电子设备处的深度传感器是深度专用传感器(例如，飞行时间、结构光)。
68.图9示出了根据一些具体实施的示例性视觉标记物900，该示例性视觉标记物使用按大小增大的对应多个形状布置的多个标记中的间隙指示取向并且在多个标记中的着色子标记中传达信息。在一些具体实施中，视觉标记物900包括多个(例如，一系列)逐渐增大的环绕标记，其中这些标记中的每个标记是相同的形状。在一些具体实施中，视觉标记物900包括多个逐渐增大的标记，其中这些标记中的至少一个标记使用不同的形状。
69.在一些具体实施中，使用2种不同的技术在视觉标记物900的多个标记(例如，环910a-910e)中传达信息。在一些具体实施中，使用第一技术(例如，封闭或不封闭模板子标记930之间的模板间隙920)在多个标记(例如，环910a-910e)中传达信息，以形成其间具有间隙940的弧950，并且使用第二技术(例如，对预设数量的弧950进行颜色译码)使用弧950在视觉标记物900中传达信息。
70.在一些具体实施中，在视觉标记物900中使用第一技术传达信息，之后在视觉标记物900中使用第二技术传达信息。
71.如图9所示，视觉标记物900包括多个同心环910a-910e，其中同心形状中的每个同心形状具有用于指示取向并传达信息的不同数量的模板间隙920。在一些具体实施中，多个标记(例如，环910a-910e)中的每个标记由一组模板子标记930形成，该一组模板子标记根据相应形状布置并且由模板间隙920分开。在一些具体实施中，视觉标记物900是视觉标记物300模板的另一实例(例如，传达信息)。
72.在一些具体实施中，环910a-910e中的每个环在编码有信息(例如，使用模板间隙920)时包括多个弧950以及其间的间隙940。在一些具体实施中，模板间隙920中的每个模板间隙表示信息的至少一个二进制数字(位)。在视觉标记物900的一些具体实施中，空模板间隙920表示“0”并且形成间隙940，并且每个填充的模板间隙920表示“1”并且形成较大大小的弧950。在一些具体实施中，环910a-910e中的每个环中的模板间隙920的大小是相同的。在一些具体实施中，环910a-910e中的全部环中的模板间隙920的大小是相同的。在一些具体实施中，视觉标记物900使用模板子标记930之间的模板间隙920来编码128位(例如，包括奇偶校验)。
73.在一些具体实施中，视觉标记物900具有单个可检测取向。在一些具体实施中，视觉标记物900使用模板间隙920来指示单个可检测取向。在一些具体实施中，选择环910a-910e中的每个环中的模板间隙920的数量以使得仅存在所有模板间隙920在视觉标记物900中对准的一个取向。在一些具体实施中，环910a-910e中的每个环中的模板间隙920的相应数量(例如，17、23、26、29、33)被分别选择为不具有公约数，这确保视觉标记物900的单一取向。
74.在一些具体实施中，取向可用于确定在何处开始解码或以其他方式解译由存在于视觉标记物900中的模板子标记930之间的位置中的模板间隙920传达(例如，编码在其中)的信息。例如，解码所定向的视觉标记物900中的数据可在12点钟位置开始，并且从最内环910a逆时针行进到最外环910e，以解译使用模板间隙920表示的信息。
75.在一些具体实施中，使用颜色编码环910a-910e中的第一多个弧950(例如，子集)以进一步传达信息。在一些具体实施中，第一多个弧950是预设数量(例如，56个)的弧950，这些弧使用颜色编码以使用第二技术进一步传达信息。在一些具体实施中，第二技术中的颜色编码使用最小数量的弧950。
76.在一些具体实施中，当视觉标记物900的实例在模板间隙920中传达信息时，在环910a-910e中形成对应数量的弧950，并且第一多个弧950中的每个弧使用第一颜色或第二颜色传达另外的信息。如图9所示，视觉标记物900的弧950是第一颜色951(例如，灰色)或第二颜色952(例如，黑色)。在一些具体实施中，具有第一颜色951的弧950表示“0”，并且具有第二颜色952的弧950表示“1”。在一些具体实施中，按顺序解码第一多个弧950。例如，如图9所示，第一多个弧950(例如，68个弧950中的56个)从最内环910a上的12点钟到最外环910e中的5个弧950进行解码，并且最内环910a可被解码为1101111001。在一些具体实施中，弧950的长度不影响由视觉标记物900使用颜色传达的信息。
77.在一些具体实施中，弧950使用两种颜色来编码第一多个弧950中的每个弧中的一个位。在一些具体实施中，视觉标记物900针对弧950使用4种颜色，使得弧950中的传达信息的每个弧传达2个信息位(例如，11、10、01、00)。在一些具体实施中，可使用多于4种颜色来在视觉标记物900中使用第二技术传达信息。
78.在一些具体实施中，在视觉标记物900中使用当弧950的数量低于阈值时互换弧950和间隙940的指示符或“翻转弧”来实现预设数量的第一多个弧950。在一个示例中，第一多个弧950的阈值数量(例如，最小值)可为56，并且当所编码的视觉标记物900导致30个弧950时，“翻转弧”被启用并且使用(例如，第一技术)模板子标记930之间的模板间隙920传达的信息被互换，使得预设数量的第一多个弧950可供用于在视觉标记物900中与第二技术一
起使用。在该示例中，模板间隙920的第一编码在每个相应模板间隙920中使用“封闭”来编码“1”位并且使用“开口”来编码“0”位，这导致30个弧950。因此，“翻转弧”被启用并且编码在模板间隙中的数据被“翻转”，使得模板间隙920的第二编码在每个相应模板间隙920中使用“封闭”来编码“0”位并且使用“开口”来编码“1”位，这导致98个弧950(例如，这超过第一多个弧950的最小值或预设数量56)。
79.在一些具体实施中，需要将数据值(例如，位)分配给(例如，弧950的)每种颜色以在视觉标记物900中使用第二技术传达信息。在一些具体实施中，使用颜色编码信息的第一多个弧950中的第一弧指示向视觉标记物900中的2种颜色中的哪种颜色分配数据值“1”并且第二颜色变为数据值“0”。在一些具体实施中，弧950中的任一个弧可用于指示被分配有数据值“1”的颜色。在一些具体实施中，使用弧950的预设序列将数据值分配给在弧950中使用的多种颜色。在一些具体实施中，第一多个弧950中的前8个弧指示分别被分配给在视觉标记物诸如视觉标记物900中使用的8种颜色的数据值(例如，111、110、101、100、011、010、001、000)。
80.在一些具体实施中，使用第一颜色951和第二颜色952(例如，在第二技术中使用的多种颜色)的特性来将数据值(例如，最高数据值到最低数据值)分配给视觉标记物900中的2种颜色。例如，可使用2种颜色的亮度特性来分配数据值。如图9所示，第一颜色951的亮度值大于第二颜色952的亮度值。在第一颜色951和第二颜色952的一些具体实施中，向最小亮度值分配数据位“0”或者向最大亮度值分配数据位“1”。在一些具体实施中，使用在视觉标记物900中使用的颜色的不透明度特性来分配数据值。
81.在一些具体实施中，使用第一颜色951和第二颜色952(例如，在第二技术中使用的多种颜色)之间的关系来将数据值(例如，最高数据值到最低数据值)分配给视觉标记物900中的2种颜色。在一些具体实施中，为视觉标记物900提供背景颜色。如图9所示，背景颜色是第三颜色953(例如，白色)。在一些具体实施中，基于与背景颜色的关系，向用于在弧950(或第一多个弧950)中使用第二技术传达信息的颜色分配数据值。例如，使用亮度关系，第一颜色951更接近第三颜色953的亮度，并且相应地向第一颜色951分配数据值“0”(并且将数据位“1”分配给第二颜色952)。在一些具体实施中，使用在视觉标记物中的第一多个弧950中使用的颜色和背景颜色之间的其他关系来向这些颜色分配数据值。
82.图10是示出了根据一些具体实施的解码使用多个元素中的颜色传达信息的视觉标记物的示例性方法的流程图，该多个元素形成按大小增大的对应多个形状布置的多个标记。在一些具体实施中，使用视觉标记物中的颜色之间的关系来解码分配给用于传达信息的颜色中的每种颜色的对应数据值。在一些具体实施中，多个标记按对应的多个扩展同心环布置。在一些具体实施中，方法1000由设备(例如，图1至图2的电子设备120、200)执行。可使用电子设备或由彼此通信的多个设备来执行方法1000。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法1000由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
83.在框1010处，方法1000获得包括视觉标记物的物理环境的图像，该视觉标记物包括多个元素。在一些具体实施中，该多个元素顺序地布置在视觉标记物中。在一些具体实施中，多个元素可以是形成具有相应形状的多个逐渐增大的标记的区段或子标记。在一些具体实施中，多个标记形成大小增大的多个同心相同对称形状(例如，参见框810)。在一些具
体实施中，多个元素是大小增大的多个同心相同对称环中的形成多个标记的大小可变的弧。
84.在一些具体实施中，在框1010处，视觉标记物在物理环境中的对象的表面处可见。在一些具体实施中，在框1010处，电子设备处的图像传感器捕获包括视觉标记物的物理环境的图像(例如，参见框810)。
85.在框1020处，方法1000基于图像确定视觉标记物的颜色特性。在一些具体实施中，确定诸如但不限于视觉标记物中的颜色(例如，任选地，背景颜色)的亮度、不透明度等的颜色特性。在一些具体实施中，颜色特性确定特定颜色处于视觉标记物上的特定位置。在一些具体实施中，使用颜色处于视觉标记物的多个元素中的特定元素(例如，顺序位置或有序位置)中来确定颜色特性。
86.在框1030处，方法1000确定由多个元素展现的颜色的数据值，这些数据值是基于所确定颜色特性确定的。一些具体实施中，基于红色是视觉标记物中的两种颜色中的较亮者(例如，亮度、不透明度等)，向颜色红色的数据值分配“0”。在一些具体实施中，基于红色更接近视觉标记物中的背景颜色的颜色特性(例如，亮度、不透明度等)，向颜色红色的数据值分配“0”。在一些具体实施中，基于颜色红色存在于视觉标记物上的多个元素的序列中的第一元素中，向颜色红色的数据值分配“1”。在一些具体实施中，基于颜色红色存在于视觉标记物上的多个元素中的特定元素中，向颜色红色的数据值分配“1”。在一些具体实施中，基于所确定颜色特性，可向存在于视觉标记物中的多个元素中的一组4种颜色的数据值分别分配数据值11、10、01、00。
87.在框1040处，方法1000基于颜色的所确定数据值解码编码在由多个元素展现的颜色中的数据。在一些具体实施中，可基于颜色的所确定数据值将着色元素的序列解码为数据的序列。例如，在于多个元素中使用红色和蓝色两种颜色的视觉标记物中，红色元素、红色元素、蓝色元素的序列可被解码为位的序列0、0、1。在一些具体实施中，聚类诸如语义分割可用于将多个标记分类到编码信息的两种颜色类别中的一种颜色类别中。
88.在一些具体实施中，在框1040处，方法1000在解码多个元素之前确定视觉标记物的取向(参见框830)。在一些具体实施中，在框1040处，方法1000进一步基于该取向在多个元素中从视觉标记物的起始位置顺序地(例如，预设次序诸如通过最内标记到最外标记以及顺时针/逆时针)解码视觉标记物的数据(例如，所编码的颜色数据)。在一些具体实施中，在框1040处，方法1000将视觉标记物的数据解码成二进制数据诸如字符串或其他有效载荷以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验、或者启动到其他基于web的体验。在一些具体实施中，就解码之后的用户体验而言，视觉标记物的使用可以是任意的。
89.图11是示出了根据一些具体实施的解码通过修改按大小增大的对应多个形状布置的多个标记中的间隙指示取向并传达信息的视觉标记物的示例性方法的流程图。在一些具体实施中，方法1100还解码形成按大小增大的对应多个形状布置的多个标记的多个元素中的颜色。在一些具体实施中，使用视觉标记物中的颜色之间的关系来解码分配给多个元素中的每个元素的对应数据值。在一些具体实施中，方法1100由设备(例如，图1至图2电子设备120、200)执行。可使用电子设备或由彼此通信的多个设备来执行方法1000。在一些具体实施中，方法1100由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实
施中，方法1100由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
90.在框1102处，方法1100检测物理环境的图像中的包括按对应多个形状布置的多个标记的视觉标记物。在一些具体实施中，多个标记中的每个标记由一组模板子标记形成，该一组模板子标记根据相应形状布置并且由模板间隙分开。在一些具体实施中，多个标记形成具有不同大小的多个相同对称的至少部分环绕的圆形、椭圆形、矩形、多边形或其他形状。在一些具体实施中，多个标记是同心的。在一些具体实施中，第一标记对应于内环，第二标记对应于环绕第一环的第二环，第三标记对应于环绕第二环的第三环等等。在一些具体实施中，多个标记中的间隙可具有一致的大小。在一些具体实施中，视觉标记物具有独特的可检测取向。
91.在一些具体实施中，在框1102处，电子设备处的图像传感器捕获包括视觉标记物的物理环境的图像。在一些具体实施中，检测电子设备(例如，图像传感器)检测物理环境的图像中的视觉标记物(例如，参见框810)。在一些具体实施中，视觉标记物在物理环境中的对象的表面处可见。
92.在框1104处，方法1100对物理环境的图像中所检测到的视觉标记物执行图像校正。在一些具体实施中，在框1104处，可矫正图像以考虑图像捕获条件。在一些具体实施中，用于物理环境的图像中的视觉标记物的图像校正包括颜色校正，诸如视觉标记物中的颜色的局部白平衡。在一些具体实施中，用于图像中的视觉标记物的图像校正包括校正所检测到的视觉标记物处的遮挡或空间变化的照明。
93.在框1106处，方法1100对每个标记的像素进行分类。在一些具体实施中，对每个标记的像素进行分类包括将这些像素分割到各自表示多个标记中的一个标记的多个类别中。在一些具体实施中，对每个标记的像素进行分类包括将多个标记的像素聚类到多个标记的对应形状中的一个形状中。在一些具体实施中，聚类使用语义分割机器学习模型来将多个标记的像素分类到各自表示对应多个形状中的一个形状的多个类别以及至少一个其他类别(例如，误差、离群值、遮挡等)中。在一些具体实施中，聚类诸如语义分割可用于将多个标记分类到编码信息的两种颜色类别中的一种颜色类别中。
94.在框1108处，方法1100根据图像中所描绘的多个标记中的每个标记的各组模板子标记中的模板间隙来找到视觉标记物的平面内取向。在一些具体实施中，根据图像中所描绘的多个标记中的标记中的模板间隙中的第一组模板间隙来确定视觉标记物的取向(例如，参见框820)。在一些具体实施中，确定该取向包括：确定对应于多个标记的第一组间隙的相对定位的视觉标记物的唯一取向。
95.在框1110处，方法1100基于视觉标记物的取向解码编码在模板间隙中的至少一个模板间隙中的数据。在一些具体实施中，使用多个标记中的第二组模板间隙来编码数据。在一些具体实施中，第二组间隙和第一组间隙是多个标记中的相同间隙。在一些具体实施中，数据被编码在多个标记中的不同于第一组间隙的第二组间隙中。在一些具体实施中，在框1110处，方法1100进一步在多个标记中从视觉标记物的起始位置顺序地(例如，基于版本或视觉标记物类型或基于取向的预设次序)解码视觉标记物的数据(例如，参见图8)。
96.在框1112处，方法1100对从视觉标记物的间隙(例如，320)中的至少一个间隙解码的数据执行错误校正。在一些具体实施中，错误校正是基于编码在视觉标记物的模板间隙
中的多个奇偶校验位。在一些具体实施中，错误校正使用已知的里德-所罗门错误校正技术。
97.在框1114处，方法1100对视觉标记物的颜色进行分类。在一些具体实施中，基于针对由形成多个标记的多个元素(例如，区段)展现的颜色确定的至少一种颜色特性来对颜色(例如，弧950)进行分类。在一些具体实施中，基于所确定颜色特性确定多个元素中的颜色的数据值。例如，基于红色是视觉标记物中的两种颜色中的较亮者(例如，亮度、不透明度等)，向颜色红色的数据值分配“0”。在一些具体实施中，基于红色更接近视觉标记物中的背景颜色的颜色特性(例如，亮度、不透明度等)，向颜色红色的数据值分配“0”。
98.在框1116处，方法1100基于颜色的所确定数据值提取由多个元素展现的颜色中的颜色编码数据。在一些具体实施中，可基于颜色的所确定数据值将着色元素的序列(例如，第一多个弧950)解码为数据的序列。例如，在于多个元素中使用红色和蓝色两种颜色的视觉标记物中，红色元素、红色元素、蓝色元素的序列可被解码为位的序列0、0、1。在一些具体实施中，多个元素的颜色编码多于1个数据位。
99.在一些具体实施中，在框1116处，方法1100进一步基于颜色的所确定数据值解码编码在由多个元素展现的颜色中的数据。在一些具体实施中，可从视觉标记物的起始位置(例如，基于版本或视觉标记物类型或基于取向的预设次序)将着色元素的序列解码为数据的序列(参见图10)。
100.在框1118处，方法1100对从由视觉标记物的多个元素展现的颜色提取的颜色编码数据执行错误校正。在一些具体实施中，错误校正是基于编码在视觉标记物的多个元素中的多个奇偶校验位。在一些具体实施中，错误校正使用已知的里德-所罗门错误校正技术。
101.在一些具体实施中，在框1120处，方法1100进一步将视觉标记物的数据解码成二进制数据诸如字符串或其他有效载荷以发起支付、链接到网站、链接到基于位置的体验或基于上下文的体验、或者启动到其他基于web的体验。在一些具体实施中，就解码之后的用户体验而言，视觉标记物的使用可以是任意的。
102.在一些具体实施中，在框1120处，方法1100仅解码编码在模板间隙中的数据(例如，跳过框1108-1112)。在一些具体实施中，在框1120处，方法1100仅解码编码在颜色中的数据(例如，跳过框1114-1118)。在一些具体实施中，方法1100的各部分以不同的顺序次序或同时执行。例如，框1114可在框1108之后执行，如虚线箭头所示。对于另一示例，框1108可在框1110之后执行，如虚线箭头所示。
103.图12是示出了根据一些具体实施的包括按大小增大的对应多个形状布置的多个标记的另一示例性视觉标记物的图示。在一些具体实施中，视觉标记物1200包括多个同心环1210a-1210e，该多个同心环各自包括用于传达信息的不同数量的模板间隙。在一些具体实施中，视觉标记物1200包括另外的特征，这些另外的特征可与如本文根据一些具体实施所描述的视觉标记物的特征或能力结合使用、用于补充或代替这些特征或能力。
104.如图12所示，视觉标记物1200包括用于检测的第一部分1205、用于识别在视觉标记物1200中使用的一组不同颜色(例如，2种、3种、4种、8种等)的第二部分1250、以及用于将数据编码在视觉标记物1200中的第三部分1210(例如，环1210a-1210e)。在一些具体实施中，第一部分1205包括用于检测的预设(非对称)形状。如图12所示，第一部分1205是形成非对称边界(例如，非对称填充、非对称阴影、梯度等)的外环。在一些具体实施中，第一部分
1205是具有预定义非对称形状的内区。在一些具体实施中，第一部分1205是位于视觉标记物1200的中心(例如，中心区域1270)的非对称形状或徽标。在一些具体实施中，第一部分1205被映射到与二进制信息的预设值匹配的颜色(例如，总是被映射到位值“0”)。
105.在一些具体实施中，第一部分1205的预定义形状实现(例如，捕获在图像中的)视觉标记物1200的取向的检测、矫正或确定。在一些具体实施中，第一部分1205的颜色是可变的(例如，对于不同的视觉标记物是不同的)，并因此，使用第一部分1205对视觉标记物1200的检测是基于形状的并且不使用颜色。在一些具体实施中，可使用计算机视觉技术来完成对图像中的视觉标记物1200的检测。在一些具体实施中，基于图像矫正视觉标记物1200。在一些具体实施中，矫正使来自图像的视觉标记物扭曲以使视觉标记物在从正上方取向观看时看起来是平的。
106.如图12所示，第二部分1250与第一部分1205不同且分开，但是包括作为第三部分1210的一部分的元素。
107.如图12所示，第二部分1250包括6个位置，在这些位置，按顺序重复视觉标记物1200的一组3种颜色(颜色1、颜色2、颜色3)。在一些具体实施中，第二部分1250包括大小足以用于检测和识别第二部分1250中的一组颜色的多个像素(例如，3
×
3、4
×
4、12
×
12等)。在一些具体实施中，使用第二部分1250的该一组3种颜色(颜色1、颜色2、颜色3)来将2个数据位编码在视觉标记物1200的每个间隙320处。在一些具体实施中，在至少环1210b-1210e中的间隙320中，颜色1表示“11”，颜色2表示“10”，颜色3表示“01”，并且背景颜色表示“00”。
108.在一些具体实施中，第三部分1210使用图形区段编码视觉标记物1200的数据以填充间隙320。在一些具体实施中，使用通过图形元素的大小、形状、颜色、取向等参数化的图形区段来编码视觉标记物1200的间隙320。然后，基于图形区段和该一组颜色(例如，1250)解码视觉标记物1200的数据(例如，数据部分)。在一些具体实施中，第二部分1250使用与用于视觉标记物1200的第三部分1210的图形区段不同的规定形状。在一些具体实施中，第二部分1250基于第一部分1205的特定总体预定义形状或基于视觉标记物1200的特定总体形状使用已知位置。
109.在一些具体实施中，视觉标记物1200的该一组颜色(例如，颜色1-3)不是预定义的(例如，用于编码第一数据项的给定视觉标记物的该一组颜色可不同于用于编码第二数据项的另一视觉标记物的该一组颜色)。在各种具体实施中，当设计、创建或修改视觉标记物时，可以任何方式选择视觉标记物1200的颜色。
110.在一些具体实施中，可基于可检测性确定该一组颜色(例如，第二部分1250中的颜色)。在一些具体实施中，编码颜色的数据的可检测性是基于3d颜色空间中的间隔、照明条件、打印条件、显示条件、图像捕获传感器或美学信息中的一者或多者。
111.在一些具体实施中，使用检测区1260来检测(例如，图像中的)视觉标记物1200。在一些具体实施中，检测区1260为单个颜色(例如，灰色、白色)。在一些具体实施中，检测区1260使用在视觉标记物1200中其他地方不使用的一种或多种颜色。在一些具体实施中，检测区1260是具有预定义形状或预定义尺寸(例如，厚度与直径)比的外区。在一些具体实施中，检测区1260为如由电子设备上的图像传感器所见的至少2个像素宽的白色环。在一些具体实施中，对(例如，物理环境的)图像中的视觉标记物1200的检测可使用机器学习(ml)来完成以检测检测区1260。在一些具体实施中，第一部分1205包括或环绕检测区1260。在一些
具体实施中，检测区1260的颜色是一致的(例如，对于不同的视觉标记物是相同的)，并因此，对视觉标记物1200的检测是基于形状和颜色的。
112.如图12所示，在一些具体实施中，视觉标记物1200包括中心区域1270。在一些具体实施中，中心区域1270用于装饰(例如，公司徽标)。在一些具体实施中，中心区域1270包括用于检测的特定形状或颜色、用于颜色校正(白平衡)的特定颜色或用于(例如，捕获在物理环境的图像中的)视觉标记物1200a的取向或矫正的特定形状设定、大小设定或角度设定的符号。
113.在一些具体实施中，视觉标记物1200的另外的部分可使用单个颜色(例如，白色或灰色)来着色。在一些具体实施中，视觉标记物1200的另外的部分用于在由图像传感器检测时执行视觉标记物1200中的颜色的局部白平衡。在一些具体实施中，视觉标记物1200的另外的部分用于检测所检测到的视觉标记物处的空间变化的照明或校正任何所检测到的空间变化的照明。例如，当在中心区域1270和第三部分1210之外的区域(例如，跨视觉标记物1200的一部分)中检测到阴影时，另外的区域中的所检测到的阴影可用于校正由阴影引起的视觉标记物1200(例如，第一部分1205、第三部分1210)的颜色变化。在一些具体实施中，所检测视觉标记物处的空间变化的照明由光源、不均匀的照明、物理环境中的对象等引起。在一些具体实施中，另外的部分为检测区1260或中心区域1270。
114.如图12所示，视觉标记物1200通常为圆形形状。然而，视觉标记物1200的具体实施并非旨在被如此限制。在一些具体实施中，可使用视觉标记物1200的其他形状。在一些具体实施中，视觉标记物1200是非对称形状、对称形状、椭圆形、矩形、三角形、蝴蝶结形等。在一些具体实施中，第一部分1205、第二部分1250和第三部分1210在视觉标记物1200中不同地在空间上分离。
115.在一些具体实施中，视觉标记物1200的版本部分可用于确定视觉标记物1200的版本。在一些具体实施中，视觉标记物1200的版本改变该一组颜色(例如，第二部分1250)的数量、改变数据量(例如，环的数量或第三部分1210中的环中的间隙的数量)、标记物的大小、形状的类型，或改变用于编码数据(例如，第三部分1210)的图形区段。在一些具体实施中，视觉标记物1200的版本被编码在视觉标记物的内环(例如，1210a)或另一部分(例如，中心区域1270)中。
116.在一些具体实施中，检测视觉标记物是将图像分类为是否包含视觉标记物的计算机视觉分析。在一些具体实施中，计算机视觉分析对第一部分1205执行形状检测。在一些具体实施中，可使用ml来执行计算机视觉分析。用于对象检测的ml方法包括基于机器学习的方法或基于深度学习的方法。在一些具体实施中，机器学习方法首先从包含输入和期望输出两者的一组数据定义特征，然后使用分类技术来识别对象。在一些具体实施中，深度学习技术例如使用cnn进行端到端对象检测而不明确定义特征。
117.本文所公开的各种具体实施包括提供视觉标记物的设备、系统和方法，该视觉标记物包括本文(例如，单独地或组合地)所述的各种特征。
118.本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。
119.除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
120.本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
121.本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
122.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
123.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
124.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
125.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
[0126]
本发明的前述具体实施方式和发明内容应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对
本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。