专利名称：用于装备照相机的移动装置的视觉代码系统及其应用的制作方法
技术领域：
本发明涉及利用装备照相机的移动装置解码机器可读代码的领 域。更具体来说，本发明公开一种实际上能够被任何装备照相机的移 动装置解码和利用的专用视觉代码。
背景技术：
三十多年以来，条形码(barcode) —直用于识别和定价物体。 更通常，条形码用于零售，以识别商品的项目。例如， 一加仑牛奶可 以包含条形码，当扫描时，该条形码就会告知收银员牛奶的价格。
更近来，随着计算机和条形码扫描器变得越来越便携，条形码获 得了新的用途。现在，扫描常规的一维条形码所需的电路可以容纳在 象普通的钥匙链一样小的装置中。从而，很多移动电话、个人数字助 理("PDA")和呼机可以用基于激光的扫描装置进行翻新改进，或者 可以连接基于激光的扫描装置。这样允许移动装置起到能够存储成百 上万的扫描条形码的扫描器的作用。附带扫描器的移动装置允"^午在无 线电子商务中开辟新的天地。 一些公司开发了允许用户扫描任何条形 码并将该条形码再导向关于扫描产品的介质信息(例如，网站、产品 描述、价格等)的软件和硬件。这些程序在物理世界和在线世界之间 提供连接，这是以前不存在的。
然而，附带扫描器的移动装置具有限制其扩展到移动市场的一些 缺点。首先，没有几种为普通大众生产的包含集成的基于激光的扫描 器的移动装置。因此，对于要获得移动装置的扫描能力的用户，他/ 她必须购买附加的设备。该附加扫描设备还增加了移动装置的尺寸和 重量，从而减少了其可移动性。
目前，很多手机和移动装置具有内置照相机。几个因素驱^_可买 得起的数字照相机的应用及其包含在移动装置内的蓬勃发展。最重要
的一个因素是近来可得到基于CMOS技术的便宜的图像传感器。在 这些装置上的照相机提供拍摄条形码信息的工具，以前，只有通过基 于激光的扫描器才能得到该条形码信息。用包含在移动装置内的数字 照相机解码条形码图像，提出了几个难的问题。这些问题远远超出了 在市售条形码读取器中存在的难题。
因此，显然需要能够在装备照相机的移动装置上进行解码的视觉 代码系统。该视觉代码系统应该能够从宽范围的角度和距离进行解 码，以便用于不同的应用。
发明内容
本发明的视觉代码系统使得装备照相机的移动装置起到用于专 用二维视觉代码的传感器和解码器的作用。该视觉代码可以印刷在纸 文档上，显示在电子屏幕上，或者附着在物理物体上，并且充当访问 与物体相关的信息和功能的密钥。
以这种方式增强移动装置是有前途的，因为它们与其用户有不断 的联系，从而可用于很多日常生活中。它们提供连续的无线连接，并 且，具有集成的照相机的模型变得越来越普遍。能够检测在用户的直 接的附近的物体，这增强了移动电话在移动商业、教育和游戏场所的 作用。另外，它提供自然方式的相互交流，并且使数据输入更方便。
视觉代码系统提供接近实时地叠加在照相机图像上的文字信息 或者图画信息的基础，从而提供用户"增强现实"感。这样使在信息与 物理物体紧密相连的情形中的各种不同的应用成为可能。
一个例子是对本领域中的装置或者设备的维护。例如，设备的各 个部分可以与不同的视觉代码相关联。通过解码不同的视觉代码，与 图像中的项目对准的图画信息可以叠加在照相机图像上。额外的可能 的应用包括显示维护指令、定购备件、检查维护时间表等。其它密切
相关的应用包括在邮购目录中方便地订货；在线银行应用中输入参 考数字；将最新的在线内容连接报纸；支持与TV商业广告、"现在投 票"或者"现在购买"TV广告一体的移动销售简短广告活动；预订各种 事件的票；以及，简化自身与移动装置的交互作用。
本发明的视觉代码系统的关键特征是使大量应用例如项目选择 和表单输入成为可能的内置的方向无关的坐标系统、旋转角的确定、 倾斜度的确定和距离的确定。识别算法精确地确定目标点相对于由视 觉代码限定的坐标系统的坐标。该坐标与视觉代码在照相机图像中的 取向、倾斜或者旋转无关。这样允许所述应用将取景图像上的每点(从 而，任意形状的区域)与信息以及与特定操作相关联。这样，单个视 觉代码可以与多个这样的区域(例如，表格的各个单元或者图像的各 个元素和区域)相关联。
所述识别算法提供照相机图像中的视觉代码的旋转角，作为额外 的输入参数。可以利用这个来简化与移动装置的交互作用。仅仅通过 改变移动装置的方向，显示不同的信息，而无需通过键盘的任何交互 作用。以上述相同的方式，将水平倾斜度和垂直倾斜度用作额外的输 入参数(即，不同的信息与不同的倾斜角度相关联)。图像坐标系统 和代码坐标系统之间的映射也用来使照相机图像中的投影畸变不歪 曲，从而允许自动拍摄表单元素(form element)。印刷表单的各个 区域是不歪曲的，以消除畸变，从而准备它们用于进一步的处理，例 如，将它们传输给在线的服务器。
交互场所
当移动电话或者PDA被增强以充当用于真实世界物体的传感器 时，开拓新的可能的交互作用。通过在日常生活中提供自然方式的"拾 取"数据，缩小在用户周围的物理世界和虚拟世界之间的间距。信息
与物理实体组配，由此对其定位并使其基于真实世界内容。因为移动 电话是无处不在的、可用的装置，与用户保持不断的联系，所以它们 处于对该视觉有贡献的良好位置。至于移动设置的可用性，识别代码 所需的短交互时间是至关紧要的。它不需要用户花费很多的努力，仅 仅需要几秒钟。
有很多应用场所利用视觉代码在邮购目录中，通过扫描视觉代 码，可以选择项目，以方便地进行定购。在线银行应用中，常常需要 从印刷表单上手动地抄写长的参考代码或者交易数字。视觉代码和移 动电话可以替代执行该任务的昂贵的专用的装置。在报纸中，视觉代 码可以用来存储或者评定报纸文章，以得到与广告相关的背景信息， 或者用于更新很快就过时的信息，例如，股票报价和天气预报。使用 代码坐标系统，可以限定具有与在线内容相关联的预定的敏感区域的 印刷图像地图。这样，单个代码可以与多个项目相关联例如，地图 上的各个区域可以连接与这些区域对应的天气预报，并且，在包含股 票报价的印刷表格上的每一行可以链接到被显示在电话上的图表。
在移动销售新兴领域中，视觉代码可以用来简化SMS活动和 SMS彩票。在广告活动中，在160百万饮料瓶的标签上印刷Coca Cola 代码数字。通过SMS发送数字，客户得到标识语、呼叫声和慰问卡， 标签可以参与彩票抽奖。发送5.9百万SMS消息，这对应于3.7V。的 响应率。使用视觉代码，使该过程更方便用户，并且导致在这种活动 中有更多的出席者，这在商业上是非常令人感兴趣的。
所提出的二维代码也适用于在电子屏幕例如计算机显示器、TV 荧光屏、公共场所的壁式显示器、以及甚至手持装置的小屏幕上显示。 通过在屏幕图像上重叠视觉代码，可以实现在TV上的问巻调查、研 究调查和民意测验(如选择最佳的候选人的TV节目)。音乐公司 Polydor使用SMS作为在CD的TV简短广告中的移动响应渠道。观 看者可以在正式发行日之前通过SMS预订CD，这样立刻增加了销售 指数。此外，使用视觉代码，基本上可以提高响应率。装备照相机的 移动电话不仅能够检索物体ID，而且还可以用于更复杂形式的交互作
用。我们的代码识别系统还提供电话的方向、旋转量和图像中心的坐 标。
因此，本发明的目的在于提供一种视觉代码系统，该视觉代码系 统利用由视觉代码限定的方向无关的坐标系统以及相关联的识别算 法，该识别算法确定照相机图像中的目标点相对于该坐标系统的坐 标。
本发明的另 一 目的在于提供一种视觉代码系统，该视觉代码系统 将图像的多个区域与单个代码相关联，其中，每个区域链接到不同的 在线信息和与所述不同的区域相关联的操作。
本发明的又一 目的在于提供一种视觉代码系统，该视觉代码系统 包括旋转度确定特征、垂直倾斜度和水平倾斜度确定特征、以及3巨离 确定特征，这允许与不同信息相关联的不同的旋转、倾斜和距离值。
本发明的另 一 目的在于将本发明的视觉代码系统用于项目选择， 显示以文字、图画(例如，在移动装置的屏幕上或者在附近的电子显 示器上)、听觉(例如，通过移动装置的扬声器、头戴送受话器)或 者触觉的形式的信息，以及触发不同的操作。
本发明的另一目的在于提供一种应用，其中，文字的或者图画的 反馈自身叠加在照相机图像上，与存在于该图像中的项目正确地对准 ("配准")，从而给予用户"增强现实"感。
本发明的另一目的在于提供一种应用，其中，视觉代码系统与印 刷表单结合使用，以方便数据输入。
参阅下面的详细描述和附图，本发明的这些和其它目的将变得更 加清楚。
图1示出视觉代码及其新颖特征的例子。
图2示出由装备照相机的移动装置解码视觉代码所用的步骤的 流程图。
图3示出由图2的代码比特置步骤所用的步骤的流程图。
图4示出包含视觉代码的印刷文档的例子。
图5示出包含视觉代码的印刷文档的另一例子。
图6示出用于日历事件的输入的范例表单。
具体实施例方式
下面给出对本发明的优选实施例(以及一些可供选择的实施例) 的详细描述。然而，对于本领域的技术人员来说，应该显而易见的是， 可以对所描述的实施例进行形式和内容的修改，以针对各种不同的情 形进行优化。
首先参照图1,该图所示的是用于本发明的视觉代码101的例子。 视觉代码101由用于确定视觉代码101的位置和方向的大引导条103 和小引导条105、以及用于检测畸变的三个墙角石107， 109和111、 和具有实际代码比特的数据区域构成。所显示版本的视觉代码101具 有83比特的容量，但是它的设计是一般的并且适用于扩展到大的比 特数。视觉代码101甚至可以可靠地定位在小的、倾斜的低质量的图 像中。
可以使用标准墨或者红外墨印刷视觉代码101。如果使用红外墨 印刷视觉代码101，则数字照相机必须能够识别红外图像。红外墨具 有这样的优点，即，视觉代码101是棵眼不可见的。因此，如果本发
运行，则可以使用视觉代码101的解码来使某一信息出现。
这三个墙角石107， 109和111限定由所述代码引入的坐标系统。 墙角石107位于原点或者位置(0, 0)。类似地，墙角石109显示位 于位置(IO，O)，而墙角石lll位于位置(O，IO)。在该坐标系统中， 大引导条103的中心位于位置(10，5)，而小引导条105的中心位于 位置(8， 10 )。该代码需要在代码周围的单个代码元素的空白空间(在 代码坐标系统中的l单元)。多个视觉代码可以相互相继地印刷，例 如，以栅格的形式布置。在每个相邻的代码之间需要单个代码元素的 空白空间(在代码坐标系统中的l单元)。
接下来，参照图2，该图所示的流程图示出由装备照相机的移动 装置解码视觉代码101所用的步骤。首先，在步骤S201中，针对径 向畸变，校正数字照相机所拍摄的图像。由数字照相机所获得的图像 通常显示出一定量的桶形畸变。然而，对于较新的电话照相机，较少 出现径向透镜畸变的问题，尤其如果代码仅仅占图像的小区域。通过 将每个像素径向地移向图像的中心来校正该图像。位移仅仅取决于像 素离图像中心的距离，而不取决于要校正的具体图像。下面的校正函 数得到足够的结果(w和h分别是图像的像素宽度和像素高度，r是 离图像中心的距离，k是反映透镜的径向畸变量的常量):
<formula>formula see original document page 13</formula>
对于诺基亚7650的集成照相机，通过手动测试，找到可接受的K-6 xl(T7。对于较新的诺基亚6600、 7610和6630，不需要校正。甚至， 对于诺基亚7650，没有校正也进行代码识别。
步骤S201是可任选的，因为单个视觉代码通常仅仅覆盖照相机 图像的小区域。在这种情况下，径向透镜畸变不明显。然而，对于一 些应用，如涉及对照相机图像中的项目进行精确选择的那些应用，该 步骤可以提高精确度。
接下来，在步骤S203中，因为图像中的三种色彩通道通常具有 不同的形状和对比度质量，所以，对图像进行灰度标定和自适应阈值 选择。因此，该算法使用公式灰度=(红色+绿色)/2，而不是使用更 简短的形式灰色=(红色+绿色+蓝色)/ 3或者用于亮度的ITU标准 公式Y = 0.2126红色+ 0.7152绿色+ 0.0722蓝色。该公式是计算高效 的，并且产生足够的起始点用于阈值选择。
采用自适应法，以产生黑白版本的灰度标定的图像，因为照相机 图像的亮度不是恒定不变的，并且，印刷代码可能被不均匀地照明。 该算法使用灰度值的(加权的)移动平均法，同时以蛇形的方式横穿 该图像。按照下述公式更新平均值gs(n):
<formula>formula see original document page 14</formula> ，
其中，Pn表示当前像素的灰度值，S表示移动平均的宽度。给gs赋予 初始值&(0)=^"其中，C是最大可能的灰度值。然后，基于下述公式
来选择阈值化的像素T(n)的色彩<formula>formula see original document page 14</formula>
t和s的推荐值为t-15和^丄w，其中，w是图l象的宽度。
8
在图像经过步骤203中的灰度标定之后，接下来，在步骤S205 中，该算法试图识别和标明图像的不同区域。该步骤由下迷步骤组成 寻找相邻的黑色像素的区域，计数它们，以及给每个区域分配一个号 码。所用的算法是公知的两阶段方法。在第一阶段中， 一行一行地贯 穿图像，分配初始的标号给找到的区域。在该过程中，可能会发生这 样的情况，具有不同标号的两个区域实际上属于相同的区域。在这种 情况中，这两个临时的标号的等同性被存储在表格中。第二阶段通过 合并相应的区域来解决等同性，并且分配最终的标号给每个区域。
接下来，在步骤S207中，该算法计算不同区域的形状和方向。 为了在找到的区域中识别取向条的候选者，使用二阶矩的概念。由像 素组R组成并且具有重心的区域的二阶矩定义为
<formula>formula see original document page 14</formula>
对于这些矩，与该区域具有相同的主轴和次轴的椭圆E = {(x，y) I dx2+2exy+fy2 S l)可以通过下述i殳置来限定
<formula>formula see original document page 14</formula> ，
主轴和次轴的长度比是对区域的"偏心率"的好的量度理想的圆 和正方形具有等于1的比值，而线段具有近似零的比值。这对识别具 有棒状的形状的区域非常有用。此外，区域的主轴的方向矢量可以计
算为
其中，<formula>formula see original document page 15</formula>
一旦识别不同区域的形状和方向，在步骤S209中，该算法执行 定位和评估视觉代码的步骤。通过寻找引导条候选者和寻找相应的墙 角石来定位图像中的代码。仅通过选择具有足够小的轴比(例如，低 于0.05)的那些区域，就找到引导条候选者。对于这些候选者中的每 一个，使用区域的尺寸和方向来评估小引导条105和三个墙角石107， 109和111的期望位置。然后，检查这些特征实际上是否存在于预计 的位置上。如果它们的轴比超过某一限度(如上面所述，理论上，它 们应该具有等于l的比值)，才接受找到的墙角石候选者。如果对于 某一引导条候选者不存在任何代码特征(墙角石107， 109和111、以 及小引导条105)，则放弃该特定候选者，并且检查下一个。
现在，参照图3，该图所示的流程图示出被图2的代码定位步骤 209所用的步骤。首先，在步骤303中，该算法计算从代码坐标到图 像坐标的投影映射(以及从图像坐标到代码坐标的逆映射)。 一旦找 到具有所有代码特征的引导条候选者，该算法就假定这个确实是图像 中的代码，并且开始读取编码比特。到此为止，必须确定图像中的比 特位置，即，人们需要一个函数将每个代码比特映射到图像像素。因 为代码元素是共面的，所以在代码平面和图像平面之间存在唯一的单 应性(投影变换矩阵)。 一旦知道四个对应的点，就可以计算投影映 射。在该算法中，这些对应点是三个墙角石107，109和111的中心， 再加上小引导条105的中心。这样产生其原点在代码的左上角的代码 坐标系统。
左上角的墙角石107、右上角的墙角石109、大引导条103和左 下角的墙角石111的代码坐标定义为(0，0)、 (10， 0)、 (8， IO)和(O， 10)。 假设这些元素分别在图像坐标(Xi， yi) ('e{0，...，3})上找到。代码
坐标(u，v) ("，ve{0，...，10})映射到图像坐标(x，y),其中，
;c=-， _y=-^~
根据如下四个参考点(Xi， yi) 。e{0，，..，3})计算参数a至h:
=0.8x^ —(X8xi +^ -A 》=0.8% —+ j2 —_y3
"=、-A十S^"i 1 +幼 6 = X3—;c0+/zx3e = _y3—_y0+/^3 。
对于选择图像中可见的项目的应用来说，到上述一个的逆映射是 重要的。给出像素坐标，从而可以得到其在由代码产生的坐标系统中 的相应坐标。图像坐标(x，y)按照如下关系映射到代码坐标(u， v):
w = 10--, v = 10'
其中，
￡ = c/z —6
C = 6/ _cg
Z) =— c/G = W — eg
￡■ = a — cgH =- a/z
尸=- =- W
接下来，在步骤S205中，该算法计算在图像中的视觉代码的旋 转角。其取0°和359°之间的值。与图像具有相同的方向的代码具有 0°的旋转角。通过将点(O，O)和(IOO，O)从代码坐标系统映射到图 像坐标系统来确定旋转，从而得到图像点(ax， ay)和(bx， by)。于 是，旋转角确定为
a = arctan((a - ~)/("x - W}'^"^"，
但是，几种特殊情况必须考虑。
在计算视觉代码的旋转角之后，接下来，在步骤307中，该算法
确定水平倾斜度和垂直倾斜度。术语"倾斜度(tilting)"表示图像平 面相对于代码平面倾斜的量。"水平倾斜度"是图像平面相对于视觉代 码的水平轴倾斜的量。类似地，"垂直倾斜度"表示图像平面相对于视 觉代码的垂直轴倾斜的量。1的倾斜度表示没有倾斜，小于1的值表 示朝左/上倾斜，大于1的值表示朝右/下倾斜。倾斜度参数计算如下 计算在代码坐标系统的轴方向上离图像中心点恒定距离h(图像高度) 的四个图4象点。将它们映射到相应的代码坐标，并且计算它们离中心 点的距离。这些距离的比值确定倾斜度参数tx和ty。它们与图像中的 代码的尺寸无关。如果取决于照相机参数的常量r是已知的，则可以 由这些比值确定倾斜角t/和St/。通过实验可以得到它。 "图像中心点的图像坐标
P图像坐标(c + (1，0))-/ 图4象坐才示(c + (0,l))-/
v"/|_y|
"I代码坐标(/-/w)-c I r= I代码坐标(/
,- l代码坐标(z
6= I代码坐标(/ + /^)-~ =〃广
=arctan
arctan
接下来，在步骤S308中，该算法计算代码离照相机的距离。如 果真实的代码尺寸srea,(印刷代码的左上角的墙角石和右上角的墙角 石的中心之间的距离)和照相机的焦距f是已知的，则使用针孔模型，
由Si,ge(照相机图像中的上墙角石的中心之间的像素距离)可以计算
从照相机到未倾斜的视觉代码的米制距离为(wimage是图像的像素宽 度)
<formula>formula see original document page 18</formula>
因为通常Sreal和f是未知的，并且我们为了交互目的想要使用代 码距离，而不是测量其准确的值，所以我们用图像中的视觉代码的尺 寸来定义该距离。对于在取景器模式中识别代码的最远距离，我们设
deamera，COde:- 100。对于通常的装置，情况就是这样，当^^=25个 像素时，总计达图像宽度的15.625%。因此，该距离计算为
<formula>formula see original document page 18</formula>
如果Srea,和f是已知的，仍可以根据deamera，c。de计算米制距离。 对于本领域的技术人员来说，应当显而易见的是，可以按任何顺
序执行步骤303、 305、 307、 308和309，因为每个步骤都是分离的， 并且输出不同的参数或者结果。
一旦识别引导条103和105以及墙角石107， 109和111的位置并 且计算合适的投影映射(从代码坐标到图像坐标)，在步骤309中， 该算法就使用代码坐标(u， v)通过简单地测试黑白图像的适当的像素 (x， y)来读取编码比特，其中，"，v e {0，…，10}，(x, y)-图像坐标((u， v))。
可任选地，在步骤S311中，可以进行误差检测。所用的(83，76,3) 线性代码将76比特ID编码为83比特代码字。所得到的加重平均距 离是三，这应该足以高概率地识别错误的代码。或者，其它的误差检 测或者误差校正代码，例如Reed-Solomon代码，可以用来提高可靠 性和对比特误差的鲁棒性。这可能以稍高的处理时间和实际上可用于 数据存储的低比特数为代价出现。例如，原来83比特的15比特可能 用于Reed- Solomon误差校正代码，留下68比特用于数据存储。
算法的应用
A.旋转角和倾斜度的确定
除了图像中心的代码坐标之外，识别算法提供移动装置相对于代 码的方向。具体来说，该算法提供代码在图像中的旋转度、观看位置 (从左，从右，从上，从下)、图像平面相对于代码平面倾斜的量、
以及代码距离照相机的距离。识别算法实施的在图像平面和代码平面 之间的投影映射(平面单应性)，允许将图像坐标中给定的任意点映 射到代码坐标中的相应点上，反之亦然。
B.项目选择
代码坐标系统和方向确定特征使涉及在印刷文档上选择项目的 大量感兴趣的应用方案成为可能。 一个例子是选择在印刷的邮购目录 上显示的文章。只要项目的代码坐标是已知的，单个代码就足够。这 可以璲过内容创建软件来实现，该软件产生关于代码的"图像地图"及 其相关联的敏感区域。因此，可以扫描邮购目录上的文章，将其存储 在移动装置中，并且可以检索关于该文章的当前信息。然后，可以使 用由移动装置提供的无线通信信道来进行定购。
例如，在图4中，该图所示的包含视觉代码的印刷文档的例子。 地图上的区域和表格中的条目单独地映射到不同的URL，从而与在线 内容相关联。
在报纸上，在线背景信息可以通过视觉代码链接文章、广告或者 很快过时的信息，如天气预报或者股票报价。通过使用代码坐标系统， 定位在感兴趣的几个项目附近的单个代码就足够用。通过计算距离视 觉代码元素的垂直距离和水平距离，可以由投影映射法确定确切的目 标区域，如局部的天气预报。在股票报价表上，以同样的方式，可以 得到目标的行列，从而得到所需的信息。图4示出从一页报纸上剪切 下的图案，其包含具有当前天气数据的地图和包含各个区域的雪高度 的表格。在该报纸版面上画出的点线表示被各自链接到在线内容的敏 感区域。可以用合适的内容创建软件创建这种绘图。作为原型，我们 开发允许将这些区域画到图像并对每个区域指定相关联的URL的绘 图工具。该工具计算这些区域在存在于所述图^^中的代码的坐标系统 中的坐标，并且将该数据存储为XML文件。通过考虑由代码系统提 供的其它的参数，例如，旋转度和倾斜度，可以对每个区域指定多个 URL。如图4所示，单个代码足以分别选择所述区域和表格条目。通 过旋转移动装置，可以选择在线信息的不同方面在实例中，垂直方
向显示所选择的区域的雪深度，而轻微的旋转显示当前的温度。
作为另一个例子，视觉代码可用于移动营销，以将样品号码
(coupon number)自动输入到移动装置。 一个例子是饮料生产商的 SMS活动饮料瓶含有数字(由视觉代码表示)，该数字可以作为 SMS发送，从而可以参与彩票抽奖。在TV上，可以使用视觉代码来 互动地输入特别调查和测试中的多选问题的答案，或者在TV节目中 选择候选人。该装置的代码坐标和方向可以充当附加的输入参数(除 了代码值以外的)，例如，以回答多选问题。
额外可能的应用涉及简化自身与移动装置的交互作用。例如，电 话号码可以编码为视觉代码，印刷在名片或者电话本上。取决于图像 中的代码的方向，该装置要么立即呼机编码的电话号码，将虚拟名片 存储在装置的存储器中，要么(对于移动电话号码)启动装置的SMS 编辑应用。所述装置的用户界面的部分，如深藏的菜单，可以通过下 述方式来具体化将它们与视觉代码相关联，将它们印刷在纸上，或 者将它们显示在大平屏幕上。
本发明的另外的可能的应用场合是将在线内容和操作加入到印 刷文档上，如广告传单、杂志等。范例的在线操作是通过移动电话售 卖事件票、剧院票或者电影票。
图5示出印刷电视杂志的一页，其装备有嵌入的视觉代码。通过 瞄准印刷的视觉代码，可以显示剧情简介，可以给出演员表列单，可 以显示或者提交电影评级，可以启动电影预告片，并且，可以通过移 动电话直接预订票。
C.表单输入
视觉代码还可以与印刷表单结合，以便简化表单输入，其中，移 动杂志提供无线通信信道，从而方便又便宜地发送回输入的数据。这 些表单的领域可以是复选框、标尺和用于自由输入文字或图画的画布 领域。.使用表单周围的框作为标记，可以精确地定域各个表单元素。 识别算法的投影映射使得图像的各部分以及整个图像"不歪曲"。
图6示出用于日历事件的条目的范例表单。所述识别算法首先识
别代码并定位所述框的边缘。然后，针对复选标记，扫描定位在表单 中的复选框。最后，画布领域是"不歪曲的"，即，消除其倾斜，如图
6的下部分所示，并且将其存储。
为了定义所述表单，使用标记语言，该标记语言描述表单的结构， 包括其所包含的输入元素的位置和种类。该代码首先用作密钥，以从 在线服务器检索所述表单描述。在解释所检索的标记之后，根据领域 类型可以将用户输入分类，并且将用户输入发送回服务器。
权利要求
1.一种用于解码视觉代码的方法，包括以下步骤使用装备有数字照相机的移动装置拍摄视觉代码的图像；对所述视觉代码图像进行灰度标定；对所述视觉代码图像进行阈值选择；识别所述视觉代码图像中感兴趣的区域；计算在所述视觉代码内的不同区域的方向和形状；将所述视觉代码定位在所述视觉代码图像内；以及评估被定位在所述视觉代码图像中的所述视觉代码。
2. 根据权利要求1所述用于解码视觉代码的方法，还包括下述步骤在对所述视觉代码图像进行灰度标定之前，针对径向透镜畸变， 校正所述视觉代码图像。
3.根据权利要求1所迷用于解码视觉代码的方法，其中评估所 述视觉代码的所述步骤包括以下步骤投影映射； 计算 投影映射；计算被定位在所述视觉代码图像中的所述视觉代码的旋转角； 计算所述视觉代码的水平倾斜值和垂直倾斜值； 计算所述视觉代码距离所述移动装置的距离；以及 读取在所述视觉代码内的编码比特。
4.根据权利要求3所述用于解码视觉代码的方法，还包括下述步骤: 在所述视觉代码上执行误差检测。
5. 根据权利要求3所述用于解码视觉代码的方法，其中所述视 觉代码由三个墙角石、 一个小引导条和一个大引导条构成。
6. 根据权利要求5所述用于解码视觉代码的方法，其中单个的 视觉代码是通过识别所述墙角石、所述小引导条和所述大引导条来定 位的。
7. 根据权利要求3所述用于解码视觉代码的方法，其中所述视 觉代码由三个墙角石、 一个小引导条和一个大引导条构成，并且在计 算所述视觉代码的所述旋转角、计算所述视觉代码的所述距离以及计 算所述视觉代码的所述倾斜度的步骤中，使用所述小引导条和所述大 引导条的方向。
8. 根据权利要求1所迷用于解码视觉代码的方法，其中，对所 述视觉代码图像进行灰度标定的所述步骤是通过对红像素和绿像素 的值求平均而计算每个灰度标定的像素的值来执行的。
9. 根据权利要求8所述用于解码视觉代码的方法，其中，使用 加权移动平均算法将所述灰度标定的视觉代码图像转换为黑白图像。
10. 根据权利要求3所述用于解码视觉代码的方法，其中，所述 小引导条和所述大引导条通过定位所述视觉代码图像中的具有在预 定范围内的轴比的区域而被识别。
11. 根据权利要求5所述用于解码视觉代码的方法，其中，所述 三个墙角石和所述大引导条定位在(O，O)、 (10，0)和(0，10)的位置上，并 且所述大引导条的中心定位在所述视觉代码坐标系统中的(8，10)位置 上,
12. 根据权利要求3所述用于解码视觉代码的方法，其中，利用 由所述视觉代码的旋转角、水平倾斜值、垂直倾斜值和距离组成的组 中的至少 一个来从所述视觉代码所定位在其上的菜单中选择选项。
13. 根据权利要求5所述用于解码视觉代码的方法，其中，多个 视觉代码按栅格形式布置，以通过多个视觉代码存储更多的数据，以。
14. 根据权利要求l所述用于解码视觉代码的方法，其中所述解 码实时地进行，以及所述解码的结果在所述移动装置的显示器上是可 见的。
15. 根据权利要求3所述用于解码视觉代码的方法，其中利用所 述视觉代码相对于所述移动装置的方向作为参数，以从数据库中选择 条目。
16. 根据权利要求15所述用于解码视觉代码的方法，其中所述 视觉代码的解码值用作附加参数，以从所述数据库中选择条目。
17. 根据权利要求15所述用于解码视觉代码的方法，其中所述 数据库将不同的一致资源定位器URL与至少一个方向值相关联。
18. 根据权利要求3所述用于解码视觉代码的方法，其中所述视 觉代码距离所述移动装置的距离用作参数，以从数据库中选择条目。
19. 根据权利要求3所述用于解码视觉代码的方法，其中所述视 觉代码相对于所述移动装置的倾斜角用作参数，以从数据库中选择条 目。
20. 根据权利要求15所述用于解码视觉代码的方法，其中所述 数据库将所述方向角与表单条目相关联，从而允许所述移动装置的用户通过改变所述移动装置相对于所述视觉代码的方向来从所述表单 中选择条目。
21. 根据权利要求15所述用于解码视觉代码的方法，其中所述 数据库将所述方向角与由剧情简介、视频片段、音频文件和电影评论组成的组中的至少一个相关联。
22. 根据权利要求l所述用于解码视觉代码的方法，其中使用红 外墨印刷所述视觉代码，以及其中所述数字照相机是能够拍摄所述红 外视觉代码的红外照相机。
23. 根据权利要求3所述用于解码视觉代码的方法，其中在照相 机图像中可见的一个或者多个代码的代码坐标系统中所表述的目标 点用作参数，以从数据库中选择条目。
24. 根据权利要求23所述用于解码视觉代码的方法，其中所述 视觉代码的解码值用作附加参数，以从所述数据库中选择条目。
25. 根据权利要求14所述用于解码视觉代码的方法，其中图画 覆盖在所述照相机图像上，并且当所述移动装置移动并且所述视觉代 码的所述方向改变时，所述覆盖始终与所述照相机图像中的物体在几 何对准。
26. 根据权利要求1所述用于解码视觉代码的方法，其中通过交 叉线帮助将所述数字照相机瞄准所述视觉代码，所述交叉线显示在所 述移动装置的屏幕上。
27. 根据权利要求26所述用于解码视觉代码的方法，其中所述 移动装置的所述屏幕是触摸屏，以及其中可以通过使用触笔指定所述 目标点来指定所述交叉线的所述位置。
28. 根据权利要求4所述用于解码视觉代码的方法，其中利用 Reed-Solomon误差检测来执行所述误差检测。
全文摘要
本发明公开一种视觉代码系统，其中，使用装备照相机的移动电话(或者类似的装置，例如，无线PDA)来识别和解码含有一个或者多个“视觉代码”的图像。通过识别代码标记，该装置可以确定编码在该标记(代码值)中的位图案或者整数、目标物体或者图像元素、以及附加的参数，例如，照相机的视角。在移动装置自身上执行代码识别。当移动装置装备有无线通信信道时，基于感测的代码及其参数，可以用该装置来检索在线内容或者访问因特网上的信息。然后，所检索的内容可以显示在移动装置上。
文档编号E04B2/18GK101099161SQ200580046131
公开日2008年1月2日 申请日期2005年5月28日 优先权日2005年4月13日
发明者比特·格菲勒, 迈克尔·罗斯 申请人:Scanbuy公司;迈克尔·罗斯;比特·格菲勒