标记图像处理系统的制作方法

文档序号:9848166阅读:492来源:国知局
标记图像处理系统的制作方法
【技术领域】
[0001] 本发明涉及用于对标记进行图像处理并提取各种信息的标记图像处理系统。
【背景技术】
[0002] 这样的标记在AR(Augmented Reality:增强现实)、局部部位的计测领域,进一步 地在机器人技术领域,被用于摄像机对物体的位置或姿势进行识别,一般广泛采用的是能 粘贴于作为对象的物体的、具备平面图案的平板型的标记。
[0003] 例如,在今后的服务机器人的实用化时,在构筑辅助由服务机器人进行的可靠的 自主工作的系统方面,标记是必不可少的要素。
[0004] 标记中具有代表性的标记包含正方形的黑色框、印刷于其内部的二维图案以及代 码(code)。然后,通过用摄像机识别标记,能识别相对于标记的摄像机的相对位置和姿势, 并识别带有标记的物体的位置或姿势。此外,还能通过摄像机读取存储于标记的信息。
[0005] 图1示出了通常使用的ARToolKit标记、ARTag标记、CyberCode标记以及 ARToolKitPlus标记的例子。此外,除了这样的标记以外,也可以利用QRCode这样的能存储 更多信息的标记。
[0006] 例如,在AR领域中,对于现实世界的图像,使CG(Computer GraphiCS:计算机图形) 的模型与现实世界的图像中的物体所带的AR标记的位置对齐并重叠地进行显示。
[0007] 此外,在机器人技术领域中,例如通过使机器人对物体所带的标记进行计测,从而 使机器人识别带有标记的物体的位置或姿势,并对物体进行操作。
[0008] 作为一例,图2是表示机器人技术领域中的使用了标记的机器人任务(task)的例 子的图。使装接于轮椅的、为了辅助坐轮椅的人的生活而装接于机器人手臂顶端的机器人 手的摄像机对带有标记的冰箱的把手进行识别,使机器人手自动地进行冰箱门的打开/关 闭。在图2示出的任务中,摄像机识别了标记之后,机器人自主地以标记的位置和相对于该 位置的姿势为基准生成规定的机器人手臂的轨道,由此,能打开冰箱门。
[0009]通过摄像机进行的标记的计测例如如下所示地进行。
[0010]首先,例如在具备正方形的外框的平板型标记的情况下,摄像机通过对所读取的 图像数据进行图像处理来提取外框,检测出四个角。然后,通过使用了预先已知的该标记的 四个角的位置(正方形的各顶点)与由摄像机读取的图像内的四个角的位置关系的几何学 计算,能对相对于标记的摄像机的位置以及姿势进行解析,并识别带有标记的物体的位置 或姿势。
[0011]但是,在标记和摄像机正对的附近,标记的计测误差变大。此外,即使通过在摄像 机中使用滤波器(平均滤波器、卡尔曼滤波器、粒子滤波器等)和计测记录能使标记的计测 值的分散变小,也难以可靠地判定标记的计测值是否为真值。
[0012]为了防止利用了这样的平板型的标记的、关于摄像机的位置或姿势的计测精度的 恶化,在专利文献1中记载了 :在构成标记的图样上方设置根据观测的方向使其浓淡图案变 化的镜头,通过使浓淡图案变化,正确地计测相对于标记的摄像机的位置或姿势,正确地识 别带有标记的物体的位置或姿势。
[0013] 现有技术文献
[0014] 专利文献
[0015] 专利文献1:日本特开2012-145559号公报

【发明内容】

[0016] 发明所要解决的问题
[0017] 但是,在以往的平板型标记中,根据相对于标记的摄像机的姿势而产生计测误差, 例如根据标记的大小、摄像机与标记的距离以及摄像机的视场角(焦距),恐怕会产生带有 标记的物体的位置或姿势的识别不确定的问题。
[0018] 图3左侧表示摄像机与标记接近的情况或者摄像机的视场角大(广角镜头)的情 况,图3中央表示摄像机与标记远离的情况或者摄像机的视场角小(望远镜头)的情况。 [0019]摄像机与标记远离时、或者摄像机的视场角小(望远镜头)时,如图3右侧所示,当 标记的外框投影于以镜头的中心轴为法线的摄像面时,即使在通过镜头中心点和标记的中 心点的直线(Visual line:视线)与标记的平面所成的角度是反向倾斜的情况下,摄像面的 标记外框的偏差也变小,两者的判别不确定,例如在机器人技术的领域中,构成对相对于标 记的摄像机的姿势做出错误推定,机器人手进行错误的动作的原因。
[0020] 图4表示通过镜头中心和标记的中心点的视线与标记中心点的法线所成的角度为 45°时的实际所拍摄的图像,摄像机l(Cameral)是使用视场角为7.1°的镜头拍摄时的图像, 摄像机2 (Camera2)是使用视场角为40 · 0°的镜头拍摄时的图像。与摄像机2的图像相比,能 确认在摄像机1的图像中未与正对的情况产生大的差别。
[0021] 图5是通过图像处理连续地对手持的平板型标记的姿势进行解析,将通过所获得 的标记的中心点的法线(Z轴)的矢量(vector)用箭头表示。
[0022]可知:根据手的移动,在02、06、08,法线矢量的朝向反转,在该阶段,在相对于六財示 记的摄像机的姿势推定产生摆动。
[0023] 为了防止这样的错误推定,可以想到:在平板型标记中包含高度彼此不同的立体 标识,形成六处标识,除了外框以外,还确定各标识,基于相对于平板型标记的各立体标识 的位置和高度的数据,对绕X轴、Y轴(标记平面上的二维坐标)、Z轴以及各轴的旋转角度进 行解析。
[0024] 但是,在这样的方法中,为了确定相对于标记的摄像机的位置或姿势,需要通过图 像处理来正确地确定六处标识。但是,由于不能确定位于立体标识的阴影的标识,因此当摄 像机偏离能对全部六处正确地进行拍摄的限定范围时,不可能确定正确的位置和姿势。而 且,存在的问题是:需要极其高精度地选定各立体标识的位置、高度,标记的成本大幅上升。
[0025] 因此,在本发明中,附加于平板型标记的立体标识只设一处,而且该立体标识仅用 于对所推定的姿势是否合理进行判定。然后,其目的在于,在做出了错误推定的情况下,仅 按照一定的规则对已经运算出的相对于标记的摄像机的姿势数据进行变换,就能简单地进 行修正。
[0026]用于解决问题的方案
[0027]为了解决上述的问题,本发明提供一种使用具有平面标识的标记,识别相对于该 标记的摄像机的位置以及姿势的图像处理系统,其中,在所述标记上,将具有预先设定的高 度的一个立体标识配置于相对于所述平面标识预先设定的位置,该图像处理系统具备:第 一推定单元,通过比较由所述摄像机的图像提取的所述平面标识的配置和预先设定的所述 平面标识的配置,推定相对于所述标记的摄像机的位置和姿势;第二推定单元,基于所述立 体标识的配置、高度以及由所述第一推定单元推定的相对于所述标记的摄像机的位置,推 定所述摄像机的图像上的所述立体标识的上表面以及下表面的中央位置;检测单元,基于 所述摄像机的图像,检测所述立体标识的上表面的中央位置;判定单元,将由所述第二推定 单元推定的所述立体标识的上表面以及下表面的中央位置和由所述检测单元检测出的所 述立体标识的上表面以及下表面的中央位置,基于从所述摄像机观察的三维矢量进行比 较,其误差为规定值以上时,判定为由所述第一推定单元推定的相对于所述标记的摄像机 的姿势是错误的,该图像处理系统具备:运算单元,在所述判定单元判定为错误时,分别使 基于由所述第一推定单元推定的姿势的所述摄像机的绕X轴的视线角度以及绕Y轴的视线 角度的符号反转之后,进行旋转变换,由此,对相对于所述标记的摄像机的姿势进行再运 算,以使所述第一推定单元推定的相对于所述标记的摄像机的姿势正确。
[0028] 其中,X轴和Y轴分别表示在以所述标记上的一点为原点的三维坐标中,在该标记 平面上彼此正交的坐标轴。
[0029] 发明效果
[0030] 根据本发明,仅将具有预先设定的高度的一个立体标识配置于具有平面标识的标 记的预先设定的位置,就能判定所推定的姿势是否恰当,在做出了错误推定的情况下,仅按 照一定的规则对已经运算出的相对于标记的摄像机的姿势数据进行变换,就能简单地进行 修正。因此,能以低成本、而且不被其他立体标识妨碍地做出正确且可靠的姿势推定。
【附图说明】
[0031] 图1是表示普通的标记的例子的图。
[0032] 图2是表示使用了标记的机器人任务的例子的图。
[0033] 图3是对摄像机与标记接近的情况或者摄像机的视场角大的情况(左侧)和摄像机 与标记远离的情况或者摄像机的视场角小的情况(中央)进行对比,并表示产生错误推定的 情况(右侧)的图。
[0034] 图4是对视场角小时的图像(摄像机1)和视场角大时的图像(摄像机2)进行对比的 图。
[0035]图5是通过图像处理对手持标记的姿势连续地进行解析,并表示通过所得的标记 的中心点的法线(Z轴)方向的图。
[0036]图6是表不实施例中使用的标记的一例的图。
[0037] 图7是表示形成于立体标识底面的中央部和上表面的中央部的白色标记的推定位 置、检测位置的关系的图。
[0038] 图8是在固定摄像机、改变手持标记的角度的情况下,对正确地进行推定的情况和 错误地进行推定的情况进行对比的图。
[0039 ]图9是表示以标记的中心点c为原点的三维坐标的图。
[0040]图10是表示在使标记的角度连续地慢慢变化的情况下,基于所推定的姿势算出的 视线角度Θ?。的变化的图。
[0041] 图11是表示固定摄像机、以二种方式改变手持标记的角度,基于各自推定的姿势, 求出绕X轴的视线角度Θ?。、绕Υ轴的视线角度9 vy。的结果的图。
[0042] 图12是对应用了旋转变换的姿势推定值的修正进行说明的图。
[0043] 图13是表示本实施例的效果的实验结果。
【具体实施方式】
[0044]以下,使用附图对本发明的实施例进行说明。
[0045] 实施例
[0046] 首先,对本实施例中采用的标记进行说明。
[0047]如图6所示,平板型标记构成为:在外框为20mm的正方形中,除了位于中央的直径 12_的白色圆1、离外框的各顶点在对角线上位于相同位置的直径3mm的白色圆2,其他部分 为黑色的正方形。本实施例中,在距离该平板型标记的外框底边的中心5mm的地方,粘贴了 由外径4.9mm、高度3.2mm的圆筒体的立体标识3。需要说明的是,在该立体标识3的上表面, 形成有在中央部留有直径2.2mm的白色圆的部分,外周被涂黑的标记。
[0048] 通过以往的同样的方法,首先,从图像数据提取
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1