基于AR设备的物品特征标识方法以及检查物品的系统与流程

文档序号:15387120发布日期:2018-09-08 00:42阅读:395来源:国知局

本申请涉及可穿戴技术领域,更具体地,涉及一种基于增强现实技术设备的物品特征标识方法以及检查物品的系统。



背景技术:

在制造工厂的流水线上,每个工件或产品都需要经过判别产品缺陷的检测步骤。现有的检测方法是由人工手动操作进行的。具体地,工人会检查产品,如果发现该产品存在产品缺陷,就在该产品上画上或记录表示缺陷的标记。

虽然上述缺陷标记方法较为简单,但是工人在后续处理时需要通过纸笔或计算机手动录入相关信息,这需要工人的双手不停的操作,加大了工人的工作负担和复杂程度,也容易出错。此外,由于数据处理是后期手动进行的,因此在缺陷标记的过程中无法实时监控产品的缺陷情况,这不利于生产的及时调整。

因此,有必要提供一种改进的物品特征标识方法,以解决现有技术存在的问题。



技术实现要素:

本申请的一个目的在于提供一种物品特征标识方法,以解决现有产品标记方法过度依赖工人的手动操作、效率低下的问题。

在本申请的一个方面,提供了一种基于ar设备的物品特征识别方法,所述ar设备能够在真实现实场景上叠加显示虚拟现实场景,所述方法包括:标识获取步骤,提供待检物品,并获得所述待检物品对应的标识信息;标记选择步骤,检查所述待检物品,并基于所述待检物品的可视特征而使用所述ar设备选择至少一个特征标记;标记关联步骤,使用ar设备将选择的至少一个特征标记与所述待检物品的标识信息关联起来。

在本申请的另一方面,还提供了一种检查物品的系统,包括:待检物品接收台,其用于承载待检物品;预定标记区域,其包含至少一个特征标记,其中每个特征标记对应于一种类型的可视特征;ar设备,包括:扫描单元,用于扫描所述预定标记区域;检测单元,用于检测用户选择;选择单元,根据所述用户选择从所述预定标记区域中的至少一个特征标记中选择一个特征标记;以及关联单元,用于将所选择的特征标记与所述待检物品的标识信息相关联。

在本申请的又一方面,还提供了一种检查物品的系统,包括:待检物品接收台,其用于承载待检物品;预定标记区域,其包含至少一个特征标记,其中每个特征标记对应于一种类型的可视特征;ar设备包括:扫描单元,用于扫描所述预定标记区域以获取所述至少一个特征标记,以及关联单元,将所获取的至少一个特征标记与所述待检物品的标识信息相关联。

在本申请的再一方面,还提供了一种检查物品的系统,包括:待检物品接收台,其用于承载待检物品;ar设备,包括显示单元,用于显示至少一个特征标记,其中每个特征标记对应于一种类型的可视特征;选择单元,用于检测用户选择,从而根据所述用户选择从显示的至少一个特征标记中选择一个特征标记;以及关联单元,用于将所选择的特征标记与所述待检物品的标识信息相关联。

本申请的物品特征识别方法和检查物品的系统可以应用于很多应用场合。在这些应用场合下,操作人员可以通过ar设备直接记录物品的特征,而无需纸笔录入,或者通过另一电子设备(例如电脑)录入物品特征的相关数据。这种方式大大提高了处理效率,并且节省了操作时间。特别地,本申请的物品特征识别方法和检查物品的系统可以用于工业生产的流水线中,操作工人可以佩戴ar设备,并且进行物品特征识别操作,例如识别产品缺陷并且标识出来。得益于ar设备,操作工人可以不触碰各种开关、按钮,从而可以专注于检查产品缺陷。此外,由于可以减少或避免使用语音,因此上述方法也适合较为嘈杂的工厂环境。

以上为本申请的概述,可能有简化、概括和省略细节的情况,因此本领域的技术人员应该认识到,该部分仅是示例说明性的,而不旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征,也非旨在用作为确定所要求保护主题的范围的辅助手段。

附图说明

通过下面说明书和所附的权利要求书并与附图结合,将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解,这些附图仅描绘了本申请内容的若干实施方式,因此不应认为是对本申请内容范围的限定。通过采用附图,本申请内容将会得到更加明确和详细地说明。

图1示出了根据本申请一个实施例的增强显示技术设备的示意图;

图2示出了根据本申请一个实施例的基于ar设备的物品特征识别方法200;

图3示出了特征标记的一种选择方式300;

图4示出了特征标记的另一种选择方式400;

图5示出了特征标记的一种选择方式500。

图6示出了根据本发明实施例的ar设备600的内部模块示意图;

图7示出了根据本发明实施例的ar设备700的内部模块示意图;

图8示出了根据本发明实施例的ar设备800的内部模块示意图。

具体实施方式

在下面的详细描述中,参考了构成其一部分的附图。在附图中,类似的符号通常表示类似的组成部分,除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下,可以采用其他实施方式,并且可以做出其他变化。可以理解,可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合,设计,而所有这些都明确地构成本申请内容的一部分。

图1示出了根据本申请一个实施例的增强现实技术(ar)设备10的示意图。

如图1所示,该ar设备10包括眼镜架1、眼镜腿2、弹性夹片3以及软性支撑层4。借助于这些机械构件,ar设备10能够被稳定地佩戴于用户的头部。其中,眼镜腿2安装在眼镜架1的两侧,眼镜腿2的末端朝内侧弯曲形成第一圆弧部,夹持机构包括弹性夹片3,弹性夹片3反向延伸的设置在眼镜腿2内侧,弹性夹片3的末端朝内侧弯曲形成第二圆弧部,其中,弹性夹片3由不锈钢弹片制成,其能够加大眼镜腿2的夹持力度,从而提高夹持稳定性。软性支撑层4可以被设置于眼镜腿的圆弧部内侧,其可以为橡胶层或/和泡沫层,优选为橡胶层。通过设置软性支撑层4,使贴合与头部位置的压迫感降低,摩擦力增加,使得佩戴更稳固、更舒适,提高了用户的体验度。眼镜腿4和眼镜架2可以通过弹性连接件a相互连接。

除了上述机械构件之外,ar设备10还包括设置于眼镜架1上的遮光镜片11、设置于眼镜架1中间部的深度摄像头模组12、设置于眼镜架1两侧下端的光机13。深度摄像头模组12、光机13与控制电路板耦接,并且光机13与成像镜片(位于遮光镜片11的后侧)光学连接,从而光机13输出的光学信号能够在成像镜片(图中未示出)中成像。可以理解,对于ar设备10的用户来说,该成像镜片构成了显示屏,其上可以观察到ar设备10的显示内容,例如图形化用户界面等。成像镜片可以是例如一个半透半反射镜/膜,或者是全息衍射波导光栅,或者其他适合的成像元件。

可以理解,本申请不限制ar设备的成像原理。虽然图1中ar设备被表示为ar眼镜,但是在实际应用中,其他类型的ar设备,例如ar头盔也属于本申请的保护范围。

对于图1所示的ar设备10,由于其是增强现实技术眼镜,因此用户既可以观察到成像镜片(显示屏)上的内容,也同时可以透过成像镜片和遮光镜片11观察到现实环境中的实体物体、背景等。换言之,ar设备能够在真实现实场景上叠加显示虚拟现实场景。此外,ar设备10可以通过深度摄像头模组12和/或其他摄像模组检测背景中的实体图形或颜色,并且检测表示用户选择的手势操作或类似操作。可以理解,在一些其他实施例中,ar设备还可以具有其他类型用于检测用户选择操作的模块,例如麦克风、惯性传感器、按钮等。这些不同类型的检测模块可以分别检测例如手势信号、语音信号、头部移动信号或按键信号,从而确定用户选择对应的操作。

考虑到ar设备的上述特点,本申请的发明人提供了一种利用ar设备来进行物品特征标识的方法。操作人员可以佩戴ar设备,并且透过ar设备检查待检物品是否存在某些可视特征,例如产品缺陷。同时,操作人员还可以利用ar设备选择或确定与检查到的待检物品的可视特征相对应的特征标记。

图2示出了根据本申请一个实施例的基于ar设备的物品特征识别方法200。

如图2所示,在步骤s202中,提供待检物品,并且获得待检物品对应的标识信息。例如,待检物品可以被放置到流水线上的某个检测工位(例如,待检物品接收台),并且该检测工位上有操作人员正在进行或准备进行物品检验。待检物品上可以具有标签,例如rfid或条形码标签。操作人员可以利用相应的标签扫描设备对待检物品进行扫描,从而获得该待检物品对应的标识信息(例如唯一地标识该物品的标识信息)。可以理解,在一些其他的例子中,待检物品的标识信息也可以由操作人员以其他方式输入,例如用键盘、鼠标或语音输入设备输入。

在一些实施例中,例如图1所示的ar设备中,ar设备可以具有摄像头或语音输入设备,因而操作人员也可以通过ar设备来扫描或以其他方式处理待检物品,从而获得其对应的标识信息。

接着,在步骤s204,操作人员检查待检物品,并且基于待检物品的可视特征而使用ar设备选择至少一个特征标记。其中,待检物品的可视特征可以是产品缺陷,也可以是其他异常特征。这些可视特征通常都可以直接被操作人员通过目检产品而观察到,因而佩戴ar设备基本不会影响操作人员对可视特征的检查。在下面的实施例中,均以可视特征为产品缺陷为例进行说明,但是应当理解,本申请的范围不限于此。例如,可视特征可以借助于检测设备检测产品而输出的可视信号,而不是直接观察产品而得到。

图3示出了特征标记的一种选择方式300。

如图3所示,图中示出了ar设备的观察范围302,在该观察范围302内,实体的待检物品304和实体的第一预定区域306被同时观察到。其中,第一预定区域306可以是某个实体物体的表面,例如墙面、桌面或工艺线上的某一表面的局部。经操作人员观察后确定,待检物品304具有一个可视特征308,其例如为物品表面存在破损。

同时,第一预定区域306中包含有至少一个特征标记310(在图3中被示为包括n个特征标记),其中每个特征标记310对应于一种类型的可视特征。例如特征标记1至特征标记n可以是具有不同颜色的色带,或者是具有不同形状的同色或不同色贴纸,等等。每个特征标记310分别与不同类型的可视特征相关联。例如,特征标记1可以与可视特征308相关联,用于表示物品表面存在破损;特征标记2可以与另一可视特征相关联,用于表示物品的表面颜色存在色差,等等。另外,在一些实施例中,特征标记310在第一预定区域310中的位置可以变化;而在另一些实施例中,特征标记310在第一预定区域310中的位置可以是固定的。

操作人员在同时观察到待检物品304和第一预定区域306之后,可以进一步地根据待检物品304具有的可视特征308,从第一预定区域306中的多个特征标记310中选择一个特征标记。例如,操作人员可以将其食指312指向特征标记1,以表示选择该特征标记。ar设备可以通过例如其上携带的深度摄像头检测到操作人员的操作手势,并且确定特征标记1被选择。

可以理解,在一些实施例中,当待检物品304存在多个可视特征308时,操作人员也可以进行多次操作,从多个特征标记310中选择出对应的多个特征标记。

另外,在另一些实施例中,ar设备的观察范围302可以不同时包括待测物品304和第一预定区域306,而是由操作人员先后观察这两个区域。例如,操作人员可以先观察待测物品304,目检确定其存在的可视特征308;然后,操作人员可以再观察第一预定区域306,并且进行操作,从该第一预定区域306中的多个特征标记310中选择一个或多个特征标记。

图4示出了特征标记的另一种选择方式400。

如图4所示,图中示出了ar设备的观察范围402,在该观察范围402内,实体的待检物品404和虚拟的第一预定区域406被同时观察到。其中,第一预定区域406是显示在ar设备的显示屏上的虚拟区域,其包括至少一个特征标记410。

与图3所示的选择方式400相类似,当操作人员在观察到待检物品404具有的可视特征408后,可以从第一预定区域406中选择一个特征标记。例如,操作人员可以将其食指412指向特征标记1,以表示选择该特征标记。可以理解,操作人员选择特征标记也可以通过其他操作方式,例如可以将特征标记拖拽到与待检物品404重叠的位置。

在另一些实施例中,ar设备的观察范围402可以不同时包括待测物品404和第一预定区域406,而是在操作人员观察完待测物品404之后,再由ar设备在其显示屏上显示该第一预定区域406。

图5示出了特征标记的又一种选择方式500。

如图5所示,图中示出了ar设备的观察范围502,在该观察范围502内,实体的待检物品504被观察到。

此外,在观察范围502内,还具有两个实体(而非虚拟的)的特征标记508。这两个实体的特征标记508重叠于待测物品504,例如被粘贴到待测物品504上。这两个特征标记508可以是操作人员从未被显示在ar设备观察范围502内的多个特征标记中选择出来的。

相应地,ar设备可以扫描待测物品504,从而确定其上附着的两个特征标记508。这两个特征标记508即反映了待测物品504中存在的两类可视特征506。

在图5所示的实施例中,ar设备扫描第二预定区域来获得对应的特征标记,其中该第二预定区域即为待测物品504的表面或附近。可以理解,在一些其他的实施例中,ar设备可以扫描其他预定位置,只要事先确定将所有与观测到的可视特征对应的特征标记都放置于该预定位置处即可。

仍参考图2,在选择至少一个特征标记之后,在步骤s206,使用ar设备将选择的至少一个特征标记与待检物品的标识信息关联起来。

在将特征标记和标识信息相互关联之后,ar设备可以将该等关联关系存储起来。例如,ar设备可以将关联关系的数据通过无线通信方式发送给邻近的计算机处理装置或远程数据库,等等。这样,每件待测物品的可见特征的相关信息可以被自动处理,而无需操作人员手动输入,这大大提高了物品检测效率。例如,计算机处理装置可以即时统计存在某种类型的可视特征的物品,从而确定例如产品缺陷率等数据。再例如,操作人员可以很方便地追踪哪个物品出现了哪种缺陷,并且可以相应地进行调整和处理。可以理解,在一些实施例中,上述信息存储、处理的步骤也可以由ar设备来执行。此外,除了关联关系的数据之外,其他数据,例如上述启动时间和结束时间也可以在操作过程中即时地存储,并且发送给计算机处理装置或远程数据库等。

在一些实施例中,可选地,在步骤s206之后,还可以包括步骤s208,使用ar设备扫描具有预定图形的第三预定区域,以结束对ar设备的操作。换言之,步骤s208之后,该流程结束。

在一些实施例中,可选地,在步骤s202、步骤s204或s206之后,还可以通过一些处理方式来取消之前进行的一个或多个步骤,从而操作人员可以重新进行这些被取消的步骤。例如,可以使用ar设备扫描具有预定图形的第四预定区域,以取消ar设备的标识获取、标记选择、标记关联步骤中的至少之一。这样,即使操作人员进行了一些误操作,仍然有机会进行改正。

在一些实施例中,可选地,在步骤s202之前,该方法还可以包括启动步骤,该启动步骤可以扫描一个预定区域或预定图片,从而生成启动ar设备的信号。替换地,在一些实施例中,也可以通过实体按键或其他方式来启动ar设备。

在一些实施例中,方法200的各个步骤进行时,ar设备还可以生成相应的提示信号,例如可听闻提示或可视提示(显示在ar设备的显示屏上)。这样,操作人员可以很方便地了解操作进展,而无需额外地进行过多的复杂操作。

图6示出了根据本发明实施例的ar设备600的模块示意图。在一些实施例中,该ar设备600可以与待检物品接收台配合使用,其中该待检物品接收台用于承载待检物品。

如图6所示,该ar设备600包括扫描单元602,用于扫描预定标记区域;该预定标记区域包含至少一个特征标记,其中每个特征标记对应于一种类型的可视特征。ar设备600还包括:检测单元604,用于检测用户选择;选择单元606,根据用户选择从预定标记区域中的至少一个特征标记中选择一个特征标记;以及关联单元608,用于将所选择的特征标记与待检物品的标识信息相关联。

图6所示的ar设备600可以用于执行图3所示的特征标记选择方法。

图7示出了根据本发明实施例的ar设备700的模块示意图。在一些实施例中,该ar设备700可以与待检物品接收台配合使用,其中该待检物品接收台用于承载待检物品。

如图7所示,该ar设备700包括:显示单元702,用于显示至少一个特征标记,其中每个特征标记对应于一种类型的可视特征;选择单元704,用于检测用户选择,从而根据用户选择从显示的至少一个特征标记中选择一个特征标记;以及关联单元706,用于将所选择的特征标记与待检物品的标识信息相关联。

图7所示的ar设备700可以用于执行图4所示的特征标记选择方法。

图8示出了根据本发明实施例的ar设备800的模块示意图。在一些实施例中,该ar设备800可以与待检物品接收台配合使用,其中该待检物品接收台用于承载待检物品。

如图8所示,该ar设备800包括扫描单元802,用于扫描预定标记区域以获取至少一个特征标记;该预定标记区域包含至少一个特征标记,其中每个特征标记对应于一种类型的可视特征。该ar设备800还包括关联单元804,用于将所获取的至少一个特征标记与待检物品的标识信息相关联。

图8所示的ar设备800可以用于执行图5所示的特征标记选择方法。

本申请的物品特征识别方法和检查物品的系统特别适合于工业生产的流水线中,操作工人可以佩戴ar设备,并且进行物品特征识别操作,例如识别产品缺陷并且标识出来。得益于ar设备提供了可视的操作界面,操作工人可以不触碰各种开关或按钮就能够进行操作,从而他们可以专注于检查产品缺陷。此外,由于可以减少或避免使用语音,因此上述方法也适合较为嘈杂的工厂环境。

那些本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书,理解和实施对披露的实施方式的其他改变。在权利要求中,措词“包括”不排除其他的元素和步骤,并且措辞“一”、“一个”不排除复数。在本申请的实际应用中,一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1