用于缝制产品处理设备的传感器系统和方法与流程

用于缝制产品处理设备的传感器系统和方法
1.相关申请的交叉引用
2.本技术要求2020年7月24日提交的序列号为16/938,297、名称为“sensor systems and methods for sewn product processing apparatus”的共同未决美国非临时申请的优先权和权益，所述申请要求2019年11月12日提交的序列号为16/681,588、名称为“sensor systems and methods for sewn product processing apparatus”的共同未决美国非临时申请的优先权和权益，这两者在此通过引用整体并入本文。
技术领域
3.本发明总体上涉及切割和/或缝合产品的系统、设备和方法，更具体地，涉及确定工件在工作区域内的方位的系统、设备和方法。


背景技术：

4.在缝制产品制造中使更复杂的过程自动化所面临的常见挑战是，诸如缝合机器人的设备必须确定缝制产品工件在缝合机器人工作区域内的方位。在整个自动化缝制产品过程中，跟踪工件，例如材料、织物或纺织物等缝制产品的技术中存在限制。另外，难以确定缝制产品处理设备的性能和为了成功地制造所需产品而需要采取的步骤。
5.此构思的价值在于，通过捕获的传感器数据，系统可应用传感器模型以及机器人系统模型来引导机器人系统，以及确定由缝制产品制造设备执行的过程是否可接受。
6.在背景技术部分中讨论的主题不应仅仅因为在背景技术部分中被提及而被认为是现有技术。类似地，在背景技术部分中提到的或者与背景技术部分的主题相关联的问题不应该被假定为先前在现有技术中已经认识到。背景技术部分中的主题仅代表不同的方法，这些方法本身也可以对应于所要求保护的技术的实施方式。


技术实现要素：

7.本公开的方面涉及工作区域内的工件方位确定。在其中一个方面，一种系统，其包括：缝合机器人，所述缝合机器人包括工作区域；传感器系统，所述传感器系统被配置为获得所述工作区域的至少一部分的图像；视觉基础模块；机器人系统配置文件和传感器配置文件，所述机器人系统配置文件和所述传感器配置文件对应于能够由所述缝合机器人制造的产品；以及处理电路系统，所述处理电路系统包括处理器。视觉基础模块的执行可以：通过传感器系统检测工作区域中存在工件；以及将传感器配置文件应用于机器人系统配置文件。在一个或多个方面中，视觉基础模块的执行可至少部分地基于由传感器系统获得的工件的一个或多个传入的检查图像来确定工件的位置。可以将一个或多个传入的检查图像与传感器配置文件的尺寸模型进行比较、与传感器配置文件的曲线模型进行比较、或者与传感器配置文件的不规则部分模型进行比较。工件的一个或多个维度可以根据一个或多个传入的检查图像来确定，并且与尺寸模型的边界模板比较，并且将传感器配置文件应用于机器人系统配置文件可以包括将边界模板与用于缝合机器人的最大模板参数和最小模板参
数比较。基于曲线模型的形状与一个或多个传入的检查图像中的工件的形状的比较，可以识别工件的至少一条曲线，并且将传感器配置文件应用于机器人系统配置文件可以包括将针对工件识别的至少一条曲线与缝合机器人的可用曲线的列表进行比较。基于不规则部分模型与一个或多个传入的检查图像中的工件的比较，可以识别工件的至少一个不规则部分，并且将传感器配置文件应用于机器人系统配置文件可以包括将针对工件识别的至少一个不规则部分与针对缝合机器人的定义的不规则部分限值进行比较。
8.在各个方面中，视觉基础模块的执行可至少部分地基于由传感器系统获得的工件的一个或多个联线过程图像来跟踪工件的处理。可以将一个或多个联线过程图像与传感器配置文件的曲线模型进行比较，或者与传感器配置文件的针脚类型模型进行比较。可以基于一个或多个联线过程图像和曲线模型来跟踪工件的形状，并且将传感器配置文件应用于机器人系统配置文件可以包括将工件的形状与用于缝合机器人的指定参数进行比较。可以基于针脚类型模型与一个或多个联线过程图像中的工件的比较来跟踪工件的缝接，并且将传感器配置文件应用于机器人系统配置文件可以包括将缝接与缝合机器人的可用针脚能力进行比较。在缝合机器人处理工件期间，传感器系统可以捕获一个或多个联线过程图像。可以响应于工件的处理不可接受而启动校正动作。缝合机器人的操作可以经调整以将工件的处理保持在生产公差内。校正动作可以包括从缝合机器人移除工件。
9.在一些方面中，视觉基础模块的执行可验证由工件的处理产生的工作产品的质量，其中质量至少部分地基于由传感器系统获得的工件的一个或多个质量检查图像。一个或多个质量检查图像可以与传感器配置文件的缝合路径模型进行比较，或者与传感器配置文件的成品尺寸模型进行比较。可以根据一个或多个质量检查图像和缝合模型相对于缝合路径参数来确定工作产品的缝合路径。验证工作产品的质量可以包括将缝合路径的距离与针对缝合机器人的定义的缝合路径限值进行比较。可以基于成品尺寸模型与一个或多个质量检查图像的比较来识别工作产品的至少一个维度。验证工作产品的质量可以包括将至少一个维度与针对缝合机器人的定义的维度限值进行比较。
10.在另一方面，一种系统，其包括：缝合机器人，所述缝合机器人包括工作区域；传感器系统，所述传感器系统被配置为获得被提供到所述工作区域的工件的至少一部分的传入的检查图像；视觉基础模块；机器人系统配置文件；传感器配置文件，所述传感器配置文件对应于由所述缝合机器人制造的产品；以及处理电路系统，所述处理电路系统包括处理器。视觉基础模块的执行可以：确定提供到所述工作区域的工件是否满足由所述传感器配置文件和所述机器人系统配置文件指定的传入检查标准，所述确定至少部分地基于由所述传感器系统获得的所述工件的所述传入的检查图像中的一者或多者与所述传感器配置文件的标准的比较，以及将所述传感器配置文件应用于所述机器人系统配置文件。在一个或多个方面，可以将一个或多个传入的检查图像与传感器配置文件的尺寸模型、与传感器配置文件的曲线模型、或者与传感器配置文件的不规则部分模型进行比较。工件的长度和宽度可以根据一个或多个传入的检查图像来确定，并且放置到尺寸模型的矩形模板中，并且将传感器配置文件应用于机器人系统配置文件可以包括将矩形模板与用于缝合机器人的最大模板参数和最小模板参数进行比较。基于曲线模型的形状与一个或多个传入的检查图像中的工件的形状的比较，可以识别工件的至少一条曲线，并且将传感器配置文件应用于机器人系统配置文件可以包括将针对工件识别的至少一条曲线与缝合机器人的可用曲线的列
表进行比较。基于不规则部分模型与一个或多个传入的检查图像中的工件的比较，可以识别工件的至少一个不规则部分，并且将传感器配置文件应用于机器人系统配置文件可以包括将针对工件识别的至少一个不规则部分与针对缝合机器人的定义的不规则部分限值进行比较。
11.在各个方面，视觉基础模块的执行可进一步响应于工件满足传入检查标准来确定缝合机器人对工件的处理是否满足由传感器配置文件和机器人系统配置文件指定的联线过程标准，所述确定至少部分地基于由传感器系统获得的工件的一个或多个联线过程图像与传感器配置文件的标准的比较，以及将传感器配置文件应用于机器人系统配置文件。确定工件是否满足联线过程标准可以包括验证工件的处理完成。一个或多个联线过程图像可以与传感器配置文件的区域模型、与传感器配置文件的线模型、或者与传感器配置文件的针脚类型模型进行比较。工件的区域可以根据一个或多个联线过程图像和区域模型来确定，并且将传感器配置文件应用于机器人系统配置文件可以包括将该区域与用于缝合机器人的最大区域参数和最小区域参数进行比较。基于线模型与一个或多个联线过程图像中的工件的比较，可以识别工件的线颜色或线尺寸，并且将传感器配置文件应用于机器人系统配置文件可以包括将线颜色或线尺寸与缝合机器人的可用线能力进行比较。经处理的工件的针脚类型可以基于针脚类型模型与一个或多个联线处理图像中的工件的比较来识别，并且将传感器配置文件应用于机器人系统配置文件可以包括将针脚类型与缝合机器人的可用针脚能力进行比较。传感器系统可以包括一个或多个图像捕获装置，其被配置为在缝合机器人处理工件期间捕获一个或多个联线过程图像。视觉基础模块的执行还可进一步响应于经处理的工件满足联线处理标准来确定经处理的工件是否满足由传感器配置文件指定的质量检查标准，所述确定至少部分地基于由所述传感器系统获得的工件的一个或多个质量检查图像与传感器配置文件的标准的比较。可以响应于工件的故障而启动校正动作以满足联线过程标准。
12.在一些方面中，视觉基础模块的执行可进一步至少部分基于由传感器系统获得的工件的一个或多个质量检查图像与传感器配置文件的标准的比较而确定工件在由缝合机器人处理之后是否满足由传感器配置文件指定的质量检查标准。在处理之后获得的一个或多个质量检查图像可以与传感器配置文件的缝合路径模型进行比较，或者与传感器配置文件的成品尺寸模型进行比较。可以根据一个或多个质量检查图像和缝合路径模型来确定缝合路径距经处理的工作产品的边缘的距离。确定工件是否满足质量检查标准可以包括将缝合路径的距离与针对缝合机器人的定义的缝合路径限值进行比较。可以基于成品尺寸模型与一个或多个质量检查图像的比较来识别经处理的工件的至少一个维度。确定工件是否满足质量检查标准可以包括将至少一个维度与针对缝合机器人的定义的维度限值进行比较。
13.在研究了以下附图和详细描述之后，本公开的其他系统、方法、特征和优点对本领域技术人员而言将是或将变得显而易见。所有这些附加的系统、方法、特征和优点都旨在包括在本说明书中，在本公开的范围内，并且由所附权利要求保护。另外，所述实施方案的所有任选和优选特征和修改可用于本文教导的公开内容的所有方面。此外，从属权利要求的各个特征，以及所述实施方案的所有任选和优选的特征和修改是可相互组合和互换的。
附图说明
14.附图示出了本公开的各种其他方面的系统、方法和实施方案的各种实例。本领域普通技术人员将理解，图中所示的元件边界(例如，方框、方框组或其他形状)代表边界的一个实例。在一些实例中，一个元件可以被设计为多个元件，或者多个元件可以被设计为一个元件。在一些实例中，被示出为一个元件的内部部件的元件可以在另一个元件中被实现为外部部件，反之亦然。此外，元件可能没有按比例绘制。参考以下附图描述了非限制性和非穷尽性的描述。图中的部件不一定按比例绘制，而是强调说明原理。此外，在附图中，相同的附图标记在几个视图中表示对应的部分。
15.图1示出了根据本公开的各种实施方案的视觉系统的实例。
16.图2示出了根据本公开的各种实施方案的视觉基础模块的实例。
17.图3示出了根据本公开的各种实施方案的传入检查模块的实例。
18.图4示出了根据本公开的各种实施方案的联线过程模块的实例。
19.图5示出了根据本公开的各种实施方案的质量检查模块的实例。
具体实施方式
20.本文公开了与可用于使缝合自动化的视觉系统有关的各种实例。现在将详细讨论说明其所有特征的本公开的一些实施方案。字词“含有”、“具有”、“包含”和“包括”在含义上是等同的并且是开放式的，因为在这些字词中的任何一个之后的一个或多个项目并不意味着是此类一个或多个项目的穷举列表，或者意味着仅限于所列出的一个或多个项目。
21.还必须注意，除非上下文另外明确指出，否则如本文和所附权利要求书中所使用的单数形式“一个”、“一种”和“该”包括复数指代。尽管在本公开的实施方案的实践或测试中可以使用类似于或等同于本文所述的任何系统和方法，但是现在描述优选的系统和方法。
22.下文将参考附图更全面地描述本公开的实施方案，在所有附图中，相同的附图标记表示相同的元件，并且其中示出了示例性实施方案。然而，权利要求的实施方案可以以许多不同的形式体现，并且不应该被解释为限于这里阐述的实施方案。这里阐述的实例是非限制性实例，并且仅仅是其他可能实例中的实例。
23.参考图1，示出了缝合机器人102的实例。如图1的实例中所示，缝合机器人102可以包括处理器104、存储器106、人机接口或hmi 108、输入/输出(i/o)装置110、联网装置112、缝合装置114、织物移动器116、辅助操作装置118、本地接口120和传感器122(例如，rgb相机、rgb-d相机、nir相机等)。缝合机器人102还可包括视觉基础模块124、传入检查模块126、联线过程模块128和/或质量检查模块130，它们可被执行以实现视觉系统的各个方面。
24.视觉基础模块124可以启动传入检查模块126、联线过程模块128和质量检查模块130。传入检查模块126可以在由缝合机器人102执行的任何动作之前捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确定工件在缝合机器人102的工作区域中的位置。联线过程模块128可以在缝合机器人102执行动作的同时捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确定工件在工作区域中的位置。质量检查模块130可以在缝合机器人102执行动作之后捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确
定工作区域中的被缝合件的质量。
25.处理器104可以被配置为解码和执行从一个或多个其他电子装置或服务器接收的任何指令。处理器104可以包括一个或多个通用处理器(例如，或advanced micro(amd)微处理器)和/或一个或多个专用处理器(例如，数字信号处理器或片上系统(soc)现场可编程门阵列(fpga)处理器)。处理器104可以被配置为执行一个或多个计算机可读程序指令，诸如用于执行本说明书中描述的任何功能的程序指令。包括处理器104的处理电路系统可以被配置为执行一个或多个计算机可读程序指令，诸如执行本说明书中描述的任何功能的程序指令。
26.存储器106可以包括但不限于固定(硬)驱动器、磁带、软盘、光盘、光盘只读存储器(cd-rom)和磁光盘、半导体存储器诸如rom、随机存取存储器(ram)、可编程只读存储器(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、快闪存储器、磁卡或光卡，或者适于存储电子指令的其他类型的介质/机器可读介质。存储器106可以包括可以被实现为可由处理器104执行的程序的模块。
27.接口或hmi 108可以接受来自用户的输入或向用户提供输出，或者可以执行这两种动作。在一种情况下，用户可以使用一个或多个用户交互式对象和装置与接口进行交互。用户交互式对象和装置可以包括用户输入按钮、开关、旋钮、控制杆、按键、跟踪球、触摸板、相机、麦克风、运动传感器、热传感器、惯性传感器、触摸传感器或上述的组合。此外，在元件108处，接口可以被实现为命令行接口(cli)、人机接口(hmi)、语音接口或基于web的用户接口。
28.缝合机器人102的输入/输出装置或i/o装置110可以包括用于促进处理器104与其他装置(例如，刀装置、缝合装置114、织物移动器116、辅助操作装置118和/或传感器122)的连接的部件，并且因此例如可以包括一个或多个串行、并行、小系统接口(scsi)、通用串行总线(usb)或ieee 1394(即，firewiretm)连接元件。
29.缝合机器人102的联网装置112可以包括用于通过网络发送和/或接收数据的各种部件。联网装置112可以包括可以传送输入和输出两者的装置，例如调制器/解调器(即调制解调器)、射频(rf)或红外(ir)收发器、电话接口、桥接器、路由器以及网卡等。
30.缝合机器人102的缝合装置114可以便于将工件材料缝合在一起，并且可以被配置为基于跟踪所生成的图案来将周边或一起的标记缝合在工件材料上。在另外的实施方案中，缝合装置114可包括刀装置，以便从工件等上切割线、缝线、材料。织物移动器116或材料移动器在元件116处可以促进在切割和缝合操作期间移动产品材料。辅助操作装置118可包括堆叠装置、折叠装置、标签操作装置和/或有助于缝制产品的准备、制造和/或修整的其他装置。
31.缝合机器人102的本地接口120可以是例如但不限于一个或多个总线或其他有线或无线连接，如本领域已知的。本地接口120可以具有附加元件(诸如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器)以实现通信，为了简单起见省略了这些附加元件。此外，在元件120处，本地接口120可以包括地址、控制和/或数据连接，以实现部件之间的适当通信。
32.缝合机器人102的传感器122可以促进检测工件材料的位置和移动。在元件122处，可以使用包括一个或多个传感器122的系统，例如但不限于运动传感器、温度传感器、湿度传感器、诸如rgb相机、rgb-d相机、立体相机、近红外(nir)相机之类的相机、或其他图像捕
获装置、麦克风、射频接收器、热成像仪、雷达装置、激光雷达装置、超声装置、扬声器、可穿戴装置等。rgb-d相机是可提供图像中的像素的颜色(rgb)和深度信息的数码相机。在一些实施方案中，单个传感器122可以用于提供各种感测活动。
33.如图1所示，缝合机器人102包括视觉基础模块124，其可以启动传入检查模块126、联线过程模块128和质量检查模块130。传入检查模块126可以在其进入缝合机器人102的工作空间之后捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确定工件在工作区域中的位置。联线过程模块128可以在缝合机器人102执行动作的同时捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确定工件在工作区域中的位置。质量检查模块130可以在缝合机器人102执行动作之后捕获传感器数据，以通过将结果与传感器配置文件132和机器人系统配置文件134进行比较来确定工件在工作区域中的位置。质量检查模块130还可以评估工件的其他条件。
34.传感器配置文件132可以是预先计算的传感器模型和参数，例如可以使用的缝制产品工件的检测形状的模型，以便处理传感器读数并通过将检测形状的模型与预期形状的模型进行比较来估计工件在工作区域中的位置。例如工件曲线的数学模型，其中曲线可以被定义为两个(或更多个)维度中的一组两个(或更多个)点，例如半圆曲线、直角曲线等。传感器配置文件132可以包括诸如特性、参数和/或公差的标准，其可以用于例如通过与工件或产品的传感器数据进行比较来评估工件和/或产品。在各种实施方案中，举例来说，这可以是在元件132处预先计算的相机模型，其确定例如工件的尺寸、工件的曲线、工件中的不规则部分、工件的区域、工件的线参数、工件的针脚类型、工件的缝合路径和/或成品工件的尺寸。
35.举例来说，机器人系统配置文件134可以包括机器人系统102在元件134处的预先计算的参数或限制要素，例如工件的最大或最小尺寸、机器人系统的曲线缝合能力、机器人系统可以处理的不规则部分(如果工件移动到缝合机器人102的可用工作区域之外)、机器人系统的线能力、机器人系统的针脚能力、成品工件的质量检查(例如工件的缝合路径和尺寸)。机器人系统配置文件134可以包括诸如例如特性、参数、公差和/或能力的标准，其可以用于例如通过与工件或产品的传感器数据进行比较来评估工件和/或产品。
36.现在将参考图2解释视觉基础模块124的功能。本领域技术人员将会理解，对于这里公开的这个和其他过程和方法，在过程和方法中执行的功能可以以不同的顺序实现。此外，概述的步骤和操作仅作为实例提供，并且这些步骤和操作中的一些可以是任选的，可以组合成更少的步骤和操作，或者扩展成附加的步骤和操作，而不偏离所公开的实施方案的本质。
37.图2的流程图示出了视觉基础模块124的可能实施方式的架构、功能和操作。该过程开始于202，视觉基础模块124检测正放置在工作台上的传入工件。视觉基础模块124可在204处启动传入检查模块126，该传入检查模块捕获传感器数据，将传感器数据与可预先计算的传感器配置文件132和机器人系统配置文件134进行比较。如果在206处确定工件不满足机器人系统的指定模型特性、参数和/或能力，则过程继续到208，其中可以采取校正动作来解决不满足特性、参数或能力的问题，并且过程可以返回到202以检测下一个工件。在一些情况下，在采取校正动作时，可以停止该过程。在208处的校正动作可以包括但不限于使
用织物移动器116重新定位工件、从缝合机器人102工作流程自动移除不可接受的工件(这可以由缝合机器人102的织物移动器116执行)、或者停止缝合机器人102直到操作者采取适当的动作(例如，手动移除不可接受的工件)并且重新开始该过程。在208处完成校正动作之后，可以重新开始该过程(自动或手动)。
38.如果在206处工件被认为是足够的或可接受的以便进一步处理，则过程可以继续到210，其中视觉基模块124可以启动联线过程模块128。在210处，联线过程模块128可以在工件处理期间捕获传感器数据，并将传感器数据和与传感器数据相关的传感器配置文件132(图1)进行比较，然后可以将传感器配置文件和机器人系统配置文件134(图1)进行比较。联线过程模块128可以在工件处理期间调整缝合机器人102的操作，以将处理保持在与工件相关的可接受准则内。例如，在联线过程期间，可以连续地或反复地调整沿限定的接缝线的缝合，以将成品保持在生产公差内。如果在212处，联线过程未能满足指定的模型特性、参数和/或能力，则可以认为工件是不适当的或不可接受的和/或联线过程未完成。在这种情况下，在返回到202以检测下一个工件之前，可以如前所述在208处采取校正动作。
39.如果工件已经被认为是足够的或可接受的，并且在212处完成了联线过程，则在214处视觉基础模型124可以启动质量检查模块130。质量检查模块130可以捕获传感器数据，并且将传感器数据与传感器配置文件132和机器人系统配置文件134进行比较。如果在216处确定工件不满足指定的模型特性、参数和/或能力，则在返回到202以检测下一个工件之前，如前所述在208处采取校正动作。然而，如果在216处工件被认为是足够的或可接受的，则过程可返回到202以重复视觉基础模块124。
40.应当注意，这些模块是可互换的，并且可以以与该实例中提供的顺序不同的顺序或不同的组合来使用。例如，质量检查模块130和/或联线处理模块128可由视觉基础模块124启动不止一次，以确保制造过程中的各个缝合阶段之间的缝制产品的质量。另外，各种实施方式可以启动图2中所示的模块中的仅一个模块或减少的模块组合。可以启动传入检查模块126，随后启动联线过程模块128和/或质量检查模块中的一者或两者都不启动。类似地，在检测到传入工件之后，可绕过传入检查模块126，并且可启动联线过程和/或质量检查模块中的一者或两者。如可以理解的，其他组合也是可能的。
41.现在将参考图3来解释传入检查模块126的功能。本领域技术人员将会理解，对于这里公开的这个和其他过程和方法，在过程和方法中执行的功能可以以不同的顺序实现。此外，概述的步骤和操作仅作为实例提供，并且这些步骤和操作中的一些可以是任选的，可以组合成更少的步骤和操作，或者扩展成附加的步骤和操作，而不偏离所公开的实施方案的本质。
42.图3的流程图示出了传入检查模块126的可能实施方式的架构、功能和操作。该过程开始于302，在图2的204处，传入检查模块126由例如视觉基础模块124启动。在304处，工件(例如，诸如织物或材料的缝制产品)可以由缝合机器人102(图1)处理，其中工件被移动到工作区域中，诸如缝合机器人102的在工作台上将产品缝合在一起的区域。工件可由各种织物移动器116(例如，致动器、滚动器(budger)、末端执行器等)移动。在各种实施方案中，在306处，工件的处理可以由各种传感器(1-n)122监测，这些传感器可以收集关于工件的传感器数据以便完成缝合过程。例如，在304处，传感器可以捕获其中存在需要被离台并装载到工作台上的一件产品的数据。在306处，传感器122可以捕获工作区域上的该件产品的数
据(例如，捕获一系列图像的相机)。
43.然后在308处，将捕获的传感器数据与可以预先计算的传感器配置文件132进行比较，以确定是否满足传入检查标准。在一些实施方案中，从相机捕获的一系列图像可以与传感器配置文件的尺寸模型进行比较，其中工件的长度和宽度被确定并且被放置到矩形模板(例如，边界框)中。在其他实施方案中，从相机捕获的一系列图像可以与传感器配置文件的曲线模型进行比较，其中工件的曲线形状被识别。在另一个实施方案中，在308处，从相机捕获的一系列图像可以与传感器配置文件的不规则部分模型进行比较，其中工件的不规则部分被识别。
44.接下来在310处，传入检查模块126可将传感器配置文件132应用于系统配置文件134，以确定传入检查标准是否得到满足。在一些实施方案中，工件的矩形边界框可以与机器人系统的最大模板参数和最小模板参数进行比较。在其他实施方案中，针对工件识别的曲线可以与机器人系统102的可用曲线的列表进行比较。在另一个实施方案中，在310处，可以将针对工件识别的不规则部分与用于缝合机器人102的不规则部分的最大限值进行比较。
45.然后，在312处可以基于传感器配置文件132与机器人系统配置文件134的比较结果来确定所述过程是否可以继续进行。在一个实施方案中，如果在308中识别的矩形模板或边界框超过机器人系统配置文件134的最大模板参数或特性，或者不满足(或满足)最小模板参数或特性，则工件被认为是不可接受的，并且在314处返回到视觉基础模块124(图2)，在该视觉基础模块处，对结果进行考虑以确定过程是否可以在206处继续。在其他实施方案中，如果工件的识别出的曲线不被机器人系统配置文件134的模型支持，则认为工件是不可接受的，并且在314处返回到206处的视觉基础模块124(图2)。在另一个实施方案中，如果确定所识别的不规则部分对于机器人系统配置文件134的模型而言太大而不能处理，则在312处认为工件是不可接受的，并且在314处将其返回到206处的视觉基础模块124(图2)，其中在206处考虑结果。如果已经确定传感器配置文件132在与机器人系统配置文件134比较时是不适当的，则在步骤312处结束该过程。如果在312处确定传感器配置文件132和机器人系统配置文件134之间的比较结果是可接受的，则在314处该过程返回到206处的视觉基础模块124。
46.现在将参照图4解释联线过程模块128的功能。本领域技术人员将会理解，对于这里公开的这个和其他过程和方法，在过程和方法中执行的功能可以以不同的顺序实现。此外，概述的步骤和操作仅作为实例提供，并且这些步骤和操作中的一些可以是任选的，可以组合成更少的步骤和操作，或者扩展成附加的步骤和操作，而不偏离所公开的实施方案的本质。
47.图4的流程图示出了联线过程模块128的可能实施方式的架构、功能和操作。该过程开始于402，其中联线过程模块128由例如图2的210处的视觉基模块124启动。在404处，工件(例如缝制产品)可以由缝合机器人102处理，其中工件被移动到工作区域中，诸如缝合机器人102的在工作台上将产品缝合在一起的区域。工件可由各种织物移动器116(例如，致动器、滚动器(budger)、末端执行器等)移动。在一些实施方案中，在406处，工件的处理可以由各种传感器(1-n)122监测，这些传感器可以收集工件上的传感器数据，以便在404处完成缝合过程。在406处，传感器122可以捕获工作区域上的该件产品的数据(例如，捕获一系列图
像的相机)。
48.然后，在408处，可以将捕获的传感器数据与传感器配置文件132的模型进行比较，以确定是否满足联线处理标准。在一些实施方案中，从相机捕获的一系列图像可以与传感器配置文件132的区域模型进行比较，其中工件的区域被确定。在其他实施方案中，从相机捕获的一系列图像可以与传感器的线模型进行比较，其中线的颜色或线的尺寸被指定。在另一个实施方案中，在408处，从相机捕获的一系列图像可以与传感器配置文件132的针脚类型模型进行比较，其中针脚类型被指定。
49.接着在410处，联线过程模块128可将传感器配置文件应用于机器人系统配置文件134，以确定是否符合联线过程标准。在一些实施方案中，产品的区域可以与机器人系统配置文件134的模型的最大区域参数和最小区域参数或特性进行比较。在其他实施方案中，线的颜色或线的尺寸可以与机器人系统配置文件134的模型的可用线能力进行比较。在另一个实施方案中，在步骤410处，针脚类型可以与机器人系统配置文件134的模型的可用针脚能力进行比较。
50.然后，在412处可以基于传感器配置文件132与机器人系统配置文件134的比较结果来确定该过程是否可以继续进行。在一些实施方案中，如果在图3的308中识别的产品的形状或区域不满足机器人系统配置文件134(或传感器配置文件132)的参数或特性，则工件可被认为是不可接受的，并在414处返回到视觉基础模块124(图2)，在视觉基础模块处，对结果进行考虑以确定过程是否可在212处继续进行。在其他实施方案中，如果产品的线的颜色或尺寸不被机器人系统配置文件134的模型支持，则在412处工件是不可接受的，并且过程在414处返回到视觉基础模块124。在另一个实施方案中，如果针脚类型不被机器人系统配置文件134的模型支持，则在412处认为工件是不可接受的，并在414处返回到212处的视觉基础模块124(图2)。如果确定传感器配置文件132与机器人系统配置文件134的比较不足以满足指定的模型特性、参数和/或能力，则流程在414处返回到视觉基础模型124。
51.如果在412处确定传感器配置文件132和机器人系统配置文件134之间的比较结果是可接受的，则在416处确定联线处理是否完成。例如，如果缝制产品已经完成了用于产品制造的必要缝合操作。如果在416处过程未完成，则过程返回到404以继续处理工件。如果在412确定传感器配置文件132和机器人系统配置文件134之间的比较结果是可接受的，并且在416处已经完成了联线过程128，则在212处该过程返回到视觉基础模块124。
52.现在将参考图5解释质量检查模块130的功能。本领域技术人员将会理解，对于这里公开的这个和其他过程和方法，在过程和方法中执行的功能可以以不同的顺序实现。此外，概述的步骤和操作仅作为实例提供，并且这些步骤和操作中的一些可以是任选的，可以组合成更少的步骤和操作，或者扩展成附加的步骤和操作，而不偏离所公开的实施方案的本质。
53.图5的流程图示出了质量检查模块130的可能实施方式的架构、功能和操作。该过程开始于502，在图2的214处，质量检查模块130由视觉基础模块124启动。在504处，工件(例如缝制产品)可以由缝合机器人102(图1)处理，其中工件在工作区域中移动，所述工作区域例如是缝合机器人102的在工作台上将产品的片缝合在一起的区域。工件可由各种织物移动器116(例如，致动器、滚动器(budger)、末端执行器等)移动。在各种实施方案中，在506处，工件的处理可由各种传感器(1-n)122监测，这些传感器收集工件上的传感器数据以便
完成缝合过程。在506处，传感器捕获工作区域上的该件产品的数据(例如，捕获一系列图像的相机)。
54.然后，在508处，可以将捕获的传感器数据与传感器配置文件132进行比较，以确定是否满足质量检查标准。在一些实施方案中，从相机捕获的一系列图像可与传感器配置文件132的缝合路径模型进行比较，其中缝合路径距产品边缘的距离被确定。在其他实施方案中，从相机捕获的一系列图像可以与传感器配置文件132的成品尺寸模型进行比较，其中成品工件的维度被指定。在另一个实施方案中，从相机捕获的图像可以用于确定产品的其他特征是否已经被正确地构造，包括产品的其他部分的放置和附接，诸如按扣、拉链、襟翼等。在508处，可根据所捕获的图像确定成品工件的维度以用于比较。
55.接下来在510处，质量检查模块130可以在508处将传感器配置文件132应用于机器人系统配置文件134，以确定是否满足质量检查标准。在一些实施方案中，缝合路径距缝制产品边缘的距离可与机器人系统102的缝合路径参数或特性进行比较。在其他实施方案中，可将成品工件的维度与机器人系统102的成品尺寸模型的指定维度、参数或特性进行比较。在另外的实施方案中，当正在处理缝制产品时，缝合机器人102可以主动地收集传感器数据。该数据可以用于机器学习算法中。在步骤510处，从缝制产品收集的传感器数据可与高质量缝制产品和低质量缝制产品的先前传感器数据进行比较，并且缝制产品可基于机器学习算法的比较来评定，以确定缝制产品的质量是否满足预定阈值。
56.然后，在512处可以基于传感器配置文件132与机器人系统配置文件134的比较结果来确定该过程是否可以继续进行。在一些实施方案中，如果在步骤308中缝合路径与产品边缘的距离超过或不满足(或满足)在步骤512中的机器人系统配置文件134的缝合路径参数或特性，则产品被认为是不可接受的，并在步骤514中返回到视觉基础模块124(图2)，在该视觉基础模块中，对结果进行考虑以确定过程是否可在步骤216中进行。在其他实施方案中，如果所识别的产品曲线不被机器人系统配置文件134的模型支持，则在512处产品可以被认为是不可接受的，并且在514处返回到视觉基础模块124。在另一个实施方案中，如果成品工件的维度不满足成品工件的维度、参数或特性，则产品可能是不可接受的，并且在514处返回到视觉基础模块124。如果在512处确定传感器配置文件132与机器人系统配置文件134的比较不足以满足指定的模型特性、参数和/或能力，则流程在514返回到视觉基础模型124。如果在512处确定传感器配置文件132和机器人系统配置文件134之间的比较结果是可接受的，则该过程在514处返回到图2的216处的视觉基础模块124，其中流程返回到202以检测下一个到来的工件。
57.应该强调的是，本公开的上述实施方案仅仅是为了清楚理解本公开的原理而阐述的可能的实例。在基本上不脱离本公开的精神和原理的情况下，可以对上述实施方案进行许多变化和修改。所有这样的修改和变化都旨在包括在本公开的范围内，并且受到所附权利要求的保护。
58.术语“基本上”是指允许偏离描述性术语，而不会不利地影响预期目的。描述性术语被隐式地理解为被字词“基本上”修改，即使该术语没有被字词“基本上”显式地修改。
59.应该注意的是，比率、浓度、数量和其他数值数据在本文中可以以范围的形式表示。应当理解，这样的范围格式是为了方便和简洁而使用的，并且因此应当以灵活的方式解释为不仅包括作为范围的界限而明确列举的数值，而且包括该范围内包含的所有单个数值
或子范围，如同每个数值和子范围被明确列举一样。为了说明,“约0.1％至约5％”的浓度范围应被解释为不仅包括明确列举的约0.1重量％至约5重量％的浓度，还包括指示范围内的单个浓度(例如，1％、2％、3％和4％)和子范围(例如，0.5％、1.1％、2.2％、3.3％和4.4％)。术语“约”可包括根据数值的有效数字的传统四舍五入。另外，短语“约
‘
x’到
‘y’”
包括“约
‘
x’到约
‘y’”
。