用于定位坯料堆中的坯料的定位方法和定位系统与流程

1.本发明涉及一种使用成像来定位坯料堆中的坯料的方法和系统。


背景技术：

2.在金属生产行业中，金属产品(例如，坯料)的跟踪和定位非常重要。例如，坯料的可靠定位将允许更有效的制造工艺流程。
3.已知的跟踪方法依赖于嵌入例如标签或金属产品的标记，随后是基于视觉的识别。然而，金属产品制造(例如，连铸)是一个高温过程。因此，坯料的自动和可靠定位仍然是一个挑战。
4.为了解决这个问题，已经提出了基于视觉的自动跟踪方法。
5.cn 106780483例如公开了一种在连续铸造的坯料生产环境下，通过图像处理获取坯料特征并提取坯料端面中心坐标的方法，以构建自动识别铸造的坯料的自动定位系统，提高连续铸造过程的贴标效率和贴标精度。
6.例如，用于智能钢铁制造的基于视觉的钢铁产品自动识别跟踪(chao-yung hsu，2017 ieee国际多媒体研讨会，第376-377页)公开了一种通过从钢铁产品中提取视觉特征，使用基于视觉的自动识别跟踪框架(不嵌入任何识别码)自动跟踪钢铁产品的方法。
7.基于深度的特征提取-钢4.0中用于智能制造的钢产品的引导式自动识别跟踪(chao-yung hsu，proceedings of ieee international conference on applied system innovation 2018，第145-146页)例如公开了一种使用基于视觉的自动识别跟踪(无需在产品表面嵌入任何识别码)的方法，该方法还包括从钢图像中提取视觉特征。


技术实现要素：

8.本发明的一个目的是提供一种定位方法和一种定位系统，以在不使用标签或标记的情况下定位坯料堆中的坯料。
9.在连续铸造中，可以使用火焰切割机从铸造材料中切割出坯料。火焰切割机留下前端表面和后端表面，由于火焰切割，每个前端表面和后端表面具有独特的表面图案。
10.在根据本发明的定位方法和定位系统中，已经使用火焰切割机切割的坯料的前端表面的表面图案和/或后端表面的表面图案用于识别坯料。
11.根据本发明的定位系统被配置为定位火焰切割坯料堆中的火焰切割坯料，并将定位坯料的位置信息发送到例如坯料标记器、坯料运输器、坯料位置存储系统或坯料位置显示系统。
12.定位系统可以包括：成像器，成像器具有至少一个数码相机(优选地，两个数码相机)，数码相机能够获取坯料堆中的坯料的第一端或第二端的数字图像；图像分类器，图像分类器包括至少一台计算机，该计算机被配置为对具有由火焰切割产生的表面特性的表面进行分类，并且被配置为对从成像器接收的坯料的第一端或第二端的数字图像进行分类；以及图像匹配器，图像匹配器包括计算机，该计算机被配置为将从图像分类器接收的坯料
的第一端或第二端的分类数字图像与存储在分类图像存储装置中的多个分类图像中的分类图像进行匹配。
13.图像分类器优选地使用模式分类和识别对坯料的第一端或第二端的数字图像进行分类，模式分类和识别是对物体的表面特性进行分类和识别的已知方法。
14.图像匹配器可以通过将目标图像与存储在分类图像存储装置中的多个分类图像进行比较，并且如果比较没有导致匹配，则通过进一步将角度旋转的目标图像与存储在分类图像存储装置中的多个分类图像进行比较，直到进行匹配或者没有进行匹配，来匹配坯料的第一端或第二端的分类数字图像(目标图像)。
15.在一个实施例中，图像匹配器可以旋转目标图像，以获取角度旋转的目标图像。
16.在另一实施例中，图像匹配器可以请求图像分类器对目标图像进行角度旋转，并且基于从图像分类器接收的角度旋转的目标图像来执行匹配。
17.分类图像存储装置可以连接到另一图像分类器，该图像分类器对用火焰切割机切割坯料后由另一成像器的数码相机(优选地，两个数码相机)捕获的坯料前端或后端的数字图像进行分类。该至少一个数码相机(或两个数码相机)能够在高达1200℃的温度下捕获坯料的前端或后端的图像。
18.另一图像分类器还优选地使用模式分类和识别，对具有由火焰切割产生的表面特性的表面进行分类。
19.对于每个坯料，另一图像分类器对坯料前端的图像和坯料后端的图像进行分类，并且可以将分类的前端和后端图像彼此关联地存储在分类图像存储装置中。
20.图像匹配器可以首先将坯料的第一端的分类数字图像或第二端的分类数字图像(目标图像)与存储在分类图像存储装置中的分类前端图像或分类后端图像(参考图像)匹配，并且在目标图像与参考图像匹配之后，图像匹配器可以将与匹配的参考图像相关联的分类图像与坯料端部的与目标图像相对的分类数字图像匹配。
21.图像匹配器可以通过将目标图像与存储在分类图像存储装置中的多个分类图像进行比较，并且如果比较没有导致匹配，则通过进一步将角度旋转的目标图像与存储在分类图像存储装置中的分类图像进行比较，直到进行匹配，或者没有进行匹配，来匹配目标图像的分类数字图像。
22.在一个实施例中，图像匹配器可以旋转坯料的第一端或第二端的分类数字图像，以获取角度旋转的目标图像。
23.在另一实施例中，图像匹配器可以请求图像分类器对目标图像的图像进行角度旋转，并且基于从图像分类器接收的角度旋转的目标图像来执行匹配。
24.根据本发明的定位方法定位火焰切割坯料堆中的火焰切割坯料，包括：用成像器捕获坯料堆中坯料端部的图像，成像器包括至少一个能够获取数字图像的数码相机；使用图像分类器对由成像器捕获的坯料端部的图像进行分类，图像分类器包括至少一台计算机，该计算机被配置为对具有由火焰切割产生的表面特性的表面进行分类；并且使用图像匹配器将坯料端部的分类图像与分类图像存储装置中的多个分类图像中的分类图像进行匹配，图像匹配器包括计算机，计算机被配置为将坯料端部的分类数字图像与存储在分类图像存储装置中的多个分类图像中的分类图像进行匹配。
25.可以使用模式分类和识别来执行分类。
26.可以通过将坯料端部的分类图像(目标图像)与存储在分类图像存储装置中的多个分类图像进行比较，并且如果比较没有导致匹配，则通过进一步将角度旋转的目标图像与存储在分类图像存储装置中的多个分类图像进行比较，直到进行匹配，或者不进行匹配，来执行匹配。
27.在一个实施例中，可以通过在图像匹配器中旋转目标图像，或者在另一实施例中，通过图像分类器旋转目标图像，来获取角度旋转的目标图像。
28.可以通过首先将目标图像与存储在分类图像存储装置中的分类前端图像或分类后端图像(参考图像)进行匹配，并且在目标图像与参考图像匹配之后，将与匹配的参考图像相关联的分类图像与坯料端部的与目标图像相对的分类数字图像进行匹配，来执行匹配。
29.本发明的其他特征和优点将从下面参照附图对本发明的描述中变得显而易见。
附图说明
30.图1示出了根据本发明的系统；
31.图2示出了处于展开状态的本发明的实施例；
32.图3示出了根据本发明的系统的输入侧的示例；
33.图4示出了根据本发明的系统的输出侧的示例；
34.图5示出了在系统的输入侧捕获的坯料的端部的图像；
35.图6a至图6d示出了在根据本发明的系统的输出侧以不同方位捕获的坯料的端部的图像；
36.图7是由根据本发明的系统执行的方法中的步骤的流程图。
具体实施方式
37.本文使用的“坯料”或“火焰切割坯料”是指使用火焰切割机从连续铸造的金属产品切割的坯料。坯料的“端部”是指顶部、底部和侧边之间的端部表面，其呈现出由火焰切割产生的特征。
38.参考图1，根据本发明的方法用系统10实现，该系统包括第一成像器12、第一图像分类器14、分类图像存储装置16、第二成像器18、第二图像分类器20和图像匹配器22。
39.第一成像器12是图像获取系统，其包括至少一个相机，优选地是数码相机，其适于在坯料热的时候获取坯料前端或后端的数字图像。坯料的外表面温度可以高达1200℃。坯料的外表面温度可以低至环境温度(例如，25℃)。坯料外表面温度取决于铸造速度，铸造速度越慢，温度越低。第一成像器12可以包括两个数码相机，一个用于获取坯料前端的数字图像，另一个用于获取坯料后端的数字图像。
40.第一图像分类器14是一种系统，其包括可操作地连接到第一成像器12的一台或多台计算机，以接收和分类来自第一成像器12的坯料的前端和后端的数字图像。因此，在操作中，第一图像分类器14将对由第一成像器12获取的坯料的前端图像和后端图像进行分类。
41.分类图像存储装置16是包括一台或多台计算机的系统，计算机被配置(编程)为在计算机可读、非易失性存储器位置中接收和保留计算机可读文件，计算机可读文件包含与由第一图像分类器16分类的每个分类(前端或后端)图像相关的信息。
42.第二成像器18是图像获取系统，其包括至少一个适于获取坯料的第一端或第二端的数字图像的相机(优选为数码相机)。第二成像器18可以包括两个数码相机，一个用于获取坯料第一端的图像，另一个用于获取同一坯料第二端的图像。
43.第二图像分类器20是包括一台或多台计算机的系统，计算机可操作地连接到第二成像器18，以接收从第二成像器18接收的坯料的第一端和第二端的数字图像，并被配置(编程)为对其进行分类。
44.图像匹配器22是包括一台或多台计算机的系统，计算机可操作地连接到第二图像分类器20，以接收包含与由第二图像分类器20分类的坯料端部的每个分类图像相关的信息的计算机可读文件。
45.图像匹配器22被配置(编程)为与分类图像存储装置16通信，并将由第二图像分类器14分类的坯料的第一端的图像和坯料的第二端的图像与存储在分类图像存储装置16中的由第一图像分类器14分类的坯料前端或坯料后端的图像进行匹配。图像匹配器22与用户接口23(例如，也包括视觉显示器和输入装置，例如，键盘)通信，用于接收匹配图像的指令。
46.在图像匹配器22进行图像匹配之后，系统10可以采取步骤，例如，标记坯料(例如，用印模或涂料喷嘴)，识别并存储(在计算机存储器中)坯料堆中坯料的位置，或者操作叉车、起重机或类似装置，以将识别的坯料从其位置移动到另一位置。
47.第一图像分类器14和第二图像分类器20都被编程为执行一种方法来创建计算机可读文件，该文件包含唯一识别由成像器获取的坯料端部的每个图像的信息。分类方法可以基于模式分类和识别，其可以分类和识别表面模式。
48.分类图像存储装置16至少存储由第一图像分类器12以计算机可搜索的方式产生的计算机可读文件。优选地，分类图像存储装置16包括文档管理系统等系统。
49.现在参考图2，根据本发明的系统10包括输入侧24和输出侧26。
50.输入侧24包括第一成像器12、第一图像分类器14和分类图像存储装置16。
51.输出侧26包括第二成像器18、第二图像分类器20和图像匹配器22。
52.输入侧24可以设置在坯料生产设备28处，该设备例如通过连续铸造工艺生产坯料。
53.输出侧26可以设置在金属存储设施30处，该金属存储设备例如储存用于生产金属产品(例如，金属板产品、梁或管)的坯料。金属存储设施30可以是金属产品生产设备的一部分，或者可以是仅用于储存在坯料生产设备28生产的坯料的设备。
54.参考图3，在坯料生产设备28处，第一数码相机32和第二数码相机34(这是第一成像器12的一部分)安装在一个位置，以在使用例如火焰切割机从连续铸件切割坯料之后捕获坯料的前端和后端的图像。具体而言，例如，第一相机32被设置成捕获坯料36的前端35的图像，第二相机34被设置成在使用火焰切割机切割坯料36之后捕获坯料36的后端37的图像。优选地，坯料的前端35图像和后端37图像由相机32、34捕获，同时坯料仍然是热的，即高达1200℃。
55.由第一相机32捕获的坯料36的前端35的图像和由第二相机34捕获的坯料36的后端37的图像发送到第一图像分类器14。第一图像分类器14被编程为使用模式分类和识别对坯料36的前端35和坯料36的后端37的图像进行分类。一旦每个图像被分类，两个端部图像都被存储在分类图像存储装置16中，并且作为一对彼此相关联，以指示图像是同一坯料的
前端图像和后端图像。
56.坯料36然后被运输到金属存储设施30，该金属存储设备可以是远离坯料生产设备28的位置。
57.输出侧26可以设置在金属存储设施30处，包括第三相机38和第四相机40(这是第二成像器18的一部分)。相机38和40优选地是数码相机。坯料的堆叠42储存在设施30中，坯料36将与其它坯料一起储存在堆中。
58.为了识别包括坯料36在内的每个坯料的位置，每个相机38、40自动移动，以捕获堆叠中坯料端部的图像。也就是说，第三相机38捕获坯料的第一端39的图像，第四相机40捕获同一坯料的第二端41的图像。
59.由第三和第四相机38、40如此捕获的第一端39和第二端41的图像被馈送到第二图像分类器20并被其接收。第二图像分类器20被编程为使用模式分类和识别对从相机38、40接收的最终图像进行分类。如此分类的图像然后被发送到图像匹配器22。
60.然后，图像匹配器22获取坯料的第一端39和第二端41的分类图像，并继续将每个分类图像与存储在分类图像存储装置16中的坯料的前端或后端的分类图像进行匹配。例如，图像匹配器22可以首先尝试将从第二图像分类器20接收的分类图像匹配到分类的前端图像。如果这没有导致匹配，则图像匹配器22继续将从第二图像分类器20接收的分类图像与存储在分类图像存储装置16中的分类后端图像进行匹配。
61.为了将从第二图像分类器20接收的分类图像(以下称为“目标图像”)与分类的前端图像或分类的后端图像相匹配，目标图像可能需要旋转，因为例如坯料36在堆叠42中的取向可能与在前端35及其后端37的图像被第一成像器12捕获时的取向不同。
62.具体地，参考图5，其示出了坯料36的端部，该端部可以是前端35或后端37，当第一成像器12使用相机32或34捕获端部35或37的图像时，端部的图像将具有顶部边缘44、底部边缘46、右侧边缘48和左侧边缘50。端部35或37的图像将由第一图像分类器14相对于边缘44、46、48、50以及它们相应的相对于彼此的位置进行分类。
63.在输出侧30，当放置在堆叠42中时，坯料36可以旋转，使得例如顶部边缘44将位于底部。因此，由第二成像器18捕获的端部35或37的图像将相对于由第一成像器12拍摄的端部35或37的图像旋转180
°
。每当匹配器22将目标图像与分类图像存储装置16中的分类前端图像或分类后端图像进行比较时，端部39或41的图像需要重新定向。
64.图6a示出了由第二成像器18的相机38或40捕获的端部39或41的图像，其将用作目标图像。如此捕获的目标图像还将具有顶部边缘52、底部边缘54、右侧边缘56和左侧边缘58。然而，边缘52、54、56和58可以不具有与第一成像器12拍摄的端部32或37的图像的边缘44、46、48和50相同的相对位置。因此，当匹配时，如果在目标图像和分类的前沿或分类的后沿之间没有匹配，则目标图像被图像匹配器22顺时针或逆时针旋转90
°
(见图6b)，并且旋转的目标图像与分类的前端图像(或分类的后端图像)进行比较，然后，如果没有获取匹配，则存储在分类图像存储装置16中的分类后端图像(或分类前端图像)进行比较，直到目标图像与分类前端图像或分类后端图像匹配。一旦图像与前端图像或后端图像(参考图像)匹配，分类的第二端图像就成为目标图像，并与和第一目标图像匹配的分类图像配对/关联的另一图像匹配。因此，例如，如果第一目标图像(第一端39的分类图像)与分类的前端图像匹配，则目标图像(分类的端部41图像)与和第一匹配目标图像关联的分类后端图像匹配，以
验证匹配。一旦图像匹配器22进行匹配，存储坯料在堆叠42中的位置，以备将来取回，或者自动标记识别的坯料。
65.参考图7，根据本发明的方法100包括通过相机32捕获坯料36的前端的图像(s101)，通过相机34捕获坯料36的后端37的图像(s102)，接收在s101并分类用第一图像分类器14捕获的图像(s103)，将在s103分类的分类图像存储在分类图像存储装置16中(s104)，接收并分类由第一图像分类器14在s102捕获的图像(s105)，将在s105分类的分类图像存储在分类图像存储装置16中(s106)，将在步骤s104和s106中存储的分类图像关联为相关对(s107)，在输出侧26从用户接口23接收指令，请求在堆叠42中定位坯料(例如，坯料36)(s108)，用第三相机38捕获堆叠42中的坯料的第一端39的图像(s109)，用第四相机40捕获同一坯料的第二端41的图像(s110)，用第二图像分类器20接收并分类在s109捕获的第一端39的图像(s111)，用第二图像分类器20接收并分类在s110捕获的第二端41的图像(s112)，可选地，将在步骤s111和s112中生成的分类图像存储在位于设施30的计算机存储器中(s113)，将在s111中分类的分类图像(第一目标图像)与存储在分类图像存储装置16中的所有分类前端图像进行比较，以找到匹配(s114)，如果在步骤s114中没有找到匹配，则将在步骤s114中比较的第一图像旋转90
°
(九十度)并重复比较步骤s114(s115)，如果在步骤s115中没有匹配，则将在步骤s114中比较的第一图像旋转180
°
(一百八十度)并重复比较步骤s114(s116)，如果在步骤s116中没有匹配，则将在步骤s114中比较的第一目标图像旋转270
°
(二百七十度)并重复比较步骤s114(s117)，如果步骤s117没有导致匹配，则重复步骤s114-s117，但是，代替将第一目标图像与分类前端图像进行比较，将第一目标图像与后端图像进行比较(s118)，如果在步骤s118中没有做出匹配，则发出错误生成并向用户接口23发送消息，指示没有做出匹配(s119)，如果在步骤s114至s118中的任何一个中找到匹配，将在s112分类的分类图像(第二目标图像)与存储在分类图像存储装置16中的分类结束图像进行比较，与匹配第一目标图像的分类结束图像相关联，以确认匹配(s120)，如果在步骤s120中没有找到匹配，则将在步骤s120中比较的第二目标图像旋转90
°
(九十度)，并且重复比较步骤s120(s121)，如果在步骤s121中没有做出匹配，将在步骤s120中比较的第二目标图像旋转180
°
(一百八十度)，并且重复比较步骤s120(s122)，如果在步骤s122中没有做出匹配，则将在步骤s120中比较的目标图像旋转270
°
(二百七十度)，并重复比较步骤s120(s123)。如果步骤s120至s123没有导致匹配，则该方法可以包括向用户接口装置23发出错误消息，指示没有找到匹配(s124)。如果在步骤s120、s121、s122、s123中的任何一个中找到匹配，则该方法可以包括在位于设施30处的计算机存储器中识别和记录匹配的坯料作为在堆叠42中的坯料36的位置，用于坯料36的未来取回或标记(s125)。
66.在另一实施例中，匹配器122不会旋转分类图像。匹配器22可以向第二图像分类器20发送对分类的旋转图像的请求。在接收到该请求时，第二图像分类器20将旋转图像(首先旋转90
°
，然后旋转180
°
，然后视需要旋转270
°
)，对旋转的图像进行分类，并将分类的旋转图像发送到匹配器22，以用作目标图像，与如上所述的分类前端图像或分类后端图像进行比较。
67.旋转图像或分类图像是指虚拟旋转图像，该图像可以由计算机监视器显示，也可以不显示。为了旋转图像或分类图像，坐标围绕中心点轴顺时针或逆时针成角度地移动。中心轴的坐标不会有角度偏移。因此，将相对于保持不变的坐标发生旋转。
68.本文公开的方法(系统)不应该被理解为限于识别堆叠中的坯料，而是可以应用于任何坯料组或坯料集合。因此，本文使用的词语“堆叠”不限于一个坯料放置在另一坯料上的设置，而是任何坯料的分组或集合。
69.尽管已经结合本发明的特定实施例描述了本发明，但是对于本领域技术人员来说，许多其他变化和修改以及其他用途将变得显而易见。因此，优选的是，本发明不受本文的具体公开的限制，而仅受所附权利要求的限制。