用于基于背部图像来识别个体动物的系统和方法与流程

文档序号:13985191阅读:460来源:国知局
用于基于背部图像来识别个体动物的系统和方法与流程

本公开涉及一种用于基于动物(特别是牛(cattle)和奶牛(cow))的图像(诸如3d图像)来识别个体动物的系统和方法。



背景技术:

对牲畜动物(诸如猪、牛和奶牛)的个体的识别通常通过诸如非电子识别标签(例如耳部朵切口、耳部标签、颈链中的数字标签)和电子识别(其中最常见的包括电子耳部标签、微芯片和电子颈圈)的系统来执行。这些系统中的每个均具有优点和缺点,并且所述系统不能单独用于识别群组中的个体同时自动收集与所述个体动物相关的其他信息。

当由奶牛生产牛奶时,高达80%的费用是用于奶牛的饲料。饲料摄入相对于牛奶生产和奶牛健康的优化不仅可减少用于饲料的费用而且还可减少用于药物或兽医支持的费用。奶牛的健康和康健可通过使奶牛处于散养圈舍系统中来增强,奶牛可在所述散养圈舍中到处活动,并且因此加强骨骼和肌肉。在这些散养圈舍系统中,可能难以确定每头奶牛的饲料摄入,因为饲料摄入的估计必须与个体奶牛相关。

wo95/28807(“动物的三维表型测量系统(three-dimensionalphenotypicmeasuringsystemforanimals)”,phenoimaginginc.)描述了一种用于动物(诸如乳用奶牛)的三维表型测量系统。所述系统使用来自激光相机的大量的调制激光束来测量动物的每平方英寸大约100个点。每个激光束测量强度、水平尺寸、竖直尺寸和深度尺寸,并且通过将所述测量结果组合,所述系统形成非常准确的动物三维图像。所述系统计算期望的表型测量结果,用于通过组合动物上的选定点的测量结果而进行的动物构造。然后所述系统将每个动物的测量结果存储在计算机数据库(database)中用于以后使用。所述系统还存储与其他存储的图像相比较的动物标记的光强度图像。所述系统形成动物的侧视图的图片,并且用于对动物分级。所述系统可为每个新动物扫描数据总库(databank),以确保同一动物不被处理超过一次。

ep2027770(“家畜状况自动分级的方法和设备(methodandapparatusfortheautomaticgradingofconditionoflivestock)”,iceroboticslimited)描述了一种用于对动物的特性分级的方法和装置。动物被引导到检测区域,从而捕获动物背部的图像。此外当动物处于检测区域时,动物的身份被确立。身份是通过读取位于动物身上的识别标记来确定的。图像的分析识别解剖结构点并且确定在这些点处的角度。然后将角度用于计算对动物特性的分级。提出了一种实施方式用于使用在来自奶牛背部上的图像的三个解剖结构点处确定的七个角度来自动确定乳用奶牛的身体得分情况。

因此,如果可以接近附着到每个动物的识别标记,则个体动物的识别是容易的。但许多动物生活在散养圈舍系统中,在所述散养圈舍中不可能在任意给定的时间内接近每个动物的识别标记。此外,动物可位于露天场地中。在这两种情况下,如果不能接近识别标记,则不可能监测每个个体动物。



技术实现要素:

如果在散养圈舍系统中的个体动物不能时常或经常地进行监测,则事实上不可能登记每个动物的饲料摄入。因此,本发明所公开的发明涉及一种从动物背部的自然外观和/或拓扑结构来确定个体动物身份的方法。本发明人已认识到,每个动物均具有与所述动物背部的自然构型、外观、拓扑结构和/或轮廓相关联的独特特性。此外发明人已认识到,这些特性可从示出了动物背部的至少一部分的一个或多个图像中提取。幸运的结果是,如果先前图像(优选地为基本上最近的图像)存在同一动物,则通过比较动物背部的图像和先前图像(诸如通过提取可比较的图像中的对应特征)可以从动物背部的图像中识别所述动物。通过使用动物背部的图像,使得可以例如基于安装在畜舍/牛棚的天花板上的相机系统或由机载相机系统(例如通过无人机在空中飞行)而从上方识别和监测动物。此外机载相机系统可应用于在露天场地中识别和监测动物。

在一个实施方式中,目前公开的方法因此包括以下步骤:

·获取动物(例如未识别的动物)的背部的至少一部分的至少一个图像,以及

·从获取的所述至少一个图像中提取数据,提取的数据(例如预定义的特性)与所述动物的背部的自然外观、解剖结构、轮廓和/或拓扑结构相关。

当图像已被分析并且提取了由此获得的数据时,如果例如图像中的预定义特性与同一动物的先前(参考)图像的预定义特性匹配,则动物可被识别。因此,可确立同一动物的两个或更多个图像之间的对应性,因为至少在仅具有有限数量动物的动物群或群体中,动物背部的解剖结构对于每个动物来说是独特的。此外先前(参考)图像可与动物的身份相关联,例如与对应于动物的识别标记的动物身份相关联。因此,一旦例如通过识别标记确立了动物身份与动物背部的一个或多个预定义的解剖结构特性之间的对应性,则此动物随后可仅仅通过示出所述动物的(至少一部分)背部的图像来唯一地识别。

在另一个实施方式中,将提取出的数据与从已识别的动物的背部的至少一个参考图像中提取出的参考数据进行比较,其中已识别的动物的身份信息可连到所述至少一个参考图像。此外,基于所述比较,可确定未识别的动物是否对应于已识别的动物。将提取出的数据与参考数据进行比较并确定未识别的动物是否对应于已识别的动物的步骤,可针对多个已识别的动物的多个参考图像进行重复,直到获得匹配并且该未识别的动物已被识别。提取出的数据还可与预定义的(解剖结构)特性的数据库进行匹配或比较,所述数据库例如包括需要区分的动物的群体或群中的每个动物的预定义特性,并且一组预定义特性可与一个已知身份的动物相关联。一旦获得了预定义特性的组之间的匹配,则该未识别的动物被识别。

本公开还涉及一种用于确定动物群体中具有已知身份的个体动物的身份的方法,所述方法包括以下步骤:

·获取预选定动物的背部的至少一个图像,以及

·从所述至少一个图像中提取与预选定动物的背部的解剖结构、自然外观和/或拓扑结构相关的数据,以及

·将所述提取出的数据与对应于具有已知身份的动物的背部的解剖结构、自然外观和/或拓扑结构的参考数据进行比较和/或匹配,从而识别所述预选定动物。

因此,如这里所公开的系统和方法可基于动物背部的解剖结构来确定个体动物,由此可以通过将这里描述的发明与如例如在wo2014/166498(“用于确定至少一个动物的饲料消耗量的系统(systemfordeterminingfeedconsumptionofatleastoneanimal)”,vikinggeneticsfmba)中描述的用于确定饲料消耗的系统相结合来估计例如粗饲料的摄入,其中使用图像系统通过确定每个已识别的动物前面的饲喂区域的后续图像(subsequentimages)中的饲料的减少来评估由每个已识别的动物所消耗的饲料量。

使用本发明公开的识别方法,动物不需要可见的识别标记可能是可行的,因为动物可基于背部图像被区分。因此,一旦初始获取了所有动物背部的图像,则随后可基于每个动物的背部的不同图像将它们彼此区分并且由此识别它们。

对从至少一个图像中提取的数据与从先前(参考)图像中提取的数据的比较可通过任何可用于比较数据的方法来执行,并且可基于从图像中直接提取出的任何数据或者以图像为基础计算得到的任何数据而执行。可计算向量,可确定得分(诸如用于主成分分析的主成分(pc得分)),并且这些可包括在比较过程中和/或用于执行进一步的计算(诸如点积(dotproduct))并且然后从计算的乘积执行比较。

动物可以是任何动物物种、种族或群组,并且可例如选自下面的组:牛、奶牛、乳用奶牛、公牛、小牛、猪、母猪、未阉割的公猪、阉割的公猪、小猪、马、绵羊、山羊、鹿。

参考数据可从动物群体中的每个动物的背部的至少一个所获取的(参考)图像中提取。可同时通过读取附着到所述动物的识别标记确定动物身份而获取动物的参考图像。

因此,可例如通过以下方式获取已识别的动物的背部的至少一个参考图像:

·提供动物的识别号码,由此所述动物是已识别的动物,

·提供已识别的动物的背部的至少一个图像,以及

·将已识别的动物的识别号码与已识别的动物的背部的至少一个图像一起存储在数据库中,所述图像由此是参考图像。

已识别的动物的背部的至少一个参考图像可经常性地获取,诸如每天,但也可取决于待识别的动物的类型。当识别乳用奶牛时,例如一天或两天的相对较短的时间跨度可能是重要的。

所述方法可基于是动物背部形貌图像的图像和参考图像,此类图像可被获取为3d图像。

本公开还涉及一种用于确定动物群体中具有已知身份的个体动物的身份的动物识别系统,所述系统可包括:

·成像系统,配置用于获取预选定动物的背部的至少一个图像,以及

·处理单元,配置用于

-从所述至少一个图像中提取与预选定动物的背部的解剖结构、自然外观和/或拓扑结构相关的数据,以及

-将提取的所述数据与对应于每个具有已知身份的动物的背部的解剖结构、自然外观和/或拓扑结构的参考数据进行匹配,从而识别预选定动物。

所述系统还可包括用于提供动物群体中的动物的一个或多个参考图像的参考成像单元,所述参考成像单元包括:

-至少一个身份确定装置,配置为诸如通过读取附着到所述动物的至少一个识别标记来确定所述动物的身份,以及

-至少一个相机,配置为获取所述动物的背部的至少一个(参考)图像。

所述系统还可被配置为将动物的确定出的身份与由所述相机获取的所述至少一个图像相关联,并且可选地将所述至少一个图像存储为参考图像。

因此,预选定动物可被视为是未识别的,因为在图像获取时系统可能不知道动物的身份。另一方面,预选定动物的身份本身并不是未知的,因为它先前已被识别,并且存在可能包括动物解剖结构特性的参考数据,使得预选定动物可在图像获取后不久被自动识别。参考数据可基于/提取自预选定动物的一个或多个先前图像。

处理单元可以是计算设备的一部分,并且图像、提取出的数据、参考图像和/或参考数据可随数据库交换,所述数据库可以是动物识别系统的一部分,或者所述系统可访问所述数据库。成像系统可包括一个或多个相机。动物识别系统可被配置为使得所述相机中的至少一些被布置为使得它们位于待识别的动物上方,以便能够对动物背部进行成像。相机可处于固定的位置,但也可被配置为使得视野可变化以便对不同的区域成像。本发明公开的动物识别系统还可以是如前面指出的机载系统的一部分。

动物识别系统的另一个实施方式涉及一种用于从动物的背部的自然外观和/或拓扑结构来确定个体动物的身份的系统,所述系统可包括:

·至少一个相机,用于获取未识别的动物的背部的至少一个图像,

·至少一个数据库或对至少一个数据库的准入,所述数据库用于存储与已识别的动物的背部的至少一个参考图像相关的数据,并且用于存储与未识别的动物的背部的至少一个图像相关的数据,

·数据传输装置,用于将来自所述至少一个相机的数据传输到所述数据库,以及

·连接到所述数据库的至少一个处理装置,所述处理装置被配置用于将从未识别的动物的所述至少一个图像中提取出数据与从至少一个参考图像中提取出的数据进行比较,其中所述提取出的数据与动物背部的自然外观和/或拓扑结构有关,并且基于这种比较确定所述未识别的动物是否对应于所述已识别的动物。

优选地,获取的动物背部图像是3d图像,并且所述3d图像可通过能够提供3d图像的任何合适的相机系统来获取,这样的系统可基于例如范围相机(rangecamera)、立体相机、飞行时间相机(time-of-flightcamera)。

所述方法和所述系统不仅能够被用来确定动物的身份,还可用于例如确定由动物消耗的饲料量。位于正在进食的动物前面的饲料的图像可通过与如这里描述的用于动物识别的方法类似的方法进行分析,以确定饲料消耗量。本发明使得可以确定个体动物的饲料消耗,并且将此类信息存储在例如与动物的文件相关的数据库中。还可利用在此描述的系统来监测分级条件或健康状况,并且此类信息也可被存储在动物的文件中,使得可以通过控制饲料消耗的类型和数量以跟踪动物的发育和/或优化其生产,例如牛奶生产。

这里公开的系统可配置为执行这里公开的方法中的任一个。

附图说明

图1示出了在安装有本发明系统的牛舍中正在进食的奶牛。

图2示出了在奶牛背部处的不同预选定点的实例。

图3示出了关于动物的背部(这里是奶牛的背部)而确立的特征的实例。

图4示出了沿着两头奶牛的脊骨(backbone)的高度轮廓。

图5示出了奶牛的距离地板水平面的高度超过90cm的部分的台面成像3d重建。

图6示出了奶牛的背部。

图7示出了图6中的奶牛的背部,其中具有可用于分析的一些数据/特征的标识。

图8示出了基于重新调整比例的数据的面积确定,所述数据是从奶牛的距离地板的高度超过90cm的部分获取的。

图9和图10示出了在两头奶牛的预定高度处的不同的厚度轮廓和高度轮廓。数据被重新调整比例。

图11示出了奶牛的竖直高度轮廓。

图12示出了基于诸如深度学习系统的神经网络对奶牛的确定。

具体实施方式

如上所述,本发明的一个方面涉及一种用于从动物的背部的自然外观和/或拓扑结构来确定个体动物的身份的方法。当将从(未识别的)动物的至少一个图像中提取出的数据与从至少一个参考图像中提取出的参考数据进行比较时,待比较的数据从动物背部的对应的特征获得的。待比较的数据是从动物背部的特征提取的。此类特征基于动物背部的自然外观和/或拓扑结构。自然特征可包括本文所描述的任何特征以及皮肤中的任何标记,诸如划痕、疤痕等。优选地,自然特征不包括由人施加到动物的永久性id标签,诸如通过例如冷冻烙印、热烙印或纹身而施加的烙印或识别号码。

动物的身份可以是用于例如在群体、地区、国家和/或全球范围内唯一识别所述动物的识别号码、名称或代码。因此,“识别的动物”是具有身份的动物。

如本文所用的“未识别的动物”意指,关于所述动物在某个时间点没有身份与所述动物的背部图像相连,并且其中所述身份可以是所述动物的识别号码。未识别的动物优选地是属于已识别动物的群体(例如每个动物均具有识别号码)中的动物,这个群体可以例如是一群奶牛或牛或本文其他地方描述的其他动物。当使用如本文所描述的方法和系统时,动物可在已识别的动物和未识别的动物之间改变状态并且在非常短的时间内再次改变回去。当动物行走通过畜栏或畜棚并且获取了所述动物的背部的至少一个新图像时,可发生动物状态的改变。当将从这个至少一个图像中提取的数据与从至少一个参考图像中提取的数据进行比较并且发现匹配时,动物的状态从未识别改变为已识别。因此未识别的动物也可被表示为待识别的动物。

未识别的动物的图像优选地是在不易或不可能在获取图像的同时明确地登记动物的id标签的位置处获取的。这样的位置可能位于场地中,其中从电子id标签距能够登记id的天线的距离太大而无法登记,和/或由于距离太长而不能由成像装置查看非电子id标签,和/或标签在动物身上的位置使得不能查看id标签。所述位置还可能是动物彼此太接近而无法登记个体id的地方,所述个体id无疑可与基本上在动物id被登记的同时拍摄的动物背部的图像相关。这样的位置还可以是场地或散养圈舍系统,例如用于奶牛的散养圈舍系统,诸如散养圈舍系统中的奶牛的饲喂区域。

本文所用的术语“动物的背部”作为“未识别的动物的背部”或“已识别的动物的背部”是指动物的含有脊柱(即背部)的解剖学部分。因此,如本文所用的术语“动物的背部”并不意在是指动物的后面或后部,例如,如从动物后面的一侧可以观察到的奶牛的包括其后腿的部分。因此,所述至少一个图像和所述至少一个参考图像是从动物上方(例如从动物正上方或从动物上方成角度)获取的。从动物上方拍摄的图像和参考图像可与背部一起还包括动物的头部和颈部,而动物的这些部分也可用于将图像与至少一个参考图像进行比较。

本发明是基于对动物的背部可被用作独特的解剖学特性的认识。因此,通过获取背部的至少一部分的一个或多个图像并且提取与背部的解剖结构和/或拓扑结构相关的数据,所述动物可通过与先前参考的特性进行比较来识别。因此,如本文所使用的动物的背部的图像应包括足够的信息,使得可从所述图像提取背部的解剖结构和/或拓扑结构的相关特性。在一个实施方式中,脊柱的至少一部分因此被包括在图像中。在另一个实施方式中,动物背部的图像包括从尾根部沿着并且至少到颈部开始点的脊柱。颈部的开始(从背部朝向动物的头部看)可由“颈点“限定,所述颈点是动物的身体与头部之间的位置,在此处身体的厚度小于动物最大宽度的预定部分,对于奶牛和牛来说,“颈点”可以是颈部小于动物最大宽度的38%的位置。奶牛的“颈点”在图7中被示出为包括沿着奶牛背部示出的曲线的左端点的区域。当获取动物的背部的图像时,优选地还包括至少一个肩胛骨(肩胛)的位置。

动物的背部的图像优选地还包括所述动物的至少一侧的至少10、15或20cm的上部,其中此距离从沿着脊柱的任意最高点向下计算得到的,由此脊柱和例如脊柱下方的15cm处的虚拟的下线将具有相似的轮廓(平行)。对于奶牛/牛来说,背部图像应优选地至少包括从尾根部到颈部的脊柱、以及在奶牛/牛的至少一侧的在脊柱下方的至少15cm。

当获取动物背部的至少一个图像时,理想的情况是获取基本上在动物正上方的至少一个图像,其中所述图像可包括脊柱和从上方可见的脊柱两侧上的区域。然而,出于实际的原因,使用对例如在牛棚中的每个动物均可从正上方成像的成像系统可能是不现实的。在实际的具体实施中,举例来说如果成像系统不是相对于对应动物足够高地被定位,则脊柱一侧上的(一部分的)区域可能部分或完全地被图像的视野中的较高位置的脊柱阻挡。

因此,当获取动物的背部的至少一个图像(其中所述图像是从一角度获取的从而使得其没有包括来自脊柱两侧的全部数据)时,或者如果脊柱的一侧的一部分的数据缺失时,则可计算缺失的数据,从而使得来自脊柱的一侧的对应数据被镜像到脊柱的另一侧以获得动物的背部的整个数据集。这样的“整个数据集”应被理解为本文所用的术语“图像”,即“图像”可以是从未镜像任何数据而获取的图像中所获取的数据,或者其可以是从镜像了一些数据而获取的图像中所获取的数据。在实践中,动物的图像可被获取为包括脊柱和仅在动物的一侧(例如左侧)上的区域,可通过将来自动物的左侧的数据镜像到动物的右侧而将此图像转换成“整个数据集”,之后如本文所描述的那样使用图像(即整个数据集)来确定动物的识别。将来自动物背部一侧的数据镜像到动物背部的另一侧可对于获取的任何图像执行,诸如以小于±90°的角度获取的图像,其中起始位置是脊柱的纵向方向的位置。

镜像数据的步骤可在数据处理登记缺失信息时执行,使得可通过对来自脊柱另一侧的对应数据镜像来获取缺失的信息。

如果图像中包含足够的信息使得可从图像中提取足够的关于背部的解剖学和/或拓扑学特性的数据以便识别动物,则镜像不是必要的。

从图像中获取的数据还可包括关于颈部和/或头部的数据。然而,此类数据可用于其他目的,例如用于确定鼻子的位置,而不是用于确定动物身份。当确定鼻子的位置时,这可对应于以下事实:动物正在进食以及动物正在从什么地方进食,此类信息可与确定饲料摄入的信息相关。因此,通过识别正在进食的动物的鼻子,这对应于识别虚拟饲喂槽的位置,在所述虚拟饲喂槽处可以确定饲料摄入。

术语“比较图像”应理解为比较从图像中提取的数据。

在动物的参考图像中,图像中所示的动物的身份是已知的。

可至少每月一次,诸如至少每三周一次,例如至少每两周或至少每周一次,获取动物,诸如已识别的动物,的背部的一个或多个参考图像。优选地,至少每周两次,诸如每周至少三次,例如每周至少四次,诸如每周至少五次获取参考图像。优选地,至少每两天获取动物的至少一个参考图像,更优选地每天至少一次,诸如每天两次,例如每天三次获取动物的至少一个参考图像。

为了确定获取动物的背部的至少一个参考图像之间的间隔,应考虑背部的自然外观和/或拓扑结构的可能的变化。获取后续参考图像之间的间隔应足够短以对于个体动物登记背部的外观和/或拓扑结构的变化,并且仍能够基于背部的图像来识别动物。对于乳用牛,获取参考图像之间的时间间隔优选地比肥育用牛更短。而且,当确定获取参考图像之间的时间间隔时,还应考虑对未识别的动物进行识别的目的。此类目的在本文其他地方描述,并且可涉及对例如生理状态、身材、健康、身体素质等的信息的请求。

可在已知动物必定每天至少一次(如果这是确定出的获取参考图像之间的间隔)经过的位置处获取动物的参考图像。如果动物是一群乳用奶牛,则这样的位置可在挤奶区的入口处或出口处。用于获取参考图像的位置还可在饮水槽处、在过道处、在饮水站或动物最有可能会每天或经常处于或经过的其他地方。

合适的时间和最长的可接受的时间(即获取单个动物的两个参考图像之间的间隔)还可以由于动物的特性来确定,这些特性可以是种族、品种、年龄、成熟度、健康等。所述间隔还可由于控制动物的目的和识别动物的目的来确定。控制动物的目的可以是用于生产牛奶、肉、幼崽(例如小猪)或精液,或者其可用于其他目的,诸如保存或呈现在例如动物园中,或用于例如赛马和表演跳跃的比赛。保留动物的每个目的均可不同地并且以不同的速度影响动物形状,所述动物形状包括背部外观或背部拓扑结构。为牛奶生产而保留的动物可具有负能量平衡并且在挤奶期间通常相当快速地变瘦,并且因此可推荐获取参考图像之间的短间隔;而为肉类生产而保留的动物尽管增加其大小但不像乳用奶牛那样快地改变背部外观或拓扑结构,并且对于为肉类生产而保留的动物来说,可能仅需要每月一次或每两周一次获取参考图像。其他因素也可能对动物背部的外观和/或拓扑结构的外观具有影响,诸如健康。

动物的参考图像和/或参考数据是动物的(背部的)图像或是数据,例如解剖结构特性,对应于动物身份已知的动物,即如果图像被存储在数据库中,则动物身份与图像相关联/相连,并且与图像相关联的数据包括动物身份的信息。

在一个实施方式中,通过以下方式获取动物的背部的至少一个参考图像:

·提供动物的识别号码,由此所述动物是已识别的动物,以及

·获取所述已识别的动物的背部的至少一个图像。

随后可将已识别的动物的识别号码与该已识别的动物的背部的至少一个图像一起存储在数据库中,所述图像由此是参考图像。还可从所述图像中提取数据以提供已识别的动物的参考数据,并且可将参考数据存储在例如数据库中。仅存储参考数据而不是实际的图像在存储空间方面更有效率。

提供动物的识别号码以及提供此动物的背部的至少一个图像可以同时进行或者以任何顺序一个在另一个之后不久进行。不久可意味着在小于60秒内,诸如小于30秒,例如小于15秒,例如小于10秒,诸如小于5秒,例如小于1秒,诸如小于0.5秒。

当获取了动物的识别号码并且获取了同一动物的背部的至少一个图像并且这些被一起存储时,这是已识别的动物的参考图像,即动物的识别及其背部的外观、解剖结构和/或拓扑结构是已知的,或者可以在获取并处理来自至少一个图像的数据时变得已知,并且这些数据可与动物id一起存储在数据库中。动物的识别号码可通过任何已知的方法获取,例如基于电子标签,诸如电子耳部标签、颈圈中的电子标签或皮肤下的微芯片。非电子标签也是可以的。

当例如通过身份确定装置获取了动物的身份时,这可触发系统提供此已识别的动物的背部的至少一个图像。已识别的动物的背部的参考图像还可在已识别的动物的识别号码被提供之后不久获取。动物的参考图像和/或id还可手动获取,其中id号码由人输入到系统中,和/或人可触发相机以获取具有id号码的动物的背部的至少一个图像,其中所述id号码已输入或待输入所述系统。

原则上,如本文所描述的获取到的任何动物图像或其提取数据都可成为参考图像,因为一旦根据本文公开的方法提供了图像中的动物的识别,则在动物的图像与图像中动物的身份之间存在关联/关系。

当新的动物进入群体时,例如当新的奶牛或牛加入畜群时,可从此动物的背部获取至少一个参考图像。所述至少一个参考图像最初可被认为是未知动物的图像,并且在系统中进行测试以确保在此图像与数据库中的参考图像之间没有获得匹配。如果在新动物的至少一个图像与数据库中的参考图像之间找到匹配,则优选地应增加用于比较图像和参考图像的特征的数量,直到基于新动物的图像不能获得匹配。之后,新动物的至少一个图像可被认为是参考图像或一组参考图像。对于每个动物,可存储多个参考图像。当将未识别的动物的至少一个图像与参考图像进行比较时,可以决定仅与针对每个已识别的动物的最近获取的参考图像进行比较,此类参考图像可以例如是针对每个动物获取的最近的2、3、4、5、6、7、8、9或10个参考图像,或者它可以是从动物已经过的参考图像记录的最近的例如2、3、4、5、6、7、8、9或10次所获取的参考图像中提取的数据的平均值。

在实践中,未识别的动物的至少一个图像中的每个均可与多个动物的至少一个参考图像进行比较。动物的身份可通过将此动物的背部的多个图像与例如在畜群中的动物的多个参考图像进行比较来确定,并且身份可被确定为与获取的参考图像匹配最多次。如果将未识别的动物的例如10个图像与参考图像进行比较,并且这些图像中的8个与动物a的至少一个参考图像匹配,而剩余的2个图像与动物b的至少一个参考图像匹配,则未识别的动物可被确定为动物a。

应当与多个已识别动物的至少一个参考图像进行比较的未识别动物的背部的图像的数量可以是至少5个,诸如至少10个,例如至少15个,诸如至少20个,例如至少25个,诸如至少30个,例如至少35个,诸如至少40个,例如至少45个,诸如至少50个,例如至少75个,诸如至少100个。优选地,应当与多个已识别动物的至少一个参考图像进行比较的未识别动物的背部的图像的数量为约5个,诸如约10个,例如约15个,诸如约20个,更优选为约10个,例如约15个。

图像和参考图像可以是动物背部的形貌图像,使得两者均是3d图像。3d图像可转化成3d图像的层,由此图像和参考图像可以分别是3d图像的多个层,每个层包括对应于动物的大小(长度和宽度)的多个像素,并且层数对应于动物的高度。当确定未识别的动物的身份时,将至少一个获取的图像与至少一个参考图像进行比较,这是通过将从至少一个图像中获取的关于至少一个特征的数据与从至少一个参考图像中获取的关于至少一个对应特征的数据进行比较来实现的。

用于将至少一个图像与至少一个参考图像进行比较的至少一个特征可以是所述3d图像的多个层的面积的值。所述至少一个特征还可以是选自下面的组的值:动物的形貌轮廓、动物的高度、动物的宽度、沿着动物的脊骨的等值线或高度轮廓、背部的长度、动物的不同高度的等值线图、腔体的大小、腔体的深度、动物上的两个预选定点或特征之间的距离、在动物的预定点或特征之间确定的线之间的角度、在不同的预选定点处的竖直高度轮廓。使用从图像这提取的数据的实例在实例2中描述,这些数据类型中的一种或多种可与本文提到的任何其他数据类型以及更多类型的数据一起使用,所述更多类型的数据是与从图像中直接提取出的或由从图像中提取出的数据计算得到的,并且数据的类型和数量可由于畜群中动物的数量以及由于动物物种和/或种族来确定。

动物的高度可以是沿着脊骨的等值线的平均高度;或者其可以是在腿部处的高度,例如在腿部处的平均高度;或者其可以是在尾根部处的高度。背部的长度可被确定为在动物总高度的90%的高度上的长度,例如对于具有165cm的最大高度的动物,背部的长度在148.5cm的高度处被确定的。动物的宽度可被确定为两个预选定点之间的宽度。沿着脊骨的等值线长度可被确定为从颈部到尾根部的距离。竖直高度轮廓可沿着脊骨的长度来确定。当确定动物的针对不同高度的等值线图时,确定动物的背部在一定高度处的面积,例如在166-170cm高度的%、在161-165cm高度的%、在156-160cm高度的%、在151-155cm高度的%、在146-150cm高度的%等,以获取动物的一组面积。所述高度可由于要被识别成已识别动物的动物的实际高度而被修改。等值线图的实例在实例2中给出。当比较来自图像的数据以确定动物的身份时,这可通过将动物背部的“掩模”与参考图像中的动物背部的对应“掩模”进行比较来执行。“掩模”可包括动物的背部,并且可选地还可包括动物的颈部和头部。动物背部的“掩模”是描述动物背部的拓扑结构的数据,并且可如图5所示的那样被可视化。

预选定点可选自下面的组:右髋部(hip)、左髋部、右肩部、左肩部、尾根部、颈部、(1)左前肋、(2)左短肋起点、(3)左钩起点、(4)左钩前中点、(5)左钩、(6)左钩后中点、(7)左钩终点、(8)左髋关节(thurl)、(9)左轴(pin)、(10)左尾根部最低点、(11)左尾根部连接点、(12)尾部、(13)右尾根部连接点、(14)右尾根部最低点、(15)右轴、(16)右髋关节、(17)右钩终点、(18)右钩后中点、(19)右钩、(20)右钩前中点、(21)右钩起点、(22)右短肋起点、以及(23)右前肋。所标识的数字对应于图2中的数字。这些点的位置和/或它们的高度,例如在地板水平面上方的高度,本身可以是用于比较图像的数据,然而更优选地,这些点被用于计算彼此的距离,用于计算不同点之间的不同线之间的角度,用于确定纵向和/或竖直的高度轮廓的位置等。

在将至少一个图像与至少一个参考图像进行比较时使用的特征可以是可测量和/或可检测的任何特征。优选地,所述特征是动物的自然特性,诸如动物表型的一部分,尽管伤口和/或疤痕也可用作特征。所述特征优选地不是由人施加到动物的标记,诸如烙印,例如id烙印。表型特征包括上面提到的特征,并且还可以是肤色、颜色图案、腔体的位置、腔体的深度和/或腔体的面积。

当比较从至少一个图像获取的至少一个特征或数据时,这可作为将未识别的动物的单个特征与已识别的动物的对应特征顺序地进行比较的顺序识别过程来执行。

顺序识别过程可以是:通过将第一特征(例如从未识别的动物的图像中获取的动物高度)与已识别的动物的图像(即来自参考图像)的对应第一特征进行比较,由此包围满足所述特征的已识别的动物(=封闭的第一群体),并且之后继续比较第二特征(例如未识别的动物的背部的长度),将所述第二特征与该封闭的群体中的已识别的动物的第二特征进行比较,将此群体进一步包围到封闭的第二群体中。此过程在其他特征上继续,直到获得了未识别的动物与单个已识别的动物的匹配。未识别的动物与单个已识别的动物的最终匹配表明该未识别的动物对应于该已识别的动物,并且由此该未识别的动物被识别。

图像与参考图像的比较还可通过将从至少一个图像中获取的特征向量与从至少一个参考图像中获取的对应特征向量进行比较来执行。特征向量可基于本文所描述特征中的至少两个。

当比较从至少一个图像中获取的至少一个特征或数据时,这还可通过计算每个图片的值来执行,其中此值是从多个数据中确定的。所述值可以是例如在实例2中描述的向量之间的点积。

动物的背部的至少一个图像和参考图像可在动物上方的0到50度之间的角度内获取,其中0是在动物的背部的中央部分正上方(诸如动物脊骨的正上方)的方向上。优选地,所述角度在0°与40°之间,更优选地在0°与30°之间。

当在不同于0的角度内获取至少一个图像和/或至少一个参考图像时,所述系统可自动关联所述图像内的变形,和/或至少一个图像的比较可利用从基本相同的角度上获取的至少一个参考图像来执行,所述角度是根据穿过动物绘制的任何线测量得到的。基本相同的角度可以是±5°,诸如±4°,例如±3°的偏差。优选的是±2°,更优选的是±1°的偏差。

优选地获取所述未识别的动物的背部的至少一个参考图像,其中在由提供动物的背部的至少一个参考图像的参考成像单元所覆盖的区域中仅存在一个动物。

触发机构可被定位于接近参考成像单元。触发机构可被定位成使得当动物激活触发机构时,所述机构被致动并且向参考成像单元发送信号以收集动物背部的至少一个图像。例如,检测器可安装在门上,当奶牛接触门时所述检测器被触发。

可获取所述未识别的动物的背部的至少一个图像,其中在由用于获取至少一个未识别的动物的背部的图像的成像单元所覆盖的区域中存在一个或多个动物。所述系统优选地能够在一个图像中将不同的动物相互区分,即当图像覆盖多于一个动物时,优选地这些动物中的每个能够被识别。

如本文所描述的方法可用于识别任何种类的动物。优选地所述动物选自下面的组:牛、奶牛、乳用奶牛、公牛、小牛、猪、母猪、未阉割的公猪、阉割的公猪、小猪、马、绵羊、山羊、鹿。所述动物还可以是生活在动物园、公园或大自然中的一个或多个动物。此类动物可以是大象、猴子、长颈鹿、河马、犀牛、狼、狐狸、熊、老虎、狮子、猎豹、熊猫、豹(leopards)、貘、美洲驼、骆驼、驯鹿、狓、羚羊、牛羚。

识别动物的方法可用于检查识别的动物是否仍在群体中,或者其可能已死亡。所述方法还可如本文所描述的用于进一步分析,以估计动物的健康或康健,或者与其他方法结合以估计动物的饲料摄入,诸如如wo2014/166498中描述的用于确定至少一个动物的饲料消耗量的系统。

登记的健康状况可用于评估不同的情况,诸如:

·动物的生理状态,包括在从动物上方(即从动物的背部、颈部和头部)获取的图像中可检测到的身体得分元素,

·动物的整体健康状态,

·繁殖的状态,即诸如奶牛的动物是否准备好授精/受精;这可从进食行为进行预测,诸如减少的饲料消耗(结合良好的健康状态以确保动物没有生病,

·行为,诸如进食行为,例如动物在饲喂槽处的时间有多长(在散养圈舍系统中,饲喂槽可以是虚拟饲喂槽,因为动物可选择不同的地方进食)、动物实际上进食了多久、动物多久进食一次、动物在进食的时候进食了多少以及动物每天进食了多少,

·疾病的指示,诸如饲料消耗和/或进食行为的减少和/或变化。

本发明的另一个方面涉及一种用于从动物的背部的外观和/或拓扑结构来确定个体动物身份的系统,所述系统包括:

·参考成像单元,用于提供至少一个已识别的动物的参考图像,其中参考成像单元包括:

ο至少一个身份确定装置,用于确定已识别的动物的身份,

ο至少一个相机,用于获取已识别的动物的背部的至少一个图像,

ο至少一个数据库,用于至少存储至少一个已识别的动物的身份信息和该已识别的动物的背部的至少一个图像,以及

ο数据传输装置,用于将来自所述身份确定装置和所述相机的数据传输到所述数据库,

·成像单元,用于获取至少一个未识别的动物的背部的至少一个图像,其中所述成像单元连接到所述数据库用于将来自所述成像单元的数据传输到所述数据库,以及

·连接到所述数据库的至少一个处理装置,用于将来自未识别的动物的至少一个图像与至少一个参考图像进行比较,并且基于此比较来确定该未识别的动物是否对应于已识别的动物。

由所述系统获取的图像可以是3d图像,并且参考图像也可以是3d图像,并且因此是参考3d图像。

所述系统的成像单元可包括至少两个相机。这两个相机可定位在彼此相距任何距离处,使得可以覆盖感兴趣的区域。优选地,所述至少两个相机位于彼此相距15m内,诸如10m内,例如5m内的相互距离处,以便由每个相机同时获取至少一个未识别的动物的背部的至少一个图像,其中所述至少两个相机连接到数据库用于使来自相机的数据传输到数据库,并且其中数据库基于来自至少两个相机的图像构建所述动物的至少一个3d图像。

参考成像单元和成像单元的至少一个相机可各自是选自下面组中的一个或多个相机:范围相机、立体相机、飞行时间相机。优选地,参考成像单元和成像单元包括相同类型的相机。

参考成像单元和/或成像单元可包括至少一个范围相机,其具有深度传感器和诸如rgb相机的2d相机。参考成像单元和/或成像单元还可包括至少一个飞行时间相机。优选地,所述系统的参考成像单元和成像单元被配置用于获取形貌图像。

所述系统可被设置成使得当动物接近身份确定装置并且动物的身份已被登记时,参考成像单元的相机被激活以获取动物背部的图像。如其他地方描述的触发机构可以是所述系统的一部分。

所述系统还可包括id标签。此类id标签可连接到待识别的动物。id标签可以是视觉的和/或电子的id标签。电子id标签可以是电子耳部标签和/或诸如在颈圈中附着到动物的电子id标签。单个动物可被标记有一个或多个id标签,诸如至少一个视觉id标签和/或至少一个电子id标签。一个实例是至少一个视觉耳部id标签结合颈圈中的至少一个电子id标签。另一个实例是至少一个视觉耳部id标签结合至少一个电子耳部id。

所述系统还可包括身份确定装置,诸如适合于获取视觉id标签的图像的相机。身份确定装置还可包括id读取器,其能够基于位于动物体内或身上的电子身份标记而登记动物身份。

所述系统包括可存储单个动物的多个参考图像的数据库。数据库可存储来自每天的单个动物的多个参考图像。此类参考图像可在一天、两天、三天、四天、五天、六天、一周或更长的间隔期间内以不同的时间间隔获取。可以确定获取动物的参考图像之间的时间,使得每当动物处于身份确定装置的区域中时,所述系统确定动物的身份并且获取该动物的背部的至少一个参考图像。所述系统可存储动物的参考图像和/或其他图像,例如持续动物的整个寿命或持续动物被保留在此场所处的时间,例如在获取图像的农场处。图像还可被存储更长的时间,并且可被用作统计数据用于不同的目的,诸如评估饲料类型、饲养方法和繁殖,例如特定杂交的值或特定雄性动物的值。

如本文所述的系统还可用于诸如关于健康状态和疾病风险来监测个体动物。这种监测可基于观察到的身体的任何变化,例如日复一日观察到的,或者通过比较从许多天(诸如两天、三天或更多天)获取的数据而观察到的。所述系统可自动监测群体中的每个动物,并且基于登记信息中的变化的特定阈值可被包括在所述系统中,使得当动物的身体在指定的时间段内变化太多时由所述系统创建警报或信息记录。

优选地,数据库至少将单个动物的参考图像存储至少一个月,诸如至少两个月,诸如至少半年,例如至少一年。优选地,数据库存储单个动物的至少参考图像直到此动物不再处于动物群体内或不再存在,例如由于被出售或死亡。

所述系统包括处理装置,其可从至少一个图像和至少一个参考图像中选择特征,然后比较这些特征。特征的类型的实例在本文其他地方描述。所述系统的处理装置可通过任何已知的比较方法将来自至少一个图像的特征与来自至少一个参考图像的特征进行比较。

为了比较特征,处理装置可使用对动物的针对从地面或地板开始计算的预选定距离的预定义特征向量进行比较的方法。当将来自至少一个图像的至少一个特征与来自至少一个参考图像的至少一个对应特征进行比较时,处理装置可确定并且比较3d图像的层的面积。此类面积可以是特征向量的一部分,或可构成用于例如对至少一个图像与至少一个参考图像进行顺序比较的特征。

当从图像,即从未识别的动物的至少一个图像中确立特征,并且这些至少一个图像实际上是两个或更多个图像时,这些图像可在短时间段内获取,诸如在小于20秒内,例如在小于10秒内,诸如在小于5秒内,例如在小于3秒内,诸如在小于2秒内。对于这样的一系列图像,特征可基于单个图像来确立,或者可以是基于所述系列的两个或更多个图像的平均值。

当从参考图像,即从已识别的动物的至少一个参考图像中确立特征时,这些特征可从来自一系列已识别的动物的一个或多个图像,并且以针对未识别的动物的图像而描述过的方式来确立。

动物的层的面积可针对具有预选定的平面距离的层而确定。这种预选定的平面距离相对于预定义的固定点可以是约8cm,诸如约7cm、例如约5cm、诸如约4cm、例如约3cm。优选地,预选定的平面距离为约5cm。由此,处理装置可在相互距离是例如5cm的预选定平面距离的水平平面处计算动物的面积,诸如背部的面积。层的此类面积可构成用于将至少一个图像与至少一个参考图像进行比较的特征。

层的面积还可用于确定动物在预选定水平面上方的百分比。在预选定的平面距离上确定的并且被计算作为相对于预选定水平面的百分比的动物背部的不同面积可构成用于将至少一个图像与至少一个参考图像进行比较的特征。一个实例:预选定的水平面可以是地面水平面上方135cm,并且在这个水平面上计算动物背部的水平平面的面积。预选定的平面距离可以是5cm,并且可确定在这些水平面上,即地面水平面上方140cm、145cm、150cm、155cm等处上的面积。这些面积可被转换为关于预选定的水平面,在此实例中即135cm上的面积的百分比,并且这些百分比可构成用于将至少一个图像与至少一个参考图像进行比较的特征。

确定将至少一个图像与至少一个参考图像进行比较时要使用的特征可基于如上所述的平面面积,并且可针对从地面或地板开始计算的预选定距离来执行。此类预选定距离可由于应被识别的动物物种的高度、动物种族和/或动物类型来选择。对于具有例如180cm最大高度的动物来说,预选定距离可以是140-180cm,并且可与例如5cm的预选定平面距离相结合,从而使得动物或动物背部的面积针对在地面水平面上方140cm、145cm、150cm、155cm、160cm、165cm、170cm、175cm和180cm的距离被确定。此类面积可作为精确的数字和/或作为在地面水平面上方例如140cm的预选定水平面上的面积的百分比而被使用,并且由此可作为用于将至少一个图像与至少一个参考图像进行比较的特征而被使用。

代替确定在不同平面处的面积,所述平面可被假设是地面水平面,以便确定动物背部在此地面水平面上方的体积,即在动物的不同高度上方的动物的体积。因此地面水平面上方例如120cm、125cm、130cm等处的每个平面可具有其自己的地面水平面,并且对于这些地面水平面中的每个,在此地面水平面上方的体积可被确定。这些体积中的一个或多个可被用作为将至少一个图像与至少一个参考图像进行比较的特征。用于确定动物背部在平面上方的体积的平面可由于待识别的动物种类、种族、类型等的最大或平均高度和/或大小而被选择。

参考图像可在奶牛相对于3d相机被很好地定位的位置处被获取,牛群中的每头奶牛每天在所述3d相机下经过一次或多次。在这个位置,每头奶牛的rfid标签被读取,使得奶牛id可以与3d图像配对。随着时间推移,建立起拥有所有奶牛图像的大型的库。这个图像库可用于从在农场其他位置获取的奶牛背部的图像中识别奶牛。所述库还可用于跟踪每头奶牛的随时间推移的健康状态。

当通过将来自至少一个图像的至少一个特征与来自至少一个参考图像的至少一个对应特征进行比较来确定动物的身份时,确定动物身份的过程可按顺序执行,例如第一次比较从图像和参考图像中获取的粗略的或总体的特征并且由此挑选出不符合总体特征的参考图像。第二次比较可基于从图像和参考图像中获取的其他不太总体和/或更加具体的特征来执行。可进行将从至少一个图像中获取的至少一个特征与从至少一个参考图像中获取的至少一个对应特征进行比较的第三次比较、第四次比较等,直到在至少一个图像与至少一个参考图像之间获得了匹配,其中至少一个参考图像是单个动物的图像。

基于如本文描述的发明,执行动物的顺序确定的实例可包括将在至少一个图像中确定的特征与在至少一个参考图像中确定的对应特征进行比较:

第一次比较:动物的高度(q),

第二次比较:皮肤的颜色图案(u),

第三次比较:背部的长度(v),

第四次比较:沿着脊骨的等值线(w),

第五次比较:两个预选定点之间的距离,例如后髋部之间的距离(x),

第六次比较:腔体的位置和/或大小和/或深度(y),

第七次比较:针对动物的不同平面的等值线图或平面面积(z),

第八次比较:动物的在选定平面上方的体积。

顺序确定动物身份所描述的实例可包括任何合适的特征,并且可以任何合适的顺序执行,直到从未识别的动物的至少一个图像中获取的所有测试特征对应于从已识别的动物的至少一个参考图像中获取的所有对应特征,并且其中如果已识别的动物的至少一个参考图像是多于一个的参考图像,则所有参考图像均来自同一个体。确定动物的身份还可通过比较特征向量来执行。在上面的指示了顺序确定中的7次比较的实例中,特征用字母标识出,这些字母中的每个可对应于各自包括不同可能性的特征组,例如动物的高度q1不同于q2。因此特征向量可包括来自每个特征组的至少一个特征,并且可以比较此类特征向量以确定动物的身份。

作为比较特征向量的一个实例,其中未识别的动物可具有[q,u,v,w,x,y,z]的特征向量,且假设在每个特征组中仅存在两种可能性,特征向量的比较可如下面所指示地那样执行,其中仅在特征向量中示出了有限数量的可能的特征组合:

获取到的未识别动物的特征向量:[q1,u2,v1,w2,x1,y2,z1]

获取到的1号已识别动物的特征向量:[q1,u1,v1,w2,x1,y2,z1]

获取到的2号已识别动物的特征向量:[q1,u1,v2,w1,x2,y1,z2]

获取到的3号已识别动物的特征向量:[q1,u1,v1,w2,x1,y2,z2]

获取到的4号已识别动物的特征向量:[q1,u2,v2,w1,x2,y1,z2]

获取到的5号已识别动物的特征向量:[q1,u2,v1,w2,x1,y2,z1]

获取到的6号已识别动物的特征向量:[q2,u1,v2,w1,x2,y1,z1]

获取到的7号已识别动物的特征向量:[q2,u1,v1,w2,x1,y2,z1]

获取到的8号已识别动物的特征向量:[q2,u1,v2,w1,x2,y1,z2]

获取到的9号已识别动物的特征向量:[q2,u2,v1,w2,x1,y2,z1]

获取到的10号已识别动物的特征向量:[q2,u2,v2,w1,x2,y1,z2]

通过比较特征向量,与未识别动物的特征向量之间的唯一匹配对应于5号动物的特征向量,于是可得出结论:未识别的动物是5号动物。执行与特征向量中提到的特征的顺序比较,基于特征q的第一次比较将与1、2、3、4和5号动物匹配,这被用于下一次比较。基于特征u的第二次比较将与4和5号动物匹配,并且其中基于特征v的第三次比较将仅与5号动物匹配。当未识别的动物如本文所描述的被识别出时,本发明的系统本身可用于获取已识别动物的不同种类的信息,所述系统还可被扩展以提供进一步信息,所述进一步信息可与根据如本文所描述的方法而识别出的已识别动物的身份一起被存储。

所述比较还可通过使用实现为深度学习系统的神经网络来执行。神经网络和深度学习过程两者均是图像处理领域的专家已知的。例如:可使用也是本领域已知的模板匹配技术找到图像中的奶牛及其取向。一旦未知的奶牛在图像中出现,可以计算诸如身高、颜色图案、背部长度、脊骨的高度轮廓、预选定点之间的距离、腔体、各种高度处的面积以及这些面积上方的体积的特征。然后可以应用已在来自牛群中每头奶牛的大量参考图像上进行过训练的有监督或无监督的神经网络。然后训练过的神经网络可通过将未知的奶牛与所有奶牛的库图像比较而识别该未知的奶牛。

所述系统可包括用于确定所述动物中的至少一个的饲料消耗的装置。此类装置可包括:

·饲喂区域成像单元,用于提供饲喂区域的图像,以及

·处理装置,配置用于通过确定在每个已识别的动物前面的饲喂区域的后续图像中的饲料的减少来评估由每个已识别的动物消耗的饲料量。

基于比较饲喂区域的后续图像中的饲料量来确定该饲喂区域中的饲料摄入或饲料减少的方法在wo2014/166498(“用于确定至少一个动物的饲料消耗量的系统(systemfordeterminingfeedconsumptionofatleastoneanimal)”,vikinggeneticsfmba)中描述。

饲喂区域成像单元可以是用于获取至少一个未识别的动物的背部的至少一个图像的成像单元,使得所述成像单元获取至少一个未识别的动物的背部的图像以及饲喂区域的图像,并且其中至少一个未识别的动物能够从所述饲喂区域进食饲料。优选地,所述至少一个图像覆盖至少一个未识别的动物的背部连同此未识别的动物前面的饲喂区域。

所述系统可从同一饲喂区域的至少两个图像中确定饲料消耗,并且其中饲料减少被计算为从所述至少两个图像中确立的饲喂区域内饲料体积的差异。

所述系统的成像单元可被配置用于地对饲喂区域的至少一部分进行连续成像。还可以具有被配置用于在预定义的和/或选定的时间点对包括饲喂区域的区域进行成像的成像单元。所述系统的至少一个相机是绕至少一个轴线可枢转的,使得可以在不同的方向上调节所述至少一个相机,以获取至少一个动物的至少一个图像、或至少一个动物和在所述至少一个动物前面的饲喂区域的至少一个图像。

所述系统还可包括至少一个相机轨道和/或相机线,用于相对于至少一个动物和/或在所述至少一个动物前面的饲喂区域定位所述至少一个相机。轨道和/或线可悬挂或延伸到待识别的动物停留的区域上方,并且所述区域可以是室内区域和/或室外区域。

所述系统还可包括至少一个无人机,所述无人机被连接到至少一个相机,并且所述无人机能够在至少一个动物上方飞行,以使所述至少一个相机获取所述至少一个动物的至少一个图片。无人机上的所述至少一个相机可以是固定的或可枢转的。可枢转的相机可以由于来自相机定位装置的输入而转动,所述相机定位装置获取关于动物位置的信息。动物位置的信息可基于来自动物身上的至少一个电子id标签的信号,和/或可基于从能够检测活体动物的红外相机获取的信号。

无人机可在遮蔽动物的畜棚或牛棚里面使用,和/或可在外面在待识别的动物可位于的区域处使用,诸如在田野中和/或在围场中。无人机可用于获取未识别的动物的图像,并且在其他时间,其可用于通过另外从至少一个电子id标签获取来自动物的信息来获取动物的参考图像。当与本文描述的本发明一起在外面使用时,无人机可用于不同的目的,诸如识别例如在草地系统中的乳用奶牛,用于确定动物的健康状态等。

附图详述

图1示出了在安装有本发明系统的牛舍(1)中正在进食的奶牛。安装在奶牛(3)上方的相机(4)获取奶牛的背部的图像并且将这些图像转发到数据库和处理单元(6)。奶牛由诸如耳部标签(5)的id标签来标记,然而,如果奶牛在牛棚中自由行走,则可能无法由id标签来识别奶牛。所述系统可被配置为获取奶牛的背部的图像以及奶牛前面的饲料(2)的图像。从获取到的图像中可以识别每头奶牛,并且估计这些奶牛中的每头奶牛的饲料摄入量。

图2示出了在奶牛背部处的不同预选定点的实例。此类预选定点可用于从图像中提取进一步信息,诸如不同点之间的长度、不同点之间的线的角度等。

图3示出了关于动物背部(这里是奶牛背部)确立的数据或特征的实例。指示出的数据或特征是:

·在高于奶牛最大高度的70%的位置的奶牛背部的总面积(由点画线指示的大椭圆),

·在高于奶牛最大高度的90%的位置的奶牛背部的总面积(在大椭圆内的两个小椭圆),

·在高于奶牛最大高度的70%的高度处沿着脊柱的轮廓的长度(由在从颈部到尾根部的奶牛的纵向方向上的点线示出),

·在髋骨的最大高度处的髋骨之间的距离(由穿过在奶牛背部的后部处的小椭圆的粗竖线示出),

·在沿着奶牛身体长度的例如7个位置处的高于奶牛最大高度的70%的身体的宽度(由大椭圆内的细竖线示出),

·彩色图案,如果有的话(未示出)。

图4示出了从略高于1.6m的奶牛(图4a)和约1.7m的奶牛(图4b)的尾根部(曲线的左侧部分)到颈部(曲线的右侧部分)沿着两头奶牛的脊骨的高度轮廓。

图5示出了奶牛距离地板水平面高度超过90cm的部分的台面成像3d重建。

图6示出奶牛的背部。

图7示出了图6中的奶牛的背部,其中具有可用于分析的一些数据/特征的标识。步骤1-6在实例2中被进一步解释并且代表:

·1:脊骨的长度和沿着奶牛脊骨的高度轮廓,即纵向高度轮廓。

·2:距离地板90cm的预定高度处的奶牛的等值线。

·3:在比对应于80%分位数高度减去8cm的奶牛高度高的位置的像素的等值线平面。

·4:在比对应于80%分位数高度减去2cm的奶牛高度高的位置的像素的等值线平面。

·5:基于左髋骨和右髋骨以及尾根部的位置而形成的任意三角形,其中例如尾根部处的角度可被确定。

·6:在奶牛最宽的位置处在奶牛的横向方向上的最大宽度,并且沿着此线可以确定高度轮廓,即横向高度轮廓。

图8示出了基于从奶牛的距离地板高度超过90cm的部分中获取的重新调整比例的数据的面积确定。可以确定曲线下方(且在例如90cm线上方)的面积。

图9和图10示出了在两头奶牛的预定高度处的不同的厚度轮廓和高度轮廓。在每个图中,数据被重新调整比例到100个像素(=x轴),以及以像素测量得到的厚度(=y轴)或者以cm测量得到的地板上方的高度(=y轴)。曲线的左端对应于颈部区域,并且曲线的右端对应于尾部区域。

·图9a和图10a:在地板水平面上方90cm测量得到的奶牛的厚度轮廓。每个轴均指示像素。

·图9b和图10b:沿着图7中由步骤3指示出的线(即在对应于80%分位数高度减去8cm的奶牛高度处)测量得到的奶牛的厚度轮廓。

·图9c和图10c:沿着图7中由步骤4指示出的线(即在对应于80%分位数高度减去2cm的奶牛高度处)测量得到的奶牛的厚度轮廓。

·图9d和图10d:沿着奶牛的脊骨的纵向高度轮廓。x轴指示像素,y轴指示距离地板的cm。

图11示出了在奶牛最厚的位置(距离地板90cm上方测量得到)处的奶牛的横向高度轮廓。数据被重新调整比例到40个像素。x轴指示像素,y轴指示距离地板的cm。

图12示出基于诸如深度学习系统的神经网络对奶牛的确定。将来自待识别奶牛的多个特征输入所述系统,并且获得了输出,其中对不同匹配的可能性做了评估和分级。

实例1

所述方法是通过测试一些泽西(jersey)和荷斯坦(holstein)奶牛是否可基于其背部的图像而被确定/识别来开发的。在丹麦的一个乳用奶牛农场处,提供了奶牛背部的3d图像。用于获取图像的系统包括3d相机(来自瑞士mesaimaging的swissranger4500,其是适于具有灰尘和湿气的房间的ip67相机)。平行于所述3d相机,安装了两个basler黑白工业相机。将相机安装在地板水平面上方4.5米处。从相机到奶牛背部的上部的距离为约为2.7-3米,这取决于奶牛的高度。奶牛背部的图像是在奶牛正在去挤奶站的路上时且在奶牛一个接一个行走的位置处获取的。由此,图像被获取为在每个图像中仅有一头奶牛。从获取的3d图像中,尽管是在地板水平面上方148cm、153cm、158cm、165cm和172cm处,但仍如实例2中进一步描述的那样执行等值线图。确定在所指示的高度处的每个等值线图内的奶牛背部的面积。基于所述等值线图内的面积,16头奶牛容易地被识别,而不会混淆身份。在这个实验中,为了测试奶牛是否实际上可从图像中被识别,所述奶牛还通过涂在每头奶牛背部上的不同的可见标记来识别。这些标记仅用于验证基于其他特征的识别是否正确。

图4示出在识别动物时可使用的其他特征。该图示出了沿着脊骨的等值线。所述脊骨的位置在图7中示出。

图4a:沿着矮的奶牛的脊骨在奶牛的纵向方向上的高度轮廓。

图4b:沿着高的奶牛的脊骨在奶牛的纵向方向上的高度轮廓。

如实例2中所解释的,当识别诸如奶牛的动物时,脊骨的长度以及沿着脊骨的高度轮廓两者均可被用作特征。在实验中,以每次曝光之间约1秒的间隔获取每头奶牛的约6个图像。如上面概述对每个图像的分析以及对从每头奶牛和奶牛之间的图像中获取的数据的比较清楚地显示出,一头奶牛的图像的变化比不同奶牛之间的图像的变化少得多。

实例2

在另一项实验中用泽西品种的乳用奶牛进一步测试了所述识别方法。由包括3dtof(飞行时间)相机(来自瑞士mesaimaging的swissranger4500)的系统提供了奶牛背部的3d图像。另外还使用了两个basler黑白工业相机。将三个相机连接到计算机使得可以存储和分析图像。3d相机位于挤奶站入口处的地板上方3.2m处,并且在此处走廊具有约1m的宽度。沿着走廊的墙壁上设置有id读取器,以便在每次奶牛经过id读取器时获取来自耳部标签的信号。每次奶牛经过id读取器时,均向计算机发送触发信号。触发信号促使计算机存储来自三个相机中的每个的一个图像,其中曝光之间间隔0.5秒。id读取器还存储了从耳部标签获取的奶牛的id,并且这些id仅用于验证开发出的仅仅基于奶牛背部的图像的识别方法。两个黑白相机仅用于获取图像以查看奶牛和环境,以便检查是否有什么看起来奇怪的东西。来自黑白相机的图像不用于所述识别过程。

图5是奶牛的距离地板水平面高度超过90cm的部分的台面成像3d重建。所述奶牛的相同数据在图6中以高度的3d等值线图示出。对于获取的每个3d图像,在不同的步骤中分析所述图像以获取数据和pca得分,以便计算每头奶牛的向量。图7指示了在奶牛背部的哪里获取了数据。所述分析中的步骤如下所示,并且在图7中指示出:

a)步骤1:计算沿着脊骨在奶牛的纵向方向上的高度轮廓。计算出曲线以描述从“尾根部”到“颈点”沿着脊骨的高度轮廓,其中在此测量中的这些端点位置是由身体厚度小于奶牛最大宽度的38%处的点确定的。

b)步骤2a(在图7中指示为步骤2):确定在距离地板90cm的预定高度处的奶牛的等值线。奶牛的所述等值线被确定与步骤1中的高度轮廓(即从“颈点”到“尾根部”)长度相同。此轮廓线内的面积被确定为如在步骤2b中进一步描述的图8中“高度”图表下方且90cm上方的面积。

c)步骤2b——对来自步骤2a的数据的进一步分析:位于90cm等值线内的图像像素中的高度分布。不同的分布如图8中的图表所示,其中90cm等值线内的所有像素根据其对应的奶牛高度进行排序,并且这被示出作为对应于90cm与90cm上方的预定高度之间的奶牛高度或对应于奶牛总高度的像素的百分比的函数。在图8中,示出了由“高度”图表所指示的对于最大高度为130cm的奶牛的这种分布或面积确定,其中所述图表示出了在奶牛的特定高度下方但在距离地板90cm上方的像素的百分比。可看出,约40%的像素(在90cm上方的范围内)位于120cm以下。

d)步骤2c——对来自步骤2b的数据的进一步分析:从如在步骤2b中确定的高度分布中,将80%分位数高度确定为最大奶牛高度的80%。此图表被示出为“80%”。最大奶牛高度被确定为指示奶牛的最高位置的50个像素的值的平均值。在使用图8中数据的实例中,最大高度是130cm,并且80%分位数是104cm。确定“80%”图表下方和90cm上方的面积。

e)步骤3:确定在比对应于80%分位数高度减去8cm的奶牛高度高的位置处的像素的等值线平面的界限。确定此等值线内的面积。在使用图8中数据的实例中,在104cm-8cm=96cm的奶牛高度处确定等值线平面。所述面积被确定为在“80%-8cm”图表下方和90cm上方的面积。

f)步骤4:确定在比对应于80%分位数高度减去2cm的奶牛高度高的位置处的像素的等值线平面的界限。确定此等值线内的面积。在使用图8中数据的实例中,在104cm-2cm=102cm的奶牛高度处确定等值线平面。所述面积被确定为在“80%-2cm”图表下方和90cm上方的面积。

g)步骤5:确定图像中对应于髋骨外部位置的点,所述点被定义为图像中的在步骤3中确定的等值线平面最宽的位置。基于左髋骨和右髋骨以及步骤1中确定的尾根部的位置形成虚拟的任意三角形,并且在此三角形中确定尾根部处的角度以及左髋骨和右髋骨之间的距离。

h)步骤6:在奶牛的横向方向上以及在奶牛最宽的位置处确定最大宽度,并且计算沿着所述最大宽度的高度轮廓,即横向高度轮廓。

数据的分析

将如以上八个项目所述的获取的数据转换为使得可以进行统计分析的数据。

将在步骤2a(90cm高度)、步骤2c(80%分位数高度)和步骤4(80%分位数高度减2cm)中确定的等值线平面转化为厚度轮廓。由于奶牛的长度不同,此类厚度轮廓在奶牛之间具有不同的长度,并且因此将每头奶牛的厚度轮廓重新调整比例到100个像素的固定长度。以类似的方式,将步骤1的纵向高度轮廓重新调整比例到100个像素的固定长度。将步骤6的横向高度轮廓重新调整比例到40个像素的固定长度。重新调整比例执行为基于实际的奶牛长度或宽度以及100(或40,如果40个像素是重新调整比例的尺寸)的长度的简单比例计算,由此将长度80cm的奶牛的值zn重新调整比例到(zn/80)×100=1.25zn,或者如果zm是针对长度为115cm的奶牛的,则将zm值重新调整比例到(zm/115)×100=0.87zm。

在这个阶段,每个图像的整个数据集包括449个变量:

1、如步骤2a中所述的在90cm等值线内确定的面积(1个变量)

2、如步骤3中所述的在由80%分位数高度界定的等值线内确定的面积(1个变量)

3、如步骤4中所述的在由80%分位数高度减2cm界定的等值线内确定的面积(1个变量)

4、80%分位数高度(1个变量)

5、如步骤5中所述的从尾根部到右髋骨和左髋骨的线之间的角度(1个变量)

6、如步骤6中所述的最大宽度(1个变量)

7、如步骤2a(和步骤1)中所述的在奶牛的90cm高度处确定的等值线的长度(1个变量)

8、如步骤3中所述的由80%分位数高度界定的等值线的长度(1个变量)

9、如步骤4中所述的由80%分位数高度减2cm界定的等值线的长度(1个变量)

10、重新调整比例到100个像素(100个变量)并且在图9a和图10a中示出的在奶牛的90cm高度处的厚度轮廓。

11、如步骤3中所述并且重新调整比例到100个像素(100个变量)且在图9b和图10b中示出的在80%分位数高度处确定的奶牛高度处的厚度轮廓。

12、如步骤4中所述并且重新调整比例到100个像素(100个变量)且在图9c和图10c中示出的在80%分位数高度减2cm处确定的奶牛高度处的厚度轮廓。

13、如步骤1中所述并且重新调整比例到100个像素(100个变量)且在图9d和图10d中示出的在纵向方向上的高度轮廓。

14、如步骤6中所述并且重新调整比例到40个像素(40个变量)且在图11中示出的沿着最大宽度的高度轮廓。

为了进一步压缩数据,开发出6pca模型(pca=主成分分析),其对于每个数据集(特征集)具有多达15个主成分(pc得分),具有以下的数据组合,并且其中变量数字参照以上列表:

a)变量1至9(9个pc得分)

b)变量7+10(15个pc得分)

c)变量8+11(15个pc得分)

d)变量9+12(15个pc得分)

e)变量10+13(15个pc得分)

f)变量11+14(15个pc得分)

本领域技术人员知道如何执行主成分分析,并且这一点将不进行进一步详细描述。

将曲线的初始长度包括在pc得分的计算中,从而保留了个体奶牛长度的信息。

使用pc得分,将总共449个变量减少到85个变量。

个体奶牛的识别

将有待识别的奶牛的数字序列(即pc得分)与畜群中每头奶牛的平均特征pc进行比较。当此奶牛的平均特征pc类似于针对一头奶牛计算得到的平均特征pc比其类似于针对所述畜群中其他奶牛计算得到的平均特征pc更多时,此奶牛被识别。在实践中,所述计算是通过在畜群中每头奶牛“k”的每个平均向量xk与未识别的奶牛(即有待识别的奶牛)的向量xu之间创建点积来执行的:

其中vk是两个向量之间的角度,而是每个向量的长度。如果未识别的奶牛的向量类似于畜群中的奶牛的向量,则cos(vk)将接近+1(正1),而如果这两头奶牛非常不同,则cos(vk)将接近-1(负1)。

示出的用于分析的模型非常简单,并且几乎不太可能过拟合。随着从每头奶牛获取更多的图片,所述模型可不断进行扩展和改进。识别缺陷图像并且避免在用于奶牛识别时或在扩展针对每头奶牛的平均向量的计算时使用这些缺陷图像也很简单。

如上所述的方法是利用针对在上面列表中的项目a)下指示的特征的9个主成分、以及针对在上面列表中项目b)至f)下指示的剩余特征中的每个的任意15、14、13、12、11、10、9、8、7或6个主成分来测试的。通过使用针对项目a)的特征的9个得分和针对项目b)至f)的特征中的每个特征的7个得分来获取最佳结果。

如在实例2中描述的分析是针对每头奶牛约5个图像来执行的,表现为总共27头奶牛,总共137个图像。表示一头奶牛的图像是在一天的不同时间和在不同日期获取的。当使用针对上面列表中的项目a)的特征的9个得分和针对在项目b)至f)下指示的每个特征的7个得分时,137个图像中的116个被立即正确连到正确的奶牛。当使得针对每头奶牛获取平均5-6个图像时,即使在不同日期获取,对所有奶牛的识别均是正确的。将所述分析扩展到基于从图像中获取的更多特征和/或从奶牛的多于一个图像中获取的特征,其中图像是例如以非常短的时间跨度(例如0.1-1秒,例如0.5秒)获取的,这将确保正确的识别被执行。

其他细节

1、一种用于从动物的背部的自然外观和/或拓扑结构来确定个体动物的身份的方法,所述方法包括:

·获取未识别的动物的背部的至少一个图像,

·从获取的所述至少一个图像中提取数据,提取的所述数据与动物的背部的自然外观和/或拓扑结构相关,

·将从未识别的动物的至少一个图像中提取的所述提取的数据与从已识别的动物的背部的至少一个参考图像中提取的参考数据进行比较,其中已识别的动物的身份的信息被关联到所述至少一个参考图像,以及

·基于所述比较来确定所述未识别的动物是否对应于所述已识别的动物。

2、根据项目1所述的方法,其中至少一个月一次获取已识别的动物的背部的至少一个参考图像,优选地至少每两天获取参考图像,更优选地至少每天一次获取参考图像,和/或所述动物选自下面的组:牛、奶牛、乳用奶牛、公牛、小牛、猪、母猪、未阉割的公猪、阉割的公猪、小猪、马、绵羊、山羊、鹿。

3、根据项目1至2中任一项所述的方法,其中已识别的动物的背部的所述至少一个参考图像通过以下方式获取:

·提供动物的识别号码,由此所述动物是已识别的动物,

·提供所述已识别的动物的背部的至少一个图像,以及

·将已识别的动物的所述识别号码与所述已识别的动物的背部的所述至少一个图像一起存储在数据库中,所述图像由此是参考图像。

4、根据项目1至3中任一项所述的方法,其中所述图像和所述参考图像是动物的背部的形貌图像,诸如3d图像,例如3d图像的多个层。

5、根据项目1至4中任一项所述的方法,其中从所述图像中提取的提取数据与从所述参考图像中提取的提取数据的所述比较是通过将从所述图像中获取的至少一个特征和/或至少一个特征向量与从所述参考图像中获取的对应的特征和/或特征向量进行比较来执行的,此类特征和/或特征向量可包括或基于所述3d图像的多个层的面积的值和/或选自动物的形貌轮廓的组中的值,诸如动物的高度、动物的宽度、沿着动物骨骼的等值线、背部的长度、针对动物的不同高度的等值线图、在动物的不同高度上方的动物的体积、腔体的大小、腔体的深度、动物身上的两个预选定点之间的距离,其中所述预选定点可选自下面的组:右髋部、左髋部、右肩部、左肩部、尾根部、颈部、左前肋(1)、左短肋起点(2)、左钩起点(3)、左钩前中点(4)、左钩(5)、左钩后中点(6)、左钩终点(7)、左髋关节(8)、左轴(9)、左尾根部最低点(10)、左尾根部连接点(11)、尾部(12)、右尾根部连接点(13)、右尾根部最低点(14)、右轴(15)、右髋关节(16)、右钩终点(17)、右钩后中点(18)、右钩(19)、右钩前中点(20)、右钩起点(21)、右短肋起点(22)和(23)。

6、一种用于从动物的背部的自然外观和/或拓扑结构来确定个体动物的身份的系统,所述系统包括:

·至少一个相机,用于获取未识别的动物的背部的至少一个图像,

·至少一个数据库或对至少一个数据库的准入,所述数据库用于存储与已识别的动物的背部的至少一个参考图像相关的数据,并且用于存储与未识别的动物的背部的至少一个图像相关的数据,

·数据传输装置,其用于将来自所述至少一个相机的数据传输到所述数据库,

·连接到所述数据库的至少一个处理装置,所述处理装置被配置用于将来自未识别的动物的所述至少一个图像中的提取数据与来自至少一个参考图像的提取数据进行比较,其中所述提取数据与动物的背部的自然外观和/或拓扑结构有关的,并且基于这种比较确定所述未识别的动物是否对应于所述已识别的动物。

7、一种用于从动物的背部的自然外观和/或拓扑结构来确定个体动物的身份的系统,所述系统包括:

·参考成像单元,用于提供至少一个已识别的动物的参考图像,所述参考成像单元包括:

i、至少一个身份确定装置,用于确定所述已识别的动物的身份,

ii、至少一个相机,用于获取所述已识别的动物的背部的至少一个图像,

iii、至少一个数据库或对至少一个数据库的准入,所述数据库用于存储至少一个已识别的动物的至少身份信息和所述已识别的动物的背部的至少一个图像,

iv、数据传输装置,用于将来自所述身份确定装置和所述相机的数据传输到所述数据库,

·成像单元,配置用于获取至少一个未识别的动物的背部的至少一个图像,其中所述成像单元连接到所述数据库用于将来自所述成像单元的数据传输到所述数据库,

·连接到所述数据库的至少一个处理装置,所述处理装置被配置用于将来自未识别的动物的所述至少一个图像的提取数据与来自至少一个参考图像的提取数据进行比较,其中所述提取数据与动物的背部的自然外观和/或拓扑结构有关,并且基于这种比较确定所述未识别的动物是否对应于所述已识别的动物。

8、根据项目7所述的系统,其中所述图像是3d图像,并且所述参考图像是参考3d图像;和/或所述参考成像单元和所述成像单元的所述至少一个相机各自是选自下面的组的一个或多个相机:范围相机、立体相机、飞行时间相机,诸如是包括深度传感器和2d相机的范围相机,所述2d相机诸如是rgb相机。

9、根据项目7至8中任一项所述的系统,其中当动物接近所述身份确定装置并且所述动物的身份已被登记时,所述参考成像单元的所述相机被激活以获取所述动物的背部的图像。

10、根据项目7至9中任一项所述的系统,其中所述数据库存储单个动物的多个参考图像,诸如来自每天的单个动物的多个参考图像。

11、根据项目7至10中任一项所述的系统,其中所述处理装置针对从与地面或地板的距离计算得到的预选定距离确定动物的特征向量,和/或所述特征向量是3d图像的层的面积,和/或所述预选定距离在70cm与180cm之间。

12、根据项目7至11中任一项所述的系统,还包括用于确定所述动物中的至少一个的饲料消耗的装置,诸如

·饲喂区域成像单元,用于提供饲喂区域的图像,

·处理装置,配置用于通过确定在每个已识别的动物前面的饲喂区域的后续图像中的饲料的减少来评估由每个已识别的动物消耗的饲料量。

13、根据项目12所述的系统,其中所述饲喂区域成像单元是用于获取至少一个未识别的动物的背部的至少一个图像的所述成像单元,使得所述成像单元获取至少一个未识别的动物的背部的图像以及饲喂区域的图像。

14、根据项目12至13中任一项所述的系统,其中饲料消耗是从同一饲喂区域的至少两个图像来确定的,并且饲料减少被计算为所述至少两个图像之间的饲料体积的差异。

15、根据项目12至14中任一项所述的系统,其中所述成像单元被配置用于连续地对饲喂区域的至少一部分进行连续成像。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1