牲畜体尺检测方法与装置与流程

本公开涉及人工智能技术领域，具体而言，涉及一种牲畜体尺检测方法与装置。

背景技术：

随着智能养殖技术的发展，体尺检测成为生产过程中是不可或缺的一项。在实际生产应用中，可以通过牲畜体尺检测技术对活体牲畜外形如体长、体宽、体高、腿长等进行无接触测量，并通过检测数据对牲畜产肉量、蛋白质含量、瘦肉等成分进行预估，监控牲畜生长状况，以适应性调整生产方案。

在相关技术中，主要通过对牲畜图像提取牲畜轮廓信息、配合相对参数筛选体尺测点来获取牲畜的体尺数据。但是，这种基于图像中牲畜轮廓分析的体尺检测方法建立在摄像头角度理想、光照条件相同的假设条件上，摄像头角度变换、光照条件改变、牲畜的姿势变化均会造成测量值误差增大，在牲畜颜色和背景色相近时，也无法稳定区分背景和前景。此外，这种方法往往基于多种传统算法的串联方式部署，识别过程较为复杂，容错率很低，精度不高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于针对养殖场视觉估重，实现一种基于改进mtcnn网络的猪体尺检测算法，有效提升视觉体尺检测的准确度，克服相关技术中无法适应光照条件改变、在前景背景颜色接近时无法准确区分等问题。

根据本公开的第一方面，提供一种牲畜体尺检测方法，包括：

获取牲畜的俯视图像；

将所述俯视图像输入至训练完成的体尺检测模型，所述体尺检测模型包括串联连接的多个神经网络，所述多个神经网络的输入图片尺寸相同；

输出所述牲畜的体尺数据。

在本公开的一种示例性实施例中，还包括：

根据所述体尺数据输出所述牲畜的体重。

在本公开的一种示例性实施例中，所述体尺数据包括所述牲畜的肩宽、臀宽、体长。

在本公开的一种示例性实施例中，所述串联连接的多个神经网络包括串联连接的第一网络、第二网络和第三网络，所述第一网络、所述第二网络、所述第三网络的回归关键点数量均为6。

在本公开的一种示例性实施例中，所述第一网络、所述第二网络、所述第三网络的输入图片尺寸均为160*160，所述第一网络和所述第二网络的卷积核大小包括5*5，池化参数包括4*4，池化步长包括4；所述第三网络的卷积核大小和池化参数均为3*3，池化步长为2。

在本公开的一种示例性实施例中，所述牲畜为位于所述俯视图像中心的一或多头牲畜，所述体尺数据包括每头所述牲畜的体尺数据。

在本公开的一种示例性实施例中，所述牲畜包括猪、牛、羊。

根据本公开的第二方面，提供一种牲畜体尺检测装置，包括：

摄像头，用于获取牲畜的俯视图像；

处理器，耦接于所述摄像头，设置为获取所述俯视图像；将所述俯视图像输入至训练完成的体尺检测模型，所述体尺检测模型包括串联连接的多个神经网络，所述多个神经网络的输入图片尺寸相同；输出所述牲畜的体尺数据。

根据本公开的第三方面，提供一种牲畜体尺检测装置，包括：存储器；以及耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的牲畜体尺检测方法。

本公开实施例提供的体尺检测方法通过使用串联且输入尺寸相同的多层神经网络构建体尺检测模型对牲畜的俯视图像进行识别，可以在各种光照、各种牲畜姿态下准确检测牲畜体尺，并能在牲畜颜色和背景色相近时提高区分前景和背景的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开示例性实施例中牲畜体尺检测方法的示意图。

图2是本公开示例性实施例中体尺检测模型的结构示意图。

图3a～图3c分别是本公开示例性实施例中第一网络～第三网络的结构示意图。

图4a是本公开实施例中检测框的示意图。

图4b是本公开实施例中体尺检测模型的关键点示意图。

图5是本公开一个示例性实施例中一种牲畜体尺检测装置的方框图。

图6是本公开一个示例性实施例中一种电子设备的方框图。

图7是本公开一个示例性实施例中一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图对本公开示例实施方式进行详细说明。

图1示意性示出本公开示例性实施例中牲畜体尺检测方法的流程图。参考图1，牲畜体尺检测方法100可以包括：

步骤s1，获取牲畜的俯视图像；

步骤s2，将所述俯视图像输入至训练完成的体尺检测模型，所述体尺检测模型包括串联连接的多个神经网络，所述多个神经网络的输入图片尺寸相同；

步骤s3，输出所述牲畜的体尺数据。

在本公开实施例中，牲畜例如可以为猪、牛、羊，体尺数据例如为牲畜的肩宽、臀宽、体长。可以理解的是，本公开提供的牲畜体尺检测方法100可以用于各类牲畜或动物的体尺检测，检测的体尺数据也可以包括更多种类，本领域技术人员可以根据实际需求自行设置。

图2是体尺检测模型的结构示意图。

参考图2，在本公开实施例中，体尺检测模型11基于mtcnn网络实现，可以包括串联连接的第一网络p-net、第二网络r-net和第三网络o-net。p-net用于对输入的俯视图像12进行分析以得到候选框，r-net用于删除无牲畜候选框，o-net用于输出牲畜框和关键点位置，最后输出牲畜的体尺数据13。

第一网络p-net～第三网络o-net均输出三组特征值：分类数据、框回归数据、关键点回归数据，第二网络r-net、第三网络o-net又分别将第一网络p-net、第二网络r-net输出的特征值作为输入数据，并根据输入数据以及预设的输入图像尺寸调整输入图像。

图3a～图3c分别是第一网络～第三网络的结构示意图。

参考图3a～图3c，本公开提供的牲畜体尺检测方法面对的目标尺寸差别不大，因此，在本公开实施例中，将第一网络～第三网络的输入图片尺寸均设置为相同，以降低计算量、增加计算速度、提高搜索效率与准确率。

此外，与传统mtcnn网络主要应用于人脸识别领域不同，对于牲畜体尺检测，如果应用传统mtcnn网络的小输入图片尺寸会有较多虚警框出现，浪费计算能力，因此以检测猪体尺寸为例，可以设置第一网络～第三网络的输入图片尺寸均设置为160*160，以保证能够迅速定位猪的位置。

参考图3a，对于mtcnn网络来说，其输入的数据源是图片金字塔。图片金字塔的形成过程包括：按不同的规模把图片分成不同的大小，并将这些图片裁剪后像金字塔一样堆起来，此时一张图片就相当于变成了多张。俯视图像被处理为图像金字塔后，金字塔中的每张图片被按照三个特征通道(r、g、b)处理为160*160*3的输入矩阵，输入第一网络p-net。

根据mtcnn网络设置，经过五组运算，p-net输出俯视图像的三组特征值：猪分类、框回归、关键点回归。为了针对牲畜体尺检测提高计算效率，在本公开实施例中对p-net的五组运算参数进行了调整，具体而言，将一或多个卷积核大小由常规的3*3调整为了5*5，池化参数由常规的3*3调整为了4*4，并设置池化步长为4，以在保证检测精度的前提下尽量提高检测速度。被调整的运算参数可以为五组运算参数中的任意一个或几个，本领域技术人员可以根据被检牲畜的种类自行设置，在本公开实施例中，针对生猪体尺检测，调整了三组运算参数，取得了较好的检测效果。

在p-net输出的三种特征值中，猪分类为1*1*2的矩阵组，其中1*1对应于输入图像尺寸160*160，在输入图像尺寸为320*320时，猪分类矩阵组适应性转换为4*4*2。其中的2代表识别种类，例如包括“背景”和“前景”，以二值化表示。框回归特征值为1*1*4矩阵组，1*1同样对应于输入图像尺寸160*160，不再赘述；4代表检测框左上角点的横坐标、纵坐标、右下角点的横坐标、纵坐标。

关键点回归特征值为1*1*12矩阵组。不同于传统mtcnn网络应用于人脸识别领域时检测五个关键点的设置，在本公开的一个实施例中，体尺数据被设置为牲畜的肩宽、臀宽、体长，因此，回归关键点数量被设置为6，即关键点包括左肩、右肩、左臀、右臀、头、尾根六个点位。由此，关键点回归特征值中的“12”表示这六个点位的横纵坐标共12个数据。

由于一张图片被分成了很多张小的金字塔类型的图片，所以需要对处理后的图片整体进行一次非极大值抑制(non-maximumsuppression，nms)处理并最终生成对应的处理后的结果。具体而言，p-net输出的特征值经过边界框回归(boundingboxregression)处理和非极大值抑制处理，形成r-net的输入参数。

在图3b中，第二网络r-net对输入图像进行四组运算以输出三组特征值。其中，r-net的输入图像尺寸同样为160*160，该输入图像是根据上述输入参数以及原始输入图像确定的待选框区域经过resize(尺寸变换)处理得到。r-net中各组运算参数均可以被调整为卷积核大小为5*5，池化参数为4*4，池化步长为4。与p-net相同，被调整的运算参数的数量可以根据被检牲畜的不同而不同。

同上，r-net输出的特征值经过边界框回归(boundingboxregression)处理和非极大值抑制处理，形成o-net的输入参数。

在图3c中，第三网络o-net对经过resize处理的输入图像进行五组运算以输出三组特征值。输入图像的形成过程同r-net。o-net输出的特征值经过边界框回归(boundingboxregression)处理和非极大值抑制处理后，可以提取最终的体尺数据。

对体尺检测模型11进行训练的方式可以为分步训练。即首先训练p-net，然后使用训练好的p-net的输出数据训练r-net，最后使用训练好的r-net的输出数据训练o-net，以提高r-net和o-net对输入数据的修正能力。在生成r-net与o-net网络训练数据时，可以将搜索框初始化为长方形(长宽比根据检测的牲畜种类不同而不同)，以适应牲畜体型的比例。

图4a和图4b分别是本公开实施例中搜索框的示意图和关键点的示意图。

参考图4a，当被测牲畜为猪时，搜索框被设置为长方形，长宽比为2:1。

参考图4b，设置尾根a、头b、左肩c、右肩d、左臀e、右臀f六个点位为关键点，作为体尺数据。

获得体尺数据后，还可以进一步根据体尺数据与牲畜单位体积体重的关系输出牲畜的预估体重。

值得一提的是，由于摄像头具有鱼眼效果，因此本公开提供的方法可以用于准确检测位于俯视图像中心的一或多头牲畜的体尺数据。与相关技术中通过检测图像中物体轮廓来识别物体不同，本公开提供的方法可以由于使用了不受限于颜色、光线和姿态的体尺检测模型进行牲畜识别，可以在牲畜拥挤、姿态不同时也能够保证准确的体尺测量，即一次性检测多头牲畜的体尺，有助于提高检测效率，减少驱赶牲畜的时间。

综上所述，本发明提出的牲畜体尺检测方法可以在各类光照条件、牲畜姿态条件下有效地检测出图像中牲畜的体尺信息，提高视觉估重的准确度。

对应于上述方法实施例，本公开还提供一种牲畜体尺检测装置，可以用于执行上述方法实施例。

图5示意性示出本公开一个示例性实施例中一种牲畜体尺检测装置的方框图。

参考图5，牲畜体尺检测装置500可以包括：

摄像头51，用于获取牲畜的俯视图像；

处理器52，耦接于所述摄像头，用于获取所述俯视图像；将所述俯视图像输入至训练完成的体尺检测模型，所述体尺检测模型包括串联连接的多个神经网络，所述多个神经网络的输入图片尺寸相同；输出所述牲畜的体尺数据。

在本公开的一种示例性实施例中，所述体尺数据包括所述牲畜的肩宽、臀宽、体长。

在本公开的一种示例性实施例中，所述串联连接的多个神经网络包括串联连接的第一网络、第二网络和第三网络，所述第一网络、所述第二网络、所述第三网络的回归关键点数量均为6。

在本公开的一种示例性实施例中，所述处理器52还设置为根据所述体尺数据输出所述牲畜的体重。

在本公开的一种示例性实施例中，所述牲畜为位于所述俯视图像中心的一或多头牲畜，所述体尺数据包括每头所述牲畜的体尺数据。

在本公开的一种示例性实施例中，所述牲畜包括猪、牛、羊。

在本公开的一种示例性实施例中，所述第一网络、所述第二网络、所述第三网络的输入图片尺寸均为160*160，所述第一网络和所述第二网络的卷积核大小包括5*5，池化参数包括4*4，池化步长包括4；所述第三网络的卷积核大小和池化参数均为3*3，池化步长为2。

由于装置500的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的方法。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。