用于物体的自动参数计算的方法和装置与流程

本发明涉及用于物体的自动计算参数的方法和装置，例如大小、尺寸、身体部分尺寸、身体特征、体积、重量和其他允许定义物体的关联参数，前述物体优选是动物，例如牲畜。

本发明可以用于快速、准确和个性化地动物称重，由于利润与之息息相关，农业食品产业对此尤其关注。

背景技术：

快速、准确和个性化地计算或估算动物的体重在多个商业领域非常重要。在农业领域，例如，在例如成长控制和定价等高效畜牧加工工作中，估算畜体的重量非常重要。准确地估算牲畜的重量和/或最终畜体的重量可以促成为畜牧生产商大幅节省成本，因为当提供的任何动物超出了由屠宰决定的重量或体积的范围时，畜牧生产商经常受到处罚。另外，成长监控、优化进料和批次管理，以不加控制的方式准确地执行，而方法的精度依赖于生产者的标准。

有多种给动物精确称重的方法；但是，这些都是基于使用磅秤(scales)，不仅不切合实际还给动物带来很大压力，这将导致总体产量的降低。例如，最普遍的估算猪的体重的方法是在生产者视觉鉴定后，基于经验得出。

在一个样本为45头猪的实验性评估中，发现基于观察的总体猪称重确实是相关的。对于这个特定的试验，本发明的发明人发现对于70到140公斤范围内的猪，均方根误差为6.4kg。这导致皮尔森相关系数为0.9，R2系数为0.80。很显然，这个结果是一个参考，误差的可变形依赖于可提高或降低总体精度的多种因素。这导致一个结论：观察法具有严重的不确定性，这对商业来说很不利。

目前Ro-main(在公开号为US-20100222684的美国专利申请中公开)商业化的共聚焦成像系统是基于猪的三维(3D)成像和随后的数据处理来估算整个猪的重量。

其他估算动物的身体状况的已知技术在WO-A1-2010/063527中被公开，这提供了一种配置，包括三维相机系统和图像处理设备，其中前述相机系统指向动物，并且被提供用于记录动物的至少一个三维图像，前述图像处理设备连接到三维相机系统，并且被设置用于根据由三位相机系统记录的三维图像，产生动物的一部分的三维表面表示；用于统计分析所述三维表面表示的表面；以及用于根据三维表面表示的经统计分析的表面，测定所述动物的身体状况得分。

另外WO-A2-2010/098954公开了利用三维表示估算物理参数的方法、系统和设备。在本例中，在物体和光图案上投影预定的光图像，并检测到了物体的部分。其中光图案来源于被投影的光图案的相互作用。测定被检测的光图案处的多个光元素的三维位置，基于该位置估算物体的物理参数，例如体重。

同样地，WO-A1-2004/012146公开了用于自动监控动物的身体条件的成像方法和系统。对动物身体的关注的预定区域成像，并且处理表示获得的一个或多个图像的数据，已获得关注区域的三维表征。分析该三维表征以测定表示关注区域的表面起伏的预定可测量参数，该表面起伏表示被成像动物的身体条件。

US-A1-2005257748公开了用于检测牛猪等牲畜的物理特性的方法和设备。本专利申请的设备包括多个战略定位相机，该相机用于获得涉及牲畜和其完整尸体的体积、曲线(表面)和现行测量的数据。接来下分析数据来提供信息，该信息实质上协助牲畜的商业化生产者，在增加企业的盈利能力的同时，帮助为消费者生产高质量的最终产品。

最后，US-A1-2008/0140234公开了参与者利用数据网络传输提交捕获鱼的尺寸的方式，远程指挥钓鱼比赛的方法。在这例中，本专利申请允许通过包含了鱼的数字影像来执行提交。而且，可以利用描绘在图像上的参照物而确立的标尺，来测量鱼的尺寸。

除此之外，图像视觉分析(VIA)使用动物的鸟瞰图以测定身体表面尺寸，并且可以用于实时监控猪的成长[1]。图2表示用于计算猪的体重的身体部分的例子。一英国公司目前正在商业化该工作的实施，以监控猪的成长。目前，一博士论文[2]评价了快速扫描(Qscan)的准确估算能力。(1)猪个体的活体的体重(BW)和(2)群猪的平均体重。这项工作的结论是不建议通过快速扫描(Qscan)来预测猪的个体的体重。

本发明提供在该领域上的进一步改进。

参考文献：

[1]Doeschl et.al.‘The relationship between the body shape of living pigs and their carcass morphology and composition’.Animal Science 2004,73-83.

[2]Jaclyn Elyse Love.‘Video Imaging for Real-Time PerformanceMonitoring of Growing-Finishing Pigs’.Thesis.University of Guelph,2012.

技术实现要素：

本发明的目的在于使用设备，其可以包括嵌入式处理手段(也可以位于远距离)以计算或估算物体或者物体的一部分的参数，例如尺寸、体积、重量、粗糙度、体积效率(volume efficiency)、表面、成熟度、容量、质量、色纯度、状态、健康、熟成、表面粗糙度、相似度、情绪、视觉注意力、两个或多个物体之间的碰撞或者冲突的概率，以及所述一个物体或多个物体的其他相关参数，该物体可以是动物，例如牲畜、人类、作物、草皮、堆肥、人脸或储藏室内的产品。

为此，本发明在第一方面，提供物体或物体的部分的自动参数计算方法。该方法包括通过二维相机在场景中获取至少一个物体的二维图像，以及通过分割算法分割该二维图像的方式，利用获得的二维图像识别所述物体。另外，该方法还包括通过第一装置，根据所述物体和所述二维相机之间的距离，计算在所获取和分割的二维图像中的物体的像素大小；通过第一装置，根据所述物体和所述二维相机之间的距离，计算在所获取和分割的二维图像中的物体的像素大小；以及通过第二装置，通过使用所述计算的像素大小物体的先验模型(priori model)，计算所述物体的若干参数，所述参数至少包括大小、尺寸、身体部位尺寸、身体特征(包括体脂肪指数)，体重和/或体积。

根据实施例，先验模型存储在计算机系统的存储器或数据库内，并且包括链接(linking)不同部分、轮廓或者形状的表示多个物体的信息，该信息由二维相机预先获取，具有包括所述若干物体的大小、尺寸、身体部位尺寸、身体特征，体重和/或体积的若干参数。例如，已知可以由其身体形状计算猪的重量，尤其是通过测量猪的不同身体部分，如[1]中报道的那些。可替换地，对于先验模型，可以通过使用计算得到像素的大小和启发模型来计算所述若干参数。

根据一实施例，该方法还获得二维图像和/或视频影像的序列。

根据一实施例，包含在场景内的已知大小的参照物体或特征被用于计算物体的像素的大小。

根据又一实施例，通过远程服务器执行在获得和分割的二维图像中的物体的像素大小的计算和若干参数的计算，该远程服务器包括至少一个处理单元。这是由远程服务器通过例如互联网等通信网络，经由局域网(LAN)、一般的广域网(WAN)或者任何其他的通讯装置，预先至少接收获取的二维图像来实现的。

另外，远程服务器可以建立映射来表示计算的参数的空间分布，从而监控计算得到的参数随时间的变化或者执行表示的空间分布和监控的时间分布的结合。建立的映射随后可以用来至少优化猪的生长、农作物管理、草皮管理、堆肥管理、库存管理、视觉注意、产品销售、养猪的映射或产品的可靠性、一年的整体效益和/或下一季度或者下一年的预计收益。

此外，本发明在第二方面，提供对一个或多个物体、亦或者物体的部分的自动参数计算设备。根据本发明，所述设备至少包括：

-二维相机，被提供用于指向所述一个或多个物体，并用于获取所述一个或多个物体的二维图像(或者还包括二维图像和/或视频影像的序列)；

-分割装置，包括在处理器内，所述分割装置布置和配置为分割获取的二维图像，以便识别位于获取的二维图像中的物体；

-第一计算装置，包括距离传感器，所述距离传感器配置为测量该设备和一个或多个目标之间的距离；所述第一计算装置布置和配置为计算位于获取和分割的二维图像上的所述一个或多个物体的像素大小(例如，确定大小，并且如果需要一个或多个物体附近的至少一个像素的方向)。

-第二计算装置，通过使用所述计算得到的一个或多个物体的像素大小或者先验模型，布置和配置为计算一个或多个物体的若干参数，优选地包括大小、尺寸、身体部分尺寸、身体特征(包括体质指数)、重量和/或3D体积。

根据一实施例，第一装置包括具有立体视觉的第二相机，该立体视觉允许估算到关注的一个或多个目标的距离。

关于距离传感器，可以是在任意时间并可以基于不同的技术，例如超声波、射频、微波、LED或激光遥测等。

值得注意的是，应当明白数字图像通过分割的方式被划分成多个区段。通常情况下，分割为数字图像内每个像素分配标签，所有具有相同标签的像素具有共同的特征。分割通常用于定位图像内的多个目标和边界(线、曲线等)。有很多能够分割数字图像的多种不同的方法，此处列出了可用于分割二维图像(或甚至二维图像和/或视频影像的序列)的多个方法：

阈值分割，这可能是分割图片的最简单的方法。此阈值分割可以直接应用在图像亮度上，以灰度、RGB或通过结合空间信息而获得的其他图像特征，该空间信息包括来自其他图像(存储在数据库，临时任意的图案)的图像或信息。

聚类方法基于例如高斯混合模型和K均值等已知的算法，根据一个或多个图像特征和/或变量的其公共属性来分组区段。

基于数据压缩的分割最小化图像的代码长度。

基于直方图的方法使用分布形式的一组像素的信息来对片段进行分组。

边缘检测法，利用边界和形状的急剧变化来识别区段的范围。

区域成长法，将具有相似属性的那些相邻像素组合在一起。如果满足了相似的标准，该像素可以被设置为属于其相邻的一个或多个区段。

基于偏微分方程的方法，通过利用数值方法解偏微分方程，可以分割图像。

网络分割方法，假设图像具有均匀性，对在给定的像素组或单一像素处的像素邻域建立模型。

分水岭方法(watershed methods)，将图像的梯度幅值作为地形图。具有最高梯度幅值强度(GMIs)的像素对应分水线，该线表示区域边界。

基于模型的方法，假设关注的结构具有重复的几何形式。由此，可以寻找用于解释机构的形状变化的概率模型，然后当分割图像时，使用该模型作为先验模型来施加约束。这样的任务包括(i)将训练样本登记为公共结构，(ii)该被登记样本的变化的概率表示，以及(iii)模型和图像之间的统计推断。文献中用于基于知识的分割的现有技术方法涉及主动形状和外观模型，主动轮廓和可变形模板以及基于水平集的方法。

多尺度分割，用来以多个尺度计算一系列的图像分割。层次分割是这种方法的一个例子。

基于机器学习的分割，用于例如神经网络或支持向量机等技术用来发展分割模型，在具有正确分割的已知数据库上训练计算机来开发分割模型。例如脉冲耦合神经网络(PCNNs)是对猫的视觉皮层建模并开发用于高性能仿生图像处理而提出的神经模型。

基于融合模型的分割，最后组合包含多个上述方法的方法来优化最终分割的性能。

根据第一和/或第二装置计算的模型复杂度，物体或者物体参数的全部或者部分，可能包括在所述设备或在位于云计算环境的远程服务器。

所述设备也可以包括附加装置，从而提升其可用性或“用户体验”。例如，一种标记被评估的一个或多个物体的方法。这可以通过包括显示和利用任意手段标记物体的方式完成，例如高亮物体、为被评估的一个或多个物体着色。可替换地，例如激光指示器或者一些照明控制等识别装置，可以用来向用户指示被评估的一个或多个物体。

另外，当该特性还未內建时，在所述设备的一些配置中，可能需要包含额外的同步/关联信号。例如，电子控制可能使设备同步，用于获取二维图像、图像和/或视频影像的顺序以及外部传感器，如果有必要的话。此信号可以是异步，基于格林威治标准时间(GMT)的某些时间信息或者由任何其他时间参考建立。

该设备也可以内嵌在无人载具上。无人载具可以是如无人飞机的航空载具，陆地载具或者水上载具，也可以是特别适用于为庄稼或草皮建立映射。

本发明的第二方面的设备适用于执行本发明第一方面的方法。

附图说明

从以下参考所附的实施例的详细描述中，将更充分地理解前述和其它优点和特征，这些描述必须以说明性和非限制性方式考虑，其中：

图1表示称得的猪的实际重量(x轴)和基于专家的估计重量(y轴)的散布图；

图2表示提取自[1]的，解释为估算猪的重量需要检测身体部分；

图3表示根据本发明的部分实施例，所述设备的示范性实施例的主视图，所述设备用于物体的自动参数计算；

图4是图3的所述设备的后视图；

图5表示根据本发明的部分实施例，所述设备的又一示范性实施例，所述设备用于物体的自动参数计算；图5a表示正视图；图5b表示后视图，以及图5c表示侧视图；

图6a和6b表示本发明的一实施例，其中所提到的设备用在已知的距离；

图7表示本发明的又一实施例，其中通过使用场景的先验知识或者包含场景内的参照物来执行图像处理；

图8a和图8b表示本发明的又一实施例，与图6a和6b的实施例相似，但是还包括了距离传感器；

图9表示通过用于猪称重的云服务，使用所提到的设备的实施例；

图10表示不同两天的猪称重的一些实验结果：(A)特别喂食的10头猪，以及(B)评估正常生长的25头猪。

具体实施方式

图3和4表示本发明的第二方面的设备100的示范性实施例。根据此特定实施例，所述设备100包括可由设备100的操作者操纵的两个手柄H。图3是设备100的主视图，根据本特定实施例，优选包括位于设备100的壳体3正面的：触摸板显示屏1、控制按钮2、电池寿命指示器4、通/断开关5和若干调节按钮13。图4是设备100的后视图，包括位于壳体10后面的：二维相机7、识别装置或激光指示器8，以及距离传感器9。另外，本实施例的设备100包括(为了简便起见，在本例中未在图中示出)USB端口和用于为设备100提供电源的充电器。

在本发明第二方面的设备100的示范性实施例(参照图5)中，仅包括例如枪状的一个手柄H，使操作者能够用单手使用该设备100。图5a是设备100的主视图，优选包括触摸板显示屏1、通/断开关5和若干调节按钮6，以便设置设备100的不同的操作命令和/或使二维相机7对焦和散焦。图5b是根据本实施例的后视图，包括二维相机7、距离传感器9、激光指示器8、用于为设备100提供电源的充电器11，以及位于设备100的手柄H的控制按钮2，用于当按下控制按钮2，获取(当按下时)二维图像、二维图像和/或视频影像的序列。

可替换地，在本例中没有示出，所提出的设备100能够形成盒子，该盒子可以被固定，以便从静态的角度获取数据。

图6a和6b表示了本发明的一实施例，该实施例用于执行至少一个物体200，特别是例如猪等牲畜的自动称重和参数计算(在本例中为物理参数)，并且不限于此，因为在本发明中至少一个物体200可以是动物、人，作物、草皮、堆肥、人脸、车辆等。在该特定情况下，所提出的设备100需要二维相机7，优选地，二维相机7将连接到互联网、WiFi或者某种机制，将数据传输到处理单元。该处理单元包括可以完整地或者部分地包括在同一设备100上或者远程服务器S内。根据本实施例，设备100设置在在已知距离d处(即，在场景内的已知地点)，并且物体200的像素的大小是已知的(根据本发明的启示，先前计算的步骤20)，这使得能够根据以下执行步骤精确地计算猪200的重量(也可以是其他所需的物理参数)：优选基于颜色外观分割算法，分割猪30；基于例如在[1]中公开的先验模型，计算猪200的身体部位的大小，并存储在计算系统的存储器或数据库中；以及，基于启发式模型40，计算猪的重量，其中启发式模型40由实验数据校准。

根据一百头范围在70至140公斤的猪的训练集生成所述启发模型40。接着，利用另一样本集(测试样本)核实该启发式模型，该样本集包括百头范围在70到140公斤的被独立称重过的猪。最后，在其任何示范性实施例中，经验证后的模型应用在所提出的设备100中，用于随后的使用。

参照图7，表示本发明的又一实施例。在本例中，紧邻着猪200设置已知大小的校正物体OB，例如30×30cm的绿色面板。另外，猪200可以定位在已知的位置(场景的先验知识)，例如通过知道批次SB的大小，或者通过知道地板SG的格子或瓷砖的大小。这使得能够准确地计算猪200的参数，通过：基于颜色外观分割法，分割猪200和校准物体OB；仿射校准物体OB的登记文档来计算空间信息和设备100与猪200之间的距离；以及，基于受试验数据校准后的启发式模型，计算猪的体重。

图8a和8b表示本发明的又一实施例。在本例中，所提到的设备100需要二维相机7、距离传感器9和激光指示器8，其中二维相机7用来获得猪200的图像的视频序列，距离传感器9用来测量设备100和猪200之间的距离，激光指示器8用来为用户/操作者提供指导，以准确标记待称重的猪200。能够通过不同的手段实现距离传感器9或者测距信号，例如，通过可以包含遥测仪、LED、超声波、RF、微波、磁体、电容量和/或电导率的激光器。有利地，图像序列的取得对于分割和体重计算具有许多优点，即拒绝不适当的框架、增加平均值、背景去除、传感器和视频同步等。

根据又一实施例，在本例中未示出，设备100包括二维相机7；由此，利用包括一个或多个物体200的两个以上的不同视图完成计算，改善一个或多个物体200的参数计算。

根据再一实施例，如图9所示，一旦二维图像(或者甚至是图像和/或视频的序列)被用户通过安装在所提到设备100(步骤91)上的计算软件应用程序而获得，获得的图像传输至位于云计算环境的远程服务器S的处理单元，以便在远程服务器S(步骤92)上运行计算方法，该远程服务器S(在数秒内)验证和处理接收的图像，使得能够以这种方式附加网络服务，例如用普遍的方法监控猪的生长或者建立映射。一旦数据经过处理后(步骤93)，该数据传输至所提及的设备100，设备100允许所述计算软件应用程序显示(步骤94)计算的参数值。

获得的数据在远程服务器S内集中导致附加的特征、应用程序的数量更加庞大：动物或猪的生长、库存管理、库存价格、对产品销售的视觉注意、猪制品或生产者的可靠性的映射、一年的整体收益以及下季度或数年的预测产量。

最终，在又一实施例中，所提到的设备100需要二维相机7、距离传感器9和同步信号，其中二维相机7用来获得猪200的图像的视频序列，距离传感器9用来测量设备100和猪200之间的距离，同步信号利用基于GMT参考的时间标记，同步距离测量和视频序列。

图10表示与两个不同测试的比例结果相比较的实际数据中所提出的实施例之一的结果。图10A表示由特别食物饲养且超重的10头猪的数据，均方根误差＝1.47公斤，皮尔森(Pearson)rho＝0.99。图10B表示宽范围的25头猪的数据，均方根误差＝1.72公斤，皮尔森rho＝0.99。

尽管本描述涵盖许多具体实施细节，但这些不应被解释为对本发明或所要求保护的范围的限制，而是被解释为对本发明的特定实施例特定特征的描述。

本发明的范围在下列所附权利要求中限定。