用于从一距离处表征活体标本的方法和装置与流程

介绍了一种黑牛身体形状和温度测量系统。由于本文献的作者指出，重要的是在生长过程期间周期性地评估日本黑牛的质量，所以不仅是黑牛的重量和尺寸，并且姿势、形状和温度也需作为主要评估标准进行追踪。在该研究中，kinect传感器和热相机获得了身体形状和其温度。整个系统进行校准以在共同坐标系中操作。点云数据从不同角度获得并且在计算机中进行重建。还捕获了热数据。通过考虑到肉牛的取向，将点云数据和热信息进行组合。所收集信息用于评估和估计牛的状况。
[0009]
然而，这些现有技术文献均不允许执行快速(秒级以下方案)和自动测量来可靠、可重现和准确地估计活体标本的3d取向和/或姿势参数，和/或均不允许当活体标本在农场或在其自然环境中自由地移动时计算其身体图。


技术实现要素：

[0010]
根据第一方面，本发明提出了一种用于从一距离处表征活体标本(优选地，牲畜动物，诸如猪、公牛、母牛、羊、肉鸡、鸭或雏鸡等)的方法，同时该动物在农场或在其自然环境中自由地移动。应当注意，该方法适用于具有复杂形状的任何目标的表征。
[0011]
该方法包括a)经由图像采集单元(诸如相机)采集活体标本的一个图像和通过处理单元进一步分割该采集图像，从而提供分割图像；b)通过遥测单元(在图像采集单元的给定距离处)测量至采集图像的若干部分的距离，从而提供若干距离测量值，和选择活体标本的分割图像中所包含的那些距离测量值的子组；和c)通过处理单元(等同于或不同于其它处理单元)处理分割图像和所述若干距离测量值，这些若干距离测量值指代分割图像内所包含的不同位置。
[0012]
根据所提出方法，所述步骤c)包括表征活体标本的形状，估计活体标本的深度，和比较所述预先表征的结果，以获得质量参数/估计指示(活体标本的身体部分或解剖基准得以实际地测量并适当地定位，或需要被找出的更佳估计)。
[0013]
即，如果比较的结果包括在给定范围之内，那么意味着所执行的测量是正确的，该方法还可确定活体标本的一些参数(例如，姿势参数(诸如活体标本的身体的深度和/或弯曲的取向)、解剖基准点的定位或校正、身体尺寸参数等等)，和/或还可表示活体标本的身体图(优选为3d图)。相反地，如果比较的结果包括在所述给定范围之外，那么意味着所执行的测量是不正确的，例如因为活体标本在采集图像时移动。该方法还可包括使现有步骤a)至步骤c)重复，从而获得新深度剖面分析图和新形状分析图。可选地，如果结果包括于该范围之外，那么可选择什么都不做并且表示活体标本的身体图，该身体图将具有相关联错误。
[0014]
优选地，形状的表征通过实施一种算法而执行，该算法在分割图像内至少计算以下项的一者或多者：活体标本的质心、活体标本在分割图像内相对于基准点的取向、和/或活体标本的特定身体部分(通过将活体标本的解剖基准点定位于分割图像内)。形状表征的结果提供了形状分析图。
[0015]
深度的表征还优选地通过实施一种算法而执行，该算法至少在分割图像所包含的距离测量值内，通过将活体标本的解剖基准点定位于该距离测量值内来计算活体标本的特定身体部分。深度表征的结果提供了一个深度剖面分析图(其可提供一个以上)。
[0016]
应当注意，执行用于表征的步骤的次序为不相关的。此外，两种表征可同时进行。
[0017]
此外，根据所提出方法，图像采集单元(例如，rgb相机或热相机或该两种相机)和
遥测单元(例如，激光雷达或飞行时间(tof)系统)被校准。优选地，该两种单元布置于它们之间的给定距离处，并且特别地附接至共同支撑件。
[0018]
在一个实施例中，该方法还估计图像采集单元和活体标本的相对位置的三维信息的一部分以获得一些额外参数，诸如：图像采集单元和活体标本之间的至少一个角度的平均值、活体标本的形状的弯曲程度或平面度、图像采集单元相对于地面的高度或图像采集单元相对于活体标本高度的高度、和/或图像采集单元的光学轴线相对于地面的角度。
[0019]
在一个实施例中，活体标本的取向通过经由二乘拟合函数、高斯模型、主分量分析(pca)、最小面积矩形、霍夫变换或与二维傅里叶变换的主轴线的相对性等将分割图像拟合成椭圆进行计算。
[0020]
当身体部分在形状分析图中进行计算的情况下，该身体部分可通过圆形霍夫变换进行计算，该圆形霍夫变换计算包含分割图像内的大腿或股部的一部分的半径。另选地，身体部分可通过二阶多项式函数进行计算，该二阶多项式函数通过拟合质心和取向轴线周围的抛物线而检测分割图像内的活体标本的尾部。
[0021]
另外，为改善形状分析图，可执行其它计算。例如，在一个实施例中，计算分割图像内的活体标本的轮廓，在极坐标上编码该计算轮廓并且还将傅里叶变换函数应用至所述极坐标，提供若干傅里叶系数，这些傅里叶系数的模量为旋转不变量并且其论证包含旋转信息。
[0022]
在另一个实施例中，分割图像可编码为提供若干系数的图像矩，例如：统计矩、中心矩或hu矩，这些系数为形似傅里叶变换的表示。然而，这种操作可适用于分割区域、轮廓或轮廓子组。
[0023]
在另一个实施例中，计算活体标本的轮廓，并且距离度量还包括基于欧几里得、测地或城市街区等的距离度量而在该计算轮廓内进行计算。
[0024]
在另一个实施例中，分割图像的活体标本的轮廓通过骨架化函数进行计算，从而提供活体标本的骨架的图像。任选地，还可计算所述骨架内的分支点和端点以估计不同身体部分的解剖位置。
[0025]
在又一个实施例中，计算分割图像的距离变换。
[0026]
步骤a)可包括活体标本的若干图像在不同时间段的采集，使得可捕获活体标本的不同姿势。在这种情况下，对于每个采集图像，获得了一系列距离测量值。
[0027]
在后者中，关于每次采集所获得的信息可进行整合/组合，使得一系列成对深度剖面分析图和形状分析图得以获得。然后，该方法还可包括对每对图指定分数和选择具有最高分数的一对图。另选地，该方法还可匹配所有采集内的解剖基准点并且累积深度剖面分析图和解剖基准点的不同片段以计算活体标本的三维重建，或甚至该方法可计算每次采集的身体图并且累积每个身体图的所有信息，计分至扩展(或改进)身体图中。
[0028]
在活体标本的身体图得以表示的情况下，该身体图可用于基于图像采集单元的特征而计算身体图的特性(例如，色彩、温度等)，或计算通过预先校准的额外装置(例如，高分辨率热相机、光谱性质)所测量的额外特性。
[0029]
可发生的是，采集图像包括一个以上的活体标本。在这种情况下，在一个实施例中，所提出方法可计算并比较图像中所包括的每个活体标本的形状分析图和深度剖面分析图，使得在单次采集中可表征一个图像所包括的所有标本。
[0030]
根据另一个方面，本发明还提出一种用于从一距离处表征活体标本的装置。该装置包括图像采集单元、第一处理单元、遥测单元和第二处理单元；该图像采集单元用以采集一个或多个活体标本的一个或多个图像；该第一处理单元用以分割该采集图像，从而提供分割图像；该遥测单元用以测量至采集图像的若干部分的距离，从而提供若干距离测量值，并且用以测量活体标本的分割图像所包含的那些距离测量值的子组；该第二处理单元配置成处理分割图像和所述若干距离测量值，所述若干距离测量值指代分割图像内所包含的不同位置。
[0031]
优选地，图像采集单元和遥测单元布置于相同支撑件内的给定距离处。
[0032]
第一处理单元和第二处理单元可为独立单元或相同单元。
[0033]
根据所提出装置，第二处理单元适于并配置成实施根据本发明的第一方面的方法。另外，图像采集单元和遥测单元被校准。
[0034]
图像采集系统可为rgb相机和/或热相机，该rgb相机具有红色通道中的扩展nir。遥测单元可为旋转激光雷达、扫描激光雷达、多个激光雷达、飞行时间(tof)传感器、tof相机，或是具有或不具有基于单点或多点检测的移动部件的任何其它遥测装置。
附图说明
[0035]
从以下参考附图对实施例的详细描述中，将更充分地理解前述和其他优点和特征，这些附图必须以说明性和非限制性的方式考虑，其中：
[0036]
图1和图2为两个流程图，示出了用于从一距离处表征活体标本的方法的两个实施例；
[0037]
图3示出了三个不同选项，这些选项可单独地或组合地用于获得形状分析图；
[0038]
图3a示出了三次采集，其中尾部检测为深度剖面的最小距离，并且这与形状分析一致，即在中心列中具有与深度剖面最接近的质心；
[0039]
图3b示出了相同三次采集，其中尾部检测为深度剖面的最小距离，并且这与形状分析一致，即在中心列中具有与深度剖面最平行的质心；
[0040]
图3c示出了相同三次采集，其中尾部检测为深度剖面的最小距离，并且这与形状分析一致，即将尾部定位在中心列的右侧；
[0041]
图4a示出了根据一个实施例来执行质心和估计取向的计算；
[0042]
图4b示出了两个抛物线在校正取向之后如何拟合至轮廓的左极端(虚线)和右极端(实线)；
[0043]
图5示出了基于欧几里得度量作为轮廓线的二值图像的距离变换的表示轮廓；刻度虚线示出了分割图像的边界；对于较远离任何边界的那些点，图像得分更高；
[0044]
图6a示出了图像骨架化；
[0045]
图6b三角形示出端点并且圆圈示出分支点；
[0046]
图6c直线标记了作为解剖基准点的第一估计的前脚、横跨部、臀部和后脚之间的联系；
[0047]
图6d额外线标记了与其它基准点的联系，诸如头部和尾部(白色圆圈)以及中间身体宽度；
[0048]
图7示出了形状分析图的匹配和激光雷达扫描的定位是如何允许了解多个图像点
的特定深度；
[0049]
图8顶行示出了根据一个实施例通过旋转激光雷达采集的分割图像和遥测测量值的采集序列；中间行示出了图像中的距离测量值和水平像素位置；底行示出了距离和像素位置至真实空间的变换；
[0050]
图9示出了所测量深度剖面分析图的角度校正，以测量特定身体特性并估计测量的质量；
[0051]
图10a示出了校正后的深度剖面的内插和由形状和深度剖面分析所计算的身体部分的注释，其中可以比较两种分析的解剖位置的计算；以及
[0052]
图10b示出了具有分割图像的二值轮廓的原始图像，内插有深度剖面分析图和如通过图10a的剖面分析所计算的身体部分；
[0053]
图11为猪的身体图的实例，其中解剖基准点位于三维轴线内；质心为(0,0,0)并且身体的不同部分(诸如尾部或头部)映射于真实空间中，从而示出例如以厘米为单位的坐标；
[0054]
图12a和图12b为以两个不同矩所采集的相同猪的两个图像，在(a)的右侧可看到栅栏，而在(b)，墙壁是唯一背景；
[0055]
图12c和图12d为分割图像的骨架化，身体部分通过形状分析和图6的方法来获得；
[0056]
图13a示出了图12所示的两次采集的重叠二值轮廓和基准点以及身体部分；图13b示出了通过平移和旋转的规范化空间；并且图13c示出了基于基准点的空间变换。
[0057]
图14a和图14b分别示出了从图8左列和中间列的剖面分析的轮廓、深度剖面、基准点；
[0058]
图14c示出了在图像(b)上具有校正坐标的基准点和深度剖面的重叠；以及
[0059]
图14d示出了两个深度剖面分析图的基准点、轮廓和累积的重叠；
[0060]
图15示出了身体部分或基准点的解剖关系；
[0061]
图16示出了角度φ和θ的明确关系的投影顶视图和正视图；在该图中，还可观察到，图像能够从任何角度和距离进行采集；
[0062]
图17a为公牛的图像分割，其中犄角的尖端、犄角和嘴部之间的中心点得以检测，并且基准线与该对点关联地描绘以构建形状图，在其中圆点示出了(图17d)的深度剖面得以测量的图像位置；
[0063]
图17b示出了基于分支点(圆圈)和端点(三角形)的骨架化和检测的形状分析；
[0064]
图17c为图17b的放大图以示出分支点和端点的特定位置；以及
[0065]
图17d为犄角的基部和头部的顶部处的深度剖面；
[0066]
图18示出了头部的形状分析图以定位犄角并计算总长度；
[0067]
图19a示出了原始图像；
[0068]
图19b示出了从精细边缘的所勾画的内轮廓；以及
[0069]
图19c示出了作为形状分析图的基础的骨架化、分支点和端点；
[0070]
图20a示出了作为轮廓的分割图像、作为白色圆圈的质心、和作为垂直于如虚线所示取向的轴线的深度剖面分析图的图像位置；以及
[0071]
图20b为真实空间中的所获得深度剖面分析图；
[0072]
图21a示出了作为轮廓的分割图像、作为白色圆圈的质心、和作为穿过头部和尾部
的迹线(如形状分析图的虚线或特定点所示)的深度剖面的图像位置；以及
[0073]
图21b为真实空间中的所获得深度剖面分析图；
[0074]
图22为视频图像，其中热图像和小圆点的重叠分割区域示出了激光雷达测量值；
[0075]
图23示出了tof图像的距离(左)和霍夫变换的计算(右)以用于尾部和肩部检测，通过扫描身体和方法2中额外解剖点的计算脊柱描记作为中间点；
[0076]
图24示出了身体图的处理的一个实例，该处理允许从其它系统(即，热相机)提取额外特征。
具体实施方式
[0077]
本发明提供了一种用于执行活体标本的自动测量以表征这些活体标本的方法和装置。
[0078]
图1根据一个实施例以图形示出了所提出方法的流程图。根据该实施例，该方法经由图像采集单元(诸如热相机或rgb相机)采集活体标本(在该特定情况下为猪，非限制性地，可表征任何活体标本)的一个图像，并且还分割该采集图像，从而提供分割图像(步骤a)。同时或之后，该方法经由遥测单元测量至所述采集图像的若干部分的距离，从而提供若干距离测量值，并且选择猪的分割图像中所包含的那些距离测量值的子组(步骤b)。然后，分割图像和距离测量值进行处理(步骤c)。在该特定实施例中，处理步骤包括经由计算形状分析图的算法表征猪的形状(步骤c1)；经由计算深度剖面分析图的算法表征猪的深度(步骤c2)。最后，该方法涉及形状分析图和深度剖面分析图的比较(步骤c3)。比较的结果/分数可用于决定猪的参数是否可以足够质量进行计算，和/或身体图(参见图2)(优选为3d表示)是否可以足够质量进行计算，或该方法是否必须进行重复、校正或停止。
[0079]
采集图像优选地为任何类型的二维图像(例如，灰度、色彩、热量，或色彩和热量两者)。可使用将采集图像转换成分割图像的任何分割方法。分割图像由处理一个图像(例如，灰度、色彩、热量，或其组合)并且将该图像的像素分成两类得到：(1)包含于猪中的像素和(2)未包含于猪中的像素。
[0080]
分割图像可以不同方式进行编码：(1)二值图，其中猪内所包含的像素设定成最大值并且猪内未包含的像素设定成最小值；(2)二值轮廓，其中猪的边缘内所包含的像素设定成最大值并且猪内未包含的像素设定成最小值；(3)矢量，其中边界的位置以矢量来设定。
[0081]
遥测单元配置成测量至少两个点的距离，这两个点包含于分割图像内。距离测量值可通过不同方法来获得。例如，遥测单元可通过旋转激光雷达来实施，该旋转激光雷达具有10hz的自转速度(100ms完成对角度和距离的完全读取)和小于一度的分辨率。图像采集单元激光雷达的预先校准或热相机至可视或近红外相机(其然后校准至激光雷达)的校准允许构建表格，该表格用于将激光雷达坐标(即，角度和所测量距离)变换成图像坐标(即，二维图像的行和列)。另选地，具有仅检测激光雷达波长的特定光学滤波器的专用相机可用于图像坐标和激光雷达信息的精确定位。另选地，遥测单元可通过具有tof技术的新型相机来实施，这些新型相机向二维图像提供距离。速度超过10帧每秒，并且在一些情况下其可达到1000帧每秒。图像采集单元和tof传感器或相机的预先校准允许找出图像采集单元的像素和tof传感器或相机的像素之间的关系。
[0082]
遥测单元和图像采集单元的校准可通过一对加热电阻器来执行，该对加热电阻器
以至平面的两个任意深度位于该平面上。在这种情况下，采集单元为热相机，该热相机以该采集单元平行于平面的方式进行定位，并且热电阻器位于热图像的竖直轴线的中心周围。相对于激光雷达坐标(对于旋转激光雷达，其为角度和距离)，旋转激光雷达以每个热电阻器的距离d1和d2相对于初始值dl(例如，2米)进行测量的方式进行调整。随着采集图像中的位置改变了距离dl，该操作对于不同距离dl进行重复。该过程允许构建点表格，该点表格与像素位置和测量距离相关。然后，回归模型构建成使任何激光雷达坐标(角度和距离)相关于采集图像和分割图像中的特定(x,y)位置。
[0083]
在另一个实例中，对于图像采集单元为热相机并且遥测单元为tof相机或传感器的特定情况，校准如之前进行，但考虑更多个点并且不仅依赖于旋转激光雷达的扫描线。
[0084]
其它校准方法也为可能的。例如，图像采集单元(由一个rgb相机和一个热相机组成，该rgb相机具有红色通道中的nir扩展)和基于旋转激光雷达的遥测单元可一起被校准。
[0085]
用以计算形状分析图的形状表征包括对以下项的计算：猪的质心、猪在分割图像内相对于基准点的取向，和/或猪的特定身体部分(通过将猪的解剖基准点定位于分割图像内)。应当注意，仅需要上文所指示方法的一者来计算形状分析图。然而，其组合也是可能的。图3a至图3c示出了三种计算的实施例。
[0086]
为表征猪的形状，猪由分割图像来限定。猪的形状为分割图像的形状。采集图像和分割图像可表达为一系列位置以构建二值图、二值轮廓或轮廓的多点近似值。因此，任一种格式的分割图像s(x,y)可表达如下：
[0087][0088]
其中x,y分别为数字图像的列和行。
[0089]
在一个实施例中，为计算质心，猪的形状通过图像矩来表征：沿循这种格式，然后可以根据标准公式计算任何图像矩m
nk
：
[0090][0091]
像素的数量等于矩m
00
，质心等于(m
10
/m
00
,m
01
/m
00
)。
[0092]
这些矩可直接地扩展至中心矩(其为平移不变量)。然后，平移不变矩还可扩展至尺度不变量，并且此类尺度不变量还可通过公知的现有技术计算扩展至旋转不变量(hu矩不变量)。该组的矩允许计算可与特定形状相关联的特性特征，诸如从特定视角(或取向角度)所见的猪形状。
[0093]
这些矩还可琐细地扩展至多个维度(例如，3d)以表征3d形状：
[0094][0095][0096]
其中x,y,z分别为数字体积的列、行和深度。
[0097]
为计算取向，分割图像可通过最小二乘拟合、高斯模型、主分量分析、霍夫变换等
拟合成椭圆。拟合椭圆的取向、高斯分布的取向、第一主分量的角度或霍夫线的平均取向是用以快速且可靠地估计目标取向的方法。
[0098]
根据一个实施例(参见图3c)，为计算特定身体部分，可使用霍夫变换。霍夫变换可以多种形式来实施。特别地，圆形霍夫变换允许识别圆形区域的半径范围。这可用于区分猪的头部和尾部。由于尾部为圆的，其可拟合至较大圆圈。例如，通过将分割图像考虑为如图3c所示的二值轮廓，圆形霍夫变换可设定成检测具有高敏感性的圆圈并且可仅要求多个点来拟合圆圈。圆圈的范围可通过下述估计：1)大腿半径rh应为分割图像的竖直尺寸的约1/3；2)半径的搜索范围然后设定为rh+/-50％的rh。然后，选择5个圆圈中具有最大评分的较大圆圈，得到居中于尾部部分的圆圈。
[0099]
霍夫分析可通过半圆形霍夫变换进行扩展，并且可获得半圆圈的拟合，这对于获得尾部和头部差异将是更可靠的。其还扩展至椭圆形状以拟合猪的身体或头部的中心部分或其它部分。广义霍夫变换是以不同尺度和角度拟合多个特定形状来匹配形状的另一种方法。可以以等同方式来使用类似的形状匹配方法。
[0100]
以类似方式，猪的尾部可通过将二阶多项式拟合至由质心和取向角度所限定的轴线进行检测。图4a示出了质心和取向轴线，图4b校正了取向并且将抛物线(二阶多项式)拟合于两个界限周围。底部通过具有最接近于质心的顶点的抛物线来检测。
[0101]
形状分析图可通过其它若干计算策略来完善。例如，利用傅里叶分析；在这种情况下，猪的轮廓可在极坐标中进行编码然后进行傅里叶变换。这提供了若干傅里叶系数，这些傅里叶系数的模量为旋转不变量并且其论证包含旋转信息。
[0102]
图5示出了可使用的另一策略。在这种情况下，分割图像根据分割图像内的任何点至最近边界点的距离进行评分。距离度量可以是多种多样的：欧几里得度量、城市街区度量或任何其它距离度量。
[0103]
另一策略是通过计算分割图像的骨架化函数而计算猪的轮廓。图像骨架为与其边界等距的该形状的薄型版本。骨架通常强调形状的几何性质和拓扑性质，诸如其连接性、拓扑结构、长度、方向和宽度。连同其点至形状边界的距离一起，骨架还可用作形状的表示(它们包含用以重建该形状所需的所有信息)。然后，分支点和端点可用于估计不同身体部分的解剖位置。
[0104]
应当注意，用以计算形状分析图的这些互补策略可在它们之间组合地使用。
[0105]
返回参考图3和图4，这些图示出了形状分析如何允许通过适当“尾部检测”来识别头部至尾部的取向(其为用以使图像点关联于身体部分的基本步骤)的实例。形状的额外表征允许使其它图像点关联于其它身体部分。例如，具有高边界分数(根据距离变换所计算)或邻近质心轴线的分支点可关联于如图5所示的横跨部(肩部)和臀部。尾部检测还在横跨部和臀部之间进行区分。足部通过位于分割图像的底部部分处的端点来确定，并且几乎垂直于由横跨部和臀部(或质心轴线)以及如图6c所示的底部部分处的端点所绘制的线。
[0106]
关于用以计算深度剖面分析图的猪的深度表征，该过程包括在分割图像中所包含的距离测量值内，通过将活体标本的解剖基准点定位于距离测量值内来计算活体标本的特定身体部分。
[0107]
该步骤可分成两个主要部分：(1)至图像点的遥测距离的定位通过如上文所描述的预先校准来实现并且允许计算具有深度信息的图像坐标；和(2)图像点和至身体部分的
距离的关系。
[0108]
具有分割图像内所包含的深度信息的图像坐标提供了如图7所示的深度剖面；较大圆点为落入分割图像之内的圆点，而较小圆点处于分割图像之外。形状分析图的结果允许使图像点(和深度信息)关联于身体部分或基准点。例如，从特定基准点(诸如质心、横跨部、臀部、尾部)，或从解剖基准所获得的其它基准点)获得的深度信息和其它形状分析(诸如距离变换或骨架化)。
[0109]
图像采集单元和遥测单元的特定对准允许获得相关3d信息，该3d信息与身体尺寸和所测量身体部分或基准点的较高可靠性有关。例如，旋转激光雷达与质心轴线或沿着图像中的横跨部和臀部所限定的身体线的对准允许扫描重要身体特征以获得特定深度信息。图7示出，当对准时，激光雷达扫描质心轴线，深度剖面得到多峰值曲线。
[0110]
图8示出了由不同激光雷达对准由横跨部点和臀部点所限定的轴线所采集的图像序列的实际实例。在顶行处，可看出虚线形式的三个二值轮廓(或廓影)；轮廓之内的白色十字示出了通过旋转激光雷达所采集的距离测量值的图像位置；圆圈示出最接近于上文所解释的骨架、分支点和额外计算所限定的横跨部位置和臀部位置的激光雷达测量值。中间行以水平像素示出了所测量距离和图像位置。底行示出了从图像位置至真实空间的转换测量值。
[0111]
通过分析真实空间中剖面曲线，可以确认是否已实际测量并适当地定位基准点(诸如身体部分或解剖基准)，或是否可找出更佳估计。
[0112]
图8的左列示出了其中旋转激光雷达靠近由横跨部和臀部所限定的轴线对猪进行扫描的情形，因为其实际上非常接近地经过了图6标记为臀部的点。然而，旋转激光雷达的角度偏离由横跨部和臀部所限定的轴线。在该上下文中，深度剖面分析图似乎缺少重要身体特征。图8的右列示出了其中旋转激光雷达远离由横跨部和臀部所限定的轴线对猪进行扫描的情形，其中不可能获得猪的形状的任何深度信息。图8的中间列示出了其中旋转激光雷达沿由横跨部和臀部所限定的轴线对猪进行扫描的情形。如在真实空间的剖面深度可看出，测量值包含关于后腿的信息。猪的后腿为猪的重要部分，并且猪的后腿的厚度在许多情况中为相关特征。例如，伊比利猪的后腿的尺寸对估计整猪的市场价值是重要的。图9示出了靠近由真实空间的横跨部和臀部所限定的轴线的测量剖面，该轴线通过估计剖面的线性分量进行校正。这允许通过估计正确图像中从横跨部和臀部之间的最远位置至臀部和尾部之间的最近位置的深度差值来测量大腿的厚度。在臀部和尾部之间的最近位置发现的该负峰值可认为是新基准点，称为“最大臀部”，该基准点是后腿的厚度最大的位置。该“最大臀部”的位置可设定为在测量中必须满足约束条件，以验证整个取向估计、执行任何身体部分测量或存储深度信息。
[0113]
当扫描通过关键点(例如，穿过分割图像上通过形状分析所估计的横跨部点和臀部点)时，深度剖面分析图还可用于估计基准点或身体部分的精确位置。期望深度剖面或样条内插的“先验”模型可用于该目的。图10示出了图9的深度剖面测量值的样条内插，倾斜方形示出了通过形状分析所计算的横跨部位置和臀部位置(如图8所示)，新身体部分根据内插深度剖面进行重新计算，其中：横跨部位置为靠近头部侧的最小距离，最大臀部为靠近尾部侧的最小距离，并且臀部为最大臀部和朝向尾部侧靠近质心的最大点之间的转折点。
[0114]
以更普遍方式，可以通过将深度测量值参考到基准点或身体部分来完成图像点和
至身体部分的距离的关系，从而允许组合一系列测量值的信息以具有如图11所示的动物或复杂目标的更完整3d图片，即，身体图。这可以通过以下方式实现：(1)从如图6d所示的分割图像的形状分析获得基准点或身体部分；(2)计算规范化基准空间；(3)基于此类基准点计算至规范化基准空间的空间变换；(3)将此类空间变换应用于所有采集；(4)将所有深度剖面累积至规范化基准空间。
[0115]
图12示出了用以从分割图像的形状分析获得基准点或身体部分的第一步骤。图13a示出了二值轮廓和基准点在分割图像的坐标中的重叠。第一规范化空间可通过二值轮廓至质心的直接平移进行计算。然后通过校正如上文所计算的取向而进行点的旋转。结果呈现于图13b中。关于在类似距离所获得的两次采集，标度无需进行校正，但在一些其它采集中，标度可需要进行校正。可以通过以不同手段(多项式函数、局部加权映射或分段)，基于本领域已知的基准点对构建空间变换，来实现坐标的第二细化。三阶多项式映射呈现于图13c中。
[0116]
取决于两次采集之间的基准点的一致性，重叠的采集可能被拒绝并且可请求另一次采集。在参照图8所示的形状分析得出的特定基准点时，可将可接受的采集限制为读取满足某些预期规则的深度信息剖面，其中在使旋转激光雷达扫描通过所估计横跨部和臀部位置方面，中间列显示了可接受的采集并且深度剖面包含与大腿和肩部的厚度有关的期望峰值。在该线上，可要求旋转激光雷达进行多次扫描以捕获足够的深度和形状信息，以根据关于动物、人或复杂目标的已知信息计算动物或复杂目标的取向和尺寸。
[0117]
当使用3d相机和分割图像时，上述解释也适用。例如，热相机和tof相机可用于估计动物的身体取向和尺寸。热相机可用于生成分割图像，该分割图像根据上文所描述的过程进行处理。tof相机将提供多个点的深度信息，但分割图像的形状分析将提供必需身体情况以接受采集。以类似方式，tof相机允许执行单次采集的多线扫描，并且这可显著地加快整体采集时间。
[0118]
图15示出了形状分析图和/或图像坐标与深度信息的关系，以获得身体部分或基准点，例如，如图所示的横跨部、大腿的起始点和尾部。
[0119]
在一个实施例中，所提出方法还包括估计图像采集单元和活体标本的相对位置的三维信息的一部分以获得图像采集单元和猪之间的至少一个角度(θ或φ)的平均值(参见图16)(例如，通过计算深度剖面分析图的线性近似值的斜率的反正切值)。另外，还可获得猪的形状的弯曲度或平面度。平面度或弯曲度可通过扩展图9所示的方法进行估计，在其中可以拟合线性函数以估计φ角度。并且，该原理可例如通过二阶或三阶的多项式扩展至任何形状。调整后的r平方系数可用于评估二次函数相比于线性模型是否更好地拟合。当二次函数更可能拟合时，意味着动物为弯曲的并且测量需进行重复或适当地校正。伊比利猪相比于其它类型的猪为高肌肉动物，它通常会弯曲其身体并且采用保护性的形状。很多情况下必须考虑到这一点，以在表征中克服这种错误源。
[0120]
还可获得图像采集单元相对于地面的高度或图像采集单元相对于猪的高度的高度。在第一种情况下，额外遥测单元还可提供额外距离测量手段以估计相对高度，图像采集单元和遥测单元在该相对高度处操作。在第二种情况下，由于至少一个距离通过遥测单元进行测量并且分割图像直接地关联于距离测量值，所以可以估计动物高度。总动物高度可计算如下：(1)如上文所描述进行取向校准之后的分割轮廓的垂直范围；(2)通过距离和竖
直视场或校准的关系来转换像素数量的计算。如果旋转激光雷达配置成竖直地扫描或遥测单元提供距离的2d图像，那么利用基准点或身体部分，将可以提取3d坐标并且将高度计算为坐标点之间的距离。以类似方式，可以从基准点或身体部分估计高度，例如上文所描述的“最大臀部”至也如上文所描述的后脚。然后，另一种校准方法，可根据视场和距离的关系、将像素的数量从竖直旋转激光雷达或距离的2d图像转换为坐标距离。
[0121]
甚至，可获得图像采集单元的光学轴线相对于地面的角度。
[0122]
在一个实施例中，所提出方法还允许计算不同身体部分或基准点之间的关系以获得猪的身体分析。所有基准点或身体部分可用于构建如图6所示的猪的简化图。校准允许在真实空间中计算3d坐标的任何图像点，这允许直接估计复杂目标、动物和人的取向和尺寸。头部至尾部作为总动物长度，横跨部至尾部作为身体长度，横跨部至臀部作为短身体长度，臀部至后脚作为大腿长度，横跨部至前脚作为前腿长度，中间身体顶部和底部作为动物宽度。图9还示出了如何从深度剖面分析图估计大腿厚度，该大腿厚度为伊比利猪的重要特征。另外，对于横跨部、臀部或最大臀部的定位所做出的校正可提供更可靠或更感兴趣的尺寸和取向测量。另外，还可进行区域测量和体积测量。大腿的区域测量可通过仅将分割图像的区域保持在臀部点之外来实现。通过添加深度剖面分析图信息，还可产生大腿的体积估计。类似地，可通过将横跨部之外的区域作为基准点来获得身体区域和体积。
[0123]
所有上下文数据(诸如采集角度φ、最小距离、最大距离和平均距离、不同尺寸，和不同尺寸(诸如长度、区域或体积)之间的关系)可用于生成猪的一系列特征。
[0124]
在本文档中，猪的形状充当复杂形状的一般实例。因为其它动物(诸如牛、雏鸡、肉鸡、公牛、母牛、羊)作为牲畜动物，所以将特别地适合该方法。也可在这些参考条件下对人类进行建模，并且复杂物体可能需要特定的适应，因为复杂物体是一个广义术语。然而，可根据这种方法直接地适应遵循具有明显基准点的图案的对象，这些基准点不只是简单的方形、三角形或圆形，该方法结合了分割图像的形状分析和深度信息，该深度信息通过已适当校准的遥测装置(激光雷达、旋转激光雷达、扫描激光雷达、tof相机，或提供1d或2d距离序列的任何装置)获得。
[0125]
图17至图20示出了其它牲畜(诸如斗牛或肉鸡雏鸡)的不同实例。在这些图中，示出了用以构建身体图或身体图的一部分的类似方法。例如，图17a示出了解剖基准点如何用于构建斗牛的头部的基准图以测量犄角的距离，该犄角为用于确立斗牛的价值的重要特征。如图17b所示，深度剖面分析图还可用于计算头部取向并且准确地计算此类距离，或甚至计算犄角的长度。相同骨架化过程的应用在图19中示出用于肉鸡雏鸡。在一些情况下，可能重要的是准确地测量肉鸡的宽度，如图20所示。其它努力可要求在图21所示的其它轴线上进行准确测量，或甚至组合两个轴线或2d表面的信息。
[0126]
关于图17a至图17d，公牛的犄角可检测为头部内或嘴部之上的左顶位置和右顶位置。因为嘴部具有明确不同的色彩外观或温度，所以嘴部质心可通过对所采集图像进行色彩分析或热分析来检测。根据一个实施例，通过参考形状分析图中的分支点和端点，腿部也可通过类似于猪的形状分析进行测量(参见图17b)和检测。通过拟合圆形霍夫变换或二次函数，尾部也可以如上文所描述的与猪相同的方式进行检测。
[0127]
头部取向可以如上文所描述的类似于猪的方式通过深度剖面分析进行估计。
[0128]
通过考虑到头部取向并校正由(x,y)距离和深度引起的图像失真，，可成功地计算
犄角的尖端之间的距离测量值。如图18所示，可计算出犄角的总长度的额外信息。头部的对称性质可用于定位特定基准点或轴线。
[0129]
肉鸡或雏鸡也可适应于所提出方法。例如，图19示出了肉鸡(19a)，其分割图像和轮廓(19b)和骨架化(19c)(其中分支点和端点的检测用以构建形状分析图)。
[0130]
质心和垂直于取向的轴线可用作基准以在短轴线上获得深度剖面。类似地，从分支点所获得的头部和尾部可用于识别长轴线并在其它方向上获得深度剖面信息。顶部的图像或tof相机的使用允许两个深度剖面从相同采集的计算。
[0131]
此外，分割图像之外的点可用于计算肉鸡的高度。
[0132]
深度剖面分析图的实例呈现为线性测量值，但捕获2d图像的tof相机或旋转激光雷达的若干扫描线(这些扫描线在解剖学上映射至身体图)的累积允许执行其它计算，诸如拟合椭圆。当将这种方法相比于以卷尺和量具实际取得的动物高度时，线性测量为更类似的测量。然而，这种方法不限于线性测量，并且tof信息可用于拟合表面。
[0133]
另外，解剖点还可通过图像信息来协助。例如，肉鸡的头部相比于身体为较温暖的，所以该特征可用于直接地定位头部。以类似方式，头部相比于其它身体部分通常为较高的，这可以通过遥测或图像位置加以利用。
[0134]
接下来，详细介绍所提出方法的不同实例：
[0135]
—实例1：侧视图或倾斜视图的作为形状分析图的质心
[0136]
热相机、视频相机和激光雷达已校准。因此，该方法包括步骤a)：以热相机采集图像并且通过温度阈值分割一头猪。然后，步骤b)，该方法包括以旋转激光雷达测量至极坐标(ρ,φ)中的若干点的距离和使极坐标中的激光雷达测量值相关于图像内的特定像素位置(x,y)。在步骤c1)，猪的质心计算为作为中心圆点的分割图像(x0,y0)的质量中心，如图22a所示。在步骤c2)，该方法找出如图7、图8、图9和图10a所示的局部最小距离、局部最大距离和转折点，并且计算尾部、最大臀部(局部最小距离)、大腿端部(转折点)和横跨部(局部最小距离)的深度分析图。最后，在步骤c3)，该方法检查任何深度点是否在质心附近行进或分割图像内所包含的深度点是否处于距离y0，例如，|y-y0|<30。如果这是事实，那么通过深度分析图所检测的解剖点可接受为正确的。
[0137]
—实例2：侧视图或倾斜视图的由形状分析图所检测的多个解剖点
[0138]
热相机、视频相机和激光雷达已校准。该方法包括步骤a)：以热相机采集图像并且通过温度阈值分割一头猪。然后，在步骤b)，该方法包括以旋转激光雷达测量至极坐标(ρ,φ)中的若干点的距离和使极坐标中的激光雷达测量值相关于图像内的特定像素位置(x,y)。在步骤c1)，该方法通过计算霍夫变换而计算分割图像的质心以定位尾部。如果所检测圆圈的中心处于具有质心的距离范围内，那么该方法还计算如图6所示的分割图像的骨架，从而检测分支点和端点。尾部附近的分支点为最大臀部解剖点的近似值。质心或最大臀部的类似高度处的其它侧的分支点为肩部点，质心之下和尾部附近的最低端点为后腿，质心之下和与尾部相对的足部为前腿足部(还最靠近于肩部位置以与头部进行区分，此时猪正嗅探地面)。这得到如图6c所示的简图。更复杂图可如图11、图12、图13和图14所示进行计算。在步骤c2)，该方法找出如图7、图8、图9和图10a所示的局部最小距离、局部最大距离和转折点，并且计算尾部、最大臀部(局部最小距离)、大腿端部(转折点)和横跨部(局部最小距离)的深度分析图。最后，在步骤c3)，该方法检查分割图像内的激光雷达测量值根据形状
分析是否在肩部和最大臀部附近交叉，并且还检查两个图中常见的所有解剖点是否处于期望位置附近或偏移。如果这些条件是事实，那么通过深度分析图所检测的解剖点可接受为正确的。
[0139]
—实例3：倾斜视图的热相机和tof相机
[0140]
热相机和tof相机已校准。该方法包括步骤a)：以热相机采集图像并且通过温度阈值分割一头猪。然后，在步骤b)，该方法包括以tof相机测量至若干点的距离，计算真实空间中的(rx,ry,rz)位置，和使tof测量值相关于图像内的特定像素位置(x,y)。然后，在步骤c1)，该方法经由霍夫变换而计算分割图像的质心和取向以定位尾部。如果所检测圆圈的中心处于具有质心的距离范围内，那么该方法还计算如图6所示的分割图像的骨架，从而检测分支点和端点。尾部附近的分支点为最大臀部解剖点的近似值。质心或最大臀部的类似高度处其它侧的分支点为肩部点，质心之下和尾部附近的最低端点为后腿，质心之下和与尾部相对的足部为前腿足部(还最靠近于肩部位置以与头部进行区分，此时猪正嗅探地面)。这得到如图6c所示的简图。更复杂图可如图11、图12、图13和图14所示进行计算。然后，在步骤c2，该方法通过在质心附近和以类似于形状分析的取向挑选tof图像线而提取深度剖面，或在分割图像的表面内执行深度剖面的2d分析，换句话讲，分析分割图像内所包含的(rx,ry,rz)点。接下来，该方法找出如图7、图8、图9和图10a所示的局部最小距离、局部最大距离和转折点，并且计算尾部、最大臀部(局部最小距离)、大腿端部(转折点)和横跨部(局部最小距离)的深度分析图。还可以将动物拟合至表面模板并且定位不同解剖点。最后，在步骤c3)，该方法检查两个图中常见的所有解剖点是否处于期望位置附近或偏移。如果这些条件是事实，那么通过深度分析图所检测的解剖点可接受为正确的。
[0141]
—实例4：鸟瞰图和倾斜视图的热相机和tof相机
[0142]
校准热相机和tof相机。该方法包括步骤a)：以热相机采集图像并且通过温度阈值分割一头猪。然后，在步骤b)，该方法包括以tof相机测量至若干点的距离，计算真实空间中的(rx,ry,rz)位置，和使tof测量值相关于图像内的特定像素位置(x,y)。在步骤c1)，该方法利用霍夫变换而执行形状分析以检测肩部和尾部。尾部以多种形式与肩部进行区分，例如，超出肩部的区域(头部)远远大于尾部(仅尾部)。另选地，如图23中方法2所示，因为尾部的梯度远远高于头部，所以轮廓分析允许直接检测尾部，。从肩部中心至尾部中心对图像进行扫描允许确定脊柱。形状分析图包括例如肩部位置、头部和脊柱点，如图23中方法1所示；并且还可扩展至方法2(如果要求额外解剖点的话)。在步骤c2)，该方法计算解剖点的高度。最后，在步骤c3)，该方法检查形状分析图的所有解剖点是否处于正确高度或高于阈值。
[0143]
—实例5：鸟瞰图和倾斜视图的tof相机
[0144]
校准tof相机。该方法包括步骤a)：以tof相机采集图像并且以相比于背景的距离阈值分割。然后，在步骤b)，该方法包括以tof相机测量至若干点的距离，计算真实空间中的(rx,ry,rz)位置，和使tof测量值相关于图像内的特定像素位置(x,y)。在这种情况下，步骤c1等同于实例4。在步骤c2)，深度分析图确保所有分割区域都位于地面的给定高度之上。最后，在步骤c3)，如果找出形状分析的所有点，那么这意味着它们处于正确距离，因为其为分割(步骤a)的先决条件。此外，还可以包括其它计算(诸如计算脊柱的rx点、ry点、rz点的曲率)，和向此类曲率给出特定公差。
[0145]
—实例6：用于额外特征的tof图像和热图像的组合(用于身体图)。如果tof相机和
热相机校准，那么不同身体部分处热特征的额外计算可如图24所示进行计算。
[0146]
还提供了一种用于远程表征活体标本的装置。该装置主要包括所述图像采集单元，分割装置、所引用遥测单元和处理装置，该处理装置用以处理所描述不同信息/数据以允许对活体标本或复杂目标进行表征。该装置还可包括存储器以存储所处理的不同测量值或信息。
[0147]
本发明可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么功能可存储于计算机可读介质中或作为一个或多个指令或代码在计算机可读介质中进行编码。
[0148]
计算机可读介质包括计算机存储介质。存储介质可为可由计算机访问的任何可用介质。通过示例和非限制的方式，此类计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于承载或存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其它介质。如本文所用，磁盘和光盘包括压缩光盘(cd)、激光盘、光学光盘、数字通用光盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘则通过光学方式以激光复制数据。上述的组合还应包括于计算机可读介质的范围内。任何处理器和存储介质可驻留于asic中。asic可驻留于用户终端中。另选地，处理器和存储介质可作为分立部件驻留于用户终端中。
[0149]
如本文所用，计算机程序产品包括计算机可读介质，该计算机可读介质包括所有形式的计算机可读介质，但此类介质被视为非法定的瞬时传播信号的除外。
[0150]
本发明的范围限定于下述权利要求书中。