一种自动扫描设备与方法与流程

本发明属于农牧业装备领域。

背景技术：

1、目前畜牧养殖趋向于规模化集中养殖。在养殖中需要对牲畜种群进行快速测量体尺等操作处理，为日常管理以及种畜繁殖优选积累数据。传统的对牲畜群进行体尺测量主要是采用人工测量的方法。人工测量需要对牲畜进行保定，测量操作繁琐，效率低，对牲畜刺激大。生产管理实践中，受效率限制，只能进行有限的数据测量。

2、目前有研究采用机器视觉的方法进行体尺测量，其中有代表性的包括：

3、文献1《基于机器视觉的羊体体尺测量方法研究》，内蒙古科技大学学报，2015年12月，公开了基于照片数据，采用侧面照片轮廓与特征点提取方法提取关键体征特征点，根据图像相邻像素与实际空间中的距离比例，在保障摄像头与物体距离固定的前提下，进行估算牲畜体尺的方法。

4、文献2《基于双目视觉及mask rcnn的牛体尺无接触测量》，畜牧科学，2020年1月，公开了采用mask rcnn机器深度学习算法，对牛图像进行分割，提取牛轮廓信息，并利用双目视觉原理将牛体尺测量点的坐标转换为空间三维坐标，利用欧氏距离计算体尺的方法。

5、文献3《基于kinect v4的牛体尺测量方法》，计算机应用，2021年6月30，公开了采用rgbd深度图像摄像头，获取彩色rgb照片和深度图照片，利用深度学习yolov5目标检测算法和彩色信息检测牛体尺特征部位信息，转换到三维坐标，进行体尺计算的方法。该方法集中于解决从体侧拍摄牛，充分利用rgb和深度图数据，从体侧一个角度同时获取体高、体长的体尺的方法。

6、文献4《多视角深度相机的猪体三维点云重构及体尺测量》，农业工程学报，2019年12月，以及专利cn110986788，《一种基于三维点云牲畜表型体尺数据的自动测量方法》，公开了一种基于三维点云牲畜表型体尺数据的自动测量方法，采用3组深度摄像机，从多个角度获取牲畜的不同局部点云图数据，对多个局部点云去噪，然后基于轮廓连贯性进行点云配准，拼接融合成全局点云，在全局点云中用积分方法计算相关的体长、体高、腹围等体尺值。

7、文献1所述方法，因为纯粹采用rgb照片数据进行分析测量，这样的测量方法是平面图，受被测对象站立位姿、景深前后位置影响，测量精度低，只能测量体长这种线性的长度数据，不能准确测量胸围、腹围这些立体尺寸数据。

8、文献2所述方法，采用了深度学习算法，改进了特征点提取方法，改进了采用双目摄像头，可以利用双目视觉视角差，计算得到特征点的空间坐标，进而进行体尺计算。但这种方法精度低，受到双目摄像头两个摄像头之间的距离基线的限制，本身原理上精度就难以保障，距离越远，误差被放大越多，和被测对象距离达到一米以上时，误差在几个厘米级，对于实际行业应用无法满足需求。

9、文献3改进采用了rgbd深度摄像头，由于深度摄像头采用双目光线时间差原理，精度大幅提高，可达到毫米级别，但文献3的方法仅采用了一组侧面rgbd数据，只解决了体高、体长等线性体尺数据的测量。

10、文献4进一步改进，采用了3组深度摄像头，从牲畜顶部和两个侧面获取点云图数据，然后进行融合拼接，然后进行体长、体高、腹围等体尺计算。但文献4所采用的方法，是采用点云图边缘重合对齐的方法，对于两个点云图的边缘点，计算各种重合时，取误差最小的重合，但对于牲畜的弧形体侧来说，重合对齐缺乏典型对齐特征点，对齐操作非常困难，甚至可能需要人手工操作进行对齐，对齐本身带来的误差在厘米级以上，抵消了深度摄像头本身精度提高带来的改进。另外，3组深度摄像头的方案不易部署，不易使用维护，成本也高，难以在产业中推广应用，在研究中采用较多。

11、综合以上典型公开文献，从技术的角度，解决方案从单目摄像头到双目摄像头，到深度摄像头，到多组深度摄像头，技术方案在逐渐进步。然而，上述方案主要是面向研究，不适合行业应用的实际需求，且测量精度不够。所采用的方法通常是放在通道中，前后牲畜不能准确分隔；抑或仅仅是实验环境，需要人工驱赶干预，缺乏准确的自动化测量平台。

12、行业中，规模化集中牧场需要容易部署的设备平台，易于使用，能够规模化处理，成本适合，精度高，才能为牲畜的种群管理、生长管理提供准确的数据。并且在视觉技术日益发展的背景下，能够自动化高精度获取牲畜的原始3d点云图，甚至同时采集各角度的彩色照片以及视频，进行存储记录，可以为后继分析提供原始数据存档。

技术实现思路

1、本发明的第一目的在于提供一种高精度同步正交活体牲畜自动扫描处理设备，能够对牲畜群逐只自动进行高效率的扫描处理，获取每只牲畜的整体高精度3d点云图像数据，并全面高精度的自动测量各项体尺数据，关联牲畜所佩戴的电子耳标id，自动记录数据。

2、为实现上述目的，本发明通过设置一长方体形箱体扫描平台，使得牲畜站立位姿得以容易的控制在合理范围，在自动扫描处理设备的顶部横向居中位置和侧面精准布置两组高精度rgbd深度摄像头，在扫描平台建立精准扫描处理现实空间坐标系，两组深度摄像头在坐标系中具有精准空间位置坐标，两组摄像头在空间位置中，扫描视角呈正交90度安装，在牲畜行进方向x轴位置空间上同步移动，在摄像主机的控制下，在时间上同步，同时采样扫描拍摄待测牲畜，取得俯视角度的深度图数据和侧视角度的深度图或点云图数据，并对两组深度图或点云图数据根据两组深度摄像头各自的空间位置坐标，直接进行平移加旋转映射转换为全局的点云图，进而直接拼接成每只牲畜的整体3d点云图像数据，然后进行体尺计算。

3、具体的，扫描处理设备的进入自动门打开，牲畜进入设备平台，进入自动门自动关闭，对进入到设备平台上的牲畜进行拍照扫描，并将获取的数据提交摄像数据处理主机，摄像数据处理主机将同时拍摄到的牲畜背部点云图数据和一个侧面点云图数据依据两组摄像头的空间相对位置进行坐标变换并拼接，合成牲畜身体全身立体模型，进行全面且精确的体尺测量，可得到肩高、背高、臀高、胸宽、腹宽、胯宽、体直长、体斜长、胸围、腹围等数据，并且精度提到到毫米级，并根据读取到的电子耳标id，唯一编号并自动关联存储相关数据。

4、其中，牲畜站立平台长度与牲畜平均体长匹配，牲畜站立平台长度为牲畜体长的1到1.5倍，站立平台的宽度为牲畜体宽的1到1.4倍，处站立平台底部为一称重平台，装有称重传感器，体重读取器读取称重平台所测量得到的称重数据。

5、扫描摄像头为具有深度扫描的摄像头，直接输出深度图或点云图数据。

6、其中进一步包括，扫描摄像头具有滑轨装置，顶部扫描摄像头可在前后方向调整位置，侧面一组扫描摄像头可在左右方向调整位置。

7、其中，具体的，设扫描处理现实空间座标系<xr, yr, zr>，其xr轴平行于站立平台前后方向，取牲畜行进方向为xr轴座标正方向，yr轴平行于站立平台左右横向方向，取牲畜行进方向左侧为yr轴座标正方向，zr轴平行于站立平台上下竖直方向，取向上为zr轴正方向，坐标原点（x0, y0, z0）取顶部摄像头相机座标系原点所在的现实空间位置座标，易于后期计算处理；则顶部扫描摄像头被安装于其相机座标系<xt, yt, zt>的xt轴重合于现实空间xr轴，方向一致，yt轴重合于现实空间yr轴，方向相反，zt轴重合于现实空间zt轴，方向相反；侧面扫描摄像头其相机座标系<xs, ys, zs>的xs轴平行于现实空间xr轴，方向一致，ys轴平行于现实空间zr轴，方向一致，zs轴平行于现实空间yr轴，方向一致；两组扫描摄像头扫描方向成正交90度放置。

8、扫描摄像头深度扫描视角为90度正负30度，两组扫描摄像头与牲畜被扫描面的距离基线为其体长的1/2（正负50厘米）。

9、扫描摄像头具有滑轨装置，在现实空间座标系<xr, yr, zr>坐标系下，顶部扫描摄像头可保持（y, z）位置不动，沿xr轴前后线性方向调整位置，侧面一组扫描摄像头可保持（y）平面位置不动，沿zr轴上下，xr轴前后方向在平面内调整位置。两组扫描摄像头通过至少一个固定同步连接杆固定，使两组扫描摄像头在前后xr轴方向上保持相同的空间同步位置，两组摄像头现实空间位置坐标为（xc, y1, z1），（xc, y2, z2），设备可采用步进电机驱动扫描摄像头在滑轨上调整位置。

10、在现实空间座标系原点取顶部摄像头相机座标系原点所在空间位置的情况下，顶部摄像头相机座标系座标原点在现实空间座标系下坐标（xc, y1, z1）=（x0, y0, z0）=（0,0,0），侧面摄像头相机座标系座标原点坐标（xc, y2, z2）=（0, y2, z2），则对于顶部扫描图像在顶部摄像头相机座标系中所得到的点云数据，对任一点（xt, yt, zt）进行变换如下：

11、[xt’yt’zt’]= [xt-yt-zt]

12、即，对于顶部扫描数据，xt座标数据保持不变，对yt、zt座标数据进行镜像；

13、对于侧面扫描图像的点云数据，对任一点（xs, ys, zs）进行变换如下：

14、[xs’ys’zs’]= [xszs+y2-ys+z2]

15、即，对于侧面扫描数据，x座标数据保持不变，以x轴正方向为转轴对座标系进行右手旋转，使侧面摄像头在其相机空间座标系下所获取的zs轴数据加上侧面摄像头在现实空间中的y2位置偏移，转为现实空间座标系中的yr轴数据；使得侧面摄像头在其相机空间座标系下所获取的ys轴数据做镜像反转后，加上侧面摄像头在现实空间中的z2位置偏移，转为现实空间座标系中的zr轴数据；

16、则全局点云图数据为顶部和侧面图像数据变换后的并集合：

17、{[xgxgxg]} = {[xt’yt’zt’]} ∪{[xs’ys’zs’]}

18、其中，牲畜站立平台的上部为敞口，在扫描摄像头深度扫描视角内保持不存在遮挡物。

19、牲畜站立平台有扫描摄像头侧的一面为一透明扫描窗，扫描窗装有透明板材料，使牲畜保持站立在平台中不能逃逸，同时使得侧面扫描摄像头深度扫描视角内保持空旷，可以直接无遮挡的扫描拍摄整个牲畜身体体侧。

20、其中包括一从上到下贯穿的支柱侧梁，以固定保护侧面透明扫描窗。

21、其中两组扫描摄像头具有同步扫描拍摄信号，摄像主机发送同步扫描拍摄信号，控制两组扫描摄像头同时进行拍摄扫描。两组扫描摄像头只有在时间上保持同步扫描拍摄，才能确保同时得到的顶部和侧面两组数据具有相同位姿，才能进行完整拼接。

22、其中，由于牲畜是活体目标，在站立平台上会不时活动，由于深度图和点云图的拍摄扫描是逐行扫描，完成完整一帧图像数据的扫描需要10ms以上级别的时间，通常一秒钟只能采集30帧，高性能的可以达到每秒60帧，在牲畜活动时进行扫描，即使是体态位姿进行微小的重心调整，得到的数据也会发生位移、拖影，产生较大的精度误差，这种误差少则5mm以上，多则达到厘米级，对于形体较大的牛等牲畜，由于身高高，脚下体态的微小变化会导致背部的很大位移，因此在活体牲畜保持绝对静立不动时进行获取数据精度最高；一般的方法很难检测到微小的体态位姿调整，本发明通过创造性的采用结合体重读取器读到的体重数据来监测牲畜的体态位姿变化；在活体牲畜进行体态位姿调整时，即使是微小的调整，也会在体重数据上产生快速跳变；只有当在持续时间t（例如t=2s）内，相邻体重数据读数的差值小于设定值δ（例如取δ的范围为牲畜自身体重的0.1%，对于300kg的牛只，取δ= 300g）时，才能判定牲畜处于静止状态，摄像数据处理主机触发发送同步扫描信号，并且在扫描拍摄时间段内持续监测体重数据，如果相邻体重数据的差值变化一直保持小于δ，则获取的扫描数据有效，反之扫描数据无效，设备重新进行扫描。

23、摄像数据处理主机将同时拍摄到的牲畜背部图像和一个侧面图像至少包括一组深度图或一组点云图，摄像数据处理主机对两组图像根据各自扫描摄像头在现实空间中的原点坐标进行变换后进行拼接，合成牲畜身体全局3d点云图，并基于全局3d点云图，选定测量位置，进行体尺测量。

24、其中，通过对两组扫描摄像头的精确空间坐标位置设定和控制，使得扫描拍摄获取的顶部与侧面点云图在进行全局点云拼接计算时，计算量极大简化，点云数据只需做基本的矩阵加减算法，不需做浮点数乘法运算，不仅效率高，而且精度高。

25、本发明的另外一个目的在于提供一种针对活体牲畜的高效率自动扫描测量方法，基于一个自动扫描处理设备，包括处理牲畜站立平台，前后自动开关门，体重读取器，电子耳标id读取器，其特征在于包括：

26、设备具有至少一台摄像数据处理主机；牲畜站立平台顶部有一组扫描摄像头；牲畜站立平台一个侧面有一组扫描摄像头；

27、两组摄像头连接到摄像数据处理主机，对站立在平台上的牲畜进行拍照扫描，并将获取的数据提交摄像数据处理主机，摄像数据处理主机将同时拍摄到的牲畜背部照片和一个侧面照片进行拼接，合成牲畜身体立体模型，进行体尺测量，根据读取到的电子耳标id自动存储数据；

28、其中，牲畜依次进入自动扫描处理设备，自动处理设备对单只牲畜进行自动处理；自动处理设备在完成任务后，打开前门释放单只牲畜；牲畜离开后，自动处理设备打开后门，准备接纳下一只牲畜；下只排队的牲畜进入自动处理设备，进行循环往复处理；

29、其中，牲畜站立平台长度为牲畜体长的1到1.5倍，站立平台的宽度为牲畜体宽的1到1.4倍，处站立平台底部为一称重平台，装有称重传感器，体重读取器读取称重平台所测量得到的称重数据；

30、扫描摄像头为具有深度扫描的摄像头，直接输出深度图或点云图数据；

31、其中，具体的，设扫描处理现实空间座标系<xr, yr, zr>，其xr轴平行于站立平台前后方向，取牲畜行进方向为xr轴座标正方向，yr轴平行于站立平台左右横向方向，取牲畜行进方向左侧为yr轴座标正方向，zr轴平行于站立平台上下竖直方向，取向上为zr轴正方向，现实空间座标系座标原点（x0, y0, z0）取顶部摄像头相机座标系原点所在的现实空间位置座标，易于后期计算处理；则顶部扫描摄像头被安装于其相机座标系<xt, yt, zt>的xt轴重合于现实空间xr轴，方向一致，yt轴重合于现实空间yr轴，方向相反，zt轴重合于现实空间zt轴，方向相反；侧面扫描摄像头其相机座标系<xs, ys, zs>的xs轴平行于现实空间xr轴，方向一致，ys轴平行于现实空间zr轴，方向一致，zs轴平行于现实空间yr轴，方向一致；两组扫描摄像头扫描方向成正交90度放置。

32、扫描摄像头深度扫描视角为90度正负30度，两组扫描摄像头与牲畜被扫描面的距离基线为其体长的1/2（正负50厘米）；

33、扫描摄像头具有滑轨装置，在现实空间座标系<xr, yr, zr>坐标系下，顶部扫描摄像头可保持（y, z）位置不动，沿xr轴前后线性方向调整位置，侧面一组扫描摄像头可保持（y）平面位置不动，沿zr轴上下，xr轴前后方向在平面内调整位置。两组扫描摄像头通过至少一个固定同步连接杆固定，使两组扫描摄像头在前后xr轴方向上保持相同的空间同步位置，两组摄像头现实空间位置坐标为（xc, y1, z1），（xc, y2, z2），设备可采用步进电机驱动扫描摄像头在滑轨上调整位置。

34、牲畜站立平台的上部为敞口，使得扫描摄像头深度扫描视角内保持不存在遮挡物；

35、牲畜站立平台有扫描摄像头侧的一面为一透明扫描窗，扫描窗装有透明板材料，使牲畜保持站立在平台中不能逃逸，同时使得侧面扫描摄像头深度扫描视角内保持空旷，可以直接无遮挡的扫描拍摄整个牲畜身体体侧；

36、进一步包括一从上到下贯穿的支柱侧梁，以固定保护侧面透明扫描窗；

37、两组扫描摄像头具有同步扫描拍摄信号，摄像主机发送同步扫描拍摄信号，控制两组扫描摄像头同时进行拍摄扫描；

38、摄像数据处理主机将同时拍摄到的牲畜背部照片和一个侧面照片至少包括一组深度图或点云图，摄像数据处理主机分别根据对应扫描摄像头的相机座标原点在现实空间座标系中的坐标（xc，y1，z1）和（xc，y2，z2），将深度图中的所有点的坐标映射到现实空间座标系，进行坐标变换，然后进行拼接，合成牲畜身体全局3d点云图，并基于全局3d点云图，选定测量位置，进行体尺测量。

39、其中，在现实座标系原点取顶部摄像头相机空间座标系原点所在空间位置的情况下，顶部摄像头相机空间座标系原点坐标（xc, y1, z1）=（x0, y0, z0）=（0,0,0），侧面摄像头相机空间座标系原点坐标（xc, y2, z2）=（0, y2, z2），则对于顶部扫描图像的点云数据，对任一点（xt, yt, zt）进行变换如下：

40、[xt’yt’zt’]= [xt-yt-zt]

41、即，对于顶部扫描数据，xt座标数据保持不变，对yt、zt座标数据进行镜像；

42、对于侧面扫描图像的点云数据，对任一点（xs, ys, zs）进行变换如下：

43、[xs’ys’zs’]= [xszs+y2-ys+z2]

44、即，对于侧面扫描数据，x座标数据保持不变，以x轴正方向为转轴对座标系进行右手旋转，使侧面摄像头在相机空间坐标系下所获取的zs轴数据加上侧面摄像头在现实空间中的y2位置偏移，转为现实空间座标系中的yr轴数据；使得侧面摄像头在相机空间坐标系下所获取的ys轴数据做镜像反转后，加上侧面摄像头在现实空间中的z2位置偏移，转为现实空间座标系中的zr轴数据；

45、则全局点云图数据为顶部和侧面图像数据变换后的并集合：

46、{[xgxgxg]} = {[xt’yt’zt’]} ∪{[xs’ys’zs’]}

47、其中，采用图像处理算法，对牲畜站立体位姿态进行识别判断，过滤去掉体位歪斜、扭头、低头、弓背体姿，选取直立平直向前体姿的深度图数据。

48、进一步，识别牲畜背部左右对称中轴线，将已有的一个侧面的点云图数据{[xs’ys’zs’]}进行复制，并以牲畜背部中轴线所在竖直平面进行镜像翻转到另外一侧，形成另外一侧体侧数据{[xs2’’ys2’’zs2’’]}，将俯视背部点云图数据与两个侧面点云图数据进行整体拼接合成牲畜身体全局3d点云图立体模型，即：

49、{[xg xg xg]} = {[xt’yt’zt’]} ∪{[xs’ys’zs’]} ∪{[xs2’’ys2’’zs2’’]}。

50、其中，体重读取器读到的体重数据连续多个相邻读数的差值变化小于设定值δ时，判定牲畜处于静止状态，摄像数据处理主机触发发送同步扫描信号，并且在扫描拍摄时间段内持续监测体重数据，如果相邻体重数据差值一直保持小于δ，则获取的扫描数据有效，反之扫描数据无效，设备重新进行扫描。

51、其中，体尺测量计算采用在点云图中直接计算相邻两点的欧几里得距离，然后对所测量的体尺尺寸路径上，所有点间距离进行积分求和。

52、本方法通过对在自动扫描处理设备上安装的两组深度摄像头获取的时间同步、前后同位置但在空间角度正交的点云图数据在三维空间中进行转换拼接，获得牲畜的精准完整的全局3d点云图，并通过传统的图像处理算法或深度学习算法对牲畜站立体位姿态进行识别判断，过滤去掉体位歪斜、扭头、低头、弓背体姿，选取直立平直向前体姿的点云图数据，利用了牲畜身体体形左右对称的规律，只取一个侧面的点云图数据，将一个侧面的点云图数据进行复制，并进行镜像翻转到另外一侧，形成另外一侧体侧数据，将俯视背部点云图数据与两个侧面点云图数据进行整体拼接合成牲畜身体3d点云图立体模型；并且通过结合对体重数据的实时监测，取得最佳获取摄像扫描的时间窗口，使得获取的数据精度达到最佳状态，避免了拖影等精度损失，降低了数据获取成本，降低了数据计算成本，降低了设备的复杂度，提高了设备的可用性。本发明提高了设备的平台化、标准化，降低了设备的复杂度，提高了设备的可用性，提高了数据的精度，降低了数据获取成本，降低了数据计算成本，为行业建立了标准3d扫描设备平台，具有重要的行业应用意义，易于在行业推广使用。

53、本发明的应用场景不局限于传统畜牧养殖，对于四足肢蹄类动物都具有适用性，如梅花鹿的养殖培育，甚至动物园中的特种物种的养殖繁育；对于鸵鸟等品种，在适当修改扫描平台框架尺寸比例后，理论上也可应用。

54、