一种基于计算机视觉技术的重量评估系统及实现方法

本发明涉及动物体重测量技术领域，具体为一种基于计算机视觉技术的重量评估系统及实现方法。

背景技术：

农场猪牛羊等动物的饲养过程中，目前多采用电子秤方式进行称重。电子秤称重过程动物不配合，费时费力，操作较为繁琐。电子秤容易受到污秽侵蚀，寿命有限。同时需要人工记录结果，并关联动物编号，容易出错。

技术实现要素：

本发明的目的在于提供一种基于计算机视觉技术的重量评估系统及实现方法，采用拍照获得体重的方式可以有效地解决传统电子秤称重过程动物不配合，费时费力，操作较为繁琐的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于计算机视觉技术的重量评估系统及实现方法，包括中央处理器、存储器、无线传输模块、耳标模块和距离传感器；所述中央处理器、存储器、无线传输模块、耳标模块和距离传感器集成设置在可手持的壳体设备中，并在壳体设备上安装显示屏、摄像头和用于控制操作的按键；

所述显示屏用于显示拍摄图片，计算结果和用户设置相关的人机交互；所述摄像头用于拍摄动物图片；所述距离传感器用于拍摄动物图片的同时，探测摄像头和动物之间的距离，以方便对拍摄动物的实际尺寸进行校正；所述无线传输模块用于把测量结果上传到云端服务器，或用于设备参数下载及固件程序更新；所述存储器用于存储测量结果到本地设备；所述耳标模块用于读取动物的唯一识别码，并和测量结果进行关联；所述中央处理器作为整个系统的核心处理单元，分别与存储器、无线传输模块、耳标模块、距离传感器、显示屏、摄像头、按键连接，并通过摄像头获取的动物图像，使用算法进行重量估计。

本发明提供另一种技术方案：一种基于计算机视觉技术的重量评估系统及实现方法的实现方法，包括以下步骤：

s1：拍摄图片和测量距离：用户通过按键，触发摄像头拍取动物图像，并显示在显示屏上；同时距离传感器测量被测动物的距离，显示在显示屏上；

s2：图像分割：将s1获取的图像输入到已经训练完成的mask-rcnn神经网络，得到二值化分割后的动物图像以及动物类别；

s3：提取动物参数：根据二值化后的图像，提取动物的三维结构信息,包括体长、胸围、体高参数，并根据s1测量到的距离，计算得到体长，胸围，体高参数的实际数值；

s4：根据动物类别，将s3得到的动物实际参数数值，输入到预训练好的-rbf神经网络，得到拍摄动物的体重估计值；

s5：通过耳标模块扫描动物的耳标，获取到动物的唯一识别码，并和s4得到的体重数值进行关联；

s6：通过存储器存储s5得到的结果在本系统中，方便后续查看；同时可通过无线传输模块将测量结果传输到云端服务器，便于大规模数据自动化管理。

更进一步地，s1中由摄像头拍取的动物图像的预处理步骤如下：

首先实现图像的灰度化，再利用图像直方图均衡化提高图片清晰度、对比度，然后利用双边滤波实现图像去噪，再利用基于retinex理论的图像自适应增强算法解决光晕伪影、色调色彩饱和度降低问题，增加图像可用性。

更进一步地，s2中利用mask-rcnn神经网络,通过在faster-rcnn的基础上添加一个分支网络，在实现目标检测的同时，把目标实例分割,并进行识别。

更进一步地，s3和s4中通过建立体重估计的回归模型，利用rbf神经网络，根据图像中提取出的体尺参数得到物种体尺参数与体重之间的关系。

更进一步地，s6中具体方法包括：

搭建数据库：通过租用一台服务器，在服务器上搭建数据库，将历史数据放入数据库中，使用者的历史预估记录将会实时放入数据库中，服务器也会实时访问数据库来不断完善体重估计模型；

上传图片至服务器，得出预估体重：使用者通过由中央处理器、存储器、无线传输模块、耳标模块、距离传感器、显示屏、摄像头、按键组成的手持终端将被测动物图片上传，服务器输出图片中被测动物的预估体重。

与现有技术相比，本发明的有益效果是：

1、本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，可将中央处理器、存储器、无线传输模块、耳标模块、距离传感器、显示屏、摄像头和用于控制操作的按键集成设置在可手持的壳体设备中，具有手持设备小巧轻便，方便携带和操作等优点。

2、本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，使用了距离传感器，可以自动测量拍摄动物的距离，避免了需要尺寸标定的操作。

3、本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，使用mask-rcnn神经网络对动物图像进行目标分割，提高目标分割精度，同时自动识别动物种类，避免人工进行动物类别选择。

4、本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，将动物耳标作为读取动物唯一识别码，并和估计得到的动物体重自动关联，避免人工输入错误，并方便大规模数据自动化管理。

5、本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，采用手持设备拍照预估动物体重的方式，可以有效避免因动物不配合而产生的各种问题，且与传统方法相比，使用手持设备在时间和空间上都更加节约资源，轻便、快捷、有效，可以极大地提高生产效率。

附图说明

图1为本发明的系统模块连接图；

图2为本发明的mask-rcnn的整体框架图；

图3为本发明使用rolalign处理mask与原图中物体不对齐的效果图；

图4为本发明的划分7*7的bin示意图；

图5为本发明图4对每一个bin进行双线性插值算法图；

图6为本发明图5的算法结果图；

图7为本发明rbf神经网络架构图；

图8为本发明rbf神经网络算法流程图。

图中：1、中央处理器；2、存储器；3、无线传输模块；4、耳标模块；5、距离传感器；6、显示屏；7、摄像头；8、按键。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中：一种基于计算机视觉技术的重量评估系统及实现方法，包括中央处理器1、存储器2、无线传输模块3、耳标模块4和距离传感器5；所述中央处理器1、存储器2、无线传输模块3、耳标模块4和距离传感器5集成设置在可手持的壳体设备中，并在壳体设备上安装显示屏6、摄像头7和用于控制操作的按键8。

在上述实施例中，显示屏6用于显示拍摄图片，计算结果和用户设置相关的人机交互；所述摄像头7用于拍摄动物图片；所述距离传感器5用于拍摄动物图片的同时，探测摄像头7和动物之间的距离，以方便对拍摄动物的实际尺寸进行校正；所述无线传输模块3用于把测量结果上传到云端服务器，或用于设备参数下载及固件程序更新；所述存储器2用于存储测量结果到本地设备；所述耳标模块4用于读取动物的唯一识别码，并和测量结果进行关联；所述中央处理器1作为整个系统的核心处理单元，分别与存储器2、无线传输模块3、耳标模块4、距离传感器5、显示屏6、摄像头7、按键8连接，并通过摄像头7获取的动物图像，使用算法进行重量估计。

为了进一步更好的解释说明上述实施例，本发明还提供一种基于计算机视觉技术的重量评估系统及实现方法的实现方法，包括以下步骤：

第一步：拍摄图片和测量距离：用户通过按键8，触发摄像头7拍取动物图像，并显示在显示屏6上；同时距离传感器5测量被测动物的距离，显示在显示屏6上；

第二步：图像分割：将第一步获取的图像输入到已经训练完成的mask-rcnn神经网络，得到二值化分割后的动物图像以及动物类别；

第三步：提取动物参数：根据二值化后的图像，提取动物的三维结构信息,包括体长、胸围、体高参数，并根据第一步测量到的距离，计算得到体长，胸围，体高参数的实际数值；

第四步：根据动物类别，将第三步得到的动物实际参数数值，输入到预训练好的-rbf神经网络，得到拍摄动物的体重估计值；

第五步：通过耳标模块4扫描动物的耳标，获取到动物的唯一识别码，并和第四步得到的体重数值进行关联；

第六步：通过存储器2存储第五步得到的结果在本系统中，方便后续查看；同时可通过无线传输模块3将测量结果传输到云端服务器，便于大规模数据自动化管理。

在上述步骤一中，图像分析中，图像质量的好坏会直接影响后续对该图像的处理效果；利用摄像头7拍摄动物图像时，图像会受到光照和噪声等环境因素的干扰，即使是同一个动物同一个拍摄角度在不同的环境下采集得到的图像差异也非常大，而且无接触拍照体重预估面对的对象是不同环境下的不同种类的动物，环境对图像差异的影响更是异常明显，因此本发明需要将所采集得到的图像在经过删选之后，进行图像预处理消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而保证后续根据图像预估体重的可靠性；其预处理步骤如下：

首先实现图像的灰度化，再利用图像直方图均衡化提高图片清晰度、对比度，然后利用双边滤波实现图像去噪，再利用基于retinex理论的图像自适应增强算法解决光晕伪影、色调色彩饱和度降低问题，增加图像可用性。

在上述步骤二中，图像分割是图像识别和计算机视觉至关重要的一部分，没有正确的分割就没有正确的识别；图像分割对于本发明无接触拍照体重预估技术有着重大意义，可以体现为两方面；第一方面，是利用精确的图像分割来实现对动物物种的识别；第二方面，是利用图像去获得体重预评估的过程中，需要从图像中获得与体重相关的参数，而某些的参数准确获取是建立在图像精确分割前提下的，如猪的体长的获取就得依靠着猪的轮廓的精确分割；人的腿长测量就得依赖于将腿的图像分割；现在的图像分割方法主要分为几下几类：基于阈值的分割方法，基于区域的分割方法，基于边缘的分割方法以及基于特定理论的分割方法等；本发明利用mask-rcnn神经网络,通过在faster-rcnn的基础上添加一个分支网络，在实现目标检测的同时，把目标实例分割,并进行识别。

在上述实施例中，mask-rcnn是一种实例分割框架，该方法在faster-rcnn的基础上增加了mask分支，在目标检测的同时对目标进行像素级的分割与分类；并用roialign替代faster-rcnn中的roipooling，解决了区域的不匹配问题,具有较高的精度和速率。

mask-rcnn的整体框架如图2所示，主要由backbone、rpn(regionproposalnetwork，rpn)、roialign和classifier共4个部分组成。

backbone用于提取输入图片的特征图(featuremap)，该特征图作为后续rpn和全连接层的输入；rpn用于生成候选区域(regionproposal)，并对每个特征区域进行类别可能性判断和框回归(boundingboxregression)操作；roialign通过收集输入的特征图和候选区域提取proposalfeaturemaps，并作为后续全连接层的输入，进行目标类别判定；classifier利用proposalfeaturemaps计算候选区域的类别，同时再次进行框回归以精确定位检测框，并为目标生成掩码。

在上述步骤三中，本发明的参数选取虽然是基于二维图像的，但是可以从中提取动物的三维结构信息,如体长，胸围，体高等；由于采集图像时，拍照设备与动物的距离不同以及拍摄对象的位置不同，图片中参考系的面积也在变化，所以需要选择一个已知的固定大小参照物来计算相应的参数，现有文献中已提出了将猪的背部图像分割且二值化之后得到的数字图像，通过计算图像中对象物体区域的像素数求出猪的投影面积，而关于参照物的放置并且准确地获得相关参数，本发明通过体重和相关参数的分析并利用rbf神经网络对体重和相关参数进行拟合，从而建立一个较精准的体重预估模型。

其中，体重预估模型的建立包括：

搭建数据库：通过租用一台服务器，在服务器上搭建数据库，将历史数据放入数据库中，使用者的历史预估记录将会实时放入数据库中，服务器也会实时访问数据库来不断完善体重预估模型；

上传图片至服务器，得出预估体重：使用者通过由中央处理器1、存储器2、无线传输模块3、耳标模块4、距离传感器5、显示屏6、摄像头7、按键8组成的手持终端将被测动物图片上传，服务器输出图片中被测动物的预估体重。

为了进一步更好的解释说明本发明，针对mask-rcnn神经网络还提供如下具体的应用例加以说明：

将mask-rcnn神经网络及相关算法应用于实例分割、目标检测、关键点检测等方面，从而实现对照片中实例个体的识别和轮廓分离。

(1)实例分割：

目标个体为图片中色彩单一轮廓清晰的个体，由于验条件为个体单独直立拍照，故不需要考虑待检测个体重叠、卷曲等情况，也不需要使用mask-rcnn实现姿势识别；因此可以直接输入预处理后的待测图片，利用mask-rcnn本身自带的识别功能，可以从图片中直接提取出动物轮廓；对于其他物种的识别方面也同样适用；例如对猪、牛等牲畜以及鸡鸭等家禽的识别，获得“猪”，“牛”，“鸡”等结果；若mask-rcnn的库中不包含待测物种的轮廓识别，则可手动扩充识别的模型库；利用卷积神经网络对训练图像进行特征提取，再通过深度学习建立模型从而达到扩充的目的；不同的深度学习网络对不同物体的特征提取效果不一，在进行迁移时要选取合适的深度学习网络作为主干网络，在使用相同数据进行训练时，使用resnet101比resnet50等网络精度更高，mask-rcnn的算法高速、简便、准确率高，且简单直观、易于使用。

(2)错分率计算：

为了对分割效果进行定量评价，选择以人工在photoshop软件中抠出的目标个体作为评价基准，使用错分率针对本发明算法对目标图像准确率进行评价，将评价结果作为改进标准，从而完善拍照、图像预处理和图像分割的操作方法和相关算法，减少实验误差。

(3)mask-rcnn算法的应用：

mask-rcnn在faster-rcnn的基础上，加入了fcn(maskbranch)用于生成物体的掩模，使用rolalign用于处理mask与原图中物体不对齐的问题。

rolalign通过双线性插值来得到固定四个点坐标的像素值，从而使得不连续的操作变得连续起来，避免像原来rolpooling中因两次取整而产生巨大误差的情况，返回原图的时候误差减小，如图3所示。

具体分为三个步骤：

步骤一：划分7*7的bin，如图4所示；

步骤二：对每一个bin进行双线性插值，得到四个点，如图5所示；

步骤三：通过插完值之后再进行maxpooling得到最终的7*7的roi，如图6所示。

为了进一步更好的解释说明本发明，针对-rbf(径向基)神经网络还提供如下具体的应用例加以说明：

在获得数据后用神经网络等方法进行回归拟合建立数学模型，得到动物体重的计算公式，系统会保存相关模型并进行深度学习，并将参数保存到数据库中，该模型基于rbf神经网络搭建而成，学习到体尺数据与体重对应的关系，从而预测各种动物的体质量；具体方法如下：

(1)rbf网络架构分析：

一个rbf神经网络，在隐层节点足够多的情况下，经过充分学习，可以用任意精度逼近任意非线性函数，而且具有最优泛函数逼近能力，另外，它具有较快的收敛速度和强大的抗噪和修复能力，在解决动物体尺数据的共线性问题的解决上，rbf神经网络以其计算量小、学习速度快、不易陷入局部较小等优点从其他神经网络中脱颖而出；它的网络结构并不复杂，只有两层：隐层和输出层，其网络模型如图7所示：

该结构隐层是使用rbf作为激活函数的神经元，其中rbf隐层常用激活函数是高斯函数：输出层采用线性函数的神经元，做一个线性分类，将数据转化到高维空间，使其在高维空间线性可分；神经元之间非随机的权值的计算方法，第一层的权值设为输入矩阵p的转置，第二层的权值和偏置是要通过输入参数t、第一层的output结果来反推的。

(2)rbf网络算法应用：

在一般的情况下的rbf神经网络有未知量：中心向量ui，高斯函数中常数σ，输出层权值w，算法的学习采用lazyrbf方法，其流程如图8所示：

具体可以描述为：

1)利用kmeans算法寻找中心向量ui；

2)利用knn(knearestneighbor)rule计算σ

3)w可以利用最小二乘法求得。

本发明应用的rbf神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，网络的适用性好；其次，rbf神经网络具有较强的输入和输出映射功能，具有唯一最佳逼近的特性，无局部极小问题存在，并且理论证明在前向网络中rbf网络是完成映射功能的最优网络，且分类能力好，学习过程收敛速度快。

综上所述：本发明提供的一种基于计算机视觉技术的重量评估系统及实现方法，通过图像处理动物体获得参数，再与已知的体重数据拟合获得数学模型并储存在数据库中，实际应用时系统将识别出动物体类型并调用相关模型，计算得到大致的体重数据，可以有效地解决传统的体重秤获得动物体重，由于动物个体并不完全可控，操作较为繁琐的问题，在目前市场上具有较大的应用价值；具有实用性：可实现无接触的动物体重预估；具有高效性：避免传统方法，减少人工量且简化操作；具有可靠性：减少对传统体重秤的依靠，预测结果可靠；具有创新性：提出基于计算机视觉和深度学习的图像体重预估模型。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。