重量检测方法、装置、系统、电子设备和存储介质与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种重量检测方法、装置、系统、电子设备和存储介质。


背景技术：

2.智能化的死猪估重算法对于保险公司来说具有至关重要的作用，尤其在死猪赔付中，虚报尸长尸重都是造成保险公司理赔款多支出的重要原因之一。
3.在现有技术中，死猪估重主要有专家经验和地磅称重法两种方式。专家经验：专家根据死猪的日龄，品种等信息，根据猪只过往经验估计死猪死时的重量；地磅称重法：农户将猪只平放在地磅上，将地磅的读数作为死猪的重量。
4.专家经验通过人为的获取经验，主观的进行判断并进行决策，忽视了个体的差异，从而易发生估计的重量过大或过小的情况；即使使用地磅称重，由于死猪的称重多应用于生猪保险理赔中，易发生地磅被动了手脚，导致地磅的数据不可靠的问题，从而产生骗保行为。同时，地磅等类似称重设备均需要经常进行校准，增加了人力成本和操作复杂度。


技术实现要素：

5.本发明提供一种重量检测方法、装置、系统、电子设备和存储介质，用以解决现有技术中死猪估重不准确可靠，操作复杂且耗时耗力的缺陷。
6.本发明提供一种重量检测方法，包括：
7.获取待检测对象在至少两个视角下的图像；
8.对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
9.基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
10.将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
11.根据本发明提供的重量检测方法，所述对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，包括：
12.基于各视角下的图像的拍摄角度，对所述各视角下的图像中的特征点所在的特征点图块进行空间变换，并对空间变换后的特征点图块进行特征提取，得到所述各视角在同一空间下的特征点描述信息；
13.基于所述至少两个视角的特征点描述信息，对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组。
14.根据本发明提供的重量检测方法，所述拍摄角度的确定步骤包括：
15.基于各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度。
16.根据本发明提供的重量检测方法，所述基于各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度，包括：
17.基于方向估计模型，应用各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度；
18.所述方向估计模型是基于样本三维点在不同视角下的图块，以不同视角下的同一样本三维点所对应的特征点描述信息差异最小化为目标训练得到的。
19.根据本发明提供的重量检测方法，所述对空间变换后的特征点图块进行特征提取，得到所述各视角在同一空间下的特征点描述信息，包括：
20.基于特征提取模型，应用所述空间变换后的特征点图块，对所述特征点图块进行特征提取，得到所述特征点图块的特征点描述信息；
21.将所述特征点图块的特征点描述信息映射至所述特征点图块所属的各视角下的图像，得到所述各视角在同一空间下的特征点描述信息；
22.所述特征提取模型基于至少两个视角下的样本图像中，相匹配的特征点所在的特征点图块之间的相似度，和/或，不匹配的特征点所在的特征点图块之间的相似度训练得到。
23.根据本发明提供的重量检测方法，所述将所述点云数据与模板点云数据进行匹配，包括：
24.在所述待检测对象为牲畜的情况下，基于所述点云数据，确定所述待检测对象的体长；
25.基于所述待检测对象的体长，从所述模板点云数据中筛选得到与所述体长匹配的第一模板点云数据；
26.将所述点云数据与所述第一模板点云数据进行匹配。
27.根据本发明提供的重量检测方法，所述基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据，包括：
28.基于所述特征点组，确定图像采集设备的内外参和在各视角下的位姿，并对所述至少两个视角下的图像中的特征点进行点云重建，得到所述待检测对象的初始点云数据；
29.基于所述初始点云数据中的三维点，以及所述图像采集设备在参考视角下的位姿，对所述初始点云数据进行扩张，得到所述待检测对象的点云数据。
30.本发明还提供一种重量检测装置，包括：
31.图像获取单元，用于获取待检测对象在至少两个视角下的图像；
32.特征点匹配单元，用于对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
33.点云重建单元，用于基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
34.点云匹配单元，用于将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
35.本发明还提供一种重量检测系统，包括：图像采集设备，以及重量检测设备；
36.所述图像采集设备用于采集待检测对象在至少两个视角下的图像，并将所述至少两个视角下的图像发送至所述重量检测设备；
37.所述重量检测设备用于对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据，并将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量，所述特征点组包括至少两个视角下的特征点。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述重量检测方法。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述重量检测方法。
40.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述重量检测方法。
41.本发明提供的重量检测方法、装置、系统、电子设备和存储介质，通过对至少两个视角下的图像分别进行特征点提取，并在各视角图像之间进行特征点匹配，得到特征点组；通过特征点组对待检测对象进行点云重建，得到点云数据；将重建后的点云数据与模板数据库中的模板点云数据进行匹配，匹配成功的模板点云数据对应的重量则为待检测对象的重量。能够实现无接触、自动智能化的对待检测对象进行重量检测，从而避免了现有技术中需要人工称重带来的问题，不仅提高了重量检测的效率，降低了人力成本，而且提高了准确性和可靠性。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明提供的重量检测方法的流程示意图之一；
44.图2是本发明提供的重量检测方法中步骤120的流程示意图之一；
45.图3是本发明提供的特征点图块获取方法的流程示意图；
46.图4是本发明提供的重量检测方法中步骤120的流程示意图之二；
47.图5是本发明提供的重量检测方法中步骤140的流程示意图；
48.图6是本发明提供的重量检测方法中步骤130的流程示意图；
49.图7是本发明提供的重量检测方法的流程示意图之二；
50.图8是本发明提供的重量检测装置的结构示意图；
51.图9是本发明提供的重量检测系统的结构示意图；
52.图10是本发明提供的电子设备的结构示意图。
具体实施方式
53.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，
而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.目前，死猪估重主要有专家经验和地磅称重法两种方式，专家经验通过人为的获取经验，主观的进行判断并进行决策，忽视了个体的差异，从而易发生估计的重量过大或过小的情况；地磅称重易发生地磅被动了手脚，导致地磅的数据不可靠的问题。同时，地磅需要经常进行校准，增加了人力成本和操作复杂度。
55.针对上述情况，本发明实施例提供一种重量检测方法，该方法可应用于生猪保险理赔场景中对死猪进行重量检测；还可以应用于牛羊等其他牲畜类或鸡鸭等家禽类动物体的重量检测场景，同时该方法对待检测对象是否存在生命体征不作具体限定，也就是说既可以对死猪进行重量检测，也可以对活体猪只进行重量检测。
56.本发明实施例提供的重量检测方法，针对待检测对象，首先获取其在至少两个视角下的图像，通过图像处理算法对该至少两个视角下的图像分别进行特征点提取，并在各视角图像之间进行特征点匹配，得到特征点组；通过特征点组对待检测对象进行点云重建，得到点云数据；将重建后的点云数据与模板数据库中的模板点云数据进行匹配，匹配成功的模板点云数据对应的重量则为待检测对象的重量。能够实现无接触、自动智能化的对待检测对象进行重量检测，从而避免了现有技术中需要人工称重的带来的问题，不仅提高了重量检测的效率，降低了人力成本，而且提高了准确性和可靠性。
57.下面，结合附图对本发明实施例的方案进行详细说明。
58.图1是本发明提供的重量检测方法的流程示意图之一，该方法中各步骤的执行主体可以是重量检测装置，该装置可以通过软件和/或硬件实现，该装置可以集成在电子设备中，电子设备可以是个人电脑，云端设备或者智能手机、平板电脑等移动设备。如图1所示，本发明实施例提供的重量检测方法可以包括如下步骤：
59.步骤110，获取待检测对象在至少两个视角下的图像。
60.具体地，待检测对象即需要进行重量检测的对象，待检测对象具体可以是牛羊等牲畜类或鸡鸭等家禽类动物体，例如可以是死猪、死牛、活体猪只等。
61.图像采集设备可以在至少两个角度对待检测对象进行拍摄，得到至少两个视角下的图像；还可以是从视频中抽取得到的至少两个角度的图像帧。例如，首先在任意角度拍摄一张包含待检测对象的图像，然后调整图像采集设备的拍摄角度，拍摄另一张包含待检测对象的图像，以此类推，可拍摄得到至少两个视角下的图像。该至少两个视角下的图像可表征同一待检测对象在不同视角下的形态特征。
62.此外，该至少两个视角下的图像可以是同一图像采集设备采集得到的，也可以是不同的图像采集设备采集得到的。在通过不同的图像采集设备采集得到的情况下，可对该至少两个视角下的图像进行预处理。比如调整图像的分辨率、统一图像尺寸大小或图像畸变校正等。
63.步骤120，对至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，特征点组包括至少两个视角下的特征点。
64.具体地，至少两个视角下的图像中的特征点是指图像中比较显著的点，比如轮廓点，较暗区域中的亮点，较亮区域中的暗点等；还可以是关键点，比如猪只的耳部、鼻子、臀部等关键部位的关键点。
65.为了得到图像中的特征点，可通过特征点提取算法得到。可采用常用的特征点提取算法，如orb(oriented fast and rotated brief)特征、sift(scale invariant feature transform)特征进行粗特征提取，当然还可以使用训练好的特征点提取模型进行特征点提取。提取得到的特征点可反映特征点在其各自视角下的位置、图像特征和语义特征等。
66.得到各视角下的图像中的特征点之后，即可针对各视角之间的特征点进行特征点匹配，得到特征点组。匹配得到的特征点组中包括至少两个视角下的特征点。可理解的是，各视角之间的特征点的差异越小，表示该特征点属于待检测对象的同一部位区域的概率越大，则各视角之间的特征点能够匹配到一个特征点组内的概率越大；反之，各视角之间的特征点的差异越大，表示该特征点属于待检测对象的同一部位区域的概率越小，则各视角之间的特征点能够匹配到一个特征点组内的概率越小。
67.例如，45度视角下拍摄的图像a中包括a、b、c、d四个特征点，90度视角下拍摄的图像b中包括e、f、g、h、k五个特征点。经特征点匹配后得到，a与f是相匹配的特征点，c与h是相匹配的特征点，则可得到两组特征点组。其中第一组特征点组包括特征点a和f；第二组特征点组包括特征点c和h。
68.再例如，还包括一张120度视角下拍摄的图像c，图像c中包括o、p和k三个特征点。经特征点匹配后得到，特征点o、a与f是相匹配的特征点，则可得到两组特征点组。其中第一组特征点组包括特征点o、a和f；第二组特征点组包括特征点c和h。
69.步骤130，基于特征点组，对待检测对象进行点云重建，得到待检测对象的点云数据。
70.具体地，由于特征点组能够反映待检测对象的同一特征点在至少两个视角上的匹配关系，因此在得到特征点组的基础上，可通过图像深度学习的方法进行图像采集设备的内外参估计，从而进行待检测对象的点云重建，由此得到的点云数据能够从三维空间的角度，展示待检测对象在空间上的结构特征。
71.可以首先针对特征点组重建待检测对象的稀疏点云数据，然后利用深度数据对稀疏点云数据进行扩张，得到待检测对象的稠密点云数据。
72.步骤140，将点云数据与模板点云数据进行匹配，将与点云数据相匹配的模板点云数据的重量确定为待检测对象的重量。
73.具体地，得到待检测对象的点云数据之后，可将该点云数据与模板库里的模板点云数据进行匹配，通过计算配准损失的方式进行匹配，得到与点云数据相匹配的模板点云数据，即得到的模板点云数据与待检测对象之间的配准损失最小，从而可将得到的模板点云数据的重量确定为待检测对象的重量。
74.模板点云数据可以是预先存储的，模板点云数据可以是针对真实的对象进行三维扫描得到的，也可以是计算机模拟得到的，本发明实施例对此不作具体限定。
75.具体匹配时，可以将点云数据与模板点云数据直接匹配，还可以先对模板点云数据进行筛选，再将点云数据与筛选后的模板点云数据进行匹配，从而提高点云数据的匹配效率。
76.本发明实施例提供的方法，通过对至少两个视角下的图像分别进行特征点提取，并在各视角图像之间进行特征点匹配，得到特征点组；通过特征点组对待检测对象进行点
云重建，得到点云数据；将重建后的点云数据与模板数据库中的模板点云数据进行匹配，匹配成功的模板点云数据对应的重量则为待检测对象的重量。能够实现无接触、自动智能化的对待检测对象进行重量检测，从而避免了现有技术中需要人工称重的带来的问题，不仅提高了重量检测的效率，降低了人力成本，而且提高了准确性和可靠性。
77.基于上述实施例，图2是本发明提供的重量检测方法中步骤120的流程示意图之一，如图2所示，步骤120具体包括：
78.步骤121，基于各视角下的图像的拍摄角度，对各视角下的图像中的特征点所在的特征点图块进行空间变换，并对空间变换后的特征点图块进行特征提取，得到各视角在同一空间下的特征点描述信息；
79.步骤122，基于至少两个视角的特征点描述信息，对至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组。
80.具体地，为了实现特征点匹配得到特征点组，可通过基于各视角在同一空间下的特征点描述信息进行特征点匹配。特征点描述信息可准确的描述各特征点所在的特征点图块的特征，通过比较特征点描述信息的相似程度来判断是否能够匹配成功，得到特征点组。
81.此处各特征点所在的特征点图块，可通过特征点检测得到各视角图像下的多个潜在特征点，再将这些潜在特征点切成小块得到。
82.考虑到特征点所在的特征点图块是基于不同视角拍摄得到的，在进行特征点描述之前，可对各视角下的图像中的特征点所在的特征点图块进行空间变换，将各视角下的图像中的特征点所在的特征点图块变换到同一个空间下。
83.优选地，还可将各视角下的图像中的特征点所在的特征点图块进行尺度变换，将各视角下的图像中的特征点所在的特征点图块变换到同一个尺度下。
84.针对变换到同一空间下的特征点图块，可对特征点图块进行特征提取，也即特征描述，得到各视角在同一空间下的特征点描述信息。
85.随即执行步骤122，通过比较各视角下的特征点描述信息，对至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组。具体可通过计算各视角下的特征点描述信息之间的距离进行特征点描述信息的相似度匹配，两者之间的距离较近，则匹配程度越高；反之，两者之间的距离较远，则匹配程度越低。
86.本发明实施例提供的方法，通过对各视角下的图像中的特征点所在的特征点图块进行空间变换，得到各视角在同一空间下的特征点描述信息，并基于特征点描述信息进行特征点匹配，从而提高了特征点匹配的准确性和可靠性。
87.基于上述任一实施例，拍摄角度的确定步骤包括：
88.基于各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度。
89.具体地，各视角下的图像的拍摄角度可基于各视角下的图像中的特征点所在的特征点图块实现，检测到特征点之后，以特征点为中心对各视角下的图像进行切分，得到特征点所在的特征点图块。
90.在一个实施例中，特征点所在的特征点图块可通过孪生特征金字塔模型实现，图3是本发明提供的特征点图块获取方法的流程示意图，如图3所示，将两个视角下的图像分别输入至孪生特征金字塔模型的两条子孪生支路，得到每个视角下的多尺度深度特征金字
塔，再使用softmax得到各个视角图像中的多个潜在特征点。将这些潜在特征点切成小块的patch，并在多个尺度下使用nms(non maximum suppressio，非极大值抑制)得到单一尺度下的特征点图块。
91.在此基础上，对各个特征点图块进行方向估计，可理解的是，属于同一视角下的图像中的各特征点图块的方向一致，不属于同一视角下的图像中的各特征点图块的方向不一致，基于各个特征点图块的方向，即可得到各视角下的图像的拍摄角度。
92.基于上述任一实施例，基于各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度，包括：
93.基于方向估计模型，应用各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度；
94.方向估计模型是基于样本三维点在不同视角下的图块，以不同视角下的同一样本三维点所对应的特征点描述信息差异最小化为目标训练得到的。
95.具体地，对各视角下的图像进行方法估计可通过方向估计模型实现。方向估计模型具体可以是cnn特征提取器，将各视角下的图像中的特征点所在的特征点图块输入训练好的方向估计模型，由训练好的方向估计模型对各特征点图块进行方法估计，得到方向估计模型输出的旋转角度，该旋转角度即各视角下的拍摄角度。随即，将特征点图块按照该旋转角度进行旋转后得到在同一空间下的特征点图块。
96.其中，方向估计模型可通过如下步骤训练得到：采集大量在不同视角下的图块，并标记该不同视角下的图块中匹配的特征点作为样本三维点，以不同视角下的同一样本三维点所对应的特征点描述信息差异最小化为目标，对初始方向估计模型进行训练。
97.需要说明的是，此处的特征点描述信息可通过已经训练好的特征提取模型对特征点图块进行特征提取，并计算得到特征点描述信息。在已得到训练好的特征提取模型的基础上，对初始方向估计模型进行训练，从而得到训练好的方向估计模型，由此能够回归得到各视角下的拍摄角度。
98.本发明实施例提供的方法，通过在已训练好的特征提取模型的基础上，基于样本三维点在不同视角下的图块，以不同视角下的同一样本三维点所对应的特征点描述信息差异最小化为目标，对初始方向估计模型进行训练，由此训练得到的方向估计模型能够实现更为准确的方向估计。
99.基于上述任一实施例，图4是本发明提供的重量检测方法中步骤120的流程示意图之二，如图4所示，步骤120中对空间变换后的特征点图块进行特征提取，得到各视角在同一空间下的特征点描述信息，具体包括：
100.步骤123，基于特征提取模型，应用空间变换后的特征点图块，对特征点图块进行特征提取，得到特征点图块的特征点描述信息；
101.步骤124，将特征点图块的特征点描述信息映射至特征点图块所属的各视角下的图像，得到各视角在同一空间下的特征点描述信息；
102.特征提取模型基于至少两个视角下的样本图像中，相匹配的特征点所在的特征点图块之间的相似度，和/或，不匹配的特征点所在的特征点图块之间的相似度训练得到。
103.具体地，对各视角下的图像中的特征点所在的特征点图块进行空间变换，得到空间变换后的特征点图块之后，即可将特征点图块输入至特征提取模型，对特征点图块进行
特征提取，得到特征提取模型输出的特征点图块的特征点描述信息。此处的特征提取模型具体可以是特征描述器。
104.得到特征点图块的特征点描述信息之后，将每个特征点图块的特征点描述信息映射至该特征点图块所属的视角下的图像，同时还可以将属于同一视角的特征点图块的特征点描述信息进行合并，得到各视角在同一空间下的特征点描述信息。
105.其中，特征提取模型是基于如下步骤训练得到的：获取大量在至少两个视角下的样本图像，对样本图像上的匹配特征点进行标注。将样本图像分别输入至初始特征提取模型的特征提取支路，每个特征提取之路之间共享权重。
106.初始特征提取模型在训练过程中，能够学习相匹配的特征点所在的特征点图块之间的共性，同时学习不相匹配的特征点所在的特征点图块之间的差异性，由此训练得到的特征提取模型能够提取到更为准确的特征点描述信息。
107.此处特征点图块之间的相似度可采用特征点图块之间的距离来计算。相匹配的特征点即各视角下的样本图像中标记的与另一视角下的样本图像中相匹配的特征点；反之，即为不相匹配的特征点。
108.在一个实施例中，特征提取模型的损失函数可采用contrastive loss。相匹配的特征点的特征描述信息之间的距离尽可能小，不相匹配的特征点的特征描述信息之间的距离大于预设距离阈值margin(间隔)，contrastive loss同时约束相匹配的特征点类内紧凑和不相匹配的特征点类间分离。特征提取模型的损失函数可表示为如下形式：
[0109][0110]
式中，fi表示第i个视角下的图像中的特征点所在特征点图块的特征描述信息；fj表示第j个视角下的图像中的特征点所在特征点图块的特征描述信息；y
ij
＝1表示第i个视角下的图像中的特征点与第j个视角下的图像中的特征点是相匹配的特征点；y
ij
＝-1表示第i个视角下的图像中的特征点与第j个视角下的图像中的特征点是不相匹配的特征点，m表示预设距离阈值。
[0111]
本发明实施例提供的方法，通过标记匹配特征点的至少两个视角下的样本图像，基于相匹配的特征点所在的特征点图块之间的相似度，和/或，不匹配的特征点所在的特征点图块之间的相似度对初始特征提取模型进行训练，由此训练得到的特征提取模型能够准确的描述各特征点所在特征点图块的特征，得到更为准确的特征描述向量，从而实现更加精确的特征点匹配。
[0112]
基于上述任一实施例，图5是本发明提供的重量检测方法中步骤140的流程示意图，如图5所示，步骤140中将点云数据与模板点云数据进行匹配，具体包括：
[0113]
步骤141，在待检测对象为牲畜的情况下，基于点云数据，确定待检测对象的体长；
[0114]
步骤142，基于待检测对象的体长，从模板点云数据中筛选得到与体长匹配的第一模板点云数据；
[0115]
步骤143，将点云数据与第一模板点云数据进行匹配。
[0116]
具体地，在待检测对象为牲畜的情况下，例如猪、牛、羊等牲畜类待检测对象，为了
实现点云数据与模板点云数据之间的匹配，可采用二次匹配的方式，先基于待检测对象的体长从模板点云数据中筛选得到第一模板点云数据，再将点云数据与第一模板点云数据进行匹配。
[0117]
首先根据得到的待检测对象的点云数据，计算头部到尾根的长度作为体长。根据体长进行筛选得到第一模板点云数据。
[0118]
在得到的第一模板点云数据内，将待检测对象的点云数据与第一模板点云数据中的点云进行配准，分别计算第一模板点云数据与点云数据的配准损失，可采用chamber loss损失函数，并使得配准损失最小化，从而将与点云数据之间的配准损失最小的第一模板点云数据作为相匹配的模板点云数据，取相匹配的模板点云数据对应的重量作为该待检测对象的重量。
[0119]
优选的，还可将点云数据中的头部数据去掉，得到只有身体的点云数据，基于只包括身体的点云数据与第一模板点云数据进行匹配。
[0120]
本发明实施例提供的方法，先确定待检测对象的体长，然后基于体长从模板点云数据中筛选得到第一模板点云数据，再将点云数据与第一模板点云数据进行匹配，从而提高了点云数据匹配的效率和准确性。
[0121]
基于上述任一实施例，图6是本发明提供的重量检测方法中步骤130的流程示意图，如图6所示，步骤130具体包括：
[0122]
步骤131，基于特征点组，确定图像采集设备的内外参和在各视角下的位姿，并对至少两个视角下的图像中的特征点进行点云重建，得到待检测对象的初始点云数据；
[0123]
步骤132，基于初始点云数据中的三维点，以及图像采集设备在参考视角下的位姿，对初始点云数据进行扩张，得到待检测对象的点云数据。
[0124]
具体地，得到各视角下的图像中的特征点匹配后的特征点组，即可对待检测对象进行点云重建，得到待检测对象的点云数据。
[0125]
可使用pnp(perspective-n-point，n点透视)算法，确定图像采集设备的内外参(相机内参矩阵k，外参包括旋转矩阵r和平移矩阵t)，以及图像采集设备在各个视角下的位姿估计，并重建待检测对象特征点的3d空间，得到初始点云数据，可理解的是初始点云数据较为稀疏。
[0126]
在此基础上，可进一步对初始点云数据进行扩张，得到待检测对象的点云数据，相比较于初始点云数据，该点云数据较为稠密。
[0127]
从拍摄的待检测对象的至少两个视角的图像中选择一张作为参考图像，此处的参考视角即参考图像的拍摄视角，图像采集设备在参考视角下的位姿可通过建立参考图像的相机坐标系确定。
[0128]
然后进行种子点获取，从获得的初始点云数据中，筛选出可以投影到参考图像上的三维点。将三维点投影到参考图像上，以三维点到参考图像相机坐标系原点的距离为投影点像素初始深度，三维点到相机坐标系原点的方向为初始法向量。并恢复其余像素点深度与法向量信息，以这些像素点作为种子优化求解参考图像中其他像素的深度和法向量信息，生成深度图。
[0129]
具体扩张时可使用区域生长法进行扩张，遵循以下三个选择原则：
[0130]
1、从初始的稀疏特征点开始深度估计；
[0131]
2、对每个种子点进行非线性深度优化；
[0132]
3、每次优化完后判断以下两种情况，将邻域像素添加到队列中：1)邻域没有深度值2)当前像素的置信度值高于邻域像素一定范围。
[0133]
最终得到待检测对象的点云数据。
[0134]
基于上述任一实施例，假设待检测对象为死猪，图7是本发明提供的重量检测方法的流程示意图之二，如图7所示，该方法包括：
[0135]
步骤710，样本图像采集，通过手机端进行至少两个视角下的死猪图像采集。
[0136]
可使用市面上常用的手机进行采集。提前制作数据采集应用程序，显示一个浅色背景的猪只模拟轮廓，以及多个标记物区域(四腿区域、尾部区域、四腿和尾部中间区域、头部区域、猪身上)。将死猪的姿态置为侧躺，采集时移动手机使得猪只完全进入预先在应用上画好的轮廓内，同时使得标志物完全在应用程序的标志物框内，然后进行拍摄。移动标志物位置到下一个预置标记物区域，并重复上述采集过程。这样能够采集到不同视角下的猪只图像。同时记录该只猪的实际重量。采集在不同光照、不同猪只死亡时间的数据(不同死亡时间会影响猪只失水程度并进一步影响猪只表面形态)。
[0137]
步骤720，样本图像预处理，可包括图像尺寸统一、畸变矫正和猪只轮廓提取等。
[0138]
由于不同手机的默认分辨率、曝光、视野等参数不一致，为了使模型更便于训练，因此要进行数据预处理。先将所有图像统一resize到宽高为固定值上，例如：宽480，高640。
[0139]
接着进行畸变矫正，使得画面中的物体还原为真实比例。
[0140]
猪只轮廓提取：由于死猪的姿态、形状、颜色已知，先使用颜色阈值分割法来粗提取死猪轮廓，区分背景，再使用简单的拟合形状基元法，先提取图像所有封闭的轮廓，其次在拟合方法得到潜在是猪只的物体，如果存在多个目标，则使用模版匹配的方法去除干扰。
[0141]
步骤730，基于死猪在至少两个视角下的样本图像，及在样本图像中标注的匹配特征点，训练特征点提取和匹配模型。特征点提取和匹配模型具体可包括特征点检测器、方向估计模型和特征提取模型。
[0142]
在训练时，先进行特征提取模型的训练，然后是方向估计模型，最后是特征点检测器。训练时使用具有标注多对儿匹配点的多幅图像(2-4副)。其中，特征提取模型和方向估计模型的训练方法参照前述实施例的介绍，不再赘述。
[0143]
特征点检测器的训练过程如下：对于匹配的特征点使用高斯核函数，生成热图，即将每一类坐标用一个概率图来表示，对图像中的每个像素位置都给一个概率，表示该点属于对应类别特征点的概率，比较自然的是，距离特征点位置越近的像素点的概率越接近1，距离特征点越远的像素点的概率越接近0，具体可以通过相应函数进行模拟，如二维gaussian等，如果同一个像素位置距离不同特征点的距离大小不同，即相对于不同特征点该位置的概率不一样，这时可以取max或average。并使用focal loss对训练进行约束。
[0144]
步骤740，获取待检测死猪在至少两个视角下的图像，采用训练好的特征提取和匹配模型对图像进行特征点匹配，得到特征点组。
[0145]
步骤750，基于特征点组，确定相机的内外参，进行在各视角下的相机位姿估计。
[0146]
步骤760，根据各视角相机位姿将各视角统一到同一个坐标系下，先转换成深度图再使用区域生长扩张法得到点云重建后的死猪点云数据。
[0147]
步骤770，根据死猪体长从模板点云数据中筛选得到与体长匹配的第一模板点云
数据，将与点云数据的配准损失最小的第一模板点云数据的重量确定为待检测死猪的重量。
[0148]
下面对本发明提供的重量检测装置进行描述，下文描述的重量检测装置与上文描述的重量检测方法可相互对应参照。
[0149]
基于上述任一实施例，图8是本发明提供的重量检测装置的结构示意图，如图8所示，该装置包括图像获取单元810、特征点匹配单元820、点云重建单元830和点云匹配单元840，其中，
[0150]
图像获取单元810，用于获取待检测对象在至少两个视角下的图像；
[0151]
特征点匹配单元820，用于对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
[0152]
点云重建单元830，用于基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
[0153]
点云匹配单元840，用于将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
[0154]
本发明实施例提供的重量检测装置，通过对至少两个视角下的图像分别进行特征点提取，并在各视角图像之间进行特征点匹配，得到特征点组；通过特征点组对待检测对象进行点云重建，得到点云数据；将重建后的点云数据与模板数据库中的模板点云数据进行匹配，匹配成功的模板点云数据对应的重量则为待检测对象的重量。能够实现无接触、自动智能化的对待检测对象进行重量检测，从而避免了现有技术中需要人工称重的带来的问题，不仅提高了重量检测的效率，降低了人力成本，而且提高了准确性和可靠性。
[0155]
基于上述任一实施例，特征点匹配单元进一步用于：
[0156]
基于各视角下的图像的拍摄角度，对所述各视角下的图像中的特征点所在的特征点图块进行空间变换，并对空间变换后的特征点图块进行特征提取，得到所述各视角在同一空间下的特征点描述信息；
[0157]
基于所述至少两个视角的特征点描述信息，对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组。
[0158]
基于上述任一实施例，还包括拍摄角度获取单元，用于：
[0159]
基于各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度。
[0160]
基于上述任一实施例，拍摄角度获取单元进一步用于：
[0161]
基于方向估计模型，应用各视角下的图像中的特征点所在的特征点图块，对各视角下的图像进行方向估计，得到各视角下的拍摄角度；
[0162]
所述方向估计模型是基于样本三维点在不同视角下的图块，以不同视角下的同一样本三维点所对应的特征点描述信息差异最小化为目标训练得到的。
[0163]
基于上述任一实施例，特征点匹配单元进一步用于：
[0164]
基于特征提取模型，应用所述空间变换后的特征点图块，对所述特征点图块进行特征提取，得到所述特征点图块的特征点描述信息；
[0165]
将所述特征点图块的特征点描述信息映射至所述特征点图块所属的各视角下的图像，得到所述各视角在同一空间下的特征点描述信息；
[0166]
所述特征提取模型基于至少两个视角下的样本图像中，相匹配的特征点所在的特征点图块之间的相似度，和/或，不匹配的特征点所在的特征点图块之间的相似度训练得到。
[0167]
基于上述任一实施例，点云匹配单元进一步用于：
[0168]
基于所述点云数据，确定所述待检测对象的体长；
[0169]
基于所述待检测对象的体长，从所述模板点云数据中筛选得到与所述体长匹配的第一模板点云数据；
[0170]
将所述点云数据与所述第一模板点云数据进行匹配。
[0171]
基于上述任一实施例，点云重建单元进一步用于：
[0172]
基于所述特征点组，确定图像采集设备的内外参和在各视角下的位姿，并对所述至少两个视角下的图像中的特征点进行点云重建，得到所述待检测对象的初始点云数据；
[0173]
基于所述初始点云数据中的三维点，以及所述图像采集设备在参考视角下的位姿，对所述初始点云数据进行扩张，得到所述待检测对象的点云数据。
[0174]
基于上述任一实施例，图9是本发明提供的重量检测系统的结构示意图，如图9所示，重量检测系统包括图像采集设备910以及重量检测设备920，其中，
[0175]
图像采集设备910，用于采集待检测对象在至少两个视角下的图像，并将至少两个视角下的图像发送至重量检测设备；
[0176]
重量检测设备920，用于对至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，基于特征点组，对待检测对象进行点云重建，得到待检测对象的点云数据，并将点云数据与模板点云数据进行匹配，将与点云数据相匹配的模板点云数据的重量确定为待检测对象的重量，特征点组包括至少两个视角下的特征点。
[0177]
具体地，采用本发明实施例提供的重量检测系统，可自动智能化实现对待检测对象进行重量检测。图像采集设备用于采集待检测对象在至少两个视角下的图像，例如可以是具备拍照功能的智能手机。
[0178]
重量检测设备用于基于获取的至少两个视角下的图像进行重量检测。具体检测过程在前述实施例已详细描述，在此不再赘述。
[0179]
重量检测设备和图像采集设备可集成在同一个电子设备中，例如均集成在智能手机中，智能手机针对待检测对象拍摄至少两个角度下的图像后，将图像发送至中重量检测设备进行重量检测。
[0180]
重量检测设备还可设置在云端，图像采集设备通过网络将采集到的图像发送至重量检测设备，在云端完成重量检测。
[0181]
本发明实施例提供的重量检测系统，能够实现自动智能化实现对待检测对象进行重量检测，从而避免了现有技术中需要人工称重的带来的问题，不仅提高了重量检测的效率，降低了人力成本，而且提高了准确性和可靠性。
[0182]
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(communications interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行重量检测方法，该方法包括：
[0183]
获取待检测对象在至少两个视角下的图像；
[0184]
对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
[0185]
基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
[0186]
将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
[0187]
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0188]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的重量检测方法，该方法包括：
[0189]
获取待检测对象在至少两个视角下的图像；
[0190]
对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
[0191]
基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
[0192]
将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
[0193]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的重量检测方法，该方法包括：
[0194]
获取待检测对象在至少两个视角下的图像；
[0195]
对所述至少两个视角下的图像中的特征点进行特征点匹配，得到特征点组，所述特征点组包括至少两个视角下的特征点；
[0196]
基于所述特征点组，对所述待检测对象进行点云重建，得到所述待检测对象的点云数据；
[0197]
将所述点云数据与模板点云数据进行匹配，将与所述点云数据相匹配的模板点云数据的重量确定为所述待检测对象的重量。
[0198]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。
[0199]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0200]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。