对象检测方法和装置与流程

1.本发明涉及图像处理领域，更具体地，涉及一种对象检测方法和装置。


背景技术：

2.增强现实技术通过在用户面前的现实场景中添加虚拟内容来为用户提供真实的信息体验。在三维空间中，增强现实系统需要对周围物体的三维状态具有高精度的实时处理和理解，以在用户面前呈现高质量的虚实融合效果。
3.然而，现有的增强现实技术在进行对象检测和识别时，受限于深度传感器的工作原理，难以有效和准确地进行对象检测和识别。


技术实现要素：

4.根据本发明的示例性实施例，提供了一种对象检测方法，包括：基于图像的点云数据，获取第一点云特征；基于第一点云特征，确定图像中的至少一个对象。
5.在获取第一点云特征之前，可对图像的点云数据进行点云补全。
6.对图像的点云数据进行点云补全的步骤可包括：提取图像的点云数据的高维特征；基于高维特征，获取点云补全的点云数据。
7.确定图像中的至少一个对象的步骤可包括：基于第一点云特征，获取图像中每个对象的第一外观特征和第一几何特征；基于图像中每个对象的第一外观特征和第一几何特征，获取每两个候选区域之间的关系权重，其中，候选区域与对象相应；基于第一点云特征以及关系权重，获取图像中每个对象的第二外观特征和第二几何特征；基于图像中每个对象的第二外观特征和第二几何特征，确定图像中的所述至少一个对象。
8.获取图像中每个对象的第二外观特征和第二几何特征的步骤可包括：基于图像中每个对象的第一几何特征，获取每两个候选区域之间的几何权重；基于图像中每个对象的第一外观特征，获取每两个候选区域之间的外观权重；基于几何权重和外观权重，获取每两个候选区域之间的关系权重；基于第一点云特征以及关系权重，获取第二点云特征；基于第二点云特征，获取图像中每个对象的第二外观特征和第二几何特征。
9.获取每两个候选区域之间的几何权重的步骤可包括：基于图像中每个对象的第一几何特征，获取每两个候选区域间的几何特征关联向量；基于每两个候选区域间的几何特征关联向量，获取每两个候选区域间的几何权重。
10.几何特征以及几何特征关联向量可与对象的中心位置、尺寸和朝向中的至少一个有关。
11.根据本发明的示例性实施例，提供了一种对象检测装置，包括：特征获取单元，基于点云数据，获取第一点云特征；对象确定单元，基于第一点云特征，确定图像中的至少一个对象。
12.根据本发明的示例性实施例，提供了一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的方法。
13.根据本发明的示例性实施例，提供了一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的方法。
14.将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
15.通过下面结合附图进行的详细描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：
16.图1是示出根据本发明示例性实施例的对象检测方法的示意图；
17.图2是示出根据本发明示例性实施例的对象检测方法的流程图；
18.图3是示出根据本发明示例性实施例的点云补全的示意图；
19.图4是示出根据本发明示例性实施例的点云补全的流程图；
20.图5是示出根据本发明示例性实施例的点云补全效果的示意图；
21.图6是示出根据本发明示例性实施例的确定对象的流程图；
22.图7是示出根据本发明示例性实施例的获取对象的外观特征和几何特征的示意图；
23.图8是示出根据本发明示例性实施例的获取对象的外观特征和几何特征的流程图；
24.图9是示出根据本发明示例性实施例的对象检测装置的框图。
具体实施方式
25.现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
26.图1是示出根据本发明示例性实施例的对象检测方法的示意图，图2是示出根据本发明示例性实施例的对象检测方法的流程图。
27.参照图1和图2，在步骤s210，可基于图像的点云数据，获取第一点云特征。
28.更具体地，可对图像的点云数据进行pointnet++特征提取以获取降采样的点云特征，并对降采样的点云特征进行hough voting算法以获取聚类后对应于物体几何中心的点云特征，即，第一点云特征。应该了解，这里采用的pointnet++特征提取和hough voting算法仅为示例而非限制，本领域技术人员完全可以采用其他的算法来获取第一点云特征。
29.在步骤s220，可基于第一点云特征，确定图像中的至少一个对象。
30.此外，在获取第一点云特征之前，可对图像的点云数据进行点云补全，并在步骤s220可基于点云补全的点云数据来获取聚类的点云特征。
31.下面将参照附图3～5对点云补全的步骤进行更详细地描述，并将参照附图6对步骤s220进行更详细地描述。
32.从深度传感器获取的点云数据经常由于被遮挡、表面反光、透明等物体而导致存在由于大量的数据缺失而形成的孔洞，并且这样的不完整的点云将会极大地影响3d对象检测的性能，因此本发明加入了点云补全操作。
33.图3是示出根据本发明示例性实施例的点云补全的示意图，图4是示出根据本发明
示例性实施例的点云补全的流程图，图5是示出根据本发明示例性实施例的点云补全效果的示意图。
34.参照图3和图4，在步骤s410，可提取图像的点云数据的高维特征，其中，该步骤可由编码网络进行。这里，仅作为示例而非限制，编码网络可以是基于卷积神经元的深度学习网络。编码网络的输入是原始的点云数据，输出是编码网络提取到的高维特征，该高维特征可描述对象的形状和边界。此外，编码网络可以有多种形式，其提取的高维特征可以是对象类别的语义特征、对象的轮廓特征和深度信息特征中的至少一个，或者是以上多种特征的组合，其共同点是在真实数据没发生变化的情况下，即便点云数据中存在缺失，提取的特征也可以不受/少受缺失数据的影响而基本不发生变化。
35.在步骤s420，可基于高维特征，获取点云补全的点云数据，其中，该步骤可由解码网络进行，并且点云补全的点云数据具有与点云数据相同的尺寸。这里，仅作为示例而非限制，解码网络可以是基于卷积神经元的深度学习网络。解码网络使用编码网络输出的特征图(由高位特征构成)作为输入，输出是补全且稠密的点云数据。
36.参照图5，(a)示出实际场景的图像，(b)示出点云数据，其中存在大量孔洞，(c)示出点云补全后的点云数据。对于点云数据中存在的数据缺失，可通过编解码网络结构的神经网络模型来填补点云中缺失的孔洞，从而得到更高质量的点云数据。
37.图6是示出根据本发明示例性实施例的确定对象的流程图，
38.参照图6，在步骤s610，可基于第一点云特征，获取图像中每个对象的第一外观特征和第一几何特征。这里，仅作为示例而非限制，几何特征可与对象的中心位置、尺寸和朝向中的至少一个有关。
39.在步骤s620，可基于图像中每个对象的第一外观特征和第一几何特征，获取每两个候选区域之间的关系权重，其中，候选区域与对象相应。
40.在步骤s630，可基于第一点云特征以及关系权重，获取图像中每个对象的第二外观特征和第二几何特征。
41.在步骤s640，基于图像中每个对象的第二外观特征和第二几何特征，确定图像中的至少一个对象。更具体地，仅作为示例而非限制，可通过将对象的外观特征和几何特征输入到预定神经网络来确定对象的类别、中心位置、尺寸、朝向等。这里，仅作为示例而非限制，所述预定神经网络可以为多层感知机(mlp)结构的深度学习网络。
42.由于在对象存在遮挡、视野截断、以及较小对象的情况下难以有效和准确地进行对象检测和识别，考虑到多个对象间存在一定共存关系(例如，键盘旁边通常会有鼠标)，大小也具有一定的关联(例如，桌子旁边存在多把椅子，通常尺寸是相同的)，并且朝向也通常符合一些固定的模式和习惯(例如，床头柜和床平行摆放)，即，对象间的关联程度与对象的类别，对象间的位置、尺寸、朝向关系具有很强的相关性，因此对点云特征进行聚类之后，在图6所示的确定对象的步骤中将环境中与当前对象有关联的其他对象特征一起考虑，将点云特征作为输入并对类别、几何和尺寸进行预测，将有助于提高确定当前对象的准确度。下面将参照附图7～8对步骤s610～s630进行更详细地描述。
43.图7是示出根据本发明示例性实施例的获取对象的外观特征和几何特征的示意图，图8是示出根据本发明示例性实施例的获取对象的外观特征和几何特征的流程图。
44.参照图7和图8，在步骤s810，可基于第一点云特征，获取图像中每个对象的第一外
观特征和第一几何特征，其中，该步骤可由第一区域候选网络进行。更具体地，仅作为示例而非限制，不具备明晰物理意义的第一点云特征经过第一区域候选网络，每个与对象对应的候选区域都可以获得四段不同的特征，分别对应于候选区域对象的外观(第一外观特征)、中心位置(x,y,z)、尺寸(w(宽),h(高),d(长))和朝向(roll(翻滚),pitch(俯仰),yaw(偏航))，其中，对象的中心位置(x,y,z)、尺寸(w,h,d)和朝向(roll,pitch,yaw)对应于第一几何特征。这里，仅作为示例而非限制，第一区域候选网络可以是基于卷积神经元的深度学习网络或多层感知机(mlp)结构的深度学习网络。
45.在步骤s820，可基于图像中每个对象的第一几何特征，获取每两个候选区域之间的几何权重。更具体地，可基于图像中每个对象的第一几何特征，获取每两个候选区域之间的几何特征关联向量，并基于每两个候选区域之间的几何特征关联向量，获取每两个候选区域之间的几何权重。以下等式1示出了两个候选区域m、n间的几何特征(f
gm
、f
gn
)关联向量εg。
46.[等式1]
[0047][0048]
dot(rollm，rolln)，dot(pitchm，pitchn)，dot(yawm，yawn)]
[0049]
其中，x、y、z对应于第一区域候选网络输出的对象的中心位置特征，w、h、d对应于第一区域候选网络输出的对象的尺寸特征，roll、pitch、yaw对应于第一区域候选网络输出的对象的朝向特征，x、y、z、w、h、d、roll、pitch、yaw加下角标m、n即表示候选区域m或n的x、y、z、w、h、d、roll、pitch、yaw；εg是一个6维向量，其与对象的中心位置、尺寸和朝向有关。
[0050]
更具体地，基于候选区域间的几何特征关联向量来获取候选区域间的几何权重的步骤可包括：将6维向量εg输入到神经网络wg以映射到新的特征空间中，以计算高维空间(即，前述的新的特征空间)中两个向量f
gm
、f
gn
的距离作为两个区域m、n间的几何权重w
gmn
。这里，仅作为示例而非限制，神经网络wg可以是多层感知机(mlp)结构的深度学习网络。此外，可通过以下等式2对获取的几何权重w
gmn
进行取正值。
[0051]
[等式2]
[0052][0053]
在步骤s830，可基于图像中每个对象的第一外观特征，获取每两个候选区域之间的外观权重。更具体地，可将两个候选区域m、n的外观特征f
am
、f
an
输入到神经网络wk、wq以映射到新的特征空间中，随后可通过以下等式3计算两个候选区域m、n间的外观权重w
amn
。这里，仅作为示例而非限制，神经网络wk、wq可以是多层感知机(mlp)结构的深度学习网络。
[0054]
[等式3]
[0055][0056]
其中，dk可为预定常数，表示候选区域的数量的预定倍数。
[0057]
在步骤s840，可基于几何权重w
gmn
和外观权重w
amn
，获取每两个候选区域之间的关
系权重。更具体地，可通过以下等式4获取候选区域间的关系权重w
mn
。
[0058]
[等式4]
[0059][0060]
其中，k可表示从1到k的自然数，其中，k可为候选区域的数量。
[0061]
在步骤s850，可基于第一点云特征以及关系权重，获取第二点云特征，其中，第二点云特征可包括关联信息。更具体地，可通过以下等式5将第一点云特征fm输入到神经网络wv后加权求和的方式获取第二点云特征fr(n)，第二点云特征与原点云特征具有相同的数量和特征维度。这里，仅作为示例而非限制，神经网络wv可以是多层感知机(mlp)结构的深度学习网络。
[0062]
[等式5]
[0063][0064]
其中，m可表示从1到k的自然数，其中，k可为候选区域的数量。
[0065]
在步骤s860，可基于第二点云特征，获取图像中每个对象的第二外观特征和第二几何特征，其中，该步骤可由第二区域候选网络进行。这里，仅作为示例而非限制，第二区域候选网络可以是基于卷积神经元的深度学习网络或多层感知机(mlp)结构的深度学习网络，并且第一区域候选网络和第二区域候选网络可以使用完全相同的网络结构，可以共享/不共享网络权重。
[0066]
图9是示出根据本发明示例性实施例的对象检测装置的框图。
[0067]
如图9所示，根据本发明示例性实施例的对象检测装置可包括特征获取单元910和对象确定单元920。
[0068]
特征获取单元910可基于图像的点云数据，获取第一点云特征。
[0069]
对象确定单元920可基于第一点云特征，确定图像中的至少一个对象。
[0070]
此外，根据本发明示例性实施例的对象检测装置还可包括其它单元来分别实现与上述根据本发明示例性实施例的对象检测方法的其它步骤相应的功能，在此不再赘述。
[0071]
此外，根据本发明的示例性实施例，还可提供一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的方法。根据本发明的示例性实施例，还可提供一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的方法。
[0072]
根据本发明，在电子设备中，对象检测方法可以通过将图像数据作为人工智能模型的输入数据来获得识别图像或图像中的点云特征的输出数据。
[0073]
人工智能模型可以通过训练获得。这里，“通过训练获得”是指通过训练算法训练具有多个训练数据的基本人工智能模型，从而获得预定义的操作规则或人工智能模型，所述操作规则或人工智能模型配置为执行所需的特征(或目的)。
[0074]
人工智能模型可以包括多个神经网络层。所述多个神经网络层中的每一个包括多个权重值，并且通过在前一层的计算结果和所述多个权重值之间的计算来执行神经网络计算。
[0075]
视觉理解与人类视觉一样，是一种识别和处理事物的技术，包括例如物体识别、物体跟踪、图像检索、人类识别、场景识别、三维重建/定位或图像增强。
[0076]
根据本发明的示例性实施例，可通过点云补全来提高由于物体遮挡、反射、透明等造成的深度数据中的孔洞缺失，提高用于物体检测的数据质量；可考虑对象之间的关系，通过提取并融合多个对象之间的关系信息来提高在物体遮挡、视野截断、较小物体等情况下进行对象检测或识别的精度和鲁棒性；基于上述解决方案，可进行基于点云数据的三维对象6自由度几何估计，用于提高增强现实应用中系统的效率、精度和鲁棒性；所述对象检测方法和装置可以用于增强现实系统和深度图像，对用户周围感兴趣的对象进行检测和6自由度几何估计；根据得到的检测结果，可以控制增强现实系统中渲染的虚体物体，让真实物体和虚拟物体产生真实自然的交互。
[0077]
虽然已经参照特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离范围由权利要求及其等同物限定的本发明的精神和范围的情况下可作出形式和细节上的各种改变。