关键点的标注方法及装置与流程

1.本技术涉及图像处理及人工智能技术领域，尤其涉及一种关键点的标注方法及装置。


背景技术：

2.在机器学习任务中，样本数据标注的质量对模型训练的正确性和精确度有很大的影响。然而，长期以来，数据标注多依赖于标注人员人工标注，由于人工标注的标注结果受标注人员的主观影响较大，因此容易出现标注不准确的情况，比如在不同的标注人员对同一待标注对象进行标注，以及同一标注人员多次对同一待标注对象进行标注时，均易出现标注不准确的问题。尤其在关键点的标注方面，标注不准确的问题显得更为突出。
3.例如，在人脸图像中标注出人脸3d(3-dimension，三维)关键点在图像上的投影位置时，由于人脸姿态、遮挡物等原因，一些人脸3d关键点的投影位置在图像中处于被遮挡的位置，此时需要标注人员根据经验猜测，以完成标注任务，这不仅增加了关键点的标注难度，且易造成标注不准确的问题。此外，即使人脸图像中的所有关键点均清晰可见，不同的标注人员在标注同一人脸图像上的关键点，或者同一标注人员在多次标注同一人脸图像上的关键点时，也难以确保标注结果完全准确。


技术实现要素：

4.本技术实施例的目的是提供一种关键点的标注方法及装置，用以解决现有技术中对关键点的标注准确度较低的问题。
5.为解决上述技术问题，本技术实施例是这样实现的：
6.一方面，本技术实施例提供一种关键点的标注方法，包括：
7.获取由相机阵列拍摄目标对象得到的n个图像，其中n为大于1的整数；
8.针对所述目标对象的语义关键点，在n个所述图像上分别进行预标注，得到所述语义关键点在各所述图像上的第一标注位置；
9.根据所述语义关键点对应的n个所述第一标注位置，确定所述语义关键点对应的第一空间位置；
10.根据所述相机阵列对应的n组相机参数，将所述第一空间位置分别投影至n个所述图像上，得到所述语义关键点在各所述图像上的第二标注位置；
11.根据n个所述图像上所述第一标注位置和对应的所述第二标注位置之间的位置关系，确定n个所述第一标注位置中满足预设调整条件的目标标注位置，并对所述目标标注位置进行调整。
12.采用本技术实施例的技术方案，通过获取由相机阵列拍摄目标对象得到的n个(n为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别
投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该技术方案能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
13.另一方面，本技术实施例提供一种关键点的标注装置，包括：
14.获取模块，用于获取由相机阵列拍摄目标对象得到的n个图像，其中n为大于1的整数；
15.预标注模块，用于针对所述目标对象的语义关键点，在n个所述图像上分别进行预标注，得到所述语义关键点在各所述图像上的第一标注位置；
16.第一确定模块，用于根据所述语义关键点对应的n个所述第一标注位置，确定所述语义关键点对应的第一空间位置；
17.第一投影模块，用于根据所述相机阵列对应的n组相机参数，将所述第一空间位置分别投影至n个所述图像上，得到所述语义关键点在各所述图像上的第二标注位置；
18.确定及调整模块，用于根据n个所述图像上所述第一标注位置和对应的所述第二标注位置之间的位置关系，确定n个所述第一标注位置中满足预设调整条件的目标标注位置，并对所述目标标注位置进行调整。
19.再一方面，本技术实施例提供一种关键点的标注设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述的关键点的标注方法。
20.再一方面，本技术实施例提供一种存储介质，用于存储计算机程序，所述计算机程序在被处理器执行时实现上述的关键点的标注方法。
附图说明
21.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是根据本技术一实施例的一种关键点的标注方法的示意性流程图；
23.图2是根据本技术一实施例的相机阵列的示意图；
24.图3是根据本技术一实施例的对极线的示意图；
25.图4是根据本技术一实施例的第一曲线与投影线交点的示意图；
26.图5是根据本技术另一实施例的一种关键点的标注方法的示意性流程图；
27.图6是根据本技术一实施例的一种对人脸图像进行关键点标注的示意图；
28.图7是根据本技术另一实施例的一种关键点的标注方法的示意性流程图；
29.图8是根据本技术一实施例的一种关键点的标注装置的结构示意图；
30.图9是根据本技术一实施例的一种关键点的标注设备的硬件结构示意图。
具体实施方式
31.本技术实施例的目的是提供一种关键点的标注方法及装置，用以解决现有技术中对关键点的标注准确度较低的问题。
32.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
33.在机器学习任务中，样本数据标注的质量对模型训练的效果有很大的影响。然而，长期以来，数据标注存在标注不准确的问题，导致模型训练的正确性和精确度受到限制。尤其在关键点的标注方面，标注不准确的问题显得更为突出。比如，在人脸图像中标注出人脸3d关键点在图像上的投影位置时，由于人脸姿态、遮挡物等原因，一些人脸3d关键点的投影位置在图像中处于被遮挡的位置，此时需要标注人员根据经验猜测，以完成标注任务，这不仅增加了关键点的标注难度，且易造成标注不准确的问题。
34.为解决上述问题，相关技术中，在实现关键点标注方面，一方面，提供了一种多视角空间定位方法，该方法通过多个相机拍摄待测物体得到多个图像，并分别检测(基于模型进行检测)各图像上的待测物体的关键点坐标，从而根据各个图像上的关键点坐标和相机的投影矩阵(由相机参数组成，相机参数可基于相机标定得到)建立物体关键点的直线方程组，进而将直线方程组的最优解作为物体关键点的空间坐标。由于基于模型进行检测得到关键点坐标、以及相机标定的过程中难免带来误差，因此使得检测得到的各图像上的待测物体的关键点坐标存在标注不准确的问题，从而使得根据关键点坐标和相机的投影矩阵确定出的物体关键点的空间坐标的准确度较低。另一方面，提供了一种人脸关键点的定位方法，通过对人脸图像中的人脸关键点进行曲线拟合，将拟合曲线上每个关键点的位置修正为距离关键点原始位置最近的一点，从而确定出符合要求的人脸关键点的位置信息。这种方式在对单个人脸图像进行关键点标注时，虽然能够在一定程度上提升关键点的标注准确度，但对于基于多个人脸图像进行关键点标注的场景来说，由于该方式是基于单个图像进行曲线拟合及关键点修正的，因此，多个人脸图像上标注出的人脸关键点之间无法相互印证，难以确保关键点的标注准确度。可见，上述两种常见的方式仍然无法满足目前对关键点标注准确度的要求。为克服上述缺陷，本技术实施例提供一种关键点的标注方法及装置，以提升对关键点的标注准确度。
35.本技术实施例提供的关键点的标注方法适用于对多种待标注对象进行关键点标注的场景。例如，对规则物体(如正方体、长方体、球体等)进行关键点标注的场景、对不规则物体(如车辆、船只等)进行关键点标注的场景、对人脸进行关键点标注的场景等。后续实施例中，将以对人脸进行关键点标注的场景为例，详细说明本技术实施例提供的关键点的标
注方法。
36.图1是根据本技术一实施例的一种关键点的标注方法的示意性流程图，如图1所示，该方法可包括：
37.s102，获取由相机阵列拍摄目标对象得到的n个图像。
38.其中，n为大于1的整数。
39.s104，针对目标对象的语义关键点，在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置。
40.其中，目标对象可对应有一个或多个语义关键点，针对任一图像，可通过预先训练的图像标注模型，在该图像上分别对目标对象的语义关键点进行预标注。图像标注模型的训练方式在后续实施例中详述，此处不赘述。
41.可选地，第一标注位置可以是语义关键点在图像上的二维坐标。为便于在后续实施例中，根据第一标注位置对第一空间位置进行计算，可将第一标注位置转换为三维坐标的形式，三维坐标的表征形式可以是3
×
1矩阵。假设第一标注位置为p0，则将p0转换为三维坐标的形式时，u0为像素坐标系下的横轴坐标，v0为像素坐标系下的纵轴坐标。
42.s106，根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置。
43.其中，可根据同一语义关键点对应在n个图像上的第一标注位置，确定该语义关键点对应的第一空间位置。可选地，预先训练的图像标注模型的输出(即第一标注位置)是有序的，不同图像上、相同输出顺序的语义关键点为同一语义关键点。以对人脸的语义关键点的标注为例，假设相机阵列中包括两个相机，预先训练的图像标注模型的输出依次为左眼角的标注位置、右眼角的标注位置和鼻梁的标注位置，那么，通过预先训练的图像标注模型，在两个相机分别拍摄的图像上对人脸的语义关键点进行预标注，均能够依次得到左眼角的标注位置、右眼角的标注位置和鼻梁的标注位置，在这两个相机拍摄的图像上、相同输出顺序的语义关键点为同一语义关键点。
44.s108，根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置。
45.其中，相机阵列可包括n个相机，每个相机分别对应一组相机参数，n个相机的相机参数组成了n组相机参数。
46.s110，根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。
47.其中，预设调整条件可包括：第一标注位置和对应的第二标注位置之间的距离大于预设阈值。
48.采用本技术实施例的技术方案，通过获取由相机阵列拍摄目标对象得到的n个(n为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整
条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该技术方案能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
49.在一个实施例中，执行s102之前，可执行如下步骤a1-a4：
50.步骤a1，搭建相机阵列。
51.示例性地，相机阵列可如图2所示，采用5个相同型号的相机(包括c-2
、c-1
、c0、c1、c2)，以一定角度等间隔、固定排列在一个圆环支架210上，各相机均朝向圆环的圆心，220为目标对象。其中，相机的数量、支架的形状和尺寸可以根据具体应用需求(如需拍摄的目标对象的尺寸、需覆盖的视角范围等)进行具体设置，本技术实施例对此不做限定。例如，相机的数量为2个、3个、4个、6个、7个等，支架的形状为三角形、矩形、多边形、椭圆形等。可以理解，相机阵列中相机的数量越多，关键点标注的准确度越高，同时标注过程的复杂度也就越高；反之，相机阵列中相机的数量越少，关键点标注的准确度相对较低，同时标注过程的复杂度也就越低。实际应用中，可根据对关键点标注的准确度的要求以及标注过程的复杂度要求，综合确定相机的数量。
52.需要说明的是，本技术实施例对相机的型号没有特别要求，但要确保焦距可固定，畸变不大(即采用的是非鱼眼相机)，且能够通过控制信号触发拍摄，以实现同步控制多相机拍摄的效果。本技术实施例对相机的朝向没有特别要求，但需要确保任何一个相机，至少要和相邻相机有较大的共视区域，从而有利于根据多个图像中的语义关键点的标注位置，确定语义关键点对应的空间位置。
53.步骤a2，相机内参数标定。
54.其中，相机标定(camera calibration)也称为相机内、外参数及畸变参数求解。相机内参数及畸变参数求解主要包括求取给定相机的内参数(如焦距(f
x
，fy)、成像平面中心点位置(c
x
，cy)等)和畸变参数(包括径向畸变系数{ki}和切向畸变系数{pi})等。除了特殊相机外，普通相机的标定方法业界已有成熟方案，本技术实施例可直接采用。
55.例如，可采用张正友标定法、传统相机标定法、主动视觉相机标定方法、相机自标定法中的任一种标定方法，依次对图2所示的5台相机进行相机内参数标定，估算内参数和畸变系数(包括径向畸变系数{ki}和切向畸变系数{pi})，并根据每台相机的内参数得到的每台相机的内参数矩阵：
56.(f
x
，fy)为焦距，(c
x
，cy)为成像平面中心点位置。
57.步骤a3，世界坐标系建立。
58.本实施例中，可将相机阵列中任一台相机的相机坐标系确定为世界坐标系。示例
性地，针对图2所示的相机阵列，可选择以中心相机c0的相机坐标系为世界坐标系，从而以中心相机c0的姿态为世界坐标系姿态，中心相机c0的位置为世界坐标系原点。中心相机c0的外参数为p0＝[r
0 t0]＝[i 0]，i表示单位矩阵r0表示旋转矩阵，t0表示平移矩阵。
[0059]
步骤a4，相机外参数标定。
[0060]
其中，相机外参数(camera extrinsic parameters)用于描述相机在某个参考坐标系下的位置和朝向，通常用一个平移向量t来表达位置，并用一个旋转矩阵r来表达朝向。
[0061]
示例性地，针对图2所示的相机阵列，可利用pnp(perspective-n-points)算法求取中心相机c0的相邻相机c1的外参数p1＝[r
1 t1]；再利用pnp算法求取相机c1和相邻相机c2之间的相对外参数，并转换得到相机c2相对中心相机c0的外参数p2＝[r
2 t2]。对相机c-1
和相机c-2
进行类似的处理，依次完成所有相机相对于世界坐标系的外参数标定。
[0062]
在一个实施例中，针对目标对象的语义关键点，在n个图像上分别进行预标注(即s102)，可执行为：针对任一图像，将图像输入预先训练的图像标注模型，以通过图像标注模型对图像进行关键点标注，并输出语义关键点在图像上的第一标注位置。
[0063]
其中，图像标注模型为根据多个样本对象上的已标注的样本语义关键点训练得到。可选地，在目标对象为人脸时，图像标注模型可以是任一基于机器学习的人脸关键点标注模型(如fan模型、3ddfa_v2模型等)，利用该人脸关键点标注模型对人脸图像进行关键点标注时，输入的数据可以是预处理过的人脸图像，从而对人脸图像进行关键点标注处理，输出的数据可以是预定义的多个关键点的坐标。对人脸图像的预处理可包括裁剪、转正、缩放到固定尺寸等。
[0064]
在目标对象为物(如车辆)时，图像标注模型可以是rtm3d模型，利用该图像标注模型对车辆进行关键点标注时，输入的数据可以是车辆图像，从而对车辆图像进行关键点标注处理，输出的数据可以是预定义的多个关键点的坐标。
[0065]
本实施例中，通过预先训练的图像标注模型对目标对象的语义关键点进行预标注，从而得到语义关键点在n个图像上的标注位置，由于图像标注模型是根据样本对象上的样本语义关键点训练得到，因此使得预标注出的语义关键点的数量及标注位置更加符合预期，有利于提升对语义关键点的预标注的准确度。
[0066]
在一个实施例中，相机阵列中包括的n个相机，n个相机分别对应各自的一组相机参数，相机参数可包括内参数、外参数、畸变参数等。根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置(即s104)，可执行为如下步骤b1-b3：
[0067]
步骤b1，分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系。
[0068]
示例性地，在图2所示的相机阵列(包括c-2
、c-1
、c0、c1、c2)拍摄目标对象得到的n个图像(包括i-2
、i-1
、i0、i1、i2)中，针对目标对象的语义关键点，假设在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置分别为p-2
、p-1
、p0、p1、p2，第一空间位置为x。
[0069]
以相机c0对应的图像上的第一标注位置p0为例，第一标注位置p0与第一空间位置x
之间存在如下关系(即第一映射关系)：其中，k0为相机c0的内参数矩阵，r0、t0为相机c0的外参数。经过简单的公式变换，可以写成如下形式：
[0070]
同理，相机c1对应的图像上的第一标注位置p1与第一空间位置x之间的第一映射关系，可以写成如下形式：相机c2对应的图像上的第一标注位置p2与第一空间位置x之间的第一映射关系，可以写成如下形式：k2t2＝p
2-k2t2。相机c-1
对应的图像上的第一标注位置p-1
与第一空间位置x之间的第一映射关系，可以写成如下形式：相机c-2
对应的图像上的第一标注位置p-2
与第一空间位置x之间的第一映射关系，可以写成如下形式：
[0071]
需要说明的是，步骤b1仅用于分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系，第一映射关系中的k、r、t、p和x无需代入具体数值，并可采用上述公式变换后的形式表征第一映射关系，以便后续步骤中根据第一映射关系确定第二映射关系。
[0072]
步骤b2，将n个第一标注位置组合为第一标注位置集，并根据第一标注位置集以及n个第一映射关系，确定第二映射关系。其中，第二映射关系为第一标注位置集、n组相机参数和第一空间位置之间的映射关系。
[0073]
沿用步骤b1中的举例，第一标注位置集即为{p-2
,p-1
,p0,p1,p2}，第一标注位置集、n组相机参数和第一空间位置之间的第二映射关系为：
[0074][0075]
需要说明的是，步骤b2仅用于确定第二映射关系的表征形式，第二映射关系中的k、r、t、p和x无需代入具体数值。
[0076]
步骤b3，根据第二映射关系、第一标注位置集以及n组相机参数，确定语义关键点对应的第一空间位置。
[0077]
本实施例中，可将第一标注位置集以及n组相机参数的实际数值代入第二映射关系中，以得到语义关键点对应的第一空间位置。根据上述举例中的第二映射关系，可见第二映射关系为经典的ax＝b形式，可利用最小二乘法，计算出使得ax＝b的二次范数最小化的
x，作为语义关键点对应的第一空间位置x。
[0078]
本实施例中，通过分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系，将n个第一标注位置组合为第一标注位置集，并根据第一标注位置集以及n个第一映射关系，确定第二映射关系，由于第一映射关系仅为一个图像上的语义关键点的预标注位置与该语义关键点的空间位置之间的映射关系，而单个图像上的语义关键点的预标注位置存在标注不准确的可能性，因此，通过联合多个图像上的语义关键点的预标注位置与该语义关键点的空间位置之间建立第二映射关系，从而根据第二映射关系、第一标注位置集以及n组相机参数，确定语义关键点对应的第一空间位置，能够使得确定出的语义关键点的空间位置更加准确。
[0079]
在一个实施例中，根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置(即s106)，可执行为如下步骤c1-c2：
[0080]
步骤c1，针对任一图像，确定拍摄图像的相机的相机参数。
[0081]
其中，相机参数可包括内参数、外参数、畸变参数等。相机参数的标定方式已在上述实施例中详细说明，此处不再赘述。
[0082]
步骤c2，根据相机参数、第一空间位置以及第一映射关系，确定相机参数对应的位置信息，作为语义关键点在对应图像上的第二标注位置。
[0083]
沿用步骤b1-b3中的举例，第一标注位置分别为p-2
、p-1
、p0、p1、p2，对应的，第二标注位置分别为p
′-2
、p
′-1
、p
′0、p
′1、p
′2。以语义关键点在相机c0对应图像上的第二标注位置p
′0举例，根据相机参数、第一空间位置以及第一映射关系，可确定出第二标注位置p
′0＝k0(r0x+t0)，x为第一空间位置。
[0084]
本实施例中，由于第一映射关系为单个图像上的语义关键点的标注位置与该语义关键点的空间位置及相机参数之间的映射关系，因此针对任一图像，通过确定拍摄图像的相机的相机参数和语义关键点的第一空间位置，根据第一映射关系即可快捷地、准确地确定出语义关键点的空间位置在各个图像上的投影位置。
[0085]
在一个实施例中，确定n个第一标注位置中满足预设调整条件的目标标注位置(即s108)，可执行为如下步骤d1-d3：
[0086]
步骤d1，分别计算每个第一标注位置和对应的第二标注位置之间的距离。
[0087]
本实施例中，可分别计算每个第一标注位置和对应的第二标注位置之间的欧式距离。
[0088]
沿用步骤c1-c2中的举例，第一标注位置分别为p-2
、p-1
、p0、p1、p2，对应的，第二标注位置分别为p
′-2
、p
′-1
、p
′0、p
′1、p
′2。分别计算每个第一标注位置和对应的第二标注位置之间的欧式距离，即是分别计算p-2
和p
′-2
之间的欧式距离||p-2-p
′-2
||，计算p-1
和p
′-1
之间的欧式距离||p-1-p
′-1
||，计算p0和p
′0之间的欧式距离||p
0-p
′0||，计算p1和p
′1之间的欧式距离||p
1-p
′1||，以及计算p2和p
′2之间的欧式距离||p
2-p
′2||。
[0089]
步骤d2，若第一标注位置和对应的第二标注位置之间的距离大于预设阈值，则确定第一标注位置满足预设调整条件。
[0090]
其中，预设调整条件即为第一标注位置和对应的第二标注位置之间的距离大于预设阈值。
[0091]
本实施例中，可分别确定5个相机对应的5个图像中第一标注位置和对应的第二标注位置之间的欧式距离与预设阈值之间的大小关系。若同一图像中第一标注位置和对应的第二标注位置之间的欧式距离小于或等于预设阈值，则说明该图像中第一标注位置与对应的第二标注位置的偏差较小，即该图像上的第一标注位置的标注准确度较高；若同一图像中第一标注位置和对应的第二标注位置之间的欧式距离大于预设阈值，则说明该图像中第一标注位置与对应的第二标注位置的偏差较大，即该图像上的第一标注位置的标注准确度较差；若所有图像中(本实施例为5个)第一标注位置和对应的第二标注位置之间的欧式距离均小于或等于预设阈值，则说明所有图像中第一标注位置与对应的第二标注位置的偏差均较小，即所有图像上的第一标注位置的标注准确度均较高，此时，可确定在各图像上对目标对象的语义关键点进行预标注的标注一致性较好。
[0092]
步骤d3，若第一标注位置和对应的第二标注位置之间的距离小于或等于预设阈值，则确定第一标注位置不满足预设调整条件。
[0093]
本实施例中，通过分别计算每个第一标注位置和对应的第二标注位置之间的距离，并在距离大于预设阈值时，确定第一标注位置满足预设调整条件，即确定第一标注位置需要调整，实现了准确、高效地确定出需调整的标注位置的效果。
[0094]
在一个实施例中，确定第一标注位置满足预设调整条件(即步骤d3)之后，可通过标注人员介入调整的方式对该第一标注位置进行调整，或者，通过自动调整的方式对该第一标注位置进行调整。
[0095]
其中，当相机是普通的彩色相机时，需要至少两个不同相机拍摄的图像，才能确定出语义关键点对应的空间坐标。当相机为深度相机时，根据单个相机拍摄的图像即可确定出语义关键点对应的空间坐标。
[0096]
在通过自动调整的方式对该第一标注位置进行调整的情况下，计算机可首先判断相机的类型(普通的彩色相机或深度相机)，根据相机的类型自动挑选图像，在被挑选出的图像中，需要调整的第一标注位置应清晰可见，然后根据预先设定的调整规则，调整所选图像中的第一标注位置。预先设定的调整规则可包括：在第一标注位置和第二标注位置之间的距离大于预设阈值、且小于或等于预设调整阈值时，对第一标注位置进行第一调整处理；在第一标注位置和第二标注位置之间的距离大于预设阈值、且大于预设调整阈值时，对第一标注位置进行第二调整处理；等等。
[0097]
其中，第一调整处理可以是将第一标注位置调整至第二标注位置的调整处理，第二调整处理可以是将第一标注位置调整至第一标注位置与第二标注位置之间的预设位置处的调整处理。可选地，预设位置可以是第一标注位置与第二标注位置之间的中心位置、距离第一标注位置预设距离的位置等。此外，预先设定的调整规则的具体内容、第一调整处理及第二调整处理的具体调整方式，可根据具体的关键点标注任务确定，本技术实施例对此不做限定。
[0098]
在相机阵列中的各相机均为普通的彩色相机、且由标注人员介入调整的情况下，标注人员需要挑选至少两个相机拍摄的图像，在被挑选出的图像中，需要调整的第一标注位置应清晰可见，然后依据培训要求，同时参考多个所选图像，相互印证、联合调整所选图像中的第一标注位置。
[0099]
可选地，对于标注人员未挑选的图像，可将其进行屏蔽处理，以避免对标注人员造
成干扰；对于标注人员挑选出的图像，可将其并排显示、并在每一图像上分别叠加所挑选的图像上需要调整的第一标注位置，以方便标注人员进行联合调整。
[0100]
本实施例中，由于仅对满足预设调整条件的第一标注位置进行调整，因此大大减少了标注人员或计算机的工作量，节约了标注的人力成本，且将机器标注与人工调整相结合，能够进一步提升关键点的标注准确度。
[0101]
在一个实施例中，对目标标注位置进行调整(即s108)之后，可执行如下步骤e1-e4：
[0102]
步骤e1，确定对目标标注位置进行调整后得到的第三标注位置。
[0103]
其中，目标标注位置为满足预设调整条件的第一标注位置。
[0104]
步骤e2，根据第三标注位置，确定语义关键点对应的第二空间位置。
[0105]
该步骤中，根据第三标注位置确定语义关键点对应的第二空间位置的具体执行方式，可参见步骤b1-b3中根据第一标注位置确定语义关键点对应的第一空间位置的执行方式，二者的区别仅在于各映射关系中代入的标注位置不同(该步骤中代入第三标注位置)，此处不再赘述。
[0106]
可选地，在对关键点的标注准确度要求不高的场景下，可根据第三标注位置和不满足预设调整条件的第一标注位置，确定语义关键点对应的第二空间位置。
[0107]
步骤e3，根据n个相机分别对应的一组相机参数，将第二空间位置分别投影至n个图像上，得到语义关键点在各图像上的第四标注位置。
[0108]
该步骤中，将第二空间位置投影至n个图像上得到第四标注位置的具体执行方式，可参见步骤c1-c2中将第一空间位置投影至n个图像上得到第二标注位置的执行方式，此处不再赘述。
[0109]
步骤e4，根据目标对象的形态特征、n组相机参数和第二空间位置，对n个第四标注位置进行一致性调整，以使第四标注位置与形态特征相匹配。
[0110]
其中，目标对象的形态特征可以是目标对象的轮廓特征、形状特征等。
[0111]
本实施例中，通过在对目标标注位置进行调整之后，确定对目标标注位置进行调整后得到的第三标注位置，并根据第三标注位置确定语义关键点对应的第二空间位置，由于第三标注位置是调整之后得到的、准确的标注位置，因此根据语义关键点的第三标注位置确定出的语义关键点对应的第二空间位置的准确度较高，从而根据n个相机分别对应的一组相机参数，将第二空间位置分别投影至n个图像上，得到的语义关键点在各图像上的第四标注位置的准确度也较高，进一步地，根据目标对象的形态特征、n组相机参数和第二空间位置，对n个第四标注位置进行一致性调整，以使第四标注位置与形态特征相匹配，使得语义关键点的标注结果与目标对象的形态特征更匹配。
[0112]
在一个实施例中，根据目标对象的形态特征、n组相机参数和第二空间位置，对n个第四标注位置进行一致性调整(即步骤e4)，可执行为如下步骤f1-f3：
[0113]
步骤f1，根据目标对象的形态特征，分别对每个图像上属于同一类形态的m个语义关键点进行曲线拟合，得到拟合后的第一曲线。
[0114]
其中，m为大于1的整数。可根据目标对象的形态特征，预先将图像上的多个语义关键点划分为多类形态，比如，眼睛周围的语义关键点对应的形态类型为眼睛轮廓，嘴巴周围的语义关键点对应的形态类型为嘴巴轮廓。从而针对每类形态的语义关键点进行曲线拟
合，得到拟合后的第一曲线。第一曲线可为平滑的曲线。
[0115]
示例性地，以对人脸进行关键点标注为例，可预先将图像上的多个语义关键点划分为如下多类形态：左脸轮廓、右脸轮廓、上嘴唇外轮廓、上嘴唇内轮廓、下嘴唇外轮廓、下嘴唇内轮廓、鼻子下轮廓、鼻梁、左眼上轮廓、左眼下轮廓、右眼上轮廓和右眼下轮廓。
[0116]
可选地，可预设每类形态的语义关键点满足一条参数化曲线(如n阶贝塞尔曲线，n的大小由实际形态类型所对应的形态特征确定)，从而根据参数化曲线对该形态类型的各语义关键点进行曲线拟合。其中，具体采用何种参数化曲线，以及如何划分图像上的多个语义关键点所属的形态类型，需根据具体的关键点标注任务(如待标注的对象、该对象的轮廓特征、形状特征等)确定，本技术实施例对此不做限定。此外，若某一(些)关键点标注任务无需根据待标注的对象的形态特征，对图像上的多个语义关键点进行曲线拟合(如对正方体、球体等规则物体进行关键点标注的任务)，则可略过步骤f1。
[0117]
步骤f2，根据n个相机分别对应的一组相机参数，确定第二空间位置在n个图像上的投影线，投影线用于表征第二空间位置和对应相机之间的投影关系。
[0118]
其中，投影线可为对极线，每一语义关键点在n个图像上分别对应一根对极线。对极线的确定只依赖于相机内参数和两个相机之间的相对外参数(包括相对位置和相对朝向)。
[0119]
示例性地，如图3所示，c1和c2是两台相机的光心，每台相机对应一个成像平面，310为c1的成像平面，320为c2的成像平面。第二空间位置m在两台相机的成像位置分别为c
1-m连线与310的交点m1、c
2-m连线与320的交点m2。c
1-m1所在射线在相机c2的成像平面320上的投影线段(即m
2-e2所在线段，e为极点)为m1在相机c2的成像平面320上的对极线(epipolar line)，第二空间位置m在相机c2上的成像位置m2一定在这条对极线上。同理，c
2-m2所在射线在相机c1的成像平面310上的投影线段(即m
1-e1所在线段)为m2在相机c1成像平面310上的对极线，第二空间位置m在相机c1上的成像位置m1一定在这条对极线上。可见，对极线给出了同一个语义关键点的空间位置在多个图像上的投影位置之间的相互约束关系。
[0120]
步骤f3，将n个第四标注位置分别调整至对应的第一曲线和投影线之间的交点。
[0121]
示例性地，如图4所示，410为第一曲线，420为投影线，430为一个图像上的一个第四标注位置，将第四标注位置调整至对应的第一曲线和投影线之间的交点，即为将第四标注位置从430处调整至440处。
[0122]
本实施例中，能够根据形态特征分别对每个图像上属于同一类形态的m个(m为大于1的整数)语义关键点进行曲线拟合，得到拟合后的第一曲线，由于目标对象的多个语义关键点之间一般存在相互约束关系，因此根据形态特征分别对每个图像上属于同一类形态的多个语义关键点进行曲线拟合后，得到的曲线更能反映目标对象的实际形态；并且，能够根据n组相机参数，确定第二空间位置在n个图像上的投影线(用于表征第二空间位置和对应相机之间的投影关系)，从而将n个第四标注位置分别调整至对应的第一曲线和投影线之间的交点，由于语义关键点的空间位置在各图像上的投影线具有一致性，因此，将语义关键点的标注位置调整至拟合曲线和投影线的交点，不仅使得标注结果与目标对象的形态特征更匹配，且提升了标注结果的一致性。
[0123]
在一个实施例中，根据n组相机参数，确定第二空间位置在n个图像上的投影线(即步骤f2)，可执行为如下步骤g1-g4：
[0124]
步骤g1，从n个第一标注位置中，确定距离最小的第一标注位置对应的第一目标图像，以及距离次小的第一标注位置对应的第二目标图像。
[0125]
其中，距离最小的第一标注位置即是第一标注位置与第二标注位置之间的距离最小时，所对应的第一标注位置。第一标注位置与第二标注位置之间的距离的确定方式可参见步骤d1，此处不再赘述。
[0126]
步骤g2，确定第一目标图像对应的第一相机参数，以及第二目标图像对应的第二相机参数。
[0127]
其中，可确定第一目标图像对应的第一相机外参数，以及第二目标图像对应的第二相机外参数。
[0128]
步骤g3，根据第一相机参数和第二空间位置，确定第二空间位置在除第一目标图像之外的其它图像上的投影线。
[0129]
其中，可根据第一相机外参数和第二空间位置，确定第二空间位置在除第一目标图像之外的其它图像上的投影线。
[0130]
步骤g4，根据第二相机参数和第二空间位置，确定第二空间位置在第一目标图像上的投影线。
[0131]
其中，可根据第二相机外参数和第二空间位置，确定第二空间位置在第一目标图像上的投影线。
[0132]
示例性地，针对图2所示的相机阵列(包括c-2
、c-1
、c0、c1、c2)拍摄目标对象得到的5个图像(包括i-2
、i-1
、i0、i1、i2)，假设距离最小的第一标注位置对应的第一目标图像为i2，距离次小的第一标注位置对应的第二目标图像为i0，那么，可确定第一目标图像i2对应的第一相机外参数p2，以及第二目标图像i0对应的第二相机外参数p0，从而根据第一相机外参数p2和第二空间位置，确定第二空间位置在i-2
、i-1
、i0和i1上的投影线，并根据第二相机外参数p0和第二空间位置，确定第二空间位置在第一目标图像i2上的投影线。
[0133]
本实施例中，通过从n个第一标注位置中，确定距离最小的第一标注位置对应的第一目标图像，以及距离次小的第一标注位置对应的第二目标图像，并确定第一目标图像对应的第一相机参数，以及第二目标图像对应的第二相机参数，从而根据第一相机参数和第二空间位置，确定第二空间位置在除第一目标图像之外的其它图像上的投影线，由于第一目标图像是语义关键点的标注最准确的图像，因此根据该图像对应的相机参数，确定第二空间位置在其他图像上的投影线，能够确保确定出的投影线的准确度；并且，根据第二相机参数和第二空间位置，确定第二空间位置在第一目标图像上的投影线，实现了准确确定出空间位置在各图像上的投影线的效果。
[0134]
图5是根据本技术另一实施例的一种关键点的标注方法的示意性流程图，本实施例中，关键点的标注方法应用于对规则物体(如正方体、长方体、球体等)进行关键点标注的场景。下面以对目标对象的任一语义关键点，在由相机阵列(包含n个相机)拍摄得到的n个图像上进行标注为例，详细说明本实施例提供的关键点的标注方法。如图5所示，该方法可包括：
[0135]
s501，获取由相机阵列拍摄目标对象得到的n个图像。
[0136]
其中，相机阵列中可包括n个相机，每个相机分别对应一组相机参数，n个相机的相机参数组成了n组相机参数，n为大于1的整数。
[0137]
s502，针对目标对象的语义关键点，在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置。
[0138]
其中，针对任一图像，可将图像输入预先训练的图像标注模型，以通过图像标注模型对图像进行关键点标注，并输出语义关键点在图像上的第一标注位置，图像标注模型为根据多个样本对象上的已标注的样本语义关键点训练得到。
[0139]
s503，分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系。
[0140]
其中，相机参数可包括内参数、外参数、畸变参数等。
[0141]
s504，将n个第一标注位置组合为第一标注位置集，并根据第一标注位置集以及n个第一映射关系，确定第二映射关系，第二映射关系为第一标注位置集、n组相机参数和第一空间位置之间的映射关系。
[0142]
s505，根据第二映射关系、第一标注位置集以及n组相机参数，确定语义关键点对应的第一空间位置。
[0143]
s506，针对任一图像，根据相机参数、第一空间位置以及第一映射关系，确定相机参数对应的位置信息，作为语义关键点在对应图像上的第二标注位置。
[0144]
s507，根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，分别计算每个第一标注位置和对应的第二标注位置之间的距离。
[0145]
其中，可分别计算每个第一标注位置和对应的第二标注位置之间的欧式距离。
[0146]
s508，针对任一图像，判断第一标注位置和对应的第二标注位置之间的距离是否小于或等于预设阈值；若否，则执行s509；若是，则执行s510。
[0147]
s509，确定第一标注位置为满足预设调整条件的目标标注位置，并对目标标注位置进行调整，将调整后的标注位置确定为在该图像上对目标对象的语义关键点的标注结果。
[0148]
s510，确定第一标注位置未满足预设调整条件，将第二标注位置确定为在该图像上对目标对象的语义关键点的标注结果。
[0149]
需要说明的是，由于第一标注位置与对应的第二标注位置之间的距离小于或等于预设阈值，因此，可认为第一标注位置与对应的第二标注位置均是标注较准确的标注位置，此时，可将第一标注位置、第二标注位置中的任一个，确定为在图像上对目标对象的语义关键点的标注结果。
[0150]
上述s501-s510的具体过程在上述实施例中已进行详细说明，此处不再赘述。
[0151]
采用本技术实施例的技术方案，通过获取由相机阵列拍摄目标对象得到的n个(n为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准
确性的判定。进一步地，该技术方案能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
[0152]
下面通过一具体业务场景来说明本技术提供的关键点的标注方法。在一业务场景中，相机阵列包括三个相机，三个相机以一定角度(如45度)等间隔、固定排列在一个圆环支架上，圆环支架上的三个相机中、中间位置的相机拍摄目标对象得到的图像为目标对象的正视图。该业务场景需要对目标人脸中的鼻梁关键点进行标注，得到鼻梁关键点在三个相机拍摄目标人脸得到的三个人脸图像上的标注位置。该业务场景中，目标对象为目标人脸，目标对象的语义关键点为目标人脸的鼻梁关键点。图6至图7所示实施例均以此场景为例进行说明。图6是根据本技术一实施例的一种对人脸图像进行关键点标注的示意图。
[0153]
如图6所示，相机阵列中的三个相机分别从不同视角拍摄人脸图像，得到(a)、(b)和(c)三个不同角度的人脸图像，其中，人脸图像(b)面向正前方，人脸图像(a)和(c)分别面向偏左一定角度(如45度)和偏右一定角度(如45度)的方向。610、620和630为相关技术中，标注人员人工标注出的鼻梁关键点在人脸图像中的标注位置，在三个人脸图像处于同一水平位置的情况下，610、620和630并不在同一条水平线上。可见，由于受到标注人员的主观判断影响，因此在对不同视角拍摄得到的、同一人脸的人脸图像中标注鼻梁关键点对应的标注位置时，易出现标注不准确的问题。640、650和660为采用本技术提供的关键点的标注方法在三个人脸图像中对鼻梁关键点进行标注后，得到的鼻梁关键点在三个人脸图像上的标注位置，在三个人脸图像处于同一水平位置的情况下，640、650和660处于同一条水平线上。图7是根据本技术另一实施例的一种关键点的标注方法的示意性流程图，如图7所示，该方法可包括：
[0154]
s701，获取由相机阵列拍摄目标人脸得到的三个人脸图像。
[0155]
其中，相机阵列中包括三个相机，三个相机分别对应一组相机参数，三个相机的相机参数组成了三组相机参数。
[0156]
s702，针对目标人脸的鼻梁关键点，在三个人脸图像上分别进行预标注，得到鼻梁关键点在各人脸图像上的第一标注位置。
[0157]
其中，针对任一人脸图像，可将人脸图像输入预先训练的图像标注模型，以通过图像标注模型对人脸图像进行关键点标注，并输出鼻梁关键点在人脸图像上的第一标注位置，图像标注模型为根据多个样本对象上的已标注的样本语义关键点训练得到。
[0158]
s703，根据鼻梁关键点对应的三个第一标注位置，确定鼻梁关键点对应的第一空间位置。
[0159]
其中，可首先分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系，然后，将三个第一标注位置组合为第一标注位置集，并根据第一标注位置集以及三个第一映射关系，确定第二映射关系，并根据第二映射关系、第一标注位置集以及三组相机参数，确定鼻梁关键点对应的第一空间位置。
[0160]
其中，相机参数可包括内参数、外参数、畸变参数等。
[0161]
s704，根据相机阵列对应的三组相机参数，将第一空间位置分别投影至三个人脸图像上，得到鼻梁关键点在各人脸图像上的第二标注位置。
[0162]
其中，针对任一人脸图像，可根据相机参数、第一空间位置以及第一映射关系，确定相机参数对应的位置信息，作为鼻梁关键点在对应人脸图像上的第二标注位置。
[0163]
s705，根据三个人脸图像上第一标注位置和对应的第二标注位置之间的位置关系，确定三个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。
[0164]
其中，可分别计算每个第一标注位置和对应的第二标注位置之间的距离，若距离大于预设阈值，则确定第一标注位置满足预设调整条件；若距离小于或等于预设阈值，则确定第一标注位置未满足预设调整条件。可选地，可分别计算每个第一标注位置和对应的第二标注位置之间的欧式距离。
[0165]
在一个实施例中，针对任一人脸图像，若根据第一标注位置和对应的第二标注位置之间的位置关系，确定出鼻梁关键点的第一标注位置不满足预设调整条件，则可认为在该人脸图像上对目标人脸的鼻梁关键点的标注准确度较高，此时无需对第一标注位置进行调整；并且，可将第一标注位置、第二标注位置中的任一个，确定为在该人脸图像上对目标人脸的鼻梁关键点的标注结果，之后执行s709。
[0166]
s706，确定对目标标注位置进行调整后得到的第三标注位置。
[0167]
s707，根据第三标注位置，确定鼻梁关键点对应的第二空间位置。
[0168]
s708，根据三组相机参数，将第二空间位置分别投影至三个人脸图像上，得到鼻梁关键点在各人脸图像上的第四标注位置。
[0169]
s709，根据目标人脸的形态特征，分别对每个人脸图像上鼻梁关键点所属形态类型的m个语义关键点进行曲线拟合，得到拟合后的第一曲线。
[0170]
s710，根据三组相机参数，确定第二空间位置在三个人脸图像上的投影线。
[0171]
其中，投影线用于表征第二空间位置和对应相机之间的投影关系。可根据s705计算出的第一标注位置和第二标注位置之间的距离，从三个第一标注位置中，确定距离最小的第一标注位置对应的第一目标人脸图像，以及距离次小的第一标注位置对应的第二目标人脸图像，确定第一目标人脸图像对应的第一相机参数，以及第二目标人脸图像对应的第二相机参数，从而根据第一相机参数和第二空间位置，确定第二空间位置在除第一目标人脸图像之外的其它人脸图像上的投影线，并根据第二相机参数和第二空间位置，确定第二空间位置在第一目标人脸图像上的投影线。
[0172]
s711，将三个第四标注位置分别调整至对应的第一曲线和投影线之间的交点。
[0173]
在一个实施例中，针对三个人脸图像中的鼻梁关键点，在分别将鼻梁关键点在人脸图像上的标注位置调整至对应的第一曲线和投影线之间的交点之后，可将交点作为鼻梁关键点对应的第一标注位置，返回执行s703，根据预设循环次数循环执行s703-s711，得到鼻梁关键点在三个人脸图像上的最终标注位置，以提升标注结果的准确度，以及提升各人脸图像上标注结果的一致性。本技术实施例中，预设循环次数可根据具体的关键点标注任务的任务要求(如标注结果的精度要求、关键点标注的标注速度要求等)进行设置。例如，在要求忽略标注结果的精度、仅确保对关键点标注的标注速度的情况下，可以不循环执行s703-s711(即仅执行一次s703-s711)；在要求确保标注结果的精度、忽略对关键点标注的
标注速度的情况下，可以多次循环执行s703-s711，其中可设置较多的循环次数，如5次、8次等；在要求同时确保标注结果的精度和对关键点标注的标注速度的情况下，可以循环执行s703-s711，其中可设置较少的循环次数，如2次、3次等，本技术实施例对此不做限定。
[0174]
s712，针对任一人脸图像，将调整后的交点确定为在该人脸图像上对目标人脸的鼻梁关键点的标注结果。
[0175]
上述s701-s712的具体过程在上述实施例中已进行详细说明，此处不再赘述。
[0176]
采用本技术实施例的技术方案，通过获取由相机阵列拍摄目标人脸得到的三个人脸图像，针对目标人脸的鼻梁关键点在三个人脸图像上分别进行预标注，得到鼻梁关键点在各人脸图像上的第一标注位置，根据三个第一标注位置确定鼻梁关键点对应的第一空间位置，并将第一空间位置分别投影至三个人脸图像上，得到鼻梁关键点在三个人脸图像上的第二标注位置，从而根据三个图像上第一标注位置和对应的第二标注位置之间的位置关系，对第一标注位置中满足预设调整条件的目标标注位置进行调整，根据调整后得到的第三标注位置确定鼻梁关键点对应的第二空间位置，并将第二空间位置分别投影至三个人脸图像上，得到鼻梁关键点在三个人脸图像上的第四标注位置，进而根据目标人脸的形态特征、三组相机参数和第二空间位置，对三个第四标注位置进行一致性调整，以使第四标注位置与形态特征相匹配。由于第二标注位置实际为鼻梁关键点的空间位置在三个人脸图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该技术方案能够基于鼻梁关键点的投影位置与预标注位置之间的位置关系调整鼻梁关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度。此外，通过对各第四标注位置进行一致性调整，以使第四标注位置与形态特征相匹配，能够使得鼻梁关键点的标注结果与目标人脸的形态特征更匹配。
[0177]
综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
[0178]
以上为本技术实施例提供的关键点的标注方法，基于同样的思路，本技术实施例还提供一种关键点的标注装置。
[0179]
图8是根据本技术一实施例的一种关键点的标注装置的结构示意图，请参考图8，关键点的标注装置可包括：
[0180]
获取模块810，用于获取由相机阵列拍摄目标对象得到的n个图像，其中n为大于1的整数；
[0181]
预标注模块820，用于针对目标对象的语义关键点，在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置；
[0182]
第一确定模块830，用于根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置；
[0183]
第一投影模块840，用于根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置；
[0184]
确定及调整模块850，用于根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。
[0185]
在一个实施例中，相机阵列中包括的n个相机，n个相机分别对应各自的一组相机参数，相机参数包括内参数、外参数、畸变参数中的至少一项；
[0186]
第一确定模块830包括：
[0187]
第一确定单元，用于分别确定每个第一标注位置与对应的一组相机参数、第一空间位置之间的第一映射关系；
[0188]
组合及确定单元，用于将n个第一标注位置组合为第一标注位置集，并根据第一标注位置集以及n个第一映射关系，确定第二映射关系，第二映射关系为第一标注位置集、n组相机参数和第一空间位置之间的映射关系；
[0189]
第二确定单元，用于根据第二映射关系、第一标注位置集以及n组相机参数，确定语义关键点对应的第一空间位置。
[0190]
在一个实施例中，第一投影模块840包括：
[0191]
第三确定单元，用于针对任一图像，确定拍摄图像的相机的相机参数；
[0192]
第四确定单元，用于根据相机参数、第一空间位置以及第一映射关系，确定相机参数对应的位置信息，作为语义关键点在对应图像上的第二标注位置。
[0193]
在一个实施例中，确定及调整模块850包括：
[0194]
计算单元，用于分别计算每个第一标注位置和对应的第二标注位置之间的距离；
[0195]
第五确定单元，用于若距离大于预设阈值，则确定第一标注位置满足预设调整条件。
[0196]
在一个实施例中，关键点的标注装置还包括：
[0197]
第二确定模块，用于对目标标注位置进行调整之后，确定对目标标注位置进行调整后得到的第三标注位置；
[0198]
第三确定模块，用于根据第三标注位置，确定语义关键点对应的第二空间位置；
[0199]
第二投影模块，用于根据n组相机参数，将第二空间位置分别投影至n个图像上，得到语义关键点在各图像上的第四标注位置；
[0200]
调整模块，用于根据目标对象的形态特征、n组相机参数和第二空间位置，对n个第四标注位置进行一致性调整，以使第四标注位置与形态特征相匹配。
[0201]
在一个实施例中，调整模块包括：
[0202]
曲线拟合单元，用于根据形态特征，分别对每个图像上属于同一类形态的m个语义关键点进行曲线拟合，得到拟合后的第一曲线；m为大于1的整数；
[0203]
第六确定单元，用于根据n组相机参数，确定第二空间位置在n个图像上的投影线，投影线用于表征第二空间位置和对应相机之间的投影关系；
[0204]
调整单元，用于将n个第四标注位置分别调整至对应的第一曲线和投影线之间的交点。
[0205]
在一个实施例中，第六确定单元具体用于：
[0206]
从n个第一标注位置中，确定距离最小的第一标注位置对应的第一目标图像，以及距离次小的第一标注位置对应的第二目标图像；
[0207]
确定第一目标图像对应的第一相机参数，以及第二目标图像对应的第二相机参数；
[0208]
根据第一相机参数和第二空间位置，确定第二空间位置在除第一目标图像之外的其它图像上的投影线；
[0209]
根据第二相机参数和第二空间位置，确定第二空间位置在第一目标图像上的投影线。
[0210]
在一个实施例中，预标注模块820包括：
[0211]
输入单元，用于针对任一图像，将图像输入预先训练的图像标注模型，以通过图像标注模型对图像进行关键点标注，并输出语义关键点在图像上的第一标注位置；
[0212]
其中，图像标注模型为根据多个样本对象上的已标注的样本语义关键点训练得到。
[0213]
采用本技术实施例的装置，通过获取由相机阵列拍摄目标对象得到的n个(n为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该装置能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
[0214]
本领域的技术人员应可理解，图8中的关键点的标注装置能够用来实现前文所述的关键点的标注方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
[0215]
基于同样的思路，本技术实施例还提供一种关键点的标注设备，如图9所示。关键点的标注设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对关键点的标注设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在关键点的标注设备上执行存储器902中的一系列计算机可执行指令。关键点的标注设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906。
[0216]
具体在本实施例中，关键点的标注设备包括有存储器，以及一个或一个以上的程
序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对关键点的标注设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0217]
获取由相机阵列拍摄目标对象得到的n个图像，其中n为大于1的整数；
[0218]
针对目标对象的语义关键点，在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置；
[0219]
根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置；
[0220]
根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置；
[0221]
根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。
[0222]
采用本技术实施例的设备，通过获取由相机阵列拍摄目标对象得到的n个(n为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该设备能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
[0223]
本技术实施例还提出了一种存储介质，该存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行上述一种关键点的标注方法，并具体用于执行：
[0224]
获取由相机阵列拍摄目标对象得到的n个图像，其中n为大于1的整数；
[0225]
针对目标对象的语义关键点，在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置；
[0226]
根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置；
[0227]
根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置；
[0228]
根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。
[0229]
采用本技术实施例的存储介质，通过获取由相机阵列拍摄目标对象得到的n个(n
为大于1的整数)图像，针对目标对象的语义关键点在n个图像上分别进行预标注，得到语义关键点在各图像上的第一标注位置，从而根据语义关键点对应的n个第一标注位置，确定语义关键点对应的第一空间位置，并根据相机阵列对应的n组相机参数，将第一空间位置分别投影至n个图像上，得到语义关键点在各图像上的第二标注位置，进而根据n个图像上第一标注位置和对应的第二标注位置之间的位置关系，确定n个第一标注位置中满足预设调整条件的目标标注位置，并对目标标注位置进行调整。由于第二标注位置实际为语义关键点的空间位置在n个图像上的投影位置，因此基于预标注位置反推空间位置进而反推出投影位置的方式来判断预标注位置是否准确，能够实现针对预标注位置是否准确的快捷性、准确性的判定。进一步地，该存储介质能够基于语义关键点的投影位置与预标注位置之间的位置关系调整语义关键点的预标注位置，能够为调整预标注位置提供有力的调整依据(即投影位置和预标注位置之间的位置关系)，从而提升了关键点的标注准确度，尤其对于图像中不可见的语义关键点(比如被遮挡)，通过预标注位置反推投影位置，能够准确确定这类语义关键点的标注位置，从而避免了依赖标注人员的推测对关键点进行标注所带来的标注准确度较低、以及标注困难的问题。
[0230]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0231]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0232]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0233]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0234]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0235]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0236]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0237]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0238]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0239]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0240]
本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0241]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0242]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。