搜索模型结构的方法、装置、设备和存储介质与流程

文档序号:19788184发布日期:2020-01-24 13:53阅读:来源:国知局

技术特征:

1.一种用于搜索模型结构的方法,包括:

确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间,所述模型结构搜索空间包括多个候选模型结构,其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式,以及在所述融合中应用于所述多个特征图的相应操作;以及

基于特定人脸关键点的类型,在所述模型结构搜索空间中搜索适合用于基于人脸图像来预测所述特定人脸关键点的信息的模型结构。

2.根据权利要求1所述的方法,其中所述特定人脸关键点包括用于勾勒人脸轮廓和/或五官的稀疏关键点。

3.根据权利要求1所述的方法,其中所述特定人脸关键点包括用于描绘人脸细节的稠密关键点。

4.根据权利要求1所述的方法,其中所述特定人脸关键点的所述信息包括以下至少一项:

所述特定人脸关键点在人脸图像中的位置;以及

所述特定人脸关键点所对应的深度。

5.根据权利要求1所述的方法,其中在所述模型结构搜索空间中搜索所述模型结构包括:

选择所述多个候选模型结构之一作为种子模型结构;

确定用于所述种子模型结构的模型转移概率,所述模型转移概率指示所述种子模型结构经过一次转换而被转换成所述多个候选模型结构中的每个候选模型结构的相应概率;

迭代地执行以下操作,直到迭代终止条件被满足:

基于所述种子模型结构和所述模型转移概率,生成一组候选模型结构;

确定所述一组候选模型结构的性能指标;以及

响应于所述迭代终止条件未被满足,基于所述一组候选模型结构的所述性能指标,更新所述模型转移概率;以及

响应于所述迭代终止条件被满足,将所述一组候选模型结构中性能指标最好的候选模型结构确定为所述模型结构。

6.根据权利要求5所述的方法,其中所述迭代终止条件包括以下之一:

迭代次数达到阈值次数;或者

所述一组候选模型结构的性能指标变化量低于阈值。

7.根据权利要求5所述的方法,其中所述多个候选模型结构包括第一候选模型结构和第二候选模型结构,并且确定所述模型转移概率包括:

初始化所述模型转移概率,以使得所述种子模型结构经过一次转换而被转换成所述第一候选模型结构的概率与被转换成所述第二候选模型结构的概率相等。

8.根据权利要求5所述的方法,其中生成所述一组候选模型结构包括:

确定待生成的候选模型结构的数量;以及

通过对所述种子模型结构进行所述数量的转换,来生成所述一组候选模型结构。

9.根据权利要求5所述的方法,其中所述一组候选模型结构包括第三候选模型结构和第四候选模型结构,所述第三候选模型结构的性能指标优于所述第四候选模型结构的性能指标,并且更新所述模型转移概率包括:

更新所述模型转移概率,使得所述种子模型结构经过一次转换而被转换成所述第三候选模型结构的概率超过被转换成所述第四候选模型结构的概率。

10.根据权利要求5所述的方法,其中确定所述一组候选模型结构的性能指标包括:

针对所述一组候选模型结构中的每个候选模型结构,

训练所述候选模型结构以得到用于基于人脸图像来预测所述特定人脸关键点的信息的模型;

利用所述模型,基于人脸图像来预测所述特定人脸关键点的信息;以及

基于所述模型的预测结果,确定所述候选模型结构的性能指标。

11.一种用于搜索模型结构的装置,包括:

搜索空间确定模块,被配置为确定能够基于人脸图像来预测人脸关键点的信息的模型结构搜索空间,所述模型结构搜索空间包括多个候选模型结构,其中每个候选模型结构指示将从人脸图像得到的多个特征图融合成用于预测人脸关键点的信息的输出特征图的融合方式,以及在所述融合中应用于所述多个特征图的相应操作;以及

模型结构搜索模块,被配置为基于特定人脸关键点的类型,在所述模型结构搜索空间中搜索适合用于基于人脸图像来预测所述特定人脸关键点的信息的模型结构。

12.根据权利要求11所述的装置,其中所述特定人脸关键点包括用于勾勒人脸轮廓和/或五官的稀疏关键点。

13.根据权利要求11所述的装置,其中所述特定人脸关键点包括用于描绘人脸细节的稠密关键点。

14.根据权利要求11所述的装置,其中所述特定人脸关键点的所述信息包括以下至少一项:

所述特定人脸关键点在人脸图像中的位置;以及

所述特定人脸关键点所对应的深度。

15.根据权利要求11所述的装置,其中所述模型结构搜索模块还包括:

种子选择单元,被配置为选择所述多个候选模型结构之一作为种子模型结构;

概率确定单元,被配置为确定用于所述种子模型结构的模型转移概率,所述模型转移概率指示所述种子模型结构经过一次转换而被转换成所述多个候选模型结构中的每个候选模型结构的相应概率;

迭代单元,被配置为迭代地执行以下操作,直到迭代终止条件被满足:

基于所述种子模型结构和所述模型转移概率,生成一组候选模型结构;

确定所述一组候选模型结构的性能指标;以及

响应于所述迭代终止条件未被满足,基于所述一组候选模型结构的所述性能指标,更新所述模型转移概率;以及

模型结构确定单元,被配置为响应于所述迭代终止条件被满足,将所述一组候选模型结构中性能指标最好的候选模型结构确定为所述模型结构。

16.根据权利要求15所述的装置,其中所述迭代终止条件包括以下之一:

迭代次数达到阈值次数;或者

所述一组候选模型结构的性能指标变化量低于阈值。

17.根据权利要求15所述的装置,其中所述多个候选模型结构包括第一候选模型结构和第二候选模型结构,并且所述概率确定单元还被配置为:

初始化所述模型转移概率,以使得所述种子模型结构经过一次转换而被转换成所述第一候选模型结构的概率与被转换成所述第二候选模型结构的概率相等。

18.根据权利要求15所述的装置,其中所述迭代单元还被配置为:

确定待生成的候选模型结构的数量;以及

通过对所述种子模型结构进行所述数量的转换,来生成所述一组候选模型结构。

19.根据权利要求15所述的装置,其中所述一组候选模型结构包括第三候选模型结构和第四候选模型结构,所述第三候选模型结构的性能指标优于所述第四候选模型结构的性能指标,并且其中所述迭代单元还被配置为:

更新所述模型转移概率,使得所述种子模型结构经过一次转换而被转换成所述第三候选模型结构的概率超过被转换成所述第四候选模型结构的概率。

20.根据权利要求15所述的装置,其中所述迭代单元还被配置为:

针对所述一组候选模型结构中的每个候选模型结构,

训练所述候选模型结构以得到用于基于人脸图像来预测所述特定人脸关键点的信息的模型;

利用所述模型,基于人脸图像来预测所述特定人脸关键点的信息;以及

基于所述模型的预测结果,确定所述候选模型结构的性能指标。

21.一种计算设备,包括:

一个或多个处理器;以及

存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述计算设备实现根据权利要求1-10中任一项所述的方法。

22.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现根据权利要求1-10中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1