多级多目标自动化机器学习的制作方法

背景技术：

1、本发明总体上涉及机器学习领域，并且更具体地涉及神经信息处理系统。

2、机器学习是增强智能的子集，其集中于研究通过经验自动改进的计算机算法。在机器学习中使用的计算机算法基于样本数据(被称为“训练数据”)来建立数学模型，以做出预测和/或决定，而不被明确地编程为这样做。

3、神经架构搜索(nas)是被开发用于组装神经网络架构以适合特定应用的算法，包括：(i)图像和视频识别；(ii)推荐器系统；(iii)图像分类；(iv)医学图像分析；(v)自然语言处理，和/或(vi)财务时间序列。典型地，nas算法从定义“结构单元”集开始，该“结构单元”集然后被控制器递归神经网络(rnn)采样并且被组装成定制的神经架构。定制的架构被训练为收敛以获得训练验证数据集上的指定精度。在完成时，利用所得的精度更新rnn，以供rnn在生成另一定制的神经架构时使用。

4、自动化机器学习是将机器学习应用于现实世界问题的过程的自动化过程。该过程将来自原始数据集的机器学习考虑为可部署的机器学习模型。开发者可用的高度自动化允许非专家利用机器学习模型和技术。自动化机器学习的商业示例是automl和autokeras。(注意：术语“automl”和“autokeras”可能受到世界各地的不同司法管辖区中的商标权保护，并且在此仅在此类商标权可能存在的范围内用于指代由这些商标正确命名的产品或服务。)

5、根据概率理论和统计，高斯过程是以时间或空间为索引的随机变量的集合。随机变量的每个有限集合具有多元正态分布。这假设变量的每个有限线性组合是正态分布的。高斯过程的分布是所有随机变量的联合分布。本质上，它是在具有连续域(诸如，时间和空间)的函数之上的分布。

6、涉及高斯过程的机器学习算法通常使用懒惰学习连同点之间的相似性的测量来从训练数据预测未看见点的值。该预测不仅是对未看见点的估计，而且包括不确定性信息，所以其是一维高斯分布。对于多输出预测，使用多元高斯过程，对于多元高斯过程，多元高斯分布是在每个点处的边际分布。

7、高斯过程还在统计建模中使用，其受益于从正态分布继承的特性。如果随机过程被建模为高斯过程，则可以明确地获得各种所得到的量的分布。所得到的量可以包括：(i)该过程在时间范围内的平均值；以及(ii)使用在小的时间集合处的样本值来估计该平均值的误差。已开发了保持良好精度同时大幅减少计算时间的近似方法。

8、帕累托(pareto)效率涉及在不使至少一个偏好准则更差的情况下不能使偏好准则更好的情形。对于给定系统，帕累托边界(也被称为帕累托集和帕累托前沿)是所有帕累托有效的参数集或分配。通过产生所有潜在最佳解决方案的帕累托前沿，设计者可以在由帕累托前沿表示的受限参数集内进行集中权衡，而不是考虑参数的全范围。

技术实现思路

1、在本发明的一个方面中，一种方法、计算机程序产品和系统包括：(i)使用cnn模型来确定针对优化解的上级目标和下级目标集；(ii)确定上级目标和下级目标集的超参数配置，以供超带框架用于执行神经架构搜索(nas)；(iii)在执行nas的同时，在第一搜索空间内找到候选cnn模型集；(iv)使用训练数据集来训练候选cnn模型集；(v)估计上级目标和下级目标集的解值的条件概率密度分布；(vi)选择具有最大帕累托最优解的候选cnn模型；以及(vii)训练候选cnn模型以在验证数据集上收敛。

2、本发明的另一方面包括将附加约束应用于第一下级目标以缩小第一搜索空间。

3、本发明的另一方面包括针对每个候选cnn模型确定局部最优解。

4、本发明的另一方面包括由移动设备部署候选cnn模型。

5、本发明的另一方面包括使用帕曾(parzen)核密度估计器来计算密度以估计条件概率密度分布。

1.一种用于设计卷积神经网络(cnn)的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1所述的方法，其中估计所述条件概率密度分布包括：

5.根据权利要求1所述的方法，还包括：

6.一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有被存储在其中的指令集，所述指令集在由处理器执行时使所述处理器通过以下操作来设计卷积神经网络(cnn)：

7.根据权利要求6所述的计算机程序产品，所述指令集在由所述处理器执行时还使所述处理器通过以下操作来设计卷积神经网络(cnn)：

8.根据权利要求6所述的计算机程序产品，所述指令集在由所述处理器执行时还使所述处理器通过以下操作来设计卷积神经网络(cnn)：

9.根据权利要求6所述的计算机程序产品，其中估计所述条件概率密度分布包括：

10.根据权利要求6所述的计算机程序产品，所述指令集在由所述处理器执行时还使所述处理器通过以下操作来设计卷积神经网络(cnn)：

11.一种用于设计卷积神经网络(cnn)的计算机系统，所述计算机系统包括：

12.根据权利要求11所述的计算机系统，还使所述处理器集通过以下操作来执行方法：

13.根据权利要求11所述的计算机系统，还使所述处理器集通过以下操作来执行方法：

14.根据权利要求11所述的计算机系统，其中估计所述条件概率密度分布包括：

15.根据权利要求11所述的计算机系统，还使所述处理器集通过以下操作来执行方法：