神经网络模型训练方法和装置与流程

本申请涉及人工智能技术领域，具体涉及一种神经网络模型训练方法、装置、电子设备和计算机可读存储介质。

背景技术：

随着计算机科学的不断发展，人工智能技术被越来越广泛地应用到了各种应用场景中。现有的人工智能技术可基于神经网络模型实现，这些神经网络模型可通过预先的训练过程建立，例如可通过深度学习的方式进行训练。目前主流的深度学习的方法大体上都是基于给定的标注数据来搭建神经网络模型，训练的过程为基于纯数值上的训练，训练过程中神经网络模型输出的值的物理意义并无法被神经网络模型所理解，这种情况下就很有可能输出一些毫无逻辑的值，从而降低了神经网络模型训练过程的效率和准确性。

技术实现要素：

有鉴于此，本申请实施例提供了一种神经网络模型训练方法、装置、电子设备和计算机可读存储介质，解决了现有神经网络模型训练方式的效率和准确性低的问题。

根据本申请的一个方面，本申请一实施例提供一种神经网络模型训练方法，包括：将样本数据输入神经网络模型，获取所述神经网络模型输出的至少一个物理预测值；根据所述至少一个物理预测值和预设的参考物理数据，获取物理偏差数据；以及根据所述物理偏差数据调整所述神经网络模型的参数。

在本申请一实施例中，所述根据所述至少一个物理预测值和预设的参考物理数据，获取物理偏差数据包括：根据所述至少一个物理预测值计算出所述至少一个物理预测值之间的物理关系数据；以及将所述物理关系数据与预设的参考物理数据对比，获取所述物理偏差数据。

在本申请一实施例中，所述样本数据为样本图像数据，所述至少一个物理预测值为多个特征点识别坐标；其中，所述物理关系数据包括所述多个特征点识别坐标之间的几何关系数据。

在本申请一实施例中，其中所述多个特征点识别坐标为四个特征点识别坐标，其中，所述几何关系数据包括：所述四个特征点识别坐标所构成的四边形的每组对边的夹角度数；所述参考物理数据包括：所述四个特征点识别坐标所构成的四边形的每组对边的夹角度数为零度。

在本申请一实施例中，所述方法进一步包括：将所述至少一个特征点识别坐标分别与所述样本数据中预先标注的与所述特征点对应的标注点坐标对比，以获取与所述至少一个特征点识别坐标分别对应的至少一个特征识别损失结果；以及根据所述至少一个特征识别损失结果获取特征识别偏差数据；其中，所述根据所述物理偏差数据调整所述神经网络模型的参数包括：根据所述物理偏差数据以及所述特征识别偏差数据调整所述神经网络模型的参数。

在本申请一实施例中，所述特征识别偏差数据包括以下几种中的一种或多种组合：分类损失数据和回归损失数据。

在本申请一实施例中，所述预设的参考物理数据包括至少一个参考物理参数；其中，根据所述至少一个物理预测值和预设的参考物理数据，获取物理偏差数据包括：将所述至少一个物理预测值分别与对应的所述参考物理参数对比，以获取与该所述至少一个物理预测值分别对应的至少一个对比损失结果；以及根据所述至少一个对比损失结果获取所述物理偏差数据。

在本申请一实施例中，所述样本数据为样本图像数据，所述至少一个物理预测值包括：矩形中心横坐标、矩形中心纵坐标、矩形长度、矩形宽度、矩形长边相对于所述样本图像数据的边框的旋转角度、以及矩形短边相对于所述样本图像数据的边框的旋转角度中的一个或多个。

根据本申请的另一个方面，本申请一实施例还提供一种神经网络模型训练装置，包括：输入模块，配置为将样本数据输入神经网络模型，获取所述神经网络模型输出的至少一个物理预测值；物理偏差获取模块，配置为根据所述至少一个物理预测值和预设的参考物理数据，获取物理偏差数据；以及调整模块，配置为根据所述物理偏差数据调整所述神经网络模型的参数。

根据本申请的另一个方面，本申请一实施例还提供一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如前任一所述的神经网络模型训练方法。

根据本申请的另一个方面，本申请一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的神经网络模型训练方法。

本申请实施例提供的一种神经网络模型训练方法、装置、电子设备和计算机可读存储介质，通过预设参考物理数据，将神经网络模型输出的物理预测值与参考物理数据比对，并根据相对于参考物理数据的物理偏差数据来调整神经网络模型的参数，相当于在神经网络模型的训练过程中加入了现实的物理逻辑约束，使得神经网络模型的输出更符合现实的物理逻辑。由此可见，虽然神经网络模型并无法理解物理预测值的物理意义，但通过预设参考物理数据使得神经网络模型的输出受到了参考物理数据的限制，从而使神经网络模型在训练过程中避免输出不符合现实物理逻辑的物理预测值，提高了神经网络模型的训练过程的准确性和效率。

附图说明

图1所示为本申请一实施例提供的一种神经网络模型训练方法的流程示意图。

图2所示为本申请一实施例提供的一种神经网络模型训练方法中物理偏差数据的获取流程示意图。

图3所示为本申请另一实施例提供的一种神经网络模型训练方法的流程示意图。

图4所示为本申请一实施例提供的一种神经网络模型训练方法中物理偏差数据的获取流程示意图。

图5所示为本申请一实施例提供的一种神经网络模型训练装置的结构示意图。

图6所示为本申请另一实施例提供的一种神经网络模型训练装置的结构示意图。

图7所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

申请概述

如前所述，现有神经网络模型训练方式之所以存在准确性低和效率低的问题，主要是因为神经网络模型并无法理解所输出的值的实际物理意义，这样在训练过程中，尤其在训练的初期阶段，神经网络模型就很有可能会输出一些毫无逻辑的点，这些毫无逻辑的点本身准确性差，且也会对后续的训练过程造成影响，从而降低训练过程的效率。例如，在智能停车的应用场景，需要训练神经网络模型能够识别地面上的停车位，每次的训练循环神经网络模型都要输出预测的停车位的四个顶点的平面坐标值，但这四个点的平面坐标值对于神经网络模型来说也就仅仅是八个数值而已，神经网络模型并无法理解这些数值的实际物理意义。这样在训练的过程中神经网络模型就很有可能会输出一些毫无逻辑的顶点坐标值，例如所输出的四个顶点的平面坐标值所构成四边形的某一个角为锐角，甚至有三个顶点共线，而实际上停车位的形状应该是呈矩形的，这样神经网络模型的输出就显然并不符合实际的物理逻辑。

针对上述的技术问题，本申请的基本构思是提出一种神经网络模型训练方法和装置，能够在神经网络模型训练的过程中加入现实的物理逻辑约束，通过将神经网络模型输出的物理预测值与参考物理数据比对，并根据相对于参考物理数据的物理偏差数据来调整神经网络模型的参数，从而使得神经网络模型在训练过程中避免输出不符合现实物理逻辑的物理预测值，以此来提高神经网络模型的训练过程的准确性和效率。

需要说明的是，本申请所提供的神经网络模型训练方法和装置可以应用于神经网络模型所适用的任何应用场景。神经网络模型被训练的目的是能够自动地完成智能任务，例如前述的智能识别停车位。然而本申请对神经网络模型的训练目的和所适用的应用场景不做具体限定。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性神经网络模型训练方法

图1所示为本申请一实施例提供的一种神经网络模型训练方法。如图1所示，该神经网络模型训练方法包括如下步骤：

步骤101：将样本数据输入神经网络模型，获取神经网络模型输出的至少一个物理预测值。

样本数据是神经网络模型训练的输入数据，在一个训练循环中，神经网络需要根据输入的样本数据输出至少一个物理预测值。例如在前述的智能识别停车位的场景中，样本数据就可能是采集到的包括实际停车位的地面图片的样本图像数据，神经网络输出的物理预测值则可为预测的停车位的四个顶点在基于样本图像数据建立的平面坐标系中的平面坐标值。

应当理解，神经网络模型输出的物理预测值的内容和数量可根据实际的应用场景而调整和设置，本申请对神经网络模型输出的物理预测值的内容和数量并不做限定。

步骤102：根据至少一个物理预测值和预设的参考物理数据，获取物理偏差数据。

预设的参考物理数据代表着实际的物理逻辑规则，物理偏差数据则用于表征神经网络模型输出的物理预测值相对于参考物理数据的偏差情况，物理偏差数据用于指导后续对于神经网络模型的参数的调整。

步骤103：根据物理偏差数据调整神经网络模型的参数。

神经网络模型的参数影响着神经网络模型的输出，例如权重(weights)和偏移值(bias)等。物理偏差数据用于指导对于神经网络模型的参数的调整过程，使得神经网络模型下一次训练循环所输出的物理预测值能够更好的满足实际的物理逻辑规则。

由此可见，本申请实施例提供的一种神经网络模型训练方法，通过预设参考物理数据，将神经网络模型输出的物理预测值与参考物理数据比对，并根据相对于参考物理数据的物理偏差数据来调整神经网络模型的参数，相当于在神经网络模型的训练过程中加入了现实的物理逻辑约束，使得神经网络模型的输出更符合现实的物理逻辑。虽然神经网络模型并无法理解物理预测值的物理意义，但通过预设参考物理数据使得神经网络模型的输出受到了参考物理数据的限制，从而使神经网络模型在训练过程中避免输出不符合现实物理逻辑的物理预测值，提高了神经网络模型的训练过程的准确性和效率。

在本申请一实施例中，参考物理数据的具体数据呈现形式可以为一些物理关系的数据表征形式。此时如图2所示，物理偏差数据的获取方式可通过如下步骤实现：

步骤201：根据至少一个物理预测值计算出至少一个物理预测值之间的物理关系数据。

例如当样本数据为样本图像数据时，神经网络输出的物理预测值就可为多个特征点识别坐标，物理关系数据就可包括该多个特征点识别坐标之间的几何关系数据。

步骤202：将物理关系数据与预设的参考物理数据对比，获取物理偏差数据。

例如，在前述智能识别停车位的应用场景下，神经网络模型输出的物理预测值就可为对应停车位四个顶点的四个征点识别坐标，几何关系数据就可包括：四个特征点识别坐标所构成的四边形的每组对边的夹角度数。对应的参考物理数据就可包括：四个特征点识别坐标所构成的四边形的每组对边的夹角度数为零度。此时四边形的每组对边的夹角度数本身数值的大小就可被用作物理偏差数据。在本申请一实施例中，也可以设计特定的几何损失计算方式，如果对边之间的夹角过大，例如超过阈值15°，则物理偏差数据对应的几何分支上的损失也会相应地被增大，以此来实现神经网络模型的物理信息的约束，从而使得训练和预测的结果更加符合实际的物理逻辑。此外，几何关系数据也可以包括四边形的每组相邻边的夹角度数。本申请对具体的损失计算方式并不做严格限定。

应当理解，根据应用场景的不同，参考物理数据和物理偏差数据的具体数据呈现形式并不是固定的，而是可根据实际的应用场景需求调整的。例如停车位的几何关系数据就还可通过除对边的夹角度数之外的其他表征方式来表征。本申请对参考物理数据和物理偏差数据的具体数据呈现形式并不做严格限定。

在本申请一实施例中，当样本数据为样本图像数据时，为了进一步提高神经网络模型训练的准确性和效率，除了利用预设的参考物理数据来引入实际的物理逻辑规则外，还可在样本数据中预先标注一些与特征点对应的标注点坐标。具体而言，如图3所示，该神经网络模型训练方法可进一步包括如下步骤：

步骤301：将至少一个特征点识别坐标分别与样本数据中预先标注的与特征点对应的标注点坐标对比，以获取与至少一个特征点识别坐标分别对应的至少一个特征识别损失结果。

例如在前述智能识别停车位的场景中，可预先在样本图像数据采集的场景中预先设置对应停车位已知四个顶点的四个标注点，当样本图像数据采集完成后，提取在基于该样本图像数据建立的坐标系中该四个标注点的标注点坐标。然后将神经网络模型输出的对应停车位四个顶点的四个特征点识别坐标分别与该四个标注点坐标进行对比，以获取四个特征识别损失结果。特征识别损失结果的具体形式可通过例如坐标距离的形式呈现，本申请对特征识别损失结果的具体呈现形式不做限定。

步骤302：根据至少一个特征识别损失结果获取特征识别偏差数据。

由于预先设置的标注点代表着所期望达到的训练目标，因此根据特征识别损失结果获取的特征识别偏差数据则代表着当前所输出的物理预测值距离训练目标之间的差距。此时，则需要根据特征识别偏差数据和物理偏差数据来调整神经网络模型的参数(步骤303)，以更好地提高训练过程的准确性和效率。

在本申请一实施例中，特征识别偏差数据可包括以下几种中的一种或多种组合：分类损失数据和回归损失数据。然而本申请对特征识别偏差数据的具体数据呈现形式并不做限定。

在本申请一实施例中，也可以将实际的物理逻辑规则预先融入到神经网络模型的设置中，在定义神经网络模型的输出时就使得所输出的物理预测值满足实际的物理逻辑规则。虽然这样神经网络模型所输出的物理预测值已满足物理逻辑规则，但肯定距离实际的训练目标是有差距的，仍然需要根据物理偏差数据来不断调整神经网络模型的参数，以使得神经网络模型所输出的物理预测值能够不断靠近参考物理数据。具体而言，预设的参考物理数据可包括至少一个参考物理参数，如图4所示，获取物理偏差数据的过程可包括如下步骤：

步骤401：将至少一个物理预测值分别与对应的参考物理参数对比，以获取与该至少一个物理预测值分别对应的至少一个对比损失结果。

步骤402：根据至少一个对比损失结果获取物理偏差数据。

参考物理参数的数据种类与物理预测值的数据种类是对应的。例如，在智能识别停车位的场景下，样本数据为样本图像数据，该至少一个物理预测值可包括以下参数中的一个或多个：矩形中心横坐标、矩形中心纵坐标、矩形长度、矩形宽度、矩形长边相对于样本图像数据的边框的旋转角度、以及矩形短边相对于样本图像数据的边框的旋转角度。参考物理参数对应实际停车位的如下参数中的一个或多个：实际停车位的矩形中心横坐标、实际停车位的矩形中心纵坐标、实际停车位的矩形长度、实际停车位的矩形宽度、实际停车位的矩形长边相对于样本图像数据的边框的旋转角度、以及实际停车位的矩形短边相对于样本图像数据的边框的旋转角度。虽然这样神经网络模型输出的物理预测值之间已满足了矩形的几何关系，但这些物理预测值所表征的矩形与实际的停车位形状还是有偏差的，因此需要根据对比损失结果来获取物理偏差数据，并根据物理偏差数据调整神经网络模型的参数。

示例性神经网络模型训练装置

图5所示为本申请一实施例提供的一种神经网络模型训练装置的结构示意图。如图5所示，该神经网络模型训练装置50包括：输入模块51，配置为将样本数据输入神经网络模型，获取神经网络模型输出的至少一个物理预测值；物理偏差获取模块52，配置为根据至少一个物理预测值和预设的参考物理数据，获取物理偏差数据；以及调整模块53，配置为根据物理偏差数据调整神经网络模型的参数。

在本申请一实施例中，物理偏差获取模块52进一步配置为：根据至少一个物理预测值计算出至少一个物理预测值之间的物理关系数据；以及将物理关系数据与预设的参考物理数据对比，获取物理偏差数据。

在本申请一实施例中，样本数据为样本图像数据，至少一个物理预测值为多个特征点识别坐标，物理关系数据包括多个特征点识别坐标之间的几何关系数据。

在本申请一实施例中，多个特征点识别坐标为四个特征点识别坐标，其中，几何关系数据包括：四个特征点识别坐标所构成的四边形的每组对边的夹角度数；参考物理数据包括：四个特征点识别坐标所构成的四边形的每组对边的夹角度数为零度。

在本申请一实施例中，如图6所示，该神经网络模型训练装置50进一步包括：特征识别偏差数据获取模块54，配置为将至少一个特征点识别坐标分别与样本数据中预先标注的与特征点对应的标注点坐标对比，以获取与至少一个特征点识别坐标分别对应的至少一个特征识别损失结果；以及根据至少一个特征识别损失结果获取特征识别偏差数据；其中，调整模块53进一步配置为：根据物理偏差数据以及特征识别偏差数据调整神经网络模型的参数。

在本申请一实施例中，特征识别偏差数据包括以下几种中的一种或多种组合：分类损失数据和回归损失数据。

在本申请一实施例中，预设的参考物理数据包括至少一个参考物理参数；其中，物理偏差获取模块52进一步配置为：将至少一个物理预测值分别与对应的参考物理参数对比，以获取与该至少一个物理预测值分别对应的至少一个对比损失结果；以及根据至少一个对比损失结果获取物理偏差数据。

在本申请一实施例中，样本数据为样本图像数据，至少一个物理预测值包括：矩形中心横坐标、矩形中心纵坐标、矩形长度、矩形宽度、矩形长边相对于样本图像数据的边框的旋转角度、以及矩形短边相对于样本图像数据的边框的旋转角度中的一个或多个。

上述神经网络模型训练装置50中的各个模块的具体功能和操作已经在上面参考图1到图4描述的机械机构控制方法中进行了详细介绍，因此，这里将省略其重复描述。

需要说明的是，根据本申请实施例的神经网络模型训练装置50可以作为一个软件模块和/或硬件模块而集成到电子设备70中，换言之，该电子设备70可以包括该神经网络模型训练装置50。例如，该神经网络模型训练装置50可以是该电子设备70的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该神经网络模型训练装置50同样可以是该电子设备70的众多硬件模块之一。

在本发明另一实施例中，该神经网络模型训练装置50与该电子设备70也可以是分立的设备(例如，服务器)，并且该神经网络模型训练装置50可以通过有线和/或无线网络连接到该电子设备70，并且按照约定的数据格式来传输交互信息。

示例性电子设备

图7所示为本申请一实施例提供的电子设备的结构示意图。如图7所示，该电子设备70包括：一个或多个处理器701和存储器702；以及存储在存储器702中的计算机程序指令，计算机程序指令在被处理器701运行时使得处理器701执行如上述任一实施例的神经网络模型训练。

处理器701可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本申请的各个实施例的神经网络模型训练中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(图7中未示出)互连。

例如，在该电子设备是智能汽车时，该输入装置703可以是摄像头，用于捕捉汽车后方停车位的图像。在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入设备703还可以包括例如键盘、鼠标、麦克风等等。

该输出装置704可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的神经网络模型训练中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性神经网络模型训练”部分中描述的根据本申请各种实施例的神经网络模型训练中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。