一种用于机器学习的样本数据生成系统的制作方法

本公开涉及计算机信息处理领域，具体而言，涉及一种用于机器学习的样本数据生成系统。

背景技术：

要构建基于深度学习技术的视觉系统，不可避免需要进行数据采集、数据清洗、深度网络训练、数据后处理等一系列流程，而数据采集是整个流程中的第一步，也是极为关键的一步。近年来，计算机视觉相关系统已经相对成熟，尤其是在目标检测与识别方面，对于静态物体或低速移动物体的检测与识别都已经达到了较高的水平。然而对于一些针对较高速移动目标的检测与识别任务，例如无人驾驶汽车躲避突然闯入视野的行人、无人机快速避障、工厂高速齿轮故障检测等，依然存在很多困难，这有很大一部分原因在于高速移动的图像数据采集困难、无法或很难采集到高质量的数据，就算能够进行数据采集、数据采集与标注工作通常也费时费力。

因此，需要一种新的用于机器学习的样本数据生成系统。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

有鉴于此，本公开提供一种用于机器学习的样本数据生成系统，能够在空间要求较低的情况下以简单快捷的方式获取高速移动图像数据，还能够以自动、高效的方式对图像数据进行标注以生成用于机器学习的样本数据，标注效率高。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种用于机器学习的样本数据生成系统，该系统包括：显示装置，用于展示目标对象；运动装置，用于承载所述显示装置进行运动；摄像装置，用于生成运动中的所述目标对象的目标图像；测速装置，用于获取所述运动装置的运动速度；以及处理装置，用于获取所述目标对象的类别和当前时间，并根据所述运动速度和所述当前时间确定所述目标对象的当前位置，并基于所述类别、所述当前位置以及所述目标图像生成用于机器学习的样本数据。

在本公开的一种示例性实施例中，所述显示装置，包括：显示屏，用于展示所述目标对象；以及显示屏控制器，用于确定所述目标对象的类别，并控制所述显示屏显示所述目标对象。

在本公开的一种示例性实施例中，所述显示屏控制器，用于在控制所述显示屏显示所述目标对象时，将所述目标对象的类别发送至所述处理装置；

所述摄像装置，用于将采集到的所述目标对象的目标图像发送至所述处理装置；

所述处理装置，用于接收所述显示屏控制器发送的目标对象的类别以及所述摄像装置发送的所述目标对象的目标图像，根据所述运动速度和所述当前时间确定所述目标对象的当前位置，并基于所述类别、所述当前位置以及所述目标图像生成用于机器学习的样本数据。

在本公开的一种示例性实施例中，所述处理装置，用于确定所述目标对象运动的初始时刻和初始位置，根据所述运动速度、所述当前时间和所述初始时刻确定目标角度，并根据所述目标角度和所述初始位置确定所述目标对象的当前位置。

在本公开的一种示例性实施例中，所述运动装置，包括：驱动电机，用于带动承载单元进行旋转；调速装置，用于控制所述驱动电机的旋转速度；以及承载单元，用于承载所述显示装置进行运动。

在本公开的一种示例性实施例中，所述运动装置，还包括：固定装置，用于固定所述驱动电机；以及减震装置，用于减小所述驱动电机的转动。

在本公开的一种示例性实施例中，所述承载单元，包括：转盘或转筒。

在本公开的一种示例性实施例中，所述处理装置，用于将所述目标图像作为机器学习中的原始数据，将所述类别和所述当前位置作为所述原始数据的标签，并通过带有标签的原始数据生成所述样本数据。

在本公开的一种示例性实施例中，所述摄像装置包括动态视觉传感器相机、事件性相机、仿视网膜相机中的一种。

在本公开的一种示例性实施例中，存储模块，用于存储所述样本数据。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的用于机器学习的样本数据生成系统，获取运动的目标对象的目标图像；获取所述目标对象的类别和运动速度；通过所述运动速度和当前时间确定所述目标对象的当前位置；基于所述目标图像、所述类别和所述当前位置生成用于机器学习的样本数据的方式，能够在空间要求较低的情况下以简单快捷的方式获取高速移动目标图像，还能够以自动、高效的方式对目标图像进行标注以生成用于机器学习的样本数据，极大减轻人工工作量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种用于机器学习的样本数据生成系统框图。

图2是根据一示例性实施例示出的一种用于机器学习的样本数据生成系统的示意图。

图3是根据另一示例性实施例示出的一种用于机器学习的样本数据生成系统的示意图。

图4是根据一示例性实施例示出的一种用于机器学习的样本数据生成方法的流程图。

图5是根据一示例性实施例示出的一种电子设备的框图。

图6是根据一示例性实施例示出的一种计算机可读介质的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、系统实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

本公开的发明人发现，对于高速目标检测算法的验证数据采集而言，现有采集数据的方法费时费力、已经无法满足现有的高速目标检测算法快速迭代的需求，具体缺点如下：

1)现有的方法对于数据采集时的空间要求极高，必须拥有足够的空间以支持相机/目标进行移动。

2)现有的方法对于目标移动的速度很难掌控，尤其是在极高速情况下，速度的掌控更为艰难。

3)现有的方法数据采集的成本较高，需要购买相机稳定器、可以支持物体高速移动的导轨、模拟环境的道具等。

4)在采集数据后需要人工对数据进行标注、数据采集和标注花费的时间成本和人力成本极高。

5)数据采集的场景较难复现、想要实时测试算法性能或进行算法的演示较为困难。

为了解决现有技术中的难题，本公开提出了一种用于机器学习的样本数据生成系统，能够以较低廉的成本实现在空间要求较低的情况下，采集高速移动图像数据，并配合调速器可以灵活的控制目标的移动速度。还可以较容易的对数据采集时的场景进行复现，可以轻松的对目标检测与识别算法进行算法性能测试或算法效果演示。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图1是根据一示例性实施例示出的一种用于机器学习的样本数据生成系统框图。如图1所示，用于机器学习的样本数据生成系统10包括：显示装置102，运动装置104，摄像装置106，测速装置108，处理装置110。

显示装置102用于展示目标对象；其中，所述显示装置102可包括：显示屏，用于展示所述目标对象；以及显示屏控制器，用于确定所述目标对象的类别，并控制所述显示屏的显示图像。

运动装置104用于承载所述显示装置进行运动；所述运动装置14可包括：驱动电机，用于带动承载单元进行旋转；调速装置，用于控制所述驱动电机的旋转速度；以及承载单元，用于承载所述显示装置进行运动。所述运动装置104还可包括：固定装置，用于固定所述驱动电机；以及减震装置，用于减小所述驱动电机的转动。其中，所述承载单元，包括：转盘或转筒。

摄像装置106用于生成运动中的所述目标对象的目标图像；

测速装置108用于获取所述运动装置的运动速度；以及

处理装置110用于获取所述目标对象的类别和当前时间，并根据所述运动速度和所述当前时间确定所述目标对象的当前位置，并基于所述类别、所述当前位置以及所述目标图像生成用于机器学习的样本数据。

显示装置102中的显示屏控制器可将目标对象的类别发送给处理装置110，处理装置110接收显示装置102中显示屏控制器发送的目标对象的类别，处理装置110也可基于预定规则从显示屏控制器的存储器中读取目标对象的类别，本公开不以此为限。

根据本公开的用于机器学习的样本数据生成方法装置，获取运动的目标对象的目标图像；获取所述目标对象的类别和运动速度；通过所述运动速度和当前时间确定所述目标对象的当前位置；基于所述目标图像、所述类别和所述当前位置生成用于机器学习的样本数据的方式，能够在空间要求较低的情况下以简单快捷的方式获取高速移动的目标图像，还能够以自动、高效的方式对目标图像进行标注以生成用于机器学习的样本数据，提高样本的生成效率，降低样本生成的成本。

在一种可能的实现方式中，所述显示屏控制器，用于在控制所述显示屏显示所述目标对象时，将所述目标对象的类别发送至所述处理装置；

所述摄像装置，用于将采集到的所述目标对象的目标图像发送至所述处理装置；

所述处理装置，用于接收所述显示屏控制器发送的目标对象的类别以及所述摄像装置发送的所述目标对象的目标图像，根据所述运动速度和所述当前时间确定所述目标对象的当前位置，并基于所述类别、所述当前位置以及所述目标图像生成用于机器学习的样本数据。

在一种可能的实现方式中，所述处理装置，用于确定所述目标对象运动的初始时刻和初始位置，根据所述运动速度、所述当前时间和所述初始时刻确定目标角度，并根据所述目标角度和所述初始位置确定所述目标对象的当前位置。

在一种可能的实现方式中，所述处理装置，用于将所述目标图像作为机器学习中的原始数据，将所述类别和所述当前位置作为所述原始数据的标签，并通过带有标签的原始数据生成所述样本数据。

在一种可能的实现方式中，所述摄像装置包括动态视觉传感器相机、事件性相机、仿视网膜相机等高速相机中的一种。

例如，处理装置接收到测速仪发来实时转速的时刻记为初始时刻，初始时刻可为t0；同时在t0时刻记录测速仪检测转盘(或转筒)的某一预设的固定位置坐标(通常为显示装置的位置坐标)，记为(x0，y0)；处理装置获取目标对象的目标图像的时刻记为当前时间，当前时间可记为t1，当前时间t1与初始时刻t0的时间间隔为t＝t1–t0(单位：秒)。

其中，预设的固定位置可为转盘上的任一位置，还可通过明显的标记指示此位置。其中，可将垂直与测速仪检测转盘(或转筒)的二维平面确定为本公开中的坐标系，该坐标系的原点可为测速仪检测转盘(或转筒)的圆心位置。

当前转盘转速记为v0(转/秒),则t时间内显示有目标对象的显示装置旋转过的角度为360*v0*t。基于这个角度θ，可以根据如下公式计算出t1时刻目标所在位置(x1,y1)：

可将高速相机发送的当前时间的高速目标图像帧记为data、控制器传递的目标类别/标签记为label，则此刻输出的用户进行机器学的样本数据为[data、(label，x1，y1)]。

在一种可能的实现方式中，包括：

存储模块，用于存储所述样本数据。

这样，能够以自动、高效的方式对目标图像进行标注以生成用于机器学习的样本数据，提高样本的生成效率，降低样本生成的成本。

图2是根据一示例性实施例示出的一种用于机器学习的样本数据生成及系统的示意图。如图2所示，用于机器学习的样本数据生成及系统20可包括：

1.驱动电机可位于运动装置104中，用于带动转盘进行旋转。

2.调速装置可位于运动装置104中，用于控制驱动电机转头旋转速度，所示驱动电机可为无级变速电机。

3.固定装置可位于运动装置104中，用于固定驱动电机的位置，使其不在旋转时剧烈抖动。

4.减震装置可位于运动装置104中，用于减少驱动电机在高速旋转时产生的震动；

5.高速相机可位于摄像装置106中，用于采集高速旋转的目标图像。

6.转盘可位于运动装置104中，由驱动电机驱动旋转，并携有显示屏。

7.显示屏可位于显示装置102中，由转盘携带，用于动态显示目标。

8.测速仪可位于测速装置108中，用于实时测量转盘转速。

如图2所示，用于机器学习的样本数据生成及系统20还可包括：

显示屏控制器(图中简称为控制器)可位于显示装置102中，用于控制显示屏显示的目标，同时将目标的类别传递至整合模块；

整合模块可位于处理装置110中，用于接收高速相机采集的实时数据、显示屏控制器发送过来的目标类别，测速仪发送过来的转盘实时转速、当前时间及确定目标对象的当前位置，并通过固定算法流程对这些信息进行整合，并将整合好的数据及对应的标签传送给存储模块。

存储模块，用于存储标记好的数据。

如图2所示，驱动电机位于固定装置上，其转头带动转盘进行高速旋转，并由调速装置调整其转头转速。转盘正面空白处可粘贴有显示屏，显示屏显示的内容由显示屏控制器控制。显示屏控制器在控制显示屏显示目标图像后，将此目标的目标类别/标签通过无线的方式传递给整合模块。同时，高速相机将实时采集到的高速移动目标对象的目标图像传递给整合模块。

测速仪检测转盘的固定位置、即显示屏所在的正后方，测速仪根据两次检测到显示屏的时间间隔计算出转盘的实时转速，并发送给整合模块。

整合模块可有五个输入，分别是：

1)高速相机发送的高速目标图像

2)显示屏控制器传递的目标类别/标签

3)测速仪检测到的转盘实时转速

4)当前时间

5)测速仪检测到的固定位置的坐标，其中，固定位置的坐标为测速仪检测到的位置，固定位置的坐标可用于计算当前位置，具体计算过程可参考图4对应的实施例。

通过以上输入，整合模块可生成用于机器学习的样本数据。

图3是根据另一示例性实施例示出的一种用于机器学习的样本数据生成系统的示意图。如图3所示，用于机器学习的样本数据生成及系统30可包括：

1.驱动电机可位于运动装置104中，用于带动转盘进行旋转。

2.调速装置可位于运动装置104中，用于控制驱动电机转头旋转速度，所示驱动电机可为无级变速电机。

3.固定装置可位于运动装置104中，用于固定驱动电机的位置，使其不在旋转时剧烈抖动。

4.减震装置可位于运动装置104中，用于减少驱动电机在高速旋转时产生的震动；

5.高速相机可位于摄像装置106中，用于采集高速旋转的目标对象的目标图像。

6.转筒可位于运动装置104中，由驱动电机驱动旋转，并携有显示屏。

7.显示屏可位于显示装置102中，由转盘携带，用于动态显示目标。

8.测速仪可位于测速装置108中，实时测量转盘转速。

如图3所示，用于机器学习的样本数据生成及系统30还可包括：

显示屏控制器(图中简称为控制器)，用于控制显示屏显示的目标，同时将目标的类别传递至整合模块；

整合模块可位于处理装置110中，用于接收高速相机采集的实时数据、控制器发送过来的目标类别，测速仪发送过来的转筒实时转速、确定当前时间和目标对象的当前位置，并将通过固定算法流程对这些信息进行整合，并将整合好的数据及对应的标签传送给存储模块。

存储模块，用于存储标记好的数据。

在图3的用于机器学习的样本数据生成系统中，搭载显示屏的不是转盘而是转筒，并且显示屏可位于转筒的侧面，驱动电机的转头方向垂直与平面。其余情况均与图2的实施例相同。

图3中的实施例可以实现与图2的实施例类似的效果，但略有不同，图3中的实施例的显示屏的移动方向在高速相机的视野中几乎可以视为水平移动，在图2的实施例中，显示屏的移动轨迹对于高速相机而言显然是圆/弧形。

根据本公开的用于机器学习的样本数据生成系统，能够充分利用无极变速转机的特点配合转盘或转筒，以较低廉的成本实现在空间要求较低的情况下，采集高速移动的目标对象的目标图像，并配合调速器可以灵活的控制目标的移动速度；充分利用电子显示屏配合控制模块、红外测速仪、整合模块，以自动化、高效的方式对数据进行标注，极大程度的减轻人工工作量。

基于上述特点，本公开的用于机器学习的样本数据生成系统可以较容易的对数据采集时的场景进行复现，可以轻松的对目标检测与识别算法进行算法性能测试或算法效果演示。

图4是根据一示例性实施例示出的一种用于机器学习的样本数据生成方法的流程图。用于机器学习的样本数据生成方法40至少包括步骤s402至s408。

如图4所示，在s402中，获取运动的目标对象的目标图像。可包括：将所述目标对象在显示装置上进行显示；以及在显示装置运动时获取所述目标对象的目标图像。

在一个实施例中，显示装置固定在运动装置上，运动装置带动所述显示装置进行运动，所述运动装置包括：转盘或转筒。

在s404中，获取所述目标对象的类别和运动速度。包括：通过显示装置获取所述目标对象的类别；以及通过测速仪获取所述目标对象的运动速度。

在一个实施例中，通过测速仪获取所述目标对象的运动速度，包括：所述测速仪获取所述运动装置的转速以作为所述目标对象的运动速度。

在s406中，通过所述运动速度和当前时间确定所述目标对象的当前位置。包括：获取目标对象运动的初始时刻和初始位置；通过所述运动速度和当前时间、初始时刻确定目标角度；以及通过所述目标角度和所述初始位置确定所述目标对象的当前位置。

例如，可将处理装置接收到测速仪发来实时转速的时刻记为初始时刻，初始时刻可为t0；同时在t0时刻记录测速仪检测转盘(或转筒)的某一预设的固定位置坐标(通常为显示装置的位置坐标)，记为(x0，y0)；在处理装置获取目标对象的目标图像的时刻记为当前时间，当前时间可记为t1，当前时间t1与初始时刻t0的时间间隔为t＝t1–t0(单位：秒)。

其中，预设的固定位置可为转盘上的任一位置，还可通过明显的标记指示此位置。其中，可将垂直与测速仪检测转盘(或转筒)的二维平面确定为本公开中的坐标系，该坐标系的原点可为测速仪检测转盘(或转筒)的圆心位置。

当前转盘转速记为v0(转/秒),则t时间内显示有目标对象的显示装置旋转过的角度为360*v0*t。基于这个角度θ，可以根据如下公式计算出t1时刻目标所在位置(x1,y1)：

可将高速相机发送的当前时间的高速目标图像帧记为data、控制器传递的目标类别/标签记为label，则此刻输出的用户进行机器学的样本数据为[data、(label，x1，y1)]。

还可包括，向存储模块输出记录时间段内的所有时刻的数据与标签对。

在s408中，基于所述目标图像、所述类别和所述当前位置生成用于机器学习的样本数据。包括：将所述目标图像作为机器学习中的原始数据；将所述类别和所述当前位置作为所述原始数据的标签；以及通过带有标签的原始数据生成所述样本数据。

根据本公开的用于机器学习的样本数据生成方法，获取运动的目标对象的目标图像；获取所述目标对象的类别和运动速度；通过所述运动速度和当前时间确定所述目标对象的当前位置；基于所述目标图像、所述类别和所述当前位置生成用于机器学习的样本数据的方式，能够在占用较少的系统空间的情况下以简单快捷的方式获取高速移动的目标对象的目标图像，还能够以自动、高效的方式对图像进行标注以生成用于机器学习的样本数据，极大减轻人工工作量。

根据本公开的用于机器学习的样本数据生成方法，图像采集装置采集效率高、建设成本低、速度调整灵活，空间要求低，目标更换容易，可以极大的提高高速移动图像采集的效率，降低数据采集的时间成本和人力成本。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由cpu执行的计算机程序。在该计算机程序被cpu执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。