一种样本数据生成方法、装置以及机器人与流程

本申请涉及但不限于数据处理技术领域，尤其涉及一种样本数据生成方法、装置以及机器人。

背景技术：

随着人工智能(artificialintelligence，ai)的发展，基于ai的机器人应运而生。当前的机器人主要是基于语音实现与用户交互，基于此，机器人具有“听”和“说”的能力，能够倾听用户的诉求并作出响应。为了提升交互体验，业界提出了将视觉与听觉叠加实现与用户交互的技术方案。通过在听觉基础上增加视觉能力，可以使得机器人识别用户在交互时的情绪，进而能够根据用户的情绪提供更为人性化的服务。

机器人识别用户在交互时的情绪一般是通过视觉感知模型实现的。视觉感知模型可以通过大量的样本数据以及机器学习算法训练得到。其中，样本数据的质量直接影响了视觉感知模型的准确率。

目前业界主要采用从互联网中获取大数据，然后人工标注大数据的方式获得样本数据。由于人工标注主要是依赖于标注人员的经验，并且标注人员对情绪等视觉感知信息的判断标准不统一，如此导致标注准确率不高，极大地影响了样本数据的质量。因此，亟需提供一种样本数据生成方法以便获得高质量的样本数据。

技术实现要素：

有鉴于此，本申请提供了一种样本数据生成方法，该方法能够根据用户图像中提取的眼球特征自动识别用户的情绪，进而生成高质量的样本数据。对应地，本申请还提供了一种样本数据生成装置以及机器人。

本申请第一方面提供了一种样本数据生成方法，所述方法包括：

采集对应用户的图像；

从所述对应用户的图像中提取所述对应用户的眼球特征信息；

通过情绪判定条件和所述眼球特征信息确定所述对应用户的情绪标签；

根据所述对应用户的图像和所述情绪标签生成样本数据，所述样本数据用于训练视觉感知模型。

可选的，所述眼球特征信息包括瞳孔信息；

则所述通过情绪判定条件与所述眼球特征信息确定所述用户的情绪标签包括：

通过情绪判定条件确定与所述瞳孔信息匹配的情绪标签，作为所述对应用户的情绪标签。

可选的，所述方法还包括：

根据所述对应用户的图像和眼球追踪算法确定所述对应用户的视觉感兴趣区域；

则所述根据所述对应用户的图像和所述情绪标签生成样本数据包括：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述方法还包括：

从眼动系统中获取所述对应用户的图像对应的眼球光学特征信息或眼球电学特征信息，并根据所述眼球光学特征信息或眼球电学特征信息确定所述对应用户的视觉感兴趣区域；

则所述根据所述对应用户的图像和所述情绪标签生成样本数据包括：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述采集对应用户的图像包括：

采集时间周期内对应用户的多张图像；

则所述方法还包括：

根据所述多张图像以及眼球追踪算法确定所述对应用户在所述时间周期的眼球转动方向；

通过第一心理活动判定条件和所述眼球转动方向确定所述对应用户的心理活动类别标签；

则所述根据所述对应用户的图像和所述情绪标签生成样本数据包括：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集对应用户的图像包括：

采集时间周期内对应用户的多张图像；

则所述方法还包括：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的眼睑位置信息，根据每张所示对应用户的图像的眼睑位置信息确定所述对应用户在所述时间周期的眨眼特征信息；

通过第二心理活动判定条件和所述眨眼特征信息，确定所述对应用户的心理活动类别标签；

则所述根据所述对应用户的图像和所述情绪标签生成样本数据包括：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集对应用户的图像包括：

采集时间周期内对应用户的多张图像；

则所述方法还包括：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的肢体特征信息；

确定所述多张图像各自对应的肢体特征信息和所述多张图像各自对应的情绪标签的关联关系；

根据所述关联关系确定所述用户的习性标签，所述习性标签用于表征所述用户在操作某种肢体动作时对应的情绪状态；

则根据所述对应用户的图像和所述情绪标签生成样本数据包括：

针对所述对应用户的多张图像中的每张图像，分别根据每张图像、以及每张图像对应的情绪标签以及所述对应用户的习性标签生成样本数据。

可选的，所述方法还包括：

从所述对应用户的图像中提取所述对应用户的面部特征信息和/或肢体特征信息；

则所述通过情绪判定条件与所述眼球特征信息确定所述用户的情绪标签包括：

根据第一情绪判定条件确定与所述眼球特征信息匹配的第一情绪标签；

根据第二情绪判定条件确定与所述面部特征信息和/或肢体特征信息匹配的第二情绪标签；

根据所述第一情绪标签和所述第二情绪标签确定所述用户的情绪标签。

可选的，所述采集对应用户的图像包括：

通过摄像头采集所述对应用户在真实交互场景下的图像。

本申请第二方面提供了一种样本数据生成装置，所述装置包括：

采集单元，用于采集对应用户的图像；

提取单元，用于从所述对应用户的图像中提取所述对应用户的眼球特征信息；

确定单元，用于通过情绪判定条件与所述眼球特征信息确定所述对应用户的情绪标签；

生成单元，用于根据所述对应用户的图像和所述情绪标签生成样本数据，所述样本数据用于训练视觉感知模型。

可选的，所述眼球特征信息包括瞳孔信息；

所述确定单元具体用于：

通过情绪判定条件确定与所述瞳孔信息匹配的情绪标签，作为所述对应用户的情绪标签。

可选的，所述确定单元还用于：

根据所述对应用户的图像和眼球追踪算法确定所述对应用户的视觉感兴趣区域；

则所述生成单元具体用于：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述确定单元还用于：

从眼动系统中获取所述对应用户的图像对应的眼球光学特征信息或眼球电学特征信息，并根据所述眼球光学特征信息或眼球电学特征信息确定所述对应用户的视觉感兴趣区域；

则所述生成单元具体用于：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述采集单元具体用于：

采集时间周期内对应用户的多张图像；

所述确定单元还用于：

根据所述多张图像以及眼球追踪算法确定所述对应用户在所述时间周期的眼球转动方向；

通过第一心理活动判定条件和所述眼球转动方向确定所述对应用户的心理活动类别标签；

则所述生成单元具体用于：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集单元具体用于：

采集时间周期内对应用户的多张图像；

所述提取单元还用于：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的眼睑位置信息；

所述确定单元还用于：

根据每张所述对应用户的图像的眼睑位置信息确定所述用户在所述时间周期的眨眼特征信息；

通过第二心理活动判定条件和所述眨眼特征信息，确定所述对应用户的心理活动类别标签；

则所述生成单元具体用于：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集单元具体用于：

采集时间周期内对应用户的多张图像；

则所述提取单元还用于：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的肢体特征信息；

所述确定单元还用于：确定所述多张图像各自对应的肢体特征信息和所述多张图像各自对应的情绪标签的关联关系；

根据所述关联关系确定所述对应用户的习性标签，所述习性标签用于表征所述对应用户在操作某种肢体动作时对应的情绪状态；

则所述生成单元具体用于：

针对所述对应用户的多张图像中的每张图像，分别根据每张图像、以及每张图像对应的情绪标签以及所述用户的习性标签生成样本数据。

可选的，所述提取单元还用于：

从所述图像中提取所述用户的面部特征信息和/或肢体特征信息；

则所述确定单元具体用于：

根据第一情绪判定条件确定与所述眼球特征信息匹配的第一情绪标签；

根据第二情绪判定条件确定与所述面部特征信息和/或肢体特征信息匹配的第二情绪标签；

根据所述第一情绪标签和所述第二情绪标签确定所述用户的情绪标签。

可选的，所述采集单元具体用于：

通过摄像头采集对应用户在真实交互场景下的图像。

本申请第三方面提供了一种机器人，所述机器人包括处理器和存储器：

所述存储器用于存储视觉感知模型的程序代码，并将所述程序代码传输给所述处理器；所述视觉感知模型为利用本申请第一方面所述的样本数据生成方法生成的样本数据训练得到的模型，用于与用户交互时识别所述用户的情绪；

所述处理器用于根据所述程序代码运行所述视觉感知模型，以实现与所述用户的交互。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种样本数据生成方法，该方法是基于图像处理技术实现的，首先采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签，从而实现用户情绪的自动识别，并且在对用户情绪进行识别时具有较高的准确率，因此，根据对应用户的图像以及准确率较高的情绪标签可以生成高质量的样本数据。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种样本数据生成方法的场景示意图；

图2为本申请实施例中一种样本数据生成方法的流程图；

图3为本申请实施例中一种样本数据生成方法的流程图；

图4为本申请实施例中一种样本数据生成方法的流程图；

图5为本申请实施例中一种样本数据生成方法的流程图；

图6为本申请实施例中一种样本数据生成方法的流程图；

图7为本申请实施例中一种样本数据生成装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对现有技术中获取的样本数据质量较差影响视觉感知模型训练这一技术问题，本申请基于图像处理原理提出了一种样本数据生成方法，首先采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于该眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签，从而实现用户情绪的自动识别，并且在对用户情绪进行识别时具有较高的准确率，因此，根据对应用户的图像以及准确率较高的情绪标签可以生成高质量的样本数据。

可以理解，通过该方法可以实现自动生成高质量的样本数据，利用该样本数据训练视觉感知模型时，能够使得视觉感知模型具有较高的准确率，并且，由于样本数据质量较高，干扰内容较少，降低了训练难度，提高了训练效率，缩短了训练周期。

本申请提供的样本数据生成方法可以应用于具有图形处理能力的处理设备中。处理设备可以是具有图形处理器(graphicsprocessingunit，gpu)的终端设备或服务器。其中，终端设备可以是个人计算机(personalcomputer，pc)、工作站或者机器人、手机等。为了便于理解，后文均以机器人进行示例性说明，其并不构成对本申请技术方案的限定。

本申请提供的样本数据生成方法可以以应用程序的形式存储于处理设备中，在具体实现时，处理设备通过执行应用程序，实现样本数据生成方法。需要说明的是，应用程序可以是独立的应用程序，也可以是集成于其他应用程序上的功能模块或插件，本申请对此不作限定。

为使本申请的技术方案更加清楚，下面结合机器人的应用场景对本申请实施例提供的样本数据生成方法进行介绍。

参见图1所示的样本数据生成方法的场景架构图，在该应用场景中包括机器人10和用户20，机器人10在与用户20交互时，通过自身的摄像头对用户20进行拍摄，以采集用户20的图像，然后从用户20的图像中提取用户20的眼球特征信息，通过情绪判定条件与眼球特征信息可以确定用户20的情绪标签，根据用户20的图像以及对应的情绪标签生成样本数据，该样本数据可以用于训练视觉感知模型。

其中，基于用户的眼球特征对用户的情绪识别具有较高的准确率，因而样本数据中的情绪标签能够准确地标识图像对应的用户的情绪，其具有较高的质量，将高质量的样本数据用于训练视觉感知模型，可以提高视觉感知模型的准确率，并且降低训练难度，提高训练效率，缩短训练周期。

接下来，结合附图对本申请实施例提供的样本数据生成方法进行详细介绍。参见图2所示的样本数据生成方法的流程图，该方法包括：

s201：采集对应用户的图像。

对于机器人而言，通过训练视觉感知模型可以使其具有视觉感知能力，基于该视觉感知能力可以实现对用户的情绪等进行识别。为此，机器人需要获取样本数据，用于训练视觉感知模型。在具体实现时，机器人首先采集对应用户的图像，以便根据对应用户的图像生成样本数据。其中，对应用户是指交互场景中指定进行交互的用户。当交互场景中存在多个用户时，机器人可以通过视觉感知模型与指定用户也即对应用户进行交互。为此，机器人需要预先采集对应用户的图像，以训练视觉感知模型。

在一些可能的实现方式中，机器人可以通过摄像头采集所述对应用户在真实交互场景下的图像。以家庭管家机器人为例，家庭管家机器人可以在与用户交互时，通过自身的摄像头采集用户在该真实交互场景下的图像。

s202：从所述对应用户的图像中提取所述对应用户的眼球特征信息。

眼睛是反映情绪的一个重要载体。用户处于不同情绪状态时，眼睛的状态往往是不同的，尤其是眼球的状态存在较大的区别。为了识别用户的情绪，机器人从对应用户的图像中提取对应用户的眼球特征信息。

其中，眼球可以分为眼球壁和内容物两部分，眼球壁包括外层纤维膜、中层血管膜以及内层视网膜，纤维膜中包括角膜，血管膜中包括虹膜，虹膜中间的开孔形成瞳孔。眼球特征信息可以包括瞳孔信息，作为本申请的一个具体示例，瞳孔信息可以包括瞳孔尺寸。在具体实现时，机器人可以通过图像处理技术从图像中提取用户的眼球特征信息。在一些可能的实现方式中，机器人可以将用户的图像转换为灰度图像，然后基于小灰度值聚类法粗定位虹膜中心，再基于边缘提取技术确定瞳孔轮廓，根据瞳孔轮廓可以确定瞳孔尺寸，机器人可以将瞳孔尺寸作为眼球特征信息。在另一可能的实现方式中，机器人还可以对图像进行二值化实现对瞳孔的初步提取，然后运用数学形态学中的腐蚀、膨胀、开闭运算等基本运算结合形态学重构方法将瞳孔灰度图像中的遮挡因素去除，再通过平滑滤波去除噪声点对瞳孔的干扰，在提取出瞳孔区域后，可以根据瞳孔区域确定瞳孔尺寸，机器人可以将瞳孔尺寸作为眼球特征信息。

s203：通过情绪判定条件与所述眼球特征信息确定所述用户的情绪标签。

情绪判定条件表征了眼球特征信息和情绪之间的对应关系。情绪判定条件具体可以表现为“眼球特征参数”、“参数取值范围”、“情绪标签”的三元映射关系，例如，若“眼球特征参数”落入一“参数取值范围”，则可以确定一“情绪标签”，该情绪标签即为与该眼球特征信息匹配的情绪标签。

基于此，机器人可以根据情绪判定条件确定与所述眼球特征信息匹配的情绪标签，然后根据所述情绪标签确定所述对应用户的情绪标签。具体实现时，可以直接将该情绪标签作为所述用户的情绪标签，也可以将该情绪标签与通过其他方式获得的情绪标签结合以确定所述用户的情绪标签。

作为本申请的一个具体示例，眼球特征信息可以是瞳孔信息。若眼球特征信息为瞳孔信息，则机器人可以通过情绪判定条件确定与该瞳孔信息匹配的情绪标签，作为对应用户的情绪标签。在该示例中，眼球特征信息为瞳孔信息，眼球特征参数可以是瞳孔尺寸，第一情绪判定条件即可表示为“瞳孔尺寸”、“瞳孔尺寸取值范围”、“情绪标签”三元映射关系，若第一情绪判定条件为，瞳孔尺寸大于第一阈值，则对应的情绪标签为喜，瞳孔尺寸小于第二阈值，则对应的情绪标签为哀，则机器人从图像中提取到用户的瞳孔尺寸后，可以根据瞳孔尺寸与情绪的对应关系，确定与当前瞳孔尺寸匹配的情绪标签，然后基于与当前瞳孔尺寸匹配的情绪标签确定用户的情绪标签。

其中，第一阈值和第二阈值可以根据经验值设置，在具体实现时，机器人可以收集用户在一段时间的瞳孔尺寸，当用户兴奋时瞳孔明显放大，一般可以比处于正常情绪状态时放大四倍，而用户生气时，瞳孔明显缩小，基于此，可以将收集的瞳孔尺寸中明显放大或明显缩小的数据去除，再计算瞳孔尺寸的平均值，将该平均值作为瞳孔尺寸的基准值，然后基于该基准值设置第一阈值和第二阈值。例如，可以将基准值的四倍作为第一阈值，将基准值的二分之一作为第二阈值。需要说明，不同用户或者用户在不同时间段的基准值可以是不同的，因此，可以根据采集的瞳孔尺寸数据对第一阈值和第二阈值进行自适应调整。

s204：根据所述对应用户的图像和所述情绪标签生成样本数据，所述样本数据用于训练视觉感知模型。

在具体实现时，机器人根据采集的对应用户的图像和与图像相对应的情绪标签生成样本数据，将该样本数据用于训练视觉感知模型，则可以采用机器学习算法以及样本数据的情绪标签对视觉感知模型的参数进行优化，使得视觉感知模型预测的情绪标签与样本数据的情绪标签一致。

在本实施例中，情绪标签可以通过向量的形式表示，则根据图像和情绪标签生成的样本数据可以表示为“图片”和“一维标签向量”的形式，其中，该一维标签向量表征用户的情绪。

由上可知，本申请实施例提供了一种样本数据生成方法，该方法是基于图像处理技术实现的，首先采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签，从而实现用户情绪的自动识别，并且在对用户情绪进行识别时具有较高的准确率，因此，根据对应用户的图像以及准确率较高的情绪标签可以生成高质量的样本数据。

图2所示实施例主要是基于眼球特征信息识别用户的情绪，从而生成高质量的样本数据，为了提高情绪识别的准确度，还可以基于其他表达情绪的载体如面部或肢体等信息确定用户的情绪。

下面对本申请实施例提供的样本数据生成方法的一种实现方式进行详细说明，参见图3，该方法包括：

s301：采集对应用户的图像。

s302：从所述对应用户的图像中提取所述对应用户的眼球特征信息。

s303：根据第一情绪判定条件确定与所述眼球特征信息匹配的第一情绪标签。

第一情绪判定条件表征了眼球特征信息和情绪之间的对应关系。第一情绪判定条件具体可以表现为“眼球特征参数”、“参数取值范围”、“情绪标签”的三元映射关系，例如，若“眼球特征参数”落入一“参数取值范围”，则可以确定一“情绪标签”，该情绪标签即为与该眼球特征信息匹配的情绪标签。基于此，机器人可以根据第一情绪判定条件确定与所述眼球特征信息匹配的第一情绪标签。s304：从所述对应用户的图像中提取所述对应用户的面部特征信息和/或肢体特征信息。

用户在不同情绪状态下，其面部状态一般也是不同的。例如，用户处于积极、高兴的情绪状态时，嘴角会上扬，在处于消极、悲伤的情绪状态时，眼睑微闭，嘴角下垂，如此，还可以基于面部状态确定用户的情绪。类似的，用户在不同情绪状态下，会无意识地实施相应的肢体动作。例如，用户处于愤怒的情绪状态时，会实施握拳动作，如此，还可以基于肢体状态确定用户的情绪。

在具体实现时，机器人从对应用户的图像中提取对应用户的面部特征信息和/或肢体特征信息，用于识别对应用户的情绪。其中，机器人提取对应用户的面部特征信息和/或肢体特征信息可以采用与提取眼球特征信息类似的方式，例如，将图像转换为二值化图像或者灰度图像，然后通过边缘提取的方式得到面部特征信息和/或肢体特征信息。

s305：根据第二情绪判定条件确定与所述面部特征信息和/或肢体特征信息匹配的第二情绪标签。

第二情绪判定条件表征面部特征信息和肢体特征信息中的至少一种与情绪之间的对应关系。在具体实现时，若机器人从图像中提取到面部特征信息，则可以将面部特征信息与第二情绪判定条件进行匹配，得到与面部特征信息匹配的第二情绪标签，若机器人从图像中提取到肢体特征信息，则可以将肢体特征信息与第二情绪判定条件进行匹配，得到与肢体特征信息匹配的第二情绪标签，若机器人从图像中提取到面部特征信息和肢体特征信息，则可以得到与面部特征信息匹配的第二情绪标签以及与肢体特征信息匹配的第二情绪标签，也即第二情绪标签的数量可以是两个。

需要说明的是，s302以及s304的执行顺序可以是任意的，例如可以是同时执行，也可以是按照设定的顺序先后执行，而s303和s305分别在s302以及s304后执行。

s306:根据所述第一情绪标签和所述第二情绪标签确定所述对应用户的情绪标签。

第一情绪标签为基于眼球特征信息确定的情绪标签，第二情绪标签为基于面部特征信息和/或肢体特征信息确定的情绪标签，机器人可以根据第一情绪标签和第二情绪标签确定对应用户的情绪标签。

机器人根据第一情绪标签和第二情绪标签确定对应用户的情绪标签，具体可以是根据第一情绪标签、第二情绪标签以及判定策略确定对应用户的情绪标签。其中，判定策略可以根据实际需求而设置，作为本申请的一个具体示例，为了提高情绪识别准确率，可以仅在第一情绪标签与第二情绪标签一致时，将第一情绪标签作为对应用户的情绪标签；作为本申请的另一具体示例，当第二情绪标签的数量为两个时，可以将采用投票机制将第一情绪标签以及第二情绪标签中票数较高的情绪标签作为对应用户的情绪标签，例如，第一情绪标签为“喜”，两个第二情绪标签分别为“喜”和“哀”，则基于上述策略，可以将“喜”作为对应用户的情绪标签。

s307:根据所述对应用户的图像和所述情绪标签生成样本数据，所述样本数据用于训练视觉感知模型。

本步骤具体实现可以参见图2所示实施例相关内容描述，在此不再赘述。

由上可知，本申请实施例提供了一种样本数据生成方法，该方法中采集对应用户的图像，不仅从图像中提取对应用户的眼球特征信息，还提取对应用户的面部特征信息和/或肢体特征信息，如此，可以基于面部特征信息和肢体特征信息中的至少一种，以及眼球特征信息确定用户的情绪标签，该情绪标签能够较为准确地标识用户的情绪，因此，基于用户的图像和对应的情绪标签生成的样本数据具有较高的质量。

在与用户交互时除了识别用户的情绪，还可以确定用户的视觉感兴趣区域，如此，有利于机器人根据用户的视觉感兴趣区域为用户推荐相应的内容或者给予其他的响应，提高用户体验。为此，可以在样本数据中增加视觉感兴趣区域的标签，以训练视觉感知模型识别用户的视觉感兴趣区域的能力。

其中，视觉感兴趣区域是指能够对人类视觉系统产生强大刺激，信息含量极大的区域。视觉感兴趣区域可以由多种实现方式确定，大体可以将其分为接触式和非接触式两类，下面将分别进行详细说明。

接触式方式确定视觉感兴趣区域包括眼电图、虹膜-巩膜边缘、双普肯野像以及接触镜等几种方式，其中，眼电图是通过在内、外呲皮肤上安放一对电极，在眼球转动时记录其电位值，从而确定视觉感兴趣区域。虹膜-巩膜边缘法也称红外光电反射法，是通过在眼部附近安装两只红外线光敏管，用不可见的红外光照射眼部，虹膜与巩膜边缘处左右两部分反射的红外光，分别被两只红外光敏管所接受。当眼球向左或向右运动时，两只光敏管接收的红外线会发生变化，利用该差分信号即可测出眼动，从而得到用户的视觉感兴趣区域。红外光电反射法可以通过红外相机实现。普肯野图像是由眼睛的若干光学界面反射所形成的图像，通过对两个普肯野图像的测量可以确定注视方向以及注视点，进而确定用户的视觉感兴趣区域。接触镜法则是将一块反射镜固定在角膜或巩膜上，眼球运动时将固定光束反射到不同的方向，从而获得眼动信号，根据该眼动信号可以确定用户的视觉感兴趣区域。

非接触式方式确定视觉感兴趣区域包括瞳孔-角膜反射向量、角膜反射等几种方式。具体地，角膜能反射落在其上的光，当眼球运动时，光以变化的角度射到角膜，得到不同方向的反光，利用角膜表面形成的虚线随眼球的旋转而移动，实时检测图像中虚像的位置，经信号处理后可得到眼动信号，如此实现了通过角膜反射方式确定视觉感兴趣区域。瞳孔-角膜反射向量则是通过固定眼摄像机获取眼球图像，利用亮瞳孔和暗瞳孔原理，提取出眼球图像内的瞳孔，利用角膜反射法校正眼摄像机与眼球的相对位置，把角膜反射点数据作为眼摄像机和眼球的相对位置的基点，瞳孔中心位置坐标即表示用户的注视点。需要说明的是，可以通过微电机系统(micro-electro-mechanicalsystem，mems)控制眼摄像机，以实现视觉追踪。

基于上述确定视觉感兴趣区域的具体实现方式，本申请还提供了样本数据的生成方法的一种具体实现方式，参加图4，该方法包括：

s401：采集对应用户的图像。

s402：从所述对应用户的图像中提取所述对应用户的眼球特征信息。

s403：通过情绪判定条件与所述眼球特征信息确定所述用户的情绪标签。

s401至s403的具体实现可以参见图2所示实施例相关内容描述，在此不再赘述。

s404:根据所述对应用户的图像和眼球追踪算法确定所述对应用户的视觉感兴趣区域。

机器人从采集的对应用户的图像中提取出瞳孔信息、角膜信息等眼球特征信息，然后将提取的瞳孔信息和角膜信息等输入眼球追踪算法以确定用户的视觉感兴趣区域。其中，眼球追踪算法可以为瞳孔-角膜反射法，瞳孔信息可以包括瞳孔尺寸、瞳孔位置等信息中的至少一种，角膜信息可以包括光斑反射信息，为了确定视觉感兴趣区域，在有些情况下，还可以获取虹膜信息，然后将瞳孔信息、虹膜信息和角膜信息中的至少一种输入眼球追踪算法，以确定用户的视觉感兴趣区域。

为了便于理解，结合具体示例进行说明。首先，机器人控制摄像头拍摄用户人脸图像，其图像分辨率为1920*1080p，然后采用图像处理算法提取瞳孔信息、角膜信息等眼球特征信息，瞳孔信息、角膜信息具体表现为图像中的坐标数据(x，y)，机器人再利用眼球追踪算法计算注视点信息，其输出的注视点数据为显示屏屏幕上的坐标数据(x1，y1)，或者是用户视野内的坐标数据(x2，y2，z2)，基于上述数据可以确定用户的视觉感兴趣区域。

其中，(x1，y1)表征显示屏幕这一平面上的一点，该显示屏幕可以是机器人的显示屏幕，机器人可以确定显示屏幕上的显示内容对应的统一资源定位符(uniformresourcelocator，url)，基于该url，可以确定用户当前关注内容的关键词，如此，使得机器人更为了解用户；(x2，y2，z2)则表征空间中的一点，基于预先构建的空间模型，可以确定该点位对应的对象，如此，机器人可以确定用户关注的空间对象。

s402与s404的执行顺序不作限定，可以同时执行，也可以根据实际需求按照设定的顺序执行。

s405：根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

在具体实现时，机器人根据采集的对应用户的图像、与图像相对应的情绪标签以及视觉感兴趣区域生成样本数据，将该样本数据用于训练视觉感知模型，则可以采用机器学习算法以及样本数据的情绪标签、视觉感兴趣区域对视觉感知模型的参数进行优化，使得视觉感知模型预测的情绪标签、视觉感兴趣区域分别与样本数据的情绪标签、视觉感兴趣区域一致。如此，在与用户交互时，可以利用该视觉感知模型识别用户的情绪以及感兴趣区域。

在本实施例中，视觉感兴趣区域可以采用与情绪标签、心理活动类别标签相似的方式表示，即通过向量的形式进行表示，如此，根据图像、情绪标签以及视觉感兴趣区域生成的样本数据可以表示为“图片”和“二维标签向量”的形式，其中，该二维标签向量表征用户的情绪以及视觉感兴趣区域。

由上可知，本申请实施例提供了一种样本数据生成方法，该方法采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签；基于对应用户的图像还可以确定对应用户的视觉感兴趣区域，根据对应用户的图像、对应的情绪标签以及视觉感兴趣区域可以生成高质量的样本数据，该样本数据从多个维度对对应用户进行标注，基于该样本数据训练得到的视觉感知模型不仅可以感知对应用户的情绪，还可以感知对应用户的心理活动类型，因而可以基于用户的情绪和心理活动类型作出更好的响应。

图4所示实施例是利用已采集的对应用户的图像确定对应用户的视觉感兴趣区域，在本申请实施例其他可能的实现方式中，还可以根据专用于眼球运动追踪的眼动系统确定对应用户的视觉感兴趣区域。具体可以参见图5，该方法包括：

s501：采集对应用户的图像。

s502：从所述对应用户的图像中提取所述对应用户的眼球特征信息。

s503：通过情绪判定条件与所述眼球特征信息确定所述用户的情绪标签。

s501至s503的具体实现可以参见图2所示实施例相关内容描述，在此不再赘述。

s504：从眼动系统中获取所述对应用户的图像对应的眼球光学特征信息或眼球电学特征信息，并根据所述眼球光学特征信息或眼球电学特征信息确定所述对应用户的视觉感兴趣区域。

其中，所述眼动系统包括微电机系统、基于红外相机的眼球运动追踪系统、基于接触镜的眼球运动追踪系统或基于探测电极的眼球运动追踪系统。不同眼动系统实现眼球运动追踪的原理是不同的。例如，基于红外相机的眼球运动追踪系统是通过红外线实现眼球运动追踪的，机器人可以从基于红外相机的眼球运动追踪系统获取眼球的角膜等反射红外线的方向等眼球光学特征信息，确定用户的视觉感兴趣区域。又例如，基于探测电极的眼球运动追踪系统是通过埋置在眼球的探测电极探测到的电位实现眼球运动追踪的，因此，机器人可以从基于探测电极的眼球运动追踪系统中获取记录眼球转动时电位的眼电图等眼球电学特征信息，然后根据该眼球电学特征信息确定用户的视觉感兴趣区域。

需要说明的是，眼球光学特征信息不限于红外线的方向，还可以包括角膜反射等信息，眼球电学特征信息还可以是电流或电容等信息，本实施例对此不作限定。

s502与s504的执行顺序不作限定，可以同时执行，也可以根据实际需求按照设定的顺序执行。

s505：根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

本步骤的具体实现可以参加s405相关内容描述，在此不再赘述。

可以理解，机器人在与用户交互时，不仅可以通过视觉感知模型识别用户的情绪，还可以识别用户当前的心理活动类型，确定用户当前心理活动类型为视觉回想还是视觉想象，如此，机器人可以根据用户的情绪以及心理活动类型提供更为人性化的服务。

下面结合附图，对本申请实施例提供的样本数据生成方法的一种实现方式进行介绍，参见图6，该方法包括：

s601：采集时间周期内对应用户的多张图像。

在具体实现时，机器人可以连续采集一时间周期内对应用户的多张图像。其中，时间周期可以根据实际需求设置，例如，需要对用户当前心理活动类型进行识别时，可以以分钟作为时间周期，采集该时间周期内用户的多张图像。

s602：针对所述多张图像中的每张图像，分别提取提取所述用户的眼球特征信息。

机器人可以采用与图2所示实施例相同的方式，对每张图像分别提取用户的眼球特征信息，如此，机器人可以获得多张图像各自对应的眼球特征信息。

s603：根据第一情绪判定条件和所述眼球特征信息确定每张图像对应的的情绪标签。

在具体实现时，机器人可以对每张图像采用相同的处理方式，以确定每张图像对应的情绪标签。以一张图像为例，机器人可以将该眼球特征信息与第一情绪判定条件进行匹配，得到与所述眼球特征信息匹配的第一情绪标签，作为该图像对应的情绪标签。将多张图像的每一张均按上述方式处理，可以得到与每一张图像分别对应的情绪标签。

s604：根据所述多张图像以及眼球追踪算法确定所述对应用户在所述时间周期的眼球转动方向。

多张图像为用户在所述时间周期内的图像，通过采用眼球追踪算法对用户的眼球运动进行追踪，可以确定用户在所述时间周期的眼球转动方向。在具体实现时，机器人可以根据多种图像识别用户的眼球是否发生转动，然后再确定用户在所述时间周期的眼球转动方向。

在一些可能的实现方式中，针对所述多张图像中的每张图像，机器人可以根据眼球追踪算法分别确定每张图像对应的用户注视方向，其中确定用户注视方向的具体实现可以参见图4所示实施例相关内容描述。接着，机器人可以根据每张图像对应的用户注视方向，判断所述用户是否在所述时间周期内发生眼球转动。具体地，用户注视方向可以通过角度表示，机器人可以根据多张图像对应的用户注视方向的角度变化，判断用户是否在该时间周期内发生眼球转动。例如，多张图像中任意两张图像对应的用户注视方向的角度变化大于角度变化阈值，则判断用户确实在该时间周期内发生眼球转动。

当机器人判断用户在时间周期内发生眼球转动时，则可以基于多张图像各自对应的瞳孔位置确定眼球转动方向。具体地，针对所述多张图像中的每张图像，分别确定每张图像对应的瞳孔位置；然后根据每张图像对应的瞳孔位置，确定所述用户的眼球转动方向。例如，多张图像中某一时序靠前的图像对应的瞳孔位置为眼球的右上方，某一时序靠后的图像对应的瞳孔位置为眼球的左上方，则表明用户在该时间周期内的眼球转动方向为左上方。

s605：通过第一心理活动判定条件和所述眼球转动方向确定所述对应用户的心理活动类别标签。

心理活动是指人在进行语言、行为、表情等活动前所进行的思维。一般而言，心理活动可以分为以下几种类别，即视觉想象、视觉回想、受到情感或身体触动以及有情绪的内心对话等，基于此，心理活动类别标签包括视觉想象、视觉回想、受到情感或身体触动以及有情绪的内心对话等几种类别标签。

第一心理活动判定条件表征了眼球转动方向与心理活动类别之间的对应关系。第一心理活动判定条件具体可以表现为眼球转动方向这一特征参数、特征参数值、心理活动类别标签的三元映射关系。在具体实现时，可以通过如下所述的条件语句设置第一心理活动判定条件，该条件语句可以为若“眼球转动方向”为某一“方向”，则可以确定一“心理活动类别标签”。

为了便于理解，举例说明。例如，第一心理活动类别标签可以为，若眼球转动方向为右上转，则确定心理活动类别标签为视觉想象；若眼球转动方向为右下转，则确定心理活动类别标签为受到情感触动或身体触动；若眼球转动方向为左上转，则确定心理活动类别标签为视觉回想；若眼球转动方向为左下转，则确定心理活动类别标签为有情绪的内心对话。

在具体实现时，机器人根据该心理活动判定条件表征的对应关系，确定与当前眼球转动方向匹配的心理活动类别标签，该心理活动类别标签即为用户的心理活动类别标签。进一步地，机器人还可以统计用户在该时间周期内的眼球转动频率，若用户在某一方向的眼球转动频率达到第一预设频率，则可以确定用户处于紧张、不安或者警戒状态。

作为本实施例的扩展，机器人除了可以基于用户在时间周期内的眼球转动方向确定用户的情绪标签，还可以基于用户在时间周期内的眨眼特征信息确定用户的心理活动类别标签。其中，眨眼特征信息是指表征用户眨眼状态的信息，具体可以为眨眼频率和/或眨眼时长，眨眼频率是指用户在单位时间内的眨眼次数，眨眼时长可以理解为在一次睁眼后快速闭眼再到下一次睁眼的时间。接下来对基于眨眼特征信息确定用户的心理活动类别标签进行详细说明。

在具体实现时，在采集时间周期内用户的多张图像后，针对多张图像中的每张图像，机器人可以分别提取图像对应的眼睑位置信息，其中，眼睑位置信息可以通过坐标表示，然后根据每张图像的眼睑位置信息确定所述用户在所述时间周期的眨眼特征信息，如眨眼频率和眨眼时长，机器人可以根据第二心理活动判定条件和眨眼特征信息，确定用户的心理活动类别标签。

其中，第二心理活动判定条件表征了眨眼特征信息与心理活动类别之间的对应关系。第一心理活动判定条件具体可以表现为眨眼特征参数、特征参数取值范围、心理活动类别标签的三元映射关系。在具体实现时，可以通过如下所述的条件语句设置第二心理活动判定条件，该条件语句可以为若某一“眨眼特征参数”的取值落入某一“特征参数取值范围”，则确定某一“心理活动类别标签”。其中，心理活动类别标签除了上文所述的视觉回想、视觉想象等标签，还可以包括焦虑、意图阻止眼前事物进入视野的心理活动类别标签。

作为本申请的一个具体示例，第二心理活动判定条件可以为，若用户在所述时间周期的眨眼频率大于第二预设频率，则确定心理活动类别标签为焦虑，若用户在所述时间周期的眨眼时长大于预设时长，则确定心理活动类别标签为意图阻止眼前事物进入视野。其中，第一预设频率、第二预设频率以及预设时长可以根据经验值设置。

根据机器人采集的用户在一段时间内的图片，还可以确定用户的眼睛的移动速度，记作眼跳速度，其反映了注视点的转移。基于用户的眼跳速度，可以确定用户当前的情绪和/或心理活动类型。

其中，s602和s604的执行顺序可以根据实际需求而设置，例如，可以同时执行，也可以按照预先设定的先后顺序执行，s603与s605分别在s602和s604后执行，然后执行s606。

s606：针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

在具体实现时，针对多张图像中的每张图像，机器人根据每张图像、每张图像对应的情绪标签以及对应用户的心理活动类别标签生成样本数据，如此，可以得到多个样本数据。将该样本数据用于训练视觉感知模型，则可以采用机器学习算法以及样本数据的情绪标签、心理活动类别标签对视觉感知模型的参数进行优化，使得视觉感知模型预测的情绪标签、心理活动类别标签分别与样本数据的情绪标签、心理活动类别标签一致。

在本实施例中，心理活动类别标签可以采用与情绪标签相似的方式表示，即通过向量的形式进行表示，如此，根据图像、情绪标签以及心理活动类别标签生成的样本数据可以表示为“图片”和“二维标签向量”的形式，其中，该二维标签向量表征用户的情绪以及心理活动类型。

由上可知，本申请实施例提供了一种样本数据生成方法，该方法采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签；基于对应用户的图像还可以确定眼球的转动方向，眼球的转动方向表征了用户的心理活动类型，因此，还可以确定对应用户的心理活动类别标签，根据对应用户的图像、对应的情绪标签以及心理活动类别标签心理活动类别标签可以生成高质量的样本数据，该样本数据从多个维度对对应用户进行标注，基于该样本数据训练得到的视觉感知模型不仅可以感知对应用户的情绪，还可以感知对应用户的心理活动类型，因而可以基于用户的情绪和心理活动类型作出更好的响应。

在本申请实施例中，机器人不仅可以识别用户的情绪、心理活动类型、视觉感兴趣区域，还可以通过在一个时间周期内的数据确定用户的习性，在获得用户的习性后，可以根据用户的习性进行更好地响应。

在一些可能的实现方式中，机器人可以采集时间周期内对应用户的多张图像，其中，该时间周期可以根据经验值而设置，作为本申请的具体示例，该时间周期可以是一个月，一个季度或者一年。然后，机器人针对采集的多张图像中的每张图像，分别提取每张所述对应用户的图像对应的肢体特征信息，该肢体特征信息可以是用户的肢体动作等信息，接着，确定多张图像各自对应的肢体特征信息和所述多张图像各自对应的情绪标签的关联关系，根据所述关联关系确定所述用户的习性标签。其中，习性标签用于表征所述用户在操作某种肢体动作时对应的情绪状态。如此，机器人可以根据所述多张图像中的每张图像，分别根据每张图像、以及每张图像对应的情绪标签以及所述用户的习性标签生成样本数据。

在具体实现时，机器人可以针对每张图像，分别建立肢体特征信息以及情绪标签的数值对，然后根据肢体特征信息以及情绪标签的数值对进行计数，当某张图像对应的肢体特征信息以及情绪标签的数值对与已有的数值对相同时，则该肢体特征信息以及情绪标签的数值对出现的次数加一，在采集的所有图像均进行计数后，按照肢体特征信息以及情绪标签的数值对出现的次数排序，次数越多，关联性越强，如此机器人实现了统计多张图像各自对应的肢体特征信息和所述多张图像各自对应的情绪标签的关联关系。机器人可以利用该关联关系确定对应用户的习性标签，例如可以将肢体特征信息以及情绪标签的数值对出现的次数大于预设次数的肢体特征信息以及情绪标签的数值对作为对应用户的习性标签，表征对应用户在实施该肢体特征信息对应的肢体动作时处于该情绪标签所对应的情绪状态。

在本实施例中，用户的习性标签可以采用与情绪标签、心理活动类别标签相似的方式表示，即通过向量的形式进行表示，如此，根据图像、情绪标签以及习性标签生成的样本数据可以表示为“图片”和“二维标签向量”的形式，其中，该二维标签向量表征用户的情绪以及习性。

由此可见，本申请还提供了一种样本数据生成方法，该方法通过采集对应用户的图像，然后根据从对应用户的图像中提取的眼球特征信息确定对应用户的情绪标签，并且，根据对应用户在一时间周期内的多张图像，识别每张图像各自对应的情绪标签和肢体特征信息，并根据肢体特征信息与情绪标签之间的关联关系确定对应用户的习性标签，进而根据对应用户的图像、情绪标签以及习性标签生成样本数据，该样本数据不仅能够准确标识用户的情绪，还从习性这一维度对用户进行标识，因而具有较高的质量。

需要说明的是，图3至图6所示实施例均为在图2所示实施例的基础上进行的改进，在具体实现时，可以根据实际需求将上述实施例组合，以获得不同维度的样本数据。

例如，可以将图3、图4、图6所示实施例结合，根据图像、情绪标签、视觉感兴趣区域和心理活动类别标签生成样本数据，该样本数据具体可以表示为“图片”和“三维标签向量”的形式，该三维向量表征用户的情绪、心理活动类型以及视觉感兴趣区域。又例如，机器人还可以根据图像、情绪标签、心理活动类别标签、视觉感兴趣区域以及习性标签生成样本数据，该样本数据具体可以表示为“图片”和“四维标签向量”的形式，该四维标签向量表征用户的情绪、心理活动类型、视觉感兴趣区域以及习性。也即，在基于图片和情绪标签的基础上，机器人还可以根据心理活动类别标签、视觉感兴趣区域以及习性标签的任意一种或多种生成样本数据。

基于本申请实施力提供的样本数据生成方法的具体实现方式，本申请实施例还提供了样本数据生成装置，下面将从功能模块化的角度对样本数据生成装置进行介绍，参见图7，该装置包括：

采集单元710，用于采集对应用户的图像；

提取单元720，用于从所述对应用户的图像中提取所述对应用户的眼球特征信息；

确定单元730，用于通过情绪判定条件与所述眼球特征信息确定所述对应用户的情绪标签；

生成单元740，用于根据所述对应用户的图像和所述情绪标签生成样本数据，所述样本数据用于训练视觉感知模型。

可选的，可选的，所述眼球特征信息包括瞳孔信息；

所述确定单元730具体用于：

通过情绪判定条件确定与所述瞳孔信息匹配的情绪标签，作为所述用户的情绪标签。

可选的，所述确定单元730还用于：

根据所述对应用户的图像和眼球追踪算法确定所述对应用户的视觉感兴趣区域；

则所述生成单元740具体用于：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述确定单元730还用于：

从眼动系统中获取所述对应用户的图像对应的眼球光学特征信息或眼球电学特征信息，并根据所述眼球光学特征信息或眼球电学特征信息确定所述对应用户的视觉感兴趣区域；

则所述生成单元740具体用于：

根据所述对应用户的图像、所述情绪标签以及所述视觉感兴趣区域生成样本数据。

可选的，所述采集单元710具体用于：

采集时间周期内对应用户的多张图像；

所述确定单元730还用于：

根据所述多张图像以及眼球追踪算法确定所述对应用户在所述时间周期的眼球转动方向；

通过第一心理活动判定条件和所述眼球转动方向确定所述对应用户的心理活动类别标签；

则所述生成单元740具体用于：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集单元710具体用于：

采集时间周期内对应用户的多张图像；

所述提取单元720还用于：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的眼睑位置信息；

所述确定单元730还用于：

根据每张所述对应用户的图像的眼睑位置信息确定所述对应用户在所述时间周期的眨眼特征信息；

通过第二心理活动判定条件和所述眨眼特征信息，确定所述对应用户的心理活动类别标签；

则所述生成单元740具体用于：

针对所述多张图像中的每张图像，分别根据每张图像、每张图像对应的情绪标签以及所述对应用户的心理活动类别标签生成样本数据。

可选的，所述采集单元710具体用于：

采集时间周期内对应用户的多张图像；

则所述提取单元720具体用于：

针对所述多张图像中的每张图像，分别提取每张所述对应用户的图像对应的肢体特征信息；

所述确定单元730还用于：确定所述多张图像各自对应的肢体特征信息和所述多张图像各自对应的情绪标签的关联关系；

根据所述关联关系确定所述用户的习性标签，所述习性标签用于表征所述对应用户在操作某种肢体动作时对应的情绪状态；

则所述生成单元740具体用于：

针对所述对应用户的多张图像中的每张图像，分别根据每张图像、以及每张图像对应的情绪标签以及所述对应用户的习性标签生成样本数据。

可选的，所述提取单元720还用于：

从所述对应用户的图像中提取所述对应用户的面部特征信息和/或肢体特征信息；

则所述确定单元730具体用于：

根据第一情绪判定条件确定与所述眼球特征信息匹配的第一情绪标签；

根据第二情绪判定条件确定与所述面部特征信息和/或肢体特征信息匹配的第二情绪标签；

根据所述第一情绪标签和所述第二情绪标签确定所述用户的情绪标签。

可选的，所述采集单元710具体用于：

通过摄像头采集所述对应用户在真实交互场景下的图像。

由上可知，本申请实施力提供了一种样本数据生成装置，该装置是基于图像处理技术实现样本数据生成的，首先采集对应用户的图像，然后通过图像处理技术从对应用户的图像中提取对应用户的眼球特征，由于眼球特征能够客观地反映用户的情绪，因而能够基于该眼球特征确定对应用户的情绪标签，从而实现用户情绪的自动识别，并且在对用户情绪进行识别时具有较高的准确率，因此，根据对应用户的图像以及准确率较高的情绪标签可以自动生成高质量的样本数据。

基于本申请实施例提供的样本数据生成方法，本申请实施例还提高了一种机器人，所述机器人包括处理器和存储器：

所述存储器用于存储视觉感知模型的程序代码，并将所述程序代码传输给所述处理器；所述视觉感知模型为利用本申请实施例提供的样本数据生成方法生成的样本数据训练得到的模型，用于与用户交互时识别所述用户的情绪；

所述处理器用于根据所述程序代码运行所述视觉感知模型，以实现与所述用户的交互。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。