设备交互控制方法、装置、计算机设备、存储介质与流程

1.本技术涉及交互技术领域，特别是涉及一种设备交互控制方法、装置、计算机设备、存储介质。


背景技术：

2.医学影像设备的出现，为用户提供了更多可视化的组织器官图像，例如，超声成像设备，利用超声声束扫描人体，通过对反射信号的接收、处理，以获得体内器官图像。
3.申请人在实施过程中发现，目前的超声成像设备多聚焦于用户的操作工作流方面的改进，而忽略了超声成像设备使用需求量大的特点下所造成的疲劳操作的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够有效避免用户因疲劳等原因进行设备异常操作的设备交互控制方法、装置、计算机设备、存储介质。
5.第一方面，本技术提供了一种设备交互控制方法，包括：
6.获取用户操作设备时的人脸信息和操作数据；
7.根据人脸信息，确定用户情绪信息；
8.根据操作数据，确定操作流畅度信息；
9.在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。
10.在其中一个实施例中，用户情绪信息包括情绪值，操作流畅度信息包括流畅度得分，根据用户情绪信息和操作流畅度信息判定用户状态异常的步骤，包括：
11.对情绪值和流畅度得分进行加权计算，确定总得分；
12.当总得分低于第一阈值时，则判定用户状态异常。
13.在其中一个实施例中，根据人脸信息，确定用户情绪信息，包括：
14.根据人脸信息和预设的情绪模型，确定情绪值。
15.在其中一个实施例中，根据人脸信息，确定用户情绪信息，还包括：
16.根据人脸信息和预设的情绪模型，确定各情绪值的置信度。
17.在其中一个实施例中，根据操作数据，确定操作流畅度信息，包括：
18.根据操作数据和预设的流畅度打分模型，确定流畅度得分。
19.在其中一个实施例中，用户情绪信息包括情绪值，基于设备执行预设交互动作，包括：
20.根据情绪值和交互动作确定模型，确定与情绪值对应的预设交互动作；其中，交互动作确定模型用于表征情绪值和预设交互动作之间的映射关系；
21.基于设备执行与情绪值对应的预设交互动作。
22.在其中一个实施例中，对情绪值和流畅度得分进行加权计算，确定总得分，包括：
23.在根据情绪值判定用户处于负面情绪的情况下，对情绪值和流畅度得分进行加权
计算，确定总得分。
24.在其中一个实施例中，基于设备执行预设交互动作，包括：
25.在设备处于空闲状态时，基于设备执行预设交互动作。
26.在其中一个实施例中，预设交互动作包括：语音提示、显示提示内容、展示预设游戏界面或升高设备中的至少一种。
27.在其中一个实施例中，用户情绪信息包括情绪值，方法还包括：
28.在检测到设备切换至工作状态或情绪值上升至第二阈值的情况下，停止执行预设交互动作。
29.第二方面，提供了一种设备交互控制装置，包括：
30.数据获取模块，用于获取用户操作设备时的人脸信息和操作数据；
31.情绪信息确定模块，用于根据人脸信息，确定用户情绪信息；
32.流畅度信息确定模块，用于根据操作数据，确定操作流畅度信息；
33.交互执行模块，用于在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。
34.第三方面，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
35.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
36.上述设备交互控制方法、装置、计算机设备、存储介质，至少具有以下有益效果：
37.通过获取用户操作设备时的人脸信息和操作数据，并根据人脸信息，确定用户情绪信息，再根据操作数据，确定操作流畅度信息。基于情绪维度和流畅度维度信息的确认，综合判断用户操作设备时的状态是否异常，若判定用户状态异常，则基于设备执行预设交互动作，通过与用户的交互，提高用户操作设备时的注意力，改善用户情绪，避免由于用户疲劳或情绪低下等其他原因造成误操作问题，进而提高设备操作结果可靠性。
附图说明
38.图1为一个实施例中设备交互控制方法的应用环境图；
39.图2为一个实施例中设备交互控制方法的流程示意图之一；
40.图3为一个实施例中人脸信息的展示示意图；
41.图4为一个实施例中设备交互控制方法的流程示意图之二；
42.图5为一个实施例中设备交互控制方法的流程示意图之三；
43.图6为一个实施例中设备交互控制方法的流程示意图之四；
44.图7为一个实施例中设备交互控制方法的流程示意图之五；
45.图8为一个实施例中设备交互控制方法的流程示意图之六；
46.图9为一个实施例中设备交互控制装置的结构示意图；
47.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
48.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
49.超声成像设备由于其使用需求量大的特点，医生往往会长时间坐在设备前，精神状态会随着时间推移而变得疲倦，操作也变得迟钝不敏锐。此种情况下，容易发生操作失误，从而影响成像结果的可靠性。针对这类使用量大的设备，本技术提供了一种设备交互控制方法。
50.本技术实施例提供的设备交互控制方法，可以应用于如图1所示的应用环境中。其中，计算机设备102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104可以进行各模型的训练，将训练好的模型发送给计算机设备102，供计算机设备102使用。
51.计算机设备102能够实时获取设备前用户的人脸信息和用户操作设备时的操作数据，然后分别确定用户情绪信息和用户操作设备时的操作流畅度信息，根据二者，综合判断用户状态是否异常，若判定是，计算机设备102主动控制用户操作的设备执行预设交互动作，例如，在屏幕前发起提示或者以小游戏的形式与用户进行交互，提高用户的注意力，从而避免由疲劳等原因导致的误操作问题。其中，计算机设备102可以但不限于是各种医疗设备的控制器、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，医疗设备可以为超声成像设备等各类医学影像设备。物联网设备可为智能车载设备等。便携式可穿戴设备可为头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
52.在一个实施例中，如图2所示，提供了一种设备交互控制方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：
53.s202，获取用户操作设备时的人脸信息和操作数据。人脸信息和操作数据的获取可以是实时的，以便能够实时检测用户的精神状态。人脸信息是指能够表征用户情绪的信息，例如，面部点云数据。面部各部位的颜色信息等。获取用户操作设备时的人脸信息可以是通过设置在设备屏幕上的摄像装置实现的。例如，对于超声成像设备来说，用户操作时，多是对着屏幕进行的操作，基于该特点，可通过设置在屏幕前方的深度相机获取人脸信息。执行主体通过与摄像装置通信，实现人脸信息的获取。在一个实施例中，还可以包括：识别到设备操作指令时，判定用户操作设备。例如，对于超声成像设备来说，可以在监测到扫描序列输入指令时，判定用户正在进行扫描成像操作。此时，获取人脸信息和操作数据。也可以是检测到进入指定界面时，判定用户在操作设备，例如，进入扫描序列选择界面时。
54.s204，根据人脸信息，确定用户情绪信息。用户情绪信息是指能够表征用户情绪为开心、悲伤、愤怒、疲倦、难过等各种情绪类型的信息。根据人脸信息确定用户情绪信息的方式可以有多种，在此不作以穷举。例如，人脸信息为面部图像时，可以通过对人脸信息进行图像特征提取，基于特征向量确定几何特征量，根据几何特征量判断用户情绪。
55.具体的，可以先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出这些五官轮廓的几何特征量，而这些特征量形成一描述用户面像的特征向量。再根据特征向量与预设向量的比较结果，确定用户情绪。例如，如图3所示，若用于表征嘴角上扬角度的特征向量β与基准方向γ的夹角θ2小于参考特征向量α与基准方向γ的
夹角θ1，则说明用户处于微笑状态，此时判定用户情绪为开心。其中，参考特征向量α为表征用户微笑的参考标准向量。当判定用户情绪为开心时，可以赋予较高的情绪值。例如，情绪值最高为100时，此时，可确定用户情绪值为80。
56.再比如，根据嘴角的特征向量，可以确定用户的嘴角两边是否下拉，若下拉时，则可以判定用户处于难过情绪下。当判定用户处于难过情绪时，可以赋予较低的情绪值，例如，情绪值最高为100时，此时，可以确定用户情绪值为10。再例如，确定额间位置的皮肤纹理走向，判断是否出现“八字”或“川字”纹，若出现，则判定用户情绪为难过，此时，可以确定情绪值为11。用户情绪值和用户情绪类型之间可以具有对应关系，一种用户情绪类型可对应一个区间范围内的情绪值，例如，情绪值最高为100时，10-20之间的情绪值，均可对应“难过”情绪。整体上来说，情绪值越高，代表用户精神状态越好。
57.如图3所示，还可以根据人脸信息，识别出上下眼睑的距离d，如果检测到该距离d在第一预设时间内持续低于预设距离d0，则说明不是眨眼导致的上下眼睑靠近，而是因为用户疲倦或其他原因造成的注意力不集中所导致的上下眼睑靠近。此时，可确定用户情绪信息，例如，用户情绪信息包括情绪值时，当距离d小于预设距离d0时，则说明用户精神状态不佳，需要关注。此时，可以根据距离d和预设距离d0的差值大小，确定情绪值，情绪值可以与预设距离d0和距离d的差值呈负相关关系。d
0-d的差值越大，则确定的情绪值越小。
58.需要强调的是，此处对于情绪值的具体举例旨在帮助本领域技术人员理解本技术技术方案的实现，但不对本技术实际保护范围造成限定，情绪值的最大值以及情绪值与人脸信息之间的对应关系，均可以根据设备的实际使用场景来进行配置。
59.s206，根据操作数据，确定操作流畅度信息。
60.操作数据可以指设备响应于用户针对其的操作，设备所执行的操作，该数据可以通过获取设备输入输出的数据以及执行的代码来获取，例如，设备为超声成像设备时，该操作数据可以是扫描工作流各个节点的输入数据、输出数据以及数据输入输出的时间，根据这些数据，可以确定扫描工作流的各个节点的操作时间，根据相邻两个扫描工作流节点之间的操作时间间隔或者间隔多个工作流节点的两个节点间的操作时间间隔，根据这些时间间隔和预先采集的用户平均操作时间间隔的差值，确定流畅度信息，实际的时间间隔的时间长度大于平均操作时间间隔的程度越大，则说明用户操作流畅度越差，确定能够反映该情况的操作流畅度信息。例如，操作流畅度信息可以包括流畅度得分，操作流畅度越差，流畅度得分越低，反之，操作流畅度越好，流畅度得分越高。当然，操作流畅度信息可以包括流畅度得分，还可以包括扫描工作流节点的操作时间等，只要是能够表征用户操作设备的流畅程度的数据均属于本技术要保护的范围。
61.操作数据也可以是指用户操作设备的动作数据，该动作数据可以通过摄像头等进行获取。例如，操作数据可以包括用户完成一次扫描成像操作时长。若实际的扫描成像操作时长高于参考操作时长(例如，可以是平均操作时长)，可以确定用户实际触发该设备动作时明显出现动作迟钝的现象，即操作流畅度差，此时，可根据实际的扫描成像操作时长和参考操作时长的差值，确定一操作流畅度信息来表征这一现象。操作流畅度信息可以包括流畅度得分，当实际的扫描成像操作时长高于参考操作时长时，可根据实际的扫描成像操作时长和参考操作时长的差值，确定一流畅度得分，流畅度得分与该差值呈反相关关系。差值越大，流畅度得分越低，反之，差值越小，流畅度得分越高。
62.s208，在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。用户状态异常是指用户操作设备时的精神状态不佳，可能导致设备误操作的情况。预设交互动作可以是提前配置的动作，预设交互动作可以是一种或多种交互动作，例如，可以包括但不限于语音提示、显示提示内容、展示预设游戏界面或升降设备等。可以同时执行两种以上的预设交互动作以提高提醒效果，改善用户情绪和缓解疲劳，从而提高用户操作设备时的注意力。基于设备执行预设交互动作，可以是基于设备的屏幕显示提示内容，和/或，展示预设游戏界面，以文字或动画或游戏互动方式，来改善用户情绪，提高用户注意力。也可以是基于设备上的语音模块进行提示语播报，提醒用户提高注意力。当然，也可以是基于设备的机械结构，升高设备的高度，如升高设备的显示屏，让用户可以站立进行显示内容的查看和设备操作，改善由于长时间坐在设备前导致的精神疲倦，从而提高用户操作设备时的注意力。
63.具体的，本技术实施例提供的设备交互控制方法，通过获取用户操作设备时的人脸信息和操作数据，并根据人脸信息，确定用户情绪信息，再根据操作数据，确定操作流畅度信息。基于情绪维度和流畅度维度信息的确认，综合判断用户操作设备时的精神状态情况，若判定精神状态不佳，则基于设备执行预设交互动作，通过与用户的交互，提高用户操作设备时的注意力，避免由于用户疲劳或情绪低下等其他原因造成的设备操作不当问题，进而提高设备操作结果可靠性。
64.在其中一个实施例中，用户情绪信息包括情绪值，操作流畅度信息包括流畅度得分。情绪值越高说明用户精神状态越好，情绪值越低，则说明用户精神状态越差。流畅度得分越高，则说明用户操作设备的流畅度越高，反之，流畅度得分越低，则说明用户操作设备的流畅度越差。根据用户情绪信息和操作流畅度信息判定用户状态异常的步骤，如图4所示，包括：
65.s402，对情绪值和流畅度得分进行加权计算，确定总得分。仅仅依赖情绪识别结果来判断用户当前操作设备是否存在设备异常操作风险，误差大，所以，通过综合考虑用户情绪值和操作设备时的流畅度得分，以判断用户操作设备时的状态是否异常。具体的，可以将情绪值和流畅度得分输入至总得分确定模型k1*a+k2*b＝g，确定总得分g，其中k1为情绪值a的第一权重，k2为流畅度得分b的第二权重。
66.第一权重、第二权重以及总得分确定模型可以是通过预先收集的样本数据进行训练得出的。具体的，可以通过如下步骤实现：
67.将样本数据中的情绪值和流畅度得分输入至预设的第一神经网络模型，得到预测总得分；第一神经网络模型是表征情绪值和流畅度得分与预测总得分之间映射关系的模型；
68.根据实际得分和预测总得分的差值，调整第一权重和第二权重，直至满足结束条件；实际得分是指用户认可的得分分数。实际得分可以是预先获取的。结束条件可以是达到最大训练次数，或者，对于样本数据来说，预设比例的样本数据的实际得分和预测总得分的差值均落在允许误差范围内。预设比例可以是90％-100％之间的一个值，用户可根据应用场景的状态判断精度需求，配置该预设比例。
69.将训练好的第一神经网络模型作为总得分确定模型。训练好的总得分确定模型可存储在服务器104中，供计算机设备102使用时调用，当然，也可以存储在计算机设备102的
存储器中。
70.其中，实际得分的获取还可以包括：
71.基于设备的屏幕，展示预测总得分；
72.响应于用户对预测总得分的确认动作，确定预测总得分为实际得分；确认动作可以是对屏幕上显示的“确认”控件的点击操作或语音确认等动作，在此不作以穷举。
73.响应于用户对预测总得分的否定动作，展示k1*a和k2*b；
74.响应于用户针对目标参数的调整动作，确定实际得分。目标参数包括k1、k2、a、b、k1*a和k2*b中的至少一种，实际得分即为调整后的k1*a+k2*b。
75.样本数据还可以包括用户针对目标参数的调整动作数据，包括对目标参数的上调量和下调量。此时，上述根据实际得分和预测总得分的差值，调整第一权重和第二权重的过程，可以根据实际得分和预测总得分的差值以及调整动作数据，调整第一权重和第二权重，差值越大，调整幅度越大，调整动作数据所反馈的调整量越大，对第一权重和第二权重的调整幅度也越大。
76.s404，当总得分低于第一阈值时，则判定用户状态异常。第一阈值也可以基于预先实验选取的一个合适值，例如，预先实验时，对于上述样本数据来说，当总得分低于选定的阈值时，判定的用户状态异常结果均与实际情况相符合，则可以确定该阈值为符合要求的第一阈值。
77.本技术实施例提供的设备交互控制方法，通过对情绪值和流畅度得分进行加权计算，以加权计算结果和第一阈值的大小关系来判断用户操作设备时的状态是否异常，提高了状态异常判断结果的可靠性，一方面，有利于发生用户状态异常的情况下，执行预设交互动作，以避免用户误操作造成的负面影响。另一方面，也可避免单一从情绪方面判断用户操作设备状态时的误判情况，从而提高预设交互动作执行的有效性。
78.在其中一个实施例中，为避免误检测，当总得分低于第一阈值时，则判定用户状态异常的步骤s404，包括：
79.当总得分低于第一阈值，且持续预设时长的情况下，判定用户状态异常。
80.预设时长越长，用户状态异常判断结果的可靠性越高，但预设时间过长，会导致不能及时控制设备执行预设交互动作，增加用户对设备误操作的风险。所以，预设时长可以基于应用场景下的实际使用需求进行设置。
81.在一个实施例中，为避免误检测，当总得分低于第一阈值时，则判定用户状态异常的步骤s404，包括：
82.在预设时间段内总得分低于第一阈值的次数大于预设次数，则判定用户状态异常。
83.预设次数和预设时间段可基于应用场景下的需求进行适应性设置。例如，预设时间段可以是从扫描成像开始到扫描成像结束的时间段。当在预设时间段内多次检测到总得分低于第一阈值的情况，且发生频次高于预设次数，说明用户此时可能由于精神状态不佳导致误操作设备。此时通过判定用户状态异常，并执行上述实施例中所述的在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作的步骤，以提高用户操作设备时的可靠性和安全性。
84.在其中一个实施例中，根据人脸信息，确定用户情绪信息，如图5所示，包括：
85.s502，根据人脸信息和预设的情绪模型，确定情绪值。情绪模型用于表征人脸信息和情绪值之间的映射关系。对于同一用户的人脸信息，可以确定至少一个情绪值，例如，如上述实施例中的描述，基于上下眼睑距离d和d0的差值可以确定第一情绪值，还可以根据嘴角上扬特征向量α和β的夹角，确定第二情绪值。
86.当情绪值不唯一时，上述将情绪值和流畅度得分输入至总得分确定模型k1*a+k2*b＝g，确定总得分g，可以包括：
87.将各情绪值和流畅度得分输入至总得分确定模型k11*a1+k12*a2+
…
+k1i*ai+
…
+k1n*an+k2*b＝g，确定总得分g，k1i为第i个情绪值的第一权重，ai为第i个情绪值。上述关于总得分确定模型的训练过程，也适用于情绪值不唯一的情况。多个情绪值可以是基于人脸不同部位的特征所确定的情绪值，例如上述实施例中举例的，通过对人脸信息中反映眼部特征和嘴部特征的信息进行处理后所对应的情绪值。人脸各部位的情绪值用于确定总得分时的权重可能不同，该过程可以通过神经网络模型训练实现。
88.在其中一个实施例中，预设的情绪模型的训练步骤可以包括：
89.将样本数据中的人脸信息输入至第二神经网络模型，得到预测情绪值；第二神经网络模型是表征人脸信息与预测情绪值之间映射关系的模型；
90.根据预测情绪值和实际情绪值的偏差，调整第二神经网络模型，直至满足结束条件；结束条件可以是达到最大训练次数，也可以是预测情绪值和实际情绪值的偏差落在用户允许的偏差范围内。
91.将训练好的第二神经网络模型作为预设的情绪模型。
92.在其中一个实施例中，根据人脸信息，确定用户情绪信息，如图6所示，还包括：
93.s602，根据人脸信息和预设的情绪模型，确定各情绪值的置信度。
94.置信度是指情绪值的置信水平，置信度越高，置信水平越高，说明该情绪值用于评价用户状态是否异常时的可信度越高。基于此，在一个实施例中，可以根据置信度最高的情绪值和流畅度得分进行加权计算，确定总得分。
95.预设的情绪模型的训练过程，可以包括：
96.将样本数据中的人脸信息输入至第三神经网络模型，得到预测情绪值和预测置信度；第三神经网络模型是表征人脸信息与情绪值和置信度之间映射关系的模型；
97.根据预测情绪值和实际情绪值的偏差，以及预测置信度和实际置信度的偏差，调整第三神经网络模型，直至满足结束条件；结束条件可以是达到最大训练次数，也可以是预测情绪值和实际情绪值的偏差，以及预测置信度和实际置信度的偏差均落在用户允许的偏差范围内。
98.将训练好的第三神经网络模型作为预设的情绪模型。
99.在其中一个实施例中，根据操作数据，确定操作流畅度信息，如图7所示，包括：
100.s702，根据操作数据和预设的流畅度打分模型，确定流畅度得分。流畅度得分越高，代表用户操作设备的流畅度越好。可以通过提前训练得到预设的流畅度打分模型。
101.具体，流畅度打分模型的训练过程可以包括：
102.将样本数据中的操作数据输入至第四神经网络模型，得到预测流畅度得分；第四神经网络模型是表征操作数据与流畅度得分之间映射关系的模型；
103.根据预测流畅度得分和实际流畅度得分的偏差，调整第四神经网络模型，直至满
足结束条件；结束条件可以是达到最大训练次数，也可以是预测流畅度得分和实际流畅度得分的偏差落在用户允许的偏差范围内。
104.将训练好的第四神经网络模型作为预设的流畅度打分模型。
105.在其中一个实施例中，用户情绪信息包括情绪值，基于设备执行预设交互动作的步骤s208，如图8所示，包括：
106.s802，根据情绪值和交互动作确定模型，确定与情绪值对应的预设交互动作；其中，交互动作确定模型用于表征情绪值和预设交互动作之间的映射关系。
107.交互动作确定模型可以是以表格映射模式，表格至少具有两列数据，一列数据为情绪值，另一列数据为情绪值对应的交互动作。交互动作确定模型也可以是神经网络模型。当其为神经网络模型时，交互动作确定模型的训练过程可以包括：
108.将样本数据中的情绪值输入至第五神经网络模型，得到预设交互动作；第五神经网络模型是表征情绪值与预设交互动作之间映射关系的模型；
109.根据用户对预设交互动作的评分，调整第五神经网络模型，直至满足结束条件；结束条件可以是达到最大训练次数，也可以是评分超过预设评分阈值，例如，评分满分为100分，预设评分阈值为90。用户对预设交互动作的评分可以通过在执行预设交互动作后，基于设备屏幕展示一个评分界面，让用户对该预设交互动作是否能够有效帮助用户提高注意力，提高操作设备时的注意力进行打分。例如，打分范围可以是0-100分，用户可根据实际感受对预设交互动作进行打分。后台采集该打分结果，作为第五神经网络模型的训练样本数据。
110.将训练好的第五神经网络模型作为预设的流畅度打分模型。
111.s804，基于设备执行与情绪值对应的预设交互动作。基于上述描述可知，情绪值对应的预设交互动作是指那些能够有效改善用户当前情绪状态，以有效提高用户操作设备时的注意力的交互动作。通过执行与情绪值对应的预设交互动作，针对不同的用户情绪，可以通过执行不同的交互动作，来保证在不同情绪下的交互效果。
112.例如，预设交互动作可以主要包括两类，一类是非行为性交互，另一类是行为性交互。非行为性交互可以包括但不限于：在设备屏幕的显示界面上以弹窗提示的方式进行提醒，进行语音提示。行为性交互可以包括但不限于：展示预设游戏界面。通过在界面上自启动小游戏，用户可以通过小游戏来提高注意力，放松心情。
113.不同的情绪值可以对应不同的情绪类型，以超声成像设备的应用场景为例，如果根据情绪值检测到医生疲倦，那么可以用语音或者文字提示“检测到您略有疲倦，请适当休息”，还可以通过小游戏与医生进行互动，让医生放松肢体或眼睛，比如视角随着屏幕中的小球一起转动。也可以将设备整体升高，再为医生提供与屏幕交互的游戏来伸展肢体起到放松的效果。不同的情绪值有着不同的预设交互方式，情绪值与预设交互方式的对应关系可以配置，例如情绪值对应为疲倦情绪类型时，对应的预设交互动作为语音提示“检测到您略有疲劳，请适当休息”，情绪值对应的情绪类型为难过时，对应的预设交互动作为语音提示“笑一笑没什么大不了”等等。预设交互动作也可以提前配置，且支持更新。一个情绪值可以对应一个或至少两个预设交互动作，例如，情绪值为10时，对应的预设交互动作包括语音提示“检测到您略有疲劳，请适当休息”和展示预设游戏界面两种。
114.在其中一个实施例中，对情绪值和流畅度得分进行加权计算，确定总得分的步骤，
包括：
115.在根据情绪值判定用户处于负面情绪的情况下，对情绪值和流畅度得分进行加权计算，确定总得分。负面情绪包括但不限于悲伤、愤怒、疲倦、难过等情绪类型。
116.可以先通过判断用户是否处于负面情绪，若情绪较佳，用户操作设备的流畅度异常可能是因为特殊情况造成的，例如超声检测过程中，发现患者某个部位的实时成像结果异常，所以针对该部位的扫描成像操作时间远超出平均扫描成像操作时长，此种情况下无需进行执行预设交互动作来提高用户注意力。当判断为负面情绪时，受情绪影响，可能会导致用户误操作，但仅凭借情绪来判断可靠性不足，通过衡量情绪和操作流畅度两种影响因素，在得分低于第一阈值并保持一段时间后，才判定用户状态异常。
117.在其中一个实施例中，基于设备执行预设交互动作的步骤s208，包括：
118.在设备处于空闲状态时，基于设备执行预设交互动作。空闲状态是指设备未响应用户操作时的工作状态。例如，超声成像设备处于待机时的状态，或者完成本次超声扫描成像，但还未进入下一次超声扫描成像的状态。
119.为避免设备正在工作时弹窗显示提示语等预设交互动作会干扰用户对设备的正常操作，尤其是医疗领域，可能会打断医生操作导致不良后果。所以，在根据所述用户情绪信息和所述操作流畅度信息判定用户状态异常的情况下，在设备下一次进入空闲状态时，才基于设备执行预设交互动作，以提高用户的注意力。
120.在其中一个实施例中，设备交互控制方法还包括：
121.若检测到设备切换至工作状态或情绪值上升至第二阈值，则停止执行预设交互动作。
122.工作状态是指非空闲状态，例如超声成像设备正在进行扫描成像。第二阈值是指一个大于第一阈值的情绪值，当情绪值上升至该阈值时，说明，用户从负面情绪恢复为高兴等积极向上的情绪。此时，无需进行预设交互动作的执行，用户也可以很好地进行设备操作。所以通过在检测到设备切换至工作状态或情绪值上升至第二阈值的情况下，停止执行预设交互动作，一方面，避免对正常操作设备造成影响，另一方面，可以智能化停止执行预设交互动作，无需用户进行手动操作，提高用户体验。
123.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
124.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的设备交互控制方法的设备交互控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个显示交互装置实施例中的具体限定可以参见上文中对于显示交互方法的限定，在此不再赘述。
125.在一个实施例中，如图9所示，提供了一种设备交互控制装置，包括：数据获取模块902、情绪信息确定模块904、流畅度信息确定模块906和交互执行模块908，其中：
126.数据获取模块902用于获取用户操作设备时的人脸信息和操作数据，情绪信息确定模块904根据人脸信息，确定用户情绪信息；流畅度信息确定模块906根据操作数据，确定操作流畅度信息；交互执行模块908在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。
127.在一个实施例中，用户情绪信息包括情绪值，操作流畅度信息包括流畅度得分，设备交互控制装置还包括：
128.总分计算模块，用于对情绪值和流畅度得分进行加权计算，确定总得分；
129.异常状态判定模块，用于当总得分低于第一阈值时，则判定用户状态异常。
130.在其中一个实施例中，情绪信息确定模块904，包括：
131.情绪值确定单元，用于根据人脸信息和预设的情绪模型，确定情绪值。
132.在其中一个实施例中，情绪信息确定模块904，还包括：
133.置信度确定单元，用于根据人脸信息和预设的情绪模型，确定各情绪值的置信度。
134.在其中一个实施例中，流畅度信息确定模块906，包括：
135.流畅度得分确定单元，用于根据操作数据和预设的流畅度打分模型，确定流畅度得分。
136.在其中一个实施例中，用户情绪信息包括情绪值，交互执行模块908，包括：
137.交互动作确定单元，用于根据情绪值和交互动作确定模型，确定与情绪值对应的预设交互动作；其中，交互动作确定模型用于表征情绪值和预设交互动作之间的映射关系；
138.匹配交互动作执行单元，用于基于设备执行与情绪值对应的预设交互动作。
139.在其中一个实施例中，总分计算模块，包括：
140.总得分确定单元，用于在根据情绪值判定用户处于负面情绪的情况下，对情绪值和流畅度得分进行加权计算，确定总得分。
141.在其中一个实施例中，交互执行模块908，包括：
142.空闲交互执行单元，用于在设备处于空闲状态时，基于设备执行预设交互动作。
143.在其中一个实施例中，预设交互动作包括：语音提示、显示提示内容、展示预设游戏界面或升高设备中的至少一种。
144.在其中一个实施例中，用户情绪信息包括情绪值，该设备交互控制装置还包括：
145.交互停止模块，用于在检测到设备切换至工作状态或情绪值上升至第二阈值的情况下，停止执行预设交互动作。
146.上述设备交互控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
147.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之
间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种设备交互控制方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
148.本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
149.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
150.s202，获取用户操作设备时的人脸信息和操作数据；
151.s204，根据人脸信息，确定用户情绪信息；
152.s206，根据操作数据，确定操作流畅度信息；
153.s208，在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。
154.在一个实施例中，处理器执行计算机程序时还实现上述任意方法实施例中的步骤，并实现相应的有益效果。
155.在其中一个实施例中，计算机设备为医学影像设备的控制器。上述实施例中，用户操作的设备为医学影像设备。例如，为超声成像设备。
156.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
157.s202，获取用户操作设备时的人脸信息和操作数据；
158.s204，根据人脸信息，确定用户情绪信息；
159.s206，根据操作数据，确定操作流畅度信息；
160.s208，在根据用户情绪信息和操作流畅度信息判定用户状态异常的情况下，基于设备执行预设交互动作。
161.在一个实施例中，计算机程序被处理器执行时还实现上述其他方法实施例中的步骤，并实现相应的有益效果。
162.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的部分或全部方法步骤，并实现相应的有益效果。
163.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
164.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括
非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
165.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
166.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。