一种基于声纹锁定的机械臂超声设备控制方法及装置与流程

1.本发明涉及语音控制技术领域，尤其涉及一种基于声纹锁定的机械臂超声设备控制方法及装置。


背景技术：

2.随着机器人技术的发展，机械臂被广泛应用在各个领域。近年出现的机械臂与医疗设备的组合系统也相继亮相。对于机械臂与超声设备的结合使得在医生手动执行手术时，机械臂控制探头跟踪手术器械，或固定在手术部位进行实时扫描成像。针对不同的使用场景，机械臂超声设备与医生的交互方式也多样化，可分为接触式交互(身体与硬件设备接触)与非接触式交互(身体与硬件设备无接触)。
3.在现有技术中，采用接触式交互的机械臂超声设备需要复杂的硬件设备，例如远端控制台需要操作杆/手柄，脱离这一套复杂的硬件设备，无法完成超声扫描。并且，接触式机械臂超声设备需要医生手动操作，无法解放双手。如果要完成一个多部位协同检测的场景，需要医生手持其它设备，使用不方便。而非接触式交互方式的机械臂超声设备比较常见的是通过简单的语音交互方式，但是只单纯的进行语音识别、语义转换在多医护人员的施术环境中无法避免其它医护人员的语音干扰。
4.因此，现有技术还有待改进和提高。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于声纹锁定的机械臂超声设备控制方法及装置，旨在解决现有技术中采用接触式交互方式的机械臂超声设备需要医生手动操作，无法解放双手，使用不方便。而非接触式交互方式的机械臂超声设备只单纯的进行语音识别、语义转换在多医护人员的施术环境中无法避免其它医护人员的语音干扰的问题。
6.为了解决上述技术问题，本发明所采用的技术方案如下：
7.第一方面，本发明提供一种基于声纹锁定的机械臂超声设备控制方法，其中，所述方法包括：
8.获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；
9.将所述用户身份与预先锁定的锁定声纹用户进行匹配；
10.若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。
11.在一种实现方式中，所述获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份，包括：
12.获取所述语音指令，对所述语音指令进行声纹识别，得到声纹特征；
13.根据所述声纹特征，确定与所述声纹特征所对应的用户身份。
14.在一种实现方式中，所述将所述用户身份与预先锁定的锁定声纹用户进行匹配，
包括：
15.获取系统状态；
16.若所述系统状态为声纹锁定状态，获取所述声纹锁定状态所对应的锁定声纹用户；
17.将所述用户身份与所述锁定声纹用户进行匹配。
18.在一种实现方式中，所述将所述用户身份与预先锁定的锁定声纹用户进行匹配，还包括：
19.若所述系统状态不处于声纹锁定状态，则获取所述用户身份输出的锁定语音指令；
20.根据所述锁定语音指令，对所述用户身份的声纹进行锁定。
21.在一种实现方式中，所述若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作，包括：
22.若所述用户身份与所述锁定声纹用户相同，则对所述语音指令进行识别，得到所述语音指令所对应的语义信息；
23.根据所述语义信息，确定与所述语义信息所对应的语音指令类别；
24.根据所述语音指令类别，输出所述控制指令，并根据所述控制指令控制所述机械臂超声设备动作。
25.在一种实现方式中，所述若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作，包括：
26.若检测到所述机械臂超声设备受到外力干涉，则停止执行所述控制指令。
27.在一种实现方式中，所述若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作，包括：
28.若检测到所述机械臂超声设备的运动超限，则停止执行所述控制指令。
29.第二方面，本发明实施例还提供一种基于声纹锁定的机械臂超声设备控制装置，其中，所述装置包括：
30.身份确定模块，用于获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；
31.身份匹配模块，用于将所述用户身份与预先锁定的锁定声纹用户进行匹配；
32.指令执行模块，用于若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。
33.第三方面，本发明实施例还提供一种机械臂超声设备，其中，所述机械臂超声设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于声纹锁定的机械臂超声设备控制程序，所述处理器执行所述基于声纹锁定的机械臂超声设备控制程序时，实现如上述方案中任一项所述的基于声纹锁定的机械臂超声设备控制方法的步骤。
34.第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于声纹锁定的机械臂超声设备控制程序，所述基于声纹锁定的机械臂
超声设备控制程序被处理器执行时，实现如上述方案中任一项所述的基于声纹锁定的机械臂超声设备控制方法的步骤。
35.有益效果：与现有技术相比，本发明提供了一种基于声纹锁定的机械臂超声设备控制方法，本发明首先获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；将所述用户身份与预先锁定的锁定声纹用户进行匹配；若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。本发明可通过锁定声纹来实现语音控制机械臂超声设备，不但可以解放用户的双手，避免手动操作，并且还可以避免其他语音的干扰，给用户的使用提供了方便。
附图说明
36.图1为本发明实施例提供的基于声纹锁定的机械臂超声设备控制方法的原理图。
37.图2为本发明实施例提供的基于声纹锁定的机械臂超声设备控制方法的具体实施方式的流程图。
38.图3为本发明实施例提供的基于声纹锁定的机械臂超声设备控制方法的声纹模型的训练流程图。
39.图4是本发明实施例提供的基于声纹锁定的机械臂超声设备控制装置的原理框图。
40.图5是本发明实施例提供的机械臂超声设备的内部结构原理框图。
具体实施方式
41.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
42.为了解决现有技术的问题，本实施例提一种基于声纹锁定的机械臂超声设备控制方法，通过本实施例的方法，可解放用户的双手，并且还可以实现一对一机械臂超声设备的控制。具体地，本实施例首先获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；将所述用户身份与预先锁定的锁定声纹用户进行匹配；若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。由于本实施例在对语音指令进行识别之前，会首先判断出此时发出语音指令的用户是否是预先已经锁定的锁定声纹用户，如果时，则此时就可以对语音指令进行识别。可见，本发明可通过锁定声纹来实现语音控制机械臂超声设备，不但可以解放用户的双手，避免手动操作，并且还可以避免其他语音的干扰，给用户的使用提供了方便。
43.示例性方法
44.本实施例中的基于声纹锁定的机械臂超声设备控制方法可应用于机械臂超声设备中，本实施例中的机械臂超声设备需要语音采集功能，以便分析到用户的声纹信息以及语音指令。因此在本实施例中，对用户输入的语音指令进行分析与处理的过程可在机械臂超声设备中实现。
45.在一种实现方式中，本实施例中的机械臂超声设备是使用机械臂夹持超声探头，进行检查部位的超声扫描设备，其工作机制是首先由超声医生牵引机械臂，完成一次超声扫描，机械臂记录下来此次扫描的探头运动路径，随后在手术中按照记录下来的探头运动路径，对人体组织进行超声呈现。而本实施例中的声纹锁定是对机械臂超声设备的智能增强。因此，具备声纹锁定的机械臂超声设备的超声本体属于执行端，该执行端由超声设备、超声图像显示器、机器人控制摄像头、机械臂等设备等组成。本实施例中的机械臂超声设备还具备声控端设备，该声控端设备为集成有语音输入设备(即语音采集装置)的终端设备，该语音输入设备采集医生声纹信息以及语音控制指令。该机械臂超声设备还可具有显示器(即图1中的超声显示设备)以及计算机系统，计算机系统用于对用户输入的语音指令进行分析与处理。该显示器用于显示超声图像和机器人姿态，在本实施例中，具体如图1中所示，计算机系统和声控端设备之间可通过网络或其它方式(如有线连接的方式)实现数据连接，将语音输入设备采集到的声纹信息和语音指令传送到计算机系统，经计算机系统的声纹识别认证完成声纹的锁定，再由语音指令转换系统完成控制指令转换，进而通过网络或者串口等方式输出至设备本体中，以控制设备本体执行对应操作，完成超声图像采集。
46.如图2中所示，本实施例中的基于声纹锁定的机械臂超声设备控制方法包括如下步骤：
47.步骤s100、获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份。
48.在本实施例中，机械臂超声设备中的语音输入设备可获取语音指令，该语音指令可为话语者(比如用户为医生)说的一句话。当得到该语音指令后，就可对该语音指令进行识别，以确定出此时的话语者的身份，即得到用户身份。具体地，本实施例中的语音输入设备可为手机、话筒、耳机、音箱等。
49.在一种实现方式中，本实施例在确定用户身份时包括如下步骤：
50.步骤s101、获取所述语音指令，对所述语音指令进行声纹识别，得到声纹特征；
51.步骤s102、根据所述声纹特征，确定与所述声纹特征所对应的用户身份。
52.在本实施例中，用户信息是基于语音指令中的声纹特征来确定的，由于声纹识别是基于语音中包含话语者独特的个人信息，因此本实施例在获取到语音指令后就可以利用计算机和声纹识别技术，自动识别当前语音指令的声纹特征，进而确定出对应的用户身份。在一种实现方式中，本实施例在基于语音指令进行声纹识别时，是基于预先训练得到的声纹模型来实现的。具体地，如图3所示，话语者a、b可通过耳机、音箱、话筒等语音输入设备进行语音预留，供机械臂超声设备进行模型训练。此类人群主要针对经常使用该套设备的施术者或医护人员。如话语者c可通过提前录制的语音文件进行语音导入，供计算机系统进行模型训练。此类人群主要针对临时使用者(远程专家、外援)。机械臂超声设备会对不同话语者语音提取声纹特征，然后根据每个话语者的语音特征提取声纹特征，然后训练得到对应的声纹模型，最终将全体话语者模型集合在一起组成模型库。在识别时，话语者进行识别认证时，机械臂超声设备对语音指令进行相同的声纹特征提取过程，并将声纹特征与模型库中的声纹模型进行比对，得到对应声纹模型的相似性打分，最终根据识别打分判别得到语音指令的话语者身份(即用户身份)。
53.步骤s200、将所述用户身份与预先锁定的锁定声纹用户进行匹配。
54.当确定出用户身份后，本实施例将该用户身份与预先锁定的锁定声纹用户进行匹配，匹配的目的是确定此时输出语音指令的用户是否是该机械臂超声设备的规定使用者，即确定此时用户的使用权限，以便在后续步骤中根据该用户身份的语音指令进行识别并输出对应的控制指令。
55.在一种实现方式中，本实施例在将用户身份与锁定声纹用户进行匹配时包括如下步骤：
56.步骤s201、获取系统状态；
57.步骤s202、若所述系统状态为声纹锁定状态，获取所述声纹锁定状态所对应的锁定声纹用户；
58.步骤s203、将所述用户身份与所述锁定声纹用户进行匹配。
59.在本实施例中，如果机械臂超声设备的系统状态中如果已经锁定了声纹特征，则就说明此时系统状态是为声纹锁定状态，因此，此时机械臂超声设备的系统中已经设置了规定用户的声纹信息。因此，本实施例可获取所述声纹锁定状态所对应的锁定声纹用户，然后再将所述用户身份与所述锁定声纹用户进行匹配，从而确定出此时的用户身份是否是机械臂超声设备的系统中所锁定的锁定声纹用户。而如果此时的系统状态并不是声纹锁定状态，则获取所述用户身份输出的锁定语音指令。然后根据所述锁定语音指令，对所述用户身份的声纹进行锁定。具体地，本实施例在确定出用户身份后，用户可通过说出“锁定”单词(不限于这两个单词)，经声纹识别此时的用户身份，然后再次进行声纹认证，进入已认证状态，再经语义系统识别“锁定”指令使系统进入锁定状态，锁定此时的用户身份。此状态下新语音传入声纹识别系统识别出的锁定声纹用户不是已锁定的锁定声纹用户，系统不会对新语音做任何响应，只响应已锁定的锁定声纹用户的语音，直到已锁定的锁定声纹用户解除锁定状态。
60.步骤s300、若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。
61.当确定出用户身份与所述锁定声纹用户匹配成功，则就说明此时的用户身份是否是机械臂超声设备的系统中所锁定的锁定声纹用户。因此就可以对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。此时，机械臂超声设备是不会响应其他话语着说出的新的语音指令，从而实现一对一语音交互模式，方便对机械臂超声设备的控制。
62.在一种实现方式中，本实施例在对机械臂超声设备的控制过程包括如下步骤：
63.步骤s301、若所述用户身份与所述锁定声纹用户相同，则对所述语音指令进行识别，得到所述语音指令所对应的语义信息；
64.步骤s302、根据所述语义信息，确定与所述语义信息所对应的语音指令类别；
65.步骤s303、根据所述语音指令类别，输出所述控制指令，并根据所述控制指令控制所述机械臂超声设备动作。
66.具体地，本实施例在去确定出用户身份与所述锁定声纹用户相同是，则对所述语音指令进行识别，得到所述语音指令所对应的语义信息。在识别语义信息时，本实施例可将语音指令转换成文字信息，然后从文字信息中确定出语义信息。由于语义信息可反映出用户的意图，因此机械臂超声设备在确定出语义信息后，首先可确定与所述语义信息所对应
的语音指令类别，该语音指令类别反映的是此时用户想要对机械臂超声设备的控制具体设备，并且确定出语音指令类别后，可调取与该语音指令类别所对应的指令模块，这样就可以根据该语义信息以及该指令模板，生成对应的控制指令，该控制指令可对机械臂超声设备进行具体的控制。
67.具体地，针对本实施例中用户输出的语音指令可以有很多种，并且每一个语音指令所生成的控制指令均不相同，因此对机械臂超声设备所产生的控制结果也是不一样的，具体如下表1所示。
68.69.[0070][0071]
表1
[0072]
并且，在一种实现方式中，当机械臂超声设备处于语音控制状态时，在设备接收到控制指令后，执行指令动作过程中，如果机械臂超声设备检测到外力干涉机械臂的运动，则认为是超声医生在手动操作设备本体，此时停止控制指令动作的执行，响应手动操作设备本体。同样，如果在指令执行动作过程中，收到了上位机菜单指令，此时也停止控制指令动作的执行，响应上位机菜单指令。即控制指令在系统中拥有较低的优先级。
[0073]
而当机械臂超声设备处于语音跟随状态时，如果机械臂超声设备检测到外力干涉机械臂的运动，则认为是超声医生在手动操作设备本体，此时退出语音跟随状态，进入语音控制状态，响应手动操作设备本体。同样，如果在跟随语音运动动作过程中，收到了上位机菜单指令，此时也退出语音跟随状态，进入语音控制状态，响应手动操作设备本体。本实施例中的语音跟随状态指的是机械臂超声设备会基于控制指令自动执行相应的一连贯的动作。而在语音控制状态下，机械臂超声设备接收到控制指令，若判断该指令执行后会导致机械臂运动超限，或者造成其他伤害患者的情况(如探头压力超过阈值)，则为了保证患者安全，不执行该控制指令。并且只有在声纹锁定状态下用户重新唤醒才能执行控制指令。而在在语音跟随状态下，机械臂超声设备感知到探头压力超过阈值，则自动调整机械臂姿态，减少探头对检查部位的压迫力度，即通过压力感受装置生成虚拟边界，避免对患者造成伤害。
[0074]
此外，当机械臂超声设备处于语音控制状态时，机械臂超声设备接收到关闭声纹控制语音指令、锁定脚踏开关指令或其他状态切换指令，通知声纹控制系统此时仅解读恢复声纹控制语音指令，忽略其他语音指令，避免手术中发出的其它语音被语音控制系统解读，操作机械臂做出误动作。当机械臂超声设备系统处于自运行状态下，通过恢复声纹控制指令、脚踏开关指令或其他状态切换指令，通知系统进行声纹锁定，此时进入语音控制状态，开始解读锁定声纹用户的语音。同样地，语音控制状态下，接收到跟随语音指令，则开始控制机械臂夹持超声探头进行移动。语音跟随状态下，接收到取消跟随语音，停止跟随，机械臂保持当前姿态，系统进入语音控制状态。而当在语音跟随状态下，当包含但不限于以下任一场景发生时，进入安全状态，机械臂超声设备进入复位状态，机械臂夹持超声探头离开患者，避免造成伤害。具体地，场景1：机械臂运动超出限定区域；场景2：语音间隔太短，机械臂还未完成上次控制指令；场景3：语义系统将该语音指令定义为恶意语音；场景4：该语音为紧急停止控制指令。并且，当机械臂超声设备处于安全状态下，须手动复位再次进入语音控制状态，这种设计是为了保障患者的安全。
[0075]
综上，本实施例首先获取语音指令，并根据所述语音指令确定所述语音指令所对
应的用户身份；将所述用户身份与预先锁定的锁定声纹用户进行匹配；若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。本实施例可通过锁定声纹来实现语音控制机械臂超声设备，不但可以解放用户的双手，避免手动操作，并且还可以避免其他语音的干扰，给用户的使用提供了方便。
[0076]
示例性装置
[0077]
基于上述实施例，本发明还提供一种基于声纹锁定的机械臂超声设备控制装置，如图4所示，该装置包括：身份确定模块10、身份匹配模块20以及指令执行模块30。具体地，所述身份确定模块10，用于获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份。所述身份匹配模块20，用于将所述用户身份与预先锁定的锁定声纹用户进行匹配。所述指令执行模块30，用于若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。
[0078]
本实施例中各个模块的工作原理与上述方法实施例中的执行步骤的原理是相同的，因此此处不再累述。
[0079]
基于上述实施例，本发明还提供了一种机械臂超声设备，其原理框图可以如图5所示。该机械臂超声设备包括通过系统总线连接的处理器、存储器。其中，该机械臂超声设备的处理器用于提供计算和控制能力。该机械臂超声设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机械臂超声设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于声纹锁定的机械臂超声设备控制方法。
[0080]
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的机械臂超声设备的限定，具体的机械臂超声设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0081]
在一个实施例中，提供了一种机械臂超声设备，机械臂超声设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于声纹锁定的机械臂超声设备控制程序，处理器执行基于声纹锁定的机械臂超声设备控制程序时，实现如下操作指令：
[0082]
获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；
[0083]
将所述用户身份与预先锁定的锁定声纹用户进行匹配；
[0084]
若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。
[0085]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可
得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双运营数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0086]
综上，本发明公开了一种基于声纹锁定的机械臂超声设备控制方法及装置，所述方法包括：基于声纹锁定的机械臂超声设备控制方法及装置，所述方法包括：获取语音指令，并根据所述语音指令确定所述语音指令所对应的用户身份；将所述用户身份与预先锁定的锁定声纹用户进行匹配；若所述用户身份与所述锁定声纹用户匹配成功，则对所述语音指令进行识别，并基于识别结果输出控制指令，以根据所述控制指令执行对应的动作。本发明可通过锁定声纹来实现语音控制机械臂超声设备，不但可以解放用户的双手，避免手动操作，并且还可以避免其他语音的干扰。
[0087]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。