1.一种存储指令的非瞬态计算机可读介质,所述指令能由至少一个电子处理器(20)读取并运行以执行增强现实(ar)内容生成方法(100),所述方法包括:
利用ar设备(13)的相机(14)来采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像;
从所述ar设备的麦克风(15)接收触发音频片段;
根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构;
从数据库(26)中检索ar指导内容,所述ar指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关;并且
以以下方式中的一种或多种来输出所述ar指导内容:(i)被叠加显示在由所述ar设备显示的视频上和/或(ii)被显示在所述ar设备的头戴式显示器上和/或(iii)经由所述ar设备的扬声器(27)被输出为音频内容。
2.根据权利要求1所述的非瞬态计算机可读介质,其中,所述输出包括以下各项中的一项:
将所述ar指导内容叠加显示在由所述ar设备(13)显示的视频上,所述ar设备包括蜂窝电话或电子平板电脑;或者
将所述ar指导内容叠加显示在所述ar设备的头戴式显示器(16)上。
3.根据权利要求1和2中的任一项所述的非瞬态计算机可读介质,其中,所述数据库(26)的内容由索引数据结构来进行索引,所述索引数据结构是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的,并且
所述匹配包括将所述一个或多个查询数据结构与对检索到的ar指导内容进行索引的所述索引数据结构进行匹配。
4.根据权利要求1和2中的任一项所述的非瞬态计算机可读介质,其中,使用与用于生成一个或多个查询向量的过程相同的过程将所述数据库(26)的内容编码为向量,并且所述检索包括:
从所述数据库中检索经编码的ar指导内容;并且
利用自动编码器(54)对经编码的ar指导内容进行解码。
5.根据权利要求1-4中的任一项所述的非瞬态计算机可读介质,其中,所述一个或多个查询数据结构的所述生成包括:
使用神经网络(nn)(50)来处理所述一幅或多幅图像。
6.根据权利要求5所述的非瞬态计算机可读介质,其中,处理所述一幅或多幅图像的所述nn(50)是卷积nn。
7.根据权利要求1-6中的任一项所述的非瞬态计算机可读介质,其中,所述一个或多个查询数据结构的所述生成包括:
使用nn(52)来处理所述触发音频片段。
8.根据权利要求7所述的非瞬态计算机可读介质,其中,处理所述触发音频片段的所述nn(52)是循环nn。
9.根据权利要求1-8中的任一项所述的非瞬态计算机可读介质,其中,所述检索使用余弦相似性度量来将所生成的一个或多个查询数据结构与所述ar指导内容进行匹配。
10.根据权利要求1-9中的任一项所述的非瞬态计算机可读介质,其中,输出所述视觉指令还包括以下各项中的一项或多项:
输出与所述部件有关的维修手册的相关章节;
输出来自与所述部件有关的所述维修手册的注释。
11.一种增强现实(ar)内容生成系统(10),包括:
ar设备(13),其包括相机(14)、麦克风(15)、显示器(16)和扬声器(17),所述相机被配置为采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像;
至少一个电子处理器(20),其被编程为:
从所述麦克风接收触发音频片段;
根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构;
从数据库(26)中检索ar指导内容,所述ar指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关;并且
以以下方式中的一种或多种来输出所述ar指导内容:(i)被叠加显示在由所述ar设备显示的视频上和/或(ii)被显示在所述ar设备的头戴式显示器上和/或(iii)经由所述扬声器(27)被输出为音频内容。
12.根据权利要求11所述的系统(10),其中,所述至少一个电子处理器(20)被编程为:
通过索引向量来对所述数据库(26)的内容进行索引,所述索引向量是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的,并且
将所述一个或多个查询数据结构与对检索到的ar指导内容进行索引的所述索引向量进行匹配。
13.根据权利要求11所述的系统(10),其中,所述至少一个电子处理器(20)被编程为:
使用与用于生成所述一个或多个查询数据结构的过程相同的过程将所述数据库(26)的内容编码为向量,
从所述数据库中检索经编码的ar指导内容;并且
利用自动编码器(54)对经编码的ar指导内容进行解码。
14.根据权利要求11-13中的任一项所述的系统(10),其中,所述至少一个电子处理器(20)被编程为:
通过使用卷积神经网络(cnn)(50)处理所述一幅或多幅图像来生成所述一个或多个查询数据结构。
15.根据权利要求11-14中的任一项所述的系统(10),其中,所述至少一个电子处理器(20)被编程为:
通过使用循环神经网络(rnn)(52)处理所述触发音频片段来生成所述一个或多个查询数据结构。
16.根据权利要求11-15中的任一项所述的系统(10),其中,所述至少一个电子处理器(20)被编程为:
利用余弦相似性度量来检索所述ar指导内容以将所生成的一个或多个查询数据结构与所述ar指导内容进行匹配。
17.根据权利要求11-16中的任一项所述的系统(10),其中,所述至少一个电子处理器(20)被编程为以以下方式中的一种或多种来输出视觉指令:
输出与所述部件有关的维修手册的相关章节;
输出来自与所述部件有关的所述维修手册的注释。
18.一种增强现实(ar)内容生成方法(100),包括:
利用ar设备(13)的相机(14)来采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像;
从所述ar设备的麦克风(15)接收触发音频片段;
通过使用卷积神经网络(cnn)(50)处理所述一幅或多幅图像并使用循环神经网络(rnn)(52)处理所述触发音频片段来根据所述一幅或多幅图像和所述触发音频片段这两者生成一个或多个查询数据结构;
从数据库(26)中检索与所生成的一个或多个查询数据结构匹配的ar指导内容;并且
以以下方式中的一种或多种来输出所述ar指导内容:(i)被叠加显示在由所述ar设备显示的视频上和/或(ii)被显示在所述ar设备的头戴式显示器上和/或(iii)经由所述ar设备的扬声器(27)被输出为音频内容,视觉指令包括以下各项中的一项或多项:与所述部件有关的维修手册的相关章节,以及来自与所述部件有关的所述维修手册的注释。
19.根据权利要求18所述的方法(100),其中,所述数据库(26)的内容由索引向量来进行索引,所述索引向量是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的,并且
所述匹配包括将所述一个或多个查询数据结构与对检索到的ar指导内容进行索引的所述索引向量进行匹配。
20.根据权利要求18所述的方法(100),其中,使用与用于生成所述一个或多个查询数据结构的过程相同的过程将所述数据库(26)的内容编码为数据结构,并且所述检索包括:
从所述数据库中检索经编码的ar指导内容;并且
利用自动编码器(54)对经编码的ar指导内容进行解码。