调节移动机器人装置所输出的音频的音量的方法与流程

调节移动机器人装置所输出的音频的音量的方法


背景技术：

1.利用目前的远程临场机器人，机器人区域中的人通常调节来自机器人的声音的输出音量，或者请求远程临场机器人的操纵者改变输出音量。远程临场机器人所使用的麦克风类型、从人到麦克风的距离、以及来自远程临场机器人操纵者的增益通常使得远程临场机器人的操纵者很难远程地调节来自远程临场机器人的声音的输出音量。


技术实现要素：

2.根据所公开的主题的实现，可以提供如下的方法，该方法包括经由通信接口从移动机器人装置向远程用户装置发送声音和/或由传感器捕获的至少一个图像。可以在移动机器人装置处经由通信网络从远程用户装置接收用于使移动机器人装置在区域内移动的至少一个第一控制操作。可以在移动机器人装置的麦克风处接收区域中的声音，并且可以基于所接收到的声音、经由通信网络来发送音频信号。可以在移动机器人装置的扬声器处输出经由通信网络接收到的音频信号。该方法可以包括在移动机器人装置的控制器处基于麦克风所接收到的声音、根据区域的大小和区域中的频率的振幅的平均值或中值来调节扬声器所输出的音频信号的音量。
3.通过考虑以下具体实施方式、附图和权利要求，所公开的主题的附加特征、优点和实现可以被阐明或显而易见。此外，应当理解，前述发明内容和以下具体实施方式是例示性的，并且旨在在不限制权利要求的范围的情况下提供进一步解释。
附图说明
4.为了提供对所公开的主题的进一步理解而包括的附图被包含在本说明书中，并构成本说明书的一部分。附图还示出所公开的主题的实现，并且与具体实施方式一起用于解释所公开的主题的实现原理。没有尝试比对所公开主题及可实践该主题的各种方式的基本理解所必需的更详细地示出结构详情。
5.图1示出根据所公开的主题的实现的调节移动机器人装置的扬声器所输出的音频信号的音量的示例性方法。
6.图2～4示出根据所公开的主题的实现，图1的示例性方法可以包括翻译语音的方法。
7.图5示出根据所公开的主题的实现，图1的示例性方法可以包括判断移动机器人何时在距物体、人和/或动物预定距离内并发送通知的方法。
8.图6示出根据所公开的主题的实现，图1的示例性方法可以包括基于所捕获的图像来识别人的方法。
9.图7示出根据所公开的主题的实现，图1的示例性方法可以包括确定移动机器人装置附近的区域中的人的情绪状态的方法。
10.图8～9示出根据所公开的主题的实现的示例性移动机器人装置。
11.图10示出根据所公开的主题的实现的图8～9的移动机器人的示例性配置。
12.图11示出根据所公开的主题的实现的可包括多个移动机器人的网络配置。
具体实施方式
13.所公开的主题的实现提供了调节区域内的移动机器人装置所输出的音频的音量和/或频率范围的方法。移动机器人装置可能操作的不同区域可以基于区域的大小、区域内的表面和/或物体以及区域的反射和/或吸收特性等而具有不同的声特性。区域中的声音可以由移动机器人装置的一个或多个麦克风接收，并且可以用于确定来自移动机器人装置的扬声器的音频信号的输出音量。区域中的声音可以例如包括话音、环境噪声(来自移动机器人所在的环境，诸如医院、老年人护理设施、办公环境、工业环境和飞机环境等)、正在播放的音乐、以及来自hvac(采暖通风和空调)系统的噪声等。移动机器人装置的区域内的声音的频率的振幅的移动平均值和/或中值可以用于确定要输出的音频信号的输出音量和/或频率范围。
14.移动机器人装置可以由远程用户装置控制，该远程用户装置可以向移动机器人装置提供一个或多个音频信号以由扬声器输出。移动机器人装置的扬声器所输出的振幅和/或频率可以与远程用户装置的麦克风所接收到的声音的振幅相似和/或相等。在一些实现中，远程用户装置的麦克风可以检测到用户(即，控制移动机器人装置的人——“操纵者”)的话音的音量的增大，并且可以相应地使来自移动机器人装置处的扬声器的音频信号的输出音量增大。
15.所公开的主题的实现改进了目前的远程临场机器人，在目前的远程临场机器人中，由于回波消除，因此操纵者(即，控制远程临场机器人的人)很难理解从机器人本身输出的音频。通常，人类根据他们听到的背景音量来调节其话音的响度。然而，来自从远程临场机器人的扬声器输出的声音受增益、麦克风类型、麦克风距操纵者的距离、以及来自远程临场机器人的增益影响，操纵者不知道远程临场机器人的声音的输出音量。通常，操纵者调节音量，或者与机器人在相同区域中的人调节来自机器人本身的输出音量或请求操纵者改变输出音量。
16.所公开的主题的实现可以提供一种移动机器人装置，该移动机器人装置可以改变从远程用户装置的用户(即，操纵者)接收到的音频的频率。一些实现可以改变移动机器人装置的麦克风所接收到的声音的频率，并且可以将具有改变后的频率的音频信号发送至远程用户装置。可以(例如，在移动机器人装置和/或远程用户装置处)选择可改变音频信号的频率(例如，针对听力频率范围缩小的一个或多个人，诸如老年人等)的模式。在一些实现中，可以在移动机器人装置的传感器检测到特定人时选择该模式。在一些实现中，可以基于特定人的检测而在移动机器人装置和/或远程用户装置处自动选择该模式。当在这种模式下操作时，传入声音的频率范围可被压缩到预定频率范围。在一些实现中，可以选择可针对特定人(例如，能够听到更高频率范围的声音的儿童和/或年轻人)可听到的特定范围来调节音频信号的频率范围的模式。
17.在一些实现中，移动机器人装置可被部署在具有与使用远程用户装置的操纵者的自然语言不同的自然语言的区域中。移动机器人装置可被配置为输出音频信号，该音频信号具有移动机器人装置被部署在的本地区域的自然语言。也就是说，可以对音频信号的语音进行翻译，并且可以根据翻译后的语音生成新的音频信号，以由移动机器人装置输出。
18.在一些实现中，移动机器人装置可以识别区域中的一个或多个人。可以通过移动机器人装置的一个或多个传感器来捕获一个或多个人的图像，并且可以例如基于一个或多个数据库记录来识别一个或多个人。可以为远程用户装置的操纵者显示被识别人的信息(例如，姓名、头衔、联系信息、所说语言和听力能力等)。根据检索到的被识别人的数据库记录，移动机器人装置所输出的音频可以是被识别人的自然语言。可以对音频信号的语音进行翻译，并且可以通过移动机器人装置来输出被识别人的自然语言的新音频输出信号。被识别人的语音可以由移动机器人的麦克风捕获、被翻译和发送至远程用户装置，以作为音频信号和/或作为语音文本的转录而输出。在一些实现中，移动机器人的一个或多个传感器可以用于确定人的情绪，并将所确定的人的情绪状态提供给远程用户装置。
19.图1示出根据所公开的主题的实现的调节移动机器人的扬声器所输出的音频信号的音量的示例性方法10。在操作12处，声音和/或由传感器(例如，图8～10所示的传感器102b、102c)捕获的至少一个图像可以经由通信接口(例如，图10所示的网络接口116，其可以通信地耦接至图11所示的网络130)从移动机器人装置(例如，图8～11所示的移动机器人装置100)发送至远程用户装置(例如，图11所示的远程用户装置170)。
20.在操作14处，移动机器人装置可以经由通信网络(例如，图11所示的通信网络130)从远程用户装置接收用于使移动机器人装置在区域内移动的至少一个第一控制操作。控制操作可以包括移动的方向、移动的速度、用以接收数据和/或声音(例如，图像以及到物体的距离等)的一个或多个传感器(例如，传感器102a、102b、102c和/或102d)和/或麦克风(例如，麦克风103)的选择。
21.在操作16处，移动机器人装置的麦克风(例如，图8～10所示的麦克风103)可以接收区域中的声音。移动机器人可以基于接收到的声音、经由通信网络来发送音频信号。例如，麦克风和/或控制器(例如，图10所示的控制器114)可以生成音频信号，以经由网络接口(例如，图10所示的网络接口116)发送至远程用户装置。
22.在操作18处，移动机器人装置的扬声器(例如，图8～10所示的扬声器107)可以输出经由通信网络从远程用户装置接收到的音频信号。在一些实现中，可以基于接收到的音频信号中所包括的音量变化信息，在移动机器人装置的扬声器处输出音频信号。控制器可以调节扬声器所要输出的音频信号的频率范围。该频率范围可以基于在距移动机器人装置预定距离内的人所要听到的预定频率范围、以及/或者在距移动机器人装置预定距离内的人能够听到的选定频率范围来调节。
23.例如，可以调节频率范围，使得位于移动机器人装置的区域内的、针对特定频率范围听力受损或者不能听到特定频率范围(例如，12～20khz)内的声音的人可以听到扬声器所输出的音频信号。在另一示例中，可以调节音频信号的频率范围，使得能够听到特定频率范围的人(例如，可以听到诸如15khz～20khz等的高频的儿童和/或年轻人)可以听到声音。在一些实现中，可以识别移动机器人装置的区域中的一个或多个人(例如，通过将机器人的一个或多个传感器所捕获的该一个或多个人的图像与图像的数据库进行比较，诸如在图6中示出并且在下文描述)，并且可以基于数据库记录来调节音频信号的频率范围。
24.在操作20处，移动机器人装置的控制器(例如，图10所示的控制器114)可以基于麦克风所接收到的声音、根据区域的大小和区域中的频率的振幅的平均值或中值来调节扬声器所输出的音频信号的音量。在一些实现中，控制器可以基于麦克风处所接收到的声音的
音量来调节扬声器所输出的音频信号的音量。在一些实现中，可以使远程用户装置所输出的声音的振幅与区域中的移动机器人装置所输出的频率的振幅的平均值或中值相等。
25.移动机器人装置经由通信网络接收到的远程用户装置的用户的图像可以在移动机器人装置的显示器(例如，用户接口110，其可以是触摸屏，如图8～10所示)上显示。这可以允许移动机器人装置的区域中的人看到移动机器人装置的操纵者。
26.图2～4示出根据所公开的主题的实现，图1的示例性方法可以包括翻译语音的方法。例如，图2示出在操作22处，远程用户装置和/或移动机器人可以将音频信号中所包括的第一自然语言的语音翻译为包括第二自然语言的第二音频信号。自然语言可以是英语、法语、西班牙语、德语、日语、中文、韩语、印地语、阿拉伯语和俄语等。在操作24处，移动机器人装置的扬声器可以输出第二音频信号。
27.在一些实现中，移动机器人装置和/或远程用户装置可以将音频信号的第一自然语言的语音翻译为要在远程用户装置的显示器上显示的第二自然语言的语音的文本。移动机器人装置或远程用户装置可以将音频信号的第一自然语言的语音翻译为要由远程用户装置的扬声器输出的具有第二自然语言的第二音频信号。
28.在图3所示的示例性方法中，在操作26处，可以使用远程用户装置从数据库系统(例如，图11所示的数据库150)中的数据库记录检索被识别人所说的自然语言。也就是说，移动机器人装置的一个或多个传感器可以捕获该人的图像，并且可以将捕获的图像与图像的数据库(例如，图11所示的数据库150)进行比较以确定人的身份(例如，如在图6中示出并在下文描述)。人的数据库记录可以例如包括姓名、联系信息、头衔以及所说的语言等。在操作28处，远程用户装置可以将音频信号中的语音翻译为被识别人所说的自然语言，并使用翻译后的语音形成第二音频信号。在操作30处，可以在移动机器人装置的扬声器处输出第二音频信号。
29.在图4所示的示例性方法中，在操作32处，远程用户装置可以识别移动机器人装置的麦克风所接收到的声音中的语音的第一自然语言。在操作34处，远程用户装置可以将语音的第一自然语言翻译为第二自然语言。例如，移动机器人装置的区域内的人可能说与操纵者(即，远程用户装置的用户)不同的自然语言。远程用户装置可以将机器人的区域内的人所说的语言翻译为操纵者的语言。在一些实现中，如在操作36处所示，远程用户装置可以显示翻译后的语音的文本。
30.图5示出根据所公开的主题的实现，图1的示例性方法可以包括判断移动机器人何时在距物体、人和/或动物预定距离内并发送通知的方法。在操作38处，使用一个或多个传感器(例如，图8～10所示的传感器102a、102b、102c、102d)，可以判断移动机器人装置何时距物体、人和/或动物预定距离。在操作40处，可以在判断为距物体、人和动物中的至少一个为预定距离时经由移动机器人的通信接口向远程用户装置发送通知。在操作42处，远程用户装置可以输出该通知，该通知可以是音频通知、可视通知和/或增强现实通知。
31.图6示出根据所公开的主题的实现，图1的示例性方法可以包括基于所捕获的图像来识别人的方法。在操作44处，传感器(例如，图8～10所示的传感器102b、102c)可以捕获区域中的人的图像。在操作46处，通信耦接至数据库系统(例如，图11所示的数据库150)的移动机器人装置或远程用户装置可以基于所捕获的图像来识别人。在一些实现中，在操作50处，远程用户装置可以显示从数据库系统检索到的被识别人的识别信息。远程用户装置可
以显示从数据库系统检索到的被识别人的联系信息。
32.图7示出根据所公开的主题的实现，图1的示例性方法可以包括确定移动机器人装置附近的区域中的人的情绪状态的方法。在操作52处，传感器(例如，图8～10所示的传感器102b、102c)可以捕获区域中的人的图像。在操作54处，所捕获的图像可以经由通信网络(例如，图11所示的网络130)发送至远程用户装置(例如，远程用户装置170)。在操作56处，远程用户装置可以基于所捕获的图像来确定人的情绪状态。在操作58处，远程用户装置可以显示所确定的人的情绪状态。情绪状态可能包括诸如悲伤、快乐、愤怒、迷惑和恐惧等的情绪。
33.图8～9示出根据所公开的主题的实施例的示例性移动机器人装置100。移动机器人装置100可以具有多个传感器。传感器102a可以是飞行时间传感器。传感器102b可以是rgb(红、绿、蓝图像传感器)相机和/或图像传感器，并且传感器102c可以是rgb-d(rgb深度相机)。在一些实现中，传感器102b、102c可以是立体视觉传感器、3d相机、图像传感器、热相机或结构化光相机等。传感器102d可以是二维(2d)光检测和测距(lidar)传感器、三维(3d)lidar传感器和/或雷达(无线电检测和测距)传感器或超声传感器等。
34.移动机器人装置100可以包括至少一个麦克风103。在一些实现中，移动机器人装置100可以具有布置成阵列的多个麦克风103。
35.移动机器人装置100可以包括发光二极管(led)、有机发光二极管(oled)、灯和/或可由控制器(例如，图10所示的控制器114)控制以照射用于移动机器人装置的导航的区域部分的任何合适光源。
36.移动机器人100可以包括用以驱动驱动系统108以使移动机器人在诸如房间或建筑物等的区域中移动的马达。驱动系统108可以包括轮，该轮可被调节以使得驱动系统108可以控制移动机器人100的方向。
37.移动机器人装置100可以包括一个或多个扬声器107。在一些实现中，诸如图9所示，扬声器107可被配置在显示器110的第一侧和第二侧(例如，左侧和右侧)。显示器110可以是lcd(液晶显示器)或oled显示器等，以显示诸如从远程用户装置170接收到的图像等的图像。
38.图10示出适于提供所公开的主题的实现的移动机器人100的示例性组件。移动机器人100可以包括总线122，该总线122使移动机器人100的诸如以下的主要组件互连：驱动系统108、可操作地经由合适的网络连接与一个或多个远程装置通信的网络接口116、控制器114、诸如随机存取存储器(ram)、只读存储器(rom)或闪速ram等的存储器118、led光源104、传感器102a、传感器102b、传感器102c、传感器102d、诸如触摸屏等的可包括一个或多个控制器、显示器和相关用户输入装置的用户接口110、诸如硬盘驱动器和闪速存储等的固定存储120、麦克风103、以及用以输出音频通知和/或其它信息的扬声器107。
39.总线122允许控制器114与一个或多个存储器组件之间的数据通信，如前所述，该一个或多个存储器组件可以包括ram、rom和其它存储器。通常，ram是操作系统和应用程序被加载至的主存储器。除了其它代码，rom或闪速存储器组件还可以包含用于控制诸如与外围组件的交互等的基本硬件操作的基本输入输出系统(bios)。驻留在移动机器人100中的应用一般存储在诸如固态驱动器、硬盘驱动器、光驱动器、固态驱动器或其它存储介质等的计算机可读介质(例如，固定存储120)上并经由计算机可读介质访问。
40.网络接口116可以经由有线或无线连接(例如，图11所示的网络130)来提供到远程
服务器(例如，图11所示的服务器140、数据库150、远程平台160和/或远程用户装置170)的直接连接。网络接口116可以使用本领域技术人员容易理解的任何合适技术和协议(包括数字蜂窝电话、wifi、蓝牙(r)和近场等)来提供这种连接。例如，如下文更详细所述，网络接口116可以允许移动机器人100经由一个或多个本地、广域或其它通信网络来与其它计算机进行通信。移动机器人可以经由网络接口来向远程用户装置发送数据，包括来自传感器的数据和/或图像以及由麦克风所捕获的声音产生的音频信号等。
41.许多其它装置或组件(未示出)可以以类似的方式连接。相反，图10所示的所有组件无需都存在以实践本发明。这些组件可以以与所示的方式不同的方式互连。用以实现本发明的代码可以存储在计算机可读存储介质(诸如存储器118、固定存储120中的一个或多个)中，或者存储在远程存储位置上。
42.图11示出根据所公开的主题的实现的示例性网络布置。上述的移动机器人100和/或类似的移动机器人200可以经由网络130而连接到其它装置。网络130可以是本地网络、广域网、因特网或任何其它合适的通信网络，并且可以在包括有线和/或无线网络的任何合适平台上实现。移动机器人100和/或移动机器人200可以彼此通信，以及/或者可以与诸如服务器140、数据库150、远程平台160和/或远程用户装置170等的一个或多个远程装置进行通信。远程装置可以由移动机器人100、200直接访问，或者一个或多个其它装置可以提供中间访问，诸如服务器140提供对数据库150中所存储的资源的访问。移动机器人100、200可以访问远程平台160或由远程平台160提供的服务(诸如云计算布置和服务等)。远程平台160可以包括一个或多个服务器140和/或数据库150。远程用户计算机170可以经由网络130来控制移动机器人100、200，以及/或者接收传感器数据、一个或多个图像和音频信号等。远程用户装置可以向移动机器人100、200发送一个或多个图像、命令和音频信号等。
43.更一般地，目前公开的主题的各种实现可以包括计算机实现处理以及用于实践这些处理的设备，或者以计算机实现处理以及用于实践这些处理的设备的形式体现。实现还可以以具有在诸如固态驱动器、dvd、cd-rom、硬盘驱动器、usb(通用串行总线)驱动器或任何其它机器可读存储介质等的非暂时性和/或有形介质中体现的包括指令的计算机程序代码的计算机程序产品的形式体现，使得当计算机程序代码被加载到计算机中并由计算机执行时，计算机变为用于实践所公开的主题的实现的设备。实现还可以以计算机程序代码(例如，无论是存储在存储介质中、是加载到计算机中和/或由计算机执行、还是通过一些传输介质(诸如通过电线或电缆、通过光纤或经由电磁辐射等)进行传输)的形式体现，使得当计算机程序代码被加载到计算机中并由计算机执行时，计算机变为用于实践所公开的主题的实现的设备。当在通用微处理器上实现时，计算机程序代码段配置微处理器以创建特定逻辑电路。
44.在一些配置中，计算机可读存储介质上所存储的计算机可读指令集可以由通用处理器实现，该通用处理器可以将通用处理器或包含通用处理器的装置变换成被配置为实现或执行指令的专用装置。实现可以包括使用具有诸如通用微处理器和/或专用集成电路(asic)等的处理器的硬件，该处理器在硬件和/或固件中体现了根据所公开的主题的实现的全部或部分技术。处理器可以耦接到诸如ram、rom、闪速存储器、硬盘或能够存储电子信息的任何其它装置等的存储器。存储器可以存储适于由处理器执行以进行根据所公开的主题的实现的技术的指令。
45.为了解释起见，已经参考具体实现描述了前述说明。然而，以上的例示性讨论不旨在是详尽的或将所公开的主题的实现局限于所公开的确切形式。鉴于以上的教导，许多修改和变化都是可以的。选择并描述这些实现以解释所公开的主题的实现及其实际应用的原理，从而使本领域技术人员能够利用这些实现以及具有可适合所设想的特定用途的各种修改的各种实现。