一种辅助用户寻物的方法及装置与流程

本申请涉及人工智能技术领域，尤其涉及一种辅助用户寻物的方法及装置。

背景技术：

实际生活中，盲人存在寻找特定物体的需求。为了辅助盲人寻物，现有技术中提供了一种基于认知和目标辨识的视觉替代方法，该方法通过对盲人当前所在场景进行拍摄得到场景图像，并直接检测出场景图像中出现的所有物体，并仅把该场景图像中所有物体的信息均提供给盲人，由盲人根据所得到的信息自行进行决策后寻找目标物体。这种方法对盲人寻物过程中提供的帮助有限，在盲人寻物过程中无法对盲人进行指导，因此不利于盲人及时有效的寻找所需物体。

技术实现要素：

本申请的实施例提供一种辅助用户寻物的方法及装置，主要解决现有技术中存在的无法有效的帮助盲人寻找所需物体的问题。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请提供一种辅助用户寻物的方法，包括：确定目标物体以及所述目标物体相对于所述用户的初始三维空间位置，所述目标物体为用户待寻找的物体；生成与所述初始三维空间位置对应的初始虚拟空间声；在用户寻物过程中，实时更新所述目标物体相对于所述用户的三维空间位置，并生成与更新后的三维空间位置对应的新的虚拟空间声。

第二方面，本申请提供一种辅助用户寻物的装置，包括：检测单元，用于确定目标物体，所述目标物体为用户待寻找的物体；位置确定单元，用于确定所述检测单元检测到的目标物体相对于所述用户的初始三维空间位置；虚拟空间声生成单元，用于生成与所述位置确定单元确定的所述初始三维空间位置对应的初始虚拟空间声；所述位置确定单元，还用于在用户寻物过程中，实时更新所述目标物体相对于所述用户的三维空间位置；所述虚拟空间声生成单元，还用于生成与所述位置确定单元确定的更新后的三维空间位置对应的新的虚拟空间声。

第三方面，本申请提供一种电子设备，包括：存储器、通信接口和处理器，所述存储器用于存储计算机可执行代码，所述处理器用于执行所述计算机可执行代码控制执行上述辅助用户寻物方法，所述通信接口用于所述电子设备与外部设备的数据传输。

第四方面，本申请提供一种机器人，包括上述电子设备。

第五方面，本申请提供一种计算机存储介质，用于储存计算机软件指令，其包含执行上述辅助用户寻物的方法所设计的程序代码。

第六方面，本申请提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述软件代码经由计算机载入并执行后能够实现上述辅助用户寻物的方法。

本申请提供的辅助用户寻物的方法及装置，首先确定用户待寻找的物体(本申请称之为目标物体)以及目标物体相对于用户的初始三维空间位置；生成与初始三维空间位置对应的初始虚拟空间声；在用户寻物过程中，再实时更新目标物体相对于用户当前位置的三维空间位置，并生成与更新后的三维空间位置对应的新的虚拟空间声。与现有技术中，仅在初始时为用户提供其所在场景中所有物体的信息，并由用户自行决策以及寻物相比，本申请中通过将目标物体相对于用户的三维空间位置转化为虚拟空间声，将目标物体的视觉位置信息转化为声音信息，使得盲人能够根据该虚拟空间声判断目标物体的位置；且在盲人寻物过程中，随着盲人的位置不断变化，目标物体相对于盲人的三维空间位置也不断变化，基于变化的三维空间位置，实时更新虚拟空间声，有助于盲人准确判断目标物体的位置，进而及时有效的帮助盲人寻物。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的辅助用户寻物设备的一种示意图；

图2为本申请实施例提供的一种辅助用户寻物的方法的流程示意图；

图3为本申请实施例提供的另一种辅助用户寻物的方法的流程示意图；

图4为本申请实施例提供的又一种辅助用户寻物的方法的流程示意图；

图5为本申请实施例提供的再一种辅助用户寻物方法的流程示意图；

图6为本申请实施例提供的一种辅助用户寻物设备的结构示意图；

图7为本申请实施例提供的另一种辅助用户寻物设备的结构示意图；

图8为本申请实施例提供的又一种辅助用户寻物设备的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

用户，尤其是盲人用户可利用电子设备辅助寻物。为了便于描述，本申请实施例中将该用于辅助用户寻物的电子设备称为辅助用户寻物设备。在所述辅助用户寻物设备的一种实现方式中，如图1所示，该辅助用户寻物的设备可以设置为智能头盔中，则用户可以佩戴该头盔，以实现本申请实施例所述的方法。该辅助用户寻物的设备还可以集成设置在移动导盲机器人中，该移动导盲机器人能够执行本申请实施例所述的方法以辅助盲人用户寻物。该辅助用户寻物设备还可以设置为其他可穿戴设备，本申请实施例对此不作限定。

上述辅助用户寻物设备可通过执行本申请实施例提供的方法以实现辅助用户寻物。本申请实施例提供一种辅助用户寻物的方法，如图2所示，该方法包括：

步骤101、确定目标物体。

其中，所述目标物体为用户待寻找的物体。

可选的，在本步骤的一种实现方式中，用户可向辅助用户寻物设备输入与待获寻物体相关的提示信息，该提示信息可以为待获寻物体的名称或者用户对待获寻物体的特征的描述；辅助用户寻物设备可接收用户输入的提示信息，并对提示信息进行关键词提取等分析后确定用户想要寻找的物体；然后辅助用户寻物设备再在预存用户所在场景对应的全景图像中进行目标检测以确定所述目标物体。

其中，用户输入提示信息的方式可以为语音输入；用户输入的方式还可以为按键输入，在这种输入方式中，可以预定义一些按键组合对应的物体类别，用户通过按键来选择想要找的目标物体。所述全景图像可以通过图像采集设备对用户所处场景进行拍摄后得到，并由图像采集设备发送给辅助用户寻物设备。在本申请实施例中，该图像采集设备可以使用全景相机，全景相机不仅可以检测到用户视场内的物体，如用户前方的物体，还可以检测到用户视场以外的物体，如用户背后的物体。所述目标检测(又称为物体检测)技术可以检测出全景图像中包含的给定类别物体的二维位置，包括二维坐标和物体的宽度、高度。

步骤102、确定目标物体相对于用户的初始三维空间位置。

如上所述，在进行目标检测的同时，还可以得到目标物体的二维位置信息，如果想要确定目标物体的三维空间位置，则还需要结合深度传感器；深度传感器可以获得所探测场景的深度信息，即场景中的各个物体和传感器之间的距离。示例性的，该深度传感器可以是双目等立体视觉传感器，也可以是激光扫描雷达。深度传感器的具体实现可参考现有技术，此处不再赘述。

步骤103、生成与初始三维空间位置对应的初始虚拟空间声。

其中，虚拟空间声可以根据人耳对声音信号的感知特点,使用信号处理方法对声源到两耳之间的传递函数进行模拟,以重建复杂三维虚拟空间声场。虚拟空间声技术的具体实现可参考现有技术，本申请实施例不再赘述。

用户可利用本步骤中生成的虚拟空间声获得目标物体所在位置的提示。

步骤104、在用户寻物过程中，实时更新目标物体相对于用户的三维空间位置。

步骤105、生成与更新后的三维空间位置对应的新的虚拟空间声。

实际应用中，用户在根据初始虚拟空间声寻物的过程中，用户的位置也在不断的变化。因此，本申请实施例中，辅助用户寻物设备还要不断的跟踪用户的当前位置并不断的生成新的虚拟空间声以不断的给出用户最新的提示。

本申请提供的辅助用户寻物的方法，首先确定用户待寻找的物体(本申请称之为目标物体)以及目标物体相对于用户的初始三维空间位置；生成与初始三维空间位置对应的初始虚拟空间声；在用户寻物过程中，再实时更新目标物体相对于用户当前位置的三维空间位置，并生成与更新后的三维空间位置对应的新的虚拟空间声。与现有技术中，仅在初始时为用户提供其所在场景中所有物体的信息，并由用户自行决策以及寻物相比，本申请中通过将目标物体相对于用户的三维空间位置转化为虚拟空间声，将目标物体的视觉位置信息转化为声音信息，使得盲人能够根据该虚拟空间声判断目标物体的位置；且在盲人寻物过程中，随着盲人的位置不断变化，目标物体相对于盲人的三维空间位置也不断变化，基于变化的三维空间位置，实时更新虚拟空间声，有助于盲人准确判断目标物体的位置，进而及时有效的帮助盲人寻物。

实际应用中，在根据步骤101确定目标物体时，如果根据用户输入的提示信息会检测到多个候选目标物体，则向用户发出提示信息，用于提示用户从所检测到的多个候选目标物体中确定最终的目标物体。其中，该提示信息可以为提示用户输入更多的关键词。或者也可以为将检测到的每个候选目标物体的信息提供给用户以便于用户再次输入提示信息以确定最终的目标物体。

示例性的，用户想要寻找的目标物体为杯子，而实际检测到咖啡杯、红色马克杯等多个杯子，此时发出提醒，提示用户再次输入更为详细的提示信息，如颜色，功能等，然后根据用户的响确定最终的目标物体，如红色马克杯。

可选的，为了为用户提供良好的体验，本申请实施例中在生成虚拟空间声时，还可以根据目标物体的种类确定虚拟空间声的声音类别以使得所述虚拟空间声的声音类别与所述目标物体的种类对应。示例性的，当用户待寻找的物体为水杯时，可以设定虚拟空间声为流水的声音。当用户待寻找的物体为汽车时，可以设定虚拟空间声为鸣笛声；当用户待寻找的物体是手机时，可以设定虚拟空间声为电话铃声

或者，所述虚拟空间声也可以为目标物体的名称。例如：当用户待寻找的物体为汽车时，可以设定虚拟空间声为不断重复的“汽车”发音。

实际应用中，为了保证在用户寻物过程中目标物体的唯一性，本申请实施例中，在确定了目标物体后采用跟踪技术锁定目标物体。因此，在所述步骤101“确定目标物体”之后，如图3所示，所述方法还包括：

201、实时跟踪已确定的所述目标物体和所述用户。

其中，跟踪目标物体的具体实现可参考现有技术中的目标跟踪技术，如基于计算机视觉技术的跟踪技术等，此处不再赘述。

一种可用的检测目标物体的方法是在用户寻物过程中实时连续的进行目标检测，以不断确定目标物体。但这种方式可能会带来如下不足：在某次检测过程中，检测到的目标物体和初始检测到的目标物体不一样，或者又检测到新的目标物体。本申请中，在确定目标物体后通过跟踪目标物体，能够达到“锁定”目标物体的作用，保证用户寻物过程中目标物体的唯一性。

相应的，步骤104中的“在用户取物过程中，实时更新所述目标物体相对于所述用户的三维空间位置”具体包括：

202、在用户取物过程中，根据对所述目标物体和用户的跟踪结果，分别确定所述目标物体和所述用户的当前位置。

203、根据所述目标物体和所述用户的当前位置，确定所述目标物体相对于所述用户的更新后的三维空间位置。

实际应用中，虚拟空间声一般反映的是位置关系，无法反映距离关系。例如：当目标物体位于用户的正前方时，该虚拟空间声只能提示用户该目标物体位于前方，但无法体现目标物体与用户的距离。因此，为了更好的提示用户其与目标物体的距离，如图4所示，所述步骤104“在用户寻物过程中，实时更新目标物体相对于用户当前位置的三维空间位置”，之后，所述方法还包括：

步骤301、检测所述更新后的三维空间位置与更新前的三维空间位置相比是否靠近所述用户。

如果是，则表明目标物体更加靠近用户，则相应的在执行步骤105“生成与更新后的三维空间位置对应的新的虚拟空间声”时，具体可以为执行下述步骤302。

如果否，则表明目标物体越来越远离用户，则可以减小虚拟空间声的频率。

步骤302、生成与更新后的三维空间位置对应的新的虚拟空间声，且所述新的虚拟空间声的频率大于所述更新前的三维空间位置对应的虚拟空间声。

可选的，除了通过提高虚拟空间声的频率来提示用户其越来越靠近目标物体，也可以通过调大虚拟空间声的音量等方式提示用户其越来越靠近目标物体；通过调小虚拟空间声的音量提示用户其越来越远离目标物体。

实际应用中，当用户与目标物体的距离已经很近时，用户的移动幅度也比较小，目标物体相对于用户的位置变化也很小，相应的生成的虚拟空间声的区别可能也很小。在这种情况下，仍然以虚拟空间声来指导用户行进其意义实际上也比较小。因此，为了继续给用户提供及时有效的提示，在步骤104“生成与更新后的三维空间位置对应的新的虚拟空间声”之后，如图5所示，所述方法还包括：

步骤401、当所述目标物体与所述用户的距离小于预设阈值时，语音提示用户以指导用户逐渐靠近所述目标物体。

其中，所述预设阈值可以为根据实际需要设定好的。

示例性的，当目标物体与用户的距离很近，例如位于用户的左侧且伸手可触及到的位置时，可以语音提示用户位于用户的左侧即可。这种提示方式无需经过复杂的生成虚拟空间声的过程，其简单有效。

考虑到图像检测设备的检测精度有限，当用户佩戴前文所述的头盔行走时或者前文所述移动机器人在行走时，目标物体可能会移出图像检测设备的视场范围导致跟踪失败；或者，还有的可能情况是，目标物体被遮挡，这些都可能会对寻物造成干扰或者造成寻物失败。在这种情况下，要及时给用户发出相应的提醒以通知用户调整其所在的位置等，同时系统自动重新从步骤101开始执行该方法，如果在预设时间内或经过多次调整后，仍然无法检测到目标物体，则可以提示用户是否结束此次寻物。

本申请实施例提供的上述方法可辅助任何用户寻物，例如：辅助盲人用户寻物，或者普通用户佩戴能够实现上述方法的头盔进行寻物游戏等。

可以理解的是，上述辅助用户寻物设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对辅助用户寻物设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的辅助用户寻物设备的一种可能的结构示意图，辅助用户寻物设备包括：检测单元501、位置确定单元502以及虚拟空间声生成单元503。检测单元501用于支持辅助用户寻物设备执行图2中的过程101；位置确定单元502用于支持辅助用户寻物设备执行步骤102、步骤104、步骤202、步骤203、步骤301、步骤302和步骤401；虚拟空间声生成单元503用于支持辅助用户寻物设备执行步骤103、步骤105和步骤303。

可选的，如图7所示，上述实施例中所涉及的辅助用户寻物设备还包括跟踪单元601，用于支持辅助用户寻物设备执行步骤201。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在采用集成的单元的情况下，图8示出了上述实施例中所涉及的的一种可能的结构示意图。辅助用户寻物设备包括：处理模块701和通信模块702。处理模块701用于对辅助用户寻物设备的动作进行控制管理，例如，处理模块701用于支持辅助用户寻物设备执行图2中的过程101至105，图3过程201至204，图4中的过程301至303，图5中的过程401，和/或用于本文所描述的技术的其它过程。通信模块702用于支持辅助用户寻物设备与其他网络实体的通信，例如与图1中示出的功能模块或网络实体之间的通信。辅助用户寻物设备还可以包括存储模块703，用于存储辅助用户寻物设备的程序代码和数据。

其中，处理模块701可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，通用处理器，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块702可以是收发器、收发电路或通信接口等。存储模块703可以是存储器。

当处理模块701为处理器，通信模块702为通信接口，存储模块703为存储器时，本申请实施例所涉及的辅助用户寻物设备可以为图9所示的电子设备。

参阅图9所示，该电子设备包括：处理器801、通信接口802、存储器803以及总线804。其中，处理器801、通信接口802以及存储器803通过总线804相互连接；总线804可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(randomaccessmemory，ram)、闪存、只读存储器(readonlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablerom，eprom)、电可擦可编程只读存储器(electricallyeprom，eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。