交互装置、交互方法、计算机可读存储介质以及计算机程序产品与流程

文档序号:26138791发布日期:2021-08-03 14:22阅读:115来源:国知局
交互装置、交互方法、计算机可读存储介质以及计算机程序产品与流程

本公开涉及交互领域,更具体地涉及交互装置、交互方法、计算机可读存储介质以及计算机程序产品。



背景技术:

在车辆销售商店、车辆展会等场景中,经常对真实车辆进行现场展示,以进行车辆的介绍、宣传、试驾等,帮助对车辆感兴趣的用户了解车辆。在一些情况下,用户不想或不能实际地触摸、进入或操作真实车辆。例如,在车辆展会等用户较多的情况下,无法使想要对车辆进行试驾的每个用户都能够实际地试驾真实车辆。



技术实现要素:

在本公开的发明人知晓的一种车辆展示方法中,通过在触摸屏等显示设备上显示与真实车辆对应的虚拟车辆来使用户了解车辆。例如,用户可以通过点击触摸屏来旋转虚拟车辆、改变虚拟车辆的外观等。在这样的车辆展示方法中,用户仅能够利用视觉来了解与真实车辆对应的虚拟车辆的外观、参数等,无法很好地与虚拟车辆进行交互,因此无法获得身临其境的试车体验。

本公开是鉴于以上情形而做出的,目的是提供一种使用户能够与显示设备中所显示的虚拟车辆进行交互的交互装置、交互方法、计算机可读存储介质以及计算机程序产品,增加车辆展示的趣味性,给用户带来更好的虚拟试车体验,方便用户更好地了解车辆。

根据本公开的一个方面,提供了一种交互装置,使用户能够与显示设备中所显示的虚拟车辆进行交互,所述交互装置包括:存储器,其上存储有指令;以及处理器,被配置为执行存储在所述存储器上的指令,以执行以下处理:获取所述用户的实时图像以及所述用户的实时动作;根据所述实时图像,识别所述用户的用户特征;以及生成与所述用户特征匹配的所述用户的虚拟形象,并使所述显示设备在显示所述虚拟车辆的同时显示所述虚拟形象,其中,所述虚拟形象能够根据所述用户的实时动作而做出相应的动作,并且所述虚拟车辆能够响应于所述用户的实时动作而进行操作。

根据本公开的另一个方面,提供了一种交互方法,使用户能够与显示设备中所显示的虚拟车辆进行交互,所述交互方法包括:获取所述用户的实时图像以及所述用户的实时动作;根据所述实时图像,识别所述用户的用户特征;以及生成与所述用户特征匹配的所述用户的虚拟形象,并使所述显示设备在显示所述虚拟车辆的同时显示所述虚拟形象,其中,所述虚拟形象能够根据所述用户的实时动作而做出相应的动作,并且所述虚拟车辆能够响应于所述用户的实时动作而进行操作。

根据本公开的另一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,使所述处理器执行根据本公开的交互方法。

根据本公开的另一个方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器运行时,使所述处理器执行根据本公开的交互方法。

附图说明

构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。

参照附图,根据下面的详细描述,可以更清楚地理解本公开,其中:

图1是根据本公开的实施例的交互装置的示例性配置框图;

图2是根据本公开的实施例的交互装置的应用场景的示例性示意图;

图3是根据本公开的实施例的交互装置执行的关于虚拟形象的处理的示例性流程图;

图4是根据本公开的实施例的交互装置执行的关于虚拟物品的处理的示例性流程图;

图5是根据本公开的实施例的交互装置执行的关于面部识别的处理的示例性流程图;

图6是能够实现根据本公开的实施例的计算设备的示例性配置。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

(交互装置)

首先将参照图1描述根据本公开的实施例的交互装置1000。

图1是根据本公开的实施例的交互装置1000的示例性配置框图。如图1所示,在一些实施例中,交互装置1000可以包括处理器1100。交互装置1000的处理器1100提供交互装置1000的各种功能。在一些实施例中,交互装置1000的处理器1100可以被配置为执行图3中的处理3000、图4中的处理4000以及图5中的处理5000。这些处理的细节将在后文中参照图3至图5详细描述。

处理器1100可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(ic)、专用集成电路(asic)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(fpga)的可编程硬件设备、和/或包括多个处理器的系统。

在一些实施例中,交互装置1000还可以包括存储器(未图示)。交互装置1000的存储器可以存储由处理器1100产生的信息以及用于处理器1100操作的程序和数据。存储器可以是易失性存储器和/或非易失性存储器。例如,存储器可以包括但不限于随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、只读存储器(rom)以及闪存存储器。

另外,交互装置1000可以以芯片级来实现,或者也可以通过包括其他外部部件而以设备级来实现。

本公开的交互装置1000用于使用户能够与显示设备中所显示的虚拟车辆进行交互。如图1所示,在一些实施例中,交互装置1000的处理器1100可以包括获取单元1110、识别单元1120和生成单元1130。交互装置1000的各个单元实现的具体功能将在后文中参照图2至图5详细描述。

应当理解,图1所示的交互装置1000的各个单元仅是根据其所实现的具体功能所划分的逻辑模块,而不是用于限制具体的实现方式。在实际实现时,上述各个模块可被实现为独立的物理实体,或者也可由单个实体(例如,处理器(cpu或dsp等)、集成电路等)来实现。

接下来,参照图2至图5详细描述交互装置1000执行的处理。其中,图2是根据本公开的实施例的交互装置的应用场景2000的示例性示意图,图3是根据本公开的实施例的交互装置执行的关于虚拟形象的处理3000的示例性流程图,图4是根据本公开的实施例的交互装置执行的关于虚拟物品的处理4000的示例性流程图,图5是根据本公开的实施例的交互装置执行的关于面部识别的处理5000的示例性流程图。

在详细描述处理3000、4000和5000之前,为了更好地理解本公开,首先将简单描述如图2所示的交互装置的应用场景2000。

应用场景2000例如是车辆销售商店、车辆展会等展示有车辆的场景。在应用场景2000中,出于销售、宣传等目的,展示有真实车辆2600。停留在真实车辆2600附近的用户2200包括用户2210和用户2220。用户2210例如是对真实车辆2600感兴趣的成年人,用户2220例如是用户2210的幼年子女。在下文中,在不区分用户2210和用户2220时,将二者统称为用户2200。应当理解,虽然在图2中示出了的一个车辆2600和两个用户2200,但车辆2600和用户2200的数量不限于此。

为了使用户2200在不能实际地触摸、进入或操作真实车辆2600时能够更好地了解真实车辆2600,同时增加真实车辆2600的展示的趣味性,给用户2200带来更好的虚拟试车体验,在应用场景2000中设置了交互装置2100。交互装置2100例如与参照图1描述的交互装置1000对应,可以同样包括未图示的处理器和存储器。与图1的交互装置1000的处理器1100同样地,交互装置2100的处理器也可以包括获取单元、识别单元和生成单元。

在一些实施例中,如图2所示,交互装置2100包括显示设备2110、三维相机2120以及摄像头2130。显示设备2110例如可以是显示器、大型电子屏幕、投影仪、可穿戴显示设备、虚拟现实显示设备(诸如双目全方位显示器、洞穴式立体显示设备)等,但不限于此。显示设备2110只要能够显示如后所述的虚拟车辆2400、虚拟形象2300、虚拟物品2500以及与虚拟车辆2400有关的内容,则可以是任意显示设备。三维相机2120可以布置在显示设备2110的周围,用于获取其成像范围内的用户2200的三维的实时图像和实时动作。虽然在图2中示出了一个三维相机2120,但三维相机2120也可以是多个(例如,在显示设备2110的左边和右边各布置两个三维相机)。另外,一个或多个三维相机2120也可以布置在应用场景2000中的其他位置。三维相机2120例如可以是双目相机、利用红外光的三维相机等,但不限于此。三维相机2120只要能够获取用户的实时图像和实时动作,则可以是任意三维相机。摄像头2130内置于显示设备2110,用于获取用户2200的面部图像。摄像头2130通常具有高的分辨率,以方便用户的面部图像的后续处理(例如,如后所述的面部识别)。摄像头2130不限于此,可以是能够获取用户的面部图像的任意摄像头。

应当理解,虽然在图2中图示了交互装置2100包括显示设备2110、三维相机2120和摄像头2130的情况,但交互装置2100可以包括它们中的一个或多个,或者不包括它们中的任何一个。即使在交互装置2100不包括显示设备2110、三维相机2120或摄像头2130中的一个或多个的情况下,交互装置2100也能够与显示设备2110、三维相机2120和摄像头2130通信地连接。

在显示设备2100上,显示有能够与用户2200进行交互的虚拟车辆2400、虚拟形象2300、虚拟物品2500以及与虚拟车辆2400有关的未图示的其他内容。虚拟车辆2400是与真实车辆2600对应的三维仿真车辆,可以具有与真实车辆2600相同的型号、外观或功能等。虚拟形象2300包括分别对应于用户2210和2220的虚拟形象2310和2320。在下文中,在不区分虚拟形象2310和2320时,将二者统称为虚拟形象2300。虚拟物品2500是与用户2200中的一个或多个对应的虚拟物品。虚拟车辆2400、虚拟形象2300、虚拟物品2500的细节稍后将参照图3至图5详细描述。

(虚拟形象)

接下来,将参照图3描述关于能够与用户和虚拟车辆进行交互的虚拟形象的处理3000。

首先,在步骤s3100中,交互装置获取用户的实时图像以及用户的实时动作。用户的实时图像例如是用户的全身图像。用户的实时动作例如是点击、抓握、牵引等手势,或者行走、坐下、站起等肢体动作。在该步骤s3100中获取的用户的实时图像以及用户的实时动作能够用于后续步骤中的虚拟形象和/或虚拟物品的生成,使得用户能够与虚拟车辆和虚拟形象和/或虚拟物品进行交互。

在一些实施例中,交互装置1000的处理器1100的获取单元1110(或交互装置2100的获取单元)获取用户的实时图像和实时动作。具体地,例如,在图2的应用场景2000中,交互装置2100获取停留在其附近的用户2200的全身图像和实时动作。

用户的实时动作能够通过使成像设备和/或辅助感测设备动态地捕获用户的动作而获得。例如,在图2的应用场景2000中,交互装置2100通过使三维相机2120动态地捕获用户2200的动作来获得用户2200的实时动作。另外,虽然在图2中未图示,但交互装置2100还能够通过使辅助感测设备(例如穿戴在用户2200身上的动作传感器)动态地捕获用户2200的动作来获得用户2200的实时动作。此外,交互装置2100还可以从三维相机2120或其他成像设备获取用户2200的全身图像。

接下来,在步骤s3200中,交互装置根据用户的实时图像,识别用户的用户特征。用户特征例如包括用户的年龄、性别、身高、体型和外貌中的至少一个。根据用户的实时图像来识别用户特征的方法只要能够识别出这样的用户特征,则可以是任意特征识别方法。在该步骤s3200中识别出的用户特征能够用于后续步骤中的虚拟形象和/或虚拟物品的生成,使得用户能够与虚拟车辆和虚拟形象和/或虚拟物品进行交互。

在一些实施例中,交互装置1000的处理器1100的识别单元1120(或交互装置2100的识别单元)根据在步骤s3100中获取的用户的实时图像来识别用户特征。在步骤s3100中获取的实时图像中存在多个用户的情况下,交互装置1000的识别单元1120(或交互装置2100的识别单元)能够分别识别每个用户的特征。

具体地,例如,在图2的应用场景2000中,根据从三维相机2120获取的用户2210和2220的全身图像,交互装置2100识别出用户2210是中年男子,身高中等,体型偏胖,肤色较黑;还识别出用户2220是年幼女孩,身高较矮,体型偏瘦,肤色较白。应当理解,用户2210和用户2220的这些特征仅是示例性的,而非限制性的,并且可以想到用户特征的其他示例。

接下来,在步骤s3300中,交互装置生成与用户特征匹配的用户的虚拟形象,并使显示设备在显示虚拟车辆的同时显示虚拟形象。虚拟车辆可以是预先生成并显示在显示设备上的与真实车辆对应的三维仿真车辆,可以具有与真实车辆相同的型号、外观或功能等。虚拟形象具有与用户特征(年龄、性别、身高、体型、外貌等)中的至少一个相对应的特征。例如,当用户特征中包括性别这样的特征时,虚拟形象可以显示为与用户的性别相同的虚拟形象;当用户特征中包括身高、体型这样的特征时,虚拟形象的身高、体型可以与用户的身高、体型相对应;当用户特征中包括外貌这样的特征时,虚拟形象的外貌可以与用户的外貌相似。虚拟形象不限于虚拟人物,也可以是虚拟动物、虚拟植物等虚拟形象。在一些实施例中,虚拟形象可以是根据用户特征来实时生成的。在另一些实施例中,也可以在交互装置中预先生成并存储多个虚拟形象,根据用户特征来从多个虚拟形象中选择与用户特征匹配的虚拟形象以进行显示。通过在该步骤s3300中生成与用户特征匹配的用户的虚拟形象,并使显示设备在显示虚拟车辆的同时显示虚拟形象,能够使用户与虚拟车辆更好地互动,增加车辆展示的趣味性。

在一些实施例中,交互装置1000的处理器1100的生成单元1130(或交互装置2100的生成单元)根据在步骤s3200中识别的用户特征来生成与用户特征匹配的虚拟形象,并使交互装置1000(或交互装置2100)包括的或与交互装置1000(或交互装置2100)连接的显示设备在显示虚拟车辆的同时显示虚拟形象。

如上所述,在步骤s3100中获取的实时图像中存在多个用户的情况下,交互装置1000的识别单元1120(或交互装置2100的识别单元)能够在步骤s3200中分别识别每个用户的特征。因此,在实时图像中存在多个用户的情况下,交互装置1000的生成单元1130(或交互装置2100的生成单元)能够根据多个用户的用户特征来生成与多个用户的用户特征分别匹配的多个虚拟形象,并使显示设备在显示虚拟车辆的同时显示多个虚拟形象。

具体地,例如,在图2的应用场景2000中,交互装置2100根据如上所述识别出的用户2210和用户2220的特征,分别生成与用户2210对应的虚拟形象2310以及与用户2220对应的虚拟形象2320,并使显示设备2110在显示虚拟车辆2400的同时显示虚拟形象2310和2320。虚拟形象2310具有与用户2210的一些特征相对应的特征,例如可以是中年男子、身高中等、体型偏胖、肤色较黑的虚拟人物。虚拟形象2320具有与用户2220的一些特征相对应的特征,例如可以是年幼女孩、身高较矮、体型偏瘦、肤色较白的虚拟人物。

在一些实施例中,虚拟形象能够根据用户的实时动作而做出相应的动作。例如,在用户做出某个动作后,虚拟形象也能够做出相同或相似的动作。由此,用户能够与具有其特征的虚拟形象进行交互,增加趣味性。

具体地,例如,在用户2200行走时,显示设备2110上显示的虚拟形象2300也相应地在虚拟车辆2400的外部行走。例如,在用户2200面前设置有座位(未图示)的情况下,当用户2200坐下时,虚拟形象2300也相应地坐在虚拟车辆2400的内部的座位(例如主驾驶座位)上。例如,在用户2200面前设置有方向盘或操纵杆(未图示)的情况下,当用户2200握住方向盘或操纵杆时,虚拟形象2300也相应地握住虚拟车辆2400的方向盘或操纵杆。

在一些实施例中,虚拟车辆能够响应于用户的实时动作而进行操作。例如,虚拟车辆能够响应于用户针对车辆的某个功能、某个部件或车辆整体的实时动作而启用该功能、操作该部件或操作车辆整体。由此,用户能够与虚拟车辆进行交互,从而更好地了解与虚拟车辆对应的真实车辆,获得更好的试车体验,增加趣味性。

具体地,例如,在图2的应用场景2000中,可以使用全息投影设备(未图示)在用户2200面前生成全息投影菜单,用户2200例如做出点击菜单中的打开车窗的选项的动作,此时,虚拟车辆2400能够响应于用户的该动作而打开车窗。此外,在用户选择对车辆整体进行操作(例如通过点击全息投影菜单中的相应选项来进行选择)的情况下,在用户例如做出手掌旋转的动作时,虚拟车辆2400能够响应于用户的该动作而旋转车身,使得用户能够全方位地观看虚拟车辆2400的外观。此时,如果用户例如还通过点击全息投影菜单中的相应选项来选择改变虚拟车辆2400的外观(例如颜色),则虚拟车辆2400能够响应于用户的该动作而改变外观。

在一些实施例中,虚拟车辆还能够响应于虚拟形象的实时动作而进行操作。例如,虚拟车辆能够响应于虚拟形象针对车辆的某个功能、某个部件或车辆整体的实时动作而启用该功能、操作该部件或操作车辆整体。由此,使得用户能够通过虚拟形象来与虚拟车辆进行交互,通过虚拟形象与虚拟车辆的交互来模拟用户实际操作车辆的体验,从而进一步使用户获得更好的试车体验并增加趣味性。

具体地,例如,在图2的应用场景2000中,当用户2200做出向前走的动作使得虚拟形象2300也相应地向前走到虚拟车辆2400的车门前面时,用户2200做出向前抓握并向后牵引的动作,虚拟形象2300也相应地做出抓握车门并打开车门的动作。此时,虚拟车辆2400能够响应于虚拟形象2300的打开车门的动作而打开车门。然后,例如,用户2200坐在面前的座位(未图示)上并做出向前点击的动作,虚拟形象2300也相应地坐下并做出向前点击虚拟车辆2400的音乐播放按钮(未图示)的动作。此时,虚拟车辆2400能够响应于虚拟形象2300的点击音乐播放按钮的动作而播放音乐。

在一些实施例中,交互装置可以根据用户的实时动作来改变显示设备上显示的虚拟形象的特征和/或虚拟形象的位置。例如,交互装置1000(或2100)能够根据用户的实时动作来改变虚拟形象的特征中的一个或多个特征,并能够根据用户的实时动作来将虚拟形象显示在虚拟车辆的内部或外部或者虚拟车辆的内部的某个座位上。由此,使得用户能够进一步与虚拟形象和虚拟车辆进行交互,并使得虚拟形象的显示符合用户喜好。

具体地,例如,在图2的应用场景2000中,可以在最初显示虚拟形象2300时将虚拟形象2300显示成可编辑的状态。用户2200例如通过做出手掌旋转的动作来改变虚拟形象2300的外貌(例如肤色)。可替代地,可以向用户2200动态地显示具有不同特征的多个虚拟形象,用户2200例如在当前显示的虚拟形象是自己喜欢的虚拟形象时通过点头的动作来使交互装置2100将当前显示的虚拟形象确定为虚拟形象2300。此外,例如,可以在最初显示虚拟形象2300时将虚拟形象2300显示在虚拟车辆2400的外部,在用户2200因为不满意虚拟形象2300的当前位置而摇头时,可以根据用户2200的摇头的动作来将虚拟形象2300例如显示在虚拟车辆2400的内部的主驾驶座位上。此外,例如,用户也可以通过如前所述的点击全息投影菜单中的相应选项的动作来改变虚拟形象2300的特征和/或虚拟形象2300的位置。

在一些实施例中,在实时图像中存在多个用户的情况下,交互装置根据多个用户的用户特征,确定多个虚拟形象相对于虚拟车辆的位置。多个虚拟形象相对于虚拟车辆的位置是指多个虚拟形象同时位于虚拟车辆的外部、同时位于虚拟车辆内部并坐在不同座位上、多个虚拟形象中的一个或多个虚拟形象位于虚拟车辆的外部而其他虚拟形象位于虚拟车辆的内部等情况。例如,交互装置1000(或2100)可以使显示设备将多个虚拟形象显示在虚拟车辆内部的不同座位上。由此,能够使用户与虚拟车辆和虚拟形象的交互更符合实际,为用户带来更好的试车体验。

具体地,例如,在图2的应用场景2000中,交互装置2100根据用户2210和2220各自的年龄特征(成年人和儿童),使与用户2210对应的虚拟形象2310显示在虚拟车辆2400的内部的主驾驶座位上,并使与用户2220对应的虚拟形象2320显示在虚拟车辆2400的外部或者虚拟车辆2400的内部的副驾驶座位或后排座位上。

在一些实施例中,在实时图像中具有多个用户并且交互装置生成了与多个用户对应的虚拟形象的情况下,多个虚拟形象之间也可以根据用户的实时动作而进行交互,或者多个虚拟形象与虚拟车辆之间也可以根据用户的实时动作而进行交互。例如,多个虚拟形象可以根据一个用户的实时动作而同时做出相应的动作,或者虚拟车辆可以根据多个虚拟形象的同时或相继动作、或者相互配合的动作等而进行操作。由此,能够进一步增加趣味性。

具体地,例如,在图2的应用场景2000中,在与作为儿童的用户2220对应的虚拟形象2320显示在虚拟车辆2400的外部,而与作为成年人的用户2210对应的虚拟形象2310显示在虚拟车辆2400的主驾驶座位上时,用户2210例如可以做出向右推出的动作,此时,虚拟形象2310也根据用户2210的该动作而做出向右推开车门的动作,虚拟车辆2400响应于虚拟形象2310的该动作而打开车门。然后,虚拟形象2320根据虚拟车辆2310打开车门的操作而进入虚拟车辆2400的内部并且例如坐在副驾驶座位上。这样,即使用户2220并未做出任何动作,与用户2220对应的虚拟形象2320也能够根据另一个用户2210的动作以及虚拟车辆2400的操作来做出相应的动作。此外,例如,在虚拟形象2310和2320分别坐在虚拟车辆2400的主驾驶座位和副驾驶座位上时,用户2210和2220同时做出向前点击的动作,此时,虚拟形象2310和2320也同时做出向前点击前进按钮的动作,虚拟车辆2400响应于虚拟形象2310和2320同时做出的该动作而开始行驶。

(虚拟物品)

接下来,将参照图4描述关于能够与用户和虚拟车辆及虚拟形象进行交互的虚拟物品的处理4000。该处理4000中所提及的用户特征和虚拟形象的细节可以参照上面描述的图3中的步骤s3100、s3200和s3300的相关内容,在此不再赘述。

首先,在步骤s4100中,交互装置根据用户特征,生成与用户对应的虚拟物品。虚拟物品可以是符合用户特征的任意物品。例如,在用户特征指示用户是老年人时,虚拟物品例如可以是用于老年人的拐杖、上车踏板等物品;在用户特征指示用户是中年女性时,虚拟物品例如可以是帽子、手提包等物品;在用户特征指示用户是中年男性时,虚拟物品例如可以是手表、太阳镜等物品;在用户特征指示用户是儿童时,虚拟物品例如可以是玩具、玩偶等物品;在用户特征指示用户是婴儿时,虚拟物品例如可以是婴儿座椅、奶嘴等物品。与虚拟形象的生成类似的,虚拟物品可以是根据用户特征来实时生成的,也可以在交互装置中预先生成并存储多个虚拟物品,根据用户特征来从多个虚拟物品中选择与用户对应的虚拟物品以进行显示。

接下来,在步骤s4200中,交互装置使显示设备将虚拟物品与对应于虚拟物品的用户的虚拟形象相关联地显示。将虚拟物品与对应于虚拟物品的用户的虚拟形象相关联地显示例如可以是将虚拟物品显示在虚拟形象的手中、身上、旁边等。例如,可以将玩具、玩偶、手提包、拐杖等虚拟物品显示在虚拟形象的手中,将手表、帽子、太阳镜等虚拟物品显示在虚拟形象的身上,将婴儿座椅、上车踏板等虚拟物品显示在虚拟形象的旁边。

通过在步骤s4100中生成与用户对应的虚拟物品并在步骤s4200中使显示设备将虚拟物品与虚拟形象相关联地显示,使得显示场景能够根据用户特征而改变,使得用户能够与虚拟物品和虚拟形象进行交互,进一步增加趣味性。

在一些实施例中,例如交互装置1000的生成单元1130(或交互装置2100的生成单元)根据用户特征来生成与用户对应的虚拟物品,并使显示设备将虚拟物品例如显示在与该虚拟物品对应的用户的虚拟形象的手中、身上、旁边等。在交互装置1000(或交互装置2100)获取的实时图像中存在多个用户的情况下,可以根据多个用户的用户特征,选择多个用户中的至少一个用户,生成与选择的用户对应的虚拟物品,并使显示设备将虚拟物品与对应于该虚拟物品的用户的虚拟形象相关联地显示。这使得能够针对性地为用户生成虚拟物品,使得不同的用户能够分别与不同的交互对象进行交互。例如,在多个用户中的一些用户与虚拟车辆进行交互时,其他用户能够与为其生成的虚拟物品进行交互,从而使得每个用户的交互需求都能得到满足,进一步增加趣味性。

具体地,例如,在图2的应用场景2000中,交互装置2100根据用户2210和2220各自的年龄特征(成年人和儿童),选择为用户2220生成其可能喜欢的虚拟物品2500(例如,在图2中是气球),并使显示设备2110将虚拟物品2500显示在虚拟形象2320的手中,即,显示为由虚拟形象2320抓握。这样,在作为成年人的用户2210正在和与其对应的虚拟形象2310或虚拟车辆2400进行交互时,作为儿童的用户2220的注意力被吸引到虚拟物品2500上,使得用户2220能够与虚拟物品2500进行交互,而不会感到无聊。

在一些实施例中,交互装置根据对应于虚拟物品的用户的实时动作,改变虚拟物品的种类、外观、位置、旋转角度中的至少一个。例如,能够根据用户的移动的动作来使虚拟物品随着用户的移动而移动,根据用户的点击动作(例如点击全息投影菜单)来改变虚拟物品的种类和外观,根据用户的手掌旋转的动作来使虚拟物品旋转。由此,能够使用户与虚拟物品进行交互,进一步增加趣味性。

具体地,例如,在图2的应用场景2000中,在交互装置2100为用户2220生成了虚拟物品2500并使虚拟物品2500显示为由虚拟形象2320抓握之后,用户2220能够通过点击全息投影菜单上的改变虚拟物品的种类的选项的动作,使交互装置2100响应于该动作而改变虚拟物品2500的种类。例如,交互装置2100将图2中的气球改变成玩偶,并同样将其显示为由虚拟形象2320抓握。此外,交互装置2100能够根据用户2220的手的上下移动的动作,使虚拟形象2320的手相应地上下移动,并使虚拟物品2500也相应地上下移动。

在一些实施例中,在生成了与多个用户分别对应的多个虚拟形象以及与多个用户中的至少一个用户对应的虚拟物品的情况下,多个虚拟形象与虚拟物品之间也可以进行交互。例如,即使没有为一些虚拟形象生成虚拟物品,但虚拟物品也能够响应于这些用户的实时动作而变化。由此,能够使多个虚拟形象和虚拟物品之间进行交互,进一步增加趣味性。

具体地,例如,在图2的应用场景2000中,在交互装置2100为用户2220生成了虚拟物品2500并使虚拟物品2500显示为由虚拟形象2320抓握之后,如果用户2220做出了用手传递的动作,则虚拟形象2320相应地将正在抓握的虚拟物品2500传递给与用户2210对应的虚拟形象2310,虚拟物品2500响应于虚拟形象2320的该动作而传递给虚拟形象2310并显示为由虚拟形象2310抓握。此后,虚拟物品2500能够响应于用户2210或虚拟形象2310的动作而进行改变。这样,即使并未生成与用户2210对应的虚拟物品,但用户2210同样能够与为用户2220生成的虚拟物品2500进行交互,并且与用户2210对应的虚拟形象2310也能够与虚拟物品2500进行交互。

应当理解,用户、虚拟车辆、虚拟形象和虚拟物品相互之间的交互不限于上面描述的场景和示例,并且可以想到其他交互场景和交互示例。例如,也可以想到用户与多个虚拟车辆的交互、虚拟车辆与一个或多个虚拟物品的交互、多个虚拟物品之间的交互等情况。

(面部识别)

接下来,将参照图5描述关于面部识别的处理5000。该处理5000用于使用户进一步与虚拟车辆进行交互,并且更好地了解虚拟车辆或者与虚拟车辆对应的真实车辆。

首先,在步骤s5100中,交互装置从内置于显示设备的摄像头获取用户的面部图像。交互装置例如在从三维相机获取用户的实时图像和实时动作的同时,或者在从三维相机获取用户的实时图像和实时动作之后,根据需要从内置于显示设备的摄像头获取用户的面部图像。在一些实施例中,例如交互装置1000的获取单元1110(或交互装置2100的获取单元)从内置于显示设备的摄像头获取正在与虚拟车辆交互的用户的面部图像。

具体地,例如,在图2的应用场景2000中,交互装置2100从内置于显示设备2110的摄像头2130获取正在与虚拟车辆2400或虚拟形象2300交互的用户2200的面部图像。交互装置2100也可以根据用户特征(例如在步骤s3200中识别出的用户特征),选择性地仅获取作为成年人的用户2210的面部图像。

接下来,在步骤s5200中,交互装置根据面部图像中包含的面部信息,调整显示设备上显示的与虚拟车辆有关的内容。例如,交互装置利用面部识别算法,从在步骤s5100中获取的面部图像中提取面部信息,并根据面部信息来调整显示设备上显示的与虚拟车辆有关的内容。面部信息例如可以是用户的诸如微笑、困惑、惊讶、伤心、生气等的表情信息。面部识别算法只要能够识别出这样的面部信息,则可以是任意面部识别算法。与虚拟车辆有关的内容例如可以是针对虚拟车辆(或者与虚拟车辆对应的真实车辆)的某个部分的文字介绍、与虚拟车辆有关的视频或者虚拟车辆本身的操作等。

具体地,例如,在图2的应用场景2000中,交互装置2100正在使显示设备2110播放关于虚拟车辆2400的配置的视频。此时,交互装置2100例如利用机器学习算法,从由摄像头2130获取的用户2210的面部图像中提取用户2210的面部信息。在例如显示设备2110上显示的关于虚拟车辆2400的视频播放到与虚拟车辆2400的发动机有关的部分时,在提取的面部信息例如指示用户2210正在微笑的情况下,交互装置2100判断出用户2210对虚拟车辆2400的发动机感兴趣。此时,交互装置2100例如可以使显示设备2110代替播放接下来要播放的其他内容而播放关于虚拟车辆2400的发动机的更多内容,或者使虚拟车辆2400打开引擎盖,使得用户2210能够观看到虚拟车辆2400的发动机。

应当理解,用户的面部信息不仅能够如上所述用于用户与虚拟车辆的交互,还能够用于用户与虚拟形象和/或虚拟物品的交互。例如,可以在用户的面部信息指示用户正在微笑时使与用户对应的虚拟形象也做出微笑的表情。或者,例如,可以在用户的面部信息指示用户伤心时使虚拟形象做出有趣的动作,以调节用户的心情。此外,也可以将由与内置于显示设备的摄像头一起使用的视线传感器检测到的用户的视线或者从面部图像中识别出的用户的视线作为用户的面部信息,以用于用户与虚拟车辆、虚拟形象和/或虚拟物品的交互。例如,在用户的视线长时间停留在虚拟车辆的某个部分时,可以使虚拟车辆进行相应的操作,以使用户能够更好地观看虚拟车辆的该部分。

(计算设备)

图6示出了能够实现根据本公开的实施例的计算设备6000的示例性配置。

计算设备6000是能够应用本公开的上述方面的硬件设备的实例。计算设备6000可以是被配置为执行处理和/或计算的任何机器。计算设备6000可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。

如图6所示,计算设备6000可以包括可以经由一个或多个接口与总线6100连接或通信的一个或多个元件。总线6100可以包括但不限于,工业标准架构(industrystandardarchitecture,isa)总线、微通道架构(microchannelarchitecture,mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。计算设备6000可以包括例如一个或多个处理器6200、一个或多个输入设备6300以及一个或多个输出设备6400。一个或多个处理器6200可以是任何种类的处理器,并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器6200例如可以对应于图1中的处理器1100,被配置为实现本公开的交互装置的各模块的功能。输入设备6300可以是能够向计算设备输入信息的任何类型的输入设备,并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备6400可以是能够呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。

计算设备6000还可以包括或被连接至非暂态存储设备6700,该非暂态存储设备6700可以是任何非暂态的并且可以实现数据存储的存储设备,并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备6000还可以包括随机存取存储器(ram)6500和只读存储器(rom)6600。rom6600可以以非易失性方式存储待执行的程序、实用程序或进程。ram6500可以提供易失性数据存储,并存储与计算设备6000的操作相关的指令。计算设备6000还可包括耦接至数据链路6900的网络/总线接口6800。网络/总线接口6800可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统,并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙tm设备、802.11设备、wifi设备、wimax设备、蜂窝通信设施等)。

此外,本公开的另一个实施例还提供了一种计算机可读存储介质,包括计算机可执行指令,所述计算机可执行指令在由一个或多个处理器执行时,使得所述一个或多个处理器执行如上述实施例所述的交互装置执行的处理。

本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或框、以及流程图和/或框图中的流程和/或框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能的步骤。

尽管已描述了本公开的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求书意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求书及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1