基于主被动力反馈的虚拟宠物系统以及交互控制方法

本发明涉及虚拟现实技术领域，具体涉及一种基于主被动力反馈的虚拟宠物系统以及交互控制方法。

背景技术：

虚拟宠物一直都是受到用户喜爱的娱乐休闲游戏，随着技术的发展虚拟宠物已经具备许多高级功能，用户可以通过宠物的养成系统、虚拟宠物社区等方式获得丰富的体验。

虽然当前的虚拟宠物已经具有很强的虚拟现实特性，但是虚拟宠物与现实世界的交互设计方案较少，因此目前的虚拟宠物系统还与人们的期望差得很远。

在目前的虚拟宠物交互中，大多数的用户体验仍然是视觉引导的，缺乏在与真实宠物交互时，真实宠物能够提供的主被动力反馈。

例如公开号为cn100474216c的专利提供了在与虚拟宠物交互中提供触觉反馈的方法和装置，该专利通过接收虚拟宠物的生物状态有关的信号，生成不同的相关联的震动波形，通过手持设备提供给用户虚拟宠物的相关触觉反馈。/

该方式只能通过相关联的震动波形提供单一的触觉反馈，缺乏形状、材质、温度等等的丰富的触觉反馈。此外，该方式限于手机等二维显示界面的宠物，宠物不具有实体，无法为用户提供更真实的虚拟宠物交互或提高三维虚拟宠物真实感、交互性。

公开号为cn102567631a的专利提供了一种虚拟宠物交互仿真电子宠物系统，该专利是一种虚拟宠物交互仿真电子宠物系统，通过系统的控制模块、光学感应模块、重力感应模块、温度感应模块、语音交互模块和背景图像处理模块获取真实环境信息，控制虚拟宠物。

该专利只涉及获取环境信息方式，但并未提及如何与虚拟宠物进行融合。此外，该专利中提及的方式主要用于控制二维虚拟宠物，难以控制三维虚拟宠物。

因此如何提高虚拟环境中三维虚拟宠物的真实感、交互多样性以及交互效率是目前亟待解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种基于主被动力反馈的虚拟宠物系统以及交互控制方法，能够提高虚拟环境中三维虚拟宠物的真实感、交互多样性、交互效率，提高用户沉浸感、交互趣味性。

为达到上述目的，本发明的技术方案为：基于主被动力反馈的虚拟宠物系统，包括计算设备、交互意图检测设备、虚拟宠物实体设备和显示设备。

计算设备通过网络与交互意图检测设备、虚拟宠物实体模块和显示设备进行信息交互与控制。

交互意图检测设备用于检测用户与虚拟宠物的交互动作，送入计算机设备中，计算设备根据交互动作确定交互意图。

虚拟宠物实体设备包括宠物实体和宠物实体控制设备；宠物实体包含至少一个实体模块，用于模拟虚拟宠物并提供主被动力触觉反馈；宠物实体控制设备用于接收计算设备发来的宠物实体控制指令，根据宠物实体控制指令控制实体模块的运动，并将其运动数据实时反馈给计算机

显示设备用于在计算设备的控制下显示计算设备所构建的虚拟环境，虚拟环境中包括虚拟宠物化身，在一些情况下还包括用户化身。虚拟宠物化身接收计算设备发来的宠物动作触发信号，作出相应的宠物动作。

计算设备对不同的交互意图，对应设置宠物动作，根据宠物动作生成宠物动作触发信号以及宠物实体控制指令分别发送至虚拟宠物化身和宠物实体控制设备中。

进一步地，计算设备中设置有交互意图控制器、虚拟应用控制器、虚拟宠物控制器以及宠物实体模块控制器；

虚拟应用控制器用于构建虚拟环境，并通过通讯网络，将所构建的虚拟环境在显示设备中进行渲染显示。

交互意图控制器用于从交互意图检测设备中获取用户与虚拟宠物的交互动作数据，通过分析数据对应到不同的用户交互意图，，确定交互意图。

虚拟宠物控制器获取交互意图，根据交互意图确定宠物动作触发信号，并且预先设置宠物动作与动作触发信号一一对应关系，据此生成对应动作触发信号送入虚拟宠物化身，控制虚拟宠物动作。

宠物实体模块控制器用于根据确定的宠物动作，生成宠物实体控制指令送入宠物实体控制设备。

进一步地，用户与虚拟宠物的交互动作包括手势动作、头部位姿、视点位置、肢体位姿以及触摸动作；交互意图检测设备包括手势跟踪设备、头动跟踪设备、眼动跟踪设备、肢体运动跟踪设备以及触摸检测设备；手势跟踪设备，用于跟踪并获取用户的手势动作；头动跟踪设备，用于跟踪并获取用户的头部位姿；眼动跟踪设备，用于跟踪并获取用户的视点位置；肢体运动跟踪设备，用于跟踪并获取用户的肢体位姿；触摸检测设备，用于跟踪并获取用户的触摸动作。

进一步地，虚拟宠物实体设备，其中的宠物实体包括一个单实体模块，单实体模块具有一个以上的表面，表面上设置第一附属模块，第一附属模块用于提供被动力触觉反馈；表面上还设有第二附属模块，第二附属模块用于提供主动力触觉反馈；在一些示例中，第一附属模块和第二附属模块可为同一模块

进一步地，第一附属模块设置为用于模拟虚拟宠物的皮毛或外型触感的部件；第二附属模块设置为用于模拟虚拟宠物的震动、舔舐、摇晃以及咬合动作的部件。

进一步地，虚拟宠物实体设备，其中的宠物实体包括两个以上的实体模块，其中一个实体模块用于模拟虚拟宠物的一个身体部位，每个实体模块均有具有一个以上的表面，表面上设置第一附属模块，第一附属模块用于提供被动力触觉反馈。

表面上还设有第二附属模块，第二附属模块用于提供主动力触觉反馈。

进一步地，在虚拟环境中，用户化身用于模拟用户的实时位姿；

用户手部可触及的范围即为可交互区域。

虚拟宠物化身与虚拟宠物实体设备为对应关系。

若虚拟宠物化身位于可交互区域内，则设置虚拟宠物化身对应的虚拟宠物实体设备位于可交互区域，并将虚拟宠物化身叠加在宠物实体上，在虚拟环境中虚拟宠物的三维位姿注册到真实环境中实体模块在真实环境中的位置。

若虚拟宠物化身位于可交互区域外，则将虚拟宠物化身与宠物实体关系解耦。

进一步地，该系统还包括环境信息监测设备；

环境信息监测设备包括温度传感器、湿度传感器以及光照传感器，用于检测环境中的环境信息，包括温度、湿度以及光照。

本发明的另外一个实施例还提供了基于主被动力反馈的虚拟宠物交互控制方法，其特征在于，包括如下步骤：

构建虚拟环境，在虚拟环境中依据用户的实时位姿构建用户化身，同时构建虚拟宠物化身。

检测用户与虚拟宠物的交互动作。

根据用户与虚拟宠物的交互动作确定用户的交互意图。

根据确定的交互意图，对应设置宠物动作，根据宠物动作生成宠物动作触发信号，用于控制虚拟宠物化身执行宠物动作；同时根据宠物动作宠物实体控制指令，同于控制虚拟宠物实体设备执行宠物动作。

用户触摸虚拟宠物实体设备，感受其提供的主被动力触觉反馈。

有益效果：

本发明提出一种基于主动力反馈的虚拟宠物系统以及交互方式，提高虚拟环境中三维虚拟宠物的真实感、交互多样性、交互效率，提高用户沉浸感、交互趣味性。虚拟环境包括虚拟现实环境、增强现实环境以及混合现实环境等等。本发明中的基于实体模块的虚拟宠物交互系统，实体能够提供主被动力反馈，增强用户体验。目前实体模块已常被用于为虚拟物物体提供力反馈，但是通常实体模块和虚拟物体都具有一一对应关系，即一个实体为一个虚拟物体提供力反馈。其次，目前实体通常只为用户提供被动力反馈，这会降低交互性，降低用户沉浸感。在本发明中，将使用可移动旋转的实体模块为多虚拟宠物提供反馈；此外，将添加主动力反馈，例如，震动、不同湿度、咬合等等主动力反馈，提高虚拟宠物真实性、交互性、趣味性以及用户沉浸感；机械控制的可移动实体模块能够使用较小的模块模拟整个虚拟宠物。

本发明提出一种基于主动力反馈的虚拟宠物系统以及交互方式，用户能够与物理实体进行交互，通过安装在物理实体上、头戴显示器或其他真实环境上的传感器检测用户与虚拟宠物的交互动作，计算机进行处理后，实体模块为用户提供虚拟宠物主被动力反馈，完成用户与虚拟宠物的交互。

附图说明

图1为本发明提出一种基于主动力反馈的虚拟宠物系统构成示意图；

图2为一种单模块实体模块示意图；

图3为附属模块示例示意图；

图4为一种多模块实体模块示意图；

图5为用户与系统交互示例示意图；

图6为用户与虚拟宠物的交互流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种本发明通过实体模块增强用户在虚拟环境中与虚拟宠物的交互，其中包括了计算设备、交互意图检测设备、虚拟宠物实体设备和显示设备。

计算设备通过网络与交互意图检测设备、虚拟宠物实体模块和显示设备进行信息交互与控制。

交互意图检测设备用于检测用户与虚拟宠物的交互动作，送入计算机设备中，计算设备根据交互动作确定交互意图。

虚拟宠物实体设备包括宠物实体和宠物实体控制设备；宠物实体包含至少一个实体模块，用于模拟虚拟宠物并提供主被动力触觉反馈；宠物实体控制设备用于接收计算设备发来的宠物实体控制指令，根据宠物实体控制指令控制实体模块的运动。

显示设备用于在计算设备的控制下显示计算设备所构建的虚拟环境，虚拟环境中包括用户化身和虚拟宠物化身。

虚拟宠物化身接收计算设备发来的宠物动作触发信号，作出相应的宠物动作。

计算设备根据确定的交互意图触发信号，对应设置宠物动作，根据宠物动作生成宠物动作对应的触发信号以及宠物实体控制指令分别发送至虚拟宠物化身和宠物实体控制设备中。

如图1所示。用户可以通过虚拟现实设备(vr)或其他计算机设备实现与虚拟环境的交互。例如，vr设备、增强现实(ar)、混合现实(mr)设备可以生成和或者显示虚拟现实图像。在vr\ar\mr中，用户主要依赖视觉获取信息，进行交互。通过增加物理实体，可以扩展用户与虚拟宠物的交互。

虚拟宠物物理实体可以由单模块或者多模块构成，为虚拟宠物提供主被动力触觉。控制设备用于控制模块的运动。

若由单模块构成，单模块具有不同的面，在不同的面上，可以粘粘或者制作成不同形状的表面，例如，圆弧状、长条状等等，为同一个虚拟宠物的不同部位提供被动力触觉。此外，单模块上的不同面可添加不同的模块，例如，可以添加震动模块，当用户触摸该模块时候，可进行震动，模拟真实宠物交互，提供主动力触觉；添加液体喷涂模块，模拟宠物舌头舔等；添加杆状模块，该模块可静止也可在一定范围内运动，模拟真实宠物的尾巴部分；添加不同的毛发材质，模拟不同的虚拟宠物的触感，同时，叠加微小幅度震动，可提高虚拟宠物的真实感；在该面上添加咬合装置，模拟真实宠物含或者轻咬人交互。

图2展示了一种可能的单模快实体，该单模块实体总共由五个面构成，在每个面上可以加上不同的附属模块，在该示例中，附属模块1具有较大幅度的凸起，材质可以为毛皮或者其他可以提供给用户抚摸猫身体的材料，当用户触摸该模块时候，虚拟世界中对应的虚拟宠物的部位为虚拟身体，模拟用户抚摸虚拟猫的身体；附属模块2具有较小幅度，材质为毛皮或者其他可以提供给用户抚摸猫头部的材料，虚拟世界中对应的虚拟猫的部位为头部，模拟用户触摸虚拟猫的头部；附属模块3为一个条状物，具有猫的尾巴的特点，对应虚拟宠物的尾巴，可以模拟猫的尾巴；附属模块4使用舵机结合其他材料，对应虚拟宠物的嘴的部分，模拟虚拟猫轻咬以及舔用户。实体模块的位置可改变，可旋转。还可使用其他附属模块模拟不同的虚拟宠物。

图3展示了几种附属模块，可用具有纹路的半导体模拟乌龟的壳，此时该半导体还可以作为用户意图检测装置，使用一些塑料等尖刺材料模拟刺猬的身体，使用毛发模拟马等等的尾巴。

单模块可以为多面体，并具有不同的大小，具体可根据需要模拟的宠物进行设置，材料可以使用木头、塑料等，但不局限于此。

单模块上连接或者粘粘的不同形状的附属模块可制作成固定模块，也可制作成可拆卸装置，方便为不同的虚拟宠物提供不同的力反馈。附属模块可为固定大小的模块，也可为可变形模块，例如，使用可充气装置，在交互过程中，控制模块内气体量的多少可模拟虚拟宠物的变化或者动作。

该单模块连接控制虚拟宠物实体控制设备，控制设备可以控制单模块的位姿(平移、旋转)。通过单模块的移动和旋转，可以使用较小的模块为体积更大的虚拟宠物提供完整的力反馈。例如在图5中，用户与虚拟宠物进行交互，实体模块体积比虚拟宠物小，当用户与虚拟宠物“猫”的尾巴进行交互时，实体模块由实体设备控制器控制将具有猫尾巴附属模块旋转移动到虚拟宠物“猫”的尾巴位置，当用户与虚拟宠物“猫”的头部进行交互时，实体模块由实体设备控制器控制将具有猫头部附属模块旋转移动到虚拟宠物“猫”的头部位置。

该宠物实体模块也可由多模块构成，一个模块执行一个功能，虚拟宠物实体模块由这些模块组合而成。一个模块模拟虚拟宠物的一个部位。各个实体模块通过虚拟宠物实体控制设备控制位姿，可固定多模块的相对位置，也可以单独移动。

图4展示了一种可能的多模块实体。实体控制设备可同时控制所有的模块，所有实体模块可被单独控制也可被同时控制，也可被单独控制。在该示例中，该多模块实体为虚拟宠物“猫”提供实体力反馈，实体模块1可用于模拟“猫”虚拟头部，实体模块2可模拟“猫”身体部位，实体模块3模拟“猫”尾巴。各实体模块之间距离可改变，模拟不同大小的猫。

当虚拟宠物在用户手部可触及的范围内，即可交互区域，虚拟宠物叠加在宠物实体模块上，用户可与之交互。当虚拟宠物在可交互区域外，虚拟宠物可叠加在宠物实体模块上，或者虚拟宠物可以与宠物实体模块解耦。在与虚拟宠物交互过程中，虚拟宠物和实体模块的关系是可动态变化的。例如，虚拟宠物在距离用户很远的地方，但是宠物实体模块刚好位于可交互区域外，此时，虚拟宠物和实体模块的关系是解耦的，当识别到用户特定交互意图，虚拟宠物跑向用户，当虚拟宠物位于可交互区域内时，虚拟宠物与实体模块绑定，实体模块为虚拟宠物提供主被动力反馈。虚拟宠物实体控制设备控制实体模块的运动。

虚拟宠物实体控制设备用于控制实体模块的运动，可以使用机械臂、移动机器人等等设备。

环境信息监测设备包括温度、湿度、光照等传感器，用于检测环境中的温度、湿度、光照等等环境信息。

用户交互意图检测设备用于检测用户与虚拟宠物进行交互的意图，包括但不局限于手势跟踪设备、头动跟踪设备、眼动跟踪设备、肢体运动跟踪设备、触摸检测设备等等。在虚拟环境中，用户可以使用应用程序预先设置的不同的交互意图对应的与虚拟宠物的不同交互行为，也可进行用户自定义，根据用户偏好设备不同的交互意图对应的不同的与虚拟宠物的不同的交互行为。

手势跟踪设备用于跟踪用户的手势动作，可以使用rgb相机、深度相机等光学跟踪方式，肌肉电，电磁波等等，但不局限于此，可进行用户手势检测即可，获取手势数据。

头动跟踪设备用于跟踪用户头部位姿的变化，可以使用vr设备内部跟踪器或者单独的跟踪器，可以使用但不局限于光学跟踪、电磁跟踪等等，获取头部位姿数据。

眼动跟踪设备可跟踪用户视点位置。可以使用但不局限于使用用户视点位置结合手柄等外围设备、视点暂留时间等等眼动数据。

肢体跟踪设备用于跟踪用户的手臂晃动、走动等等的用户的肢体动作，获取用户肢体位姿数据。肢体跟踪设备数据还将用于在虚拟环境中渲染用户化身。

触摸检测设备安装与宠物实体模块上，用户检测用户对实体模块的触摸数据。

计算机设备由处理器和存储设备构成，用于处理整个系统中需要计算处理的内容，包括用户交互意图控制器、虚拟应用的控制器、宠物控制器等等。该计算设备可以为一个主机，也可分立在各个设备上例如虚拟现实设备，手势跟踪设备等等。

用户交互意图控制器接受手势跟踪设备、眼动跟踪设备、肢体跟踪设备、触摸检测设备等等设备的数据，对跟踪数据进行处理，判断用户意图。不同的手势代表不同的用户交互意图，可以触发与虚拟宠物不同的交互动作，例如，用户伸出手掌向上，此时根据程序设定，虚拟宠物将从远方跑向用户。不同的特定的头部位姿按照设定可代表不同的用户交互意图，可以触发与虚拟宠物不同的交互动作。不同的眼动信号代表不同的预设用户交互意图信号，触发与虚拟宠物不同的交互动作。例如，当用户看向虚拟宠物的头部超过2s，虚拟宠物小狗将向用户摇晃脑袋，期待用户的触摸。不同肢体动作代表不同的用户交互意图。

环境信息控制器用于处理环境信息监测设备生成的数据，并传输给应用程序控制器和虚拟宠物控制器，用户控制虚拟环境中虚拟宠物的相关状态，触发虚拟宠物交互。例如，温度太低时，虚拟宠物将蜷缩。

应用程序控制器用于控制和应用程序相关的内容，包括该应用程序中具体的虚拟宠物，用户的虚拟化身以及其他虚拟环境内容。

宠物控制器用于处理虚拟宠物运动相关数据，包括宠物运动元数据，虚拟宠物控制器以及宠物实体模块控制器。不同用户交互意图将触发不同的交互信号，宠物运动元数据中宠物动作和触发信号一一对应，触发信号由交互意图控制。根据触发信号，触发宠物不同的动作，同时控制虚拟宠物和对应实体模块的运动。

显示设备用于显示虚拟环境，主要为vr\ar\mr显示设备。显示内容包括虚拟宠物、用户化身以及其他虚拟环境。其中用户虚拟化身可只显示手部，也可显示半身或者全身或者其他。

计算设备、用户交互意图检测设备、环境信息监测设备、显示设备和虚拟宠物实体控制设备之间通过网络连接，可以使用有线方式或者无线方式。各个设备中包含数据发送和接收组件。处理器可为本地处理器或者云端处理器。存储器可以为各种类型的包括ram存储器，闪存，rom存储器，eprom存储器，eeprom存储器，寄存器，硬盘等本地存储器或者云端存储器。处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。

本发明的另外一个实施例还提供了基于主被动力反馈的虚拟宠物交互控制方法，包括如下步骤：

构建虚拟环境，在虚拟环境中依据用户的实时位姿构建用户化身，同时构建虚拟宠物化身。

检测用户与虚拟宠物的交互动作。

根据用户与虚拟宠物的交互动作确定用户的交互意图。

根据确定的交互意图，对应设置宠物动作，根据宠物动作生成宠物动作触发信号，用于控制虚拟宠物化身执行宠物动作；同时根据宠物动作宠物实体控制指令，同于控制虚拟宠物实体设备执行宠物动作。

用户触摸虚拟宠物实体设备，感受其提供的主被动力触觉反馈。

图6展示用户与虚拟宠物的交互流程。用户意图检测设备检测用户的状态信息，系统根据用户状态信息判断其交互意图，根据预设定的宠物运动元数据，同时环境信息监测设备监测环境信息，判断环境状态，虚拟宠物控制器控住虚拟宠物交互，虚拟宠物实体控制实体模块交互，用户交互区域内虚拟宠物和实体模块的动作保持一致性。实体模块交互分为被动力反馈交互以及主动力反馈交互。根据虚拟宠物和实体模块的状态，环境信息，用户会进行状态改变，驱动下一次交互。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。