数据交互方法、装置、设备以及存储介质与流程

本申请涉及计算机技术中的人工智能领域，尤其涉及图像处理和虚拟现实技术领域。

背景技术：

目前远程面诊的主要方式是通过摄像头实时采集患者的图像数据，麦克风采集患者的声音数据，最终合成视频数据在医生一侧展示出来，类似于视频通话，医患双方可以通过图像和声音进行交流，达到远程面诊的目的。

技术实现要素：

本申请提供了一种数据交互方法、装置、设备以及存储介质。

根据本申请的一方面，提供了一种数据交互方法，包括：

接收目标对象的人体模型数据，其中，人体模型数据为待检测端通过采集人体特征点数据所生成的；

根据目标对象的人体模型数据得到待展示于虚拟现实场景中的第一虚拟现实人体模型；

展示第一虚拟现实人体模型，针对第一虚拟现实人体模型进行数据交互，得到数据交互结果；

向待检测端的目标对象发送数据交互结果。

根据本申请的另一方面，提供一种数据交互方法，包括：

通过摄像头采集人体特征点数据，根据人体特征点数据生成目标对象的人体模型数据；

将目标对象的人体模型数据发送至数据处理端，以在数据处理端根据目标对象的人体模型数据，生成展示于虚拟现实场景中的第一虚拟现实人体模型，以及针对第一虚拟现实人体模型进行数据交互；

接收数据处理端发送的数据交互结果。

根据本申请的另一方面，提供一种数据交互装置，包括：

模型数据接收模块，用于接收目标对象的人体模型数据，其中，人体模型数据为待检测端通过采集人体特征点数据所生成的；

场景模型生成模块，用于根据目标对象的人体模型数据得到待展示于虚拟现实场景中的第一虚拟现实人体模型；

数据交互模块，用于展示第一虚拟现实人体模型，针对第一虚拟现实人体模型进行数据交互，得到数据交互结果；

发送模块，用于向待检测端的目标对象发送数据交互结果。

根据本申请的另一方面，提供一种数据交互装置，包括：

模型数据生成模块，用于通过摄像头采集人体特征点数据，根据人体特征点数据生成目标对象的人体模型数据；

模型数据发送模块，用于将目标对象的人体模型数据发送至数据处理端，以在数据处理端根据目标对象的人体模型数据，生成展示于虚拟现实场景中的第一虚拟现实人体模型，以及针对第一虚拟现实人体模型进行数据交互；

数据交互结果接收模块，用于接收数据处理端发送的数据交互结果。

根据本申请的技术，提高了用户数据的隐私性和远程沟通中的可操作性。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例提供的数据交互方法的流程图一；

图2是根据本申请实施例提供的数据交互方法的流程图二；

图3是根据本申请实施例提供的数据交互方法的流程图三；

图4是根据本申请实施例提供的数据交互装置的结构框图一；

图5是根据本申请实施例提供的数据交互装置的结构框图二；

图6是根据本申请实施例提供的数据交互装置的结构框图三；

图7是用来实现本申请实施例的数据交互的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

参见图1，本申请实施例提供了一种数据交互方法，涉及虚拟现实技术(virtualreality，vr)，该数据交互方法包括：

s101、接收目标对象的人体模型数据，其中，人体模型数据为待检测端通过采集人体特征点数据所生成的；

s102、根据目标对象的人体模型数据得到待展示于虚拟现实场景中的第一虚拟现实人体模型；

s103、展示第一虚拟现实人体模型，针对第一虚拟现实人体模型进行数据交互，得到数据交互结果；

s104、向待检测端的目标对象发送数据交互结果。

上述方案中至少具备如下一种有益效果：(1)待检测端传输的人体模型数据只涉及人体形态特征，不涉及用户真实图像信息，充分保护目标对象的隐私信息，尤其是人体隐私部位。(2)由于人体模型数据是离线采集的，即待检测端采集人体特征点数据生成人体模型数据后才发送的，对实时带宽要求不高。(3)在虚拟现实场景中，可以针对第一虚拟现实人体模型进行数据交互，实现近乎面对面一样的沟通过程，为远程沟通提供了更多操作的可能性。比如，可以在虚拟现实人体模型的虚拟脸上划线，以及通过vr模拟手段同步让目标对象体验到术后的效果。(4)相比于基于人物图像或视频数据的远程沟通来说，基于人体特征点数据生成的人体模型数据，可以提供高精准的数据。

本申请可以应用于医生和患者的远程面诊，在该远程面诊的数据交互场景中，待检测端可以是患者端，相应的，接收该待检测端发送的该目标对象的人体模型数据的数据处理端可以为医生端，医生端接收来自患者端采集的人体特征数据，医生端可以利用人体特征数据生成虚拟现实(vr)问诊室中的虚拟现实人体模型，针对虚拟现实人体模型进行一系列交互操作，得到问诊结果，并将问诊结果返回给患者端。

本申请不限于该远程面诊的数据交互场景，还可以扩展至其它各种医疗场景中，例如异地医疗教学或医疗探讨场景，多个医生端进入同一虚拟现实场景中，多个医生端可以看到第一虚拟现实人体，并针对虚拟现实人体模型进行一系列交互操作，可以起到教学、学术探讨或者协同诊断等效果。进一步，还可以扩展至医疗场景以外的场景，例如服装定制场景，在该服装定制场景的数据交互场景中，待检测端可以是顾客端，相应的，接收该待检测端发送的该目标对象的人体模型数据的数据处理端可以为服装设计师端。服装设计师端可以针对虚拟现实人体模型进行一系列交互操作，得到服装定制结果，并将服装定制结果返回给顾客端。

可选地，实现上述申请实施例的数据处理端包含可以实现虚拟现实(vr)技术的电子设备。例如，手机和带有虚拟现实交互功能的头戴式设备的组合、个人计算机和带有虚拟现实交互功能的头戴式设备的组合、虚拟现实一体机等。

以手机和带有虚拟现实交互功能的头戴式设备为例，医生可以在手机端看到来自患者的问诊请求，通过手机端选择进入对该患者进行问诊的虚拟现实面诊室。接着，医生通过穿戴与手机配对连接的带有虚拟现实交互功能的头戴式设备，进入由该头戴式设备所提供的虚拟现实场景，该虚拟现实场景中展示有目标患者的虚拟现实人体模型，医生可以和虚拟现实人体模型进行交互，实现问诊。

在一种实施方式中，图1所示的方法还包括：每隔预设时间，采集用户的移动起始位置和移动距离信息，根据用户的移动起始位置和移动距离信息，调整第一虚拟现实人体模型的展示视角。

传统的面诊过程中，医生需要用语言去引导患者摆出各种姿势或者口头的描述来让患者配合才能看到自己想看到的部位，如果医生的表达不好，或者有语言障碍都会影响面诊的效果。而上述实施方式，用户只需通过移动的方式，就可以全方位观察第一虚拟现实人体模型，提高医生问诊的便捷性。

在一种实施方式中，步骤s103中针对第一虚拟现实人体模型进行数据交互，得到数据交互结果包括：采集用户动作信息，根据用户动作信息，生成对第一虚拟现实人体模型的操作信息。

可选地，用户动作信息可以通过虚拟现实的传感器采集；也可以摄像头拍摄用户图像，分析连续多帧用户图像，确定用户动作信息。

在一种实施方式中，虚拟现实场景中提供至少一种观察辅助工具。

步骤s103针对第一虚拟现实人体模型进行数据交互，得到数据交互结果，包括：基于当前选取的观察辅助工具，针对第一虚拟现实人体模型进行数据交互，得到第一虚拟现实人体模型的观察信息。

可选地，用户通过如画圈或者点击的手势动作，选中该虚拟现实场景中展示的某一种观察辅助工具。

通常，医生为了进一步诊断，需要了解某些部位尺寸或者比例，此时需要面对面或者划线和测量，传统的视频面诊无法提供这些操作。而本申请通过提供观察辅助工具，提高用户观察判断虚拟现实人体模型的便捷性。

并且，由于本申请实施例的虚拟现实场景提供的是虚拟现实人体模型可以还原人体真实大小，基于该虚拟现实人体模型进行得到的尺寸或比例，几乎接近真实用户数据。因此，本申请实施例还可以提高观察判断虚拟现实人体模型的精准性。

在一种实施方式中，观察辅助工具包括测量工具、划线工具和标记工具中的至少一种。

提供测量工具，可以测量虚拟现实人体模型的具体尺寸，为医生确定诊断方案提供数据支持。提供划线工具，可以绘制目标调整区域。提供标记工具，可以在虚拟现实人体模型上添加标记。

本申请提供多种观察辅助工具，大大提高问诊的可操作性，例如医生可以通过划线工具在人体模型的头皮区域中绘制植发区域，然后通过测量工具测量该植发区域的区域大小，以便进一步确定手术方案。

在一种实施方式中，虚拟现实场景中提供至少一种手术工具；

参见图2，步骤s103针对第一虚拟现实人体模型进行数据交互，得到数据交互结果，包括：基于当前选取的手术工具，针对第一虚拟现实人体模型进行数据交互，得到第二虚拟现实人体模型。

用户可以通过手术工具，对虚拟现实人体模型进行虚拟手术，得到虚拟手术效果，可以方便用户了解术后效果。尤其是运用在医美领域，患者十分在意术后效果。通过虚拟手术，医生和患者都可以了解医美效果，能够大大提高问诊效率和体验。

可选地，图1所示的方法还包括：接收待检测端的调整需求。因此，对应在步骤s103中，用户可以基于该调整需求的基础对第一虚拟现实人体模型执行相应的操作，使得步骤s103的数据交互结果以满足该调整需求。

在另一种实施方式中，虚拟现实场景还可以提供多种调整模板，调整模板包括调整部位和调整尺寸等信息；则，图1所示方法还包括：基于选择的调整模板，对第一虚拟现实人体模型进行调整，得到第二虚拟现实人体模型。

用户可以直接调用预存的调整模板，来实现对第一虚拟现实人体模型的调整，减少了用户进行虚拟手术的工作量。

在步骤s104中，可以将数据交互结果发送给待检测端，以使得待检测端的患者了解手术效果之后，还可以接收由待检测端的反馈意见，以根据待检测端的反馈意见进一步调整。

在一种实施方式中，参见图2，图1所示的方法，还包括：s201、至少根据第一虚拟现实人体模型和第二虚拟现实人体模型生成虚拟手术结果，虚拟手术结果包括手术方案和术后效果图中至少一项。

上述实施方式中，第一，由于第一虚拟现实人体模型和第二虚拟现实人体模型均为精确的数据，利用第一虚拟现实人体模型和第二虚拟现实人体模型，可以得到精确的调整数据，进而生成手术方案，大大降低医生的工作量。第二，第一虚拟现实人体模型和第二虚拟现实人体模型可以对应得到效果对比图，可以直观体现手术效果。

基于本申请实施例提供的数据交互方法，医生可以远程通过对患者三维建模后，利用虚拟现实技术对其进行和面对面一样的面诊过程，比如，在建模后的虚拟脸上划线，以及通过虚拟现实模拟手段同步让患者体验到术后的效果。让用户的问诊形式不再拘泥于当前的图文、视频方式，为医患之间提供了更为逼真化、场景化的诊疗方式，能够大大提高问诊效率和体验。

参见图3，本申请实施例提供一种数据交互方法，适用于待检测端，该数据交互方法包括：

s301、通过摄像头采集人体特征点数据，根据人体特征点数据生成目标对象的人体模型数据；

s302、将目标对象的人体模型数据发送至数据处理端，以在数据处理端根据目标对象的人体模型数据，生成展示于虚拟现实场景中的第一虚拟现实人体模型，以及针对第一虚拟现实人体模型进行数据交互；

s303、接收数据处理端发送的数据交互结果。

上述方案中至少具备如下一种有益效果：(1)待检测端传输的人体模型数据只涉及人体形态特征，不涉及用户真实图像信息，充分保护用户隐私信息，尤其是人体隐私部位。(2)由于人体模型数据是离线采集的，即待检测端采集人体特征点数据生成人体模型数据后才发送的，对实时带宽要求不高。(3)将人体模型数据提供给数据处理端，可以为数据处理端针对第一虚拟现实人体模型进行数据交互，实现近乎面对面一样的沟通过程，为远程沟通提供了更多操作的可能性。(4)相比于基于人物图像或视频数据的远程沟通来说，基于人体特征点数据生成的人体模型数据，可以提供高精准的数据。

可选地，待检测端可以为如手机、平板电脑、智能穿戴设备和手提电脑等移动设备，用户无需受限于场所和设备，实现方便快捷地采集人体特征点数据。

可选地，待检测端配置的摄像头设备可以为深度摄像头，以便采集更高精度的人体特征点数据。待检测端配置的摄像头设备也可以为普通摄像头，利用二维转三维技术，将普通摄像头采集的二维特征点转换为三维的特征点。

本实施例对于待测端未详细叙述之处，可以参考上一实施例中对应待检测端的叙述，此处不再赘述。

下述为本申请结合数据处理端和待检测端的数据交互方法，所提供的一问诊示例。其中，患者端为待检测端，医生端为数据处理端。

(一)工作设备：

患者端，可以是一部手机，该手机可以对人体的三维扫描建模，只会对特征点进行采集，不会存储图像避免隐私泄露。

医生端，可以是一部手机，以及穿戴带有虚拟现实(vr)交互功能的头戴式设备。

(二)工作过程：

(1)患者在患者端发起进入虚拟面诊室的请求。进入虚拟面诊室后，通过患者端的摄像头采集人体特征点数据，基于人体特征点数据生成人体模型数据。患者端可以将人体模型数据

(2)患者端可以展示人体三维模型，以供患者查看。患者端还可以接收用户输入的问诊信息等，包括待改善部位和顾虑。患者端生成等待医生面诊状态。

(3)医生通过穿戴带有虚拟现实交互功能的头戴式设备的形式进入虚拟面诊室。基于人体模型数据，在虚拟面诊室中展示虚拟现实人体模型。并且，为了提高用户的真实体验，设置在虚拟面诊室中，虚拟现实人体模型的大于与患者真人相同。

(4)医生通过医生端还原出的虚拟现实人体模型进行观察和判断，这期间可以通过医生端的虚拟现实交互功能和虚拟现实人体模型进行一系列的交互行为，比如，测量部位的比例，在一些部位上面划线帮助判断。

(5)医生根据患者提出的诉求和问题，通过医生端的虚拟现实交互功能对具体部位进行虚拟手术或操作模拟术后的效果。

(6)患者通过患者端接收人体模型的变化，来体验术后的效果，同时可以根据自己喜好反馈意见给医生，以进行不同程度的方案修改，即通过患者端发送反馈意见至医生端，以最终达成满意的方案。

(7)医生端根据最终达成的方案所记录的数据产出诊断报告和精确的手术方案以及术后效果图。

基于示例可以看出，本申请在保护用户隐私的情况下，为远程面诊这种场景提供了全新的交互方式，面诊双方不是面对面却胜过真实的体验，将现实中的数据和参数导入到数字世界，利用虚拟现实的交互方式让面诊双方更方便直接的进行诊断、治疗方案选择，应用和术后效果体验等整个环节，大大提升了面诊的体验和价值。

参见图4，图4为本申请实施例提供的一种数据交互装置400，该装置包括：

模型数据接收模块401，用于接收目标对象的人体模型数据，其中，人体模型数据为待检测端通过采集人体特征点数据所生成的；

场景模型生成模块402，用于根据目标对象的人体模型数据得到待展示于虚拟现实场景中的第一虚拟现实人体模型；

数据交互模块403，用于展示第一虚拟现实人体模型，针对第一虚拟现实人体模型进行数据交互，得到数据交互结果；

发送模块404，用于向待检测端的目标对象发送数据交互结果。

在一种实施方式中，虚拟现实场景中提供至少一种观察辅助工具；

数据交互模块403，用于基于当前选取的观察辅助工具，针对第一虚拟现实人体模型进行数据交互，得到第一虚拟现实人体模型的观察信息。

在一种实施方式中，观察辅助工具包括测量工具、划线工具和标记工具中的至少一种。

在一种实施方式中，虚拟现实场景中提供至少一种手术工具；

数据交互模块403，用于基于当前选取的手术工具，针对第一虚拟现实人体模型进行数据交互，得到第二虚拟现实人体模型。

在一种实施方式中，参见图5，数据交互装置500还包括：

虚拟手术结果生成模块501，用于至少根据第一虚拟现实人体模型和第二虚拟现实人体模型生成虚拟手术结果，虚拟手术结果包括手术方案和术后效果图中至少一项。

参见图6，图6为本申请实施例提供的一种数据交互装置600，该装置包括：

模型数据生成模块601，用于通过摄像头采集人体特征点数据，根据人体特征点数据生成目标对象的人体模型数据；

模型数据发送模块602，用于将目标对象的人体模型数据发送至数据处理端，以在数据处理端根据目标对象的人体模型数据，生成展示于虚拟现实场景中的第一虚拟现实人体模型，以及针对第一虚拟现实人体模型进行数据交互；

数据交互结果接收模块603，用于接收数据处理端发送的数据交互结果。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的数据交互的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据交互的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据交互的方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据交互的方法对应的程序指令/模块(例如，模型数据接收模块401、场景模型生成模块402、数据交互模块403、发送模块404)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据交互的方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据交互的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至数据交互的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据交互的方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与数据交互的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(vps)服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。