用于虚拟就诊时的诊疗信息显示方法、系统、设备及介质与流程

1.本发明涉及虚拟就诊技术领域，特别涉及一种用于虚拟就诊时的诊疗信息显示方法、系统、设备及介质。


背景技术：

2.当前阶段数字化医疗一般运用在精准智能预约、电子病历卡、互联互通互认、医疗付费、线上申请核酸检测、智慧急救等场景并结合医院周围设施和数据赋能，优化流程，实现智能分诊、停车预约、智能规划陪诊、智能优先就诊、居家健康随访等更多智能化医疗场景。这些运用提高了看病效率，简化了看病流程，并能让医生提前了解病史和现状，分析是否就诊，从而减少患者进出医院的次数。但是这些方法仍就需要去医院，依旧存在风险，虽有线上就诊，但医生与患者间仍然无法面对面交流，并且，现有的线上就诊都无法实时显示医生所写的医嘱信息以及药品信息，影响了就诊的有效沟通，从而缺少沉浸式看病就医的感受。


技术实现要素：

3.本发明要解决的技术问题是为了克服现有技术中线上就诊时无法实时显示诊疗信息的缺陷，提供一种用于虚拟就诊时的诊疗信息显示方法、系统、设备及介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.本发明提供一种用于虚拟就诊时的诊疗信息显示方法，所述诊疗信息显示方法包括：
6.获取根据患者佩戴的第一虚拟现实设备所采集的患者信息，基于所述患者信息建立与患者对应的虚拟患者；
7.获取根据医生佩戴的第二虚拟现实设备所采集的医生动作信息，并根据所述医生动作信息识别出所述医生在虚拟就诊过程中所开具的诊疗信息；
8.在所述虚拟患者进行所述虚拟就诊过程中实时显示所述诊疗信息。
9.较佳地，所述诊疗信息包括会诊记录和/或药物价格。
10.较佳地，所述实时显示所述诊疗信息的步骤包括：
11.获取在所述虚拟就诊过程中所述医生开具的药物信息；
12.基于所述药物信息显示对应的药物价格；其中，所述药物价格包括药物在所述医生所处医院的药物价格和/或该药物在其他地区或其他医院的参考价格。
13.较佳地，在获取在所述虚拟就诊过程中所述医生开具的药物信息之后，所述诊疗信息显示方法还包括：
14.基于相似药物推荐模型获取药物的相似药物，所述药物价格还包括相似药物的药物价格；
15.其中，所述相似药物推荐模型通过预设药物训练数据进行训练，所述预设药物训练数据包括多种药物以及每种药物的相似药物。
16.较佳地，所述诊疗信息显示方法还包括：
17.获取所述患者的医保信息；
18.基于所述医保信息和所述药物价格为所述患者进行药物推荐。
19.较佳地，当所述诊疗信息包括会诊记录时，所述诊疗信息显示方法还包括：
20.接收所述患者对所述会诊记录的反馈信息，根据所述反馈信息修改所述会诊记录。
21.较佳地，所述患者信息包括真人图像、微表情、微动作和体征中的至少一种，所述基于所述患者信息建立与患者对应的虚拟患者的步骤包括：
22.基于所述患者的真人图像进行建模以构建基础虚拟人物；
23.将所述患者的微表情、所述微动作和所述体征中的至少一种映射至所述基础虚拟人物，以进行实时渲染获取对应的所述虚拟患者。
24.本发明还提供一种用于虚拟就诊时的诊疗信息显示系统，所述诊疗信息显示系统包括：
25.虚拟患者建立模块，用于获取虚拟现实设备采集的患者信息，基于所述患者信息建立与患者对应的虚拟患者；
26.虚拟医生诊疗模块，用于利用所述虚拟现实设备采集医生的动作信息，并根据所述动作信息识别出所述医生在虚拟就诊过程中所开具的诊疗信息；其中，所述动作信息包括肢体动作和/或口头动作；
27.诊疗信息显示模块，用于在所述虚拟患者进行所述虚拟就诊过程中实时显示所述诊疗信息。
28.较佳地，所述诊疗信息包括会诊记录和/或药物价格。
29.较佳地，所述诊疗信息显示模块还用于获取在所述虚拟就诊过程中所述医生开具的药物信息；
30.基于所述药物信息显示对应的药物价格；其中，所述药物价格包括药物在所述医生所处医院的药物价格和/或该药物在其他地区或其他医院的参考价格。
31.较佳地，所述诊疗信息显示模块还用于基于相似药物推荐模型获取药物的相似药物，所述药物价格还包括相似药物的药物价格；
32.其中，所述相似药物推荐模型通过预设药物训练数据进行训练，所述预设药物训练数据包括多种药物以及每种药物的相似药物。
33.较佳地，所述诊疗信息显示系统还包括药物推荐模块；
34.所述药物推荐模块用于获取所述患者的医保信息；
35.基于所述医保信息和所述药物价格为所述患者进行药物推荐。
36.较佳地，所述诊疗信息显示模块还用于接收所述患者对所述会诊记录的反馈信息，根据所述反馈信息修改所述会诊记录。
37.较佳地，所述患者信息包括真人图像、微表情、微动作和体征中的至少一种，所述虚拟患者建立模块还用于基于所述患者的真人图像进行建模以构建基础虚拟人物；
38.将所述患者的微表情、所述微动作和所述体征中的至少一种映射至所述基础虚拟人物，以进行实时渲染获取对应的所述虚拟患者。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行计算机程序时实现如上所述的用于虚拟就诊时的诊疗信息显示方法。
40.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于虚拟就诊时的诊疗信息显示方法。
41.本发明的积极进步效果在于：通过获取根据患者佩戴的第一虚拟现实设备所采集的患者信息，基于患者信息建立与患者对应的虚拟患者，获取根据医生佩戴的第二虚拟现实设备所采集的医生动作信息，并根据医生动作信息识别出医生在虚拟就诊过程中所开具的诊疗信息，在虚拟患者进行虚拟就诊过程中实时显示诊疗信息，解决了现有的线上就诊效率低，交互效果差的问题，使得在就诊阶段能够更加透明和人性化，大大提高了患者的就诊体验。
附图说明
42.图1为本发明实施例1的用于虚拟就诊时的诊疗信息显示方法的第一流程示意图。
43.图2为本发明中用户佩戴虚拟显示设备的示意图。
44.图3为本发明实施例1的用于虚拟就诊时的诊疗信息显示方法的第二流程示意图。
45.图4为本发明实施例1的用于虚拟就诊时的诊疗信息显示方法的第三流程示意图。
46.图5为本发明实施例1的用于虚拟就诊时的诊疗信息显示方法的第四流程示意图。
47.图6为本发明实施例2的用于虚拟就诊时的诊疗信息显示系统的模块示意图。
48.图7为本发明实施例3的实现用于虚拟就诊时的诊疗信息显示方法的电子设备的结构示意图。
具体实施方式
49.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
50.实施例1
51.由于数字化智能化技术的不断深入各行各业，数字化医疗技术也逐渐被推广。进而线上就诊的概念就提了出来，虽有线上就诊，但医生与患者间仍然无法面对面交流，并且，现有的线上就诊都无法实时显示医生所写的医嘱信息以及药品信息，影响了就诊的有效沟通，从而缺少沉浸式看病就医的感受。基于此本实施例提供了一种用于虚拟就诊时的诊疗信息显示方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
52.本实施例所提供的诊疗信息显示方法可以在移动终端、计算机终端或者类似的运算装置中执行。
53.具体地，本实施例提供一种用于虚拟就诊时的诊疗信息显示方法，如图 1所示，本实施例的诊疗信息显示方法包括：
54.s101、获取根据患者佩戴的第一虚拟现实设备所采集的患者信息，基于患者信息建立与患者对应的虚拟患者。
55.s102、获取根据医生佩戴的第二虚拟现实设备所采集的医生动作信息，并根据医
生动作信息识别出医生在虚拟就诊过程中所开具的诊疗信息。
56.需要说明的是，本实施例的第一虚拟现实设备、第二虚拟现实设备可以是包括但不限于在ar(augmented reality，增强现实)、vr(virtual reality，虚拟现实)、mr(mixed reality，混合现实)等头显设备的基础上配合上各类传感器设备、定位追踪设备、动作捕捉设备、交互设备组合而成的可显示虚拟场景或现实场景或虚拟现实结合的场景的设备。图2示出了一种用户佩戴虚拟设备的示意图。并且本实施例的第一虚拟现实设备、第二虚拟现实设备还可以模拟各类人体感知，如冷感、热感、触感、嗅觉、疼感等等。进一步地，虚拟现实设备在实现上述的功能外，还可以根据用户需求进行改进，如医生佩戴的第二虚拟现实设备还具有语音识别和文字识别，以将现实中的医生动作信息，如书写的文字信息或语音信息在虚拟就诊过程识别并转换为诊疗信息。从而可以使得本实施例的虚拟就诊从语音、动作、体感多方位的互动，使患者与医生之间的交流更加真实和丰富。
57.可选地，在本实施例中可以根据实体医院的配置，建模虚拟医院，虚拟医院与实体医院相同配置；当然，首先需要通过医院的授权，实体为医院建模，实体医院的配置，大致可以根据实体医院所需的基础需求，如挂号、诊断、缴费等等，以及设置科室以及诊断的房间，以及对应的引导指示等等，具体可以根据需求而定。当然上述局限于建立虚拟医院，还可以是各类机构的医疗门诊部门，医疗站，药店等，多种可以应用就诊交互场景的场所。进而，虚拟患者可以在虚拟医院根据就诊需求选择对应的就诊虚拟医生，并且由于是虚拟就诊，避免医院拥堵以及患者排队就诊时间长、病人扎堆情况严重等现象，提高患者就诊体验。
58.s103、在虚拟患者进行虚拟就诊过程中实时显示诊疗信息。
59.在一个可选地实施方式中，本实施例的诊疗信息包括但不限于会诊记录和/或药物价格。需要说明的是，在虚拟就诊过程中实时显示诊疗信息可以根据患者的需求进行显示，也可以根据医生的指示进行显示。例如，在患者需要了解会诊记录时，那么在虚拟就诊过程中就会实时显示会诊记录；在患者需要了解药物价格时，那么在虚拟就诊过程中就会实时显示药物价格；而医生想要就会诊记录和药物价格与患者进行沟通时，那么在虚拟就诊过程中就会实时会诊记录和显示药物价格，从而本实施例能够从用户出发，依据用户的需求和指示显示对应的诊疗信息，以提高了用户的使用体验。
60.在上述虚拟就诊过程的交互过程包括患者和医生分别通过第一虚拟现实设备和第二虚拟现实设备进入同一虚拟空间，患者通过第一虚拟现实设备看到医生的虚拟替身(虚拟医生)，医生通过第二虚拟现实设备看到患者的虚拟替身(虚拟患者)，患者和医生可以通过肢体动作和语音进行交流。
61.本实施例通过获取根据患者佩戴的第一虚拟现实设备所采集的患者信息，基于患者信息建立与患者对应的虚拟患者，获取根据医生佩戴的第二虚拟现实设备所采集的医生动作信息，并根据医生动作信息识别出医生在虚拟就诊过程中所开具的诊疗信息，在虚拟患者进行虚拟就诊过程中实时显示诊疗信息，进而改变了现有技术中的患者的就诊方式，提高了看病效率、简化了看病流程，避免了去医院就诊耗费精力且浪费了路程和等待的时间，提高用户的体验感。
62.进一步地，网上有很多第三方药品价格查询网站，都可以查询药物价格，但是缺乏实时性和推广性，绝大部分人基本不了解也不使用。因为很多医院医生在进行就诊时使用电子病历，记录患者病史并随即开药，其屏幕一直背对患者，从而导致就诊时的不透明，导
致患者只能处于听由医生。即便有些医院人性化，患者可以观看到就诊显示屏，但是对药物的总体趋势价格不了解，对药物是否报销，药物的疗程和报销后医药费用也不清楚，从而在就诊期间内心总会对药物价格有所顾虑，影响了就诊的有效沟通。
63.基于上述内容，作为本实施例的一个可选实施方式，如图3所示，本实施例的步骤s103包括：
64.s1031、获取在虚拟就诊过程中医生开具的药物信息。
65.s1032、基于药物信息显示对应的药物价格。其中，药物价格包括药物在医生所处医院的药物价格和/或该药物在其他地区或其他医院的参考价格。
66.在一个可选地实施方式中，本实施例的诊疗信息显示方法还包括：
67.基于相似药物推荐模型获取药物的相似药物，药物价格还包括相似药物的药物价格。
68.其中，相似药物推荐模型通过预设药物训练数据进行训练，预设药物训练数据包括多种药物以及每种药物的相似药物。
69.本实施例通过上述步骤，当医生开药时，不仅能够实时显示该药物的药物信息，还能够显示该药物在不同地区、不同医院间的药物价格，并且还可以利用预设药物训练数据训练相似药物推荐模型以推荐出药物的相似药物，进而还可以显示相似药物的药物信息以及其相似药物的药物价格，实现了药物的统一管理，减少医生的药物记住能力，提高医疗价格的透明化，减少患者对药价的恐惧心理。
70.在一个可选地实施方式中，如图4所示，本实施例的诊疗信息显示方法还包括：
71.s301、获取患者的医保信息。
72.s302、基于医保信息和药物价格为患者进行药物推荐。
73.本实施例可以根据患者的参保信息类型的报销条件结合药物价格对患者进行药物推荐，以使得患者能够获得最为合适的药物，进一步减少患者对药价的恐惧心理，实现了从患者角度监督医生，避免了乱开药乱报销的问题。
74.作为本实施例的另一个可选实施方式，当诊疗信息包括会诊记录时，本实施例的诊疗信息显示方法还包括：
75.接收患者对会诊记录的反馈信息，根据反馈信息修改会诊记录。
76.可选地，上述接收患者对会诊记录的反馈信息可以通过语音输入，或者文本输入，还可以是手语输入等。在就诊期间，患者可以实时观看医生的会诊记录，可以随时纠正，进而医生可以根据反馈信息修改会诊记录。
77.在一种可选地实施方式中，本实施例的诊疗信息显示方法还可以通过学习疾病诊断和治疗知识以及临床病例数据，构建智能诊断模型与智能治疗模型，并进行诊断计算实验和治疗计算实验，得出智能诊断结果和智能治疗方案以帮助医生在虚拟就诊过程中提高虚拟就诊结果的准确度。
78.作为本实施例的一个可选实施方式，患者信息包括但不限于真人图像、微表情、微动作和体征中的至少一种，如图5所示，步骤s101包括：
79.s1011、基于患者的真人图像进行建模以构建基础虚拟人物。
80.s1012、将患者的微表情、微动作和体征中的至少一种映射至基础虚拟人物，以进行实时渲染获取对应的虚拟患者。
81.在上述建立虚拟患者的过程中，先基于真人图像进行面部及身体3d建模，选择身体部位的一些关键点实现形象设计，将身体关键点识别映射到模型上进行绑定，关键点的数量越多模型的细致效果，利用动作捕捉设备或特定摄像头和图像识别，捕捉在形体、表情、眼神、手势等方面的关键点变化，根据精细的行为动作，进行重定向，并对动作、眼神、手指、语音等采用不同的驱动方式，最终实现实时虚拟数字人行为动作。可选地，以vr设备和穿戴设备为例，vr设备与穿戴设备通讯，穿戴设备根据vr设备提供的虚拟环境参数对人体模拟相应的环境状态，vr设备接收穿戴设备反馈的人体参数并在虚拟环境中模拟出相应的虚拟人体状态，穿戴设备包括外套，外套包括环境模拟单元和人体参数采集单元，环境模拟单元和人体参数采集单元均与vr设备通讯，外套根据vr设备提供的虚拟环境参数对人体模拟相应的环境状态，vr设备接收外套反馈的人体参数并在虚拟环境中模拟出相应的虚拟人体状态。相应地，上述对建立虚拟患者的过程也同样适用于建立虚拟医生，在此不做赘述。
82.在一种可选地实施方式中，也可以利用虚拟技术逼真显示人物特征技术，可以适用于后期计算机驱动型虚拟数字人的建模，并训练各类驱动模型，将语音唇形等参数输入模型，通过3d渲染可以显示出数字人，从而也可以适用于抑郁症等患者，实现心灵健康的治疗。
83.通过虚拟技术，基于真人图像、微表情、微动作和体征中的至少一种实时塑造虚拟人，虚拟人能够时刻捕捉面部表情和肢体动作，使得在虚拟就诊过程中，医生通过患者的微表情、微动作，并结合虚拟设备上的心率传感器进行心理变化判断，实时给予安慰宽心，提高医生与患者的心灵上的沟通，从而使患者能够更加信任医生，减低患者对医生的偏见。
84.本实施例的用于虚拟就诊时的诊疗信息显示方法通过上述步骤，实现了在虚拟就诊过程中实时显示患者所关心的药物价格和会诊记录，解决了现有的线上就诊效率低，交互效果差的问题，使得在就诊阶段能够更加透明和人性化，大大提高了患者的就诊体验。
85.实施例2
86.本发明还提供一种用于虚拟就诊时的诊疗信息显示系统，如图6所示，本实施例的诊疗信息显示系统包括：
87.虚拟患者建立模块1，用于获取虚拟现实设备采集的患者信息，基于患者信息建立与患者对应的虚拟患者。
88.虚拟医生诊疗模块2，用于利用虚拟现实设备采集医生的动作信息，并根据动作信息识别出医生在虚拟就诊过程中所开具的诊疗信息；其中，动作信息包括肢体动作和/或口头动作。
89.需要说明的是，本实施例的第一虚拟现实设备、第二虚拟现实设备可以是包括但不限于在ar(augmented reality，增强现实)、vr(virtual reality，虚拟现实)、mr(mixed reality，混合现实)等头显设备的基础上配合上各类传感器设备、定位追踪设备、动作捕捉设备、交互设备组合而成的可显示虚拟场景或现实场景或虚拟现实结合的场景的设备。并且本实施例的第一虚拟现实设备、第二虚拟现实设备还可以模拟各类人体感知，如冷感、热感、触感、嗅觉、疼感等等。进一步地，虚拟现实设备在实现上述的功能外，还可以根据用户需求进行改进，如医生佩戴的第二虚拟现实设备还具有语音识别和文字识别，以将现实中的医生动作信息，如书写的文字信息或语音信息在虚拟就诊过程识别并转换为诊疗信息。从而可以使得本实施例的虚拟就诊从音、动作、体感多方位的互动，使患者与医生之间的交
流更加真实和丰富。
90.可选地，在本实施例中可以根据实体医院的配置，建模虚拟医院，虚拟医院与实体医院相同配置；当然，首先需要通过医院的授权，实体为医院建模，实体医院的配置，大致可以根据实体医院所需的基础需求，如挂号、诊断、缴费等等，以及设置科室以及诊断的房间，以及对应的引导指示等等，具体可以根据需求而定。当然上述局限于建立虚拟医院，还可以是各类机构的医疗门诊部门，医疗站，药店等，多种可以应用就诊交互场景的场所。进而，虚拟患者可以在虚拟医院根据就诊需求选择对应的就诊虚拟医生，并且由于是虚拟就诊，避免医院拥堵以及患者排队就诊时间长、病人扎堆情况严重等现象，提高患者就诊体验。
91.诊疗信息显示模块3，用于在虚拟患者进行虚拟就诊过程中实时显示诊疗信息。
92.在一个可选地实施方式中，本实施例的诊疗信息包括但不限于会诊记录和/或药物价格。需要说明的是，在虚拟就诊过程中实时显示诊疗信息可以根据患者的需求进行显示，也可以根据医生的指示进行显示。例如，在患者需要了解会诊记录时，那么在虚拟就诊过程中就会实时显示会诊记录；在患者需要了解药物价格时，那么在虚拟就诊过程中就会实时显示药物价格；而医生想要就会诊记录和药物价格与患者进行沟通时，那么在虚拟就诊过程中就会实时会诊记录和显示药物价格，从而本实施例能够从用户出发，依据用户的需求和指示显示对应的诊疗信息，以提高了用户的使用体验。
93.在上述虚拟就诊过程的交互过程包括患者和医生分别通过第一虚拟现实设备和第二虚拟现实设备进入同一虚拟空间，患者通过第一虚拟现实设备看到医生的虚拟替身(虚拟医生)，医生通过第二虚拟现实设备看到患者的虚拟替身(虚拟患者)，患者和医生可以通过肢体动作和语音进行交流。
94.本实施例通过获取根据患者佩戴的第一虚拟现实设备所采集的患者信息，基于患者信息建立与患者对应的虚拟患者，获取根据医生佩戴的第二虚拟现实设备所采集的医生动作信息，并根据医生动作信息识别出医生在虚拟就诊过程中所开具的诊疗信息，在虚拟患者进行虚拟就诊过程中实时显示诊疗信息，进而改变了现有技术中的患者的就诊方式，提高了看病效率，简化了看病流程，避免了去医院就诊耗费精力且浪费了路程和等待的时间，提高用户的体验感。
95.进一步地，网上有很多第三方药品价格查询网站，都可以查询药物价格，但是缺乏实时性和推广性，绝大部分人基本不了解也不使用。因为很多医生在进行就诊时使用电子病历，记录患者病史并随即开药，其屏幕一直背对患者，从而导致就诊时的不透明，导致患者只能处于听由医生。即便有些医院人性化，患者可以观看到就诊显示屏，但是对药物的总体趋势价格不了解，对药物是否报销，药物的疗程和报销后医药费用也不清楚，从而在就诊期间内心总会对药物价格有所顾虑，影响了就诊的有效沟通。
96.基于上述内容，作为本实施例的一个可选实施方式，本实施例的诊疗信息显示模块3还用于获取在虚拟就诊过程中医生开具的药物信息。基于药物信息显示对应的药物价格；其中，药物价格包括药物在医生所处医院的药物价格和/或该药物在其他地区或其他医院的参考价格。
97.在一个可选地实施方式中，本实施例的诊疗信息显示模块3还用于基于相似药物推荐模型获取药物的相似药物，药物价格还包括相似药物的药物价格。
98.其中，相似药物推荐模型通过预设药物训练数据进行训练，预设药物训练数据包
括多种药物以及每种药物的相似药物。
99.其中，相似药物推荐模型通过预设药物训练数据进行训练，预设药物训练数据包括多种药物以及每种药物的相似药物。
100.本实施例通过上述过程，当医生开药时，不仅能够实时显示该药物的药物信息，还能够显示该药物在不同地区、不同医院间的药物价格，并且还可以利用预设药物训练数据训练相似药物推荐模型以推荐出药物的相似药物，进而还可以显示相似药物的药物信息以及其相似药物的药物价格，实现了药物的统一管理，减少医生的药物记住能力，提高医疗价格的透明化，减少患者对药价的恐惧心理。
101.在一个可选地实施方式中，本实施例的诊疗信息显示系统还包括药物推荐模块4。
102.药物推荐模块用于获取患者的医保信息。
103.基于医保信息和药物价格为患者进行药物推荐。
104.本实施例可以根据患者的参保信息类型的报销条件结合药物价格对患者进行药物推荐，以使得患者能够获得最为合适的药物，进一步减少患者对药价的恐惧心理，实现了从患者角度监督医生，避免了乱开药乱报销的问题。
105.作为本实施例的另一个可选实施方式，本实施例的诊疗信息显示模块3 还用于接收患者对会诊记录的反馈信息，根据反馈信息修改会诊记录。
106.可选地，上述接收患者对会诊记录的反馈信息可以通过语音输入，或者文本输入，还可以是手语输入等。在就诊期间，患者可以实时观看医生的会诊记录，可以随时纠正，进而医生可以根据反馈信息修改会诊记录。
107.在一种可选地实施方式中，本实施例的诊疗信息显示方法还可以通过学习疾病诊断和治疗知识以及临床病例数据，构建智能诊断模型与智能治疗模型，并进行诊断计算实验和治疗计算实验，得出智能诊断结果和智能治疗方案以帮助医生在虚拟就诊过程中提高虚拟就诊结果的准确度。
108.作为本实施例的一个可选实施方式，患者信息包括真人图像、微表情、微动作和体征中的至少一种，虚拟患者建立模块1还用于基于患者的真人图像进行建模以构建基础虚拟人物。
109.将患者的微表情、微动作和体征中的至少一种映射至基础虚拟人物，以进行实时渲染获取对应的虚拟患者。
110.在上述建立虚拟患者的过程中，先基于真人图像进行面部及身体3d建模，选择身体部位的一些关键点实现形象设计，将身体关键点识别映射到模型上进行绑定，关键点的数量越多模型的细致效果，利用动作捕捉设备或特定摄像头和图像识别，捕捉在形体、表情、眼神、手势等方面的关键点变化，根据精细的行为动作，进行重定向，并对动作、眼神、手指、语音等采用不同的驱动方式，最终实现实时虚拟数字人行为动作。可选地，以vr设备和穿戴设备为例，vr设备与穿戴设备通讯，穿戴设备根据vr设备提供的虚拟环境参数对人体模拟相应的环境状态，vr设备接收穿戴设备反馈的人体参数并在虚拟环境中模拟出相应的虚拟人体状态，穿戴设备包括外套，外套包括环境模拟单元和人体参数采集单元，环境模拟单元和人体参数采集单元均与vr设备通讯，外套根据vr设备提供的虚拟环境参数对人体模拟相应的环境状态，vr设备接收外套反馈的人体参数并在虚拟环境中模拟出相应的虚拟人体状态。相应地，上述对建立虚拟患者的过程也同样适用于建立虚拟医生，在此不做赘述。
111.在一种可选地实施方式中，也可以利用虚拟技术逼真显示人物特征技术，可以适用于后期计算机驱动型虚拟数字人的建模，并训练各类驱动模型，将语音唇形等参数输入模型，通过3d渲染可以显示出数字人，从而也可以适用于抑郁症等患者，实现心灵健康的治疗。
112.通过虚拟技术，基于真人图像、微表情、微动作和体征中的至少一种实时塑造虚拟人，虚拟人能够时刻捕捉面部表情和肢体动作，使得在虚拟就诊过程中，医生通过患者的微表情、微动作，并结合虚拟设备上的心率传感器进行心理变化判断，实时给予安慰宽心，提高医生与患者的心灵上的沟通，从而使患者能够更加信任医生，减低患者对医生的偏见。
113.本实施例的用于虚拟就诊时的诊疗信息显示系统实现了在虚拟就诊过程中实时显示患者所关心的药物价格和会诊记录，解决了现有的线上就诊效率低，交互效果差的问题，使得在就诊阶段能够更加透明和人性化，大大提高了患者的就诊体验。
114.实施例3
115.图7为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1的用于虚拟就诊时的诊疗信息显示方法。图7 显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
116.如图7所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
117.总线33包括数据总线、地址总线和控制总线。
118.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/ 或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
119.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
120.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的用于虚拟就诊时的诊疗信息显示方法。
121.电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等) 通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图7所示，网络适配器36 通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
122.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
123.实施例4
124.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1的用于虚拟就诊时的诊疗信息显示方法中的步骤。
125.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
126.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1的用于虚拟就诊时的诊疗信息显示方法中的步骤。
127.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
128.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。