虚拟教育方法、装置、计算机装置及存储介质与流程

文档序号:15270567发布日期:2018-08-28 22:22阅读:140来源:国知局
本发明涉及电子
技术领域
,具体涉及一种虚拟教育方法、装置、计算机装置及存储介质。
背景技术
:本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。传统的视频教育是通过双方进行视频通话来进行的,一般老师与学生通过面对面视频来进行教学讲解,传统的视频教育注重的是视频图像以及语言的交流,因此体验度并不高。技术实现要素:鉴于此,有必要提供一种虚拟教育方法、装置、计算机装置及计算机可读存储介质,有利于提升学生与老师的交互体验。本发明的第一方面提供一种虚拟教育方法,所述方法包括:将第一交互端的第一目标对象转化为虚拟模型;将所述虚拟模型与预设虚拟场景进行融合;接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息;根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为。进一步的,所述第一交互端的数量为多个;所述将第一交互端的第一目标对象转化为虚拟模型;将所述虚拟模型与预设虚拟场景进行融合,包括:将每一所述第一交互端的第一目标对象转化为与其相对应的虚拟模型;将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像。进一步的,所述第一交互端包括多个第一目标对象,所述将第一交互端的第一目标对象转化为虚拟模型;将所述虚拟模型与预设虚拟场景进行融合,包括:将所述第一交互端的所有第一目标对象转换为相对应的虚拟模型;将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像。进一步的,所述交互信息包括语言交互信息以及动作交互信息,所述根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为,包括:根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为并控制所述第二交互端的声响装置发出与所述语言交互信息相匹配的声音。进一步的,所述控制所述第二交互端的声响装置发出与所述语言交互信息相匹配的声音,包括:控制所述第二交互端的声响装置发出与所述语言交互信息相匹配并与所述行为相匹配的声音。本发明第二方面提供一种虚拟教育装置,所述装置包括:转化模块,用于将第一交互端的第一目标对象转化为虚拟模型;融合模块,用于将所述虚拟模型与预设虚拟场景进行融合;接收模块,用于接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息;控制模块,用于根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为。进一步的,所述第一交互端的数量为多个;所述转化模块,具体用于将每一所述第一交互端的第一目标对象转化为与其相对应的虚拟模型;所述融合模块,具体用于将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像。进一步的,所述交互信息包括语言交互信息以及动作交互信息,所述控制模块具体用于:根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为并控制所述第二交互端的声响装置发出与所述语言交互信息相匹配的声音。本发明第三方面提供一种计算机装置,所述计算机装置包括处理器,所述处理器用于执行存储装置中存储的计算机程序时实现所述的虚拟教育方法的步骤。本发明第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的虚拟教育方法的步骤。本发明提供的虚拟教育方法、装置、计算机装置及计算机可读存储介质,将第一交互端的第一目标对象转化为虚拟模型,将所述虚拟模型与预设虚拟场景进行融合,接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息,根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为,本发明能够将第一交互端的第一目标对象转化虚拟模型,并与预设虚拟场景进行融合形成虚拟场景,可以通过第二交互端的显示设备看到虚拟场景下第一目标对象对应的虚拟模型,并可以感知虚拟模型的交互,加深教学印象,提升教学体验。附图说明为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明一实施方式所提供的虚拟教育系统的结构图;图2是本发明一实施方式提供的虚拟教育方法的流程图;图3是本发明的终端装置的示例性的结构图;图4是本发明的虚拟教育装置的示例性的功能模块图。主要元件符号说明终端装置1处理器10存储装置20虚拟教育装置100转化模块11融合模块12接收模块13控制模块14如下具体实施方式将结合上述附图进一步说明本发明。具体实施方式为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的
技术领域
的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本发明第一实施方式提供的虚拟教育方法可应用于虚拟教育系统中。在一可能的实施方式中,如图1所示,所述虚拟教育系统可以包括老师端以及多个学生端,老师端以及每个学生端可以在不同的地理位置。老师端以及每个学生端均可为一个单独的系统,该系统可以包括至少一图像采集装置(如rgb高清镜头、ir红外镜头以及tof深度镜头等)、至少一声音采集装置、图像处理装置(如pc电脑、笔记本电脑等具有图像处理功能的设备)、虚拟现实显示设备等,所述虚拟显示显示设备可以是能够显示虚拟视频的电脑、移动终端、虚拟头显设备(如vr一体机、ar一体机等)。老师端以及每个学生端可以通过网络发送和接收所有任何其他端的数据信息,如语音信息、图片信息等。本实施方式的虚拟教育方法可以应用于教师端,学生端作为第一交互端,老师端作为第二交互端,应当理解的是,本实施方式的虚拟教育方法也可以应用于学生端,老师端作为第一交互端,而学生端作为第二交互端,在此不作限制。如图2所示,所述虚拟教育方法包括以下步骤:s101:将第一交互端的第一目标对象转化为虚拟模型。应当理解的是,本步骤可以通过第二交互端的图像处理装置来将第一交互端的第一目标对象转化为预设虚拟模型,所述目标对象包括但不限于是第一交互端的用户,所述虚拟模型可以是预设的人物模型。所述虚拟模型可以是预先存储在图像处理装置中的的模型,或者,可以是通过图像处理装置实时生成的虚拟模型,在此不作限制。应当理解的是,所述第一目标对象可以是第一交互端的学生,或者,可以包括其他的目标对象,如记录用笔等。当第一交互端具有多个时,也就是说,当学生端具有多个时,可以将每一所述第一交互端的第一目标对象转化成与其相对应的虚拟模型,每个第一目标对象对应的虚拟模型之间的形态可以是相同的,也可以是不相同的。当第一交互端具有多个目标对象时,可以将所述第一交互端的所有第一目标对象转换为相对应的虚拟模型,每个第一目标对象对应的虚拟模型之间的形态可以是相同的,也可以是不相同的。s102:将所述虚拟模型与预设虚拟场景进行融合。在本实施方式中,可以配备多个预设虚拟场景,每个预设虚拟场景的主题可以不一样,在虚拟教育中,预设虚拟场景例如可以是不同风格和形式的教学场景,通过选择不同的预设虚拟场景与虚拟模型进行融合,能够得到不同的虚拟感受。应当理解的是,当仅有一个第一交互端时,且该交互端具有一个目标对象时,可以仅将该第一交互端的目标对象对应的虚拟模型与虚拟场景进行融合;当有多个第一交互端时,可以将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像,每个虚拟模型在所述预设虚拟场景中位置可以不相同;当所述第一交互端包括多个第一目标对象时,将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像,每个虚拟模型在所述预设虚拟场景中位置可以不相同。s103:接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息。应当理解的是,所述交互信息可以包括语言交互信息和动作交互信息。当第一交互端的用户在头戴显示设备沉浸在虚拟环境中时,可以看到包括第二交互端的第二目标对象。实现原理如下:第一交互端实时接收第二交互端获取的图像以及声音,该图像的内容包括所述第一交互端的目标对象;第二终端可以对获取的所述图像进行抠图处理得到包括所述目标对象的人物图像;将所述人物图像与上述的预设虚拟场景进行融合得到虚拟融合图像;然后将声音合成到该虚拟融合图像中可以得到虚拟视频。第一交互端的用户通过头戴显示设备能够播放该虚拟视频,如此,第一交互端的用户能够在虚拟环境中看到第二交互端的第二目标对象,第一交互端的用户能够向第二交互端的第二目标对象进行交互,在虚拟环境中,可以体现为肢体交互或者语言交互,例如,向第二目标对象喊话或者给第二目标对象传递物品等。当第一交互端的用户要向第二目标对象进行交互时,第二交互端能够接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息。s104:根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为。第二交互端可以根据所述交互信息,控制所述虚拟模型产生与所述交互信息相匹配的行为。应当理解的是,所述所述交互信息包括语言交互信息以及动作交互信息,本步骤具体可以根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为并控制所述第二交互端的声响装置发出与所述语言交互信息相匹配的声音。更为具体的,可以根据所述语言交互信息,控制所述第二交互端的声响装置发出与所述语言交互信息相匹配并与所述行为相匹配的声音第一交互端的图像处理装置可以基于图片骨骼卷积神经网络算法进行深度学习和训练,通过学习和训练好后的神经网络计算骨骼信息,例如计算人体头部、手部、脚部、身体部分等各处的骨骼信息,通过计算得到这些信息,锁定感兴趣的人物,来对人物进行识别以及追踪,通过识别和追踪可以得到动作交互信息。应当理解的是,所述虚拟模型产生的行为与所述交互信息可以基本上是同步的(例如延迟在100ms之内),第二交互端的用户从虚拟场景看到的所述虚拟模型产生的交互行为与第一交互端的用户从虚拟场景看到的所述第二交互端的第二目标对象在虚拟场景中的交互行为也可以是基本上相同的。如此,第一交互端的目标对象能够在虚拟场景中看到第二交互端的目标对象的真实面目并且第一交互端的目标对象能够通过虚拟场景来与第二交互端的目标对象进行实时互动,同样的,第二交互端的目标对象也能够通过虚拟场景来与第一交互端的目标对象进行实时互动,第二交互端的目标对象能够通过预设虚拟场景中看到与第一交互端的目标对象相对应的虚拟模型。当具有多个第一目标对象时,将第一目标对象通过转化为虚拟模型的方式,能够降低第二交互端的图像处理压力,提高第二交互端的虚拟融合速度。本实施方式所提供的虚拟教育方法,将第一交互端的第一目标对象转化为虚拟模型,将所述虚拟模型与预设虚拟场景进行融合,接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息,根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为。本发明能够将第一交互端的第一目标对象转化虚拟模型,并与预设虚拟场景进行融合形成虚拟场景,可以通过第二交互端的显示设备看到虚拟场景下第一目标对象对应的虚拟模型,并可以感知虚拟模型的交互,加深教学印象,提升教学体验。图3为本发明提供的终端装置1的一种实施例的结构图,如图3所示,所述终端装置1可应用上述各实施方式,下面对本发明所提供的终端装置1进行描述,所述终端装置1可以包括虚拟教育装置100,终端装置1还可包括处理器10和存储装置20,以及存储在所述存储装置20中并可向所述处理器10上运行的计算机程序(信息),例如虚拟教育程序等,当然还可以包括其他的硬件部分在此不再赘述。所述处理器10可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述虚拟教育1的控制中心,利用各种接口和线路连接整个终端装置1的各个部分。所述存储装置20可用于存储所述计算机程序和/或模块,所述处理器10通过运行或执行存储在所述存储装置20内的计算机程序和/或模块,以及调用存储在存储装置20内的数据,实现所述服务器的各种功能。所述存储装置20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储装置20可以包括高速随机存取存储装置,还可以包括非易失性存储装置,例如硬盘、内存、插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、至少一个磁盘存储装置件、闪存器件、或其他易失性固态存储装置件。所述虚拟教育装置100,可用于将第一交互端的第一目标对象转化为虚拟模型,将所述虚拟模型与预设虚拟场景进行融合,接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息,根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为,通过所述虚拟教育装置100,能够将第一交互端的第一目标对象转化虚拟模型,并与预设虚拟场景进行融合形成虚拟场景,可以通过第二交互端的显示设备看到虚拟场景下第一目标对象对应的虚拟模型,并可以感知虚拟模型的交互,加深教学印象,提升教学体验。所述处理器10执行所述计算机程序时实现上述各个实施例中虚拟教育方法中的步骤。或者,所述处理器10执行所述计算机程序时实现各模块/单元的功能。示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储装置20中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序信息段,该信息段用于描述所述计算机程序在所述终端装置1中的执行过程。例如,所述虚拟教育装置100可以包括转化模块11、融合模块12、接收模块13、控制模块14,如图4所示,各模块具体功能如下:所述转化模块11,可用于将第一交互端的第一目标对象转化为虚拟模型;所述融合模块12,可用于将所述虚拟模型与预设虚拟场景进行融合;所述接收模块13,可用于接收所述第一交互端发送的与所述第二交互端的第二目标对象进行交互的交互信息;所述控制模块14,可用于根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为。进一步的,所述第一交互端的数量为多个;所述转化模块11,具体可用于将每一所述第一交互端的第一目标对象转化为与其相对应的虚拟模型;所述融合模块12,具体可用于将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像。进一步的,所述第一交互端包括多个第一目标对象;所述转化模块11,具体可用于将所述第一交互端的所有第一目标对象转换为相对应的虚拟模型;所述融合模块12,具体用于将每个所述虚拟模型融合到所述预设虚拟场景中相应的预设位置,得到包括所有所述第一目标对象的虚拟融合图像。进一步的,所述交互信息包括语言交互信息以及动作交互信息,所述控制模块14,具体可用于根据所述交互信息控制所述虚拟模型产生与所述交互信息相匹配的行为并控制所述第二交互端的声响装置发出与所述语言交互信息相匹配的声音。进一步的,所述控制模块14,具体还可以用于控制所述第二交互端的声响装置发出与所述语言交互信息相匹配并与所述行为相匹配的声音。所述终端装置1可以是pc服务器及云端服务器等计算设备。本领域技术人员可以理解,所述示意图仅仅是终端装置1的示例,并不构成对终端装置1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端装置1还可以包括输入输出设备、网络接入设备、总线等。所述终端装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来信息相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。在本发明所提供的几个实施例中,应当理解的是,所述的方法和装置,也可以通过其他的方式来实现,以上所描述的装置实施例仅是示意性的,所述模块的划分,仅仅是一种逻辑功能划分,实现时可以有另外的划分方式。对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个装置也可以由同一个装置或系统通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1