一种人机交互系统及交互方法
【专利摘要】本发明涉及虚拟现实及人机交互领域，特别涉及一种人机交互系统及交互方法。本发明提供的人机交互系统包括接收实物物体并采集该实物物体特征信息的传输终端、根据特征信息产生对应虚拟物体的处理单元以及显示虚拟物体的显示装置；可以为用户提供放入实物物体，在显示装置中显示出对应虚拟物体；在显示装置中选择虚拟物体，从传输终端拿取相应实物物体的拟真交互体验，可广泛应用于儿童教育、电子娱乐等领域。应用本发明提供的人机交互系统及人机交互方法可拟真“联通”虚拟与真实世界，带给用户耳目一新的感觉。
【专利说明】
_种人机交互系统及交互方法
技术领域
[0001]本发明涉及虚拟现实及人机交互领域，特别涉及一种人机交互系统及交互方法。
【背景技术】
[0002]人机交互技术一直都是计算机领域的重点发展方向，鼠标、键盘及显示器是目前使用历史最长、应用范围最广人机交互设备，但是，随着当前多媒体技术的发展，鼠标、键盘及显示器的搭配组合已经完全不能满足用户的需求，此时，触屏技术、体感技术、数据手套技术应运而生，但是，新生代的人机交互技术仍然不能解决电脑中虚拟世界与真实环境完全割裂，虚拟世界中的物体无法“走”出屏幕，而真实环境中的物体也不能“进”入虚拟世界的现实问题，从而无法为用户提供更加真实的人机交互体验。
【发明内容】
[0003]本发明目的在于克服现有的人机交互技术，不能使虚拟世界中的物体“走”出屏幕，而真实环境中的物体也不能“进”入虚拟世界，从而不能为用户提供更加真实的人机交互体验的问题;提供一种将真实环境中的物体“送入”虚拟世界，将虚拟世界的物体“拿出”到现实世界的拟真人机交互系统。
[0004]本发明的目的在于克服现有技术中所存在的上述不足，提供一种人机交互系统。
[0005]为了实现上述发明目的，本发明提供了以下技术方案:
一种人机交互系统，包括，
传输终端，用于接收用户放入的实物物体；
特征提取单元，对该实物物体进行特征信息采集，并将获取的所述特征信息传输至处理单元;所述特征信息包括该实物物体的大小、形状、颜色、材质；
处理单元，用于根据收到的该实物物体的特征信息判断该实物物体的含义、名称和/或形成与该实物物体对应的虚拟物体；
显示装置，用于显示所述虚拟物体和/或虚拟物体的含义、名称。
[0006]进一步的，所述人机交互系统还包括信息输入装置，所述信息输入装置用于用户输入信息；
所述处理单元还用于根据用户输入的信息生成对应的虚拟物体和/或虚拟物体的含义、名称，并控制显示单元显示该虚拟物体和/或虚拟物体的含义、名称；
所述传输终端还用于根据用户的选择指令将该虚拟物体和/或虚拟物体的含义、名称对应的实物物体送出；
所述实物物体为预存在系统中或由3D打印装置打印出。
[0007]具体的，所述特征提取单元包括图像处理单元及至少一个摄像装置，所述摄像装置用于拍摄所述实物物体的图像;所述图像处理单元用于根据图像提取所述实物物体的特征信息。
[0008]优选的，所述处理单元包括模型生成单元、模型存储单元、模型匹配单元及动画渲染单元;所述模型生成单元用于根据特征信息生产实物物体的虚拟模型;所述模型存储单元用于存储模型生成单元生成的模型及预存在系统内的模型;所述模型匹配单元用于根据特征信息对虚拟物体进行模型匹配;所述动画渲染单元用于对模型进行动画渲染。
[0009]—些实施例中，所述与实物物体对应的虚拟物体为该实物物体的二维和/或三维图形。
[0010]本发明同时提供一种人机交互方法，包括如下步骤:
(1-1)获取实物物体，并对该实物物体进行特征信息采集的步骤;所述特征信息包括该实物物体的大小、形状、颜色、材质；
(1-2)根据采集到的所述特征信息形成与该实物物体对应的虚拟物体和/或虚拟物体的含义、名称的步骤；
(1-3)显示该虚拟物体和/或虚拟物体的含义、名称的步骤。
[0011]进一步的，还包括如下步骤:
(2-1)用户输入信息选择虚拟物体的步骤；
(2-2)根据用户的输入信息生成虚拟物体和/或虚拟物体的含义、名称的步骤；
(2-3)显示用户选择的虚拟物体和/或虚拟物体的含义、名称的步骤；
(2-4)将虚拟物体对应的实物物体从系统中取出的步骤;所述实物物体为预存或由3D打印装置打印出。
[0012]优选的，所述采集实物物体特征信息的步骤中，包括，
采用至少一个摄像装置获取该实物物体的图像的步骤；
根据获取的实物物体的图像进行图像处理获取实物物体特征信息的步骤。
[0013]优选的，生成虚拟物体和/或虚拟物体的含义、名称，显示用户选择的虚拟物体的步骤之前，还包括，
根据特征信息新生成虚拟物体模型或者从预存的模型中进行虚拟物体模型匹配以生成虚拟物体的步骤；
显示该虚拟物体和/或虚拟物体的含义、名称的步骤中，包括对生成或匹配好的虚拟物体模型进行动画渲染的步骤。
[0014]优选的，所述与实物物体对应的虚拟物体为该实物物体的二维或三维图形。
[0015]与现有技术相比，本发明的有益效果:本发明提供的人机交互系统包括接收实物物体并采集该实物数据的传输终端、根据采集数据提取实物特征信息的特征提取单元、根据特征信息产生对应虚拟物体的处理单元以及显示虚拟物体的显示装置;可以为用户提供放入实物物体，在显示装置中显示出对应虚拟物体;在显示装置中选择虚拟物体，从传输终端拿取相应实物物体的拟真交互体验，可广泛应用于儿童教育、电子娱乐等领域。应用本发明提供的人机交互系统及人机交互方法可拟真“联通”虚拟与真实世界，带给用户耳目一新的感觉。
[0016]【附图说明】:
图1为本发明提供的人机交互系统的结构框图。
[0017]图2a为本发明提供的人机交互方法中的实物物体转虚拟物体流程图。
[0018]图2b为本发明提供的人机交互方法中虚拟物体转实物物体流程图。
【具体实施方式】
[0019]下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本
【发明内容】
所实现的技术均属于本发明的范围。
[0020]实施例1:如图1所示，本实施例提供一种人机交互系统，包括，
传输终端I，用于接收用户放入的实物物体(如足球、铅笔、玩具)；
特征提取单元2，对该实物物体进行特征信息采集，并将获取的所述特征信息传输至处理单元3;所述特征信息包括该实物物体的大小、形状、颜色、材质;实际应用中，特征信息可以以图像的形式或者电磁信号的方式传输至处理单元3;
处理单元3，用于根据收到的该实物物体的特征信息判断该实物物体的含义、名称和/或形成与该实物物体对应的虚拟物体;具体的，所述处理单元3包括模型生成单元、模型存储单元、模型匹配单元及动画渲染单元;所述模型生成单元用于根据特征信息生产实物物体的虚拟模型;所述模型存储单元用于存储模型生成单元生成的模型及预存在系统中的模型；所述模型匹配单元用于根据特征信息对虚拟物体进行模型匹配;所述动画渲染单元用于对模型进行动画渲染，以使得该虚拟物体更像其对应的实物物体并具有运动感。模型生成单元采用图像识别技术或者电磁信号识别技术对实物物体的特征信息进行识别，并将其还原为该实物物体的二维图像或者三维图形，即形成该实物物体对应的虚拟物体。一些实施例中，模型生成单元需要实时生产该实物物体对应的虚拟物体;而另外一些实施例中，模型存储单元中预存有常见实物物体对应的虚拟物体的虚拟模型；同时，所述处理单元3包括模型匹配单元，当处理单元3对特征信息进行识别后，所述模型匹配单元从预存的虚拟物体的模型库中进行匹配，如匹配成功则直接调用该模型进行显示。
[0021]应注意的是，模型库中预存的模型包括物体的特征信息，如物体的大小、形状、颜色、材质，匹配时，优先根据虚拟物体的名称进行匹配，此时，模型库中可能存在和获取的实物物体名称相同的虚拟物体模型，但个别的特征信息不相同(如颜色不同)，处理单元3可选取该虚拟物体模型后，对其特征信息进行修改以实现与获取的实物物体完全一致的虚拟物体，新生成的虚拟物体同样存入模型库中。
[0022]应注意的是，特征提取单元2可以集成在传输终端I处，也可以与处理单元3集成为一体，或，传输终端I与特征提取单元2、处理单元3集成为一体。
[0023]显示装置4，用于显示所述虚拟物体和/或该虚拟物体的含义、名称，众所周知的，该虚拟物体的含义名称应与对应的实物物体的含义、名称一致。
[0024]具体使用时，如，当用户放入一个足球时，传输终端I采集该足球的特征信息，并将足球的特征信息传入处理单元3，处理单元3根据特征信息识别出其为足球后，一些实施例中，处理单元3直接生成该足球的二维或者三维图形并经渲染后显示，而另外一些实施例中，先从系统中预存的虚拟物体模型库中寻找有无足球的模型，如有，则直接调用该模型，从而形成虚拟足球，再经动画渲染单元对其渲染后显示;应注意的是，动画渲染单元是根据特征信息中的物体颜色信息对其进行具体渲染;动画渲染，例如可以是，当传输终端I将实物足球接收后隐藏，显示装置4配合传输终端I的隐藏动作，显示该虚拟足球，并展示该虚拟足球“滚入”屏幕内的动画效果。
[0025]进一步的，所述人机交互系统还包括信息输入装置5，所述信息输入装置5用于用户输入信息，该输入信息可以是:如具体的，用户可采用键盘输入物体名称或采用鼠标选择虚拟物体，如框选、点选等;一些实施例中，所述输入装置也可以为触屏，从而用户可以直接从触屏输入虚拟物体名称、输入虚拟物体的特征信息或以直接点选、框选虚拟物体图像的形式选择虚拟物体;另外一些实施例中，可由显示装置4事先生成问题(如，计算题、问答题等)，此时，该输入信息可以是，如用户输入的问题答案，一些情况下，信息输入装置5还用于用户输入并非选择虚拟物体或者回答问题的信息，如打开、关闭指令，翻页指令等。
[0026]所述处理单元3根据用户的选择控制显示单元显示该虚拟物体;具体的，用户自输入装置以输入名称的方式选择虚拟物体后，处理单元3根据该名称或者图像自模型存储单元寻找对应的虚拟物体模型，这一过程同样可以称为模型匹配;匹配成功后，由动画渲染单元对模型进行动画渲染后显示。
[0027]所述传输终端I还用于将根据用户的选择将该虚拟物体对应的实物物体送出；具体的所述实物物体为预存在系统中或由3D打印装置打印出。
[0028]具体的，同样以足球为例，用户在信息输入装置5处输入足球或者选择足球，所述处理单元3从模型存储单元寻找足球对应的虚拟物体模型，经由动画清染单元对该模型进行动画渲染后经显示装置4显示。动画渲染，例如可以是，将虚拟足球在显示装置4中显示为向屏幕外“滚出”的动画，当到达一定位置后，虚拟足球消失，然后传输终端I配合动画渲染效果，在虚拟足球消失时，将实物足球送出，从而造成该实物足球是从屏幕中“滚出”的效果O
[0029]一些实施例中，所述特征提取单元2包括图像处理单元3及至少一个摄像装置，所述摄像装置用于拍摄所述实物物体的图像;所述图像处理单元3用于根据图像提取所述实物物体的特征信息;摄像装置的数量根据需要设置，对于一些常见的形状规则实物物体，如足球、篮球、皮球、碗、正方体块等，通过一个摄像装置即可获取其完整的图像信息。而一些具有较复杂形状的实物物体，如茶杯、茶壶等可能需要不同角度的摄像装置来获取其完整的各个角度的图像信息；而另外一些【具体实施方式】中，用户放入的实物可能是标配的答题板以及在答题板上写的数字、图画，系统在对标配的答题板的放入方式进行预先规定后，可仅采用一个摄像装置即可获取答题板上的内容，在这种情况下，图像处理单元3根据特征信息判断其为标配的答题板后，可仅提取答题板上的数字、图像等内容，我们将标配的答题板上的数字、图像、文字内容定义为“实物物体的含义”的一种。
[0030]实际应用中，该系统可以是儿童教育系统，儿童将玩具(如皮球、画笔)放入传输终端I，传输终端I将其传送至指定位置，由特征提取单元2对其拍照后提取特征信息，由处理单元3根据该特征信息将其判断为皮球(虚拟物体的名称)，处理单元3首先在本身预存模型库(或数据库)中寻找有没有皮球的模型，如有，则选择该模型，并根据特征信息中该皮球的大小、颜色、材质对其渲染形成和实务皮球对应的虚拟皮球，渲染还包括动画渲染的步骤，以显示该皮球从画面外“滚向”画面内的动画;增加交互体验的真实感。应注意的是，本系统可以实现快速的实物物体对应的虚拟物体生产，从而实现在传输终端I把实物物体“拿走”消失的同时(或稍有延时)，即在显示装置4显示该实物物体对应的虚拟物体出现，在虚拟物体延时出现时(如延时l-5s出现)，在延时期间可采用显示过渡动画(如闪光动画、时光穿梭动画等效果动画)的形式进行过渡。
[0031]另外一些实际应用中，仍然以儿童教育系统为例，系统显示问题，由儿童从信息输入装置5回答问题，回答正确后，显示模块给出礼品选择画面，儿童选择礼品，系统显示该虚拟物品从画面中“送到”画面外的动画，在虚拟物体在画面中消失的同时(或稍有延时)，所述传输终端I将该虚拟物体对应的实物物体送出。
[0032]实施例2:如图2a、图2b所示本实施例提供一种人机交互方法，包括如下步骤:
SI 10:获取实物物体，并对该实物物体进行特征信息采集;所述特征信息包括该实物物体的大小、形状、颜色、材质；
优选的，所述采集实物物体特征信息的步骤中，包括，
SI 11:采用至少一个摄像装置获取该实物物体的图像;摄像装置的数量根据需要设置，对于一些常见的形状规则实物物体，如足球、篮球、皮球、碗、正方体块等，通过一个摄像装置即可获取其完整的图像信息。而一些具有较复杂形状的实物物体，如茶杯、茶壶等可能需要不同角度的摄像装置来获取其完整的各个角度的图像信息。
[0033]S112:根据获取的实物物体的图像进行图像处理获取实物物体特征信息。
[0034]S120:根据采集到的所述特征信息形成与该实物物体对应的虚拟物体和/或虚拟物体的含义、名称；
优选的，其包括，
S121:根据特征信息重新生成虚拟物体模型和/或虚拟物体的含义、名称，或者从预存的模型中进行虚拟物体模型匹配;匹配成功后利用匹配成功的虚拟物体模型形成该虚拟物体；
S122:对匹配好的模型进行动画渲染。
[0035]SI 30:显示该虚拟物体和/或虚拟物体的含义、名称。
[0036]进一步的，还包括如下步骤:
S210:用户输入信息的步骤;用户可采用键盘输入物体名称或者特征信息或，采用鼠标选择虚拟物体，如框选、点选等;一些实施例中，所述输入装置也可以为触屏，从而用户可以直接从触屏输入虚拟物体名称、输入虚拟物体的特征信息或以直接点选、框选虚拟物体图像的形式选择虚拟物体;另外一些实施例中，可由显示装置4事先生成问题(如，计算题、问答题等)，此时，该输入信息可以是，如用户输入的问题答案，一些情况下，信息输入装置5还用于用户输入并非选择虚拟物体或者回答问题的信息，如打开、关闭指令，翻页指令等。应注意的是，个别情况下，用户也可直接输入实体物体的含义、名称(该实物物体对应的虚拟物体和其具有一致的含义、名称，因此也可认为用户是输入了虚拟物体的含义、名称)。
[0037]S220:根据用户的输入信息生成虚拟物体和/或虚拟物体的含义、名称;具体的，包括:
S221:根据用户的输入信息直接重新生成虚拟物体模型和/或虚拟物体的含义、名称，或者根据虚拟物体的特征信息或含义、名称从预存的模型中进行虚拟物体模型匹配，匹配成功后利用匹配成功的虚拟物体模型形成该虚拟物体；
S222:对形成的虚拟物体模型进行动画渲染。
[0038]S230:显示该虚拟物体，实际上，经过动画渲染后，本实施例可显示出该虚拟物体向画面外“走出”的动画画面，以提高人机交互的真实感;该动画画面可以是三维动画画面或二维动画画面。
[0039]S240:将虚拟物体对应的实物物体从系统中取出；所述实物物体为预存在系统中或由3D打印装置打印出。
[0040]优选的，所述与实物物体对应的虚拟物体为该实物物体的二维或三维图形。
【主权项】
1.一种人机交互系统，其特征在于，包括， 传输终端，用于接收用户放入的实物物体； 特征提取单元，对该实物物体进行特征信息采集，并将获取的所述特征信息传输至处理单元;所述特征信息包括该实物物体的大小、形状、颜色、材质； 处理单元，用于根据收到的该实物物体的特征信息判断该实物物体的含义、名称和/或形成与该实物物体对应的虚拟物体； 显示装置，用于显示所述虚拟物体和/或虚拟物体的含义、名称。2.如权利要求1所述的人机交互系统，其特征在于，所述人机交互系统还包括信息输入装置，所述信息输入装置用于用户输入信息； 所述处理单元还用于根据用户输入的信息生成对应的虚拟物体和/或虚拟物体的含义、名称，并控制显示单元显示该虚拟物体和/或虚拟物体的含义、名称； 所述传输终端还用于根据用户的指令将该虚拟物体和/或虚拟物体的含义、名称对应的实物物体送出； 所述实物物体为预存在系统中或由3D打印装置打印出。3.如权利要求1所述的人机交互系统，其特征在于，所述特征提取单元包括图像处理单元及至少一个摄像装置，所述摄像装置用于拍摄所述实物物体的图像;所述图像处理单元用于根据图像提取所述实物物体的特征信息。4.如权利要求1所述的人机交互系统，其特征在于，所述处理单元包括模型生成单元、模型存储单元、模型匹配单元及动画渲染单元;所述模型生成单元用于根据特征信息生产实物物体的虚拟模型;所述模型存储单元用于存储模型生成单元生成的模型及预存在系统中的模型；所述模型匹配单元用于根据特征信息对虚拟物体进行模型匹配;所述动画渲染单元用于对模型进行动画渲染。5.如权利要求1所述的人机交互系统，其特征在于，所述与实物物体对应的虚拟物体为该实物物体的二维和/或三维图形。6.一种人机交互方法，其特征在于，包括如下步骤: (1-1)获取实物物体，并对该实物物体进行特征信息采集的步骤;所述特征信息包括该实物物体的大小、形状、颜色、材质； (1-2)根据采集到的所述特征信息形成与该实物物体对应的虚拟物体和/或虚拟物体的含义、名称的步骤； (1-3)显示该虚拟物体和/或虚拟物体的含义、名称的步骤。7.如权利要求6所述的人机交互方法，其特征在于，还包括如下步骤: (2-1)用户输入信息的步骤； (2-2)根据用户的输入信息生成虚拟物体和/或虚拟物体的含义、名称的步骤； (2-3)显示该虚拟物体和/或虚拟物体的含义、名称的步骤； (2-4)将虚拟物体对应的实物物体从系统中取出的步骤;所述实物物体为预存或由3D打印装置打印出。8.如权利要求6所述的人机交互方法，其特征在于，所述采集实物物体特征信息的步骤中，包括， 采用至少一个摄像装置获取该实物物体的图像的步骤； 根据获取的实物物体的图像进行图像处理获取实物物体特征信息的步骤。9.如权利要求6或7所述的人机交互方法，其特征在于，生成虚拟物体和/或虚拟物体的含义、名称包括， 新生成虚拟物体模型或者从预存的模型中进行虚拟物体模型匹配以生成虚拟物体；显示该虚拟物体和/或虚拟物体的含义、名称的步骤中，包括对生成或匹配好的虚拟物体模型进行动画渲染的步骤。10.如权利要求6所述的人机交互方法，其特征在于，所述与实物物体对应的虚拟物体为该实物物体的二维或三维图形。
【文档编号】G06T19/00GK106097454SQ201610394486
【公开日】2016年11月9日
【申请日】2016年6月6日 公开号201610394486.0, CN 106097454 A, CN 106097454A, CN 201610394486, CN-A-106097454, CN106097454 A, CN106097454A, CN201610394486, CN201610394486.0
【发明人】邢冠宇, 苏扬, 李龙, 苏艳杰
【申请人】成都天福创造机器人有限公司