虚拟现实的交互控制方法及装置的制造方法
【专利摘要】本发明公开了一种虚拟现实交互控制方法及装置，该方法包括：若检测到定位准星停留在操作对象上的时间大于或等于预先设置的时间值，则显示该操作对象的选择界面，该选择界面包含用于确定选择该操作对象的第一区域，及用于取消选择该操作对象的第二区域，且根据获取的用户的头部运动数据或者用户的眼睛数据，确定该用户是选择第一区域还是第二区域，若确定用户选择第一区域，则对该操作对象执行选择操作，若确定该用户选择第二区域，则关闭该选择界面。用户可通过头部或眼睛进一步确定是否选择操作对象，实现用户与虚拟现实显示界面之间的交互，且能够有效的提高用户选择操作对象的准确率，且更符合用户的选择意向，改善用户体验。
【专利说明】
虚拟现实的交互控制方法及装置
技术领域
[0001]本发明属于虚拟现实技术领域，尤其涉及一种虚拟现实的交互控制方法及装置。
【背景技术】
[0002]虚拟现实交互技术是一门新兴的综合信息技术，使用以计算机技术为核心的现代高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。它融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，在视觉上给用户一种立体的虚拟环境。与通常的CAD(计算机辅助设计)系统所产生的三维模型不同，它不是一个静态的世界，而是一个互动的环境。
[0003]目前，已经有虚拟现实眼镜，能够将智能手机、平板电脑等带有显示屏的终端放入到虚拟现实眼镜观看3D视频，玩虚拟现实游戏，看虚拟旅游景区，且已经成为一种趋势，这种非常好的沉浸式体验使得虚拟现实眼镜被越来越多的消费者所喜欢。
[0004]其中，用户可以通过视线对虚拟现实眼镜的显示界面上显示的内容进行控制，例如:用户在界面上，可以将视线停留在用户选择的图标或按钮超过预先设置的时间长，以启动该图标的应用程序或者完成点击该按钮的操作，该时间一般较长，大概有3s至5s。
[0005]然而，现有的交互方式对于用户来讲是被动接收，用户可能并不想启动图标的应用程序或完成点击按钮的操作，误操作率高，用户体验不好。
【发明内容】
[0006]本发明提供一种虚拟现实的交互控制方法及装置，用以解决现有技术中误操作率高及用户体验不好的问题。
[0007]本发明第一方面提供一种虚拟现实的交互控制方法，包括:
[0008]若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示所述操作对象的选择界面，所述选择界面包含用于确定选择所述操作对象的第一区域，及用于取消选择所述操作对象的第二区域；
[0009]根据获取的所述用户的头部运动数据或者所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域；
[0010]若确定所述用户选择所述第一区域，则对所述操作对象执行选择操作；
[0011]若确定所述用户选择所述第二区域，则关闭所述选择界面。
[0012]在第一方面第一种可行的实现方式中，所述预先设置的时间值为Is?2s。
[0013]结合第一方面或第一方面第一种可行的实现方式，在第一方面第二种可行的实现方式中，所述根据获取的所述用户的头部运动数据，确定所述用户是选择所述第一区域还是所述第二区域，包括:
[0014]对获取的所述用户的头部运动数据进行数据处理，确定所述头部的运动方向；
[0015]若所述头部的运动方向指向所述第一区域所在的方向，则确定所述用户选择所述第一区域；
[0016]若所述头部的运动方向指向所述第二区域所在的方向，则确定所述用户选择所述第二区域。
[0017]结合第一方面或第一方面第一种可行的实现方式，在第一方面第三种可行的是实现方式中，所述根据获取的所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域包括:
[0018]根据获取的所述用户的眼睛图像数据确定所述定位准星当前的位置及所述眼睛执行的动作；
[0019]若所述定位准星当前的位置在所述第一区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第一区域，所述预先设置的选择动作为眨眼一次或者连续眨眼两次；
[0020]若所述定位准星当前的位置在所述第二区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第二区域。
[0021]在第一方面第四种可行的实现方式中，所述对所述操作对象执行选择操作包括:
[0022]若所述操作对象为应用程序的图标，则启动所述应用程序；
[0023]若所述操作对象为虚拟按钮或操作栏，则模拟点击所述虚拟按钮或操作栏的操作；
[0024]若所述操作对象为视频文件的图标或音频文件的图标或文本文件的图标，则播放所述视频文件或所述音频文件，或者打开所述文本文件。
[0025]本发明第二方面提供了一种虚拟现实的交互控制装置，包括:
[0026]显示模块，用于若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示所述操作对象的选择界面，所述选择界面包含用于确定选择所述操作对象的第一区域，及用于取消选择所述操作对象的第二区域；
[0027]确定模块，用于根据获取的所述用户的头部运动数据或者所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域；
[0028]执行模块，用于若确定所述用户选择所述第一区域，则对所述操作对象执行选择操作；
[0029]关闭模块，用于若确定所述用户选择所述第二区域，则关闭所述选择界面。
[0030]在第二方面第一种可行的实现方式中，所述预先设置的时间值为Is?2s。
[0031]结合第二方面或者第二方面第一种可行的实现方式，在第二方面第二种可行的实现方式中，所述确定模块包括:
[0032]方向确定模块，用于对获取的所述用户的头部运动数据进行数据处理，确定所述头部的运动方向；
[0033]第一确定模块，用于若所述头部的运动方向指向所述第一区域所在的方向，则确定所述用户选择所述第一区域；
[0034]第二确定模块，若所述头部的运动方向指向所述第二区域所在的方向，则确定所述用户选择所述第二区域。
[0035]结合第二方面或者第二方面第一种可行的实现方式，在第二方面第三种可行的实现方式中，所述确定模块包括:
[0036]位置及动作确定模块，用于根据获取的所述用户的眼睛图像数据确定所述定位准星当前的位置及所述眼睛执行的动作；
[0037]第三确定模块，用于若所述定位准星当前的位置在所述第一区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第一区域，所述预先设置的选择动作为眨眼一次或者连续眨眼两次；
[0038]第四确定模块，用于若所述定位准星当前的位置在所述第二区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第二区域。
[0039]在第二方面第四种可行的实现方式中，所述执行模块具体用于:
[0040]若所述操作对象为应用程序的图标，则启动所述应用程序；
[0041]若所述操作对象为虚拟按钮或操作栏，则模拟点击所述虚拟按钮或操作栏的操作；
[0042]若所述操作对象为视频文件的图标或音频文件的图标或文本文件的图标，则播放所述视频文件或所述音频文件，或者打开所述文本文件。
[0043]从上述本发明实施例可知，若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示该操作对象的选择界面，该选择界面包含用于确定选择该操作对象的第一区域，及用于取消选择该操作对象的第二区域，且根据获取的用户的头部运动数据或者用户的眼睛数据，确定该用户是选择第一区域还是第二区域，若确定用户选择第一区域，则对该操作对象执行选择操作，若确定该用户选择第二区域，则关闭该选择界面，相较于现有技术，本发明由于在检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间时，显示选择界面，且用户可通过头部或眼睛进行选择第一区域或选择第二区域，使得用户通过头部或眼睛进一步确定是否选择操作对象，实现用户与虚拟现实显示界面之间的交互，且能够有效的提高用户选择操作对象的准确率，且更符合用户的选择意向，改善用户体验。
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本发明第一实施例中虚拟现实的交互控制方法的流程示意图；
[0046]图2a是本发明实施例中选择界面的示意图；
[0047]图2b是本发明实施例中选择界面的示意图；
[0048]图3是本发明图1所示第一实施例中步骤102的细化步骤的流程示意图；
[0049]图4a是图2a增加方向箭头的示意图；
[0050]图4b是图2b增加方向箭头的示意图；
[0051]图5是本发明图1所示第一实施例中步骤102的细化步骤的流程示意图；
[0052]图6是本发明第二实施例中虚拟现实的交互控制装置的功能模块示意图；
[0053]图7是本发明图6所示第二实施例中确定模块602的细化功能模块的示意图；
[0054]图8为本发明图6所示第二实施例中确定模块602的细化功能模块的示意图。
【具体实施方式】
[0055]为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]请参阅图1，为本发明第一实施例中虚拟现实的交互控制方法的流程示意图，包括:
[0057]步骤101、若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示操作对象的选择界面，选择界面包含用于确定选择操作对象的第一区域，及用于取消选择操作对象的第二区域；
[0058]在本发明实施例中，用户在使用虚拟现实系统时，可以将虚拟现实头盔或者虚拟现实眼镜戴在头上或眼睛上，且通过头部或者眼睛实现对该虚拟现实头盔或者虚拟现实眼镜上的显示界面的控制。
[0059]在本发明实施例中，实现本发明虚拟现实的交互控制方法的是虚拟现实的交互控制装置，且该虚拟现实的交互控制装置(以下简称:控制装置)是虚拟现实系统中的一部分，具体的，可以是虚拟现实头盔或者虚拟现实眼镜的一部分。该控制装置能够实现通过头部或眼睛对虚拟现实显示界面的控制功能。
[0060]其中，该控制装置能够检测定位准星停留在虚拟现实显示界面的操作对象上的时间，且在该时间大于预先设置的时间值时，显示该操作对象的选择界面，且为了便于用户选择，该选择界面包含第一区域和第二区域，且该第一区域用于表示确定选择操作对象，该第二区域用于表示取消选择的操作对象。
[0061]其中，操作对象是指显示界面上的可选择的对象，且在选择该对象之后，能够启动或触发该对象执行相应的功能或者进入相应的页面。
[0062]优选的，该操作对象可以是应用程序的图标、虚拟按钮、操作栏、视频文件的图标、首频文件的图标或者文本文件的图标等等。
[0063]在本发明实施例中，可以通过头控的方式控制定位准星或者通过眼控的方式控制定位准星。且用户可通过预先设置的切换操作在头控和眼控之间进行切换。
[0064]需要说明的是，在本发明实施例中，虚拟现实系统中已设置能够追踪定位准星的装置，例如，在眼控场景下，虚拟现实头盔或者虚拟现实眼镜上设置图像采集装置，该图像采集装置能够采集用户眼睛的图像，并将采集到的用户眼睛的图像发送给该控制装置，该控制装置能够根据视线追踪技术对该采集到的用户眼睛的图像进行处理，并确定定位准星当前在在虚拟现实显示界面上的位置，及确定定位准星所停留位置的操作对象，及该定位准星停留在该操作对象上的时间。因此，控制装置能够确定定位准星停留在虚拟现实显示界面的操作对象上的时间。
[0065]需要说明的是，在本发明实施例中，虚拟现实显示界面上显示选择界面时，选择界面中的第一区域和第二区域在呈现时有多种可行的方式，例如:请参阅图2a，为本发明实施例中选择界面的示意图，该选择界面可以是圆环形状，该圆环形状的中间的“十”字即为定位准星，且该圆环形状的正下方的90度区域为第一区域，其他区域为第二区域。且圆环形状只是可采用的一种形状，在实际应用中，还可以将第一区域和第二区域设置成其他封闭图形的方式，例如三角形、四边形等等。或者，请参阅图2b，为本发明实施例中选择界面的示意图，该选择界面中，左边为第一区域，右边为第二区域，且第一区域和第二区域中间的“十”字即为定位准星，且在图2b中，第一区域与第二区域是左右并列排列的方式显示的，在实际应用中，并不限定第一区域和第二区域的排布方式，例如，第一区域和第二区域还可以采用上下排列的方式，或者对角排列的方式，或者一个横向和一个竖向的排列方式，或者任意的其他排布方式，此处不做限定。
[0066]需要说明的是，在实际应用中，为了帮助用户理解，可以在第一区域及第二区域显示文字提示消息，例如在第一区域内显示“确定”，在第二区域内显示“取消”。且还可以通过在第一区域和第二区域内填充不同的颜色以区别第一区域及第二区域。
[0067]其中，选择界面可以小窗口的形式显示在显示界面上，或者以全屏覆盖的方式覆盖在显示界面已有的显示内容上进行显示。
[0068]步骤102、根据获取的用户的头部运动数据或者用户的眼睛数据，确定用户是选择第一区域还是第二区域;继续执行步骤103或步骤104;
[0069]步骤103、若确定用户选择第一区域，则对操作对象执行选择操作；
[0070]步骤104、若确定用户选择第二区域，则关闭选择界面。
[0071]在本发明实施例中，用户能够通过头部或者眼睛确定是选择第一区域还是第二区域，且控制装置在虚拟现实显示界面上显示选择界面之后，将实时获取用户的头部运动数据或者用户的眼睛数据，并根据获取的用户的头部数据或用户的眼睛数据，确定用户是选择第一区域还是第二区域。
[0072]在本发明实施例中，若确定用户选择第一区域，则确定用户需要使用该操作对象，控制装置将对操作对象进行选择操作。若确定用户选择第二区域，则确定用户不需要使用该操作对象，控制装置将关闭选择界面。
[0073]在本发明实施例中，对于不同的操作对象，对操作对象执行选择操作的具体内容也是不相同的，具体的:
[0074]若操作对象为应用程序的图标，则控制装置将启动该应用程序，例如:若操作对象为视频客户端的图标，则控制装置将启动该视频客户端，在虚拟现实显示界面上显示该视频客户端的启动后的首页面。
[0075]若操作对象为虚拟按钮或者操作栏，则控制装置将模拟点击该虚拟按钮或操作栏的操作，以使得实现点击虚拟按钮的功能或者实现点击操作栏的功能。
[0076]若操作对象为视频文件的图标或者音频文件的图标或文本文件的图标，则播放该视频文件或该音频文件，或者打开该文本文件。
[0077]需要说明的是，在虚拟现实系统中，已经设置能够检测用户头部运动数据或者眼睛数据的装置，例如:在头控场景下，可以在虚拟现实头盔或者虚拟现实眼镜上设置头部运动传感器，由该头部运动传感器感应用户头部的运动，并将采集到的用户的头部运动数据传输给控制装置，控制装置能够对采集到的用户的头部运动数据进行处理，以确定该用户的头部运动的轨迹，且基于该头部运动的轨迹控制定位准星在虚拟现实显示界面上的位置，其中，该用户的头部运动的轨迹包含该头部运动的方向及头部运动的距离等数据。
[0078]在本发明实施例中，若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示该操作对象的选择界面，该选择界面包含用于确定选择该操作对象的第一区域，及用于取消选择该操作对象的第二区域，且根据获取的用户的头部运动数据或者用户的眼睛数据，确定该用户是选择第一区域还是第二区域，若确定用户选择第一区域，则对该操作对象执行选择操作，若确定该用户选择第二区域，则关闭该选择界面，使得用户可通过头部或眼睛进一步确定是否选择操作对象，以实现用户与虚拟现实显示界面之间的交互，且能够有效的提高用户选择操作对象的准确率，且更符合用户的选择意向，改善用户体验。
[0079]优选的，在图1所示第一实施例中，上述预先设置的时间值为Is至2s，用于解决现有技术中用户需要长时间(3s至5s)将定位准星停留在操作对象上，给用户带来焦虑及反感的问题。在本发明实施例中，若预先设置的时间值为2s，则控制装置在检测到定位准星在操作对象上的停留时间等于或超过2s时，即显示选择界面，并通过用户的头部或眼睛确定是否选择该操作对象，不仅仅能够有效改善用户的焦虑及反感情绪，且能够加强用户与虚拟现实显示界面的交互，改善用户体验。
[0080]请参阅图3，为本发明图1所示第一实施例中步骤102根据获取的用户的头部运动数据，确定用户是选择第一区域还是第二区域的细化步骤的流程示意图，包括:
[0081]步骤301、对获取的用户的头部运动数据进行数据处理，确定头部的运动方向；
[0082]在本发明实施例中，虚拟现实系统中设置的采集用户的头部运动数据的装置将实时获取用户的头部运动数据，并将获取的用户的头部运动数据发送给控制装置，控制装置对获取的用户的头部运动数据进行数据处理，确定头部的运动方向。
[0083]其中，控制装置将根据确定的用户的头部的运动方向与第一区域所在的方向及第二区域所在的方向进行比较，以确定用户是选择第一区域还是第二区域。
[0084]步骤302、若头部的运动方向指向第一区域所在的方向，则确定用户选择第一区域；
[0085]步骤303、若头部的运动方向指向第二区域所在的方向，则确定用户选择第二区域。
[0086]在本发明实施例中，若控制装置确定头部的运动方向指向第一区域所在的方向，则确定用户选择第一区域，若控制装置确定头部的运动方向指向第二区域所在的方向，则确定用户选择第二区域。
[0087]其中，第一区域所在的方向是指第一区域和第二区域在显示界面显示的位置形成的方向划分。例如，若第一区域及第二区域如图2a所示，则第一区域正下方90度范围内即为第一区域所在的方向。若用户向下点头，则用户的头部的运动方向为向下，指向第一区域所在的方向，即可确定用户选择第一区域。
[0088]又例如:若第一区域及第二区域如图2b所示，则第一区域的左侧即为第一区域所在的方向，第二区域的右侧即为第二区域所在的方向。若用户的头部向右转动，则确定用户的头部的运动方向为向右，指向第二区域所在的方向，即确定用户选择第二区域。
[0089]需要说明的是，为了更好的指导用户通过头部确定选择的区域，控制装置在虚拟现实显示界面上显示选择界面时，可以将第一区域所在的方向与第二区域所在的方向通过方向箭头的方式在显示界面上显示出来，使得用户能够快速了解到如何实现第一区域或第二区域的选择。请参阅图4a，为本发明图2a增加方向箭头的示意图，其中，第一区域增加了方向箭头，请参阅图4b，为本发明图2b增加方向箭头的示意图，其中，第一区域增加了向左的方向箭头，第二区域增加了向右的方向箭头，通过方向箭头的指示作用，用户能够更清楚其头部的运动方式，改善用户体验。
[0090]在本发明实施例中，在用户通过头部控制选择界面上的第一区域和第二区域的选择时，控制装置对获取的用户的头部运动数据进行数据处理，确定该头部的运动方向，若该头部的运动方向指向第一区域所在的方向，则确定用户选择第一区域，若该头部的运动方向指向第二区域所在的方向，则确定用户选择第二区域，使得用户能够通过头部选择的方式实现对第一区域或第二区域的选择，以实现用户与虚拟现实显示界面的交互，且确定用户实际需要选择的操作对象，能够有效降低用户选择的错误率，改善用户体验。
[0091]请参阅图5，为本发明图1所示第一实施例中步骤102中根据获取的用户的眼睛图像数据，确定用户是选择第一区域还是第二区域的细化步骤的流程示意图，包括:
[0092]步骤501、根据获取的眼睛图像数据确定定位准星当前的位置及眼睛执行的动作；分别执行步骤502或步骤503 ；
[0093]在本发明实施例中，虚拟现实系统中已设置能够采集用户的眼睛图像数据的图像采集装置，且该图像采集装置在采集到用户的眼睛图像数据之后，将该眼睛图像数据发送给控制装置，控制装置根据该眼睛图像数据确定定位准星当前的位置及眼睛执行的动作。
[0094]步骤502、若定位准星当前的位置在第一区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第一区域，预先设置的选择动作为眨眼一次或者连续眨眼两次；
[0095]步骤503、若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第二区域。
[0096]在本发明实施例中，控制装置在确定定位准星当前的位置及眼睛执行的动作后，若定位准星当前的位置在第一区域，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第一区域。其中，预先设置的选择动作为眨眼一次或者连续眨眼两次，需要说明的是，还可以预先设置眼睛的其他动作为选择动作，此处不做限定。
[0097]例如:以图2b为例，若检测到定位准星在第一区域内，且定位准星在第一区域内时，用户执行了预先设置的连续眨眼两次的选择操作，则确定该用户选择第一区域。
[0098]在本发明实施例中，若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第二区域。
[0099]需要说明的是，若在预先设置的时间内，一直未检测到定位准星在第一区域或在第二区域，且一直未检测到用户眼睛执行预先设置的选择动作，则在该预先设置的时间达到之后，控制装置将关闭选择界面。
[0100]在本发明实施例中，控制装置根据获取的眼睛图像数据确定定位准星当前的位置及眼睛执行的动作，若定位准星当前的位置在第一区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第一区域，若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第二区域，使得用户能够通过眼睛控制虚拟现实显示界面，实现与虚拟现实的交互，且能够确定用户实际需要选择的操作对象，能够有效降低用户选择的错误率，改善用户体验。
[0101]请参阅图6，为本发明第二实施例中虚拟现实的交互控制装置的功能模块示意图，包括:
[0102]显示模块601，用于若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示操作对象的选择界面，选择界面包含用于确定选择操作对象的第一区域，及用于取消选择操作对象的第二区域；
[0103]在本发明实施例中，虚拟现实的交互控制装置(以下简称:控制装置)是虚拟现实系统中的一部分，具体的，可以是虚拟现实头盔或者虚拟现实眼镜的一部分。该控制装置能够实现通过头部或眼睛对虚拟现实显示界面的控制功能。
[0104]其中，该控制装置能够检测定位准星停留在虚拟现实显示界面的操作对象上的时间，且在该时间大于预先设置的时间值时，由显示模块601显示该操作对象的选择界面，且为了便于用户选择，该选择界面包含第一区域和第二区域，且该第一区域用于表示确定选择操作对象，该第二区域用于表示取消选择的操作对象。
[0105]其中，操作对象是指显示界面上的可选择的对象，且在选择该对象之后，能够启动或触发该对象执行相应的功能或者进入相应的页面。
[0106]优选的，该操作对象可以是应用程序的图标、虚拟按钮、操作栏、视频文件的图标、首频文件的图标或者文本文件的图标等等。
[0107]需要说明的是，在本发明实施例中，虚拟现实系统中已设置能够追踪定位准星的装置，例如，在眼控场景下，可以在虚拟现实头盔或者虚拟现实眼镜上设置图像采集装置，该图像采集装置能够采集用户眼睛的图像，并将采集到的用户眼睛的图像发送给该控制装置，该控制装置能够根据视线追踪技术对该采集到的用户眼睛的图像进行处理，并根据处理得到的数据确定定位准星在虚拟现实显示界面上的位置，且控制装置还将根据定位准星的位置确定定位准星所停留位置的操作对象，及根据处理得到的数据确定定位准星停留在该操作对象上的时间。因此，控制装置能够确定定位准星停留在虚拟现实显示界面的操作对象上的时间。
[0108]需要说明的是，在本发明实施例中，虚拟现实显示界面上显示选择界面时，选择界面中的第一区域和第二区域在呈现时有多种可行的方式，例如:请参阅图2a，为本发明实施例中选择界面的示意图，该选择界面可以是圆环形状，且该圆环形状的正下方的90度区域为第一区域，其他区域为第二区域。且圆环形状只是可采用的一种形状，在实际应用中，还可以将第一区域和第二区域设置成其他封闭图形的方式，例如三角形、四边形等等。或者，请参阅图2b，为本发明实施例中选择界面的示意图，该选择界面中，左边为第一区域，右边为第二区域，且在图2b中，第一区域与第二区域是左右并列排列的方式显示的，在实际应用中，并不限定第一区域和第二区域的排布方式，例如，第一区域和第二区域还可以采用上下排列的方式，或者对角排列的方式，或者一个横向和一个竖向的排列方式，或者任意的其他排布方式，此处不做限定。
[0109]需要说明的是，在实际应用中，为了帮助用户理解，可以在第一区域及第二区域显示文字提示消息，例如在第一区域内显示“确定”，在第二区域内显示“取消”。且还可以通过在第一区域和第二区域内填充不同的颜色以区别第一区域及第二区域。
[0110]其中，选择界面可以小窗口的形式显示在显示界面上，或者以全屏覆盖的方式覆盖在显示界面已有的显示内容上进行显示。
[0111]确定模块602，用于根据获取的用户的头部运动数据或者用户的眼睛图像数据，确定用户是选择第一区域还是第二区域；
[0112]执行模块603，用于若确定用户选择第一区域，则对操作对象执行选择操作；
[0113]关闭模块604，用于若确定用户选择第二区域，则关闭选择界面。
[0114]在本发明实施例中，若操作对象为应用程序的图标，则执行模块603启动应用程序;例如:若操作对象为视频客户端的图标，则执行模块603将启动该视频客户端，在虚拟现实显示界面上显示该视频客户端的启动后的首页面。
[0115]若操作对象为虚拟按钮或操作栏，则执行模块603模拟点击虚拟按钮或操作栏的操作；
[0116]若操作对象为视频文件的图标或音频文件的图标或文本文件的图标，则执行模块603播放视频文件或音频文件，或者打开文本文件。
[0117]需要说明的是，在虚拟现实系统中，已经设置能够检测用户头部运动数据或者眼睛数据的装置，例如:可以在虚拟现实头盔或者虚拟现实眼镜上设置头部运动传感器，由该头部运动传感器感应用户头部的运动，并将采集到的用户的头部运动数据传输给控制装置，控制装置能够对采集到的用户的头部运动数据进行处理，以确定该用户的头部运动的轨迹，且该用户的头部运动的轨迹包含该头部运动的方向及头部运动的距离等数据。
[0118]在本发明实施例中，若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示模块601显示操作对象的选择界面，选择界面包含用于确定选择操作对象的第一区域，及用于取消选择操作对象的第二区域，接着确定模块602根据获取的用户的头部运动数据或者用户的眼睛图像数据，确定用户是选择第一区域还是第二区域，若确定用户选择第一区域，则执行模块603对操作对象执行选择操作，若确定用户选择第二区域，则关闭模块604关闭选择界面。使得用户可通过头部或眼睛进一步确定是否选择操作对象，以实现用户与虚拟现实显示界面之间的交互，且能够有效的提高用户选择操作对象的准确率，且更符合用户的选择意向，改善用户体验。
[0119]优选的，在图6所示第二实施例中，上述预先设置的时间值为Is至2s，用于解决现有技术中用户需要长时间(3s至5s)将定位准星停留在操作对象上，给用户带来焦虑及反感的问题。在本发明实施例中，若预先设置的时间值为2s，则控制装置在检测到定位准星在操作对象上的停留时间等于或超过2s时，即由显示模块601显示选择界面，并通过用户的头部或眼睛确定是否选择该操作对象，不仅仅能够有效改善用户的焦虑及反感情绪，且能够加强用户与虚拟现实显示界面的交互，改善用户体验。
[0120]请参阅图7，为本发明图6所示第二实施例中的确定模块602的细化功能模块的示意图，包括:
[0121]方向确定模块701，用于对获取的用户的头部运动数据进行数据处理，确定头部的运动方向；
[0122]在本发明实施例中，虚拟现实系统中设置的采集用户的头部运动数据的装置将实时获取用户的头部运动数据，并将获取的用户的头部运动数据发送给控制装置，方向确定模块701对获取的用户的头部运动数据进行数据处理，确定头部的运动方向。
[0123]其中，方向确定模块701将根据确定的用户的头部的运动方向与第一区域所在的方向及第二区域所在的方向进行比较，以确定用户是选择第一区域还是第二区域。
[0124]第一确定模块702，用于若头部的运动方向指向第一区域所在的方向，则确定用户选择第一区域；
[0125]第二确定模块703，若头部的运动方向指向第二区域所在的方向，则确定用户选择第二区域。
[0126]在本发明实施例中，若方向确定模块701确定头部的运动方向指向第一区域所在的方向，则第一确定模块702确定用户选择第一区域，若方向确定模块701确定头部的运动方向指向第二区域所在的方向，则第二确定模块703确定用户选择第二区域。
[0127]其中，第一区域所在的方向是指第一区域和第二区域在显示界面显示的位置形成的方向划分。例如，若第一区域及第二区域如图2a所示，则第一区域正下方90度范围内即为第一区域所在的方向。若用户向下点头，则用户的头部的运动方向为向下，指向第一区域所在的方向，即可确定用户选择第一区域。
[0128]又例如:若第一区域及第二区域如图2b所示，则第一区域的左侧即为第一区域所在的方向，第二区域的右侧即为第二区域所在的方向。若用户的头部向右转动，则确定用户的头部的运动方向为向右，指向第二区域所在的方向，即确定用户选择第二区域。
[0129]需要说明的是，为了更好的指导用户通过头部确定选择的区域，显示模块601在虚拟现实显示界面上显示选择界面时，可以将第一区域所在的方向与第二区域所在的方向通过方向箭头的方式在显示界面上显示出来，使得用户能够快速了解到如何实现第一区域或第二区域的选择。请参阅图4a，为本发明图2a增加方向箭头的示意图，其中，第一区域增加了方向箭头，请参阅图4b，为本发明图2b增加方向箭头的示意图，其中，第一区域增加了向左的方向箭头，第二区域增加了向右的方向箭头，通过方向箭头的指示作用，用户能够更清楚其头部的运动方式，改善用户体验。
[0130]在本发明实施例中，方向确定模块701对获取的用户的头部运动数据进行数据处理，确定头部的运动方向，若头部的运动方向指向第一区域所在的方向，则第一确定模块702确定用户选择第一区域;若头部的运动方向指向第二区域所在的方向，则第二确定模块703确定用户选择第二区域，使得用户能够通过头部选择的方式实现对第一区域或第二区域的选择，以实现用户与虚拟现实显示界面的交互，且确定用户实际需要选择的操作对象，能够有效降低用户选择的错误率，改善用户体验。
[0131 ]请参阅图8，为本发明图6所示第二实施例中的确定模块602的细化功能模块的示意图，包括:
[0132]位置及动作确定模块801，用于根据获取的用户的眼睛图像数据确定定位准星当前的位置及眼睛执行的动作；
[0133]在本发明实施例中，虚拟现实系统中已设置能够采集用户的眼睛图像数据的图像采集装置，且该图像采集装置在采集到用户的眼睛图像数据之后，将该眼睛图像数据发送给控制装置，控制装置中的位置及动作确定模块801根据该眼睛图像数据确定定位准星当前的位置及眼睛执行的动作。
[0134]第三确定模块802，用于若定位准星当前的位置在第一区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第一区域，预先设置的选择动作为眨眼一次或者连续眨眼两次；
[0135]第四确定模块803，用于若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则确定用户选择第二区域。
[0136]在本发明实施例中，位置及动作确定模块801在确定定位准星当前的位置及眼睛执行的动作后，若定位准星当前的位置在第一区域，且眼睛执行的动作与预先设置的选择动作一致，则第三确定模块802确定用户选择第一区域。其中，预先设置的选择动作为眨眼一次或者连续眨眼两次，需要说明的是，还可以预先设置眼睛的其他动作为选择动作，此处不做限定。
[0137]例如:以图2b为例，若检测到定位准星在第一区域内，且定位准星在第一区域内时，用户执行了预先设置的连续眨眼两次的选择操作，则确定该用户选择第一区域。
[0138]在本发明实施例中，若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则第四确定模块803确定用户选择第二区域。
[0139]需要说明的是，若在预先设置的时间内，一直未检测到定位准星在第一区域或在第二区域，且一直未检测到用户眼睛执行预先设置的选择动作，则在该预先设置的时间达到之后，控制装置将关闭选择界面。
[0140]在本发明实施例中，位置及动作确定模块801根据获取的用户的眼睛图像数据确定定位准星当前的位置及眼睛执行的动作，若定位准星当前的位置在第一区域内，且眼睛执行的动作与预先设置的选择动作一致，则第三确定模块802确定用户选择第一区域，若定位准星当前的位置在第二区域内，且眼睛执行的动作与预先设置的选择动作一致，则第四确定模块803确定用户选择第二区域，使得用户能够通过眼睛控制虚拟现实显示界面，实现与虚拟现实的交互，且能够确定用户实际需要选择的操作对象，能够有效降低用户选择的错误率，改善用户体验。
[0141 ]需要说明的是，在实际应用中，确定模块602可以同时包含图7所示实施例中的功能模块及图8所示实施例中的功能模块。
[0142]在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0143]所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0144]另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0145]所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
[0147]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0148]以上为对本发明所提供的一种虚拟现实的交互控制方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在【具体实施方式】及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种虚拟现实的交互控制方法，其特征在于，包括: 若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示所述操作对象的选择界面，所述选择界面包含用于确定选择所述操作对象的第一区域，及用于取消选择所述操作对象的第二区域； 根据获取的所述用户的头部运动数据或者所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域； 若确定所述用户选择所述第一区域，则对所述操作对象执行选择操作； 若确定所述用户选择所述第二区域，则关闭所述选择界面。2.根据权利要求1所述的交互控制方法，其特征在于，所述预先设置的时间值为Is?2s03.根据权利要求1或2所述的交互控制方法，其特征在于，所述根据获取的所述用户的头部运动数据，确定所述用户是选择所述第一区域还是所述第二区域，包括: 对获取的所述用户的头部运动数据进行数据处理，确定所述头部的运动方向； 若所述头部的运动方向指向所述第一区域所在的方向，则确定所述用户选择所述第一区域； 若所述头部的运动方向指向所述第二区域所在的方向，则确定所述用户选择所述第二区域。4.根据权利要求1或2所述的交互控制方法，其特征在于，所述根据获取的所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域包括: 根据获取的所述用户的眼睛图像数据确定所述定位准星当前的位置及所述眼睛执行的动作； 若所述定位准星当前的位置在所述第一区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第一区域，所述预先设置的选择动作为眨眼一次或者连续眨眼两次； 若所述定位准星当前的位置在所述第二区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第二区域。5.根据权利要求1所述的方法，其特征在于，所述对所述操作对象执行选择操作包括: 若所述操作对象为应用程序的图标，则启动所述应用程序； 若所述操作对象为虚拟按钮或操作栏，则模拟点击所述虚拟按钮或操作栏的操作； 若所述操作对象为视频文件的图标或音频文件的图标或文本文件的图标，则播放所述视频文件或所述音频文件，或者打开所述文本文件。6.一种虚拟现实的交互控制装置，其特征在于，包括: 显示模块，用于若检测到定位准星停留在虚拟现实显示界面的操作对象上的时间大于或等于预先设置的时间值，则显示所述操作对象的选择界面，所述选择界面包含用于确定选择所述操作对象的第一区域，及用于取消选择所述操作对象的第二区域； 确定模块，用于根据获取的所述用户的头部运动数据或者所述用户的眼睛图像数据，确定所述用户是选择所述第一区域还是所述第二区域； 执行模块，用于若确定所述用户选择所述第一区域，则对所述操作对象执行选择操作； 关闭模块，用于若确定所述用户选择所述第二区域，则关闭所述选择界面。7.根据权利要求6所述的交互控制装置，其特征在于，所述预先设置的时间值为Is?2s08.根据权利要求6或7所述的交互控制装置，其特征在于，所述确定模块包括: 方向确定模块，用于对获取的所述用户的头部运动数据进行数据处理，确定所述头部的运动方向； 第一确定模块，用于若所述头部的运动方向指向所述第一区域所在的方向，则确定所述用户选择所述第一区域； 第二确定模块，若所述头部的运动方向指向所述第二区域所在的方向，则确定所述用户选择所述第二区域。9.根据权利要求6或7所述的交互控制装置，其特征在于，所述确定模块包括: 位置及动作确定模块，用于根据获取的所述用户的眼睛图像数据确定所述定位准星当前的位置及所述眼睛执行的动作； 第三确定模块，用于若所述定位准星当前的位置在所述第一区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第一区域，所述预先设置的选择动作为眨眼一次或者连续眨眼两次； 第四确定模块，用于若所述定位准星当前的位置在所述第二区域内，且所述眼睛执行的动作与预先设置的选择动作一致，则确定所述用户选择所述第二区域。10.根据权利要求6所述的装置，其特征在于，所述执行模块具体用于: 若所述操作对象为应用程序的图标，则启动所述应用程序； 若所述操作对象为虚拟按钮或操作栏，则模拟点击所述虚拟按钮或操作栏的操作； 若所述操作对象为视频文件的图标或音频文件的图标或文本文件的图标，则播放所述视频文件或所述音频文件，或者打开所述文本文件。
【文档编号】G06F3/0484GK105824409SQ201610087957
【公开日】2016年8月3日
【申请日】2016年2月16日
【发明人】周正
【申请人】乐视致新电子科技（天津）有限公司