专利名称：一种基于儿童应用中的人机交互辅助系统及交互方法
技术领域：
本发明涉及人机交互技术领域，尤其涉及的是一种基于儿童应用中的人机交互辅助系统及其实现方法。
背景技术：
现有技术中用于人机交互的语音辅助系统中，设计都没有考虑针对儿童的需求，在输入的方式、输入内容和互动提示等方面没有考虑儿童的特殊需求和年龄特点。例如儿童可能不能进行完整的拼音输入和者完整语音输入，需要设计简易的输入方式和流程来辅助儿童的表达，通过卡通图形，简易的表意图形或者语音片断来辅助儿童完成人机交互。在人机辅助系统的反馈环节也要考虑儿童的特殊情况，需要语音，图片，文字等多种呈现的反馈手段，使得他(她)们更加容易的识别系统的反馈信息。因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于儿童应用中的人机交互辅助系统及交互方法，其使用系统增加了新功能在游戏软件、教育软件中通过集成该系统可以实现人机智能辅助的功能，为用户提供了方便，并且其结构简单，实现成本低。本发明解决技术问题所采用的技术方案如下一种基于儿童应用中的人机交互方法，其中，包括步骤A、预先在操作终端上定义用于进行交互进而触发相应操作的多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标；B、在操作终端的屏幕上显示用于进行交互的图形，图像，语音，Π和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据，发送到服务器进行分析；C、服务器接收到来自操作终端的操作命令数据，根据操作终端当前界面的所有的所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给操作终端；D、操作终端接到服务器的反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标反馈信息呈现给儿童。
所述基于儿童应用中的人机交互方法，其中，所述相应的操作命令包括动作输入命令或者语音输入命令。所述基于儿童应用中的人机交互方法，其中，所述步骤C还包括
Cl、服务器数据库中会根据当前的游戏或者应用来进行预设置，预设置包括在哪些界面儿童会有哪些可能的动作输入、可能的语音输入、可能的动作顺序及可能匹配的操作；并按照可能性权重进行优先级排序；C2、服务器把优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。所述基于儿童应用中的人机交互方法，其中，所述步骤D还包括操作终端接收到服务器反馈相应的辅助操作指令后，解析反馈的辅助操作指令数据，如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使Π发生变化，如果有文字反馈则在该界面显示文字提示。所述基于儿童应用中的人机交互方法，其中，所述操作终端为手持终端，包括手机 或 IPAD。一种基于儿童应用中的人机交互辅助系统，其中，包括预先定义模块，用于预先定义用于在进行交互进触发相应操作多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标；显示与接收控制模块、用于控制在屏幕上显示用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据；服务器分析控制模块，用于控制接收所述操作命令数据，并根据所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给操作终端；解析与显示控制模块、用于接收反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标反馈信息呈现给儿童。所述基于儿童应用中的人机交互辅助系统，其中，所述相应的操作命令包括动作输入命令或者语音输入命令；预先定义模块、显示与接收控制模块、解析与显示控制模块设置在操作终端；所述服务器分析控制模块设置在服务器上。所述基于儿童应用中的人机交互辅助系统，其中，所述服务器分析控制模块包括预设置单元、用于控制服务器数据库根据当前的游戏或者应用来进行预设置，预设置包括在哪些界面儿童会有哪些可能的动作输入、可能的语音输入、可能的动作顺序及可能匹配的操作；并按照可能性权重进行优先级排序；反馈控制单元、用于控制服务器把优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。所述基于儿童应用中的人机交互辅助系统，其中，所述解析与显示控制模块包括
解析单元，用于接收到反馈的相应的辅助操作指令后，解析反馈的辅助操作指令数据，控制执行单元，用于如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使Π发生变化，如果有文字反馈则在该界面显示文字提示。所述基于儿童应用中的人机交互辅助系统，其中，所述操作终端为手持终端，包括手机或IPAD。有益效果本发明提供的一种基于儿童应用中的人机交互辅助系统及交互方法，按照儿童的认知规律设计方法和系统，输入的手段按照满足儿童认知发展特点的需求设计，反馈的呈现按照儿童的认知发展特点需求设计，使得儿童在玩游戏和教育类软件时，能够获得及时的提示和帮助，保证了设备与用户之间有足够的有效的互动，提升了儿童学习、认知的兴趣，也使本发明的产品具备良好的市场前景。
图I是本发明中基于儿童应用中的人机交互方法的工作流程图。图2是本发明中基于儿童应用中的人机交互方法中步骤S300的具体流程图。图3是本发明基于儿童应用中的人机交互辅助系统的结构示意图。图4是本发明基于儿童应用中的人机交互辅助系统中服务器分析控制模块的结构示意图。图5是本发明基于儿童应用中的人机交互辅助系统中操作终端的解析与显示控制模块的结构示意图。
具体实施例方式本发明所提供的移动终端及基于移动终端的电子书翻页处理方法，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。如图I和图2所示的是本发明实施例的一种基于儿童应用中的人机交互方法，主要包括以下步骤S100、预先在操作终端上定义用于进行交互进而触发相应操作的多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标。所述操作终端为手持终端，包括手机或IPAD。由于儿童认知和行为能力有限，因此在设备的输入方式、输入内容及互动提示的设置上就必须考虑儿童的特殊需求和年龄特点，设备中设置了基本的拼音输入和语音输入方式后，由于考虑到儿童有可能不能进行完整的拼音输入和完整的语音输入，则就需要设计简易的输入方式和流程来辅助儿童的表达，因此，本发明通过简单的图形(卡通图形或者简易的表意图形等)、图像，来辅助儿童完成人机交互，另外可通过语音片段方式来完成输入，儿童只需表达出所需操作的关键词、句就可被作为操作指令执行，例如当儿童不会玩某个游戏时，只要说出“不会玩”、“怎么玩” “帮助”等就可作为语音输入信息被设备接收。当然也可通过Π或者文字元素，对于年龄大一点的儿童可通过设置文字，例如设置“帮助”、“提示”的虚拟按钮实现输入。
S200、在操作终端的屏幕上显示用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据，发送到服务器进行分析。较佳的实施例是，操作终端与服务器之间进行无线通讯连接，当操作终端被触发获得操作命令数据后，即与服务器之间建立通讯连接，将所述的操作命令数据发送到服务器，服务器接收到操作命令数据后立即调用算法进行解析。S300、服务器接收到来自操作终端的操作命令数据(所述相应的操作命令包括动作输入命令或者语音输入命令)。然后执行步骤S310，即根据操作终端当前界面的所有的所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给操作终端。所述的操作终端向服务器发送其所能接收到的所有操作命令数据，服务器所作出的判断依据主要来自其根据不同游戏或应用所预设的特定模式，例如在哪些界面儿童会有哪些可能的动作输入，可能的语音输入，可能的动作顺序，可能匹配的操作，然后利用此分析模式进行上下文的分析，分析当前界面的动作，语·音及操作顺序和停留时间来判断儿童可能需要的操作，然后按照可能性权重进行优先级排序，然后服务器执行步骤S320，即将优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。S400、操作终端接到服务器的反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标反馈信息呈现给儿童。如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使Π发生变化，如果有文字反馈则在该界面显示文字提示。如图3所示的一种基于儿童应用中的人机交互辅助系统，包括操作终端200和服务器端100。所述操作终端200包括预先定义模块210，用于预先定义用于在进行交互进触发相应操作多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标。显示与接收控制模块220、用于控制在所述操作终端200屏幕上显示用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据。解析与显示控制模块230、用于接收反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标反馈信息呈现给儿童。所述服务器端100包括服务器分析控制模块110，用于控制接收所述操作命令数据，所述相应的操作命令包括动作输入命令或者语音输入命令，根据所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给所述操作终端200。如图4所示的基于儿童应用中的人机交互辅助系统中的服务器分析控制模块110包括预设置单元111、用于控制服务器数据库根据当前的游戏或者应用来进行预设置，预设置包括在哪些界面儿童会有哪些可能的动作输入、可能的语音输入、可能的动作顺序及可能匹配的操作；并按照可能性权重进行优先级排序。反馈控制单元112、用于控制服务器把优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。如图5所示的基于儿童应用中的人机交互辅助系统中解析与显示控制模块230包括解析单元231，用于接收到反馈的相应的辅助操作指令后，解析反馈的辅助操作指令数据，
控制执行单元232，用于如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使UI发生变化，如果有文字反馈则在该界面显示文字提示。所述解析单元231与控制执行单元232之间通讯连接。本发明提供的一种基于儿童应用中的人机交互辅助系统及交互方法，按照儿童的认知规律设计方法和系统，输入的手段按照满足儿童认知发展特点的需求设计，反馈的呈现按照儿童的认知发展特点需求设计，使得儿童在玩游戏和教育类软件时，能够获得及时的提示和帮助，保证了设备与用户之间有足够的有效的互动，提升了儿童学习、认知的兴趣，也使本发明的产品具备良好的市场前景。应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
权利要求
1.一种基于儿童应用中的人机交互方法，其特征在于，包括步骤 A、预先在操作终端上定义用于进行交互进而触发相应操作的多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标； B、在操作终端的屏幕上显示用于进行交互的图形，图像，语音，Π和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，Π和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据，发送到服务器进行分析； C、服务器接收到来自操作终端的操作命令数据，根据操作终端当前界面的所有的所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给操作终端； D、操作终端接到服务器的反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标反馈信息呈现给儿童。
2.根据权利要求I所述基于儿童应用中的人机交互方法，其特征在于，所述相应的操作命令包括动作输入命令或者语音输入命令。
3.根据权利要求I所述基于儿童应用中的人机交互方法，其特征在于，所述步骤C还包括 Cl、服务器数据库中会根据当前的游戏或者应用来进行预设置，预设置包括在哪些界面儿童会有哪些可能的动作输入、可能的语音输入、可能的动作顺序及可能匹配的操作；并按照可能性权重进行优先级排序； C2、服务器把优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。
4.根据权利要求I所述基于儿童应用中的人机交互方法，其特征在于，所述步骤D还包括 操作终端接收到服务器反馈相应的辅助操作指令后，解析反馈的辅助操作指令数据，如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使UI发生变化，如果有文字反馈则在该界面显示文字提示。
5.根据权利要求I所述基于儿童应用中的人机交互方法，其特征在于，所述操作终端为手持终端，包括手机或IPAD。
6.一种基于儿童应用中的人机交互辅助系统，其特征在于，包括 预先定义模块，用于预先定义用于在进行交互进触发相应操作多种图标，每一种操作图标与一操作命令对应；所述图标包括用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标； 显示与接收控制模块、用于控制在屏幕上显示用于进行交互的图形，图像，语音，UI和文字元素中的一种或多种操作图标，在儿童操作过程中需要进行交互时，通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标接收用户的操作指令触发相应的操作命令，并把所述相应的操作命令形成相应的操作命令数据； 服务器分析控制模块，用于控制接收所述操作命令数据，并根据所述操作命令数据进行上下文的分析，分析当前界面的动作，语音及操作顺序和停留时间来判断儿童可能需要的操作，通过和数据库中的特定模式进行比较来判断需要进行的辅助操作，并反馈相应的辅助操作指令给操作终端； 解析与显示控制模块、用于接收反馈的相应的辅助操作指令并进行解析，将解析的结果通过所述图形，图像，语音，UI和文字元素中的一种或多种操作图标反馈信息呈现给儿里。
7.根据权利要求6所述基于儿童应用中的人机交互辅助系统，其特征在于，所述相应的操作命令包括动作输入命令或者语音输入命令； 预先定义模块、显示与接收控制模块、解析与显示控制模块设置在操作终端； 所述服务器分析控制模块设置在服务器上。
8.根据权利要求6所述基于儿童应用中的人机交互辅助系统，其特征在于，所述服务器分析控制模块包括 预设置单元、用于控制服务器数据库根据当前的游戏或者应用来进行预设置，预设置包括在哪些界面儿童会有哪些可能的动作输入、可能的语音输入、可能的动作顺序及可能匹配的操作；并按照可能性权重进行优先级排序； 反馈控制单元、用于控制服务器把优先级最高的匹配操作通过预制的语音和/或动作数据反馈给操作终端。
9.根据权利要求6所述基于儿童应用中的人机交互辅助系统，其特征在于，所述解析与显示控制模块包括 解析单元，用于接收到反馈的相应的辅助操作指令后，解析反馈的辅助操作指令数据，控制执行单元，用于如果有语音反馈则播放该语音提示，如果有动作反馈则在该界面执行该动作使UI发生变化，如果有文字反馈则在该界面显示文字提示。
10.根据权利要求6所述基于儿童应用中的人机交互辅助系统，其特征在于，所述操作终端为手持终端，包括手机或IPAD。
全文摘要
本发明公开了一种基于儿童应用中的人机交互辅助系统及交互方法，所述方法为通过预先在操作终端上定义用于进行交互进而触发相应操作的多种图标，用户操作进而触发操作指令并将操作命令数据发送服务器，所述服务器接受操作命令数据并利用预先设置的数据库特定模式来分析数据并作出判断，将辅助操作指令反馈给操作终端使其解析并作出反馈信息呈现给用户。本发明的人机交互辅助系统及交互方法的设计思路符合儿童的认知规律，使得儿童在玩游戏和教育类软件时，能够获得及时的提示和帮助，保证了设备与儿童之间有足够的有效的互动，提升了儿童学习、认知的兴趣，也使本发明的产品具备良好的市场前景。
文档编号G06F3/0481GK102945120SQ201210486939
公开日2013年2月27日 申请日期2012年11月27日 优先权日2012年11月27日
发明者华炜, 张天浩, 吴楷龙 申请人:南京恒知讯科技有限公司