专利名称：基于仿生代理与视线追踪兴趣区域分析的人机交互方法
技术领域：
本发明涉及一种人机交互方法，尤其是基于仿生代理与视线追踪兴趣区域分析的人机交互方法，属于信息技术领域。
背景技术：
人机交互主要研究人与计算机之间的信息交互。人机交互的模式已从语言命令交互阶段、图像用户界面交互阶段发展到自然、和谐的感性用户界面交互阶段。以人为中心、 自然与高效成为发展新一代人机交互的主要目标。多模界面作为感性用户界面的一种模式在国内外受到高度重视，是人机交互技术研究的崭新领域。在多模界面中，用户可使用语音、表情、眼神、手势等自然的方式向计算机传递信息，然而计算机没有面部和躯干，无法运用上述方式与人交流。目前的解决办法是通过虚拟人实现人与计算机的自然交互。虚拟人是可以在计算机屏幕上活动的，具有面部和躯干，并能通过多种交流方式与人进行信息传递的虚拟人物。虚拟人可以将计算机发展成为栩栩如生的智能体，具有很强的表现力和亲和感。人与人交流时传递的信息，除语言直接表达的语义信息外，还通过讲话者的眼睛传递重要信息。因此，在基于仿生代理的人机交互系统中，仿生代理如果被赋予视线追踪能力， 便能针对人类的视觉焦点做出智能、灵敏、友好的反应。视线跟踪的目的是为了根据眼睛的特征和位置来计算用户注视的方向，并把它作为一种可选或互补的计算机输入通道，作为人机交互研究的一种分析工具。目前，国外许多大学和研究机构已开发出多种眼动追踪系统，能实时分析眼动仪输出的眼球运动数据。但此类系统主要面向残疾人以实现眼球鼠标的功能或用于汽车驾驶员的疲劳分析等领域，而在用户兴趣区域分析方面的研究较少，并且没有与仿生代理技术相结合。国内在该方面尚无完整的产品和解决方案。本发明的基于仿生代理与视线追踪兴趣区域分析的人机交互系统可广泛应用于虚拟教学、虚拟购物以及医疗、体育、军事、娱乐等领域，拥有较好的应用前
旦
ο
发明内容
本发明的目的在于提出一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，实现自然、和谐的人机交互。本发明的技术方案可概括为事件交互管理器通过实时分析眼动仪产生的数据， 计算用户眼球在屏幕上的焦点位置，完成用户兴趣区域分析，并将分析结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、 和谐的人机交互。本发明一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，包括以下4 个步骤步骤1 设计者进行用户分析，根据用户分析结果设定用户可能关注的兴趣区域；步骤2 事件交互管理器实时接收分析眼动仪产生的数据，计算用户眼球在屏幕上的焦点位置；步骤3 事件交互管理器根据得到的用户眼球在屏幕上的焦点位置，分析用户关注的兴趣区域；步骤4 事件交互管理器将分析用户关注的兴趣区域结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、和谐的人机交互。其中，所述的步骤1中，设计者用户分析的结果是对交互过程中用户可能感兴趣的区域进行划分的依据，划分出的兴趣区域为后续的分析做准备。其中，所述的步骤3中，事件交互管理器根据得到的用户眼球在屏幕上的焦点位
置，通过计算兴趣区域的激活率分析用户关注的兴趣区域。兴趣区域分析算法是事件交互
管理器的核心。激活率I表示用户对设定的某一区域感兴趣的概率，当该值超过所设定的
激活阈值时，该兴趣区域将被激活，仿生代理将做出相应反应；当已经激活的兴趣区域的激
活率I低于所设定的减退阈值时，表示用户对该区域的兴趣减弱，则该兴趣区域的激活状
态被抑制，同时依据其他区域的激活率I，一个新的激活区域将被选择，仿生代理将做出相
应反应。激活率I的定义如下式所示 TI =—
T上式中，T为所定义的时间窗，Ta为在时间窗T内用户视线在设定的某一兴趣区域的积累时间。其中，所述的步骤4中，事件交互管理器根据正被激活的不同兴趣区域，控制仿生代理产生相应的表情、动作和语音，仿生代理的表情、动作和语音根据不同的场景需求事先设定，使其能对用户进行智能、友好的反馈，实现自然、和谐的人机交互。本发明一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，其优点和积极效果在于1.该方法能实时分析用户关注的兴趣区域；2.该方法能将分析得出的用户关注的兴趣区域结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、和谐的人机交互。
图1基于仿生代理与视线追踪兴趣区域分析的人机交互系统框图；图2事件交互管理器工作流程；图3仿生代理James。
具体实施例方式运用本发明一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，可搭建基于仿生代理与视线追踪兴趣区域分析的人机交互系统，其系统框架如图1所示。下面通过对该系统的详细说明进一步阐释本发明的具体实施方式
。如图1所示，基于仿生代理与视线追踪兴趣区域分析的人机交互系统共由四部分
4组成⑴眼动仪(2)人机交互界面(3)事件交互管理器(4)仿生代理该基于仿生代理与视线追踪兴趣区域分析的人机交互系统由两台设备搭建而成 一台设备为眼动仪(其包含自带的专用控制计算机)；另一台设备为主控计算机，用于实现人机交互界面、事件交互管理器及仿生代理的展示。该基于仿生代理与视线追踪兴趣区域分析的人机交互系统的应用场景被设定为虚拟导购员向用户推荐服装，对该人机交互系统组成的具体介绍如下⑴眼动仪该基于仿生代理与视线追踪兴趣区域分析的人机交互系统采用德国SMI公司的眼动仪Iview X RED，其满足使用简便、测量精度高、兼容性好的需求，采样率为 50/60Hz(PAL/NTSC)。经定位校准，眼动仪便可用于采集用户视线注视点在人机交互界面上焦点的坐标。眼动仪是系统的输入部分。其能通过红外检测人眼在其屏幕上的运动轨迹，实时将人眼相对屏幕的位置坐标传送给主控计算机中的事件交互管理器。其中，眼动仪与主控计算机之间数据传递采用UDP协议，满足数据传递资源消耗小，处理速度快的需求。(2)人机交互界面人机交互界面通过主控计算机的显示器进行显示。根据设定的应用场景，人机交互界面为由VC编写的应用窗口，窗口分两个区域服装展示区与试穿效果区。服装展示区分块展示出所有可供选择的服装，试穿效果区负责展示试穿的效果。通过用户分析可知，用户关注的区域主要集中在服装展示区，所以将兴趣区域设定在该区域，即每件服装的方形展示区域为一个兴趣区域，为排除兴趣区域的形状、大小对激活率的影响，系统中设定的兴趣区域的形状、大小均一致。服装展示区与试穿效果区的图片均提前进行准备。(3)事件交互管理器事件交互管理器的所有功能均通过主控计算机的软件及硬件实现，包括处理眼动仪产生的视线追踪实时数据，计算兴趣区域的激活率，确定当前激活的兴趣区域并作为非
接触性指令对人机交互界面上的仿生代理实施控制。其核心为激活率I的计算公式/ = ·，
激活率I表示用户对设定的某一区域感兴趣的概率。事件交互管理器的工作流程如图2所示，当激活率I的值超过所设定的激活阈值时，该兴趣区域将被激活，事件交互管理器指示仿生代理做出相应反应；当已经激活的兴趣区域的激活率I低于所设定的减退阈值时，表示用户对该区域的兴趣减弱，则该兴趣区域的激活状态被抑制，同时依据其他区域的激活率I，一个新的激活区域将被选择，事件交互管理器指示仿生代理做出相应反应。在该基于仿生代理与视线追踪兴趣区域分析的人机交互系统中，事件交互管理器按照50Hz的采样率接收眼动仪产生的数据，根据实验中的用户体验效果，制定了该系统的激活阈值为0. 6，减退阈值为0. 22。
(4)仿生代理仿生代理在系统中被赋予虚拟导购员的身份，其活动于主控计算机显示器显示的人机交互界面上，能根据事件交互管理器的指示使用表情、动作和语音向用户推荐服装。该基于仿生代理与视线追踪兴趣区域分析的人机交互系统采用Microsoft Agent提供的仿生代理James，其形象如图3所示。仿生代理James是基于微软视窗平台的可编程即时交互性动画角色，在Microsoft Visual C++6. 0编辑的程序中插入Microsoft Agent2. 0控件并对其进行命令控制，便能设计出人性化的用户交互界面。仿生代理James能够熟练使用英语交流，还拥有包括眨眼、疑惑、解释、问候等84 种动作形态。James的语言和动作均由编程者指控，系统配合其身份专门设计了一系列的表情动作和表述语言=James的表情动作根据不同的场景事先设定；James的表述语言包括赞美的评论、中性的评价与诚恳的建议等，所有语言通过文本形式手动输入程序。实际演示时，James就能够同时做出表情、动作和语言，完成生动的展示。
权利要求
1.一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，其特征在于包括以下 4个步骤步骤1 设计者进行用户分析，根据用户分析结果设定用户可能关注的兴趣区域；步骤2 事件交互管理器实时接收分析眼动仪产生的数据，计算用户眼球在屏幕上的义丨、:自:，步骤3:事件交互管理器根据得到的用户眼球在屏幕上的焦点位置，分析用户关注的兴趣区域；步骤4 事件交互管理器将分析用户关注的兴趣区域结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、和谐的人机交互。
2.根据权利要求1所述的一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，其特征在于所述的步骤1中设计者用户分析的结果是对交互过程中用户可能感兴趣的区域进行划分的依据，划分出的兴趣区域为后续的分析做准备。
3.根据权利要求1所述的一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，其特征在于所述的步骤3中事件交互管理器根据得到的用户眼球在屏幕上的焦点位置，通过计算兴趣区域的激活率分析用户关注的兴趣区域；兴趣区域分析算法是事件交互管理器的核心，激活率I表示用户对设定的某一区域感兴趣的概率，当该值超过所设定的阈值时，该兴趣区域将被激活，仿生代理将做出相应反应；当已经激活的兴趣区域的激活率 I低于所设定的阈值时，表示用户对该区域的兴趣减弱，则该兴趣区域的激活状态被抑制， 同时依据其他区域的激活率I，一个新的激活区域将被选择，仿生代理将做出相应反应，激活率I的定义如下式所示T上式中，T为所定义的时间窗，Ta为在时间窗T内用户视线在设定的某一兴趣区域的积累时间。
4.根据权利要求1所述的一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，其特征在于所述的步骤4中事件交互管理器根据正被激活的不同兴趣区域，控制仿生代理产生相应的表情、动作和语音，仿生代理的表情、动作和语音根据不同的场景需求事先设定，使其能对用户进行智能、友好的反馈，实现自然、和谐的人机交互。
全文摘要
本发明一种基于仿生代理与视线追踪兴趣区域分析的人机交互方法，可概括为(1)设计者进行用户分析，根据用户分析结果设定用户可能关注的兴趣区域；(2)事件交互管理器实时接收分析眼动仪产生的数据，计算用户眼球在屏幕上的焦点位置；(3)事件交互管理器根据得到的用户眼球在屏幕上的焦点位置，分析用户关注的兴趣区域；(4)事件交互管理器将分析用户关注的兴趣区域结果作为非接触性指令控制人机交互界面上仿生代理的表情、动作和语音，对用户进行智能反馈，实现自然、和谐的人机交互。根据本发明搭建的基于仿生代理与视线追踪兴趣区域分析的人机交互系统包括(1)眼动仪；(2)人机交互界面；(3)事件交互管理器；(4)仿生代理。
文档编号G06F3/01GK102221881SQ20111013191
公开日2011年10月19日 申请日期2011年5月20日 优先权日2011年5月20日
发明者毛峡, 罗纳 申请人:北京航空航天大学