人机交互方法和用于服务器的电子邮件发送方法

文档序号:10655861阅读:990来源:国知局
人机交互方法和用于服务器的电子邮件发送方法
【专利摘要】本发明提供了人机交互方法和用于服务器的电子邮件发送方法,人机交互方法包括:采集用户的脸部图像序列和手部图像序列;根据脸部图像序列,识别用户的脸部动作;根据手部图像序列,识别用户的手势;采集指纹区中当前的指纹图像,以识别用户当前所使用的指纹信息;基于已识别的用户的脸部动作、手势和所使用的指纹信息,确定对应的计算机指令,并根据计算机指令对相应计算机执行对应的操作。本发明的上述技术能够提高人机交互过程中的保密性和安全性。
【专利说明】
人机交互方法和用于服务器的电子邮件发送方法
技术领域
[0001]本发明涉及计算机领域,尤其涉及一种人机交互方法和一种用于服务器的电子邮件发送方法。
【背景技术】
[0002]人机交互技术(Human-Computer Interact1n Techniques)是指通过计算机的输入/输出设备、以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等,人通过输入设备给机器输入有关信息,回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。
[0003]目前,人机交互技术所使用的交互方式比较有限,如使用键盘、鼠标等传统输入设备,以及手势识别、人脸识别等技术。然而,这种现有的人机交互技术输入方式具有局限性,而且安全性较差,不适于一些需要高安全性的场合。

【发明内容】

[0004]在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
[0005]鉴于此,本发明提供了一种人机交互方法和用于服务器的电子邮件发送方法,以至少解决现有人机交互技术输入方式有限、安全性差的问题。
[0006]根据本发明的一个方面,提供了一种人机交互方法,所述人机交互方法包括:采集用户的脸部图像序列和手部图像序列;根据所述脸部图像序列,识别所述用户的脸部动作;根据所述手部图像序列,识别所述用户的手势;采集指纹区中当前的指纹图像,以识别所述用户当前所使用的指纹信息;基于已识别的所述用户的所述脸部动作、所述手势和所使用的指纹信息,确定对应的计算机指令,并根据所述计算机指令对相应计算机执行对应的操作。
[0007]进一步地,所述识别所述用户的脸部动作的步骤包括:针对所述脸部图像序列中的每幅图像,对该幅图像进行降噪,利用模板匹配方法获取该幅图像中的人脸位置,基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置;利用所述脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用所述脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用所述脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用所述脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用所述脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用所述脸部图像序列的各幅图像中的右耳位置形成右耳位置序列;利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列,通过与所述预存模型进行匹配,确定所述用户的脸部动作。
[0008]进一步地,对所述脸部图像序列中的每幅图像采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪。
[0009]根据本发明的另一方面,还提供了一种用于服务器的电子邮件发送方法,所述电子邮件发送方法包括:当所述服务器上安装的预定应用被打开、且所述预定应用被用于添加邮件附件时,采集用户的脸部图像序列和手部图像序列,以识别所述用户的脸部动作和手势,其中,所述预定应用为用于发送及接收电子邮件的应用;通过所述服务器的屏幕提示所述用户输入指纹,并采集所述服务器指纹区中当前的指纹图像,以识别所述用户当前所使用的指纹信息;根据已识别的所述用户的所述脸部动作、所述手势和所使用的指纹信息,形成所述用户的特征信息;针对所述服务器上预存的多个已知特征信息中的每一个,计算该已知特征信息与所述用户的特征信息之间的相似度,并当该相似度大于或等于预定阈值时将该已知特征信息确定为所述用户的匹配结果;若所述多个已知特征信息中存在所述用户的匹配结果,则允许该用户添加所述附件,并允许该用户继续发送电子邮件;若所述多个已知特征信息中不存在所述用户的匹配结果,则禁止该用户添加所述附件,并输出报警信号。
[0010]进一步地,所述输出报警信号的步骤包括:发出声音警报信号;和/或向预设电子邮箱地址发送警报邮件,并将所述用户的脸部图像序列和/或指纹信息作为所述警报邮件的附件。
[0011]进一步地,所述识别所述用户的脸部动作的步骤包括:针对所述脸部图像序列中的每幅图像,对该幅图像进行降噪,利用模板匹配方法获取该幅图像中的人脸位置,基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置;利用所述脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用所述脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用所述脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用所述脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用所述脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用所述脸部图像序列的各幅图像中的右耳位置形成右耳位置序列;利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列,通过与所述预存模型进行匹配,确定所述用户的脸部动作。
[0012]进一步地,对所述脸部图像序列中的每幅图像采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪。
[0013]上述根据本发明实施例的人机交互方法,通过识别用户的脸部动作、手势和所使用的指纹信息,来确定对应的计算机指令,进而实现人机交互。
[0014]与现有的人机交互相比,本发明的交互方法在人机交互过程中,不仅利用了人脸识别和手势识别,同时还利用了人的指纹信息,而这在传统的人机交互技术中是未曾有的。在现有技术中,指纹信息通常用于身份识别,未曾用于人机交互领域,也未与人脸识别、手势识别联合使用;而本发明的人机交互方法采用基于这三种识别手段的联合识别技术,一方面能够增加人机交互过程中的指令数量,另一方面还能够增加人机交互过程中的保密性和安全性。
[0015]此外,当“通过查表的方式获得对应的计算机指令”时,可以在预存的计算机指令表中关键的一个或多个指令对应的特征中嵌入指定的指纹信息,由此使得该一个或多个指令仅能够被对应的指定用户打开。这样,可以使得人机交互过程的一部分操作能够被所有人执行,而另一部分操作仅能被部分人执行,使得操作具有不同权限等级,由此可对部分操作加密或加锁。例如,为了安全起见而对“格式化计算机”这个指令嵌入指定管理员的指纹信息,以及为了禁止小孩打开计算机中的游戏应用而将所有关于游戏启动的指令嵌入家长的指纹信息等。
[0016]此外,本发明的用于服务器的电子邮件发送方法,其监测用户操作,并当用户试图添加邮件附件时,通过识别用户的脸部动作、手势和所使用的指纹信息来确定该用户是否有权限添加邮件附件,由此通过脸部动作、手势和指纹三者相结合的方式对添加邮件附件的操作实现了加锁处理,也就是说,除指定用户之外的其他人均不能添加邮件附件。
[0017]与现有的电子邮件发送技术相比,本发明在邮件发送过程中利用了人脸识别、手势识别和指纹识别技术,能够有效地对服务器的文件进行保护。在现有技术中,通常是利用禁止复制、禁用接口等手段来保护服务器文件的,安全性较低;而利用本发明的电子邮件发送方法,能够有效地解决这个问题,只有当用户为指定用户(如上面举例的3个管理员之一)时,才有机会添加附件,能够防止其他人擅自将服务器上的关键文件通过电子邮件的形式发送到外网。在实际应用中,可以在服务器上禁用一切浏览器,从而禁用web应用,防止用户通过浏览器等方式发送邮件附件。
[0018]也就是说,当用户人脸识别、手势识别和指纹识别通过检测时,该用户能够添加邮件附件并发送邮件;而当未通过检测时,则系统报警。在一些特殊场合,例如无人看守的服务器,可以采用声音警报信号的方式,这样可以在发现可以操作的第一时间通知工作人员;同时将用户的脸部图像序列和/或指纹信息作为警报邮件的附件发送给预设电子邮箱(例如公司安保邮箱),可以为后续诉讼、维权保留有效证据等。
[0019]通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这些以及其他优点将更加明显。
【附图说明】
[0020]本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表预定示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
[0021]图1是示出本发明的人机交互方法的一个示例处理的流程图;
[0022]图2是示出本发明的用于服务器的电子邮件发送方法的一个示例处理的流程图。
[0023]本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本发明实施例的理解。
【具体实施方式】
[0024]在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
[0025]在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
[0026]本发明的实施例提供了一种人机交互方法,所述人机交互方法包括:采集用户的脸部图像序列和手部图像序列;根据所述脸部图像序列,识别所述用户的脸部动作;根据所述手部图像序列,识别所述用户的手势;采集指纹区中当前的指纹图像,以识别所述用户当前所使用的指纹信息;基于已识别的所述用户的所述脸部动作、所述手势和所使用的指纹信息,确定对应的计算机指令,并根据所述计算机指令对相应计算机执行对应的操作。
[0027]图1示出了本发明的人机交互方法的一个示例处理的流程图。上述人机交互方法的示例性处理开始于步骤SI 10。
[0028]在步骤SllO中,采集用户的脸部图像序列和手部图像序列。
[0029]接着,在步骤S120中,根据脸部图像序列,识别用户的脸部动作。
[0030]根据一种实现方式,步骤S120中识别用户的脸部动作的步骤可以通过如下处理来实现:针对脸部图像序列中的每幅图像,对该幅图像进行降噪(例如可以采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪),利用模板匹配方法获取该幅图像中的人脸位置,基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置;利用脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用脸部图像序列的各幅图像中的右耳位置形成右耳位置序列;利用左眼位置序列、右眼位置序列、鼻子位置序列、嘴部位置序列、左耳位置序列和右耳位置序列,通过与预存模型进行匹配,确定用户的脸部动作。
[0031]根据其他实现方式,步骤S120中识别用户的脸部动作的过程也可以采用其他已经公开的现有技术来实现。
[0032]接着,在步骤S130中,根据手部图像序列,识别用户的手势。其中,识别用户手势的过程例如可以采用现有的手势识别技术来实现,这里不再赘述。
[0033]然后,在步骤S140中,采集指纹区中当前的指纹图像,以识别用户当前所使用的指纹信息。其中,指纹信息的识别过程可以采用现有的指纹识别技术来实现,这里不再赘述。
[0034]接着,在步骤S150中,基于已识别的用户的脸部动作、手势和所使用的指纹信息,确定对应的计算机指令,并根据计算机指令对相应计算机执行对应的操作。
[0035]根据一种实现方式,可以通过查表的方式获得对应的计算机指令。例如,预先制作一个计算机指令表,在该表中,每个计算机指令唯一地对应于一组特征信息,而每组特征信息由脸部动作、手势和指纹信息三个分量组成。
[0036]在一个例子中,假设预制的计算机指令表包括3条指令(也可以为更多条指令),分别为xl、x2和x3。其中,xl对应的特征信息是(脸部动作一,手势一,指纹信息一),x2对应的特征信息是(脸部动作二,手势二,指纹信息二),而x3对应的特征信息是(脸部动作三,手势三,指纹信息三)。假设已识别的用户的脸部动作、手势和所使用的指纹信息分别为脸部动作a、手势b和指纹信息C,则可以用(动作a,手势b,指纹信息c)描述用户的特征信息。假设通过比较得出,(动作a,手势b,指纹信息c)与(脸部动作一,手势一,指纹信息一)完全一致、或者最接近(其中,可以通过计算相似度来比较的现有技术实现上述“比较”的过程),则判定对应的计算机指令为xl。比如,xl为“打开文件x.doc”,则下一步将根据指令xl来打开与用户进行交互的计算机上的文件“x.doc”。
[0037]通过以上描述可知,本发明的人机交互方法通过识别用户的脸部动作、手势和所使用的指纹信息,来确定对应的计算机指令,进而实现人机交互。与现有的人机交互相比,本发明的交互方法在人机交互过程中,不仅利用了人脸识别和手势识别,同时还利用了人的指纹信息,而这在传统的人机交互技术中是未曾有的。在现有技术中,指纹信息通常用于身份识别,未曾用于人机交互领域,也未与人脸识别、手势识别联合使用;而本发明的人机交互方法采用基于这三种识别手段的联合识别技术,一方面能够增加人机交互过程中的指令数量,另一方面还能够增加人机交互过程中的保密性。
[0038]此外,当“通过查表的方式获得对应的计算机指令”时,可以在预存的计算机指令表中关键的一个或多个指令对应的特征中嵌入指定的指纹信息,由此使得该一个或多个指令仅能够被对应的指定用户打开。这样,可以使得人机交互过程的一部分操作能够被所有人执行,而另一部分操作仅能被部分人执行,使得操作具有不同权限等级,由此可对部分操作加密或加锁。例如,为了安全起见而对“格式化计算机”这个指令嵌入指定管理员的指纹信息,以及为了禁止小孩打开计算机中的游戏应用而将所有关于游戏启动的指令嵌入家长的指纹信息等。
[0039]根据本发明的另一方面,还提供了一种用于服务器的电子邮件发送方法,电子邮件发送方法包括:当服务器上安装的预定应用被打开、且预定应用被用于添加附件时,采集用户的脸部图像序列和手部图像序列,以识别用户的脸部动作和手势,其中,预定应用为用于发送及接收电子邮件的应用;通过服务器的屏幕提示用户输入指纹,并采集服务器指纹区中当前的指纹图像,以识别用户当前所使用的指纹信息;根据已识别的用户的脸部动作、手势和所使用的指纹信息,形成用户的特征信息;针对服务器上预存的多个已知特征信息中的每一个,计算该已知特征信息与用户的特征信息之间的相似度,并当该相似度大于或等于预定阈值时将该已知特征信息确定为用户的匹配结果;若多个已知特征信息中存在用户的匹配结果,则允许该用户添加附件,并允许该用户继续发送电子邮件;若多个已知特征信息中不存在用户的匹配结果,则禁止该用户添加附件,并输出报警信号。
[0040]图2示出了本发明的用于服务器的电子邮件发送方法的一个示例处理的流程图。
[0041]如图2所示,当服务器上安装的预定应用被打开、且预定应用被用于添加附件时,启动处理,执行步骤S210。其中,预定应用为用于发送及接收电子邮件的应用。
[0042]在步骤S210中,采集用户的脸部图像序列和手部图像序列,以识别用户的脸部动作和手势。
[0043]例如,根据一种实现方式,当服务器上安装的预定应用被打开、并且当用户执行添加邮件附件操作时,触发整个流程开始,执行步骤S210。
[0044]其中,步骤S210中识别用户的脸部动作的步骤可以包括如下处理:针对脸部图像序列中的每幅图像,对该幅图像进行降噪(例如可以采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪),利用模板匹配方法获取该幅图像中的人脸位置,基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置;利用脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用脸部图像序列的各幅图像中的右耳位置形成右耳位置序列;利用左眼位置序列、右眼位置序列、鼻子位置序列、嘴部位置序列、左耳位置序列和右耳位置序列,通过与预存模型进行匹配,确定用户的脸部动作。
[0045]其中,步骤S210的处理例如可以与上文所描述的步骤S120和S130的处理相似,这里不再赘述。
[0046]接着,在步骤S220中,通过服务器的屏幕提示用户输入指纹,并采集服务器指纹区中当前的指纹图像,以识别用户当前所使用的指纹信息。其中,步骤S220的处理例如可以与上文所描述的步骤S140的处理相似,这里不再赘述。例如,可以在提示用户输入指纹之后的10秒之内采集指纹图像。
[0047]然后,在步骤S230中,根据已识别的用户的脸部动作、手势和所使用的指纹信息,形成用户的特征信息。假设已识别的用户的脸部动作、手势和所使用的指纹信息分别为脸部动作a、手势b和指纹信息C,则可以用(脸部动作a,手势b,指纹信息c)描述用户的特征信息。
[0048]然后,在步骤S240中,针对服务器上预存的多个已知特征信息中的每一个,计算该已知特征信息与用户的特征信息之间的相似度,并当该相似度大于或等于预定阈值时将该已知特征信息确定为用户的匹配结果。其中,预定阈值可根据经验值设定,例如可为90%。
[0049]接着,在步骤S250中,确定在多个已知特征信息中是否已找到用户的匹配结果:若已在多个已知特征信息中找到用户的匹配结果,则执行步骤S260;若未在多个已知特征信息中找到用户的匹配结果,则执行步骤S270。
[0050]在步骤S260中,允许该用户添加附件,并允许该用户继续发送电子邮件。
[0051]在步骤S270中,禁止该用户添加附件,并输出报警信号。
[0052]需要说明的是,这里所说的附件即为邮件附件。
[0053]在一个例子中,服务器上预存3个已知特征信息,且这3个已知特征信息分别表示为(脸部动作M,手势N,指纹信息yl)、(脸部动作M,手势N,指纹信息y2)和(脸部动作M,手势N,指纹信息y3)。也就是说,在该例子中,预存的3个已知特征信息中的脸部动作是相同的(例如都为摇头),并且3个已知特征信息中的手势是相同的(例如都为双手握拳),而指纹信息yl、y2和y3则分别是来自3个不同管理员各自的指纹。这样,只有用户的脸部动作为摇头、手势为双手握拳、且指纹为yl?y3中的一个时,才能在多个已知特征信息中找到用户的匹配结果,进而才有权限添加附件并继续发送电子邮件。
[0054]根据一种实现方式,步骤S250中输出报警信号的步骤可以包括以下任一种处理:发出声音警报信号;向预设电子邮箱地址发送警报邮件,并将用户的脸部图像序列和/或指纹信息作为警报邮件的附件;发出声音警报信号,同时向预设电子邮箱地址发送警报邮件,并将用户的脸部图像序列和/或指纹信息作为警报邮件的附件。在一些特殊场合,例如无人看守的服务器,可以采用声音警报信号的方式,这样可以在发现可以操作的第一时间通知工作人员;同时将用户的脸部图像序列和/或指纹信息作为警报邮件的附件发送给预设电子邮箱(例如公司安保邮箱),可以为后续诉讼、维权保留有效证据等。
[0055]通过以上描述可知,本发明的用于服务器的电子邮件发送方法,其监测用户操作,并当用户试图添加附件时,通过识别用户的脸部动作、手势和所使用的指纹信息来确定该用户是否有权限添加邮件附件,由此通过脸部动作、手势和指纹三者相结合的方式对添加邮件附件的操作实现了加锁处理,也就是说,除指定用户之外的其他人均不能添加邮件附件。
[0056]与现有的电子邮件发送技术相比,本发明在邮件发送过程中利用了人脸识别、手势识别和指纹识别技术,能够有效地对服务器的文件进行保护。在现有技术中,通常是利用禁止复制、禁用接口等手段来保护服务器文件的,对于通过邮件附件方式获取服务器文件的方式尚无解决方法;而利用本发明的电子邮件发送方法,能够有效地解决这个问题,只有当用户为指定用户(如上面举例的3个管理员之一)时,才有机会添加附件,能够防止其他人擅自将服务器上的关键文件通过电子邮件的形式发送到外网。在实际应用中,预定应用可以是本地的电邮应用,也可以是web应用等;或者,在实际应用中,也可以在服务器上禁用一切浏览器,从而禁用web应用,防止用户通过浏览器等方式发送邮件附件。
[0057]尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
【主权项】
1.一种人机交互方法,其特征在于,所述人机交互方法包括: 采集用户的脸部图像序列和手部图像序列; 根据所述脸部图像序列,识别所述用户的脸部动作; 根据所述手部图像序列,识别所述用户的手势; 采集指纹区中当前的指纹图像,以识别所述用户当前所使用的指纹信息; 基于已识别的所述用户的所述脸部动作、所述手势和所使用的指纹信息,确定对应的计算机指令,并根据所述计算机指令对相应计算机执行对应的操作。2.根据权利要求1所述的人机交互方法,其特征在于,所述识别所述用户的脸部动作的步骤包括: 针对所述脸部图像序列中的每幅图像, 对该幅图像进行降噪, 利用模板匹配方法获取该幅图像中的人脸位置, 基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置;利用所述脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用所述脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用所述脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用所述脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用所述脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用所述脸部图像序列的各幅图像中的右耳位置形成右耳位置序列; 利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列,通过与所述预存模型进行匹配,确定所述用户的脸部动作。3.根据权利要求2所述的人机交互方法,其特征在于,对所述脸部图像序列中的每幅图像采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪。4.一种用于服务器的电子邮件发送方法,其特征在于,所述电子邮件发送方法包括: 当所述服务器上安装的预定应用被打开且所述预定应用被用于添加邮件附件时,采集用户的脸部图像序列和手部图像序列,以识别所述用户的脸部动作和手势,其中,所述预定应用为用于发送及接收电子邮件的应用; 通过所述服务器的屏幕提示所述用户输入指纹,并采集所述服务器指纹区中当前的指纹图像,以识别所述用户当前所使用的指纹信息; 根据已识别的所述用户的所述脸部动作、所述手势和所使用的指纹信息,形成所述用户的特征信息; 针对所述服务器上预存的多个已知特征信息中的每一个,计算该已知特征信息与所述用户的特征信息之间的相似度,并当该相似度大于或等于预定阈值时将该已知特征信息确定为所述用户的匹配结果; 若所述多个已知特征信息中存在所述用户的匹配结果,则允许该用户添加所述附件,并允许该用户继续发送电子邮件; 若所述多个已知特征信息中不存在所述用户的匹配结果,则禁止该用户添加所述附件,并输出报警信号。5.根据权利要求4所述的用于服务器的电子邮件发送方法,其特征在于,所述输出报警信号的步骤包括: 发出声音警报信号;和/或 向预设电子邮箱地址发送警报邮件,并将所述用户的脸部图像序列和/或指纹信息作为所述警报邮件的附件。6.根据权利要求4所述的用于服务器的电子邮件发送方法,其特征在于,所述识别所述用户的脸部动作的步骤包括: 针对所述脸部图像序列中的每幅图像, 对该幅图像进行降噪, 利用模板匹配方法获取该幅图像中的人脸位置, 基于该幅图像中的人脸位置确定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6个位置; 利用所述脸部图像序列的各幅图像中的左眼位置形成左眼位置序列,利用所述脸部图像序列的各幅图像中的右眼位置形成右眼位置序列,利用所述脸部图像序列的各幅图像中的鼻子位置形成鼻子位置序列,利用所述脸部图像序列的各幅图像中的嘴部位置形成嘴部位置序列,利用所述脸部图像序列的各幅图像中的左耳位置形成左耳位置序列,利用所述脸部图像序列的各幅图像中的右耳位置形成右耳位置序列; 利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列,通过与所述预存模型进行匹配,确定所述用户的脸部动作。7.根据权利要求6所述的用于服务器的电子邮件发送方法,其特征在于,对所述脸部图像序列中的每幅图像采用基于贝叶斯估计的小波阈值图像降噪方法或非线性扩散方法进行降噪。
【文档编号】G06F21/55GK106022052SQ201610362384
【公开日】2016年10月12日
【申请日】2016年5月26日
【发明人】郑丽坤, 关绍云, 沈杰, 张启涛, 杨玉, 杨俊 , 金宁, 金一宁, 孔庆彦, 王兴兰, 马今朝, 马慧颖, 高祥, 李南, 李智强, 郭丹
【申请人】哈尔滨商业大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1