本公开涉及图像处理领域，更具体地，本公开涉及一种基于神经网络的人脸形状点和状态属性的检测方法和装置、基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。
背景技术
增强现实是指在真实的物体上实时渲染虚拟的物体或场景，并配合真实物体完成互动。近年来，随着手机和智能技术的不断发展，基于人脸的增强现实(ar)应用越来越多出现在用户的视野中。虚拟试戴、饰物佩戴、动画渲染、虚拟场景等均是常见的增强现实应用。基于人脸的增强现实技术其核心问题在于，快速定位并跟踪人脸形状，并输出尽可能多的人脸状态描述。
现有的人脸描述技术主要基于传统的机器学习方法，难以应对多状态的情景，特征抽取的时间占据算法总处理时间比重最大，分类效果差。
技术实现要素：
鉴于上述问题而提出了本公开。本公开提供一种基于神经网络的目标检测方法和装置、一种基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。
根据本公开的一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。
此外，根据本公开的一个方面的基于神经网络的人脸形状点和状态属性的检测方法，其中所述神经网络包括输入层、中间层、输出层，所述方法还包括：预先训练所述神经网络，其中，所述预先训练所述神经网络包括：经由所述输入层接收标注有人脸形状点及对应的人脸状态属性的训练图像；经由所述中间层对所述训练图像进行特征抽取；经由所述输出层输出训练结果，其中，所述输出层包括第一全连接层以及与所述第一全连接层对应的第一损失层、第二全连接层以及与所述第二全连接层对应的第二损失层；在所述神经网络的所述第一、第二损失层输出满足预定条件时，获得训练好的所述神经网络，在所述神经网络的损失层输出不满足预定条件时，继续输入所述训练图像以重复执行上述训练过程。
此外，根据本公开的一个方面的基于神经网络的人脸形状点和状态属性的检测方法，其中，所述第一损失层的输出与所述人脸形状点相关；所述第二损失层的输出与所述人脸状态属性相关。所述第一损失层的输出为，由所述第一损失层的损失函数输出所述人脸形状点与标注的人脸形状点之间的欧式距离；所述第二损失层的输出为，由所述第二损失层的损失函数输出所述人脸状态属性与标注的人脸状态属性之间的欧式距离。所述第二损失层包括多个不同的损失函数以输出多种不同的所述人脸状态属性所对应的损失，所述多种不同的所述人脸状态属性对应于相同或同类的所述人脸形状点。其中，对于输出的不同的所述人脸状态属性，所述第二全连接层为空、或者多个所述损失函数共享同一个第二全连接层、或者同一个损失函数对应多个第二全连接层。所述预先训练所述神经网络还包括：将多个所述损失函数的输出结果加权相加，进行网络训练；以及在训练过程中逐个调整多个所述损失函数的权重，直到损失函数的误差收敛。
根据本公开的另一个方面，提供了一种基于人脸形状点和状态属性检测的增强现实方法，包括：获取待渲染的图像；对所述图像进行人脸检测，获得所述图像中的人脸框；利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；判断所述人脸形状点是否属于人脸；在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。所述方法还包括在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。其中，所述图像为视频流中的一帧图像，所述方法还包括：根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。
根据本公开的再一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测装置，所述检测装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述检测装置执行基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。
根据本公开的再一个方面，提供了一种基于神经网络的人脸形状点和状态属性的增强现实装置，所述增强现实装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述增强现实装置执行基于人脸形状点和状态属性检测的增强现实方法，包括：获取待渲染的图像；对所述图像进行人脸检测，获得所述图像中的人脸框；利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；判断所述人脸形状点是否属于人脸；在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。
根据本公开的又一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测装置，所述装置包括：接收模块，用于接收待检测的人脸图像；检测模块，用于检测所述人脸图像中的人脸形状点及人脸状态属性；输出模块，用于输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。
根据本公开的又一个方面，提供了一种基于人脸形状点和状态属性检测的增强现实系统，包括：图像获取单元，用于获取待渲染的图像；人脸框检测单元，用于对所述图像进行人脸检测，获得所述图像中的人脸框；人脸状态检测单元，用于利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；人脸判断单元，用于判断所述人脸形状点是否属于人脸；增强现实单元，用于在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。所述增强现实系统还包括：人脸框调整单元，用于在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。其中，所述图像为视频流中的一帧图像，所述系统还包括：人脸框估计单元，用于根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。
根据本公开的再一个方面，提供了一种计算机可读存储介质，其上存储计算机可读程序指令，当所述计算机可读程序指令由处理器运行时，执行基于神经网络的人脸形状点和状态属性的检测方法、或基于人脸形状点和状态属性检测的增强现实方法。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本公开的实施例的基于神经网络的人脸形状点和状态属性的检测方法的流程图。
图2是图示根据本公开的实施例的用于的人脸形状点和状态属性的检测的神经网络的训练方法的流程图。
图3是图示根据本公开的实施例的神经网络的结构示意图。
图4是图示根据本公开的实施例的基于人脸形状点和状态属性检测的增强现实方法的流程图。
图5是图示根据本公开的实施例的基于神经网络的人脸形状点和状态属性的检测装置的框图。
图6是图示根据本公开的实施例的基于人脸形状点和状态属性检测的增强现实系统的框图。
图7是图示根据本公开的实施例的检测装置的硬件框图。
图8是图示根据本公开的实施例的增强现实装置的硬件框图。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
本公开涉及基于神经网络的人脸形状点和状态属性的检测方法和装置、基于人脸形状点和状态属性检测的增强现实方法和系统以及计算机可读存储介质。以下，将参考附图详细描述本公开的各个实施例。
首先，参照图1概述根据本公开实施例的基于神经网络的人脸形状点和状态属性的检测方法。
图1是图示根据本公开的实施例的基于神经网络的人脸形状点和状态属性的检测方法的流程图。如图1所示，根据本公开实施例的检测方法包括以下步骤。
在步骤s101中，接收待检测的人脸图像。在本公开的一个实施例中，所接收的待检测人脸图像可以通过图像采集模块获取。接收待检测的图像包括但不限于，在由物理位置上分离配置的图像采集模块采集图像数据之后，经由有线或者无线方式，接收从所述图像采集模块发送的图像数据。可替代地，图像采集模块可以与检测装置中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，例如，图像采集模块是作为检测装置的电子设备上配置的摄像头。检测装置中的其他模块或组件经由内部总线接收从图像采集模块发送的图像数据。待检测的人脸图像可以是图像采集模块采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。此后，处理进到步骤s102。
在步骤s102中，检测所述人脸图像中的人脸形状点及人脸状态属性。在本公开的一个实施例中，利用预先训练好的神经网络对于接收到的待检测的人脸图像进行检测，检测图像中的人脸形状点及人脸状态属性。人脸形状点为人脸上能够代表人脸状态变化的点，人脸形状点具有与之对应的人脸状态属性。例如，人脸状态属性包括：人脸姿态、人眼视线方向、人眼虹膜状态、嘴巴状态、眼睛睁闭等，在人脸状态发生变化时会这些人脸形状点对应的人脸状态属性的取值也会不同，由此得到不同的人脸描述。对应于上述人脸状态点的人脸状态属性取值包括：对应于人脸姿态的人脸三维姿态(三维姿态包括人脸的三个角度，即，上下翻转角度、左右翻转角度或平面内旋转角度)等，对应于人眼视线的不同视线角度、瞳孔位置等，对应于人眼虹膜的虹膜纹理等，对应于眼睛的睁眼、闭眼等，对应嘴巴的不同嘴形等。此后，处理进到步骤s103。
在步骤s103中，输出所述人脸形状点及人脸状态属性。在本公开的一个实施例中，经过神经网络自动输出检测到的人脸形状点及与之相关的人脸状态属性。
以下，将参照图2的流程图进一步详细描述用于的人脸形状点和状态属性的检测的神经网络的训练方法。
具体地，如下将进一步描述的，根据本公开的实施例的用于人脸形状点和状态属性检测的神经网络的训练方法包括以下步骤。
在步骤s201中，经由所述输入层接收标注有人脸形状点及对应的人脸状态属性的训练图像。在本公开的一个实施例中，所述训练图像可以通过预先从社交网络及手机拍摄的视频帧中抽取人脸图像，为保证图像对应不同的场景，应尽可能多的按照不同光照、遮挡、不同表情、不同姿态搜集图像，优选的，搜集图像10000张以上。标注图像上的人脸形状点位置，以及所有人脸状态对应的具体人脸状态属性值。此后，处理进到步骤s202。
在步骤s202中，经由所述中间层对所述训练图像进行特征抽取。该中间层包含任何多个卷积层、非线性层和池化层。此后，处理进到步骤s203。
在步骤s203中，经由输出层接收中间层的处理结果，由第一全连接层和第一损失层负责输出人脸形状点，由第二全连接层和第二损失层负责输出人脸状态属性。具体的，第一损失层的损失函数输出所述人脸形状点与标注的人脸形状点之间的欧式距离；第二损失层的损失函数输出所述人脸状态属性与标注的人脸状态属性之间的欧式距离。
第二损失层可以包括多个不同的损失函数以输出多种不同的人脸状态属性所对应的损失，所述多种不同的人脸状态属性对应于相同或同类的人脸形状点。例如，根据本公开的一个实施例中，人脸形状点中的人眼视线、人眼虹膜、眼睛的形状点都是与人的眼睛有关的人脸形状点，其属于同类的人脸形状点，则与上述人的眼睛相关的人脸状态属性包括：人眼视线角度、瞳孔位置、虹膜纹理、闭眼、睁眼等。在训练过程中，可以使第一损失层输出人的眼睛的形状点，同时在第二损失层中串联对应眼睛的多个人脸状态属性的损失函数，使得第二损失层输出与人的眼睛这类人脸形状点相关的所有人脸状态属性。
进一步的，对于输出的不同的人脸状态属性，第二全连接层可以为空、或者多个损失函数共享同一个第二全连接层、或者同一个损失函数对应多个第二全连接层。例如，人脸状属性中的全部特征分别通过对应的第二全连接层和第二损失层中的损失函数输出；或者，人脸状态属性中的特征a通过对应于a的第二全连接层和第二损失层中的损失函数输出，人脸状态属性中的特征b仅通过第二损失层中对应于b的损失函数输出，即第二全连接层为空；或者，人脸状态属性中的特征a通过对应于a的第二全连接层和第二损失层中的损失函数输出，人脸状态属性中的特征b和c共享一个第二全连接层，而后通过分别对应特征b和c的第二损失层中的损失函数输出。此后，处理进到步骤s204。
在步骤s204中，判断第一、第二损失层输出是否满足预定条件。如果满足预定条件，则训练过程结束。如果不满足预定条件，则处理进到步骤s205。
其中，将多个损失函数的输出结果加权相加，如果损失函数的误差收敛，则认为已满足预定条件，如果损失函数的误差不收敛，则认为不满足预定条件。
步骤s205，继续输入训练图像，并调整损失函数的权重。并返回步骤s201重复执行上述训练过程。其中，在训练过程中逐个调整多个损失函数的权重。
图3是图示根据本公开的实施例的神经网络的结构示意图。如图3所示，本公开实施例的神经网络300包括输入层301、中间层302以及输出层303。输出层303包括第一全连接层30311以及第一损失层30312，第二全连接层30321以及第二损失层30322；第一全连接层30311连接第一损失层30312，第二全连接层30321连接第二损失层30322。图3中给出的神经网络的结构可以用于图1和图2所示的检测方法和训练方法。
在检测过程中，输入层301接收人脸图像；中间层302对所述图像进行特征抽取；输出层303输出具有人脸形状点及其人脸状态属性的检测后的图像。在训练过程中，输入层301接收标注有人脸形状点及对应的人脸状态属性的训练图像；中间层202对训练图像进行特征抽取；输出层303输出训练结果。当第一、第二损失层30312、30322的输出满足预定条件时，获得训练好的所述神经网络，不满足预定条件时，继续在输入层301输入训练图像以重复执行训练过程。
此外，需要理解的是，参照图3示出的神经网络结构仅仅是示例性的，本公开不限于此。通过图2、3给出的训练方法及神经网络结构，通过预先对神经网络进行训练，利用神经网络可以同时输出人脸形状点跟踪过程中的多个形状点分支对应的人脸状态属性，实现了快速有效的人脸描述。通过神经网络参数的光想，减少了计算量，进而减小了人脸检测的负载，使得实时人脸定位与人脸状态更容易实现。
图4是图示根据本公开的实施例的基于人脸形状点和状态属性检测的增强现实方法的流程图。如图4所示，根据本公开的实施例的基于人脸形状点和状态属性检测的增强现实方法包括以下步骤。
在步骤s401中，获取待渲染的图像。在本公开的一个实施例中，可以通过图像采集模块获取视频流，视频流中的每一帧图像作为待渲染的图像，例如，从手机拍摄的视频中获取视频流。此后，处理进到步骤s402。
在步骤s402中，对所述图像进行人脸检测，获得所述图像中的人脸框。在本公开的一个实施例中，对视频流图像中的当前帧进行人脸检测，获得图像帧中所有人脸的人脸框大小和位置。其中，可以使用已有的人脸检测算法来实现图像中的人脸检测。例如，预先搜集大量人脸图像，人工在每张图像上标注出人脸框的位置，利用机器学习方法(如深度学习，或基于haar特征的adaboost方法)进行训练得到人脸检测模型，获得图像中的人脸框。此后，处理进到步骤s403。
在步骤s403中，利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性。所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。在本公开的一个实施例中，利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性的过程是，通过步骤s301-s306对神经网络进行预先训练，利用预先训练的神经网络通过步骤s101-s103得到人脸形状点及人脸状态属性。此后，处理进到步骤s404。
在步骤s404中，判断所述人脸形状点是否属于人脸。基于通过步骤s402得到的人脸框位置和通过步骤s403得到的人脸形状点及人脸状态属性，定位人脸形状点之后，调整人脸框为该形状点外包围盒，判断该形状点是否为人脸。其中，通过神经网络计算人脸框的置信度，将该置信度与一个阈值进行比较，若高于阈值，则表明检测结果是属于人脸，则处理进到步骤s405；如果该置信度低于阈值，则表明检测结果不属于人脸，退出本次人脸跟踪，返回步骤s402。
在步骤s405中，在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像。例如，给人佩戴帽子并随着人头三维姿态变化而旋转帽子，或如随着人脸视线变化控制虚拟渲染的小球击打乒乓球等。此后，处理进到步骤s406。
在步骤s406中，判断是否对全部图像处理完毕，如果是，则退出，如果不是，则处理进到步骤s407。
在步骤s407中，根据当前帧中检测到人脸形状点预估下一帧中的人脸框，返回步骤s403，继续对下一帧中的图像进行处理。
图5是图示根据本公开的实施例的基于神经网络的人脸形状点和状态属性的检测装置的框图。如图5所示的根据本公开的实施例的基于神经网络的人脸形状点和状态属性的检测装置50可以用于执行如图1所示的基于神经网络的人脸形状点和状态属性的检测方法。如图5所示，根据本公开的实施例的人脸形状点和状态属性的检测装置50包括接收模块501、检测模块502以及输出模块503。
具体地，接收模块501用于接收待检测的人脸图像。在本公开的一个实施例中，接收模块501可以通过图像采集模块获取待检测的人脸图像。
检测模块502用于检测所述人脸图像中的人脸形状点及人脸状态属性。在本公开的一个实施例中，检测模块502利用预先训练好的神经网络对于接收到的待检测的人脸图像进行检测，检测图像中的人脸形状点及人脸状态属性。其中，人脸形状点为人脸上能够代表人脸状态变化的点，人脸形状点具有与之对应的人脸状态属性。
输出模块503用于输出所述人脸形状点及人脸状态属性。在本公开的一个实施例中，经过检测装置50的检测自动输出检测到的人脸形状点及与之相关的人脸状态属性。
图6是图示根据本公开的实施例的基于人脸形状点和状态属性检测的增强现实系统的框图。如图6所示的根据本公开的实施例的基于神经网络的人脸形状点和状态属性检测的增强现实系统60可以用于执行如图3所示的基于人脸形状点和状态属性检测的增强现实方法。如图6所示，根据本公开的实施例的增强现实系统60包括图像获取单元601、人脸框检测单元602以及人脸状态检测单元603、人脸判断单元604、增强现实单元605、人脸框调整单元606以及人脸框估计单元607。
具体地，图像获取单元601用于获取待渲染的图像。其功能类似检测装置50中的图像采集模块，用于获取视频流图像，例如，图像获取单元601为手机的摄像头，用于从所拍摄的视频中获取视频帧。
人脸框检测单元602用于对所述图像进行人脸检测，获得所述图像中的人脸框。在本公开的一个实施例中，人脸框检测单元602对视频流图像中的当前帧进行人脸检测，获得图像帧中所有人脸的人脸框大小和位置。
人脸状态检测单元603用于利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性。其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。在本公开的一个实施例中，将检测装置50嵌入增强现实系统60中，作为人脸状态检测单元603检测人脸形状点及人脸状态属性。
人脸判断单元604用于判断所述人脸形状点是否属于人脸。基于人脸框检测单元602得到的人脸框位置和人脸状态检测单元603得到的人脸形状点及人脸状态属性。
通过人脸判断单元604判断该形状点如果是属于人脸，则进一步通过增强现实单元605根据所述人脸形状点及人脸状态属性渲染所述图像；如果不是，则退出系统。
其中，人脸框调整单元606用于在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。在人脸判断单元604定位人脸形状点之后，通过人脸框调整单元606调整人脸框为人脸形状点的外包围盒。
人脸框估计单元607用于根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。
图7是图示根据本公开的实施例的检测装置的硬件框图。如图7所示，根据本公开实施例的检测装置70包括存储器701和处理器702。检测装置70中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
所述存储器701用于存储非暂时性计算机可读指令。具体地，存储器701可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
所述处理器702可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制检测装置70中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器702用于运行所述存储器701中存储的所述计算机可读指令，使得所述检测装置70执行基于神经网络的人脸形状点和状态属性的检测方法。所述基于神经网络的人脸形状点和状态属性的检测方法与参照图1描述的相同，在此将省略其重复描述。
此外，需要理解的是，图7所示的检测装置70的组件和结构只是示例性的，而非限制性的，根据需要，检测装置70也可以具有其他组件和结构。例如，图像采集装置和输出装置等(未示出)。图像采集装置可以用于采集人脸图像，并且将所采集到的图像存储在存储器701中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述人脸图像，并且将采集的图像发送给检测装置70。输出装置可以向外部(例如用户)输出各种信息，例如图像检测结果信息。输出装置可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。
图8是图示根据本公开的实施例的增强现实装置的硬件框图。如图8所示，根据本公开实施例的增强现实装置80包括存储器801和处理器802。增强现实装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
所述存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
所述处理器802可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制增强现实装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行所述存储器801中存储的所述计算机可读指令，使得所述增强现实装置80执行基于人脸形状点和状态属性检测的增强现实方法。所述增强现实方法与参照图4描述的相同，在此将省略其重复描述。
此外，需要理解的是，图8所示的增强现实装置80的组件和结构只是示例性的，而非限制性的，根据需要，增强现实装置80也可以具有其他组件和结构。例如，图像采集装置和输出装置等(未示出)。图像采集装置可以用于采集待渲染的图像，并且将所拍摄的图像存储在存储器801中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述待渲染的图像，并且将采集的图像发送给增强现实装置80。输出装置可以向外部(例如用户)输出各种信息，例如渲染后的图像。输出装置可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照以上附图描述的根据本公开实施例的基于神经网络的人脸形状点和状态属性的检测方法以及基于人脸形状点和状态属性检测的增强现实方法。
以上，根据本公开实施例的基于神经网络的人脸形状点和状态属性的检测方法和装置、基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。通过根据本公开实施例的人脸形状点和状态属性的检测方法，利用不同人脸状态属性的相关性，在视频流中实时输出了人脸形状点和各类人脸状态属性，使得对于人脸形状点和状态属性过程就变得更为迅速。通过预先对神经网络进行训练得到快速有效的神经网络模型，同时实现人脸形状点和多类人脸状态属性的简单快速可靠的输出。本公开中的装置、系统适用于对摄像头，内存和处理器要求不高的任意平台。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。