一种非面部ROI识别方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种非面部ROI识别的方法及装置。

背景技术：

随着计算机技术和图像处理技术的不断发展与进步，面部表情识别技术被应用于各个领域，比如动画制作、影视制作、视频聊天等，通过对用户的面部表情进行识别，创建用户面部表情与动画人物面部表情的映射关系，以进行动画片、科幻电影的制作，趣味视频聊天或趣味照片拍摄。在面部表情识别过程中，识别舌头、牙齿、眼球等非面部ROI(Region Of Interest，感兴趣区域)是面部表情识别的重点和难点。

目前，识别非面部ROI主要通过SVM(Support Vector Machine，支持向量机分类器)和神经元网络算法的方法进行。

针对于目前通过SVM和神经元网络算法对非面部ROI进行识别的方法，SVM需要将直方图数据提升至较高的维度进行计算，而神经元网络算法需要对图像进行多次卷积卷和池化处理。因此，无论SVM还是神经元网络算法，都需要耗费较长的时间处理大量数据，造成对非面部ROI进行识别的速率较慢。

技术实现要素：

本发明实施例提供了一种非面部ROI识别的方法及装置，能够提高对非面部ROI进行识别的速率。

第一方面，本发明实施例提供了一种非面部ROI识别的方法，包括：

从待处理的图像中确定至少一个面部关键点；

根据所述至少一个面部关键点，确定至少一个颜色样本区域；

通过所述至少一个颜色样本区域，从所述待处理的图像中提取面部图像；

对所述面部图像进行掩膜消除，获得非面部感兴趣区域ROI对应的目标图像；

根据所述至少一个面部关键点及所述目标图像，对所述待处理的图像中的所述非面部ROI进行识别。

优选地，所述通过所述至少一个颜色样本区域，从所述待处理的图像中提取面部图像，包括：

针对于每一个所述颜色样本区域，对该颜色样本区域进行颜色统计，获取该颜色样本区域对应的样本颜色，确定所述样本颜色在与该颜色样本区域相邻区域内的归一化出现频率，并将所述归一化出现频率大于预设阈值的所述相邻区域确定为该颜色样本区域对应的面部区域；

将各个所述颜色样本区域及对应的面部区域进行组合，形成组合面部区域；

从所述待处理的图像中提取位于所述组合面部区域内的图像作为所述面部图像。

优选地，所述对所述面部图像进行掩膜消除，获得非面部ROI对应的目标图像，包括：

对所述面部图像进行掩膜消除；

根据所述至少一个面部关键点，从消除所述面部图像的待处理的图像上获得所述非面部ROI对应的目标图像。

优选地，所述根据所述至少一个面部关键点及所述目标图像，对所述待处理的图像中的所述非面部ROI进行识别，包括：

根据所述至少一个面部关键点，确定所述目标图像上干扰图像所在的区域，并将所述干扰图像消除；

根据所述目标图像上剩余图像相对于各个所述面部关键点所处位置、形状及尺寸，识别所述剩余图像是否为所述非面部ROI。

优选地，所述非面部ROI包括：舌头、牙齿、眼球及胡须中的任意一个。

第二方面，本发明实施例还一种非面部ROI识别的装置，包括：提取单元、消除单元及识别单元；

所述提取单元，用于从待处理的图像中确定至少一个面部关键点，根据所述至少一个面部关键点确定至少一个颜色样本区域，通过所述至少一个颜色样本区域从所述待处理的图像中提取面部图像；

所述消除单元，用于对所述提取单元提取出的面部图像进行掩膜消除，获得所述面部图像上非面部ROI对应的目标图像；

所述识别单元，用于根据所述提取单元确定的所述至少一个面部关键点及所述消除单元获取的所述目标图像，对所述待处理的图像中的所述非面部ROI进行识别。

优选地，所述提取单元包括：获取子单元；

所述获取子单元，用于针对于每一个所述颜色样本区域，对该颜色样本区域进行颜色统计，获取该颜色样本区域对应的样本颜色，确定所述样本颜色在与该颜色样本区域相邻区域内的归一化出现频率，并将所述归一化出现频率大于预设阈值的所述相邻区域确定为该颜色样本区域对应的面部区域；并将各个所述颜色样本区域及对应的面部区域进行组合，形成组合面部区域；以及从所述待处理的图像中提取位于所述组合面部区域内的图像作为所述面部图像。

优选地，

所述消除单元，用于对所述面部图像进行掩膜消除，并根据所述至少一个面部关键点，从消除所述面部图像的待处理的图像上获得所述非面部ROI相对应的目标区域。

优选地，

所述识别单元，用于根据所述至少一个面部关键点，确定所述目标图像上干扰图像所在的区域，并将所述干扰图像消除；并根据所述目标图像上剩余图像相对于各个所述面部关键点所处位置、形状及尺寸，识别所述剩余图像是否为所述非面部ROI。

第三方面，本发明实施例还提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行权上述实施例提供的非面部ROI识别的方法。

第四方面，本发明实施例还提供了一种存储控制器，包括：处理器、存储器和总线；

所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述实施例提供的非面部ROI识别的方法。

本发明实施例提供了一种非面部ROI识别的方法、装置及可读介质和存储控制器，在待处理的图像中确定至少一个面部关键点后，根据确定出的面部关键点确定至少一个颜色样本区域，通过各个颜色样本区域从待处理图像上提取面部图像，通过对面部图像进行掩膜消除后获得非面部ROI可能出现的目标图像，进而根据各个面部关键点及目标图像对待处理的图像中的非面部ROI进行识别。由此可见，在对非面部ROI进行识别时，仅需要对面部图像进行掩膜消除后获得可能出现非面部ROI的目标图像，进而根据各个面部关键点识别目标图像中是否包括非面部ROI，所需处理的数据量较少，从而可以提高对非面部ROI进行识别的速率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种非面部ROI识别的方法流程图；

图2是本发明另一个实施例提供的一种非面部ROI识别的方法流程图；

图3是本发明一个实施例提供的一种非面部ROI识别的装置所在设备的示意图；

图4是本发明一个实施例提供的一种非面部ROI识别的装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种非面部ROI识别的方法，该方法可以包括以下步骤：

步骤101：从待处理的图像中确定至少一个面部关键点；

步骤102：根据所述至少一个面部关键点，确定至少一个颜色样本区域；

步骤103：通过所述至少一个颜色样本区域，从所述待处理的图像中提取面部图像；

步骤104：对所述面部图像进行掩膜消除，获得非面部感兴趣区域ROI对应的目标图像；

步骤105：根据所述至少一个面部关键点及所述目标图像，对所述待处理的图像中的所述非面部ROI进行识别。

本发明实施例提供了一种非面部ROI识别的方法，在待处理的图像中确定至少一个面部关键点后，根据确定出的面部关键点确定至少一个颜色样本区域，通过各个颜色样本区域从待处理图像上提取面部图像，通过对面部图像进行掩膜消除后获得非面部ROI可能出现的目标图像，进而根据各个面部关键点及目标图像对待处理的图像中的非面部ROI进行识别。由此可见，在对非面部ROI进行识别时，仅需要对面部图像进行掩膜消除后获得可能出现非面部ROI的目标图像，进而根据各个面部关键点识别目标图像中是否包括非面部ROI，所需处理的数据量较少，从而可以提高对非面部ROI进行识别的速率。

在本发明一个实施例中，在步骤103中通过颜色样本区域从待处理的图像中提取面部图像时，针对于每一个颜色样本区域，对该颜色样本区域进行颜色统计，获取该颜色样本区域对应的样本颜色，确定该样本颜色在与该颜色样本区域相邻的相邻区域内的归一化出现频率，并将归一化出现频率大于预设值的相邻区域确定为该颜色样本区域对应的面部区域。将各个颜色样本区域及对应的面部区域进行组合后，形成组合面部区域，进而从待处理的图像中提取位于组合面部区域内的图像作为面部图像。

例如，根据在待处理图像上确定的关键点，在待处理图像上确定2个颜色样本区域，2个颜色样本区域分别为人脸图像上两个颧骨的区域，分别为颜色样本区域1和颜色样本区域2。对该颜色样本区域1进行颜色统计，获取颜色样本区域1内的颜色样本1，确定与颜色样本区域1相邻区域内颜色样本1的归一化出现频率，将归一化出现频率大于预设阈值80％的相邻区域确定为颜色样本区域1对应的面部区域。相应地，通过相同的方法确定颜色样本区域2对应的面部区域。将颜色样本区域1和颜色样本区域2对应的面部图像进行组合后，形成组合面部区域，将待处理图像上位于组合面部区域内的图像作为面部图像。

在待处理的图像上确定至少一个面部关键点后，根据各个面部关键点可以在面部图像上确定至少一个颜色样本区域，通过对颜色样本区域进行颜色分析，统计每一个颜色样本区域对应的样本颜色。针对每一个颜色样本区域，确定该颜色样本区域对应的颜色样本在待处理图像内的归一化出现频率，将待处理图像上与该颜色样本区域相邻且归一化出现频率大于预设阈值的区域确定为该颜色样本区域对应的面部区域。将各个颜色样本区域对应的面部区域进行组合后，形成的组合面部区域会覆盖整个面部，位于组合面部区域内的待处理图像即为面部图像。由于非面部ROI与面部图像的颜色存在较大差异，在面部图像上确定至少一个颜色样本区域，通过确定归一化出现频率的方式获取与颜色样本区域颜色相近的区域作为面部区域，将各个颜色样本区域对应的面部区域进行组合，组合面部区域内的待处理图像即为面部图像，实现面部图像的提取。在确定面部图像后边可以方便地确定待处理图像上的非面部ROI。

需要说明的是，不同颜色样本区域对应的面部区域可能会有重叠部分，在对各个颜色样本区域对应的面部区域进行组合时，通过各个面部关键点进行定位，将对应同一区域的面部区域进行重叠处理。

在本发明一个实施例中，在步骤104中对面部图像进行掩膜消除获得非面部ROI对应的目标图像时，对待处理图像上的面部图像进行眼淹没消除，在消除面部图像的待处理图像上，根据各个面部关键点获得非面部ROI对应的目标图像。

例如，非面部ROI为舌头，当获取到面部图像后，对待处理图像上的面部图像进行掩膜消除。在消除面部图像后的待处理图像上，根据之前确定出的至少一个面部关键点，对舌头可能出现的区域进行定位，获取到包括嘴唇及可能包括胡子和舌头的目标图像。

在本发明一个实施例中，在步骤105中根据面部关键点及目标图像对非面部ROI进行识别时，根据之前确定出的至少一个面部关键点，对目标图像上干扰图像所在的区域进行定位，并将干扰图像消除。针对于目标图像上消除干扰图像后剩下的剩余图像，根据剩余图像相对于各个面部关键点所处的位置，以及剩余图像的形状和相对于面部图像的尺寸，判断消除干扰图像后目标图像上的剩余图像是否为所要识别的非面部ROI。

例如，非面部ROI为舌头，所获取到的目标图像包括嘴唇等干扰图像，通过之前确定出的至少一个面部关键点，可以对嘴唇等干扰图像进行定位，在确定出目标图像上嘴唇等干扰图像后，将干扰图像消除。如果在消除嘴唇等干扰图像后目标图像还包括剩余图像，进一步根据剩余图像的位置、形状和尺寸判断剩余图像是否为舌头，如果是则确定待处理图像上包括舌头，即包括非面部ROI，否则确定待处理图像上不包括非面部ROI；如果在消除嘴唇等干扰图像后目标图像被完全消除，则确定待处理图像上不包括非面部ROI。

在本发明一个实施例中，非面部ROI可以为舌头、牙齿、眼球及胡须中的任意一种。这样，本发明实施例所提供的非面部ROI识别方法可以对多种非面部感兴趣区域进行识别，从而提高了该非面部ROI识别方法的适用性。

下面以舌头作为非面部ROI为例，对本发明实施例提供的非面部ROI识别的方法作进一步详细说明，如图2所示，该方法可以包括以下步骤：

步骤201：获取待处理图像。

在本发明一个实施例中，实时获取待处理图像。当待处理图像以视频流的形式输入时，将视频流中的每一帧图像作为一个待处理图像。

例如，在用户A与用户B进行趣味视频聊天时，通过摄像头采集用户A的视频数据，将所采集到的视频数据包括的每一帧图像作为一个待处理图像，获取第一帧待处理图像。

步骤202：判断待处理图像中是否包括面部图像，如果是，执行步骤203，否则执行步骤201。

在本发明一个实施例中，在获取到待处理图像后，对待处理图像进行人脸识别，识别待处理图像中是否包括面部图像，如果是，执行步骤203，进一步识别待处理图像上是否包括非面部ROI；如果否，则执行步骤201，获取下一个待处理图像。

例如，在获取到摄像头采集到的第一帧待处理图像后，识别该待处理图像上是否包括人脸的图像，如果是，针对该待处理图像执行步骤203；如果待处理图像上不包括人脸的图像，则执行步骤201，获取摄像头采集到的下一帧待处理图像，及第二帧待处理图像。

步骤203：在待处理图像上确定至少一个面部关键点。

在本发明一个实施例中，在确定待处理图像上面部人脸图像后，在待处理图像上确定至少一个面部关键点，其中面部关键点位于待处理图像所包括的面部图像上。

例如，在确定待处理图像A包括面部图像后，在待处理图像A上确定三个面部关键点，其中，面部关键点a为用户A面部图像上左眼所在位置，面部关键点b为用户A面部图像上右眼所在位置，面部关键点c为用户A面部图像上鼻尖所在位置。

步骤204：根据各个面部关键点确定至少一个颜色样本区域。

在本发明一个实施例中，根据步骤203中确定出的至少一个面部关键点，在待处理图像所包括的面部图像上确定至少一个颜色样本区域。

例如，在待处理图像A所包括的用户A的面部图像上确定2个颜色样本区域，其中，颜色样本区域d为用户A面部图像上左侧颧骨所在的区域，颜色样本区域e为用户A面部图像上右侧颧骨所在的区域。

步骤205：根据至少一个颜色样本区域，从待处理图像中提取面部图像。

在本发明一个实施例中，针对于每一个颜色样本区域，通过颜色分析获取该颜色样本区域对应的样本颜色，确定该样本颜色在待处理图像各个区域的归一化出现频率。将待处理图像上与该颜色样本区域相邻，且归一化出现频率大于预设阈值的区域作为该颜色样本区域对应的面部区域。将各个颜色样本区域对应的面部区域进行组合，形成组合面部区域，将待处理图像上位于组合面部区域内的图像确定为面部图像。

例如，通过对颜色样本区域d进行颜色分析，确定颜色样本区域d内图像的颜色为颜色X，将颜色X确定为颜色样本区域d的样本颜色；确定颜色X在整个待处理图像A上各个区域的归一化出现频率，将待处理图像A上与颜色样本区域d相邻且颜色X的归一化出现频率大于预设阈值80％的区域确定为颜色样本区域d对应的面部区域，比如确定出颜色样本区域d对应的面部区域为待处理图像A上用户A左半边脸、额头、下巴及鼻子的区域。相应地，通过相同的方法确定出颜色样本区域e对应的面部区域为待处理图像A上用户A右半边脸及额头的区域。将颜色样本区域d与颜色样本区域e对应的面部区域进行组合后，组合面部区域包括了待处理图像A上除用户A眼睛及嘴部之外的其他各个面部区域。从待处理图像A上提取位于组合面部区域之内的图像作为面部图像，即提取到除眼睛和嘴部之外用户A的面部图像。

步骤206：对面部图像进行掩膜消除，获得可能包括非面部ROI的目标区域。

在本发明一个实施例中，在获取到面部图像之后，对待处理图像上的面部图像进行掩膜消除，消除面部图像后获得待处理图像上可能包括非面部ROI的目标区域。

例如，在待处理图像A上对步骤205中获得的面部图像进行掩膜消除后，获得可能包括用户A舌头图像的嘴部图像，将嘴部图像确定为目标图像。

步骤207：根据各个面部关键点，对目标图像中的干扰图像进行消除，获得剩余图像。

在本发明一个实施例中，在获得目标图像后，根据步骤203中确定出的各个面部关键点，定位目标图像中存在的干扰图像，在将目标图像中的干扰图像消除后获得可能为非面部ROI的剩余图像。

例如，通过面部关键点a(左眼位置)、面部关键点b(有眼位置)和面部关键点c(鼻尖位置)对目标图像(嘴部图像)上的干扰图像(嘴唇图像)进行定位，在确定嘴唇图像的区域后，对目标图像上的嘴唇图像进行消除，将消除嘴唇图像后的目标图像作为剩余图像。

步骤208：根据剩余图像的位置、形状及尺寸，确定剩余图像是否为非面部ROI。

在本发明一个实施例中，在获得剩余图像后，根据剩余图像与各个面部关键点的相对位置，以及剩余图像的形状及相对于面部图像的尺寸，确定剩余图像是否为非面部ROI。

例如，如果在消除干扰图像后的目标图像上还包括有图像，即存在剩余图像，确定剩余图像相对于面部关键点a、面部关键点b及面部关键点c的位置，判断剩余图像是否位于舌头可能出现的位置，如果是，则进一步判断剩余图像的形状和尺寸是否与舌头的图像相符，如果是，则确定待处理图像A上存在舌头的图像，在用户B端的显示设备上显示与舌头相对应的特效。如果在消除干扰图像后的目标图像被完全消除，或者虽然有剩余图像存在，但剩余图像的位置、形状或尺寸与舌头的位置、形状及尺寸不赌赢，则确定待处理图像A上部存在舌头的图像，相应地不会在用户B端的显示设备上显示与舌头相对应的特效。

如图3、图4所示，本发明实施例提供了一种非面部ROI识别的装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的非面部ROI识别的装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的非面部ROI识别的装置，包括：提取单元401、消除单元402及识别单元403；

所述提取单元401，用于从待处理的图像中确定至少一个面部关键点，根据所述至少一个面部关键点确定至少一个颜色样本区域，通过所述至少一个颜色样本区域从所述待处理的图像中提取面部图像；

所述消除单元402，用于对所述提取单元401提取出的面部图像进行掩膜消除，获得所述面部图像上非面部ROI对应的目标图像；

所述识别单元403，用于根据所述提取单元401确定的所述至少一个面部关键点及所述消除单元402获取的所述目标图像，对所述待处理的图像中的所述非面部ROI进行识别。

在本发明一个实施例中，提取单元401包括有获取子单元；

获取子单元用于针对于每一个所述颜色样本区域，对该颜色样本区域进行颜色统计，获取该颜色样本区域对应的样本颜色，确定所述样本颜色在与该颜色样本区域相邻区域内的归一化出现频率，并将所述归一化出现频率大于预设阈值的所述相邻区域确定为该颜色样本区域对应的面部区域；并将各个所述颜色样本区域及对应的面部区域进行组合，形成组合面部区域；以及从所述待处理的图像中提取位于所述组合面部区域内的图像作为所述面部图像。

在本发明一个实施例中，所述消除单元402用于对所述面部图像进行掩膜消除，并根据所述至少一个面部关键点，从消除所述面部图像的待处理的图像上获得所述非面部ROI相对应的目标区域。

在本发明一个实施例中，所述识别单元403用于根据所述至少一个面部关键点，确定所述目标图像上干扰图像所在的区域，并将所述干扰图像消除；并根据所述目标图像上剩余图像相对于各个所述面部关键点所处位置、形状及尺寸，识别所述剩余图像是否为所述非面部ROI。

需要说明的是，上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述实施例提供的非面部ROI识别的方法。

本发明实施例还提供了一种存储控制器，包括：处理器、存储器和总线；

所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述实施例提供的非面部ROI识别的方法。

本发明各个实施例提供的非面部ROI识别的方法及装置，至少具有如下有益效果：

1、在本发明实施例提供的非面部ROI识别的方法及装置中，在待处理的图像中确定至少一个面部关键点后，根据确定出的面部关键点确定至少一个颜色样本区域，通过各个颜色样本区域从待处理图像上提取面部图像，通过对面部图像进行掩膜消除后获得非面部ROI可能出现的目标图像，进而根据各个面部关键点及目标图像对待处理的图像中的非面部ROI进行识别。由此可见，在对非面部ROI进行识别时，仅需要对面部图像进行掩膜消除后获得可能出现非面部ROI的目标图像，进而根据各个面部关键点识别目标图像中是否包括非面部ROI，所需处理的数据量较少，从而可以提高对非面部ROI进行识别的速率。

2、在本发明实施例提供的非面部ROI识别的方法及装置中，在识别非面部ROI时，通过颜色分析对面部图像进行消除，进而识别剩余图像是否为非面部ROI，在识别非面部ROI过程中依赖图像的颜色，因此能够在各种环境下对非面部ROI进行识别，比如待处理图像过曝光、曝光不足等，提高了该非面部ROI识别方法及装置的适用性。

3、在本发明实施例提供的非面部ROI识别的方法及装置中，通过颜色分析、统计的方法对面部图像进行消除，进而识别待处理图像中是否存在非面部ROI，相对于现有SVM及神经元网络算法提高了识别非面部ROI的速率，保证了识别非面部ROI的时效性，从而可以将该非面部ROI识别的方法及装置应用于实时性要求较高的场合，进一步提高了该非面部ROI识别方法及装置的适用性。

4、在本发明实施例提供的非面部ROI识别的方法及装置中，非面部ROI可以为舌头、牙齿、眼球以及胡须中的任意一种，因此该非面部ROI识别的方法及装置能够满足不同用户的需求，提高了该非面部ROI识别方法及装置的通用性。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。