人体掩膜提取方法及装置与流程
本发明涉及计算机视觉技术领域，具体而言，涉及一种人体掩膜提取方法及装置。
背景技术：
人体掩膜的提取是一种利用算法提取人体轮廓区域的技术，提取掩膜是对人体图像处理和分析的前提。现有的人体掩膜提取算法多是基于可见光图像的，这些提取算法主要有一下两类：一是先通过分割算法得到图像中的物体，然后将分割得到的物体进行识别得到人体掩膜；二是提取局部特征并通过分类算法进行训练得到模型，通过模型提取人体掩膜。第一类提取方法中的图像分割算法，因可见光图像易受光照和颜色、背景等因素的影响，分割出的图像会出现边界断点、图形合并等现象影响识别。而第二类提取方法中，因为人体形变和背景复杂，会导致准确率降低。因此，提供一种能精确提取人体掩膜的方法是十分必要的，能便于人体图像处理和分析。
技术实现要素：
本发明的目的在于提供一种人体掩膜提取方法，以实现对人体掩膜的精确提取，以便于人体图像的处理和分析。
本发明的另一目的在于提供一种人体掩膜提取装置，以实现对人体掩膜的精确提取，以便于人体图像的处理和分析。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种人体掩膜提取方法，应用于服务终端，所述方法包括：
获取灰度图像和深度图像；
将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
根据所述矩形框计算所述深度图像中人体图像的深度值范围；
根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
第二方面，本发明实施例还提供了一种人体掩膜提取装置，应用于服务终端，所述装置包括：
图像获取模块，用于获取灰度图像和深度图像；
图像圈出模块，用于将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像；
深度范围计算模块，用于根据所述矩形框计算所述深度图像中人体图像的深度值范围；
图像裁剪模块，用于根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像；
边缘检测模块，用于对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图；
轮廓确定模块，用于根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓；
区域选取模块，用于选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
本发明实施例提供的一种人体掩膜提取方法及装置，该人体掩膜提取方法及装置均应用于服务终端，该人体掩膜提取方法包括获取灰度图像和深度图像，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。根据矩形框计算所述深度图像中包含人体图像的深度值范围，根据所述矩形框对所述灰度图像和深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。通过本方案以精确确定人体掩膜，为后续的人体图像分析和处理做好了准备。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种人体掩膜提取方法的流程示意图。
图2示出了本发明实施例提供的一种人体掩膜提取方法的子步骤的流程示意图。
图3示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图4示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图5示出了本发明实施例提供的一种人体掩膜提取方法的另一子步骤的流程示意图。
图6示出了本发明实施例提供的一种人体掩膜提取装置的功能模块示意图。
图示：100-人体掩膜提取装置；110-图像获取模块；120-图像圈出模块；130-深度范围计算模块；140-图像裁剪模块；150-边缘检测模块；160-轮廓确定模块；170-直线检测模块；180-区域选取模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明实施例提供的人体掩膜提取方法用于精确提取人体轮廓，以便于人体图像的进一步处理和分析，该人体掩膜提取方法应用于服务终端，该服务终端可以是，但不限于，台式电脑等智能电子设备。
请参照图1，是本发明实施例提供的一种人体掩膜提取方法的流程示意图，该人体掩膜提取方法包括：
步骤s110，获取灰度图像和深度图像。
通过相机拍摄，采集得到灰度图像和深度图像，该灰度图像和深度图像对应。
步骤s120，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。
将采集得到的灰度图像输入预设的深度学习模型中，在本实施例中，该深度学习模型为yolo深度学习模型，但不限于此，该深度学习模型还可以为其他能实现相应功能的学习模型，该深度学习模型中的yolo矩形框将圈出灰度图像中的人体图像。具体为：
请参照图2，是本发明实施例提供的一种人体掩膜提取方法的步骤s120的子步骤的流程示意图。
步骤s121，将获取的灰度图像输入预设的深度学习模型中。
在本发明实施例中，指将通过相机采集的灰度图像输入预设的yolo深度学习模型中。
步骤s122，通过所述预设的深度学习模型在所述灰度图像中使用所述矩形框圈出的部分人体图像。
该yolo深度学习模型将使用矩形框在灰度图像中圈出部分人体图像，即通常情况下，不能保证该矩形框能完整圈出人体图像，可能只能圈出部分人体图像，或者该矩形框能够圈出完整的人体图像，但是对于用户无法获知是否已经圈出了完整的人体图像。
步骤s123，对所述矩形框进行扩展，使用扩展后的矩形框圈出所述灰度图像中的人体图像。
当该矩形框圈出了部分人体图像后，对矩形框进行扩展，以使得该矩形框能够完整地圈出灰度图像中的人体图像。该矩形框的扩展方式为：
步骤s130，根据所述矩形框计算所述深度图像中人体图像的深度值范围。
根据扩展后的矩形框计算深度图像中人体图像的深度值范围，具体为：
请参照图3，是本发明实施例提供的一种人体掩膜提取方法的步骤s130的子步骤的流程示意图，该步骤s130包括：
步骤s131，获取所述深度图像中对应于所述矩形框的中心点的位置的深度值。
由于灰度图像和深度图像对应，则从深度图像上获取对应于该矩形框的中心点的位置的深度值。
步骤s132，依据预设的第一深度值、预设的第二深度值以及所述中心点的深度值计算出所述深度图像中人体图像的深度值范围。
该预设的第一深度值和预设的第二深度值依据用户的经验进行确定，该预设的第一深度值和预设的第二深度值分别为距离该中心点的深度值，通过
步骤s140，根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。
步骤s150，对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。
在本发明实施例中，利用自适应canny算法对裁剪出的包含人体图像的灰度图像进行边缘检测，进而得到边缘图，但不限于此，容易理解的，还可以采用其他算法对裁剪出的包含人体图像的灰度图像进行边缘检测。具体为，用自适应canny算法对裁剪出的包含人体图像的灰度图像上的所有像素点进行检测，若该像素点为边缘点，则将该像素点的灰度值设置为1，表征为白色，若该像素点不为边缘点，则将该像素点的灰度值设置为0，表征黑色。通过将像素点区分为不同的颜色，以得到边缘图。
步骤s160，根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
具体为，请参照图4，是本发明实施例提供的一种人体掩膜提取方法的步骤s160的子步骤的流程图，步骤s160包括：
步骤s161，判断所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值是否在所述深度值范围内。
由于灰度图像和深度图像对应，获取边缘图中的边缘点在裁剪得到的包含人体图像的深度图像中对应的深度值，同时由步骤s130计算得到了深度图像中人体图像的深度值范围，则判断边缘图的边缘点的深度值是否在深度图像中人体图像的深度值范围内，换句话说，判断边缘图的边缘点是否为人体图像中的边缘点。
步骤s162，若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，则将所述边缘点的灰度值设置为第一预设值。
该第一预设值为1，即当边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值在所述深度值范围内，将该边缘点的灰度值设置为1，表征白色，即将该像素点保留。
步骤s163，若所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，则将所述边缘点的灰度值设置为第二预设值。
该第二预设值为0，即当边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值不在所述深度值范围内，将该边缘点的灰度值设置为0，表征黑色，即将该边缘点去除。
步骤s164，根据所述第一预设值和所述第二预设值在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
通过将边缘图中的边缘点的深度值与深度图像中人体图像的深度值范围进行比较，分别将处于该深度值范围内的边缘点的灰度值设置为1，即表征白色，将不处于该深度值范围内的边缘点的灰度值设置为0，即表征黑色，以此处于该深度值范围内的边缘点通过白色表示出来，多个表征的白色的边缘点共同在裁剪得到的包含人体图像的灰度图像中形成一轮廓。
步骤s170，对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除。
由于当采用相机对人体进行拍照时，人体是站立在地面或其他物体上的，因此深度图像中地面或其他物体与人体脚部接触的部分的深度值与人体图像的深度值一致，因此不能通过判断其深度值是否在深度值范围内，将与人体脚部接触的地面或其他物体的像素点去除，因此需要对在灰度图像中确定的轮廓进行直线检测，以排除灰度图像中与人体脚部连接的地面或其他物体的像素点。具体为，在轮廓中高度为
步骤s180，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
该轮廓包括人体图像的像素点形成的轮廓，同时也包括与人体图像具有相同深度值的背景图像形成的轮廓，因此，选取轮廓上的像素点围成的最大连通区域为人体掩膜，该人体掩膜指人体图像的边缘轮廓以及人体图像的身体部分的轮廓。具体为，请参照图5，是本发明实施例提供的一种人体掩膜提取方法的步骤s180的子步骤的流程示意图，该步骤s180包括：
步骤s181，对所述轮廓进行膨胀处理。
在本发明实施例中，采用5x5算法对轮廓进行膨胀处理，即时将轮廓上分散的多个像素点连成平滑的曲线。
步骤s182，对膨胀处理后的所述轮廓中最大的连通区域进行填充。
由于人体掩膜必定在整个轮廓中占据最大的面积，因此选取膨胀处理后的轮廓中的最大的连通区域进行填充相应的颜色，以标识出最大的连通区域。
步骤s183，选取所述最大的连通区域作为人体掩膜。
即是说，该最大的连通区域为人体掩膜。
请参照图6，是本发明实施例提供的一种人体掩膜提取装置100的功能模块示意图，该人体掩膜提取装置100应用于服务终端，该人体掩膜提取装置100包括：
图像获取模块110，用于获取灰度图像和深度图像。
在本发明实施例中，步骤s110可以由图像获取模块110执行。。
图像圈出模块120，用于将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。
在本发明实施例中，步骤s120～s123可以由图像圈出模块120执行。
深度范围计算模块130，用于根据所述矩形框计算所述深度图像中人体图像的深度值范围。
在本发明实施例中，步骤s130～s133可以由深度范围计算模块130执行。
图像裁剪模块140，用于根据所述矩形框对所述灰度图像和所述深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。
在本发明实施例中，步骤s140可以由图像裁剪模块140执行。
边缘检测模块150，用于对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。
在本发明实施例中，步骤s150可以由边缘检测模块150执行。。
轮廓确定模块160，用于根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓。
在本发明实施例中，步骤s160～s164可以由轮廓确定模块160执行。
直线检测模块170，用于对所述轮廓进行直线检测，若所述轮廓的长度大于预定长度，则将所述轮廓中长度大于预定长度的部分的像素点去除。
在本发明实施例中，步骤s170可以由直线检测模块170执行。
区域选取模块180，用于选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。
在本发明实施例中，步骤s180～s183可以由区域选取模块180执行。
由于在人体掩膜提取方法部分已经详细描述，在此不再赘述。
综上所述，本发明实施例提供一种人体掩膜提取方法及装置，该人体掩膜提取方法及装置均应用于服务终端，该人体掩膜提取方法包括获取灰度图像和深度图像，将所述灰度图像输入预设的深度学习模型中，使用矩形框圈出包含人体图像的灰度图像。根据矩形框计算所述深度图像中包含人体图像的深度值范围，根据所述矩形框对所述灰度图像和深度图像进行裁剪，得到包含人体图像的灰度图像和包含人体图像的深度图像。对所述裁剪出的包含人体图像的灰度图像进行边缘检测，得到边缘图。根据所述边缘图的边缘点在所述裁剪得到的包含人体图像的深度图像中对应的深度值以及所述深度值范围，在所述裁剪得到的包含人体图像的灰度图像中确定一轮廓，选取所述轮廓上的像素点围成的最大连通区域为人体掩膜。通过本方案以精确确定人体掩膜，为后续的人体图像分析和处理做好了准备。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！