一种景区照片无关人像去除的方法与流程

[0001]
本发明涉及图像处理，一般的图像数据处理或产生的技术领域，特别涉及一种景区照片无关人像去除的方法。


背景技术：

[0002]
旅游业是当下蓬勃发展的产业之一，每逢节假日临近，都会有很多人选择通过外出旅游的方式放松心情，景区为了吸引游客，则会在一些热门景点提供拍摄服务。
[0003]
然而，由于热门景点的人流量密集，很容易导致用户拍摄的照片中出现若干陌生游客，这不仅无法满足用户对照片的独享需求，还存在侵犯他人隐私的风险；同时，大多数的景区拍照服务只能实现用户拍照、取照自动化和一些基础的美颜功能，并不能对用户的照片中出现陌生的游客进行去除操作，得到的照片实际质量并不佳，而用户选择这个服务的需求也随之降低。
[0004]
对于景区来说，将游客照片进行无关人像去除是一个亟待解决的问题。
[0005]
申请号cn201911367741.2的专利中提及的图像处理方法是针对游乐园自动拍照服务中出现的无关人像进行处理，此方法是通过事先获取用户以及用户相关人物的人脸信息，通过这些目标人脸的特征信息从视频流中识别出目标视频帧，然后识别图像中的目标人物区域和无关人物区域，将无关人物区域用目标人物区域去替换。虽然该方法能够将图片的无关人物区域进行去除，但却是通过将目标人物区域进行替换来完成的，这会造成最后的结果图中的很多人物的区域都是重复的，大大降低使用者的用户体验感；而且该方法一开始还需要通过用户上传目标人物的人脸信息才能够进行无关人物去除，增加整个操作流程的复杂度。
[0006]
综上所诉，针对景区游客照片进行无关人像去除的问题目前并没有得到很好的解决。


技术实现要素：

[0007]
本发明解决了现有技术中存在的问题，提供了一种优化的景区照片无关人像去除的方法。
[0008]
为实现本发明目的，本发明所采用的技术方案为，一种景区照片无关人像去除的方法，所述方法包括以下步骤：
[0009]
步骤1：背景获取：针对任一景点，固定摄像头在该景点的预设拍摄区域i，获得若干背景图；
[0010]
步骤2：获取照片：当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图s进行下一步处理；
[0011]
步骤3：人像分割：对游客选定的照片使用卷积神经网络进行实例分割处理；
[0012]
步骤4：人像筛选：对照片进行人像分割后，进行预处理，对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进
行可视化处理；
[0013]
步骤5：用户交互：对照片进行无关人像筛选之后，将筛选结果呈现给游客，游客对筛选的结果进行编辑；
[0014]
步骤6：人像去除：首先进行区域背景匹配，获得与无关人像区域ω最为匹配的背景区域g，然后采用图像融合的算法，将无关人像区域ω用对应的背景区域g进行替换，并无缝融合在原图s上，以实现无关人像去除；
[0015]
步骤7：将人像去除的结果图呈现给游客。
[0016]
优选地，所述步骤1包括以下步骤：
[0017]
步骤1.1：每天经过一定的时间间隔，拍摄背景图n张，并以拍摄的时间进行命名；
[0018]
步骤1.2：通过卷积神经网络进行人像分割，判断这n张图内是否含有人像，若不含有人像，则将拍摄的背景图存入该景点的背景图库中，否则将拍摄的背景图删除，若拍摄的n张图像中都含有人像，则继续拍摄n张背景图并重复步骤1.2；
[0019]
步骤1.3：将m天前的背景图进行删除操作，避免内存浪费；
[0020]
步骤1.4：对该拍摄点位的预设拍照区域i进行标记。
[0021]
优选地，所述步骤3中，卷积神经网络为mask-rcnn实例分割网络。
[0022]
优选地，所述步骤4包括以下步骤：
[0023]
步骤4.1：对照片进行人像分割后，对获得的n个掩模区域进行图像掩膜处理，n个掩模区域内的像素值使用m到m+n之间的n个数值进行赋值，图片的预设拍照区域i的像素值设为255，除此之外的其他区域的像素值设为0；n≥0，m+n＜255；
[0024]
步骤4.2：进行相关人像判断，计算得到相关人像置信度；
[0025]
步骤4.3：设定置信度阈值，基于置信度进行相关人像区域和无关人像区域筛选，置信度超过阈值的为相关人像区域；
[0026]
步骤4.4：对认定为有关人像区域的，进行可视化处理，便于用户辨别。
[0027]
优选地，所述步骤4.2包括以下步骤：
[0028]
步骤4.2.1：计算掩模之间的交并比iou，通过iou得出各个掩模的有关人像置信度value
iou
；
[0029]
步骤4.2.2：计算各个掩模到预设拍照区域i的横向距离hordis，通过该距离得出各个掩模的有关人像置信度value
dis
；
[0030]
步骤4.2.3：对各个掩模区域进行聚类，得出各个掩模的人像置信度value
means
；
[0031]
步骤4.2.4：对置信度value
iou
、value
dis
、value
means
加权相加，得到最后的有关人像置信度value。
[0032]
优选地，所述步骤4.2.1：计算各个掩模间的交并比iou
ij
，，其中，pixel指代某个像素点的像素值，pixel∈(mask
i
∩mask
j
)是指掩模mask
i
和掩模mask
j
交集区域的像素点，pixel∈mask
i
是指在mask
i
整个区域内的像素点，iou∈[0,1]；基于iou获得各个掩模有关人像置信度value
iou
，取value
iou
的最大值；
[0033]
当mask
i
与预设拍照区域i的交并比iou
ii
大于0，则value
iou_i
值为1；
[0034]
当mask
i
及与其相交的其他人像区域mask
j
与预设拍照区域i的交并比iou
ii
和iou
ji
为0，则mask
i
与mask
j
都没有像素落在区域i内，其value
iou_i
值为0；
[0035]
其中，v用来判断mask
i
与mask
j
的相交程度；
[0036]
取value
iou
的最大值。
[0037]
优选地，所述步骤4.2.2中，hordis＝|centerx-ix|，其中，centerx是掩模区域最小外接四边形的中心点的横坐标，ix是预设拍照区域i的中心的横坐标；其中，数值d是两区域距离的阈值，设定为图像宽度的
[0038]
优选地，所述步骤4.2.3包括以下步骤：
[0039]
选择预设拍照区域i的中心点和任意一个掩模区域的中心点作为2个聚类的初始中心，令前者为有关人像类的中心，后者为无关人像类的中心；
[0040]
计算掩模mask
i
区域到两个聚类中心的距离dis，其中，(x,y)为mask
i
内的点的坐标，(x,y)是聚类中心，pixelnum是mask
i
内的像素总个数，将mask
i
类别归类到距离两个聚类中心较近的中心的类；通过采用类内像素点坐标均值来迭代计算有关人像类和无关人像类的中心；
[0041]
对2个聚类中心，直至迭代更新后新的聚类中心与上一次的聚类中心之间的距离变化小于阈值，认为达到稳定状态，迭代结束，否则继续迭代更新；使用稳定状态的两聚类中心进行类别判断，计算value
means
，
[0042]
优选地，所述步骤6包括以下步骤：
[0043]
步骤6.1：对每个无关人像掩膜取最小外接矩形[a,b,w,h]，选择进行背景匹配的对应无关人像区域ω为[a,b,k*w,k*h]，其中，a和b是矩形的中心的横坐标和纵坐标，w和h是矩形的宽和高，k是无关人像区域的放大系数；对每个无关人像区域ω和对应的无关人像掩膜作差，将得到的每个无关人像掩膜的周围区域确定为局部背景区域；
[0044]
步骤6.2：将每个局部背景区域进行颜色空间转换，将rgb颜色空间转换到hsv颜色空间；
[0045]
步骤6.3：计算hsv颜色空间直方图，并进行归一化处理；
[0046]
步骤6.4：将处理后的每个局部背景区域与各个背景图中的对应区域进行直方图相关性比较，采用相关性度量公式进行相似度计算；
[0047]
步骤6.5：选择相似度最高的j张背景图，将j张背景图中相似度低于阈值d的背景图排除，将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果；
[0048]
步骤6.6：进行图像融合，将无关人像区域ω用匹配的背景图的对应背景区域g进行替换，在原图s上实现无缝融合。
[0049]
本发明提供了一种优化的景区照片无关人像去除的方法，通过固定摄像头在该景
点的预设拍摄区域i获取背景，当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图s，对游客选定的照片使用卷积神经网络进行实例分割处理后，由游客将不同的人像区域进行标记，随后对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理；游客预处理后对确认的无关人像进行去除，最后将结果图呈现给游客。
[0050]
本发明交互性强，游客可以在游览的空隙将整个过程操作完毕，并能得到完全属于有关人物的独享的照片，不用担心侵犯他人隐私，得到的照片实际质量高，由于交互性强、可操作性强，游客选择这个服务的需求将升高，对于景区来说更能有序管理，并进行经营输出。
附图说明
[0051]
图1为本发明的流程图；
[0052]
图2为本发明的实施例示意图，其中，a为拍摄的原图，b为经过人像分割、无关人像筛选之后的图片，c为经过人像去除之后的结果图。
具体实施方式
[0053]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0054]
本发明涉及一种景区照片无关人像去除的方法，所述方法包括以下步骤。
[0055]
步骤1：背景获取：针对任一景点，固定摄像头在该景点的预设拍摄区域i，获得若干背景图。
[0056]
所述步骤1包括以下步骤：
[0057]
步骤1.1：每天经过一定的时间间隔，拍摄背景图n张，并以拍摄的时间进行命名；
[0058]
步骤1.2：通过卷积神经网络进行人像分割，判断这n张图内是否含有人像，若不含有人像，则将拍摄的背景图存入该景点的背景图库中，否则将拍摄的背景图删除，若拍摄的n张图像中都含有人像，则继续拍摄n张背景图并重复步骤1.2；
[0059]
步骤1.3：将m天前的背景图进行删除操作，避免内存浪费；
[0060]
步骤1.4：对该拍摄点位的预设拍照区域i进行标记。
[0061]
本发明中，预设拍摄区域一般为景区基于实际的摄影师的经验、景区的客观环境、舆情的变换等选择的“最佳”拍摄点位，此区域可能发生变化，但是短期内基本稳定。
[0062]
本发明中，n和m显然为大于0的数，一般来说，n可以为5，m可以取10。
[0063]
本发明中，步骤1.2的卷积神经网络包括但不限于mask-rcnn实例分割网络。
[0064]
步骤2：获取照片：当游客站到预设拍摄点位时，摄像机对游客进行抓拍，游客选取满意的照片作为原图s进行下一步处理。
[0065]
步骤3：人像分割：对游客选定的照片使用卷积神经网络进行实例分割处理。
[0066]
所述步骤3中，卷积神经网络为mask-rcnn实例分割网络。
[0067]
本发明中，步骤3对分割的结果进行处理，将不同的人像区域进行标记，可以便于后续过程中游客进行选择。
[0068]
本发明中，卷积神经网络包括但不限于mask-rcnn实例分割网络。
[0069]
本发明中，卷积神经网络采用mask-rcnn实例分割网络时，选取在人像分割数据集上达到最优效果的模型进行部署，整个训练和部署的过程可采用pytorch框架或tensorflow框架。
[0070]
步骤4：人像筛选：对照片进行人像分割后，进行预处理，对相关人像判断、计算得到相关人像置信度，基于置信度进行相关人像区域和无关人像区域筛选，对筛选的结果进行可视化处理。
[0071]
所述步骤4包括以下步骤：
[0072]
步骤4.1：对照片进行人像分割后，对获得的n个掩模区域进行图像掩膜处理，n个掩模区域内的像素值使用m到m+n之间的n个数值进行赋值，图片的预设拍照区域i的像素值设为255，除此之外的其他区域的像素值设为0；n≥0，m+n＜255；
[0073]
步骤4.2：进行相关人像判断，计算得到相关人像置信度；
[0074]
所述步骤4.2包括以下步骤：
[0075]
步骤4.2.1：计算掩模之间的交并比iou，通过iou得出各个掩模的有关人像置信度value
iou
；
[0076]
所述步骤4.2.1：计算各个掩模间的交并比iou
ij
，其中，pixel指代某个像素点的像素值，pixel∈(mask
i
∩mask
j
)是指掩模mask
i
和掩模mask
j
交集区域的像素点，pixel∈mask
i
是指在mask
i
整个区域内的像素点，iou∈[0,1]；基于iou获得各个掩模有关人像置信度value
iou
，取value
iou
的最大值；
[0077]
当mask
i
与预设拍照区域i的交并比iou
ii
大于0，则value
iou_i
值为1；
[0078]
当mask
i
及与其相交的其他人像区域mask
j
与预设拍照区域i的交并比iou
ii
和iou
ji
为0，则mask
i
与mask
j
都没有像素落在区域i内，其value
iou_i
值为0；
[0079]
其中，v用来判断mask
i
与mask
j
的相交程度；
[0080]
取value
iou
的最大值。
[0081]
步骤4.2.2：计算各个掩模到预设拍照区域i的横向距离hordis，通过该距离得出各个掩模的有关人像置信度value
dis
；
[0082]
所述步骤4.2.2中，hordis＝|centerx-ix|，其中，centerx是掩模区域最小外接四边形的中心点的横坐标，ix是预设拍照区域i的中心的横坐标；其中，数值d是两区域距离的阈值，设定为图像宽度的
[0083]
步骤4.2.3：对各个掩模区域进行聚类，得出各个掩模的人像置信度value
means
；
[0084]
所述步骤4.2.3包括以下步骤：
[0085]
选择预设拍照区域i的中心点和任意一个掩模区域的中心点作为2个聚类的初始中心，令前者为有关人像类的中心，后者为无关人像类的中心；
[0086]
计算掩模mask
i
区域到两个聚类中心的距离dis，其中，(x,y)为mask
i
内的点的坐标，(x,y)是聚类中心，pixelnum是mask
i
内的像素总个数，将mask
i
类别归类到距离两个聚类中心较近的中心的类；通过采用类内像素点坐标均值来迭代计算有关人像类和无关人像类的中心；
[0087]
对2个聚类中心，直至迭代更新后新的聚类中心与上一次的聚类中心之间的距离变化小于阈值，认为达到稳定状态，迭代结束，否则继续迭代更新；使用稳定状态的两聚类中心进行类别判断，计算value
means
，
[0088]
步骤4.2.4：对置信度value
iou
、value
dis
、value
means
加权相加，得到最后的有关人像置信度value。
[0089]
步骤4.3：设定置信度阈值，基于置信度进行相关人像区域和无关人像区域筛选，置信度超过阈值的为相关人像区域；
[0090]
步骤4.4：对认定为有关人像区域的，进行可视化处理，便于用户辨别。
[0091]
本发明中，掩模是指经过卷积神经网络后获得的区域。
[0092]
本发明中，步骤4.1的n是经过卷积神经网络之后，获得的人像区域的数量，n的取值范围视图片中的人像个数而定，大于等于0，m+n＜255，255为像素点像素的最大值。
[0093]
本发明中，步骤4.2.1中，
[0094]
当mask
i
与预设拍照区域i的交并比iou
ii
大于0，即mask
i
区域有像素落在预设拍照区域i内时，则value
iou_i
值为1；
[0095]
当mask
i
及与其相交的其他人像区域mask
j
与预设拍照区域i的交并比iou
ii
和iou
ji
为0，则mask
i
与mask
j
都没有像素落在区域i内，其value
iou_i
值为0；
[0096]
第三种情况需要先判断mask
i
与mask
j
的相交程度，一般来说，v的取值为0至1间的数，如v取0.1，当然也可以根据实际情况在此值附近进行微调以适应不同场景，得到
[0097][0098]
最后，取valueiou的最大值。
[0099]
本发明中，步骤4.2.2，其中，hordis是mask区域的中心点到预设拍照区域i的横向距离，通过两个区域的中心点横坐标差的绝对值计算得来；一般来说，k大于0，如k取3，且可以根据实际情况在此值附近进行微调以适应不同场景。
[0100]
本发明中，步骤4.2.3先随机选取一个掩膜作为假定的无关人像，随后执行后续的操作；其中，继续迭代是从重新计算计算掩模mask
i
区域到两个聚类中心的距离dis开始的，随后进行再归类、重新计算两个聚类中心并确认距离变化是否小于阈值。
[0101]
本发明中，步骤4.2.4对置信度value
iou
、value
dis
、value
means
采用加权相加，得到最后的有关人性置信度value，value＝α
·
value
iou
+β
·
value
dis
+χ
·
value
means
；其中，α+β+χ＝1，α、β、χ的值在0至1之间，本实例中，α、β、χ的值分别设置为0.5、0.3、0.2，可以根据实际情况在此值附近进行微调以适应不同场景。
[0102]
本发明中，置信度阈值显然大于0，一般可以设为0.8，可以根据实际情况在此值附近进行微调以适应不同场景。
[0103]
步骤5：用户交互：对照片进行无关人像筛选之后，将筛选结果呈现给游客，游客对筛选的结果进行编辑。
[0104]
本发明中，游客可以通过触摸屏或其他方式对筛选的结果进行编辑，甚至可以更改人像区域所属的类别；在实际应用中，可以以不同的颜色区分无关人像区域和有关人像区域，用户通过点击红色的mask，可以将mask的颜色从红色转为蓝色，即改变该区域无关人像的判断；用户通过点击蓝色mask，将其转变为红色，即将该区域认定为无关人像区域；用户对于最终结果若无更改意愿，可点击确认按钮，对于无关人像区域的筛选进行确认。
[0105]
步骤6：人像去除：首先进行区域背景匹配，获得与无关人像区域ω最为匹配的背景区域g，然后采用图像融合的算法，将无关人像区域ω用对应的背景区域g进行替换，并无缝融合在原图s上，以实现无关人像去除。
[0106]
所述步骤6包括以下步骤：
[0107]
步骤6.1：对每个无关人像掩膜取最小外接矩形[a,b,w,h]，选择进行背景匹配的对应无关人像区域ω为[a,b,k*w,k*h]，其中，a和b是矩形的中心的横坐标和纵坐标，w和h是矩形的宽和高，k是无关人像区域的放大系数；对每个无关人像区域ω和对应的无关人像掩膜作差，将得到的每个无关人像掩膜的周围区域确定为局部背景区域；
[0108]
步骤6.2：将每个局部背景区域进行颜色空间转换，将rgb颜色空间转换到hsv颜色空间；
[0109]
步骤6.3：计算hsv颜色空间直方图，并进行归一化处理；
[0110]
步骤6.4：将处理后的每个局部背景区域与各个背景图中的对应区域进行直方图相关性比较，采用相关性度量公式进行相似度计算；
[0111]
步骤6.5：选择相似度最高的j张背景图，将j张背景图中相似度低于阈值d的背景图排除，将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果；
[0112]
步骤6.6：进行图像融合，将无关人像区域ω用匹配的背景图的对应背景区域g进行替换，在原图s上实现无缝融合。
[0113]
本发明中，图像融合算法采用泊松融合的方法，可以根据实际情况使用不同的图像融合算法以适应不同场景。泊松融合能在保留原图像梯度信息的基础上，较好的消除拼接的痕迹，其核心思想是根据原图像的梯度信息以及目标图像的边界信息，利用插值的方法重新构建出合成区域内的图像像素。
[0114]
本发明中，步骤6.1的k显然大于0，一般可以取2，当然也可以根据实际情况在此值附近进行微调以适应不同场景；背景匹配的区域若一侧超出图像边界，则需要在未超出图像边界的一侧增加面积与超出图像边界部分相同的区域；背景匹配的区域若两侧均超出图像边界则将整张图片作为背景匹配区域；背景匹配的区域若存在mask，则需要将区域中的mask区域去除进行匹配。
[0115]
本发明中，步骤6.2通过rgb转换到hsv的转换公式将rgb的像素值转换到hsv空间中h、s、v三分量的值，此为本领域公知技术，本领域技术人员可以自行处理。
[0116]
本发明中，步骤6.5中，j显然大于0，一般可以设为7，首先将j张背景图中相似度低
于阈值d的背景图排除，相似度阈值d显然大于0，如设为0.85，可以根据实际情况在此值附近进行微调以适应不同场景，然后将经过相似度筛选的图片按照背景图拍摄的时间进行排序，选择与当前时间最接近的背景图作为匹配的结果。
[0117]
步骤7：将人像去除的结果图呈现给游客。
[0118]
本发明中，结合说明书附图2对实施例的效果图进行展示：
[0119]
a图是拍摄的原图，图中的选框为人为设定的最佳拍摄区域i；
[0120]
b图是经过人像分割、无关人像筛选之后的图片，其中左侧掩膜的区域代表无关人像区域，右侧掩膜的区域代表有关人像区域；
[0121]
其中左侧掩膜的区域经过无关人像筛选之后得到的value
iou
＝0，value
dis
＝0.671，value
means
＝-1，最后求得的value＝0.0013，小于设定的阈值0.8，所以是无关人像区域，并给整个区域置为第一种颜色；
[0122]
其中右侧掩膜的区域经过无关人像筛选之后得到的value
iou
＝1，value
dis
＝0.741，value
means
＝1。最后求得的value＝0.9223，大于设定的阈值0.8，所以是有关人像区域，并给整个区域置为第二种颜色；
[0123]
第一种颜色和第二种颜色在实际应用中有明显区别；
[0124]
c图是经过人像去除之后的结果图，防止侵犯照片中人的隐私，对照片中人物的脸部区域进行马赛克处理。