社交距离评估方法、装置及存储介质与流程

1.本技术涉及图像处理领域，尤其涉及一种社交距离评估方法、装置及存储介质。


背景技术：

2.在日常的工作生活中，人口流动复杂，因此，对社交距离在安全范围以内的情况进行预警，逐渐成为人们社会活动的新需求。例如，在发生大规模聚集性传染病时，在众多防控措施中，安全社交距离的保持显得尤为重要。
3.现有技术中，社交距离是通过以下方式确定的：通过更快速的基于区域的卷积神经网络(faster region convolutional neural networks，简称faster rcnn)的开源行人检测网络(基于深度学习方法的行人检测算法)标识图像中每个人躯干边界框，之后根据边界框中心点之间的间距确定每两个人之间的社交距离。基于人与人之间躯干之间距离度量社交距离准确度有限，相反，基于人头与人头或其它目标部位之间的距离度量社交距离则具有更高精度；在实际应用中，采用上述方式确定的社交距离的准确性不仅低，此外社交距离估计的实时性不足。


技术实现要素：

4.为了解决现有技术中的上述问题，即为了高效准确确定目标之间的社交距离，本技术提供了一种社交距离评估方法、装置及存储介质。
5.第一方面，本技术提供了一种社交距离评估方法，包括：
6.获取图像的透视图；
7.对包含目标部位的图像进行特征提取，得到含有目标部位的不同尺度的特征图；
8.对不同尺度的特征图进行特征融合，得到含有目标部位的融合后特征图；
9.根据融合后的特征图进行目标部位的检测，得到检测结果；
10.根据透视图和检测结果，确定图像中不同对象之间的社交距离。
11.一种可能的实施方式中，对包含目标部位的不同尺度的特征图进行特征融合，得到包含目标部位的融合后的特征图，包括：分别确定包含目标部位的不同尺度的特征图对应的特征融合权重；基于特征融合权重，对包含目标部位的不同尺度的特征图进行加权处理；基于待融合特征图的个数，对加权处理后的结果进行求均值处理，得到融合后的特征图。
12.一种可能的实施方式中，获取图像的透视图，包括：在图像中使用四边形标注地平面；基于地平面，确定图像中各对象的高度以及对象所在边线相对四边形的下边线的边线长度比值；根据对象的高度以及对象对应的边线长度比值，确定对象所在边线上图像像素点的权重，得到透视图。
13.一种可能的实施方式中，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图，包括：通过至少两个不同的卷积层，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图。
14.一种可能的实施方式中，根据融合后特征图进行目标部位的检测，得到检测结果，包括：根据融合后的特征图进行目标部位的分类识别和对应目标框的位置回归，得到检测结果。
15.一种可能的实施方式中，根据透视图和检测结果，确定图像中不同对象之间的社交距离，包括：根据实际目标部位的尺度信息以及透视图对图像校正后的图像中检测到的目标部位所占像素数目，确定校正后图像中每个像素对应实际尺寸信息；根据像素对应的实际尺寸信息，确定图像中不同对象之间的社交距离。
16.第二方面，本技术提供一种社交距离评估装置，包括：
17.获取模块，用于获取图像的透视图；
18.特征提取模块，用于对包含目标部位的图像进行特征提取，得到含有目标部位的不同尺度的特征图；以及，对不同尺度的特征图进行特征融合，得到含有目标部位的融合后特征图；
19.检测模块，用于根据融合后的特征图进行目标部位的检测，得到检测结果；
20.确定模块，用于根据透视图和检测结果，确定图像中不同对象之间的社交距离。
21.一种可能的实施方式中，特征提取模块具体用于：分别确定包含目标部位的不同尺度的特征图对应的特征融合权重；基于特征融合权重，对包含目标部位的不同尺度的特征图进行加权处理；基于待融合特征图的个数，对加权处理后的结果进行求均值处理，得到融合后的特征图。
22.一种可能的实施方式中，获取模块具体用于：在图像中使用四边形标注地平面；基于地平面，确定图像中各对象的高度以及对象所在边线相对四边形的下边线的边线长度比值；根据对象的高度以及对象对应的边线长度比值，确定对象所在边线上图像像素点的权重，得到透视图。
23.一种可能的实施方式中，特征提取模块还用于：通过至少两个不同的卷积层，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图。
24.一种可能的实施方式中，检测模块具体用于：根据融合后的特征图进行目标部位的分类识别和对应目标框的位置回归，得到检测结果。
25.一种可能的实施方式中，确定模块具体用于：根据实际目标部位的尺度信息以及透视图对图像校正后的图像中检测到的目标部位所占像素数目，确定校正后图像中每个像素对应实际尺寸信息；根据像素对应的实际尺寸信息，确定图像中不同对象之间的社交距离。
26.第三方面，本技术提供一种电子设备，包括：
27.存储器和处理器；
28.存储器用于存储程序指令；
29.处理器用于调用存储器中的程序指令执行第一方面的社交距离评估方法。
30.第四方面，本技术一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被执行时，实现第一方面的社交距离评估方法。
31.第五方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面的社交距离评估方法。
32.本技术提供的社交距离评估方法、装置及存储介质，先获取图像的透视图，再对包
含目标部位的图像进行特征提取，得到含有目标部位的不同尺度的特征图，之后对不同尺度的特征图进行特征融合，得到含有目标部位的融合后特征图，根据融合后的特征图进行目标部位的检测，得到检测结果，最终根据透视图和检测结果，确定图像中不同对象之间的社交距离。由于融合后的特征图包含了更多尺度的目标部位特征，因此，根据融合后的特征图进行目标部位的检测可以获得更为准确的检测结果，进而根据该检测结果，更准确地确定图像中不同对象之间的社交距离。
附图说明
33.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1为本技术一实施例提供的应用场景示意图；
35.图2为本技术一实施例提供的社交距离评估方法的流程图；
36.图3为本技术一实施例提供的社交距离评估方法中透视图的获取方法示意图；
37.图4为本技术一实施例提供的社交距离评估方法中fchd的架构示例图；
38.图5为本技术又一实施例提供的社交距离评估方法的流程图；
39.图6为本技术一实施例提供的社交距离评估装置的结构示意图；
40.图7为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.首先，对本技术涉及的部分技术术语进行解释说明：
43.快速的基于区域的卷积神经网络(fast
‑
region convolutional neutral network，简称fast
‑
rcnn)，近年来比较热门的一种基于深度学习方法的双阶段目标检测算法，常用于图像中中等、大尺寸的目标的检测。
44.非极大值抑制(non
‑
maximum suppression，简称nms)，在最近几年常见的物体检测算法(包括rcnn、fast rcnn或faster
‑
rcnn等)中，最终都会从一张图片中找出很多个可能是物体的矩形框，然后分别对每个矩形框求出其可能是物体的概率，最终仅选取是物体概率值最大的矩形框。
45.全卷积神经网络头部检测器(fully convolutional head detector，简称fchd)，一种基于深度学习方法的单阶段、快速头部目标检测的算法，其输出常常是头部的坐标和头部的概率。
46.针对目前通过faster rcnn的开源行人检测网络来确定每两个行人之间的社交距离所存在的准确性以及效率低的问题，本技术的实施例提供了一种社交距离评估方法、装置及存储介质，基于单阶段的目标检测器fchd并引入特征融合网络对提取的不同尺度的特
征图进行融合，随后基于融合的特征图进行目标部位的检测以获得更为准确的检测结果，最终高精度、高效地确定不同包括人在内的对象之间的社交距离。
47.图1为本技术一实施例提供的应用场景示意图。如图1所示，本应用场景中，计算机110可以从本地或其他设备(这里示例为服务器120)获取包含至少两个对象的图像；之后，计算机110通过本技术提供的社交距离评估方法确定该图像中不同对象之间的社交距离，并输出得到的社交距离。一种示例中，计算机110将得到的社交距离叠加显示在对应对象上，或者建立社交距离与对象之间的对应关系，以使相关人员可以通过计算机110显示的内容可以快速确定不同对象之间的社交距离。
48.其中，图像可以是公开街景数据集包含的图像。示例地，图像为通过单个摄像头拍摄的包含多个行人的图像。该图像可以是从透视角度或其他角度拍摄的图像或视频中包含的图像。
49.需要说明的是，图1仅是本技术实施例提供的一种应用场景的示意图，本技术实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对计算机110或者服务器120可以是外部存储器，也可以是集成在计算机110或者服务器120中的内部存储器。计算机110既可以是pc，即电脑，也可以是可穿戴设备、手机或笔记本等终端设备。
50.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
51.图2为本技术一实施例提供的社交距离评估方法流程图。如图2所示，该社交距离评估方法包括如下步骤：
52.s201、获取图像的透视图。
53.由于实际应用中，对于图像等素材的获取方式通常是摄像机或照相机或摄像头以非鸟瞰的方式抓拍场景获得的，这种情况下拍摄出的图像中的行人具有不同的尺度大小，此外，图像中的行人近似为椭圆形而非圆形，上述现象均是由于图像采集装置存在的透视扭曲导致的；一般的，图像采集装置采集到的行人图像，距离采集装置距离近的行人具有较大的尺寸大小，相反，距离采集装置距离远的行人具有相对较小的尺寸大小，即采集到的图像中不同位置处的单个像素所代表的实际尺寸大小是不同的，因此，为了消除估计不同个体之间社交距离时需要消除图像采集装置因透视扭曲导致的透视紊乱问题，本专利中通过从采集到的图像中估计出相应的透视图达到减少或消除图像采集装置透视扭曲带来的影响。需要说明的是，基于采集到的图像估计出的透视图为热图，热图中特定位置的数值大小代表原始图像相应位置处像素点的权重大小。
54.s202、对包含目标部位的图像进行特征提取，得到含有目标部位的不同尺度的特征图。
55.示例地，该目标部位可以是头部或其他身体部位，具体视实际需求进行设置，本技术实施例中以头部为例进行说明。
56.可选地，在特征提取的过程中，可以对图像进行卷积处理。例如在本技术实例中，可以采用fchd目标检测算法，通过对输入图像进行多次卷积处理后，得到了多个不同尺度的特征图。其中，特征图包含了图像的不同尺度的目标部位特征。该示例中，不同尺度的目
标部位特征是通过至少两个不同大小的卷积层得到的。
57.s203、对不同尺度的特征图进行特征融合，得到含有目标部位的融合后特征图。
58.关于特征融合，对包含目标部位的不同尺度的特征图进行特征融合，得到包含目标部位的融合后的特征图，进一步包括：分别确定包含目标部位的不同尺度的特征图对应的特征融合权重；基于特征融合权重，对包含目标部位的不同尺度的特征图进行加权处理；基于待融合特征图的个数，对加权处理后的结果进行求均值处理，得到融合后的特征图。
59.以目标部位是头部为例进行说明，由于现实场景中头部尺寸普遍较小，若直接采用faster rcnn、fchd等基于深度学习方法的目标检测算法进行目标部位的检测，即使是采用小尺寸的目标框(或称为“锚”)，例如尺寸为16x16或32x32，发明人发现对图像或视频中小尺寸头部的检测精度仍然有限。为此，本技术引入特征融合模块，即综合利用fchd中不同卷积层输出的不同尺度的图像特征，先将不同尺度的图像特征进行特征融合，后续再基于融合后的图像特征进行头部的检测，以获得更为准确的头部检测结果。
60.该步骤中，特征融合模块可以是一种跨卷积层之间融合操作，其目的是为了得到不同尺度的目标部位特征。比如，在通过fchd进行头部检测的过程中，会通过多个不同尺度的卷积层进行头部特征的提取，其中，深层的卷积层输出的图像特征图的大小为30*40，由于尺度较小，往往会损失许多图像中具有的信息，因此不利于对图像中小尺寸目标的检测，为了保证检测结果的准确性，本技术实施例将通过深层的卷积层与前端较浅层的卷积层得到的图像特征图(图中未标出)进行特征融合处理，从而保证了多个不同尺度的特征图的融合，使得特征融合后的特征图包含更多的头部特征。
61.本技术实施例中，将上述特征融合模块与fchd相结合，得到了一种新的检测模型，可以称为特征融合网络
‑
全卷积神经网络头部检测器(feature fusion network
‑
fully convolutional head detector，简称ffn
‑
fchd)。
62.示例地，输入ffn
‑
fchd的待检测图像经检测器中不同卷积层c3、c4、c5处理后分别输出以下尺度的特征图p3、p4、p5：
63.p3:160*120，其通道个数为128；
64.p4:80*60，其通道个数为256；
65.p5:40*30，其通道个数为512。
66.在实际处理中，上述ffn
‑
fchd首先通过卷积层c3对输入的图像进行卷积处理，得到尺寸大小为160*120、包含128个通道的第一特征图p3；之后，将该第一特征图作为卷积层c4的输入，通过该卷积层对该第一特征图进行卷积处理，得到80*60、包含256个通道的第二特征图p4；然后，将该第二特征图作为卷积层c5的输入，通过该卷积层对该第二特征图进行卷积处理，得到尺寸大小为40*30、包含512个通道的第三特征图p5。
67.示例地，由于特征图的尺度越小，损失的信息越多，但包含越多的语义信息。一般而言，图像的损失信息越少以及包含的语义信息越多，检测器获取更高的目标检测精度，尤其是对小尺寸的待检测目标。因此，待检测物体在图像中的尺度越小，需要参与特征融合的特征图越多。比如，可以包含尺寸大小为80*60特征图，再进一步地，还可以包含尺寸大小为160*120的特征图，以此类推。
68.示例地，对于尺寸大小为40*30和80*60这2个不同大小的特征图的特征融合，具体过程为：先将尺寸大小为40*30的第三特征图进行线性插值处理，获得尺寸大小为80*60的
特征图；另外，由于第三特征图和第二特征图包含的通道个数是不同的，第三特征图包含的通道个数为512个，第二特征图包含的通道个数为256个，因此，需要对线性插值处理后的特征图进行卷积处理，得到尺寸大小为80*60、包含256个通道的第四特征图。通过上述处理后，得到了两个尺寸大小为80*60、通道个数为256的特征图：第二特征图和第四特征图，通过对这两个特征图进行加权平均或求均值处理(此时，不同尺度的特征图对应的特征融合权重均为1)，便可以获得融合后的特征图。
69.同理，若对于3个不同大小的特征图进行特征融合，其过程即是将尺寸大小为40*30的特征图和尺寸大小为80*60的特征图分别作线性插值处理，得到两个尺寸大小为160*120的特征图，进一步地，将两个特征图的通道个数统一为128个；再对上述3个特征图进行加权平均处理，得到融合后的特征图。
70.本技术实施例中，对包含目标部位的不同尺度的特征图进行特征融合，分别确定包含目标部位的不同尺度的特征图对应的特征融合权重，基于特征融合权重，对包含目标部位的不同尺度的特征图进行加权处理，基于待融合特征图的个数，对加权处理后的结果进行求均值处理，得到融合后的特征图。由于融合后的特征图包含了更多尺度的目标部位特征，因此，根据融合后的特征图进行目标部位的检测可以获得更为准确的检测结果。
71.s204、根据融合后的特征图进行目标部位的检测，得到检测结果。
72.仍参考fchd，该检测步骤可以包含目标部位(头部)的分类识别和目标框位置的回归。其中，头部分类识别的输出结果为多个包含头部的矩形框包含物体的类别，并对该矩形框进行目标框的回归操作。
73.另外，该ffn
‑
fchd的输出为图像包含的头部的位置坐标(x
min,
y
min
,x
max
,y
max
)及其对应的概率值，将这些数据作为保留数据，后续用于回归校正和社交距离的计算。其中，x
min
表示x轴上较小的边界值；y
min
表示y轴上较小的边界值；x
max
表示x轴上较小的边界值y
max
；概率值为对应目标框中所包含的部分是头部的概率值。若设置概率阈值为a，此时，当概率值小于a时，表示对应目标框中不包含头部；若概率值大于或等于阈值a，则表示对应目标框中包含头部。
74.示例地，在图像中远离图像采集装置的位置区域，人群个体待检测部位尺寸较小，由于fchd的小尺寸目标检测精度有限这将会影响后续社交距离的计算，在引入特征融合模块之后，输出的目标框的位置以及大小更精准，例如可以刚好为头部的大小，并且目标框的中心即为头部的中心位置。
75.s205、根据透视图和检测结果，确定图像中不同对象之间的社交距离。
76.示例地，通过ffn
‑
fchd得到的检测结果为对象的头部的位置坐标，此时，根据头部的位置坐标确定不同对象之间的社交距离。由于社交距离具体是头部和头部之间的社交距离，因此，相对于通过呼吸或唾液传染的疾病，相比确定不同对象身体之间的社交距离而言，可以更有效地发挥传染性疾病的防控，满足市场对相关疫情防控产品的迫切需求。
77.本方案的核心思路是通过从图像中估计出的透视图对图像进行校正，随后根据校正后图像中人头中心位置之间的像素距离转化为现实场景中的人头与人头之间的实际距离，像素距离即是经透视图校正后的图像中两个目标点(例如头部中心点)之间包含的图像像素点的个数。通过图像中头部之间的像素距离，进而确定图像中头部之间社交距离。
78.另需说明的是，本技术实施例不限制s201的执行顺序，只要保证s201执行在s205
之前即可。也就是说，相对s202至s204，s201可以在s202之前执行，如图2所示例，或者，s201也可以在s202之后执行，具体需根据实际需求进行设置。
79.在本技术实施例中，先获取图像的透视图，对图像中对象的目标部位进行特征提取，得到不同尺度的特征图，再对不同尺度的特征图进行特征融合，得到融合后的特征图。并根据融合后的特征图进行目标部位的检测，得到检测结果；最后，根据透视图和检测结果，确定图像中不同对象之间的社交距离。通过提取不同尺度的特征图，随后基于不同尺度的特征图进行特征融合，由于融合后的特征图包含了更多尺度的目标部位特征，因此，根据融合后的特征图进行目标部位的检测可以获得更为准确的检测结果，进而根据该检测结果，更准确地确定图像中不同对象之间的社交距离。
80.在上述实施例的基础上，关于s201至s205所叙述的社交距离评估方法，上述步骤的具体实现步骤可示例如下：
81.在s201中，对于获取图像的透视图，进一步可以包括：在图像中使用四边形标注地平面；基于地平面，确定图像中各对象的高度以及对象所在边线相对四边形的下边线的边线长度比值；根据对象的高度以及对象对应的边线长度比值，确定对象所在边线上图像像素点的权重，得到透视图。
82.示例地，图3为本技术一实施例提供的社交距离评估方法中透视图的获取方法示意图。参考图3，其展示了透视图的具体生成步骤：
83.首先，在图像中标注地平面abcd。一般地，使用四边形标注地平面，该四边形的上下两边是相互平行的，即ab//cd。由于该四边形的作用是标注地平面，因此，对于一些距离过远的行人或者被其它物体遮挡的行人而言，可以不包含在四边形中。
84.进一步地，采用矩形框标注位于该地平面上的行人，还可以进一步确定矩形框的宽度和高度，用来描述在图像中行人的宽度和高度，以及矩形框所在边线的长度。如图3所示，在四边形下边线ab上选取拍摄到的目标行人，此时测量该行人的高度h1与边线ab的长度|ab|(图3中a))；在四边形的上边线cd上选取拍摄到的目标行人，此时测量该行人的高度h2与边线cd的长度|cd|(图3中b))。
85.另外，在生成透视图的过程中，还需确定对象所在边线上图像像素点的权重。关于图像像素点的权重，由于摄像装置采集图像时存在透视紊乱的现象，因此存在远小近大这一无法避免的情况。而在透视图中，远处的两个对象之间的距离和近处的两个对象之间的距离，二者同时对应到现实世界的距离可以是相同的，因此，需要引入图像像素点的权重的概念。具体地，在透视图中，图像像素点的权重是根据上述四边形的边线进行变化的。比如在图3的c)部分中，从边线ab到边线cd，图像像素点的权重逐渐变化。
86.示例地，对于图像像素点的权重的具体计算，将边线ab上的图像像素点的权重设置为1，则边线cd上的图像像素点的权重为：
87.具体地，根据图像像素点的权重的计算方法，将边线ab上已经确定的行人高度和边线长度作乘积，若边线ab上的行人的高度为h1，则结果记为h1*|ab|；同样地，设边线cd上图像像素点的权重为x，且边线cd上行人的高度为h2，将边线cd上的行人的高度和边线长度作乘积之后的结果为h2*|cd|；再进一步引入图像像素点的权重的计算，存在等式：1*h1*|ab|＝x*h2*|cd|。因此，边线cd的图像像素点的权重x为：(h1*|ab|)/(h2*|cd|)。
88.还需说明的是，对于同一个边线上的图像像素点的权重，其在计算角度上是相同的，将该图像像素点的权重误差进行忽略不计。在确定边线cd上的图像像素点的权重之后，通过线性插值的方法确定处于边线ab和边线cd之间的图像像素点的权重，得到如图3中c)所示的透视图。线性插值即是从边线ab到边线cd之间的图像像素点的权重的变化为线性变化。具体地，例如线性函数y＝2x+1，其导数为2，即该函数的变化率是恒定的为2，通过在上述地平面中绘制坐标系x和y，确定该四边形上某横边对应的横坐标，根据线性函数的表达式可以确定各边线上图像像素点的对应的权重。该权重用于后续确定社交距离。
89.还需说明的是，由于图像像素点的大小无法忽略，因此本技术实例中不对图像像素点的权重的绝对精准性进行限制，即上述的边线可以是有一定宽度的，不是理论上足够细的直线，即在边线上可能有多个图像像素点，且一个边线上的图像像素点的权重相同。
90.本技术实施例中，在图像中使用四边形标注地平面，基于地平面，确定图像中各对象的高度以及对象所在边线相对所述四边形的下边线的边线长度比值，根据对象的高度以及对象对应的边线长度比值，确定对象所在边线上图像像素点的权重，得到透视图，可实现对获取图像的透视校正，以消除图像采集装置因透视紊乱而产生的图像畸变偏差，为后续确定社交距离提高精度。
91.对于s202中，对图像中对象的目标部位进行特征提取，得到不同尺度的特征图，包括：通过至少两个不同的卷积层，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图。
92.示例地，通过fchd中的卷积层提取头部的具体特征，提取的具体操作通过下述展示：
93.参考图4中，将图像输入到fchd的主干网络vgg16卷积神经网络(vgg16 cnn)中，该卷积神经网络对图像进行卷积操作以提取输入图像的特征。具体地，在进行卷积操作时，会存在有一个二维卷积核，该卷积核对图像对应的区域进行乘积，完成多层的特征提取以及相应的部分过滤功能。图中部分过程已经省略，示例地，在第一步操作时，若图像大小为640*480，卷积核的大小可以是3*3的小矩阵，卷积核的个数为64，通过第一次卷积后，得到大小为640*480的特征图，特征图包含的通道个数为64。在卷积的过程中，还有一个重要的步骤是池化(pooling)，其作用是减少模型参数的目的，同时可缩小特征图的尺寸大小，如将第一次卷积结果进行池化处理，得到的尺寸大小为320*240的特征图，将特征图缩小后，其包含的图像的内容也相应的减小。进一步地，再进行第二次卷积操作，卷积核大小依然是3*3，不同的是，这次卷积核的个数为128，则卷积后得到320*240且包含的通道个数为128的特征图。同理，再次进行池化处理，处理后特征图的大小缩小为160*120。第三步的卷积核个数为256，卷积后得到大小为160*120，包含的通道个数为256的特征图。经过多次卷积后，得到图4中的40*30的特征图，其中，该特征图包含的通道个数为512。
94.本技术实例中，通过至少两个不同的卷积层，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图，由于fchd检测器属于单端方式的目标检测器，即可直接通过fchd对从图像提取的图像特征进行处理，同时确定检测物体的类别及其位置，其优点是目标检测效率高。
95.对于s204，进一步地，根据融合后的特征图进行目标部位的检测，得到检测结果，包括：根据融合后的特征图进行目标部位的分类识别和对应目标框的位置回归，得到检测
结果。
96.仍以头部检测为例，考虑到检测算法的检测精度与检测的实时性，可以选用如前所述的fnn
‑
fchd进行图像与视频中行人的头部的实时检测。其中，fchd的模型架构如图4所示，该模型架构分为头部分类与头部回归两个部分。为提升检测精度，可以选用两组小尺寸的锚(16x16,32x32)，在给特征图后，基于全卷积的神经网络用于从目标框中估计人头目标的坐标与概率值。
97.对于头部的分类识别，在上述s203的特征融合操作中，由于将多个不同尺度的头部特征进行特征融合处理，融合后的头部特征包含了更多的图像信息，因此基于融合后的头部特征进行分类识别处理，可以得到更为准确的识别结果。
98.在完成分类识别后，再进一步地，进行目标框位置的回归操作，所谓回归，可以理解为一种校正操作，对上述矩形进行校正，从而使得结果更精确，目标框的位置回归操作，其也可以叫做边框回归(bounding box regression)。边框回归的本质是一种回归函数，其目的在于通过找到一种映射，将目前边框中的每一个点映射到另一个边框(集合)中，且映射后的边框无限接近于实际物体的边框。由于实际物体边框不是理想的矩形，因此只能满足映射后的点的集合约等于实际物体自身所有点的集合。换言之，目标框的位置回归即是调用或编译一种回归函数，将现有矩形框中的点进行优化，从而达到更精确的目的。具体地，用数学字符表示即为给定(p
x
,p
y
,p
w
,p
h
)，寻找一种映射f，使得f(px,py,pw,ph)＝(g
x’,g
y’,g
w’,g
h’)，并且(g
x’,g
y’,g
w’,g
h’)≈(g
x
,g
y
,g
w
,g
h
)。其中，p
x
、p
y
、p
w
和p
h
为分类识别后得到的矩形框内的点，g
x’、g
y’、g
w’和g
h’为进行目标框位置回归后得到的矩形框内的点，g
x
、g
y
、g
w
和g
h
为实际物体所具有的边框内的点。
99.回归操作后，输出结果为的回归后头部特征的坐标值和概率值，关于概率值的概念已经在s204中叙述，此处不再赘述。
100.需要说明的是，在图3中，可以发现一些矩形框内部包含的部分为非头部，这种情况即上述低于阈值的头部概率，后续计算时将该矩形框包含的部分去除。关于头部的坐标值，即为上述矩形框的边界坐标值，具体地，矩形框的坐标值可以表示为(x
min
,y
min,
x
max
,y
max
)，头部中心的坐标根据中值定理，为((x
min
+x
max
)/2，(y
min,
+y
max
)/2)。
101.本技术实例中，根据融合后的特征图进行目标部位的分类识别和对应目标框的位置回归，得到检测结果，对特征融合后的特征图进行检测操作，根据待检测图像中目标部位的大小，可选择性的基于不同尺寸大小的融合特征图对不同大小的部位进行检测，获取后续精准计算社交距离更方便和准确。
102.在s205中的确定社交距离的具体实现，可以包含有多项具体的实施方法。示例地，如图5所示，图5为本技术又一实施例提供的社交距离评估方法的流程图。图5展现了根据检测结果，确定图像中不同对象之间的社交距离。
103.s501、根据实际目标部位的尺度信息以及透视图对图像校正后的图像中检测到的目标部位所占像素数目，确定校正后图像中每个像素对应实际尺寸信息。
104.该步骤即进一步解释了在s205中，将透视图校正后的检测图像中的图像像素点之间的距离对应到现实世界的真实距离。具体的计算方式如下：
105.根据前文计算得出的在透视图中的四边形内部每个边线上的图像像素点的权重，计算对应在该边线上的图像像素点的物理尺寸，该物理尺寸即对应到真实世界的实际尺
寸。
106.示例地，计算过程可以为：根据fnn
‑
fchd输出的包含有头部的矩形框，确定边线上的矩形框的长度和宽度，即目标部位在经透视图校正后的检测图像中的尺度信息；另外，还需根据查阅国标，确定一般情况下的头部的实际的长度和宽度，即实际目标部位的尺度信息。即后者是一个标准值，将现实世界中的头部的长度和宽度相乘，得到第一中间值；再将该边线上矩形框的长度和宽度与该边线所对应的图像像素点的权重相乘，得到第二中间值；最后，将第一中间值与第二中间值相除，从而得到了在该边线上的图像像素点的物理尺寸。用公式表达运算即为：若已知标注的头部的长度和宽度为a*b，在某个边线上测得矩形框的长度和宽度分别为c*d，且该边线对应的图像像素点的权重为m，则该边线上的图像像素点对应的物理尺寸为：(a*b)/(c*d*h)。该表达式的物理意义即是在透视图校正后检测图像中确定的边线上的一个图像像素点所对应在现实世界的物理距离。
107.s502、根据像素对应的实际尺寸信息，确定图像中不同对象之间的社交距离。
108.在s501中已经叙述了在某个边线上的图像像素点的物理尺寸的计算方法，将该方法应用于整个四边形之后，便可以确定经透视图校正的图像中任意两个对象之间的距离，即本技术实例中的社交距离。
109.示例地，具体的计算操作可以为，确定图像中任意两个包含头部的矩形框，根据之前所计算的矩形框的边界坐标得到矩形框内头部的中心坐标，并将两个头部的中心连线，该线段的长度即为社交距离的值。关于线段的长度计算，首先需要将该线段对应到经透视图校正后图像中的相应位置，并求解出相应的像素距离，即在该透视图校正后图像中两线段间包含的图像像素点的个数，又由于线段是横跨多个横边的，即在该线段上的不同位置图像像素点对应的权重不同，进而该线段上的不同位置图像像素点对应的物理尺寸也不同，结合上述求得的四边形内每个横边上的图像像素点的物理尺寸、经透视图校正图像中的像素距离以及运用欧氏距离公式，最终完成对现实世界头部之间距离的计算。
110.关于欧式距离公式，一种表达式写作:
111.关于该表达式，其中，x
i
和y
i
分别表示在平面坐标系中的两个向量，则(x
i
‑
y
i
)表示由y
i
指向x
i
的向量，(x
i
‑
y
i
)的平方则代表的是由y
i
指向x
i
的向量的模的平方，对平方开根号运算后，计算出该向量的模值，即该向量的长度，进一步地，反映的是x
i
和y
i
之间的距离，该距离在本技术实例中则通过像素距离和像素尺寸确定，该求和对应到本技术实例中，由于头部中心连线确定线段跨越了多个处于四边形内的边线，因此需要进行分布计算，先确定每个边线上的图像像素点的距离，再根据之前计算过的该边线上图像像素点的物理尺寸计算出上述线段在该边线上对应的实际物理长度。再通过多次求和叠加，最终求解出整个线段所对应的实际物理长度，即社交距离。
112.示例地，在比较特殊的情况下，即两个头部矩形框在四边形中的同一边线上，则这种计算方法最为简单，直接用像素距离乘以图像像素点的物理尺寸即可，且图像像素点的像素物理尺寸相同。
113.综上，在完成头部的检测后，综合利用单目摄像头抓拍场景的透视图，可完成图像中行人之间社交距离的计算，具体操作流程如下：
114.(1)尺度因子计算。在图像中随机选取若干数量头部目标，使用透视图对图像像素
点进行校正，因此得到透视图校正后选取头部目标框的长度与宽度，使用现实世界中人体头部长度与宽度尺寸与图像中人头目标检测框的长度与宽度相除，最终可得到每个像素度量的平均物理尺寸(尺度因子)。
115.(2)图像中个体间社交距离计算。分别计算图像中任意个体与其余个体两两之间的社交距离，计算方法如下：使用透视图校正单目摄像头抓取的图像，可得到图像中人头目标中心点之间在x、y方向上的像素距离，进而得到目标中心点之间在x、y方向上的物理距离，利用欧氏距离公式可得到任意两人之间的社交距离。
116.本技术实施例中，根据实际目标部位的尺度信息以及透视图对图像校正后的图像中检测到的目标部位所占像素数目，确定校正后图像中每个像素对应实际尺寸信息，再根据像素对应的实际尺寸信息，确定图像中不同对象之间的社交距离。通过计算目标部位中心点的距离来代表社交距离，不仅计算方法简单，更重要的是其计算的结果满足实际生活中的社交距离所代表的物理意义；通过引入图像像素点的物理尺寸，将二维图像的头部距离对应到三维世界的实际距离，计算过程简洁，结果准确。
117.还需说明的是，上述示例均以目标部位为头部进行示例说明，但本技术实施例不以此为限制，在对图像或视频中用于测算个体间社交距离的目标选取上，还可以选用人体整个身体或躯干作为检测目标，进而利用检测目标的几何中心测算个体间的社交距离；另外，在对图像或视频中头部检测方面，基于传统人工设计特征的目标检测方法可代替本技术中的fchd，用于头部的检测，例如还可选用如下基于深度学习方法的目标检测算法进行头部的检测：fast r
‑
cnn、faster r
‑
cnn等双端方式的目标检测算法，以及ssd、yolo v3等端到端方式的目标检测算法。
118.相比现有技术，本技术提供的社交距离评估方案，利用基于深度学习方法的目标检测技术，实现对人的实时、高准确率检测，在此基础上实时、准确地测算出人与人之间的社交距离，至少具有以下优势：
119.(1)可实现对办公场所、公共场合等场所中个体间社交距离的自动化、实时、高精度计算与分析，填补相关市场空白。
120.(2)满足市场对相关传染病防控产品的迫切需求。
121.(3)为传染性疾病的防控与社会安全、有序复工复产工作的开展提供保障。
122.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
123.图6为本技术一实施例提供的社交距离评估装置的结构示意图。如图6所示，社交距离评估装置600包括：
124.获取模块601，用于获取图像的透视图；
125.特征提取模块602，用于对包含目标部位的图像进行特征提取，得到含有目标部位的不同尺度的特征图；以及，对不同尺度的特征图进行特征融合，得到含有目标部位的融合后特征图；
126.检测模块603，用于根据融合后的特征图进行目标部位的检测，得到检测结果；
127.确定模块604，用于根据透视图和检测结果，确定图像中不同对象之间的社交距离。
128.一些实施例中，特征提取模块602具体用于：分别确定包含目标部位的不同尺度的
特征图对应的特征融合权重；基于特征融合权重，对包含目标部位的不同尺度的特征图进行加权处理；基于待融合特征图的个数，对加权处理后的结果进行求均值处理，得到融合后的特征图。
129.一些实施例中，获取模块601具体用于：在图像中使用四边形标注地平面；基于地平面，确定图像中各对象的高度以及对象所在边线相对四边形的下边线的边线长度比值；根据对象的高度以及对象对应的边线长度比值，确定对象所在边线上图像像素点的权重，得到透视图。
130.一些实施例中，特征提取模块602还用于：通过至少两个不同的卷积层，对包含目标部位的图像进行特征提取，得到包含目标部位的不同尺度的特征图。
131.一些实施例中，检测模块603具体用于：根据融合后的特征图进行目标部位的分类识别和对应目标框的位置回归，得到检测结果。
132.一些实施例中，确定模块604具体用于：根据实际目标部位的尺度信息以及透视图对图像校正后的图像中检测到的目标部位所占像素数目，确定校正后图像中每个像素对应实际尺寸信息；根据像素对应的实际尺寸信息，确定图像中不同对象之间的社交距离。
133.本技术实施例提供的装置，可用于执行如前所述任一实施例中的方法，其实现原理和技术效果类似，在此不再赘述。
134.图7为本技术一实施例提供的电子设备的结构示意图。示例性地，电子设备可以被提供为一服务器或计算机。参照图7，电子设备700包括处理组件701，其进一步包括一个或多个处理器，以及由存储器702所代表的存储器资源，用于存储可由处理组件701的执行的指令，例如应用程序。存储器702中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件701被配置为执行指令，以执行上述任一方法实施例。
135.电子设备700还可以包括一个电源组件703被配置为执行电子设备700的电源管理，一个有线或无线网络接口704被配置为将电子设备700连接到网络，和一个输入输出(i/o)接口705。电子设备700可以操作基于存储在存储器702的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
136.本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上社交距离评估方法的方案。
137.本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的社交距离评估方法的方案。
138.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
139.一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于社交距离评估装置中。
140.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
141.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。