本发明实施例涉及行人检测
技术领域：
：，尤其涉及一种行人检测方法、装置、电子设备和存储介质。
背景技术：
：：随着监控和网络技术的发展，行人检测技术广泛应用于不同场所，在有些场所中，需要通过行人检测结果来进行相关设备的控制或者对行人行为进行分析，例如通过检测到行人实现自动门控制、地铁进出站闸机控制、行人尾随分析等。在现有行人检测中，多用红外行人检测技术，即通过红外设备感应检测区域以检测出有行人在检测区域内，然而，在非行人的物体的辐射温度接近行人时，红外行人检测容易出现误检的可能性高，行人检测结果不准确，再者，红外行人检测仅能检测到有无行人，无法获得行人高度等更多维度的信息，行人检测结果的应用受限。技术实现要素：本发明实施例提供一种行人检测方法、装置、电子设备和存储介质，以解决现有技术中红外行人检测检测准确率低、获得的行人检测数据匮乏导致行人检测数据应用受限的问题。第一方面，本发明实施例提供了一种行人检测方法，包括：获取检测区域的彩色图像和深度图像；根据所述深度图像生成点云数据；根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。第二方面，本发明实施例提供了一种行人检测装置，包括：图像获取模块，用于获取检测区域的彩色图像和深度图像；点云数据生成模块，用于根据所述深度图像生成点云数据；特征张量生成模块，用于根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；特征张量输入模块，用于将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的行人检测方法。第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的行人检测方法。本发明实施例通过获取检测区域的彩色图像和深度图像，并根据深度图像生成点云数据，根据点云数据、深度图像和彩色图像生成检测区域的特征张量，将特征张量输入预先训练的行人检测模型中获得检测区域的行人检测信息。由于通过获取到的深度图像生成点云数据，由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人，实现了通过深度图像和点云数据中包含的三维空间信息来进行行人检测，既能够提高行人检测的准确性，又能够获得诸如行人高度等多维度的检测结果，从而可以根据检测结果实现多方面的应用。附图说明图1是本发明实施例一提供的一种行人检测方法的步骤流程图；图2a是本发明实施例二提供的一种行人检测方法的步骤流程图；图2b是本发明实施例中行人检测的一个场景示意图；图2c是本发明实施例中深度图像、前景检测框、最高区域检测框的示意图；图2d是本发明实施例中计算得到的点云特征的示意图；图2e是本发明实施例中一阶梯度图或者二阶梯度图的示意图；图2f是本发明实施例中遍历梯度图所使用的模板的示意图；图3是本发明实施例三提供的一种行人检测装置的结构框图；图4是本发明实施例四提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。实施例一图1为本发明实施例一提供的一种行人检测方法的步骤流程图，本发明实施例可适用于对检测区域执行行人检测的情况，该方法可以由本发明实施例的行人检测装置来执行，该行人检测装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的行人检测方法可以包括如下步骤：s101、获取检测区域的彩色图像和深度图像。具体地，检测区域可以是需要检测是否存在行人的区域，示例性地，检测区域可以是自动门一定范围内的区域，还可以是自动闸机(如地铁、车站等进出站闸机)一定范围内的区域，本发明实施例对检测区域不加以限制。具体地，检测区域的彩色图像和深度图像可以通过相机来获取，相机可以是能够获取深度数据的拍照设备，在一个示例中，相机可以包括一个彩色摄像头和一个红外摄像头，彩色摄像头用于获取检测区域的彩色图像，红外摄像头可以用于获取检测区域的深度图像，该深度图像中每个像素点的像素值表达了该像素点对应的检测区域中的目标到相机的距离。当然，相机还可以是双目相机，即具有两个彩色摄像头，或者一个彩色摄像头一个黑白摄像头的相机，本发明实施例对相机不加以限制，能够获取彩色图像和深度图像即可。在本发明的一个实施例中，相机可以预先标定并设置在检测区域的正上方，即相机的感光芯片(ccd或cmos)与地面平行，相机摄像头的光轴垂直与地面，即从相机上鸟瞰检测区域，使得相机按照预设周期对检测区域拍照时能够获得检测区域的彩色图像和深度图像，该深度图像和彩色图像对齐，即基于预先对相机标定的参数，使得深度图像和彩色图像的高度、宽度、分辨率相同，深度图像中的每个像素点均与彩色图像中的像素点对应，从而使得深度图像中每个像素点的深度值映射到彩色图像中的像素点对应的目标。在另外的实施例中，检测区域的彩色图像和深度图像也可以是通过有线/无线方式接收外部设备所传输的图像，在此对检测区域的彩色图像和深度图像的获取方式不做限定。s102、根据所述深度图像生成点云数据。点云数据(pointclouddata)是指以点的形式记录的数据，每一个点包含有三维坐标，具体到本发明实施例中，点云数据可以是检测区域内运动目标(如行人、行李箱等)的点云数据，在本发明的一个实施例中，可以通过预设的前景检测算法对深度图像执行前景检测得到前景检测框，该前景检测框为深度图像中包含运动目标的最小矩形框，然后通过前景检测框中每个像素点的像素值结合相机的内参计算每个像素点的点云的三维坐标，从而生成点云数据。s103、根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量。其中，可以根据点云中最高区域的点云(行人头部的点云)与其他点云(头部以外的点云)的点云数据，计算出最高区域的点云与其他点云之间的点云特征，例如高度差、点云间的夹角等作为点云之间的点云特征，对于深度图像可以对深度图像中的像素值计算一阶梯度和二阶梯度，以生成一阶梯度图和二阶梯度图，通过预设模板遍历一阶梯度图和二阶梯度图中的每个像素点，在满足预设条件时累加该像素点的得分，最终得到一张积分图，将点云之间的点云特征、积分图、深度图像拼接到彩色图像的通道上得到一个多维的特征张量。s104、将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。在本发明的可选实施例中，可以预先训练行人检测模型，该行人检测模型可以为各种神经网络，例如可以是cnn(卷积神经网络)、rnn(循环神经网络)、dnn(深度神经网络)等，行人检测模型的类型和训练方式可以参考现有技术中的模型训练，本发明实施例对行人检测模型的类型和训练方式不再详述。当获得特征张量后，可以将特征张量输入行人检测模型中，该行人检测模型输出多个检测框以及每个检测框的置信度，其中，每个检测框表达了检测到行人，不同检测框为检测到不同行人，置信度为该检测框为行人的概率。优选地，还可以输出每个检测框的位置、检测框中行人的高度等信息，从而实现了获取检测到的行人的多个维度的信息。本发明实施例通过获取检测区域的彩色图像和深度图像，进一步通过深度图像生成点云数据，由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人，实现了通过深度图像和点云数据包含的三维空间信息来进行行人检测，既能够提高行人检测的准确性，又能够获得诸如行人位置、高度等多个维度的检测结果，从而可以根据多个维度的检测结果实现多方面的应用。实施例二图2a为本发明实施例二提供的一种行人检测方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2a所示，本发明实施例的行人检测方法可以包括如下步骤：s201、获取检测区域的彩色图像和深度图像。本发明实施例中，检测区域可以是需要检测是否存在行人的区域，示例性地，检测区域可以是自动门一定范围内的区域，还可以是自动闸机(如地铁、车站等进出站闸机)一定范围内的区域，本发明实施例对检测区域不加以限制。本发明实施例以地铁进出站的自动闸机指定范围内的区域为检测区域为示例，如图2b所示，相机a设置在自动闸机b的正上方，相机a的光轴e垂直于地面，相机a的视角所覆盖的区域c即为检测区域，在图2b中，行人d需要通过自动闸机b，当行人d进入检测区域c后，相机a可以按照预设周期对检测区域c同时采集多张彩色图像和多张深度图像。s202、基于预设的前景检测算法对所述深度图像进行前景检测得到前景检测框。在本发明实施例中，前景检测可以是在前后相邻的多张图像中识别出检测区域中运动的目标，例如运动的行人、行李箱等，而地面等属于静态的作为背景。具体地，前景检测算法可以是基于vibe的背景建模算法，vibe通过背景更新获得前景，其原理是通过提取一张图像中像素点(x,y)周围的像素值及以前的像素值建立像素点的样本集，然后再将另一张图像中像素点(x，y)处的像素值与样本集中的像素值进行比较，如果其与样本集中的像素值的距离大于阈值，则认为该像素点为前景像素点，否则为背景像素点。通过vibe的背景建模算法对前后相邻两张、甚至更多张深度图像进行前景检测，可以获得深度图像中的前景区域，包含该前景区域的最小矩形框即为前景检测框，如图2c所示，对深度图像100进行前景检测后获得前景检测框200，当然，在一张深度图像中，前景检测框可以包括一个或者一个以上。当然，在实际应用中，还可以通过帧差法、光流法、平均背景法、背景非参数估计、前景建模法等方法对深度图像执行前景检测获得前景检测框，本发明实施例所采用的前景检测算法不加以限制。本发明实施例中，在相机高度固定的情况下，深度图像相比彩色图像更为稳定，深度图像对光照、颜色变化、图像微抖动等因素的敏感度低，利用深度图像进行前景检测，可以获得稳定准确的前景检测框，减小了后续行人检测的误差叠加，提高了行人检测的准确度。s203、通过预设的最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框。在本发明的可选实施例中，可以先将前景检测框中每个像素点的像素值映射到指定范围像素值，然后采用预设最高区域检测算法对像素值映射到指定范围像素值后的前景检测框区域进行最高区域检测，得到最高区域检测框。具体到本发明实施例中，由于相机设置在检测区域的正上方，从相机视角看，相机鸟瞰检测区域，目标的最高区域到相机的距离最小，即在深度图像上，最高区域是前景检测框中的全局最小值区域。以行人为示例，如图2b所示，行人在相机下方时，行人的头部大概率处于最高处，头部也是离相机最近的区域，换言之，在深度图像上，行人的头部区域也大概率为全局最小值区域，基于此，可以通过最大极值稳定区域检测算法(maximallystableexternalregions，mser)从前景检测框所在的区域检测出最高区域检测框。mser检测过程是对深度图像(像素值为0～255)取阈值进行二值化处理，阈值从0到255依次递增。阈值的递增类似于分水岭算法中的水面的上升，随着水面的上升，有一些较矮的丘陵会被淹没，如果从天空往下看，则大地分为陆地和水域两个部分，这类似于二值图像。在得到的所有二值图像中，图像中的某些连通区域变化很小，甚至没有变化，则该区域就被称为最大稳定极值区域，即最高区域。而16位深度图像的像素值较大(如像素值为1000代表现实距离的1米)，从而导致直接对深度图像进行mser检测会消耗过多资源，因此，在使用mser进行最高区域检测前，可以先将16位深度图像的像素值映射到像素值范围[0,255]，具体映射公式如下：其中，g(x,y)为映射后的像素值，d(x,y)为深度图像的原始像素值，dmax为深度图像所表达的最大的深度值，dmin为深度图像所表达的最小的深度值，通过以上映射公式对深度图像的像素值进行映射后，使得深度图像适用于mser来检测出最高区域得到最高区域检测框，如图2c所示，对深度图像100中的前景检测框200所在的区域进行最高区域检测后得到最高区域检测框300，当然，对于一个前景检测框，最高区域检测框的数量可以为一个或者一个以上。s204、采用所述前景检测框和所述最高区域检测框中每个像素点的像素值，以及所述相机的内参生成所述像素点的点云得到点云数据。在本发明的可选实施例中，针对前景检测框中的每个像素点，可以通过像素点在深度图像中的像素坐标、彩色图像的像素坐标原点以及相机的焦距计算像素点的初始x坐标和初始y坐标，然后采用初始x坐标和初始y坐标以及相机的畸变系数计算像素点在世界坐标系中的x坐标和y坐标，以及采用像素点的像素值和相机的深度值转换因子计算像素点在世界坐标系的z坐标，根据像素点的x坐标、y坐标和z坐标生成像素点在世界坐标系下的点云p，具体地如下公式所示：f＝1+coeffs1×(x2+y2)+coeffs2×(x2+y2)2+coffes5×(x2+y2)3(3)xworld＝d(x,y)×(x×f+2×coeffs3×x×y+coeffs4×((x2+y2)+2×x2))(4)yworld＝d(x,y)×(y×f+2×coeffs4×x×y+coeffs3×((x2+y2)+2×y2))(5)zworld＝α×d(x,y)(6)p＝(xworld,yworld,zworld)(7)上述公式中，x为初始x坐标，y为初始y坐标，xoffset和yoffset是彩色图像的像素坐标原点，该像素坐标原点可以是彩色图像的左上角，fx和fy是相机的焦距，x、y为像素点在深度图像中的像素坐标；coeffsi为相机的畸变系数(i∈[0,5])，α为深度值转换因子，α表达了像素值与深度值之间的转换关系，上述公式中的参数均可以从已标定相机中的彩色摄像头的内参中获取。对于深度图像中位于前景检测框中的一个像素点(x,y)，通过上述公式(1)-(7)后可以获得该像素点对应的目标在世界坐标系下的三维坐标，以点来记录该三维坐标即为点云。进一步地，可以将世界坐标系下的点云转换为相机的视锥空间的点云得到点云数据。在实际应用中，由于相机固定在检测区域正上方，相机的视角和焦距固定不变，可以将目标在世界坐标系下的6自由度位姿(旋转的roll，pitch，yaw以及平移中的x，y，z)降低到3自由度，即只计算平移。为了保证不同视锥空间下，提取到的目标的相关特征的平移不变性，需要将点云从相机的世界坐标归一化到视锥坐标上，即将原本相机的鸟瞰中心视角旋转到视锥的中心视角上，如图2b所示，相机的光轴e垂直于地面，对于行人g形成的点云，其视锥空间为锥形区域l，需要将相机的光轴e旋转至锥形区域l中与锥形区域l的中心轴f重合，旋转的角度即为光轴e和中心轴f的夹角θfrustum，同时，视锥空间坐标x′y′z′的x′y′与世界坐标xyz的xy方向不同，世界坐标下的x轴与视锥空间坐标x′y′z′的x′轴具有夹角，该夹角θrot等于世界坐标下的x轴沿顺时针方向旋转到与x′轴重合时所旋转过的角度，具体地，可以通过以下公式将世界坐标系下的点云p转换到视锥空间下的点云p′：p′(x′,y′,z′)＝p(x,y,z)·matrot(11)上述公式中matrot为线性转换矩阵，p(x,y,z)为点云在世界坐标系下的三维坐标(公式7的计算结果)，p′(x′,y′,z′)是点云在相机视锥空间下的三维坐标。本发明实施例通过深度图像和相机内参计算得到前景检测框中的目标在相机视锥空间中的点云数据，后续点云处理仅需对视锥空间里的点云进行计算，而无需计算全部点云，降低了数据处理量，节省了计算资源及时间，降低了行人检测的开销和提高了行人检测的效率。s205、基于所述点云数据确定点云子集，所述点云子集包括点云中位于最高区域的若干点。具体地，前述步骤s203已经确定出最高区域检测框，则该最高区域检测框所对应的多个点构成点云子集，优选地，可以选择最高区域检测框的中间区域所对应的多个点构成点云子集，如图2c所示，可以在最高区域检测框300中提取中间区域对应的若干点构成点云子集。s206、针对所述最高区域以外的每个点，计算所述最高区域以外的每个点与所述点云子集中每个点之间的特征，作为点云特征。在本发明的可选实施例中，针对最高区域以外的每个第一点，将点云子集中的每个第二点投影到第一点的xy平面上得到投影点，计算投影点与第一点的第一距离，分别计算第一点与第二点的高度差和第二距离，计算投影点与第一点所构成的直线与xy平面的x轴的第一夹角，计算第二点与第一点所构成的直线与xy平面的第二夹角，将第一距离、第二距离、高度差、第一夹角、第二夹角归一化处理得到五维的点与点之间特征，以作为点云特征。具体地，如图2d所示，在视锥空间坐标系下，前景检测框中的每个点与点云子集中的每个点进行计算，假设目前有点和垂直投射到所在的视锥空间坐标系下的xy轴平面上的点为投影点通过坐标计算得到一个多维特征其中rij为到投影点的直线距离，hij为和的高度差，dij为到的直线距离，为连接和两点的直线与xy轴平面的夹角，βij为连接和投影点两点的直线与x轴的夹角(范围是0～180°)，具体计算公式如下：通过上述公式计算得到五维特征后，可以将特征里的数值归一化到[0～255]，将此特征对应到点在深度图像中像素点的位置，最后形成一个h×w×5的三维特征张量作为点云特征，其中，h和w为彩色图像的高和宽。s207、对所述深度图像中的每个像素点的像素值计算一阶梯度和二阶梯度，得到一阶梯度图和二阶梯度图。具体地，对于深度图像中前景检测框的每个像素点(i,j)的归一化处理后的像素值g(i,j)，通过以下公式计算一阶梯度：其中，diffx(i,j)为x方向梯度，diffy(i,j)为y方向梯度，φ为一阶梯度方向，γ为一阶梯度强度。同理，对于深度图像中前景检测框中的每个像素点(i,j)的归一化处理后的像素值g(i,j)，通过以下公式计算二阶梯度：diffxx(i,j)＝g(i+1,j)-2g(i,j)+g(i-1,j)diffyy(i,j)＝g(i,j+1)-2g(i,j)+g(i,j-1)diffxy(i,j)＝g(i+1,j+1)+g(i,j)-g(i,j+1)-g(i+1,j)diffxx(i,j)为x方向的二阶梯度，diffyy(i,j)为y方向的二阶梯度，diffxy(i,j)为x方向的二阶梯度和y方向的二阶梯度的梯度和，φ2为二阶梯度方向，γ2为二阶梯度强度。在获得每个像素点的一阶梯度强度和二阶梯度强度后，根据每个像素点的位置、一阶梯度强度和二阶梯度强度可以生成一阶梯度图和二阶梯度图，如图2e所示为一阶梯度图和二阶梯度图的示意图，在图2e中，每个方格表示一个像素点，方格里的数值为该像素点的一阶梯度值(一阶梯度图)或二阶梯度值(二阶梯度图)，当然，在实际应用中可以将像素点的梯度值映射为像素值，通过彩色图像或者灰度图像的像素值来表达梯度值。s208、采用预设模板遍历所述一阶梯度图和所述二阶梯度图中的至少一个梯度图的每个像素点以生成计分图。在本发明的可选实施例中，可以初始化计分图，该计分图中每个像素点的初始得分相同，分别采用多个预设模板遍历一阶梯度图和二阶梯度图中的至少一个梯度图的每个像素点，在每次遍历时，如果像素点的一阶梯度值大于预设模板中指定像素点的一阶梯度值，或像素点的二阶梯度值大于预设模板中指定像素点的二阶梯度值，计分图中该像素点的得分累加1以生成计分图。具体地，如图2f所示，预设模板可以是预设大小的滑动窗口，在一个示例中，预设模板可以是一个3×3的窗口，该窗口中心位置为遍历像素点时像素点g的位置，不同窗口中取任意两个指定像素点g1和g2，在遍历如图2e所示的一阶梯度图和二阶梯度图中的至少一个梯度图的过程中，先采用图2f中的模板a去遍历每个像素点，对于模板a，遍历一阶梯度图和/或二阶梯度图中的某个像素点时，如果该像素点的梯度值满足以下条件，则该像素点的得分累加1：(gradk(g)＞gradk(g1))∩(gradk(g)＞gradk(g2))其中，k＝1,2分别表示一阶和二阶，grad表示梯度图，即对于某个模板，遍历一阶梯度图时，即k＝1，如果模板中像素点g的一阶梯度值大于模板中指定的像素点g1、g2的一阶梯度值时，像素点g的得分累加1。遍历二阶梯度图时，即k＝2，如果模板中像素点g的二阶梯度值大于模板中指定的像素点g1、g2的二阶梯度值时，像素点g的得分也累加1。如果一阶梯度图和二阶梯度图均需要遍历，像素点g的计分条件为：如果像素点g的一阶梯度值大于模板中指定的像素点g1、g2的一阶梯度值时，像素点g的得分累加1，像素点g的二阶梯度值大于模板中指定的像素点g1、g2的二阶梯度值时，像素点g的得分也累加1。当采用所有模板(图2f中的模板a-h)遍历完一阶梯度图和二阶梯度图中的至少一个梯度图后，可以生成一个h×w×1的计分图，其中，h和w为计分图的高和宽，其值可以与彩色图像的高和宽相等，计分图中每个像素点的值为该像素点的得分。本发明实施例对深度图像计算一阶梯度和二阶梯度来获得一阶梯度图和二阶梯度图，对一阶梯度图和二阶梯度图中的至少一个梯度图进行遍历生成计分图，由于梯度图反映了深度图像的像素值的变化，将计分图作为特征可以提取行人的边缘信息，提高行人检测框的置信度。s209、将所述点云特征、所述计分图和所述深度图像拼接到所述彩色图像的通道上得到特征张量。具体地，彩色图像的特征为h×w×c，h和w为彩色图像的高和宽，c为彩色图像的颜色通道，则可以将计分图中每个像素点的得分、深度图像中每个像素点的像素值、每个像素点对应的点云的点云特征拼接到彩色图像的通道上，得到一个h×w×(c+5+1+1)的特征张量，其中，“5”为5维的点云特征、两个“1”分别是深度图像中像素点的像素值和计分图中像素点的得分。s210、将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。当获得特征张量h×w×(c+5+1+1)后，该特征张量包含了彩色图像的通道信息c，5维点云特征、1维计分图和深度图像的1维深度信息，将该特征张量h×w×(c+5+1+1)输入行人检测模型中，行人检测模型输出m个已解码的检测框偏移坐标(xbox,ybox,wbox,hbox)以及每个检测框的置信度confi(i∈[0,m])，其中，每个检测框表达了检测到行人，不同检测框为检测到不同行人，置信度为该检测框为行人的概率。优选地，还可以输出每个检测框的位置xbox,ybox、检测框中行人的高度hbox等信息，从而实现了获取检测到的行人的多个维度的信息。其中，特征张量中包含深度图像的1维深度信息和1维的计分图，深度图像对光照颜色等因素敏感度低，计分图反映了深度图像的像素值的梯度变化，通过梯度变化可以提取边缘信息，特征张量中包括深度图像的深度信息和计分图，可以提高检测框的置信度，同时结合彩色图像，可以获得检测框的位置信息，另外，特征张量中包括5维点云特征和深度图像的1维深度信息，可以获得检测框中行人的高度信息。本发明实施例在获取彩色图像和深度图像后，对深度图像执行前景检测获得前景检测框，进一步对前景检测框执行最高区域检测获得最高区域检测框，采用前景检测框和最高区域检测框中每个像素点的像素值，以及相机的内参生成像素点的点云得到点云数据，基于点云数据确定最高区域的若干点云生成点云子集，针对最高区域以外的每个点云，计算点云与点云子集中每个点云之间的特征得到点云特征，对深度图像中的每个像素点的像素值计算一阶梯度和二阶梯度得到一阶梯度图和二阶梯度图，并根据一阶梯度图、二阶梯度图以及预设模板生成计分图，将点云特征、计分图和深度图像拼接到彩色图像的通道上得到特征张量，以通过特征张量输入行人检测模型中获得行人检测信息。由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人，实现了通过深度图像和点云数据包含的三维空间信息来进行行人检测，既能够提高行人检测的准确性，又能够获得诸如行人高度、位置等多维度的检测结果，从而可以根据检测结果实现多方面的应用。进一步地，对深度图像进行前景检测，深度图像对光照、颜色变化、图像微抖动等因素的敏感度低，可以获得稳定准确的前景检测结果，减小了行人检测的误差叠加，提高了行人检测的准确度。更进一步地，将世界坐标系下的点云转换为相机的视锥空间的点云得到点云数据，仅需对视锥空间里的点云进行计算，而无需计算全部点云，降低了数据处理量，节省了计算资源及时间，提高了行人检测的效率。实施例三图3是本发明实施例三提供的一种行人检测装置的结构框图，如图3所示，本发明实施例的行人检测装置具体可以包括如下模块：图像获取模块301，用于获取检测区域的彩色图像和深度图像；点云数据生成模块302，用于根据所述深度图像生成点云数据；特征张量生成模块303，用于根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；特征张量输入模块304，用于将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。可选地，所述点云数据生成模块302包括：前景检测子模块，用于基于预设的前景检测算法对所述深度图像进行前景检测得到前景检测框；最高区域检测子模块，用于通过预设的最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框；点云数据生成子模块，用于采用所述前景检测框和所述最高区域检测框中每个像素点的像素值，以及所述相机的内参生成所述像素点的点云得到点云数据。可选地，所述最高区域检测子模块包括：像素值映射单元，用于将所述前景检测框中每个像素点的像素值映射到指定范围像素值；最高区域检测子单元，用于采用预设最高区域检测算法对像素值映射到所述指定范围像素值后的所述前景检测框区域进行最高区域检测，得到最高区域检测框。可选地，所述点云数据生成子模块包括：初始坐标计算单元，用于针对所述前景检测框中的每个像素点，通过所述像素点在所述深度图像中的像素坐标、所述彩色图像的像素坐标原点以及所述相机的焦距计算所述像素点的初始x坐标和初始y坐标；x和y坐标计算单元，用于采用所述初始x坐标和初始y坐标以及所述相机的畸变系数计算所述像素点在世界坐标系中的x坐标和y坐标；z坐标计算单元，用于采用所述像素点的像素值和所述相机的深度值转换因子计算所述像素点在世界坐标系的z坐标；点云生成单元，用于根据所述像素点的x坐标、y坐标和z坐标生成所述像素点在世界坐标系下的点云；点云转换单元，用于将所述点云转换为所述相机的视锥空间的点云得到点云数据。可选地，所述特征张量生成模块303包括：点云子集确定子模块，用于基于所述点云数据确定点云子集，所述点云子集包括点云中位于最高区域的若干点；特征计算子模块，用于针对所述最高区域以外的每个点，计算所述最高区域以外的每个点与所述点云子集中每个点之间的特征，作为点云特征；梯度图生成子模块，用于对所述深度图像中的每个像素点的像素值计算一阶梯度和二阶梯度，得到一阶梯度图和二阶梯度图；计分图生成子模块，用于采用预设模板遍历所述一阶梯度图和所述二阶梯度图中的至少一个梯度图的每个像素点以生成计分图；特征张量拼接子模块，用于将所述点云特征、所述计分图和所述深度图像拼接到所述彩色图像的通道上得到特征张量。可选地，所述特征计算子模块包括：投影单元，用于针对所述最高区域以外的每个第一点，将所述点云子集中的每个第二点投影到所述第一点的xy平面上得到投影点；第一距离计算单元，用于计算所述投影点与所述第一点的第一距离；高度差和第二距离计算单元，用于分别计算所述第一点与所述第二点的高度差和第二距离；第一夹角计算单元，用于计算所述投影点与所述第一点所构成的直线与所述xy平面的x轴的第一夹角；第二夹角计算单元，用于计算所述第二点与所述第一点所构成的直线与所述xy平面的第二夹角；点云特征生成单元，用于将所述第一距离、第二距离、高度差、第一夹角、第二夹角归一化处理得到五维的点与点之间的特征，以作为点云特征。可选地，所述计分图生成子模块包括：初始化单元，用于初始化计分图，所述计分图中每个像素点的得分相同；像素点遍历单元，用于分别采用多个预设模板遍历所述一阶梯度图和二阶梯度图中的至少一个梯度图的每个像素点；得分累计单元，用于在每次遍历时，如果所述像素点的一阶梯度值大于所述预设模板中指定像素点的一阶梯度值，或所述像素点的二阶梯度值大于所述预设模板中指定像素点的二阶梯度值，所述计分图中所述像素点的得分累加1以生成计分图。本发明实施例所提供的行人检测装置可执行本发明实施例一、实施例二所提供的行人检测方法，具备执行方法相应的功能和有益效果。实施例四参照图4，示出了本发明一个示例中的一种电子设备的结构示意图。如图4所示，该电子设备具体可以包括：处理器401、存储器402、具有触摸功能的显示屏403、输入装置404、输出装置405以及通信装置406。该电子设备中处理器401的数量可以是一个或者多个，图4中以一个处理器401为例。该电子设备中存储器402的数量可以是一个或者多个，图4中以一个存储器402为例。该设备的处理器401、存储器402、显示屏403、输入装置404、输出装置405以及通信装置406可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的行人检测方法对应的程序指令/模块(例如，上述行人检测装置中的图像获取模块301、点云数据生成模块302、特征张量生成模块303和特征张量输入模块304)，存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。显示屏403为具有触摸功能的显示屏403，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏403用于根据处理器401的指示显示数据，还用于接收作用于显示屏403的触摸操作，并将相应的信号发送至处理器401或其他装置。可选的，当显示屏403为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏403的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器401或者其他设备。通信装置406，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。输入装置404可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置405可以包括扬声器等音频设备。需要说明的是，输入装置404和输出装置405的具体组成可以根据实际情况设定。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述行人检测方法。具体地，实施例中，处理器401执行存储器402中存储的一个或多个程序时，具体实现本发明实施例提供的行人检测方法的步骤。实施例五本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的行人检测方法。该方法具体可以包括：获取检测区域的彩色图像和深度图像；根据所述深度图像生成点云数据；根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明应用于设备上任意实施例所提供的行人检测方法中的相关操作。需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述行人检测方法。值得注意的是，上述行人检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12