一种摄像头的使用控制方法、装置、电子设备及存储介质与流程

本申请涉及车辆运营技术领域，尤其涉及一种摄像头的使用控制方法、装置、电子设备及存储介质。

背景技术：

随着互联网技术的快速发展，传统交通运输与互联网融合的行业新业态蓬勃发展，使得网络约车服务(简称网约车)成为用户出行的一种重要方式。

网约车在给用户带来便利的同时，一些用户的不规范驾驶行为如在开车时抽烟、打电话等也时有发生，为了对这些不规范行为进行整理，网约车运营方会在车辆上安装驾驶员监控系统(drivermonitorsystem，dms)摄像头，借助于dms摄像头采集的车内图像来对这些不规范行为进行惩罚。但由于用户的身高、体型不同，网约车运营方只可限定dms摄像头的朝向而需允许用户调整dms摄像头在朝向上的图像采集范围，这样，很容易出现用户将摄像头调整到采集不到有效区域如人脸的情况，此时dms摄像头就无法发挥作用、形同虚设。

技术实现要素：

本申请实施例提供一种摄像头的使用控制方法、装置、电子设备及存储介质，用以解决相关技术中难以检测用户对摄像头的使用是否规范的问题。

第一方面，本申请实施例提供一种摄像头的使用控制方法，包括：

获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像，其中，所述第一摄像头的朝向固定且在所述朝向上的图像采集范围可调节，所述第二摄像头的朝向和图像采集范围均固定；

分别从所述第一车内图像和所述第二车内图像中获取指定区域内目标对象的位置信息；

基于所述第一摄像头在指定图像采集范围进行图像采集时所述第二摄像头和所述第一摄像头所采集的相同对象的图像之间的位置转换关系，对从所述第二车内图像中获取的位置信息进行转换处理；

基于转换后的位置信息和从所述第一车内图像中获取的位置信息，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，所述允许的图像采集范围根据所述指定图像采集范围预先确定。

在一些可能的实施方式中，所述位置信息至少包括所述目标对象的关键点的位置信息，基于转换后的位置信息和从所述第一车内图像中获取的位置信息，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，包括：

基于转换后所述目标对象的关键点的位置信息和从所述第一车内图像中提取的关键点的位置信息，确定第一规范值，所述第一规范值用于表征转换后所述目标对象的关键点与从所述第一车内图像中提取的关键点之间的重合程度；

根据所述第一规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一些可能的实施方式中，基于转换后所述目标对象的关键点的位置信息和从所述第一车内图像中提取的关键点的位置信息，确定第一规范值，包括：

基于转换后所述目标对象的每个关键点的位置信息和从所述第一车内图像中提取的对应关键点的位置信息，确定关键点之间的距离；

基于各关键点之间的距离，确定第一规范值。

在一些可能的实施方式中，根据以下公式确定第一规范值sim1：

其中，di表示关键点i之间的距离，n表示关键点个数，r为设定半径。

在一些可能的实施方式中，所述位置信息还包括所述目标对象的位置区域信息，还包括：

基于转换后所述目标对象的位置区域信息和从所述第一车内图像中提取的位置区域信息，确定第二规范值，所述第二规范值用于表征转换后所述目标对象的位置区域与从所述第一车内图像中提取的位置区域之间的重合程度；

根据所述第一规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，包括：

根据所述第一规范值和所述第二规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一些可能的实施方式中，根据以下公式确定第二规范值sim2：

其中，a表示转换后所述目标对象的位置区域，areaa表示转换后所述目标对象的位置区域的面积，b表示所述第一车内图像中所述目标对象的位置区域，areab表示所述第一车内图像中所述目标对象的位置区域的面积。

在一些可能的实施方式中，根据所述第一规范值和所述第二规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，包括：

在所述第一规范值和所述第二规范值的平均值大于预设值时，确定所述第一摄像头的实际图像采集范围未超出允许的图像采集范围。

在一些可能的实施方式中，还包括：

检测车辆的运动速度；

在检测到的运动速度大于设定速度时，获取所述第一摄像头采集的所述第一车内图像和所述第二摄像头采集的所述第二车内图像。

在一些可能的实施方式中，还包括：

基于所述第一车内图像的位置信息获取结果，确定所述第一摄像头是否被遮挡；和/或

基于所述第二车内图像的位置信息获取结果，确定所述第二摄像头是否被遮挡。

第二方面，本申请实施例提供一种摄像头的使用控制装置，包括：

图像获取单元，用于获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像，其中，所述第一摄像头的朝向固定且在所述朝向上的图像采集范围可调节，所述第二摄像头的朝向和图像采集范围均固定；

位置获取单元，用于分别从所述第一车内图像和所述第二车内图像中获取指定区域内目标对象的位置信息；

转换单元，用于基于所述第一摄像头在指定图像采集范围进行图像采集时所述第二摄像头和所述第一摄像头所采集的相同对象的图像之间的位置转换关系，对从所述第二车内图像中获取的位置信息进行转换处理；

确定单元，用于基于转换后的位置信息和从所述第一车内图像中获取的位置信息，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，所述允许的图像采集范围根据所述指定图像采集范围预先确定。

在一些可能的实施方式中，所述位置信息至少包括所述目标对象的关键点的位置信息，所述确定单元具体包括：

第一规范子单元，用于基于转换后所述目标对象的关键点的位置信息和从所述第一车内图像中提取的关键点的位置信息，确定第一规范值，所述第一规范值用于表征转换后所述目标对象的关键点与从所述第一车内图像中提取的关键点之间的重合程度；

判断子单元，用于根据所述第一规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一些可能的实施方式中，所述第一规范子单元具体用于：

基于转换后所述目标对象的每个关键点的位置信息和从所述第一车内图像中提取的对应关键点的位置信息，确定关键点之间的距离；

基于各关键点之间的距离，确定第一规范值。

在一些可能的实施方式中，所述第一规范子单元具体用于根据以下公式确定第一规范值sim1：

其中，di表示关键点i之间的距离，n表示关键点个数，r为设定半径。

在一些可能的实施方式中，所述位置信息还包括所述目标对象的位置区域信息，所述确定单元还包括：

第二规范子单元，用于基于转换后所述目标对象的位置区域信息和从所述第一车内图像中提取的位置区域信息，确定第二规范值，所述第二规范值用于表征转换后所述目标对象的位置区域与从所述第一车内图像中提取的位置区域之间的重合程度；

所述判断子单元，还用于根据所述第一规范值和所述第二规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一些可能的实施方式中，所述第二规范子单元具体用于根据以下公式确定第二规范值sim2：

其中，a表示转换后所述目标对象的位置区域，areaa表示转换后所述目标对象的位置区域的面积，b表示所述第一车内图像中所述目标对象的位置区域，areab表示所述第一车内图像中所述目标对象的位置区域的面积。

在一些可能的实施方式中，所述判断子单元具体用于：

在所述第一规范值和所述第二规范值的平均值大于预设值时，确定所述第一摄像头的实际图像采集范围未超出允许的图像采集范围。

在一些可能的实施方式中，还包括：

检测单元，用于检测车辆的运动速度；

所述图像获取单元，还用于在检测到的运动速度大于设定速度时，获取所述第一摄像头采集的所述第一车内图像和所述第二摄像头采集的所述第二车内图像。

在一些可能的实施方式中，还包括遮挡判断单元，用于：

基于所述第一车内图像的位置信息获取结果，确定所述第一摄像头是否被遮挡；和/或

基于所述第二车内图像的位置信息获取结果，确定所述第二摄像头是否被遮挡。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述摄像头的使用控制方法。

第四方面，本申请实施例提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述摄像头的使用控制方法。

本申请实施例中，第一摄像头的朝向固定且在该朝向上的图像采集范围可调节，第二摄像头的朝向和图像采集范围均固定，获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像，分别从第一车内图像和第二车内图像中获取指定区域内目标对象的位置信息，基于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，对从第二车内图像中获取的位置信息进行转换处理，基于转换后的位置信息和从第一车内图像中获取的位置信息，确定第一摄像头的实际图像采集范围是否超出允许的图像采集范围，其中，允许的图像采集范围根据指定图像采集范围预先确定。这样，借助于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，判断第一摄像头的实际图像采集范围是否超出允许的图像采集范围，即判断用户对第一摄像头的使用是否合规，可有效发现用户将第一摄像头调整到采集不到有效区域的情况，有助于规范用户对第一摄像头的使用。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种摄像头的使用控制方法的场景示意图；

图2为本申请实施例提供的一种摄像头的使用控制方法的流程图；

图3为本申请实施例提供的又一种摄像头的使用控制方法的流程图；

图4为本申请实施例提供的一种确定第一规范值的流程图；

图5为本申请实施例提供的又一种摄像头的使用控制方法的流程图；

图6为本申请实施例提供的一种摄像头的使用控制的流程示意图；

图7为本申请实施例提供的一种确定单应性矩阵h的过程示意图；

图8为本申请实施例提供的一种判决用户对dms摄像头的使用是否合规的过程示意图；

图9为本申请实施例提供的一种摄像头的使用控制装置的结构示意图；

图10为本申请实施例提供的一种用于实现摄像头的使用控制方法的电子设备的硬件结构示意图。

具体实施方式

为了解决相关技术中难以检测用户对摄像头的使用是否规范的问题，本申请实施例提供了一种摄像头的使用控制方法、装置、电子设备及存储介质。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1为本申请实施例提供的一种摄像头的使用控制方法的场景示意图，包括安装在车辆上的第一摄像头和第二摄像头，第一摄像头的朝向固定且在对应朝向上的图像采集范围可调节，第二摄像头的朝向和图像采集范围均固定，其中，第一摄像头可以是dms(drivermonitorsystem)摄像头，用于实时采集驾驶位区域的车内图像以对用户的驾驶行为进行监控，第二摄像头可以是数字视频录像机(digitalvideorecorder，dvr)摄像头，用于实时采集驾驶位区域和周边区域的车内图像以对车内情况进行监控。也就是说，第一摄像头和第二摄像头的图像采集范围都会覆盖驾驶位区域。

图2为本申请实施例提供的一种摄像头的使用控制方法的流程图，包括以下步骤。

在步骤s201中，获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像。

其中，第一摄像头的朝向固定且在朝向上的图像采集范围可调节，第二摄像头的朝向和图像采集范围均固定。

具体实施时，第一车内图像和第二车内图像之间的图像采集时间差越小，判断第一摄像头的实际图像采集范围(即第一摄像头在采集第一图像时的图像采集范围)是否超出允许的图像采集范围的准确性越高，即对第一摄像头的使用合规判断越准确，所以可要求第一车内图像和第二车内图像之间的图像采集时间差小于预设时间差，以保证合规判断的准确性。

在步骤s202中，分别从第一车内图像和第二车内图像中获取指定区域内目标对象的位置信息。

其中，指定区域内目标对象的位置信息如驾驶位区域内人脸的位置信息。

具体实施时，对第一车内图像和第二车内图像中的每个图像可执行：在图像中查找驾驶位区域，对查找到的驾驶位区域进行人脸检测，再基于检测到的人脸区域进行人脸关键点检测，从而得到图像中人脸关键点的位置信息。

在步骤s203中，基于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，对从第二车内图像中获取的位置信息进行转换处理。

实际应用中，第一摄像头主要用于采集驾驶位区域的车内图像，而不同用户的身高、体型等体型特征差异较大，为了能够使第一摄像头适用于不同体型特征的用户，网约车运营方可限定dms摄像头的朝向而允许用户调整dms摄像头在朝向上的图像采集范围。

考虑到大多数用户的体型特征会有共通性，比如大部分用户的身高在175厘米左右，体型多为中等身材等，可以基于这些共通的体型特征确定出第一摄像头的指定图像采集范围，然后，确定第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，其中，位置转换关系是指当利用第一摄像头和第二摄像头对同一对象进行图像采集时，将第二摄像头采集的该对象的图像转换到第一摄像头采集的该对象的图像时的坐标转换关系。

比如，可获取第一摄像头在指定图像采集范围进行图像采集时得到的图像1并获取第二摄像头采集的图像2，对图像1和图像2分别执行：对图像进行灰度化处理，得到灰度图像，在灰度图像中划定驾驶位区域，对划定的驾驶位区域进行驾驶位的特征点提取，其中，特征点可以结合驾驶位的形状和颜色预先确定，之后，利用预设算法如brief算法对每个特征点进行描述，得到一个二进制的特征描述向量。

进一步地，基于图像1中各特征点的特征描述向量和图像2中各特征点的特征描述向量，对图像1和图像2中的特征点进行匹配，之后，基于图像1中和图像2中匹配特征点的特征描述向量，计算第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系。

具体实施时，基于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，对从第二车内图像中获取的位置信息进行转换处理，即是将第二图像中目标对象的位置信息转换成第一摄像头在指定图像采集范围采集第一图像时目标对象的位置信息，所以后续可基于转换后目标对象的位置信息和从第一车内图像中获取的目标对象的位置信息，判断第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在步骤s204中，基于转换后的位置信息和从第一车内图像中获取的位置信息，确定第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

其中，允许的图像采集范围可根据指定图像采集范围预先确定，比如将指定图像采集范围整体扩大预设倍数如1.2倍作为允许的图像采集范围，再比如将指定图像采集范围在垂直方向上拉伸预设倍数如1.2倍作为允许的图像采集范围。

基于上述分析可知，转换后的位置信息表示的是第一摄像头在指定图像采集范围采集第一图像时目标对象应在的位置信息，而从第一车内图像中获取的位置信息表示的是第一摄像头在当前图像采集范围采集第一图像时目标对象的位置信息，所以将转换后的位置信息和从第一车内图像中获取的位置信息进行比较，可确定出第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

本申请实施例中，借助于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，判断用户对第一摄像头的使用是否合规，可有效发现用户将第一摄像头调整到采集不到有效区域的情况，有助于规范用户对第一摄像头的使用。

图3为本申请实施例提供的一又种摄像头的使用控制方法的流程图，包括以下步骤。

在步骤s301中，获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像。

在步骤s302中，分别从第一车内图像和第二车内图像中获取指定区域内目标对象的位置信息，其中，位置信息至少包括目标对象的关键点的位置信息。

在步骤s303中，基于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，对从第二车内图像中获取的目标对象的位置信息进行转换处理。

在步骤s304中，基于转换后目标对象的关键点的位置信息和从第一车内图像中提取的目标对象的关键点的位置信息，确定第一规范值。

其中，第一规范值用于表征转换后目标对象的关键点与从第一车内图像中提取的目标对象的关键点之间的重合程度。

具体实施时，可以根据图4所示的流程确定第一规范值，该流程包括以下步骤：

在步骤s401a中，基于转换后目标对象的每个关键点的位置信息和从第一车内图像中提取的对应关键点的位置信息，确定关键点之间的距离。

假设转换后目标对象的第i个关键点的位置信息为(hbxi，hbyi)，从第一车内图像中提取的第i个关键点的位置信息为(cxi，cyi)，则关键点i之间的距离di为：

在步骤s402a中，基于各关键点之间的距离，确定第一规范值。

比如，根据以下公式确定第一规范值sim1：

其中，n表示关键点个数，r为设定半径。

依据上述公式可知，各关键点之间的距离越小，sim1越大，而各关键点之间的距离可表征当前目标对象的关键点与位于指定位置时目标对象的关键点之间的距离差，所以sim1可表征目标对象的关键点之间的重合程度，其中，指定位置位于指定图像采集范围内。

在步骤s305中，根据第一规范值，确定第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

比如，在第一规范值大于设定值时，确定第一摄像头的实际图像采集范围未超出允许的图像采集范围，在第一规范值不大于设定值时，确定第一摄像头的实际图像采集范围超出允许的图像采集范围。

本申请实施例中，借助于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，确定目标对象的关键点之间的重合程度，基于目标对象的关键点之间的重合程度，判断用户对第一摄像头的使用是否合规，可有效发现用户将第一摄像头调整到采集不到有效区域的情况，有助于规范用户对第一摄像头的使用。

图5为本申请实施例提供的一又种摄像头的使用控制方法的流程图，包括以下步骤。

在步骤s501中，获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像。

在步骤s502中，分别从第一车内图像和第二车内图像中获取指定区域内目标对象的位置信息，其中，位置信息包括目标对象的关键点的位置信息和目标对象的位置区域信息。

在步骤s503中，基于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，对从第二车内图像中获取的目标对象的位置信息进行转换处理。

在步骤s504中，基于转换后目标对象的关键点的位置信息和从第一车内图像中提取的目标对象的关键点的位置信息，确定第一规范值。

其中，第一规范值用于表征转换后目标对象的关键点与从第一车内图像中提取的目标对象的关键点之间的重合程度。

在步骤s505中，基于转换后目标对象的位置区域信息和从第一车内图像中提取的目标对象的位置区域信息，确定第二规范值。

其中，第二规范值用于表征转换后目标对象的位置区域与从第一车内图像中提取的目标对象的位置区域之间的重合程度。

比如，根据以下公式确定第二规范值sim2：

其中，a表示转换后目标对象的位置区域，areaa表示转换后目标对象的位置区域的面积，b表示第一车内图像中目标对象的位置区域，areab表示第一车内图像中目标对象的位置区域的面积。

依据上述公式可知，当第一车内图像中目标对象的位置区域的面积与转换后目标对象的位置区域的面积重叠越多时，sim2的取值越大，而重叠越多目标对象落入允许的图像采集范围的可能性也越大，所以sim2可用于表征目标对象的位置区域之间的重合程度。

在步骤s506中，根据第一规范值和第二规范值，确定第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

比如，在第一规范值和第二规范值的平均值大于预设值时，确定第一摄像头的实际图像采集范围未超出允许的图像采集范围；在第一规范值和第二规范值的平均值不大于预设值时，确定第一摄像头的实际图像采集范围超出允许的图像采集范围。

本申请实施例中，借助于第一摄像头在指定图像采集范围进行图像采集时第二摄像头和第一摄像头所采集的相同对象的图像之间的位置转换关系，确定目标对象的关键点之间的重合程度和目标对象的位置区域之间的重合程度，基于这两个重合程度，判断用户对第一摄像头的使用是否合规，可有效发现用户将第一摄像头调整到采集不到有效区域的情况，有助于规范用户对第一摄像头的使用。

此外，发明人发现，在车辆的运动速度达到30km/h后，用户的坐姿比较标准，此时判断用户是否合规使用第一摄像头的准确性更高。所以在上述任一实施例中，可以先检测车辆的运动速度，在检测到的运动速度大于设定速度如30km/h时，再获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像，以提升合规判断的准确性。

另外，实际应用中，第一摄像头和第二摄像头都可能出现被遮挡的情况，所以可借助于第一车内图像的位置信息获取结果确定第一摄像头是否被遮挡，也可借助于第二车内图像的位置信息获取结果确定第二摄像头是否被遮挡。

比如，在车辆运行过程中，针对第一摄像头，若从第一车内图像中未获取到目标对象的位置信息，则确定第一摄像头被遮挡，若从第一车内图像中获取到目标对象的位置信息，则可利用目标对象的位置信息计算第一摄像头被遮挡的概率，在计算的概率超过设定概率时，判断第一摄像头被遮挡，在计算的概率未超过设定概率时，判断第一摄像头未被遮挡。对第二摄像头的遮挡判断类似，在此不再赘述。

另外，具体实施时，在确定第一摄像头或第二摄像头被遮挡时，可上报对应摄像头被遮挡事件，在确定第一摄像头的实际图像采集范围超出允许的图像采集范围时，可上报第一摄像头的使用不合规事件，以使相关人员采取相应处理措施，从而提升网约车运营效果。

下面结合具体实施例对本申请的技术方案进行说明。

图6为本申请实施例提供的一种摄像头的使用控制的流程示意图，包括预标定模块、dvr遮挡检测模块和dms合规检测模块。下面结合图6分别对各模块进行介绍。

第一、预标定模块

主要用于标定同一对象在dvr摄像头采集到的图像和dms摄像头采集到的图像之间的位置转换关系，该位置转换关系可表现为映射矩阵，后续称该映射矩阵为单应性矩阵h。实际应用中，当dvr摄像头和dms摄像头均安装到指定位置后，单应性矩阵h即可确定。

参见图7，确定单应性矩阵h的过程包括：

第一步，获取dvr采集的图像1和dms采集的图像2，分别对图像1和图像2进行灰度化处理；

第二步，在灰度化后的图像1中划定驾驶位区域roi1，在灰度化后的图像2中划定驾驶位区域roi2；

第三步，对roi1和roi2分别进行驾驶位的特征点提取。

具体实施时，可采用如下公式分别对roi1与roi2进行处理：

ifeat＝igrad*iseg；

其中，ix和iy分别为水平和垂直方向上的梯度；th1和th2为预先确定的灰度阈值；mean为图像的灰度均值；igrad为梯度强度，其在强度小于一定阈值时不予保留；iseg为分割区域；ifeat为综合梯度与分割特性后的特征点集合。

然后，从roi1对应的ifeat图像中挑选灰度值为255的像素点，构成特征点集合feat1，从roi2对应的ifeat图像中挑选灰度值为255的像素点，构成特征点集合feat2。

第四步，采用brief算法计算feat1中各特征点的特征描述子，得到特征描述子集合feat_det1，采用brief算法计算feat2中各特征点的特征描述子，得到特征描述子集合feat_det2，然后，基于各特征点的特征描述子，确定feat_det1和feat_det2中匹配的特征点。

第五步，利用feat_det1和feat_det2中匹配的特征点的特征描述子，计算单应性矩阵h。

第二、dvr遮挡检测模块

主要用于检测dvr摄像头是否被遮挡，并在dvr摄像头未被遮挡时，利用dvr摄像头采集的图像和单应性矩阵h判断dms摄像头是否合规。

第一步，预先获取dvr摄像头采集的多张图像，截取每张图像中驾驶位区域的图像并进行标注，其中，标注信息包含用户的人体位置信息、人脸位置信息和人脸特征点信息如左右眼、鼻尖、左右嘴角共五个特征点的坐标位置；

第二步，以各张图像为输入、各张图像的标注信息为输出，利用深度学习框架如retinaface训练检测模型b_det_model；

第三步，网约车运营状态下，在车速>＝30km/h时，实时获取dvr摄像头采集的车内图像，利用b_det_model对dvr摄像头采集的车内图像进行检测，当b_det_model能够输出人体、人脸、人脸关键点这三种信息时，确定当前dvr摄像头未遮挡，否则，确定当前dvr摄像头被遮挡，进而可上报dvr摄像头遮挡事件。

第三、dms合规检测模块

主要用于利用预标定模块得到的单应性矩阵h、dvr遮挡检测模块得到的人脸和人脸关键点的位置信息，判决用户对dms摄像头的使用是否合规。参见图8，包括以下步骤：

第一步，预先获取在车速大于30km/h时dms摄像头采集的车内图像，截取每张图像中驾驶位区域的图像并进行标注，其中，标注信息包含人脸位置信息和人脸特征点信息如人左右眼、鼻尖、左右嘴角共五个特征点的坐标位置；

这里，未标注人体是因为一般dms摄像头观测到的人体不全。

第二步，以各张图像为输入、各张图像的标注信息为输出，利用深度学习框架如retinaface训练检测模型c_det_model。

第三步，在网约车运行过程中，在车速大于30km/h时获取dms摄像头采集的车内图像，利用c_det_model对获取的车内图像进行检测，得到用户的人脸位置坐标信息(cx1,cy1)、(cx2,cy2)，以及5个人脸关键点的位置信息(cxi,cyi)，其中，i取值为1，2时表示人脸在整个图像中的位置，可通过2个坐标(比如人脸对角线两端的坐标)表示，i取值为3，4，5，6，7，依次代表左眼、右眼、鼻尖、左嘴角、右嘴角的坐标。并且，可从dvr遮挡检测模块获取人脸位置信息和人脸关键点的位置信息，采用单应性矩阵h对人脸位置信息和人脸关键点的位置信息进行变换，得到(hbxi，hbyi)，i取值从1至7。

第四步，偏移度检测模块用于评估当前dms摄像头与指定位置之间的贴合度，具体可从以下两方面评估贴合度：

第一方面：人脸位置信息

a＝(hbx1,hby1,hbx2,hby2),

b＝(cx1,cy1,cx2,cy2),

其中，各参数的意义同前，在此不再赘述。

第二方面：人脸关键点

其中，各参数的意义同前，在此不再赘述。

进一步地，综合sim1和sim2即可完成偏移度计算，比如，当sim＝(sim1+sim2)/2值大于预设阈值th3时，确定当前dms摄像头的使用合规，否则，确定当前dms摄像头的使用不合规，上报dms不合规事件。

本申请实施例中，不但可判断dvr和dms摄像头是否被遮挡，而且，在dvr摄像头未被遮挡的情况下，可借助于dvr摄像头采集的图像判断用户对dms摄像头的使用是否合规，这样，有利于网约车运营方的运营管理，也有利于规范用户对网约车的使用。

当本申请实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。

图9为本申请实施例提供的一种摄像头的使用控制装置的结构示意图，包括图像获取单元901、位置获取单元902、转换单元903、确定单元904。

图像获取单元901，用于获取第一摄像头采集的第一车内图像和第二摄像头采集的第二车内图像，其中，所述第一摄像头的朝向固定且在所述朝向上的图像采集范围可调节，所述第二摄像头的朝向和图像采集范围均固定；

位置获取单元902，用于分别从所述第一车内图像和所述第二车内图像中获取指定区域内目标对象的位置信息；

转换单元903，用于基于所述第一摄像头在指定图像采集范围进行图像采集时所述第二摄像头和所述第一摄像头所采集的相同对象的图像之间的位置转换关系，对从所述第二车内图像中获取的位置信息进行转换处理；

确定单元904，用于基于转换后的位置信息和从所述第一车内图像中获取的位置信息，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围，所述允许的图像采集范围根据所述指定图像采集范围预先确定。

在一种可能的实施方式中，所述位置信息至少包括所述目标对象的关键点的位置信息，所述确定单元904具体包括：

第一规范子单元9041，用于基于转换后所述目标对象的关键点的位置信息和从所述第一车内图像中提取的关键点的位置信息，确定第一规范值，所述第一规范值用于表征转换后所述目标对象的关键点与从所述第一车内图像中提取的关键点之间的重合程度；

判断子单元9042，用于根据所述第一规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一种可能的实施方式中，所述第一规范子单元9041具体用于：

基于转换后所述目标对象的每个关键点的位置信息和从所述第一车内图像中提取的对应关键点的位置信息，确定关键点之间的距离；

基于各关键点之间的距离，确定第一规范值。

在一种可能的实施方式中，所述第一规范子单元9041具体用于根据以下公式确定第一规范值sim1：：

其中，di表示关键点i之间的距离，n表示关键点个数，r为设定半径。

在一种可能的实施方式中，所述位置信息还包括所述目标对象的位置区域信息，所述确定单元904还包括：

第二规范子单元9043，用于基于转换后所述目标对象的位置区域信息和从所述第一车内图像中提取的位置区域信息，确定第二规范值，所述第二规范值用于表征转换后所述目标对象的位置区域与从所述第一车内图像中提取的位置区域之间的重合程度；

所述判断子单元9042，还用于根据所述第一规范值和所述第二规范值，确定所述第一摄像头的实际图像采集范围是否超出允许的图像采集范围。

在一种可能的实施方式中，所述第二规范子单元9043具体用于根据以下公式确定第二规范值sim2：

其中，a表示转换后所述目标对象的位置区域，areaa表示转换后所述目标对象的位置区域的面积，b表示所述第一车内图像中所述目标对象的位置区域，areab表示所述第一车内图像中所述目标对象的位置区域的面积。

在一种可能的实施方式中，所述判断子单元9042具体用于：

在所述第一规范值和所述第二规范值的平均值大于预设值时，确定所述第一摄像头的实际图像采集范围未超出允许的图像采集范围。

在一种可能的实施方式中，还包括：

检测单元905，用于检测车辆的运动速度；

所述图像获取单元901，还用于在检测到的运动速度大于设定速度时，获取所述第一摄像头采集的所述第一车内图像和所述第二摄像头采集的所述第二车内图像。

在一种可能的实施方式中，还包括遮挡判断单元906，用于：

基于所述第一车内图像的位置信息获取结果，确定所述第一摄像头是否被遮挡；和/或

基于所述第二车内图像的位置信息获取结果，确定所述第二摄像头是否被遮挡。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图10为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括收发器1001以及处理器1002等物理器件，其中，处理器1002可以是一个中央处理单元(centralprocessingunit，cpu)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1001用于电子设备和其他设备进行数据收发。

该电子设备还可以包括存储器1003用于存储处理器1002执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1003可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储器1003也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)、或者存储器1003是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1003可以是上述存储器的组合。

本申请实施例中不限定上述处理器1002、存储器1003以及收发器1001之间的具体连接介质。本申请实施例在图10中仅以存储器1003、处理器1002以及收发器1001之间通过总线1004连接为例进行说明，总线在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器1002可以是专用硬件或运行软件的处理器，当处理器1002可以运行软件时，处理器1002读取存储器1003存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的摄像头的使用控制方法。

本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行前述实施例中涉及的摄像头的使用控制方法。

在一些可能的实施方式中，本申请提供的摄像头的使用控制方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的摄像头的使用控制方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(erasableprogrammableread-onlymemory，eprom)、闪存、光纤、光盘只读存储器(compactdiskreadonlymemory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于摄像头的使用控制的程序产品可以采用cd-rom并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。