磁力模型的感兴趣行人判定方法与流程

本发明属于运动目标跟踪处理领域，具体的说是利用磁力模型对道路行人潜在的危险程度进行区分的分类方法。

背景技术

运动目标跟踪处理技术是机器视觉领域中一个重要的研究课题，而随着自主汽车和辅助驾驶系统的应用，如何合理的运用目标跟踪处理技术来保护行人和车辆的安全也是现在的一个热门研究方向。

目前，在只使用车载摄像头的情况下，通过分析行人的历史移动轨迹和移动速度等信息来对行人进行分类是利用目标跟踪处理技术实现保护行人和车辆安全的一个主要途径。首先分析行人的移动轨迹和移动速度来计算行人会与车辆发生碰撞的概率，再利用该碰撞概率以及建立相应的分类规则将行人划分为不同的类型。现有的目标跟踪处理技术中的道路行人分类方法大多是计算行人会与车辆发生直接碰撞的概率，或者只对具备特定特征的特殊行人进行检测。

专利申请号为cn201610048194.1，名称为“基于组合特征与车载摄像头的盲人检测与识别方法与系统”先利用hog特征对行人进行检测，然后在行人检测结果附近使用导盲犬、盲杖和盲镜三个分类特征来检测是否存在盲人。

专利申请号为cn201610048233.8，名称为“基于衣帽特征于姿态检测的交警检测方法和系统”将道路中交警的警帽和荧光马甲作为分类特征来判断行人检测结果中是否存在交警。通过对特定目标的特定特征进行检测虽然可以很好的对该目标进行识别，但由于只能检测特定目标而导致这种做法存在很大的局限性。

在文章《analysisofpedestriancollisionriskusingfuzzyinferencemodel》中,hariyono等人对行人和车辆的移动速度和移动方向以及人车之间的相对距离进行分析，计算行人与车辆的碰撞概率，通过碰撞概率的大小对行人进行分类。但是为了准确采集行人的速度和位置信息，该方法使用了一个架设在路边的摄像头从侧面对车前路况进行拍摄，导致该方法受环境影响较大。

文章《estimationofcollisionriskforimprovingdriver’ssafety》中hariyono等人在车前建立了一块危险区域，将会进入该危险区域的行人判定为危险行人从而对行人进行分类。但是道路上存在很多突发状况可能导致行人会由普通行人瞬间变为危险行人。例如一个手持手机的行人在通过马路时突然发生减速，导致本来处于安全状态的行人突然变成会与车辆相撞的行人。

本发明所使用的道路行人分类方法是建立一种磁力模型，通过分析行人之间的物理逻辑关系以达到对行人潜在危险性的判断，而不是估计行人与车辆发生直接碰撞的危险性。通过建立新的道路行人分类规则将那些潜在危险性较高的行人作为主要分析对象，从而丰富现有的道路行人分类方法的分类结果，更好的保护车辆与行人的安全。

技术实现要素：

为了解决对于行人的分类问题，本发明提出如下方案：一种磁力模型的感兴趣行人判定方法，使用车载摄像头对行人拍摄，并对行人的移动速度、移动方向、距摄像头的距离和行人间的相对位置测量，将上述测量信息进行相应的磁力模型分析，计算出行人与磁力模型所设定的分类条件的符合程度，将行人分为普通行人和磁力行人。

有益效果：由上述方案，本发明实现了对行人分类的效果，该种分类更为符合道路实际情况。

附图说明

图1是基于磁力模型的道路行人分类方法逻辑图；

图2是斥力行人的分类结果示意图；

图3是吸力行人的分类结果示意图；

图4是无磁力行人的分类结果示意图；

图5是多种磁力行人的分类结果示意图；

具体实施方式

接下来结合附图和具体分类过程来对本发明做进一步的描述：

一种磁力模型的感兴趣行人判定方法，它的逻辑框图如图1所示，该方法的具体实施步骤如下：

第1步：输入行人的移动速度v，在图像中行人之间的相对距离s，和行人与摄像头之间的相对距离z；

第2步：计算图像中每个行人的磁力概率pmm；

第3步：根据pmm和三种磁力概率的优先级对行人进行分类，输出分类结果。

为了对上述方案进行更为详细的说明，区别现有的对行人和车辆的直接碰撞概率计算，本发明提出上述方案的更为完整的说明，即本发明通过建立一种磁力模型，对行人的潜在危险性进行估计，是一种基于磁力模型的道路行人分类方法，该方法可以由软件实现，并涉及该执行该软件的系统，该系统，存储有多条指令，所述指令适于由处理器加载并执行所述的方法或算法。

本发明在只利用车载摄像头的情况下，若已知行人的移动速度、移动方向、距摄像头距离和行人间的相对位置等信息，就可结合磁力模型进行分析，计算行人与磁力模型所设定的分类条件的符合程度，将行人分为普通行人和磁力行人，该分类结果可以进一步丰富现有的目标跟踪处理技术所得到的道路行人信息，为自主汽车以及辅助驾驶系统提供更充分的路况参考信息。

由以下技术方案实现上述目标。

第一步，输入行人的移动速度v，在图像中行人之间的相对距离s，和行人与摄像头之间的相对距离z。

第二步，建立磁力模型。磁力模型分为斥力模型、吸力模型和无磁力模型三个子模型，这三种子模型之间相互独立、互不影响，且分别对应一种磁力概率：pr(斥力概率)，ps(吸力概率)，pm(无磁力概率)。三种磁力概率的合集即是行人总的磁力概率pmm，且

pmm＝{pr,ps,pm}(1)

设磁力概率δ＝0.7，δ可以为常系数。当某一个行人的pr、ps或pm中任意一个磁力概率超过δ时(对于无磁力概率pm，也即pm＝1的情形)，该行人就会被判定为磁力行人。本发明中的磁力模型设定行人从图像左侧向右侧移动为正向，从右侧向左侧移动为负向。对于δ的取值，以斥力行人为例，当两个相向而行且行进路线会发生碰撞的行人相距比较近时，这两个行人才会被判定为斥力行人，本申请根据人体社交空间距离中的一般距离(与他人360cm以上)作为判定依据，换算成概率阈值约为0.7，同理，当两个同向而行且距离较近，也可以根据人体社交空间距离中的一般距离(与他人360cm以上)作为判定依据，换算成概率阈值也约为0.7。由此，行人相距比较近时以此作为磁力行人的概率判定阈值，当然的，对于社交空间距离可以在方案实施中以当前的方案为参照，适应性的调整所述一般距离，从而适应性的修改，或者可以自行设定概率阈值。

(1)斥力模型定义：在若干个行进路线发生碰撞的相向而行的行人中，行人在相遇时移动速度会减缓甚至停止，直到相遇结束后恢复原有速度，其移动方向相反的特点类似于磁力同性相斥效应，这种情况称为斥力模型。

斥力模型中的行人数至少为两人，凡是行进路线碰撞的相向而行的行人都会构成斥力模型。斥力模型的判定以相向而行的行人之间的距离和行人与车之间的距离作为主要依据：首先比较两个相向而行的行人分别与车之间的距离来判断两个行人的行进路线是否会发生碰撞；若相向而行的行人的行进路线发生碰撞，再比较两个相向而行的行人之间的距离来判断两个行人是否即将相撞。式(2)为斥力概率计算公式，

式中pri为行人i的斥力概率。sij为行人i和j之间的距离。dij为行人i和j分别与摄像头距离的差值且dij＝|zi-zj|，其中zi为行人i与摄像头之间的距离，zj为行人j与摄像头之间的距离。m和n为常系数，且m,n∈(0,1)。vi和vj分别为行人i和j的移动速度，vivj＜0表示行人i和j为相向而行。斥力概率只存在于相向而行的行人之间，相向行人在互相接近时，斥力概率会逐渐增大；相向行人相互错开后，斥力概率会逐渐减小。公式(2)中，m和n为常系数，且m,n∈(0,1)，在本发明的一种实施例中m取值为0.4，n取值为0.4。

针对道路上的行人相遇情况，行人i和j以1.5m/s的速度在一幅640*480的图像中进行移动，其中行人i的位置为(30，90)且保持正向移动，行人j的位置为(600，100)且保持负向移动。当行人i和j在不断接近的过程中，斥力概率pr会逐渐增大，当两者接近到一定距离时他们的斥力概率会超过δ从而被判定为磁力行人。

在道路上，行人相遇情况很常见，同时由于行人状况的不同可能会出现行人碰撞进而发生事故的可能，比如相遇的行人中存在手持手机的行人或者匆忙赶路的行人，前者由于注意力分散而容易与他人碰撞，后者由于较快的移动速度同样容易与他人碰撞。因此通过斥力模型区分行人中的相遇行人。

(2)吸力模型定义：在若干个同向而行的行人中，有两个或两个以上行人保持重叠或邻近状态行走，其移动速度的方向和大小均相近的特点类似于磁力异性相吸效应，这种情况称为吸力模型。

吸力模型中的行人数至少为两人，凡是保持重叠或邻近距离行走的同向行人都会构成吸力模型。行人是否为结伴行走是判定吸力模型的主要依据，通过比较同向行人之间的距离以及行人与车之间的距离来判断行人是否是结伴行走。式(3)为吸力概率计算公式，

式中为行人i的吸力概率，sij为行人i和j之间的距离，dij为行人i和j与摄像头距离的差值且dij＝|zi-zj|，其中zi为行人i与摄像头之间的距离，zj为行人j与摄像头之间的距离。vi和vj分别为行人i和j的移动速度，vivj＞0表示行人i和j为同向而行。kij为吸力参数，且kij＝-[min(t|vi|,t|vj|)/sij]，其中t为所经过时间，min(t|vi|,t|vj|)表示行人i和j经过时间t后较小的位移值。同向而行的行人之间保持较近且固定的相对距离的时间越长，行人的吸力概率越大。公式(3)中，m、n和l为常系数，且m,n,l∈(0,1)，在本发明的一种实施例中m取值为0.4，n为0.4，l取值为0.2。

针对道路上的行人结伴情况，行人i和j以1.5m/s的速度在一幅640*480的图像中进行移动，其中行人i的位置为(30，90)，行人j的位置为(45，100)，且他们都保持正向移动移动。当行人i和j在前进的过程中且二者的相对距离没有发生较大变化时，他们的吸力概率ps会逐渐增大。当二者前进一定距离时他们的吸力概率会超过δ从而被判定为磁力行人。

在道路上，行人结伴行走的情况很常见，而结伴行走会相互遮挡视线从而削弱了行人的注意力、提高了行人的危险性。同时在街道上老人和小孩往往是与人结伴行走的，其中小孩的非常容易引发马路上的交通事故，而老人则是需要受到照顾和礼让的人群之一。因此通过吸力模型区分行人中的结伴行人。

(3)无磁力模型定义：在若干个行人中，某一个行人的移动速度明显不同于其他行人但不一定满足斥力模型或吸力模型，其不一定符合斥力或吸力的情况类似于无磁力效应，这种情况称为无磁力模型。

无磁力模型中至少存在三个行人，当其中一个行人的速度高于或低于其他至少两个行人时都会构成无磁力模型。无磁力模型的判定以行人的移动速度值为主要依据。式(4)为无磁力概率计算公式，

式中为行人i的无磁力概率。vi、vj和vh分别为行人i、j和h的移动速度。只有当行人i的速度高于或低于其他至少两个行人，且这三个行人的速度满足式

(vi²-vj²)+(vi²-vh²)＞ε²(5)

才会等于1，否则为0。ε为常系数且ε＝1.5。

针对道路上的特殊群体行人，他们的移动速度一般较慢，在一幅640*480的图像中，行人i以0.5m/s的速度进行移动，行人j和h以1.5m/s的速度进行移动。其中行人i的位置为(30，90)，行人j的位置为(170，240)，行人h的位置为(310，420)，且他们都保持正向移动。当这三个行人的速度保持不变时，行人i的无磁力概率pm会超过所设超过所设δ从而被判定为磁力行人。针对道路上的移动速度较快的行人，在一幅640*480的图像中，行人i以2m/s的速度进行移动，行人j和h以1.5m/s的速度进行移动。其中行人i的位置为(310，420)，行人j的位置为(170，240)，行人h的位置为(30，90)，且他们都保持正向移动。当这三个行人的速度保持不变时，行人i的无磁力概率pm会超过δ从而被判定为磁力行人。

在道路上，特殊群体和赶路的行人也比较常见，其中特殊群体是需要收到关注和照顾的行人之一，他们往往移动速度较慢，而移动速度较快的行人因为其较快的移动速度而导致引发交通事故的概率远大于正常行走的行人。因此通过无磁力模型对这两种行人进行区分。

同一个行人的磁力概率可能会由于和不同的行人进行计算而出现差别，此时按照较大的磁力概率为准。

第三步，对行人进行具体分类。经过磁力模型的计算后，每个行人都会拥有各自的磁力概率，根据磁力概率的不同，将行人分为四类：普通行人、斥力行人、吸力行人和无磁力行人，其中斥力行人、吸力行人和无磁力行人为磁力行人的三个种类。设定①当pr超过δ时行人为斥力行人；②当ps超过δ时行人为吸力行人；③当pm超过δ时行人为无磁力行人；④三种磁力概率中pm的优先级最高，ps的优先级居中，pr的优先级最低。已知行人i的磁力概率为当没有磁力概率超过δ时，行人i为普通行人；当只有一种磁力概率超过δ时，行人i根据以上设定被判定为相应种类的磁力行人；当有两种或者三种磁力概率超过δ时，行人i根据磁力概率的优先级被判定为优先级较高的磁力行人。

通过上述技术方案，本发明提供的基于磁力模型的道路行人分类方法具有的有益效果是：

现行的道路行人分类方法主要针对行人与车辆之间的直接碰撞概率进行分析和计算，忽略了实际道路的复杂性和多变性，不能够很好地解析道路状况，受环境影响较大。本发明采用磁力模型的方式对道路行人进行分类，考虑了三种较为常见的、易发生危险的行人情况，对行人的部分潜在危险性进行分析，以及实现对道路中部分特殊群体的关注。本发明通过分析常见的路况环境，找出容易导致突发事故的行人，而这种行人并不一定会与车辆发生碰撞，因此无法通过现有的方法进行分类。与已有的方法相比，本发明的行人分类结果能够进一步丰富现行的道路行人分类方法所得出的行人信息，为自主汽车以及辅助驾驶系统提供更充分的路况信息。先使用已有的道路行人分类方法找出会与车辆发生直接碰撞的行人，再使用本发明的方法找出其他易发生危险的行人，这样自主汽车或者辅助驾驶系统在进行避障及路径规划时可以得到一条更加安全的路径方案。在自主汽车的路径选择中，不同类别的磁力行人有着不同的基础路径选择。斥力行人和吸力行人只有位于车辆行驶路径上时才会影响车辆的路径选择，对于斥力行人，车辆会优先选择当斥力行人相互交错而过后从行人之间通过；对于吸力行人，车辆会优先选择从吸力行人移动方向的反方向通过。而当车前出现无磁力行人时，不论该行人是否位于车辆的行驶路线上，车辆都会优先选择停止行车，等待无磁力行人离开车前视角后再继续行驶。因为无磁力行人有移动速度很快或很慢这两种状态，对于移速慢的行人，该行人可能为特殊人群，需要被礼让；对于移速快的行人，即使当前时刻该行人不在车辆的行驶路线上，他也有可能在之后的某一时刻移动到车前附近进而与车辆发生碰撞，所以当无磁力行人出现时，车辆会选择停止。以上为存在单独磁力行人时车辆的路径选择问题，当出现复数的磁力行人且这些磁力行人的基础路径相互冲突时，车辆会选择停止行进，否则按基础路径选择行驶。例如，车前存在无磁力行人和斥力行人，此时车辆会选择停车；车前存在斥力行人和吸力行人，吸力行人从车前视角的右侧向左侧行走，且吸力行人在斥力行人的右侧，两者的路径选择冲突，此时车辆会选择停车。以上为磁力行人对车辆路径选择的影响，当会与车辆碰撞的危险行人和磁力行人同时出现时，车辆会先考虑能够避让危险行人的路线，然后判断该路线是否符合磁力行人的路径选择，若不符合则停止行进。以车前视角的正中存在危险行人为例，且该行人向车前视角的右侧行走。为了避让该行人，车辆可以选择从该行人的左侧通过，若此时车前右侧存在斥力行人，对车辆的路径选择没有影响，因为该斥力行人不在行驶路线上，若斥力行人在车前左侧，车辆会选择等待斥力行人错开后从他们之间通过；若车前右侧存在吸力行人，不论他的移动方向如何，都对车辆的路径选择没有影响，若吸力行人在车前左侧且向车前视角的右侧行走，车辆会选择从该吸力行人的左侧行驶，若吸力行人在车前左侧且向车前视角的左侧行走，车辆会选择从吸力行人和危险行人之间通过，同时可以想象到，该吸力行人和危险行人在此前的时刻可能符合斥力行人的判定要求，因此该行驶路线也满足斥力行人的基础路径选择；若车前出现无磁力行人，不论该无磁力行人位于车前的左侧或者右侧，车辆都会停止前进。

一种道路行人分类系统，存储有多条指令，所述指令适于由处理器加载并执行：由车载摄像头拍摄道路行人图像，并以图像显示的道路行人之间存在的磁力关系对道路行人分类；其中：所述的磁力关系被行人的移动速度、图像中行人之间的相对距离及行人与摄像头之间的相对距离表征。

所述磁力关系由磁力模型表示，磁力模型包括斥力模型、吸力模型和无磁力模型，计算当前图像显示的磁力关系中各具体模型的概率，判断具体模型的概率超过概率阈值，则以当前模型反映当前图像中的道路行人的磁力关系。

所述的斥力模型，其定义是：相向而行的行人，在若干个行进路线中具有会发生碰撞的路线，行人在相遇时移动速度减缓、甚至停止，直到相遇结束后恢复速度。

当前图像显示的行人的磁力关系为斥力模型的概率由下式计算：

当行人i和j为相向而行并不断接近，斥力概率pr会逐渐增大，直到斥力概率超过δ从而被判定为磁力行人；其中：pri为行人i的斥力概率；sij为行人i和j之间的距离；dij为行人i和j分别与摄像头的距离的差值，且dij＝|zi-zj|，其中zi为行人i与摄像头之间的距离，zj为行人j与摄像头之间的距离；m和n为常系数，且m,n∈(0,1)；vi和vj分别为行人i和j的移动速度，vivj＜0表示行人i和j为相向而行。

所述吸力模型，其定义是：在若干个同向而行的行人中，有两个或两个以上行人保持重叠或邻近状态行走，其移动速度的方向和大小相近。

当前图像显示的行人的磁力关系为吸力模型的概率由下式计算：

当行人i和j持续保持同向重叠或邻近状态行走，吸力概率逐渐增大，直到吸力概率超过δ从而被判定为吸力行人；

其中：为行人i的吸力概率；sij为行人i和j之间的距离；dij为行人i和j与摄像头距离的差值，且dij＝|zi-zj|，其中zi为行人i与摄像头之间的距离，zj为行人j与摄像头之间的距离；vi和vj分别为行人i和j的移动速度，vivj＞0表示行人i和j为同向而行；kij为吸力参数，且kij＝-[min(t|vi|,t|vj|)/sij]，其中t为所经过时间，min(t|vi|,t|vj|)表示行人i和j经过时间t后较小的位移值。

所述无磁力模型，其定义是：在若干个行人中，至少存在三个行人，其中一个行人的速度高于或低于其他至少两个行人。

当前图像显示的某行人的磁力关系为无磁力模型的概率由下式计算：

行人i、j和h三人同向行走，其中一人的速度明显超过或低于其余两人的速度，其余两人的速度相当，且三个行人保持当前速度不变，无磁力概率pm超过δ从而被判定为无磁力行人；其中：为行人i的无磁力概率；vi、vj和vh分别为行人i、j和h的移动速度，行人i的速度明显超过或低于其余两人的速度，且三个行人的速度满足：

(vi²-vj²)+(vi²-vh²)＞ε²

则等于1，否则为0；

ε为常系数。

对行人分类的具体方法是：计算当前图像的某行人的磁力概率：

pmm＝{pr,ps,pm}

当没有模型概率超过概率阈值δ时，行人i为普通行人；当只有一种模型概率超过概率阈值δ时，行人i被判定为相应种类的磁力行人；当有两种以上的模型概率超过概率阈值δ时，行人i根据模型概率的优先级被判定为优先级较高的磁力行人；

设定：当pr超过δ时行人为斥力行人；当ps超过δ时行人为吸力行人；当pm超过δ时行人为无磁力行人；三种磁力概率中pm的优先级最高，ps的优先级居中，pr的优先级最低。

实施例1：

斥力行人分类情况

本实例针对斥力行人的分类情况，仿真结果如图2所示。图2列出了连续视频帧中的三帧图像以及该帧的行人分类结果，其中行人的磁力概率只有斥力概率满足磁力行人的判定要求。在视频中三个行人目标以1.2m/s左右的速度移动，其中两个行人为正向移动，一个行人为负向移动，且都保持直线移动、不改变移动速度。从第8帧至第33帧，行人b和c不断接近。直到第33帧时行人b和c的斥力概率超过δ，被判定为斥力行人。同样的当第72帧时，行人a和c的斥力概率超过δ，被判定为斥力行人，此时行人b和c已结束相遇过程，斥力概率下降，行人b被判定为普通行人。

实施例2：

吸力行人分类情况

本实例针对斥力行人的分类情况，仿真结果如图3所示。图3列出了连续视频帧中的三帧图像以及该帧的行人分类结果，其中行人的磁力概率只有吸力概率满足磁力行人的判定要求。在视频中三个行人目标以1.2m/s左右的速度沿正向移动，且都保持直线移动、不改变移动速度。从第11帧至第39帧，行人b和c保持结伴行走。直到第39帧时行人b和c的吸力概率超过δ，被判定为吸力行人。在之后的第75帧时行人b和c维持吸力行人的判定结果。

实施例3：

无磁力行人分类情况

本实例针对无磁力行人的分类情况，仿真结果如图4所示。图4列出了连续视频帧中的三帧图像以及该帧的行人分类结果，其中行人的磁力概率只有无磁力概率满足磁力行人的判定要求。在视频中三个行人目标以不同的速度沿负向移动，且都保持直线移动、不改变移动速度，其中行人a速度为0.5m/s左右，行人b和c的速度为1.3m/s左右。第9帧时，经计算行人a的无磁力概率为1，被判定为无磁力行人，在之后的第42帧和第103帧行人a都保持无磁力行人的判定结果。

实施例4：

混合磁力行人分类情况

本实例针对混合磁力行人的分类情况，仿真结果如图5所示。图5列出了连续视频帧中的三帧图像以及该帧的行人分类结果，其中行人的磁力概率有斥力概率和无磁力概率满足磁力行人的判定要求。在视频中，行人a以1.19m/s的速度沿正向移动，行人b以1.83m/s的速度沿正向移动，行人c以1.21m/s的速度沿负向移动，三个行人保持直线移动且不改变移动速度。第6帧时，经计算行人b的无磁力概率为1，被判定为无磁力行人。至第54帧，行人b和c的斥力概率超过δ，其中行人b的无磁力概率也超过δ，因此将行人b判定为无磁力行人，将行人c判定为斥力行人。至第109帧时，行人b和行人c早已结束相遇过程，行人b的斥力概率降低并低于δ，但他的无磁力概率没有发生改变因此依然被判定为无磁力行人。而行人c与行人a由于不断接近而导致他们的斥力概率不断增大并超过δ，被判定为斥力行人。