一种车载客流统计方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理及客流统计技术领域，尤其涉及一种车载客流统计方法、装置、电子设备及存储介质。


背景技术：

2.近年来车载监控业务由传统视频监控、保留录像回放查看，逐渐往智能化发展；针对车载场景为方便管理、挖掘客流量数据，智能业务进行加载；例如各个站点上下车人数分析等；在车门顶部安装相机对上下车客流进行统计，根据统计数据，发掘寻找规律，方便合理安排运营和管理。
3.现有技术存在的问题是：1、一般情况下需要在开门状态时进行客流统计，现有技术通过检测开关门信号以获得客流通道的开关门状态，也就是通过驾驶员按下开门按钮，触发开门电信号，然后进行客流检测。但是电信号传输过程中高低电平可能不稳定，容易造成误判。车门状态检测不准确容易造成客流量的统计次数不准确，进而导致车载客流统计准确率低。2、车门区域图像一般质量较差，不利于乘客识别和跟踪，容易造成人数漏统计，同样导致车载客流统计准确率低。


技术实现要素：

4.本技术实施例提供了一种车载客流统计方法、装置、电子设备及存储介质，用以解决现有技术的车载客流统计准确率低的问题。
5.本技术提供了一种车载客流统计方法，所述方法包括：
6.获取车门区域图像，并确定所述车门区域图像中预先指定区域的子图像；
7.对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态；其中，所述目标车门状态为候选车门状态中的车门状态，所述候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，所述预先指定区域对应的车辆表面设置有标志物，不同候选车门状态下所述标志物在所述车门区域图像中的位置不同；
8.响应于所述目标车门状态为车门开启状态，对所述车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。
9.进一步地，所述对所述车门区域图像进行图像增强处理至少包括：
10.确定所述车门区域图像对应的尺寸调整比例，根据所述尺寸调整比例对所述车门区域图像进行尺寸调整；或者
11.对所述车门区域图像进行亮度调整、色度调整和饱和度调整中的至少一种图像处理。
12.进一步地，所述确定所述车门区域图像中预先指定区域的子图像，对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态包括：
13.确定所述车门区域图像中预先指定的至少两个区域的子图像，对各个子图像分别进行标志物识别；其中，在一种候选车门状态下，所述预先指定的至少两个区域对应的车辆
表面均设置有标志物；
14.若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车门状态与设置标志物时的候选车门状态不一致。
15.进一步地，所述对所述子图像进行标志物识别至少包括：
16.将所述子图像输入已训练的标志物识别模型，基于所述标志物识别模型识别所述子图像中是否存在所述标志物；或者
17.提取所述子图像的第一特征信息，将所述第一特征信息与预先保存的所述标志物的第二特征信息进行匹配，若匹配成功，确定所述子图像中存在所述标志物，否则确定所述子图像中不存在所述标志物。
18.进一步地，所述确定所述车门区域图像对应的尺寸调整比例包括：
19.判断所述车门区域图像的上一帧图像是否进行尺寸调整处理；
20.如果是，确定所述上一帧图像的尺寸调整比例，将所述上一帧图像的尺寸调整比例作为所述车门区域图像对应的尺寸调整比例；
21.如果否，确定所述车门区域图像中各个人员的检测框区域，并确定各个检测框区域的画面占比，根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例。
22.进一步地，所述根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例包括：
23.确定所述各个检测框区域的画面占比中，目标部位的检测框区域的最大画面占比；判断所述最大画面占比是否大于预设的所述目标部位对应的占比阈值，如果是，根据所述占比阈值确定所述车门区域图像对应的尺寸调整比例。
24.进一步地，确定所述各个人员的检测框区域的过程包括：
25.将所述车门区域图像输入已训练的对象识别模型，基于所述对象识别模型确定所述车门区域图像中的各个人员，并对所述各个人员分别进行至少两个部位的检测，得到所述各个人员各自的各个检测框区域；
26.其中，所述对象识别模型的训练过程包括：
27.将训练集中的各个样本图像和各自对应的标注信息输入所述对象识别模型，对所述对象识别模型进行训练；其中，所述标注信息包括对应的样本图像中各个人员的位置信息、所述各个人员的各个部位的位置信息和类别信息。
28.进一步地，所述基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计包括：
29.基于图像增强处理后的车门区域图像进行人员检测，得到各个人员的检测框区域的位置信息；
30.根据当前车门开启状态中的各个图像增强处理后的连续的车门区域图像中，各个人员的检测框区域的位置信息，对所述各个人员进行跟踪，统计上车人数和下车人数，得到客流统计结果。
31.另一方面，本技术提供了一种车载客流统计装置，所述装置包括：
32.获取模块，用于获取车门区域图像，并确定所述车门区域图像中预先指定区域的
子图像；
33.确定模块，用于对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态；其中，所述目标车门状态为候选车门状态中的车门状态，所述候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，所述预先指定区域对应的车辆表面设置有标志物，不同候选车门状态下所述标志物在所述车门区域图像中的位置不同；
34.客流统计模块，用于响应于所述目标车门状态为车门开启状态，对所述车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。
35.进一步地，所述客流统计模块，具体用于确定所述车门区域图像对应的尺寸调整比例，根据所述尺寸调整比例对所述车门区域图像进行尺寸调整；或者
36.对所述车门区域图像进行亮度调整、色度调整和饱和度调整中的至少一种图像处理。
37.进一步地，所述确定模块，具体用于确定所述车门区域图像中预先指定的至少两个区域的子图像，对各个子图像分别进行标志物识别；其中，在一种候选车门状态下，所述预先指定的至少两个区域对应的车辆表面均设置有标志物；若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车门状态与设置标志物时的候选车门状态不一致。
38.进一步地，所述确定模块，具体用于将所述子图像输入已训练的标志物识别模型，基于所述标志物识别模型识别所述子图像中是否存在所述标志物；或者提取所述子图像的第一特征信息，将所述第一特征信息与预先保存的所述标志物的第二特征信息进行匹配，若匹配成功，确定所述子图像中存在所述标志物，否则确定所述子图像中不存在所述标志物。
39.进一步地，所述客流统计模块，具体用于判断所述车门区域图像的上一帧图像是否进行尺寸调整处理；如果是，确定所述上一帧图像的尺寸调整比例，将所述上一帧图像的尺寸调整比例作为所述车门区域图像对应的尺寸调整比例；如果否，确定所述车门区域图像中各个人员的检测框区域，并确定各个检测框区域的画面占比，根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例。
40.进一步地，所述客流统计模块，具体用于确定所述各个检测框区域的画面占比中，目标部位的检测框区域的最大画面占比；判断所述最大画面占比是否大于预设的所述目标部位对应的占比阈值，如果是，根据所述占比阈值确定所述车门区域图像对应的尺寸调整比例。
41.进一步地，所述客流统计模块，具体用于将所述车门区域图像输入已训练的对象识别模型，基于所述对象识别模型确定所述车门区域图像中的各个人员，并对所述各个人员分别进行至少两个部位的检测，得到所述各个人员各自的各个检测框区域；其中，所述对象识别模型的训练过程包括：将训练集中的各个样本图像和各自对应的标注信息输入所述对象识别模型，对所述对象识别模型进行训练；其中，所述标注信息包括对应的样本图像中各个人员的位置信息、所述各个人员的各个部位的位置信息和类别信息。
42.进一步地，所述客流统计模块，具体用于基于图像增强处理后的车门区域图像进行人员检测，得到各个人员的检测框区域的位置信息；根据当前车门开启状态中的各个图
像增强处理后的连续的车门区域图像中，各个人员的检测框区域的位置信息，对所述各个人员进行跟踪，统计上车人数和下车人数，得到客流统计结果。
43.再一方面，本技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
44.存储器，用于存放计算机程序；
45.处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
46.再一方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
47.本技术提供了一种车载客流统计方法、装置、电子设备及存储介质，本技术中，候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，预先指定区域对应的车辆表面设置有标志物，不同候选车门状态下所述标志物在所述车门区域图像中的位置不同。获取车门区域图像，并确定车门区域图像中预先指定区域的子图像，对子图像进行标志物识别，根据识别结果确定目标车门状态。相较于通过检测开关门信号以获得客流通道的开关门状态，避免了电信号传输过程中高低电平可能不稳定，容易造成误判的问题，提高了车门状态检测的准确性。另外，响应于目标车门状态为车门开启状态，对车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。避免车门区域图像一般质量较差，不利于乘客识别和跟踪，容易造成人数漏统计的问题，提高车载客流统计的准确性。
附图说明
48.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本技术提供的车载客流统计过程示意图；
50.图2为本技术提供的车门关闭状态下的预先指定区域示意图；
51.图3为本技术提供的车门开启状态下的预先指定区域示意图；
52.图4为本技术提供的车门关闭状态下的预先指定的各个区域示意图；
53.图5为本技术提供的车门开启状态下的预先指定的各个区域示意图；
54.图6为本技术提供的确定车门状态示意图；
55.图7为本技术提供的另一种确定车门状态示意图；
56.图8为本技术提供的车载客流统计过程示意图；
57.图9为本技术提供的人体多部位检测示意图；
58.图10为本技术提供的车载客流统计装置结构示意图；
59.图11为本技术提供的电子设备结构示意图。
具体实施方式
60.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申
请一部分实施例，而不是全部的实施例。
61.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
62.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
63.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
64.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
65.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
66.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
67.图1为本技术提供的车载客流统计过程示意图，该过程包括以下步骤：
68.s101：获取车门区域图像，并确定所述车门区域图像中预先指定区域的子图像。
69.s102：对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态；其中，所述目标车门状态为候选车门状态中的车门状态，所述候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，所述预先指定区域对应的车辆表面设置有标志物，不同候选车门状态下所述标志物在所述车门区域图像中的位置不同。
70.s103：响应于所述目标车门状态为车门开启状态，对所述车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。
71.本技术提供的车载客流统计方法应用于电子设备，该电子设备可以是车门区域图像采集设备，也可以是与车门区域图像采集设备相连的pc、平板电脑、服务器等设备。对于公交车，车门区域图像采集设备可以安装在车厢内车门顶部，车门区域图像采集设备朝向车门区域拍摄，采集车门区域图像。对于地铁、高铁、动车等，车门区域图像采集设备可以安装在车厢内车门顶部，朝向车门区域拍摄，采集车门区域图像，也可以安装在车门外的柱子上或者房顶上，朝向车门区域拍摄，采集车门区域图像。与车门区域图像采集设备相连的pc、平板电脑、服务器等设备一般放置在室内，pc、平板电脑、服务器等设备与车门区域图像采集设备通过无线连接。如果电子设备是车门区域图像采集设备，电子设备采集到车门区域图像之后，对车门区域图像进行相应处理，并进行车载客流统计。如果电子设备是pc、平
板电脑、服务器等设备，车门区域图像采集设备采集到车门区域图像之后，先通过无线网络将车门区域图像发送至电子设备，然后由电子设备对图像进行相应处理，并进行车载客流统计。
72.本技术中，候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，预先指定区域对应的车辆表面设置有标志物。其中，可以是在车门开启状态下，在预先指定区域对应的车辆表面设置有标志物，需保证标志物不会被遮挡，并且保证车门关闭状态下和车门开启状态下标志物在车门区域图像中的位置不同。或者可以在车门关闭状态下，在预先指定区域对应的车辆表面设置有标志物，需保证标志物不会被遮挡，并且保证车门关闭状态下和车门开启状态下标志物在车门区域图像中的位置不同。本技术中的标志物可以是任意贴纸或能够固定到预先指定区域对应的车辆表面的物品。需要说明的是，一般情况下车门开启状态下的预先指定区域和车门关闭状态下的预先指定区域不同。预先指定区域可以是车门上且靠近车门上边缘部分的区域。图2为本技术提供的车门关闭状态下的预先指定区域示意图，图3为本技术提供的车门开启状态下的预先指定区域示意图。
73.电子设备获取车门区域图像之后，首先确定车门区域图像中预先指定区域的子图像。预先指定区域指的是画面的指定区域，预先指定区域不随图像的变化而变化，其在画面中位置固定，获取到每个车门区域图像之后，均确定车门区域图像中预先指定区域的子图像。然后对子图像进行标志物识别，根据识别结果确定目标车门状态。若识别到子图像存在标志物，确定目标车门状态与设置标志物时的候选车门状态一致，否则确定目标车门状态与设置标志物时的候选车门状态不一致。
74.具体说明如下：若在车门关闭状态下，在预先指定区域对应的车辆表面设置有标志物。若识别到子图像存在标志物，确定目标车门状态为车门关闭状态，否则确定目标车门状态为车门开启状态。若在车门开启状态下，在预先指定区域对应的车辆表面设置有标志物。若识别到子图像存在标志物，确定目标车门状态为车门开启状态，否则确定目标车门状态为车门关闭状态。
75.若确定目标车门状态为车门开启状态，对车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。
76.所述对所述车门区域图像进行图像增强处理至少包括：
77.确定所述车门区域图像对应的尺寸调整比例，根据所述尺寸调整比例对所述车门区域图像进行尺寸调整；或者
78.对所述车门区域图像进行亮度调整、色度调整和饱和度调整中的至少一种图像处理。
79.可以通过以下三种方式对车门区域图像进行图像增强处理。
80.方式一：
81.确定所述车门区域图像对应的尺寸调整比例，根据尺寸调整比例对车门区域图像进行尺寸调整。其中，尺寸调整比例可以是预先设定的，例如预先设定尺寸调整比例为0.5，则将车门区域图像缩小为原来的一半。然后将缩小后的车门区域图像贴在与原始车门区域图像尺寸相同的灰度图像中，然后对贴有车门区域图像的灰度图像进行人员检测。其中，可以基于对象识别模型检测出各个人员的检测框区域。基于各个人员的检测框区域的位置信息进行客流统计。
82.可以避免车门顶部安装的相机与乘客距离较小，乘客在画面中占比大，不利于乘客识别和跟踪，容易造成人数漏统计的问题。本技术通过对车门区域图像进行尺寸调整，使得车门区域图像中的人员在灰度图像中的占比适中，从而保证确定出的各个人员的检测框区域的准确性，进而基于各个人员的检测框区域的位置信息进行客流统计，可以提高车载客流统计的准确性。
83.方式二：
84.对车门区域图像进行亮度调整、色度调整和饱和度调整中的至少一种图像处理。其中，可以仅对车门区域图像进行亮度调整，或者仅对车门区域图像进行色度调整，或者仅对车门区域图像进行饱和度调整，再或者同时对车门区域图像进行亮度调整、色度调整和饱和度调整，也可以任选其中的两种图像处理。
85.通过对车门区域图像进行亮度调整、色度调整和饱和度调整，可以提高图像质量，进而提高确定各个人员的检测框区域的准确性。
86.方式三：
87.对车门区域图像进行亮度调整、色度调整和饱和度调整，并且，确定所述车门区域图像对应的尺寸调整比例，根据尺寸调整比例对车门区域图像进行尺寸调整。从而结合上述两种方式的优点，进一步提高确定各个人员的检测框区域的准确性。
88.本技术中，为了使确定目标车门状态更准确，所述确定所述车门区域图像中预先指定区域的子图像，对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态包括：
89.确定所述车门区域图像中预先指定的至少两个区域的子图像，对各个子图像分别进行标志物识别；其中，在一种候选车门状态下，所述预先指定的至少两个区域对应的车辆表面均设置有标志物；
90.若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车门状态与设置标志物时的候选车门状态不一致。
91.本技术中，在一种候选车门状态下，所述预先指定的至少两个区域对应的车辆表面均设置有标志物，其中，可以是在车门开启状态下，在预先指定的至少两个区域对应的车辆表面均设置有标志物，需保证各个标志物均不会被遮挡，并且保证车门关闭状态下和车门开启状态下各个标志物在车门区域图像中的位置不同。或者可以在车门关闭状态下，在预先指定的至少两个区域对应的车辆表面均设置有标志物，需保证各个标志物不会被遮挡，并且保证车门关闭状态下和车门开启状态下各个标志物在车门区域图像中的位置不同。需要说明的是，一般情况下车门开启状态下的预先指定的至少两个区域和车门关闭状态下的预先指定的至少两个区域不同。预先指定区域可以是车门上且靠近车门上边缘部分的区域。图4为本技术提供的车门关闭状态下的预先指定的各个区域示意图，图5为本技术提供的车门开启状态下的预先指定的各个区域示意图。图4和图5中各设置了4个区域，需要说明的是，图4和图5仅为举例说明，本技术不对预先指定区域的数量进行限定。
92.本技术确定图像中预先指定的至少两个区域的子图像，对各个子图像分别进行标志物识别，若识别到各个子图像均存在标志物，则确定目标车门状态与设置标志物时的候选车门状态一致，否则确定目标车门状态与设置标志物时的候选车门状态不一致。
93.具体的，若在车门关闭状态下，在预先指定的至少两个区域对应的车辆表面设置有标志物。若识别到各个子图像均存在标志物，则确定目标车门状态为车门关闭状态，否则确定目标车门状态为车门开启状态。若在车门开启状态下，在预先指定的至少两个区域对应的车辆表面设置有标志物。若识别到各个子图像均存在标志物，则确定目标车门状态为车门开启状态，否则确定目标车门状态为车门关闭状态。
94.本技术中，为了使对子图像进行标志物识别更准确，本技术中，所述对所述子图像进行标志物识别至少包括：
95.将所述子图像输入已训练的标志物识别模型，基于所述标志物识别模型识别所述子图像中是否存在所述标志物；或者
96.提取所述子图像的第一特征信息，将所述第一特征信息与预先保存的所述标志物的第二特征信息进行匹配，若匹配成功，确定所述子图像中存在所述标志物，否则确定所述子图像中不存在所述标志物。
97.本技术可以通过三种方式进行标志物的识别。
98.方式一：
99.电子设备保存已训练的标志物识别模型，确定出子图像之后，将子图像输入已训练的标志物识别模型，基于标志物识别模型识别子图像中是否存在标志物。标志物识别模型在训练时，可以基于保存的样本集中的样本图像和对应的标注信息进行训练。标注信息为样本图像中存在标志物或不存在标志物的指示信息。
100.方式二：
101.电子设备预先提取标志物的第二特征信息，电子设备确定出子图像之后，提取子图像的第一特征信息，将第一特征信息与预先保存的第二特征信息进行匹配。其中，可以计算第一特征信息与第二特征信息的相似度，当相似度大于设定的相似度阈值，则确定匹配成功，当相似度不大于设定的相似度阈值，则确定匹配不成功。若匹配成功，确定子图像中存在标志物，若匹配不成功，确定子图像中不存在标志物。
102.方式三：
103.基于标志物识别模型识别子图像中存在标志物，并且通过特征信息匹配确定子图像中存在标志物时，此时确定子图像中存在标志物。否则确定子图像中不存在标志物。
104.本技术中，为了使确定图像对应的缩放比例更准确，所述确定所述车门区域图像对应的尺寸调整比例包括：
105.判断所述车门区域图像的上一帧图像是否进行尺寸调整处理；
106.如果是，确定所述上一帧图像的尺寸调整比例，将所述上一帧图像的尺寸调整比例作为所述车门区域图像对应的尺寸调整比例；
107.如果否，确定所述车门区域图像中各个人员的检测框区域，并确定各个检测框区域的画面占比，根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例。
108.本技术中，在确定车门区域图像对应的尺寸调整比例时，首先判断车门区域图像的上一帧图像是否进行尺寸调整处理，如果上一帧图像进行了尺寸调整处理，则获取上一帧图像的尺寸调整比例，采用上一帧图像的尺寸调整比例作为车门区域图像对应的尺寸调整比例。如果上一帧图像并未进行尺寸调整处理，则先确定车门区域图像中各个人员的检
测框区域，然后确定各个检测框区域的画面占比。当各个检测框区域的画面占比中存在大于设定的占比阈值的画面占比时，则对图像进行缩小处理。当各个检测框区域的画面占比中不存在大于设定的占比阈值的画面占比时，则不对图像进行缩小处理。根据占比阈值确定图像对应的尺寸调整比例，其中，可以将占比阈值与最大的画面占比的比值作为尺寸调整比例，或者将占比阈值与画面占比的平均值的比值作为尺寸调整比例。在一些特殊情况下，当各个检测框区域的画面占比中最大的画面占比小于设定的最小阈值时，可以对图像进行放大处理。
109.本技术中，确定所述各个人员的检测框区域的过程包括：
110.将所述车门区域图像输入已训练的对象识别模型，基于所述对象识别模型确定所述车门区域图像中的各个人员，并对所述各个人员分别进行至少两个部位的检测，得到所述各个人员各自的各个检测框区域；
111.其中，所述对象识别模型的训练过程包括：
112.将训练集中的各个样本图像和各自对应的标注信息输入所述对象识别模型，对所述对象识别模型进行训练；其中，所述标注信息包括对应的样本图像中各个人员的位置信息、所述各个人员的各个部位的位置信息和类别信息。
113.本技术中，在训练对象识别模型时，针对每个样本图像，对齐标注样本图像中各个人员的位置信息、所述各个人员的各个部位的位置信息和类别信息，该类别信息指的是部位的类别信息，例如是人体、上半身、头肩、头部等。这样训练得到的对象识别模型可以识别车门区域图像中的各个人员，并对各个人员分别进行至少两个部位的检测，得到各个人员各自的各个检测框。因为有可能存在遮挡，所以有的人员的某些部位有可能识别不到，但是本技术通过对各个人员分别进行至少两个部位的检测，在一定程度上可以解决因遮挡无法检测出检测框区域，从而造成客流统计不准确的问题。
114.需要说明的是，在基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计时，也是将图像增强处理后的车门区域图像输入已训练的对象识别模型，得到各个检测框区域。
115.本技术中，所述根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例包括：
116.确定所述各个检测框区域的画面占比中，目标部位的检测框区域的最大画面占比；判断所述最大画面占比是否大于预设的所述目标部位对应的占比阈值，如果是，根据所述占比阈值确定所述车门区域图像对应的尺寸调整比例。
117.本技术中，目标部位可以是人体、上半身、头肩、头部的任意部位，各个部位对应的占比阈值不同，人体对应的占比阈值较大，头部对应的占比阈值较小。当目标部位的检测框区域的最大画面占比大于预设的目标部位对应的占比阈值时，根据占比阈值确定车门区域图像对应的尺寸调整比例。例如将最大画面占比与占比阈值的比值作为车门区域图像对应的尺寸调整比例。
118.本技术中，所述基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计包括：
119.基于图像增强处理后的车门区域图像进行人员检测，得到各个人员的检测框区域的位置信息；
120.根据当前车门开启状态中的各个图像增强处理后的连续的车门区域图像中，各个人员的检测框区域的位置信息，对所述各个人员进行跟踪，统计上车人数和下车人数，得到客流统计结果。
121.基于图像增强处理后的车门区域图像进行人员检测，得到各个人员的检测框区域的位置信息。当前车门开启状态中的各个图像增强处理后的连续的车门区域图像中，各个检测框区域存在对应的人员标识信息，针对每个人员标识信息，根据该人员的检测框区域的位置信息，可以确定出该人员的运动轨迹，根据该人员的运动轨迹可以确定出该人员是上车还是下车。通过上述方法可以统计上车人数和下车人数，进而根据车内人数得到客流统计结果。
122.本技术提供的车载客流统计方法，主要步骤如下：
123.步骤a、在车门顶端不被遮挡区域张贴可识别标志物。
124.步骤b、保存车门关闭时相机图像，图像中画出标志物区域，并保存到底库。
125.具体的，在车门顶端每个门上等间隔张贴4张二维码，车辆关门时获取相机图像，提取图像中二维码区域特征，将每个二维码的特征和其在图像坐标位置进行记录保存作为底库。
126.步骤c、将车门顶端不遮挡区域和关门时保存的底库特征进行比对，相似度阈值大于设定阈值，则认为车门为关闭，否则认为车门打开；或者将步骤a中标志物设为方便识别的标志物，记录车门关闭时标志物位置；检测固定位置，判断是否存在标志物，假如存在该标志物则认为车门关闭，否则为车门打开。
127.每一秒钟获取一次相机图像，分别获取底库中每一个二维码对应坐标位置和特征，提取当前图像对应坐标位置的特征，二维码的特征和当前特征进行相似度比对，阈值大于0.9，则认为当前图像位置和特征与底库保存信息一致；如果4个位置均能满足相似度阈值，则认为该车门为关闭，否则为开启。
128.步骤d、车载安装低，行人占画面大，智能初期识别人头、头肩，根据图像占比进行尺寸压缩，将压缩后小图贴到背景图像，保障贴图后的头肩像素在深度学习网络宽高上占比达到(m，n),例如m为0.2，n为0.4。
129.步骤e、将步骤e中行人进行人头、头肩、上半身、人体等多标签训练；跟踪采用多标签联合互补策略，保障行人跟踪准确性。
130.步骤f、统计每一辆车每一站上车、下车人数、时间点、上下车总人数等数据，后续进行不同时间不同站点人流分析，方便后续安排调度，同时对比实际刷卡数量和上车人数异常，方便后续运营管理。
131.本技术车门上不遮挡区域设置标识，通过判断标识有无，识别车辆开关门，提升车载数据准确率，减少多报误报；针对车载目标过大，采用缩放张贴到网络合适比例，提升检出率；同时采用多标签进行行人检测跟踪，提升戴帽子、披头巾等检出率，减少漏报；统计每一辆车每一站上车、下车人数、时间点、进行不同时间不同站点人流分析，安排调度，同时对比实际刷卡数量和上车人数异常，方便后续运营管理。
132.图6为本技术提供的确定车门状态示意图，包括以下步骤：
133.s201：获取车门区域图像，并确定所述车门区域图像中预先指定区域的子图像，将所述子图像输入已训练的标志物识别模型，基于所述标志物识别模型识别所述子图像中是
否存在所述标志物。
134.s202：若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车门状态与设置标志物时的候选车门状态不一致。
135.图7为本技术提供的另一种确定车门状态示意图，包括以下步骤：
136.s301：获取车门区域图像，并确定所述车门区域图像中预先指定区域的子图像，提取所述子图像的第一特征信息，将所述第一特征信息与预先保存的所述标志物的第二特征信息进行匹配，若匹配成功，确定所述子图像中存在所述标志物，否则确定所述子图像中不存在所述标志物。
137.s302：若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车门状态与设置标志物时的候选车门状态不一致。
138.图8为本技术提供的车载客流统计过程示意图，该过程包括以下步骤：
139.s401：获取车门区域图像，目标检测占比统计，根据占比进行图像尺寸调整，将尺寸调整后小图贴到背景图像。
140.s402：对尺寸调整后的图像进行人头、头肩、上半身、人体检测。
141.s403：采用多标签联合互补策略对人员进行跟踪。
142.s404：统计上车人数和下车人数，判断车门是否关闭，如果车门不关闭，继续进行客流统计，如果车门关闭，将客流统计结果进行上报。
143.图9为本技术提供的人体多部位检测示意图，如图9所示，可以检测出人头、头肩、上半身、人体检测框中的至少一个。
144.图10为本技术提供的车载客流统计装置结构示意图，该装置包括：
145.获取模块11，用于获取车门区域图像，并确定所述车门区域图像中预先指定区域的子图像；
146.确定模块22，用于对所述子图像进行标志物识别，根据识别结果确定车门的目标车门状态；其中，所述目标车门状态为候选车门状态中的车门状态，所述候选车门状态包括车门开启状态和车门关闭状态，在一种候选车门状态下，所述预先指定区域对应的车辆表面设置有标志物，不同候选车门状态下所述标志物在所述车门区域图像中的位置不同；
147.客流统计模块33，用于响应于所述目标车门状态为车门开启状态，对所述车门区域图像进行图像增强处理，并基于图像增强处理后的车门区域图像进行人员检测的结果进行客流统计。
148.所述客流统计模块33，具体用于确定所述车门区域图像对应的尺寸调整比例，根据所述尺寸调整比例对所述车门区域图像进行尺寸调整；或者
149.对所述车门区域图像进行亮度调整、色度调整和饱和度调整中的至少一种图像处理。
150.所述确定模块22，具体用于确定所述车门区域图像中预先指定的至少两个区域的子图像，对各个子图像分别进行标志物识别；其中，在一种候选车门状态下，所述预先指定的至少两个区域对应的车辆表面均设置有标志物；若识别到所述各个子图像均存在所述标志物，确定所述目标车门状态与设置标志物时的候选车门状态一致，否则确定所述目标车
门状态与设置标志物时的候选车门状态不一致。
151.所述确定模块22，具体用于将所述子图像输入已训练的标志物识别模型，基于所述标志物识别模型识别所述子图像中是否存在所述标志物；或者提取所述子图像的第一特征信息，将所述第一特征信息与预先保存的所述标志物的第二特征信息进行匹配，若匹配成功，确定所述子图像中存在所述标志物，否则确定所述子图像中不存在所述标志物。
152.所述客流统计模块33，具体用于判断所述车门区域图像的上一帧图像是否进行尺寸调整处理；如果是，确定所述上一帧图像的尺寸调整比例，将所述上一帧图像的尺寸调整比例作为所述车门区域图像对应的尺寸调整比例；如果否，确定所述车门区域图像中各个人员的检测框区域，并确定各个检测框区域的画面占比，根据所述各个检测框区域的画面占比，确定所述车门区域图像对应的尺寸调整比例。
153.所述客流统计模块33，具体用于确定所述各个检测框区域的画面占比中，目标部位的检测框区域的最大画面占比；判断所述最大画面占比是否大于预设的所述目标部位对应的占比阈值，如果是，根据所述占比阈值确定所述车门区域图像对应的尺寸调整比例。
154.所述客流统计模块33，具体用于将所述车门区域图像输入已训练的对象识别模型，基于所述对象识别模型确定所述车门区域图像中的各个人员，并对所述各个人员分别进行至少两个部位的检测，得到所述各个人员各自的各个检测框区域；其中，所述对象识别模型的训练过程包括：将训练集中的各个样本图像和各自对应的标注信息输入所述对象识别模型，对所述对象识别模型进行训练；其中，所述标注信息包括对应的样本图像中各个人员的位置信息、所述各个人员的各个部位的位置信息和类别信息。
155.所述客流统计模块33，具体用于基于图像增强处理后的车门区域图像进行人员检测，得到各个人员的检测框区域的位置信息；根据当前车门开启状态中的各个图像增强处理后的连续的车门区域图像中，各个人员的检测框区域的位置信息，对所述各个人员进行跟踪，统计上车人数和下车人数，得到客流统计结果。
156.本技术还提供了一种电子设备，如图11所示，包括：处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；
157.所述存储器113中存储有计算机程序，当所述程序被所述处理器111执行时，使得所述处理器111执行以上任一方法步骤。
158.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
159.通信接口112用于上述电子设备与其他设备之间的通信。
160.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
161.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬
件组件等。
162.本技术还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。
163.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
164.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。