出租车后备箱乘客行李提醒方法、装置及系统

1.本技术涉及图像处理技术领域，具体地，涉及一种出租车后备箱乘客行李提醒方法及装置。


背景技术：

2.出租车作为一种重要的交通工具，为乘客提供灵活便捷的出行服务，其已经成为外地游客出行，特别是携带行李游客出行的最主要方式之一。然而，由于着急疏忽，经常发生乘客将行李遗忘在后备箱中的情况，给乘客带来巨大的财务和精神损失。为了解决乘客失物的查找问题，各城市在制度和系统上采取多种手段，为乘客失物的查找提供支撑。现有技术中较多涉及对出租车内失物的查找，在对后备箱失物查找方面缺少有效的方法。


技术实现要素：

3.为了克服现有技术中的至少一个不足，本技术实施例提供一种出租车后备箱乘客行李提醒方法及装置，通过后备箱的摄像头，利用图像识别技术实现后备箱行李的识别，结合车载计价器，在乘客下车前通过语音进行后备箱行李遗忘提醒，并为行李遗忘后的查找提供照片证据。
4.第一方面，提供一种出租车后备箱乘客行李提醒方法，包括：
5.获取出租车后备箱打开时的图像以及出租车后备箱关闭时的图像；
6.获取出租车的计价器信号；
7.根据计价器信号、出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品；
8.若出租车后备箱中放入物品，则获取放入物品的图像；
9.将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；
10.在计价器信号为计价结束信号时，生成物品提醒信息以在乘客下车前提醒乘客，物品提醒信息中包括放入物品的类别。
11.在一个实施例中，根据计价器信号、出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品，包括：
12.针对出租车后备箱打开时的图像和出租车后备箱关闭时的图像进行图像差分处理，得到差分结果图像；
13.若计价器信号为计价开始信号，且差分结果图像中包括放入物品，则判断出租车后备箱中放入物品。
14.在一个实施例中，方法还包括：
15.获取乘客的车内照片、上车信息和下车信息，上车信息包括上车时间、上车地点，下车信息包括下车时间、下车地点；
16.存储乘客的车内照片、上车信息、下车信息、放入物品的图像以及放入物品的类别。
17.在一个实施例中，物品识别网络模型为cnn网络模型，包括依次连接数据层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、全连接层和分类层。
18.在一个实施例中，物品识别网络模型的第一卷积层和第二卷积层的卷积核大小为5
×
5，第一下采样层和第二下采样层的卷积核大小为2
×
2。
19.第二方面，提供一种出租车后备箱乘客行李提醒装置，包括：
20.图像获取模块，用于获取出租车后备箱打开时的图像和出租车后备箱关闭时的图像；
21.计价器信号获取模块，用于获取出租车的计价器信号；
22.物品放入判断模块，用于根据计价器信号、出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品；
23.物品图像获取模块，用于若出租车后备箱中放入物品，则获取放入物品的图像；
24.物品识别模块，用于将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；
25.提醒信息生成模块，用于在计价器信号为计价结束信号时，生成物品提醒信息以在乘客下车前提醒乘客，物品提醒信息中包括放入物品的类别。
26.在一个实施例中，物品放入判断模块，还用于：
27.针对出租车后备箱打开时的图像和出租车后备箱关闭时的图像进行图像差分处理，得到差分结果图像；
28.若计价器信号为计价开始信号，且差分结果图像中包括放入物品，则判断出租车后备箱中放入物品。
29.在一个实施例中，装置还包括：
30.乘车信息获取模块，用于获取乘客的车内照片、上车信息和下车信息，上车信息包括上车时间、上车地点，下车信息包括下车时间、下车地点；
31.存储模块，用于存储乘客的车内照片、上车信息、下车信息、放入物品的图像以及放入物品的类别。
32.第三方面，提供一种出租车后备箱乘客行李提醒系统，包括：后备箱摄像头、车内摄像头、计价器、车载终端和语音播放器；其中，
33.后备箱摄像头，用于采集出租车后备箱打开时的图像和出租车后备箱关闭时的图像，并传输至车载终端；
34.车内摄像头，用于采集乘客的车内照片，并传输至车载终端；
35.计价器，用于产生计价开始信号和计价结束信号，并传送至车载终端；
36.车载终端，用于在接收到计价开始信号时，根据出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品；若出租车后备箱中放入物品，则获取放入物品的图像；将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；在接收到计价结束信号时，生成物品提醒信息并发送至语音播放器，物品提醒信息中包括放入物品的类别；
37.车载终端还用于在接收到计价开始信号时，获取乘客的车内照片、乘客的上车信息，上车信息包括上车时间、上车地点；在接收到计价结束信号时，获取乘客的下车信息，下车信息包括下车时间和下车地点；
38.车载终端还用于传输上车信息、下车信息、乘客的车内照片、放入物品的图像和放入物品的类别至云平台进行存储；
39.车载终端还用于在接收到计价结束信号时，驱动语音播放器播放物品提醒信息；
40.语音播放器，用于播放物品提醒信息以提醒乘客。
41.相对于现有技术而言，本技术具有以下有益效果：本技术能在乘客下车前进行行李遗忘提醒，降低乘客下车后后备箱行李遗忘的概率，且能在乘客遗忘后记录乘客信息和行李箱照片，便于遗忘乘客查找和信息核对，为乘客行李的找回提供证据，可靠性高，应用前景广阔。
附图说明
42.本技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。在附图中：
43.图1示出了根据本技术实施例的出租车后备箱乘客行李提醒系统的结构框图；
44.图2示出了根据本技术实施例的出租车后备箱乘客行李提醒方法的流程框图；
45.图3示出了根据本技术实施例的出租车后备箱乘客行李提醒装置的结构框图。
具体实施方式
46.在下文中将结合附图对本技术的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
47.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本技术，在附图中仅仅示出了与根据本技术的方案密切相关的装置结构，而省略了与本技术关系不大的其他细节。
48.应理解的是，本技术并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
49.图1示出了根据本技术实施例的出租车后备箱乘客行李提醒系统的结构框图。系统包括车载终端c，以及与车载终端均连接的车内摄像头a、后备箱摄像头b、车载终端c、计价器e和语音播放器f。
50.其中，车内摄像头a安装在出租车的顶部，用于获取车内照片，并传输至车载终端c；后备箱摄像头b安装在出租车后备箱的顶部，用于获取出租车后备箱打开时的图像和出租车后备箱关闭时的图像，并传输至车载终端c；车载终端c与车载自动诊断系统(on-board diagnostics，obd)连接，车载终端c通过obd获取后备箱d的开闭状态，当获取到后备箱d的打开信号时，驱动后备箱摄像头b拍摄后备箱打开时的图像，当获取到后备箱d的关闭信号时，驱动后备箱摄像头b拍摄后备箱关闭时的图像；
51.计价器e，用于产生计价开始信号和计价结束信号，并传送至车载终端c；
52.车载终端c可以采用cortex-a8处理器，应用android操作系统，用于在接收到计价开始信号时，根据出租车后备箱d打开时的图像和出租车后备箱d关闭时的图像，判断出租
车后备箱中是否放入物品；若出租车后备箱中放入物品，则获取放入物品的图像；将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；在接收到计价结束信号时，生成物品提醒信息并发送至语音播放器，物品提醒信息中包括放入物品的类别；
53.车载终端c还用于在接收到计价开始信号时，获取乘客的车内照片、乘客的上车信息，上车信息包括上车时间、上车地点；在接收到计价结束信号时，采集乘客的下车信息，下车信息包括下车时间和下车地点；
54.车载终端c还用于传输上车信息、下车信息、乘客的车内照片、放入物品的图像和放入物品的类别至云平台进行存储；
55.车载终端c还用于在接收到计价结束信号时，驱动语音播放器播放物品提醒信息；
56.语音播放器，用于播放物品提醒信息以在乘客下车前提醒乘客。
57.图2示出了根据本技术实施例的出租车后备箱乘客行李提醒方法的流程框图。方法包括：步骤s210，获取出租车后备箱打开时的图像和出租车后备箱关闭时的图像。该步骤中，车载终端c在接收到出租车后备箱d被打开时的信号，可以驱动后备箱摄像头b拍摄一张照片，即可获得出租车后备箱d打开时的图像，车载终端c在接收到后备箱关闭时的信号，可以驱动后备箱摄像头b拍摄一张照片，即可获得出租车后备箱关闭时的图像。
58.步骤s220，获取出租车的计价器信号；
59.步骤s230，根据计价器信号、出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品；该步骤中，获取出租车的计价器信号；对出租车后备箱打开时的图像和出租车后备箱关闭时的图像进行灰度化处理，对灰度化处理后的图像进行图像差分处理，得到差分结果图像，若计价器信号为计价开始信号，且差分结果图像中包括放入物品，则判断出租车后备箱中放入物品。
60.步骤s240，若出租车后备箱中放入物品，则获取放入物品的图像；这里放入物品的图像即为差分结果图像。
61.步骤s250，将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；
62.步骤s260，在计价器信号为计价结束信号时，生成物品提醒信息以在乘客下车前提醒乘客，物品提醒信息中包括放入物品的类别。该步骤中，车载终端c生成物品提醒信息，并将物品提醒信息传送至语音播放器f，并驱动语音播放器f播放物品提醒信息，例如可以是“后备箱有您的行李”+“物品的类别”+“请记得携带”。
63.本技术的出租车后备箱乘客行李提醒方法，能在乘客下车前进行行李遗忘提醒，降低乘客下车后后备箱行李遗忘的概率。
64.在一个实施例中，出租车后备箱乘客行李提醒方法还包括：
65.获取乘客的车内照片、上车信息和下车信息，上车信息包括上车时间、上车地点，下车信息包括下车时间、下车地点；存储乘客的车内照片、上车信息、下车信息、放入物品的图像以及放入物品的类别。
66.该实施例中，当车载终端接收到计价器e开始计价信号时，车载终端驱动车内摄像头a拍摄照片，获取车内照片，同时获取上车时间和上车地点，当接收到计价器结束计价信号时，获取下车时间和下车地点。
67.本实施例中能够将上述乘车信息、存入物品的图像以及放入物品的类别发送到后
台进行存储，能在乘客遗忘后记录乘客信息和行李箱照片，便于遗忘乘客查找和信息核对，为乘客行李的找回提供证据，可靠性高，应用前景广阔。
68.在一个实施例中，物品识别网络模型为cnn网络模型，包括依次连接数据层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、全连接层和分类层。这里，cnn网络模型由七层构成，第一层为数据层，是物品的灰度图像数据；第二层为第一卷积层conv1，输入的是第一层的输出；第三层为第一下采样层pool1；第四层为第二卷积层conv2，输入的是第三层的输出；第五层为第二下采样层pool2；第六层为全连接层，上接第五层的输出，将上层中的同一张图经不同卷积核出来的特征图合并为一维向量；第七层是分类层，最后采用损失函数来计算误差值，将训练误差输出；分类器由多层感知器(2层全连接层串联)和softmax组合而成。
69.该实施例中，cnn网络模型采用以下方式训练：
70.采集出租车后备箱放物品前后的照片各10000张，对放物品前后的照片进行灰度化和差值处理，提取物品的图像，归一化为128
×
128，建立物品样本数据库，手动标记样本的名称；对标记的后备箱物品的图像进行重复多次训练，确定当前学习到的模型参数，包括cnn的参数和分类器的参数，通过误差值采用向后传导的方式修正权值，达到训练网络的目的。
71.初始参数的设置如下：
72.(1)卷积核大小和拓扑结构层数设置：cnn网络模型中核心层为卷积层和下采样层，即隐含层，当隐含层数增加时，有助于提高分类精度，但当层数超过一定范围时，不仅增加训练成本，而且降低识别精度，弊大于利。本实施例中训练数据统一标准化为128
×
128像素大小，卷积核大小为5
×
5，下采样层卷积核大小为2
×
2，滑动步长为2，此时输出的特征图最为简单，即选择5
×
5卷积核时效果最好，此时网络需要两个卷积层和两个下采样层。
73.(2)初始化权值矩阵：初始化权值参数是指下采样层和全连接层之间的权值矩阵初始化，包括权值w
ij
和偏移量b的初始化；参数初始化范围太大导致网络无法训练，初始化权值选取不同的[-1,1]之内的小随机数，从而保证网络不会因为权值过大而进入饱和状态。
[0074]
(3)迭代次数及收敛精度：网络训练结束的标准是达到最大训练次数或者识别效果达到要求精度，迭代次数、识别精度和时间耗费成相互制约关系，因此，迭代次数由实验确定，以选取平衡点，使得识别精度良好和时间耗费较低。
[0075]
基于与出租车后备箱乘客行李提醒方法相同的发明构思，本实施例还提供与之对应的出租车后备箱乘客行李提醒装置，图3示出了根据本技术实施例的出租车后备箱乘客行李提醒装置的结构框图，包括：
[0076]
图像获取模块310，用于获取出租车后备箱打开时的图像和出租车后备箱关闭时的图像；
[0077]
计价器信号获取模块320，用于获取出租车的计价器信号；
[0078]
物品放入判断模块330，用于根据计价器信号、出租车后备箱打开时的图像和出租车后备箱关闭时的图像，判断出租车后备箱中是否放入物品；这里，获取出租车的计价器信号；对出租车后备箱打开时的图像和出租车后备箱关闭时的图像进行灰度化处理，对灰度化处理后的图像进行图像差分处理，得到差分结果图像，若计价器信号为计价开始信号，且
差分结果图像中包括放入物品，则判断出租车后备箱中放入物品。
[0079]
物品图像获取模块340，用于若出租车后备箱中放入物品，则获取放入物品的图像；
[0080]
物品识别模块350，用于将放入物品的图像输入到物品识别网络模型中进行识别，确定放入物品的类别；
[0081]
提醒信息生成模块360，用于生成物品提醒信息以提醒乘客，物品提醒信息中包括放入物品的类别。
[0082]
本技术的出租车后备箱乘客行李提醒装置能在乘客下车前进行行李遗忘提醒，降低乘客下车后后备箱行李遗忘的概率。
[0083]
在一个实施例中，出租车后备箱乘客行李提醒装置还包括：
[0084]
乘车信息获取模块，用于获取乘客的车内照片、上车信息和下车信息，上车信息包括上车时间、上车地点，下车信息包括下车时间、下车地点；
[0085]
存储模块，用于存储乘客的车内照片、上车信息、下车信息、放入物品的图像以及放入物品的类别。
[0086]
本实施例中能够将存入物品的图像以及放入物品的类别发送到后台的存储模块中进行存储，能在乘客遗忘后记录乘客信息和行李箱照片，便于遗忘乘客查找和信息核对，为乘客行李的找回提供证据，可靠性高，应用前景广阔。这里，计价器e通过obd获取计价器的状态，并发送至车载终端，当接收到计价器开始计价信号时，车载终端驱动车内摄像头a拍摄照片，获取车内照片，同时获取上车时间和上车地点，当接收到计价器结束计价信号时，获取下车时间和下车地点。
[0087]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0088]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0089]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0090]
以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。