车辆车门倚靠检测系统的制作方法

1.在本说明书中，公开了一种检测有无乘客或货物向车辆车门倚靠的检测装置。


背景技术：

2.为了谋求车辆的顺畅运行，在车辆中设有各种传感器、设备。例如在日本特开2018－162042中，在公共汽车等合乘车辆设有对车外的情形进行拍摄的摄像机。基于该摄像机的拍摄图像来判定有无车辆的停车空间和坡道设置空间。
3.再者，在乘客、货物倚靠车辆的车门的情况下，在车门打开时，该乘客、货物恐怕会掉出车外。因此，在本说明书中，公开了一种能确保车门打开时的乘客或货物的安全的车辆车门倚靠检测系统。


技术实现要素：

4.本说明书中公开的车辆车门倚靠检测系统具备拍摄器和判定器。拍摄器将车辆的车门和车厢内的车门周边包含在拍摄范围内。判定器根据由拍摄器得到的拍摄图像来判定有无乘客或货物倚靠车门。
5.根据上述构成，判定器基于车门周边的拍摄图像来判定有无乘客或货物倚靠车门，因此能确保车门打开时的乘客或货物的安全。
6.此外，在上述构成中，可以是，判定器具备脸部识别部、头部姿势推定部以及乘客倚靠判定部。脸部识别部从拍摄图像中识别车门周边的乘客的脸部。头部姿势推定部推定识别出的脸部的朝向。乘客倚靠判定部基于推定出的脸部的朝向来判定有无乘客倚靠车门。
7.在车门近旁有乘客时，推定乘客的脸部相对于车门的朝向，由此能高精度地判定有无乘客的倚靠。
8.此外，在上述构成中，可以是，判定器具备货物识别部和货物倚靠判定部。在该情况下，货物识别部从拍摄图像中识别车门周边的货物。货物倚靠判定部基于识别出的货物与车门的接近距离来判定有无货物倚靠车门。
9.根据上述构成，能基于货物与车门的接近距离来判定有无货物倚靠车门。
10.此外，在上述构成中，可以是，车辆车门倚靠检测系统具备警告器。警告器在通过判定器判定为有乘客或货物倚靠车门时，在车门打开前发出警告。
11.根据上述构成，能在车门打开前促使倚靠该车门的乘客、货物离开车门。
12.此外，在上述构成中，可以是，车辆车门倚靠检测系统具备车门控制部。车门控制部在通过判定器判定为有乘客或货物倚靠车门时，以比预先确定的通常打开速度慢的提醒注意速度使车门打开。
13.根据上述构成，通过提醒注意速度下的车门打开，倚靠该车门的乘客、使货物倚靠车门的乘客会注意到车门的打开，从而解除倚靠。
14.此外，在上述构成中，可以是，在通过判定器判定为乘客或货物倚靠车门被解除了
时，车门控制部使车门以通常打开速度打开。
15.根据上述构成，当乘客或货物向车门的倚靠被解除时，车门迅速地被打开，能抑制对车辆的运行时间表的影响。
16.根据本说明书中公开的车辆车门倚靠检测系统，能确保车门打开时的乘客或货物的安全。
附图说明
17.以下，参照附图，对本发明的示例性实施例的特征、优点以及技术和工业意义进行说明，其中，相同的附图标记表示相同的元件，其中：
18.图1是举例示出具备本实施方式的车辆车门倚靠检测系统的车辆的立体图。
19.图2是举例示出车辆的车门被打开时的情形的立体图。
20.图3是举例示出车厢内的图。
21.图4是举例示出本实施方式的车辆车门倚靠检测系统的硬件构成的图。
22.图5是举例示出本实施方式的车辆车门倚靠检测系统的功能块的图。
23.图6是表示乘客倚靠车门的例子的图。
24.图7是举例示出车门附近的乘客且未倚靠车门的情况的图。
25.图8是举例示出由本实施方式的车辆车门倚靠检测系统进行的乘客倚靠判定流程的图。
26.图9是表示由本实施方式的车辆车门倚靠检测系统进行的乘客倚靠判定流程的另一个例子的图。
27.图10是表示货物倚靠车门的例子的图。
28.图11是举例示出由本实施方式的车辆车门倚靠检测系统进行的货物倚靠判定流程的图。
29.图12是表示由本实施方式的车辆车门倚靠检测系统进行的货物倚靠判定流程的另一个例子的图。
具体实施方式
30.＜车辆构成＞
31.在图1中公开了具备本实施方式的车辆车门倚靠检测系统的车辆10。需要说明的是，在图1、图2、图3、图6、图7、图10中，用由符号fr表示的轴示出车辆前后方向，用由符号rw表示的轴示出车辆宽度方向，用由符号up表示的轴示出竖直方向。前后方向轴fr将车辆前方作为正方向。宽度方向轴rw将右方向作为正方向。此外，高度轴up将上方向作为正方向。这三个轴相互正交。
32.图1所举例示出的车辆10例如是小型公共汽车程度的大小，被用作合乘车辆。例如，车辆10在确定的路线上行驶，在沿着该路线设置的车站停车。
33.车辆10例如可以是将未图示的旋转电机作为驱动源的电动汽车。或者，车辆10也可以将内燃机作为驱动源。此外，车辆10能在手动驾驶和自动驾驶之间进行切换。
34.在车辆10的侧面，就是说在与rw轴垂直的面(up－fr面)，设有双开式的车门12、12。车门12、12例如是吊式的外滑动车门，在车门12、12的上方设有未图示的轨道机构。通过
将车门12、12设为吊式，能避免与设于车门12、12的下方的坡道板32(参照图2)的干扰。
35.如图2所举例示出，在打开时，车门12、12向车宽方向外侧伸出，进而在车辆前后方向上移动。通过这样车门12、12从关闭位置移动至打开位置从而乘降口16被打开。
36.如此，车辆10的车门12、12是在打开时被移出至车辆外侧的外滑动车门，因此，与例如车门折叠至车厢14侧而打开的折叠式的车门不同，无需将车门的近旁设为禁止进入区域。就是说，在车辆10中，直至车厢14的车门12、12近旁为止都能用作乘客的站立空间，与将该空间设为禁止进入的情况相比，可能会高频度地出现倚靠车门12、12的乘客。
37.如后述那样，在本实施方式的车辆车门倚靠检测系统40(参照图5)中，检测这样的倚靠车门12、12的乘客、货物，谋求车门12、12开闭时的倚靠的解除。需要说明的是，为了抑制倚靠，也可以将车厢14的车门12、12近旁区域设为禁止进入区域，例如将车厢底板20的颜色设为与其周边不同的颜色。
38.作为上下车时的动作，例如当车辆10到达车站而停车时，首先，坡道盖30被打开，坡道板32被拉出。坡道盖30的打开和坡道板32的拉出例如通过包括未图示的马达等的坡道装置来自动地进行。当坡道板32的拉出完成时，车门12、12被打开，能进行乘客的上下车。当乘客的上下车结束时，车门12、12被关闭。之后，坡道板32通过上述的坡道装置被收纳至车宽方向内侧，坡道盖30被关闭。
39.在图3中举例示出车厢14内的布局。车厢14被大致分为驾驶席区(未图示)和乘客区。在图3中图示出乘客区。在乘客区设有多个座位21。座位21设于与车门12、12分开的场所。例如在与设有车门12、12的侧面对置的侧面和车厢14的后端设有座位21。
40.乘客区中的未设有座位21的区域成为站立乘车区域。在该站立乘车区域中，在车厢14的侧壁设有扶手22，此外，在车厢14的顶壁设有吊环拉手23。例如，扶手22设于侧柱26b、26d和侧柱26a、26c，该侧柱26b、26d设于车门12、12的两旁，该侧柱26a、26c与侧柱26b、26d在车宽方向对置。侧柱26a～26d从车厢底板20起在高度方向上延伸设置至顶棚。
41.而且，在车厢14设有多个拍摄器24。在图3的例子中，在车厢14的顶棚面设有五台拍摄器24a～24e。此外，取而代之，也可以在顶棚面的车宽方向和车辆前后方向的中央部设置拍摄器24c，在侧柱26a～26d的顶棚面附近分别设置拍摄器24a、24b、24d、24e。
42.拍摄器24a～24e例如包括cmos传感器、ccd传感器等拍摄设备，能拍摄车厢14内的静止图像和运动图像中的至少一方。例如，拍摄器24a～24e均可以是圆顶型的360度摄像机(全方位摄像机)。
43.拍摄器24a～24e将车辆10的车门12、12和车厢14内的车门12、12周边包含在拍摄范围内。就是说，在车门12、12及其周边，拍摄器24a～24e的拍摄区域重复。如后述那样，通过多个拍摄器24a～24e，车门12、12及其周边区域的拍摄区域重复，由此能基于所谓的立体摄像机的原理来求出车门12、12周边的乘客、货物的三维位置。
44.在图4中举例示出本实施方式的车辆车门倚靠检测系统40的硬件构成。该系统40被配置为包括拍摄器24a～24e、判定器50、警告器48以及车门开闭马达49。
45.＜判定器的构成＞
46.判定器50根据由拍摄器24a～24e得到的拍摄图像来判定有无乘客或货物倚靠车门。判定器50例如由计算机构成。判定器50具备运算装置cpu41以及作为存储单元的系统存储器42和储存设备43。储存设备43例如可以是硬盘驱动器(hdd)、固态驱动器(ssd)等非暂
时性的存储装置。此外，判定器50具备对与拍摄器24a～24e、警告器48、车门开闭马达49等外部设备的信息的输入输出进行管理的输入输出控制器44。
47.而且，判定器50具备gpu45(graphics processing unit：图形处理单元)和帧存储器46来作为对拍摄器24a～24e所拍摄到的拍摄图像进行处理的单元。而且，判定器50也可以具备对通过gpu45处理完成的图像进行显示的显示部。
48.gpu45是图像处理用的运算装置，主要在进行后述的乘客倚靠判定、货物倚靠判定时被运转。帧存储器46是对通过拍摄器24a～24e拍摄并通过gpu45运算处理后的图像进行存储的存储装置。
49.在图5中示出车辆车门倚靠检测系统40，在该车辆车门倚靠检测系统40中举例示出了判定器50的功能块。该功能块例如通过由cpu41执行存储于判定器50的储存设备43或者存储于dvd等计算机可读取的非暂时性的存储介质的程序来构成。
50.判定器50具备图像提取部51、脸部识别部52、头部姿势推定部53、乘客倚靠判定部54、货物识别部55、货物倚靠判定部56以及车门控制部57来作为处理功能部。而且，判定器50具备存储脸部识别部52和货物识别部55的训练数据的已学习模型存储部58。
51.图像提取部51从拍摄器24a～24e所拍摄到的车厢14内的拍摄图像中提取(截取)车门12、12和车厢14内的车门12、12周边的图像区域。车门12、12的周边例如可以是图3所举例示出的车门周边区域28。车门周边区域28例如包含如下的空间区域，该空间区域是将车宽方向的尺寸设为从车门12、12起至车厢14的车宽方向中央为止，将车辆前后方向的尺寸设为从侧柱26b起至侧柱26d为止，并将车辆高度方向的尺寸设为从车厢底板20起至顶棚面为止。
52.例如，拍摄器24a～24e的拍摄范围根据其倍率是已知的。因此，图像提取部51根据拍摄时的倍率来提取各个拍摄器24a～24e的拍摄图像中所包含的车门周边区域28。
53.脸部识别部52从通过图像提取部51提取出的车门周边区域28的图像(车门周边图像)中识别是否包含乘客的脸部图像区域。脸部识别部52例如具备卷积神经网络(cnn)。
54.脸部识别部52的卷积神经网络通过训练数据预先进行学习，该训练数据将脸部图像设为输入数据，并将作为表示辨别出的物体的类别名的乘客的脸部设为输出数据(正确答案数据)。该训练数据存储于已学习模型存储部58。脸部识别部52从由拍摄器24a～24e得到的所有车门周边区域28的图像中识别是否包含乘客的脸部图像区域。
55.需要说明的是，也可以求出通过脸部识别部52识别出脸部的乘客在车厢14内的三维坐标。这例如可以通过使用了拍摄器24a～24e中的两台的立体摄像机系统来求出。由于立体摄像机是已知的技术，因此在此省略说明。例如，脸部识别部52选择拍摄器24a～24e中的任意两台的组合，求出从各个拍摄图像中识别出的脸部图像区域的三维坐标。
56.此外，也可以是，脸部识别部52在选择了拍摄器24a～24e中的任意两台的组合之后，求出从这两台中的至少一方的拍摄图像中识别出的脸部图像区域的三维图像。例如，有时会在两台拍摄器中的一方产生仅照到乘客的后脑勺等难以进行脸部识别的角度的情况。即使在这样的情况下，也能基于被另一方的拍摄器照到的乘客的脸部来求出该脸部图像区域的三维坐标。
57.而且，脸部识别部52可以施加仅将三维坐标靠近车门12、12的脸部图像区域发送至头部姿势推定部53这样的距离过滤。例如，仅提取脸部图像区域的代表点(例如鼻子的顶
端)和与车门12、12的代表点(例如，车门12、12中的一方的、车辆前后方向和车辆高度方向的中心点)的距离为规定的距离以内(例如50cm)的脸部图像区域。而且，表示提取出的脸部图像区域的车门周边图像的数据被发送至头部姿势推定部53。通过施加这样的距离过滤，能减轻判定器50的运算负荷。
58.头部姿势推定部53基于通过脸部识别部52识别出的脸部图像区域来推定乘客的脸部的朝向。由于头部姿势推定是已知的技术，因此在此仅作简单的说明，头部姿势推定部53检测脸部图像区域的特征点(眼睛、鼻子、嘴的端点等)，并且根据其位置关系来推定头部姿势、即脸部的朝向和角度。
59.乘客倚靠判定部54基于通过头部姿势推定部53推定出的乘客的脸部的朝向(头部姿势)来判定该乘客是否倚靠车门12、12。例如，在图6中示出在车厢14内有站立的乘客60a、60b的例子。乘客60a、60b中的更靠近车门12、12的乘客60b背向车门12、12站着，倚靠车门12、12的可能性高。
60.另一方面，在图7中，示出在车厢14内有站立的乘客60c的例子。在该例子中，乘客60c虽然在车门12、12的近旁站着，但其视线朝向车门12、12，与车门12、12正对着。就是说，推定为乘客60c未倚靠车门12、12。
61.乘客倚靠判定部54基于乘客的脸部相对于车门12、12的朝向来判定该乘客有无向车门12、12倚靠。例如，乘客倚靠判定部54求出乘客的视线相对于车门12、12的车厢侧的面的角度θ(以下，适当记载为视线角度θ)。例如，如果视线角度θ＝90
°
，则乘客与车门12、12正对。此外，例如，如果视线角度θ＝0
°
或180
°
，则乘客的视线朝向车辆前方或后方。
62.就乘客倚靠判定部54而言，基于从头部姿势推定部53传送的脸部区域图像数据，如果视线角度θ落在规定的角度范围以内，例如45
°
以上且135
°
以下的范围，则判定为该视线的乘客未倚靠车门12、12。另一方面，对于视线角度θ为0
°
以上且小于45
°
和135
°
以上且小于360
°
的乘客，乘客倚靠判定部54判定为倚靠车门12、12。该乘客的有无倚靠判定的结果被传送至车门控制部57。
63.车门控制部57进行车门开闭马达49的驱动控制，该车门开闭马达49对车门12、12进行开闭。车门控制部57从乘客倚靠判定部54接收有无乘客的倚靠的判定结果，此外，从后述的货物倚靠判定部56接收有无货物的倚靠的判定结果。当从乘客倚靠判定部54接收到没有乘客的倚靠的判定结果并且从货物倚靠判定部56接收到没有货物的倚靠的判定结果时，车门控制部57控制车门开闭马达49，使得以预先确定的通常打开速度打开车门12、12。
64.另一方面，当从乘客倚靠判定部54接收到有乘客的倚靠的判定结果或者从货物倚靠判定部56接收到有货物的倚靠的判定结果时，车门控制部57控制车门开闭马达49，使得以比通常打开速度慢的提醒注意速度打开车门12、12。例如，提醒注意速度被设定为通常打开速度的一半的速度。
65.如后述那样，为了解除向车门12、12的倚靠，通过警告器48来输出警告。对此，就倚靠车门12、12的乘客(倚靠乘客)而言，例如在一边看着便携终端的显示器一边用耳机听着音乐那样的情况下，恐怕会注意不到由警告器48进行的警告。
66.即使在这样的情况下，通过车门12、12移动，从而倚靠车门12、12的乘客可能会注意到该移动而离开车门12、12。因此，车门控制部57以倚靠乘客会注意到车门12、12的动作并且不会马上掉落到车外那样的速度使车门12、12打开。
67.当车门控制部57将车门12、12的打开速度设定为提醒注意速度时，车门控制部57向警告器48发送警告发出指令。警告器48在车门12、12打开之前先向车厢14内发出警告。警告既可以是声音广播，也可以是显示于车厢内的显示器等显示部的警告消息。
68.参照图5，通过货物识别部55和货物倚靠判定部56来判定在车门12、12周边有无货物的倚靠。货物识别部55从通过图像提取部51提取出的车门周边区域28(参照图3)的图像中识别是否包含货物图像区域。货物识别部55例如具备卷积神经网络(cnn)。
69.货物识别部55的卷积神经网络通过训练数据预先进行学习，该训练数据将货物图像设为输入数据，并将作为类别名的货物设为输出数据(正确答案数据)。该训练数据存储于已学习模型存储部58。货物识别部55从由拍摄器24a～24e得到的所有车门周边区域28的图像(车门周边图像)中识别是否包含货物图像区域。
70.此外，识别出的货物的在车厢14内的三维坐标通过货物识别部55来求出。这例如与脸部识别部52同样地可以通过使用了拍摄器24a～24e中的两台的立体摄像机系统来求出。例如，货物识别部55选择拍摄器24a～24e中的任意两台的组合，并求出从各个拍摄图像中识别出的货物图像区域的三维坐标。货物识别部55将货物图像区域及其三维坐标的数据发送至货物倚靠判定部56。
71.此外，在货物倚靠的有无判定中，不考虑货物的朝向。例如，在图10中举例示出车厢14内的图，在该车厢14内，乘客60d坐在货物62a上来代替椅子，并且使货物62b倚靠车门12、12。
72.货物62b倚靠车门12、12，如果乘客60d不使货物62b从车门12、12移开，则在车门12、12打开时，货物62b恐怕会被甩出车外。因此，如后述那样，通过警告的发出和提醒注意速度下的车门12、12的打开，会促使乘客60d移动货物62b。
73.参照图5，就货物倚靠判定部56而言，不论货物的朝向如何，都判定为被放置于车门12、12的近旁的货物倚靠车门12、12。就是说，货物倚靠判定部56基于通过货物识别部55识别出的货物与车门12、12的接近距离来判定货物有无向车门12、12倚靠。
74.例如，货物倚靠判定部56判定是否存在货物图像区域的代表点与车门12、12的代表点的距离为规定的距离以内(例如50cm)的货物图像区域。货物图像区域的代表点例如可以是货物图像区域的最高点。此外，车门12、12的代表点例如可以是车门12、12中的一方的、车辆前后方向和车辆高度方向的中心点。货物的倚靠判定的结果被传送至车门控制部57。
75.＜乘客倚靠判定流程＞
76.在图8中，举例示出由本实施方式的车辆车门倚靠检测系统40进行的乘客倚靠判定流程。在行驶中的车辆10的到车站的剩余距离成为规定的am(例如10m)时，图像提取部51获取拍摄器24a～24e的拍摄图像(s10)。进而，图像提取部51从获取到的拍摄图像中提取包含车门周边区域28(参照图3)的图像区域(车门周边图像)(s12)。
77.提取出的车门周边图像被传送至脸部识别部52。脸部识别部52使用如上所述的卷积神经网络来进行车门周边图像内的脸部识别(s14)。在车门周边图像内未识别出乘客的脸部图像的情况下(s16中为否)，该识别处理结果被传送至乘客倚靠判定部54。乘客倚靠判定部54将没有倚靠的判定结果传送至车门控制部57。响应于该判定结果，车门控制部57将通常打开速度设定为车门12、12的打开速度(s32)。
78.另一方面，当在步骤s16中识别出乘客的脸部图像时，脸部识别部52将包含表示识
别出的脸部图像区域的数据在内的车门周边图像的数据传送至头部姿势推定部53。头部姿势推定部53根据如上所述的脸部图像区域的特征点(眼睛、鼻子、嘴的端点等)的位置关系来推定头部姿势、即脸部的朝向和角度(s18)。
79.进而，除了表示脸部图像区域的数据之外，包含该脸部的头部姿势信息的车门周边图像数据也被传送至乘客倚靠判定部54。乘客倚靠判定部54求出如上所述的视线角度θ，并基于该视线角度θ来判定乘客是否倚靠车门12、12(s20)。该倚靠判定对由拍摄器24a～24e得到的拍摄图像中的识别出脸部图像区域的所有图像的、所有脸部图像区域执行。
80.在通过乘客倚靠判定部54对哪一个脸部图像区域都判定为没有向车门12、12的倚靠的情况下，没有倚靠的判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s32)。
81.另一方面，当对任一个脸部图像区域判定为有向车门12、12的倚靠时，乘客倚靠判定部54将有倚靠的判定结果发送至车门控制部57。响应于该判定结果，车门控制部57将警告发出指令发送至警告器48。响应于该警告发出指令，警告器48在车门12、12打开之前，在车厢14内输出(发出)警告(警告声或警告消息)(s22)。
82.在警告发出后，拍摄器24a～24e对车厢14内进行拍摄。基于该拍摄图像来执行由图像提取部51、脸部识别部52、头部姿势推定部53以及乘客倚靠判定部54进行的倚靠判定(s24)。当通过该判定判定为没有乘客的倚靠时，该判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s32)。
83.另一方面，当在步骤s24中通过乘客倚靠判定部54判定为依然有乘客倚靠车门时，该判定结果被传送至车门控制部57。车门控制部57将提醒注意速度设定为车门12、12的打开速度(s26)。
84.通过车门控制部57来控制车门开闭马达，以提醒注意速度使车门12、12打开。在该打开期间中，拍摄器24a～24e对车厢14内进行拍摄。基于该拍摄图像来执行由图像提取部51、脸部识别部52、头部姿势推定部53以及乘客倚靠判定部54进行的倚靠判定(s28)。当通过该判定判定为没有乘客的倚靠时，就是说当通过该判定判定为乘客的倚靠被解除了时，该判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s32)。
85.另一方面，当在步骤s28中通过乘客倚靠判定部54判定为依然有乘客倚靠车门时，该判定结果被传送至车门控制部57。车门控制部57使车门12、12紧急停止，并且向车辆10的运行管理者发送旨在表示由于乘客的倚靠而中止了车门12、12的打开的消息(s30)。
86.根据上述的实施方式，在检测到乘客向车门12、12的倚靠时，在车门12、12打开前发出警告，由此谋求倚靠的解除。而且，在通过发出警告无法谋求倚靠的解除的情况下，以提醒注意速度使车门12、12打开，由此积极地促使乘客与车门12、12分开。而且，在通过这些手段都无法解除倚靠的情况下，为了保护乘客，车门12、12的打开被中止。
87.＜乘客倚靠判定流程的另一个例子＞
88.在图9中，示出由本实施方式的车辆车门倚靠检测系统进行的乘客倚靠判定流程的另一个例子。在图9的流程中，简而言之，与图8的流程相比省略了条件分支。例如，该流程在进行乘客倚靠判定流程的动作确认时被执行。此外，有意地倚靠了车门12、12的扮演乘客角色的例如维护检修的操作员搭乘在车厢14中，该情形被拍摄器24a～24e拍摄到。
89.在图9中，省略有无识别出脸部图像的判定(s16)。此外，代替判定有无乘客的倚靠的步骤s20、s24、s28，设有判定为乘客倚靠车门12、12的步骤s32、s34、s36。
90.＜货物倚靠判定流程＞
91.在图11中，举例示出由本实施方式的车辆车门倚靠检测系统40进行的货物倚靠判定流程。该流程与图8的乘客倚靠判定流程并行地执行。
92.在行驶中的车辆10的到车站的剩余距离成为规定的am(例如10m)时，图像提取部51获取拍摄器24a～24e的拍摄图像(s40)。进而，图像提取部51从获取到的拍摄图像中提取包含车门周边区域28(参照图3)的图像区域(车门周边图像)(s42)。
93.提取出的车门周边图像被传送至货物识别部55。货物识别部55使用如上所述的卷积神经网络来进行车门周边图像内的货物识别(s44)。在车门周边图像内未识别出货物图像的情况下，该识别处理结果被传送至货物倚靠判定部56。货物倚靠判定部56将没有倚靠的判定结果传送至车门控制部57。响应于该判定结果，车门控制部57将通常打开速度设定为车门12、12的打开速度(s58)。
94.另一方面，当在步骤s44中识别出货物图像时，货物识别部55将包含表示识别出的货物图像区域的数据在内的车门周边图像的数据传送至货物倚靠判定部56。货物倚靠判定部56判定识别出的货物是否倚靠(接触)车门12、12(s46)。
95.例如，货物倚靠判定部56判定是否存在上述的货物图像区域的代表点与车门12、12的代表点的距离为规定的距离以内的货物图像区域。该倚靠判定对由拍摄器24a～24e得到的拍摄图像中的识别出货物图像区域的所有图像的、所有货物图像区域执行。
96.在通过货物倚靠判定部56对哪一个货物图像区域都判定为没有向车门12、12的倚靠的情况下，没有倚靠的判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s58)。
97.另一方面，当对任一个货物图像区域判定为有向车门12、12的倚靠时，货物倚靠判定部56将有倚靠的判定结果发送至车门控制部57。响应于该判定结果，车门控制部57将警告发出指令发送至警告器48。响应于该警告发出指令，警告器48在车门12、12打开之前，向车厢14输出(发出)警告(警告声或警告消息)(s48)。
98.在警告发出后，拍摄器24a～24e对车厢14内进行拍摄。基于该拍摄图像来执行由图像提取部51、货物识别部55以及货物倚靠判定部56进行的倚靠判定(s50)。当通过该判定判定为没有货物的倚靠时，该判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s58)。
99.另一方面，当在步骤s50中通过货物倚靠判定部56判定为依然有货物倚靠车门时，该判定结果被传送至车门控制部57。车门控制部57将提醒注意速度设定为车门12、12的打开速度(s52)。
100.通过车门控制部57来控制车门开闭马达49，以提醒注意速度使车门12、12打开。在该打开期间中，拍摄器24a～24e对车厢14内进行拍摄。基于该拍摄图像来执行由图像提取部51、货物识别部55以及货物倚靠判定部56进行的倚靠判定(s54)。当通过该判定判定为没有货物的倚靠，就是说当通过该判定判定为货物的倚靠被解除了时，该判定结果被传送至车门控制部57。车门控制部57将通常打开速度设定为车门12、12的打开速度(s58)。
101.另一方面，当在步骤s54中通过货物倚靠判定部56判定为依然有货物倚靠车门时，
该判定结果被传送至车门控制部57。车门控制部57使车门12、12紧急停止，并且向车辆10的运行管理者发送旨在表示由于货物的倚靠而中止了车门12、12的打开的消息(s56)。
102.根据上述的实施方式，在检测到货物向车门12、12的倚靠时，在车门12、12打开前发出警告，由此谋求倚靠的解除。而且，在通过发出警告无法谋求倚靠的解除的情况下，以提醒注意速度使车门12、12打开，由此积极地促使货物与车门12、12分开。而且，在通过这些手段都无法解除倚靠的情况下，为了保护货物，车门12、12的打开被中止。
103.需要说明的是，在图8所举例示出的乘客倚靠判定流程和图11所举例示出的货物倚靠判定流程中，有时车门控制部57中的设定速度会不同。例如，有时会在一方的流程中设定提醒注意速度，在另一方的流程中设定通常打开速度。在这样设定速度发生冲突的情况下，以优先地选择提醒注意速度的方式确定车门控制部57内的处理。
104.此外，在使图8所举例示出的乘客倚靠判定流程和图11所举例示出的货物倚靠判定流程并行地执行的情况下，有时会一方相对于另一方被延迟从而在设定速度的输出中产生时滞。在该情况下，例如，车门控制部57可以等待图8的步骤s24和图11的步骤s50这两者的输出来设定车门12、12的打开速度。
105.＜货物倚靠判定流程的另一个例子＞
106.在图12中，示出由本实施方式的车辆车门倚靠检测系统进行的货物倚靠判定流程的另一个例子。在该例子中，简而言之，与图11的流程相比省略了条件分支。例如，该流程在进行货物倚靠判定流程的动作确认时被执行。此外，在车厢14中，有意地使货物倚靠车门12、12，在拍摄器24a～24e拍摄到车厢14内的图像。
107.此外，在图12中，代替有无识别出货物图像的判定(s44)和判定有无货物的倚靠的步骤s46、s50、s54，设有判定为货物倚靠车门12、12的步骤s60、s62、s64、s66。
108.需要说明的是，在上述的实施方式中，在判定为有乘客和货物中的至少一方的倚靠时，首先，发出由警告器48进行的警告，在尽管那样也未解除倚靠的情况下，以提醒注意速度打开了车门12、12，但本实施方式的车辆车门倚靠检测系统40不限于该方式。例如，也可以是，省略警告的发出，仅执行提醒注意速度下的车门12、12的打开。此外，也可以是，在警告的发出的同时，以提醒注意速度打开车门12、12。