步行辅助系统的制作方法

1.本发明涉及步行辅助系统。特别是，本发明涉及对行人进行人行横道的穿越开始通知的系统的改良。


背景技术：

2.作为对行人进行人行横道的穿越开始通知以使视觉障碍者等行人能安全地穿越人行横道的系统(步行辅助系统)，已知有wo2018/025531所公开的系统。在该wo2018/025531中，公开了具备：方向决定部，决定不使用视觉而行动的人(视觉障碍者)行走的方向；以及引导信息生成部，生成用于使视觉障碍者向所决定出的方向行走的引导信息，通过来自视觉障碍者所携带的摄像机的图像与预先存储的参照图像的匹配来决定视觉障碍者的步行方向，并通过声音等来对视觉障碍者引导步行方向。
3.再者，在行人(视觉障碍者等)实际接近人行横道的状况下，行人应该停止的位置是人行横道的近前。此外，行人穿越人行横道的定时是信号器(例如行人用信号器)变为绿灯的定时。因此，为了对行人适当地进行穿越开始通知(在人行横道的近前的步行的停止通知和之后的穿越开始通知)，需要通过来自摄像机等图像获取单元的信息来准确地预先识别人行横道的位置(例如在人行横道上位于最近前侧的白线的位置)和信号器的状态(是绿灯还是红灯)。
4.然后，在行人到达人行横道的近前的状况下，在人行横道上位于最近前侧的白线位于行人的脚下附近(离脚下稍前方的位置)。该白线的位置是离行人比较近的位置且从行人来看是下侧(斜下侧)的位置，并且是离行人所携带的摄像机(拍摄行人的步行方向的前方的摄像机)也比较近的位置且下侧的位置。另一方面，在行人到达人行横道的近前并停止的状况下，应该识别的信号器是设置于穿越目的地的地点的信号器(设置于穿过了人行横道的位置的信号器)。该信号器的位置是离行人比较远的位置，并且是离行人所携带的摄像机也比较远的位置。
5.因此，若想要通过行人所携带的一台摄像机来拍摄人行横道的白线(位于最近前侧的白线)和信号器这双方，则需要广角的摄像机。但是，在由该广角的摄像机拍摄到的图像中，信号器相对于图像整体的占有区域小，因此难以根据该图像的信息来判断信号器的状态，从而无法保证充分地得到信号器的识别精度。
6.如果将行人所携带的摄像机设为窄角的摄像机，并通过该摄像机来拍摄信号器，则信号器相对于图像整体的占有区域变大，能充分地提高信号器的识别精度。但是，该窄角的摄像机无法同时拍摄信号器和人行横道的白线(位于最近前侧的白线)。因此，除了拍摄信号器的摄像机之外，还需要用于拍摄白线的摄像机，会导致因系统的构成的复杂化、系统的重量增大而引起行人的负担变大的问题。


技术实现要素：

7.本发明是鉴于这点而完成的，其目的在于提供一种步行辅助系统，该步行辅助系
统能通过一台图像获取单元来对人行横道的位于最近前侧的白线和信号器进行识别，并且能充分地得到信号器的识别精度，并能适当地进行对行人的穿越开始通知。
8.用于达成所述目的的本发明的解决方案以在行人穿越人行横道时，对该行人至少进行该穿越的开始通知(穿越开始通知)的步行辅助系统为前提。并且，该步行辅助系统具备图像获取单元、判别部、图像处理部、信号器判断部、切换识别部以及通知单元。图像获取单元能获取包含所述行人到达人行横道时的、该人行横道的白线中位于最靠近所述行人的位置的白线和位于所述行人的前方的信号器这双方的图像。判别部判别由所述图像获取单元获取到的图像中的、包含所述人行横道的图像区域和包含所述信号器的图像区域。图像处理部提取由所述判别部判别出的包含信号器的图像区域，并且进行该提取出的图像区域的放大处理。信号器判断部根据由所述图像处理部进行了放大处理的包含所述信号器的图像区域的信息来判断所述信号器的状态是停止指示状态和穿越允许状态中的哪一个。切换识别部对由所述信号器判断部判断出的信号器的状态从所述停止指示状态切换为所述穿越允许状态进行识别。通知单元以在所述切换识别部识别出的所述信号器的状态从所述停止指示状态切换为所述穿越允许状态为条件，向所述行人进行穿越的开始通知。
9.根据该特定事项，在行人在人行横道的近前停止的状况下，图像获取单元获取包含人行横道的白线中位于最靠近行人的位置的白线和位于行人的前方的信号器这双方的图像。该图像的信息被发送至判别部，该判别部判别该图像中的、包含人行横道的图像区域和包含信号器的图像区域。然后，图像处理部提取该判别出的包含信号器的图像区域，并且进行该提取出的图像区域的放大处理。通过该提取和放大处理，信号器相对于图像整体的占有区域变大，因此易于根据该图像的信息来判断信号器的状态，从而能充分地提高信号器的识别精度。
10.然后，信号器判断部根据该提取和放大处理后的包含信号器的图像区域的信息来判断信号器的状态是停止指示状态和穿越允许状态中的哪一个。当识别出信号器的状态从停止指示状态切换为穿越允许状态时，切换识别部向通知单元发送该识别信号。在通知单元中，接到该信号并向行人进行穿越的开始通知。就是说，以信号器的状态从停止指示状态切换为穿越允许状态为条件，向行人进行穿越的开始通知。因此，在行人穿越人行横道时，能充分地确保信号器的状态成为穿越允许状态的时间。
11.并且，在本解决方案中，能通过图像获取单元(一台图像获取单元)来获取包含人行横道的白线中位于最靠近行人的位置的白线和位于行人的前方的信号器这双方的图像，并且通过由图像处理部进行的对包含信号器的图像区域的提取和放大处理，能充分地提高信号器的识别精度。因此，能在不导致系统的构成的复杂化、系统的重量增大的情况下适当地对行人进行穿越开始通知。
12.此外，具备白线识别部，该白线识别部对由所述判别部判别出的包含所述人行横道的图像区域中的该人行横道的白线进行识别，所述通知单元以由所述白线识别部识别出的所述白线中的在所述人行横道上最近前的白线的位置达到与行人存在规定距离的位置为条件，向所述行人进行步行的停止通知。
13.由此，能在行人到达人行横道的近前的规定位置的定时进行步行的停止通知，从而能可靠地使行人在人行横道的近前停止。
14.此外，所述白线识别部被配置为：在由所述图像获取单元获取到的图像中的所述
白线的宽度尺寸超过规定尺寸的情况下，将该白线识别为所述行人应该穿越的人行横道的白线。
15.据此，即使在道路的交叉路口等存在穿越方向相互不同的多个人行横道的情况下，也能明确地判别行人应该穿越的人行横道(由于由图像获取单元获取到的图像中的白线在与行人应该穿越的方向交叉的方向上延伸，因此该白线的宽度尺寸被识别得比较宽的人行横道)和其他人行横道(由图像获取单元获取到的图像中的白线的宽度尺寸被识别得比较窄的人行横道)，从而能高精度且准确地进行向行人的穿越的开始通知。
16.此外，具备存储部，所述存储部存储有：第一状态转变函数，用于判定对处于步行状态的所述行人在所述人行横道的近前进行该步行的停止通知的条件有无成立；第二状态转变函数，用于判定对在所述人行横道的近前处于停止状态的所述行人进行所述人行横道的穿越的开始通知的条件有无成立；第三状态转变函数，用于判定对处于所述人行横道的穿越状态的所述行人进行从所述人行横道偏离的警告的条件有无成立；以及第四状态转变函数，用于判定对处于所述人行横道的穿越状态的所述行人进行所述人行横道的穿越完成了的通知的条件有无成立，所述通知单元被配置为：随着基于所述各状态转变函数中的任一个函数的所述条件的成立，向所述行人进行与该条件的成立相应的通知。
17.就是说，在通过第一状态转变函数判定为进行步行的停止通知的条件已成立的情况下，通知单元对处于步行状态的行人进行该步行的停止通知。此外，在通过第二状态转变函数判定为进行人行横道的穿越的开始通知的条件已成立的情况下，通知单元对在人行横道的近前处于停止状态的行人进行人行横道的穿越的开始通知。此外，在通过第三状态转变函数判定为进行从人行横道偏离的警告的条件已成立的情况下，通知单元对处于人行横道的穿越状态的行人进行从人行横道偏离的警告。此外，在通过第四状态转变函数判定为进行人行横道的穿越完成了的通知的条件已成立的情况下，通知单元对处于人行横道的穿越状态的行人进行人行横道的穿越完成了的通知。通过这些动作，能对行人适当地进行穿越人行横道时的各通知。
18.此外，所述通知单元被配置为：内置于视觉障碍者所使用的盲杖，通过振动或声音来向使用所述盲杖的所述视觉障碍者进行通知。
19.由此，能对一边持盲杖一边步行的视觉障碍者适当地进行穿越人行横道时的通知。
20.此外，在所述图像获取单元、所述判别部、所述图像处理部、所述信号器判断部、所述切换识别部以及所述通知单元分别内置于所述盲杖的情况下，能仅由盲杖来实现步行辅助系统，从而能提供实用性高的步行辅助系统。
21.在本发明中，判别由图像获取单元获取到的图像中的、包含信号器的图像区域，提取该判别出的包含信号器的图像区域，并且进行该提取出的图像区域的放大处理，由此判断信号器的状态是停止指示状态和穿越允许状态中的哪一个，并且以信号器的状态从停止指示状态切换为穿越允许状态为条件，向行人进行穿越的开始通知。因此，即使是来自一台图像获取单元的图像信息，也能充分地提高信号器的识别精度。其结果是，能在不导致系统的构成的复杂化、系统的重量增大的情况下对行人适当地进行穿越开始通知。
附图说明
22.以下，参照附图，对本发明的示例性实施例的特征、优点以及技术和工业意义进行说明，其中，相同的附图标记表示相同的元素，其中：
23.图1是表示内置有实施方式的步行辅助系统的盲杖的图。
24.图2是表示盲杖的握持部的内部的概略图。
25.图3是表示步行辅助系统的控制系的概略构成的框图。
26.图4是表示在视觉障碍者处于向人行横道的步行状态时由摄像机拍摄到的图像的一个例子的图。
27.图5是表示在视觉障碍者到达人行横道的定时由摄像机拍摄到的图像的一个例子的图。
28.图6是表示在视觉障碍者处于人行横道的穿越状态时由摄像机拍摄到的图像的一个例子的图。
29.图7是表示在处于人行横道的穿越状态的视觉障碍者向偏离到人行横道的右侧的方向步行时由摄像机拍摄到的图像的一个例子的图。
30.图8是表示在处于人行横道的穿越状态的视觉障碍者向偏离到人行横道的左侧的方向步行时由摄像机拍摄到的图像的一个例子的图。
31.图9是用于对包含信号器的图像区域的提取动作进行说明的图。
32.图10是表示提取和放大处理后的图像的一个例子的图。
33.图11是表示识别出的人行横道和信号器的图像的图。
34.图12是用于对识别出的人行横道的白线的边界框(boundary box)中的各部分的尺寸进行说明的图。
35.图13是表示由步行辅助系统进行的步行辅助动作的过程的流程图。
具体实施方式
36.以下，基于附图对本发明的实施方式进行说明。在本实施方式中，对将本发明的步行辅助系统内置于视觉障碍者所使用的盲杖的情况进行说明。需要说明的是，作为本发明中的行人，不限定于视觉障碍者。
37.－盲杖的概略构成－
38.图1是表示内置有本实施方式的步行辅助系统10的盲杖1的图。如该图1所示，盲杖1具备杆(shaft)部2、握持部3以及末端(tip)部(金属箍)4。
39.杆部2是具有中空的大致圆形截面的棒状，由铝合金、玻璃纤维增强树脂、碳纤维增强树脂等形成。
40.在杆部2的基端部(上端部)装接有由橡胶等弹性体形成的罩31来构成握持部3。此外，考虑到视觉障碍者(行人)把持时的易把持和不易滑脱，本实施方式中的盲杖1的握持部3成为向顶端侧(图1中的上侧)稍微弯曲的形状。
41.末端部4是由硬质的合成树脂等形成的大致有底筒状的构件，外插于杆部2的顶端部并通过粘接、螺钉紧固等方式固定。需要说明的是，安全起见，末端部4的顶端侧的端面成为半球状。
42.本实施方式的盲杖1是无法折叠的直杖，但也可以是被设为在杆部2的中间的一个
部位或多个部位能折叠或能伸缩的盲杖。
43.－步行辅助系统的构成－
44.本实施方式的特征在于内置于所述盲杖1的步行辅助系统10。以下，对该步行辅助系统10进行说明。
45.图2是表示盲杖1的握持部3的内部的概略图。如该图2所示，本实施方式的步行辅助系统10内置于盲杖1。此外，图3是表示步行辅助系统10的控制系的概略构成的框图。
46.如该图所示，步行辅助系统10具备摄像机(图像获取单元)20、近距离无线通信器40、振动发生器(通知单元)50、电池60、充电插口70以及控制装置80等。
47.摄像机20嵌入握持部3的根部处的该握持部3的前表面(朝向视觉障碍者的行进方向的面)，拍摄视觉障碍者的行进方向前侧。该摄像机20例如由ccd(charge coupled device：电荷耦合器件)、cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)等形成。此外，摄像机20的构成、配设位置不限定于前述的内容，例如也可以嵌入杆部2的前表面(朝向视觉障碍者的行进方向的面)。
48.作为该摄像机20的特征，被配置为能获取如下图像的广角的摄像机：位于步行的视觉障碍者的行进方向的前方且包含该视觉障碍者到达人行横道时的、该人行横道的白线中位于最靠近视觉障碍者的位置的白线和位于视觉障碍者的前方的信号器(例如行人用信号器)这双方。就是说，摄像机20被配置为：能在视觉障碍者到达人行横道的近前的时间点拍摄存在于视觉障碍者的脚下附近(离脚下稍前方的位置)的人行横道上的位于最近前侧的白线和设置于穿越目的地的地点的信号器这双方。该摄像机20所需的视角被适当地设定为如前述那样能获取包含位于最靠近视觉障碍者的位置的白线(人行横道的白线)和信号器这双方的图像的视角。
49.近距离无线通信器40是用于在所述摄像机20与控制装置80之间进行近距离无线通信的无线通信装置。例如，近距离无线通信器40被配置为：通过众所周知的蓝牙(bluetooth(注册商标))等通信方式来在摄像机20与控制装置80之间进行近距离无线通信，将摄像机20所拍摄到的图像的信息向控制装置80进行无线发送。
50.振动发生器50配设于握持部3的根部处的所述摄像机20的上侧。该振动发生器50随着内置的马达的工作而振动，并将该振动传递至握持部3，由此向把持该握持部3的视觉障碍者进行各种通知。在后文对由该振动发生器50的振动实现的向视觉障碍者的通知的具体例子进行叙述。
51.电池60由二次电池构成，该二次电池储存用于所述摄像机20、近距离无线通信器40、振动发生器50、控制装置80的电力。
52.充电插口70是在对电池60蓄存电力时连接充电电缆的部分。例如，在视觉障碍者在家中从家用电源对电池60进行充电时，充电插口70连接充电电缆。
53.控制装置80例如具备cpu(central processing unit：中央处理器)等处理器、存储控制程序的rom(read-only memory：只读存储器)、暂时存储数据的ram(random-access memory：随机存取存储器)以及输入输出端口等。
54.并且，该控制装置80具备信息接收部81、判别部82、图像处理部83，信号器判断部84、切换识别部85、白线识别部86以及信息发送部87来作为其功能部。以下，对这些各部的功能的概略进行说明。需要说明的是，在后文对各部中的处理动作的详情进行叙述。
55.信息接收部81以规定时间间隔从所述摄像机20经由近距离无线通信器40接收该摄像机20所拍摄到的图像的信息。
56.判别部82判别信息接收部81所接收到的图像的信息(由摄像机20拍摄到的图像的信息)中的该图像中的、包含人行横道的图像区域和包含信号器的图像区域。
57.图像处理部83提取由所述判别部82判别出的包含信号器的图像区域，并且进行该提取出的图像区域的放大处理。
58.信号器判断部84根据由所述图像处理部83进行了放大处理的包含信号器的图像区域的信息来判断信号器的状态是红灯(停止指示状态)和绿灯(穿越允许状态)中的哪一个。
59.切换识别部85对由所述信号器判断部84判断出的信号器的状态从红灯切换为绿灯进行识别。在识别出该信号的切换时，该切换识别部85将切换信号发送至信息发送部87。该切换信号从信息发送部87被发送至振动发生器50。与接到该切换信号联动，振动发生器50以规定的模式进行振动，对视觉障碍者进行因信号器从红灯切换为绿灯而允许人行横道的穿越的通知(穿越开始通知)。
60.白线识别部86对由所述判别部82判别出的包含人行横道的图像区域中的该人行横道的白线进行识别。
61.－步行辅助动作－
62.接着，对由如前述那样构成的步行辅助系统10进行的步行辅助动作进行说明。首先，对本实施方式的概要进行说明。
63.(本实施方式的概要)
64.在此将视觉障碍者的步行中的时间表示为t∈[0，t]，将表示该视觉障碍者的状态的变量(状态变量)设为s∈r
t
。此外，设为时刻t时的状态变量由s
t
∈[0，1，2]的整数来表现，分别表示步行状态(s
t
＝0)、停止状态(s
t
＝1)、穿越状态(s
t
＝2)。在此所说的步行状态是指例如假定视觉障碍者向交叉路口(有信号器和人行横道的交叉路口)步行的状态。此外，停止状态是指假定视觉障碍者到达人行横道的近前，因等待信号(等待从红灯切换为绿灯)而停止的状态(不步行的状态)。此外，穿越状态是指假定视觉障碍者正穿越人行横道的状态。
[0065]
本实施方式提出一种算法，该算法在时刻t输入由摄像机20拍摄到的图像(w0、h0分别表示图像的纵向和横向的图像大小)时，求出以辅助视觉障碍者的步行为目的的输出y∈r
t
。在此，作为辅助视觉障碍者的步行的输出，设为由y
t
∈[1，2，3，4]的整数来表现，分别表示停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)。在以下的说明中，有时也将停止指示称为停止通知。此外，有时也将步行指示称为步行通知或穿越通知。通过振动发生器50的振动的模式来对视觉障碍者进行这些指示(通知)和警告。视觉障碍者预先掌握指示和警告与振动发生器50的振动的模式的关系，从而通过从握持部3感知振动发生器50的振动的模式来掌握指示和警告的种类。
[0066]
此外，如后述那样，存在判定表示视觉障碍者的状态的变量s的转变的函数(以下，称为状态转变函数)f0、f1、f2和判断从人行横道偏离(向左右方向偏离)的状态转变函数f3，这些状态转变函数f0～f3存储于所述rom(本发明中所说的存储部)。在后文对这些状态转变函数f0～f3的具体例子进行叙述。
[0067]
(输出变量y和状态转变函数fi的概要)
[0068]
对前述的辅助视觉障碍者的步行的输出y
t
∈[1，2，3，4]进行说明。
[0069]
如前述那样，作为输出y
t
，以视觉障碍者的步行辅助为目的存在停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)这四种输出。
[0070]
停止指示(y
t
＝1)是在步行的视觉障碍者到达人行横道的近前的时间点对该视觉障碍者进行停止步行的意思的通知。例如，如果由摄像机20拍摄到的图像是图4(表示在视觉障碍者处于朝向人行横道cw的步行状态时，由摄像机20拍摄到的图像的一个例子的图)所示的状态，则到人行横道cw为止的距离比较长，因此不进行停止指示(y
t
＝1)，视觉障碍者持续步行状态(s
t
＝0)，在由摄像机20拍摄到的图像成为图5(表示在视觉障碍者到达人行横道cw的定时，由摄像机20拍摄到的图像的一个例子的图)所示的状态的情况下，由于是视觉障碍者到达人行横道cw的近前的定时，因此输出停止指示(y
t
＝1)来对该视觉障碍者进行停止步行的意思的通知。在后文对进行该停止指示(y
t
＝1)的条件是否成立的判定(基于状态转变函数的计算结果的判定)进行叙述。
[0071]
步行指示(y
t
＝2)是通过信号器tl从红灯切换为绿灯来对视觉障碍者进行指示步行(人行横道cw的穿越)的意思的通知。例如，在视觉障碍者在人行横道cw的近前处于停止状态(s
t
＝1)的状况下，在基于由摄像机20拍摄到的图像而检测到信号器tl从红灯切换为绿灯的情况下，输出步行指示(y
t
＝2)，对该视觉障碍者进行开始人行横道cw的穿越的意思的通知。在后文也对进行该步行指示(y
t
＝2)的条件是否成立的判定(基于状态转变函数的计算结果的判定)进行叙述。
[0072]
并且，在本实施方式中，作为进行该步行指示(y
t
＝2)的定时，设为信号器tl的状态从红灯切换为绿灯的定时。就是说，假设即使在视觉障碍者到达人行横道cw的时间点信号器tl已经变为绿灯也不进行步行指示(y
t
＝2)，而在信号器tl暂时变为红灯，之后切换为绿灯的定时进行步行指示(y
t
＝2)。由此，在视觉障碍者穿越人行横道cw时，能充分地确保信号器tl成为绿灯的时间，不易导致在视觉障碍者正穿越人行横道cw的中途信号器tl从绿灯切换为红灯的状况。
[0073]
右偏离警告(y
t
＝3)在正穿越人行横道cw的视觉障碍者向从人行横道cw偏离到右侧的方向步行时，对该视觉障碍者进行恐怕会从人行横道cw偏离到右侧的警告。例如，在由摄像机20拍摄到的图像处于图6(表示在视觉障碍者处于人行横道cw的穿越状态时由摄像机20拍摄到的图像的一个例子的图)所示的状态且视觉障碍者处于人行横道cw的穿越状态(s
t
＝2)的状况下，在由摄像机20拍摄到的图像成为图7(表示在处于人行横道cw的穿越状态的视觉障碍者向偏离到人行横道cw的右侧的方向步行时由摄像机20拍摄到的图像的一个例子的图)所示的状态的情况下，由于视觉障碍者向从人行横道cw偏离到右侧的方向步行，因此输出右偏离警告(y
t
＝3)来对该视觉障碍者进行警告。
[0074]
左偏离警告(y
t
＝4)在正穿越人行横道cw的视觉障碍者向从人行横道cw偏离到左侧的方向步行时，对该视觉障碍者进行恐怕会从人行横道cw偏离到左侧的警告。例如，在由摄像机20拍摄到的图像处于图6所示的状态且视觉障碍者处于人行横道cw的穿越状态(s
t
＝2)的状况下，在由摄像机20拍摄到的图像成为图8(表示在处于人行横道cw的穿越状态的视觉障碍者向偏离到人行横道cw的左侧的方向步行时由摄像机20拍摄到的图像的一个例子的图)所示的状态的情况下，由于视觉障碍者向从人行横道cw偏离到左侧的方向步行，因此输出左偏离警告(y
t
＝4)来对该视觉障碍者进行警告。
[0075]
在后文也对进行该右偏离警告(y
t
＝3)和左偏离警告(y
t
＝4)的条件是否成立的判定(基于状态转变函数的计算结果的判定)进行叙述。
[0076]
(包含信号器的图像区域的提取和放大处理)
[0077]
如前述那样在本实施方式中，作为进行步行指示(y
t
＝2)的定时，设为信号器tl的状态从红灯切换为绿灯的定时。此外，将摄像机20设为广角的摄像机，能在视觉障碍者到达人行横道cw的近前的时间点拍摄存在于视觉障碍者的脚下附近的人行横道cw上的位于最近前侧的白线wl1(参照图4和图5)和设置于穿越目的地的地点的信号器tl这双方。在由这样的广角的摄像机20拍摄到的图像中，信号器tl相对于图像整体的占有区域小，因此难以根据该图像的信息来判断信号器tl的状态，从而无法保证充分地得到信号器tl的识别精度。
[0078]
因此，在本实施方式中，判别由摄像机20拍摄到的图像中的、包含人行横道cw的图像区域(由所述判别部82进行的判别动作)，提取包含信号器tl的图像区域，并且进行该提取出的图像区域的放大处理(由所述图像处理部83进行的处理)。以下，对该处理的概要进行说明。
[0079]
在视觉障碍者在人行横道cw的近前处于停止状态(s
t
＝1)的状况下，由摄像机20拍摄到的图像例如被获取为图5所示的图像。然后，对于该获取到的图像，如图9所示，以该图像的左下为原点，通过横轴的长度(坐标点)w1、w2、纵轴的长度(坐标点)h1、h2来指定所述提取(进行剪切)的区域。就是说，通过指定它们来提取图9中作为包含信号器tl的图像区域的被虚线包围的区域a。以下，对各长度进行具体说明。
[0080]
w1、w2、h1分别确定表示被提取的区域(被修剪的图像)a的左边、右边、底边的位置的坐标。它们使用由深度学习模型检测到的人行横道的边界框(在图9中用单点划线包围的四边形)中位于最上侧的边界框(包围位于最远位置的白线wl7的边界框)的左边、右边、上边的坐标来进行定义。
[0081]
并且，所述被修剪的图像(区域a)的上边h2根据由摄像机20拍摄到的图像中的人行横道cw的占有率来进行定义，并且人行横道cw的占有率越大上边h2的值也被设定得越大。就是说，在人行横道cw的占有率大的情况下，假定图像内的信号器tl的高度位置是上方，因此将上边h2的值设定得大，并将被修剪的图像的上边h2设定于高的位置。具体而言，该上边h2使用与h1相乘的系数α∈[1，h0/h1]而被定义为h2＝α
·
h1。由此，在图9中被虚线包围的区域a被提取并且该区域a被放大处理，由此得到图10所示的图像(信号器tl的占有区域被放大的图像)。由此，能容易地判断信号器tl的状态，从而能充分地提高信号器tl的识别精度。
[0082]
(在步行辅助中使用的特征量)
[0083]
接着，对在针对视觉障碍者的步行辅助中使用的特征量进行说明。为了对视觉障碍者适当地进行在人行横道cw的近前的步行的停止通知和之后的穿越开始通知等各种通知，需要通过来自摄像机20的信息来准确地预先识别人行横道cw的位置(在人行横道cw上位于最近前侧的白线wl1的位置)和信号器tl的状态(是绿灯还是红灯)。就是说，需要预先构建反映白线wl1的位置和信号器tl的状态的模型算式，从而能根据该模型算式来掌握当前视觉障碍者所处的状况。
[0084]
图11和图12示出在针对视觉障碍者的步行辅助中使用的特征量[w3，w4，w5，h3，r，
b]
t
∈r6的概要。r、b分别表示信号器tl的状态(红灯和绿灯)的检测结果(0：未检测到，1：检测到)。在该信号器tl的状态的检测时，如前述那样在图9中被虚线包围的区域a被提取，并且该区域a被放大处理，由此进行基于图10所示的图像(信号器tl的占有区域被放大的图像)的信号器tl的状态的识别。此外，w3、w4、w5、h3使用针对由所述白线识别部86识别出的人行横道cw的白线wl1～wl7中位于最近前的白线wl1的边界框如图12所示那样进行定义。就是说，w3是从图像的左端起至边界框的左端(相当于白线wl1的左端)为止的距离，w4是边界框的宽度尺寸(相当于白线wl1的宽度尺寸)，w5是从图像的右端起至边界框的右端(相当于白线wl1的右端)为止的距离，h3是从图像的下端起至边界框的下端(相当于白线wl1的近前侧的端缘)为止的距离。
[0085]
在将使用深度学习来检测人行横道cw和信号器tl的函数设为g的情况下，若将使用在时刻t由摄像机20拍摄到的图像而预测出的人行横道cw和信号器tl的边界框表现为g(x
t
)，则作为辅助视觉障碍者的步行所需的特征量，能表现为以下的算式(1)。
[0086]
[数式1]
[0087][0088]
其中，
[0089]
[数式2]
[0090][0091]
上述是提取所述特征量j(t)的算符，用于进行针对所述g(x
t
)的后处理，p1是每一帧的边界框的最大数。
[0092]
(状态转变函数)
[0093]
接着，对状态转变函数进行说明。如前述那样，该状态转变函数用于判定停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)各自的进行通知的条件是否成立。
[0094]
在时刻t+1的状态量(状态变量)s
t+1
能使用针对人行横道cw的特征量的时刻履历信息j＝{j(0)，j(1)，
……
j(t)}、当前的状态量(状态变量)s
t
以及在时刻t+1拍摄到的图像x
t+1
如以下的算式(3)那样表示。
[0095]
[数式3]
[0096]st+1
＝f(j，s
t
，x
t+1
)
…
(3)
[0097]
该算式(3)中的状态转变函数f能根据当前时刻的状态量如以下的算式(4)那样进行定义。
[0098]
[数式4]
[0099][0100]
就是说，作为视觉障碍者的步行的推移，反复进行步行(例如向人行横道cw的步行)
→
停止(例如在人行横道cw的近前的停止)
→
穿越(例如人行横道cw的穿越)
→
步行(例
如人行横道cw的穿越完成后的步行)，其中，用于判定对处于步行状态(s
t
＝0)的视觉障碍者进行停止指示(y
t
＝1)的条件有无成立的状态转变函数是f0(j，x
t+1
)，用于判定对处于停止状态(s
t
＝1)的视觉障碍者进行穿越(步行)指示(y
t
＝2)的条件有无成立的状态转变函数是f1(j，x
t+1
)，用于判定对处于穿越状态(s
t
＝2)的视觉障碍者进行步行(穿越的完成)的通知的条件有无成立的状态转变函数是f2(j，x
t+1
)。此外，如后述的算式(12)所示，用于判定对处于穿越状态(s
t
＝2)的视觉障碍者进行从人行横道cw偏离的警告的条件有无成立的状态转变函数是f3(j，x
t+1
)。
[0101]
以下，对与各状态量(状态变量)分别对应的状态转变函数进行具体地说明。
[0102]
(在步行状态下应用的状态转变函数)
[0103]
在当前时刻的状态量为步行状态(s
t
＝0)的情况下使用的状态转变函数f0(j，x
t+1
)能使用所述算式(1)的特征量设为以下的算式(5)～(7)。
[0104]
[数式5]
[0105][0106]
[数式6]
[0107][0108]
[数式7]
[0109][0110]
其中，h是赫维赛德(heaviside)函数，δ是狄拉克(delta)函数。此外，α1、α2是用于判定基准的参数，t0是指定要使用的过去的状态的参数。此外，i2＝{0，1，0，0，0，0}
t
、i4＝{0，0，0，1，0，0}
t
。该算式(5)成为本发明中所说的第一状态转变函数(用于判定对处于步行状态的行人在人行横道的近前进行该步行的停止通知的条件有无成立的第一状态转变函数)。
[0111]
如果使用算式(5)，则仅在α1＞h3且w4＞α2的条件在过去t0时间内不成立并且在时刻t+1第一次成立的情况下得到“1”，在除此以外的情况下得到“0”。就是说，在通过α1＞h3成立判定出人行横道cw上的位于最近前的白线wl1(白线的边界框的下端)位于视觉障碍者的脚下，且通过w4＞α2成立判定出该白线wl1在与视觉障碍者的行进方向正交的方向上延伸(白线的边界框的宽度尺寸超过规定尺寸)的情况下得到“1”。
[0112]
如此，在算式(5)中得到“1”的情况下，设为进行停止指示(y
t
＝1)的条件已成立，对处于步行状态的视觉障碍者进行停止指示(例如在人行横道cw的近前的步行的停止指示；停止通知)。
[0113]
此外，在本实施方式中，人行横道cw处于视觉障碍者的脚下的条件不仅为(α1＞h3)，还施加检测到的人行横道cw的宽度的限制(w4＞α2)，由此会防止在处于视觉障碍者的行进方向的人行横道cw以外的人行横道(在交叉路口中与视觉障碍者的行进方向正交的方向的人行横道等)被包含在图像x
t+1
中的情况下的误感测。就是说，即使在道路的交叉路口等存在穿越方向相互不同的多个人行横道的情况下，也能明确地判别视觉障碍者应该穿越
的人行横道cw(由于白线wl1在与视觉障碍者应该穿越的方向交叉的方向上延伸，因此该白线wl1的宽度尺寸被识别得比较宽的人行横道cw)和其他人行横道(白线的宽度尺寸被识别得比较窄的人行横道)，从而能高精度且准确地进行向视觉障碍者的穿越的开始通知。
[0114]
(在停止状态下应用的状态转变函数)
[0115]
在先前时刻的状态量为停止状态(s
t
＝1)的情况下使用的状态转变函数f1(j，x
t+1
)能设为以下的算式(8)～(10)。
[0116]
[数式8]
[0117][0118]
[数式9]
[0119][0120]
[数式10]
[0121][0122]
其中x’t+1
是从前述的x
t+1
进行图像的修剪和放大处理而得到的。就是说，成为信号器tl的识别精度被充分地提高的图像x’t+1
。此外，i5＝{0，0，0，0，1，0}
t
、i6＝{0，0，0，0，0，1}
t
。该算式(8)成为本发明中所说的第二状态转变函数(用于判定对在人行横道的近前处于停止状态的行人进行人行横道的穿越的开始通知的条件有无成立的第二状态转变函数)。
[0123]
在算式(8)中，仅在过去t0时间感测到红灯后，在时刻t+1第一次感测到绿灯的情况下得到“1”，在除此以外的情况下得到“0”。
[0124]
如此，在算式(8)中得到“1”的情况下，设为进行步行(穿越)指示(y
t
＝2)的条件已成立，对处于停止状态的视觉障碍者进行穿越指示(例如人行横道的穿越指示；穿越通知)。
[0125]
此外，在没有信号器的交叉路口的人行横道上，前述的逻辑下的状态转变有时无法进行。为了解决该问题，可以引入新的参数t1＞t0，在判断为在时间t1的期间没有从停止状态的状态转变的情况下，转变为步行状态。
[0126]
(在穿越状态下应用的状态转变函数)
[0127]
在先前时刻的状态量为穿越状态(s
t
＝2)的情况下使用的状态转变函数f2(j，x
t+1
)能设为以下的算式(11)。
[0128]
[数式11]
[0129][0130]
该算式(11)成为本发明中所说的第四状态转变函数(用于判定对处于人行横道的穿越状态的行人进行人行横道的穿越完成了的通知的条件有无成立的第四状态转变函数)。
[0131]
在算式(11)中，仅在从过去时刻t－t0起至当前时刻t+1的期间一次也无法检测到信号器和脚下的人行横道cw的情况下得到“1”，在除此以外的情况下得到“0”。就是说，仅在由于已穿过人行横道cw而无法检测到信号器tl和脚下的人行横道cw的情况下得到“1”。
[0132]
如此，在算式(11)中得到“1”的情况下，设为进行穿越完成的通知的条件已成立，对处于步行状态的视觉障碍者进行穿越完成(人行横道的穿越的完成)的通知。
[0133]
(判定从人行横道偏离的状态转变函数)
[0134]
在视觉障碍者的人行横道cw的穿越过程中，判定从人行横道cw偏离的状态转变函数f3(j，x
t+1
)能设为以下的算式(12)～(14)。
[0135]
[数式12]
[0136][0137]
[数式13]
[0138][0139]
[数式14]
[0140][0141]
其中，α3是用于判定基准的参数。此外，i1＝{1，0，0，0，0，0}
t
、i3＝{0，0，1，0，0，0}
t
。该算式(12)成为本发明中所说的第三状态转变函数(用于判定对处于人行横道的穿越状态的行人进行从人行横道偏离的警告的条件有无成立的第三状态转变函数)。
[0142]
在算式(12)中，如果检测到的人行横道cw的位置从帧的中心的偏离量为容许量以上则得到“1”，除此以外得到“0”。就是说，在w3的值比规定值大的情况(左偏离的情况)、w5的值比规定值大的情况(右偏离的情况)下得到“1”。
[0143]
如此，在算式(12)中得到“1”的情况下，进行右偏离警告(y
t
＝3)或左偏离警告(y
t
＝4)。
[0144]
(步行辅助动作)
[0145]
接着，对由步行辅助系统10进行的步行辅助动作的流程进行说明。
[0146]
图13是表示前述的步行辅助动作的一系列流程的流程图。该流程图以存在规定时间间隔的方式被反复实施，以便在视觉障碍者正在路上(人行道上)步行的状况下，在从规定时刻t起至规定时刻t+1为止的期间实施一次例程。在以下的说明中，省略各状态转变函数中的变量(j，x
t+1
)的记载。
[0147]
首先，在步骤st1中视觉障碍者处于步行状态的状况下，在步骤st2中，基于由所述白线识别部86识别出的包含人行横道cw的图像区域中的该人行横道cw的白线wl1的位置(更具体而言，位于最近前的白线wl1的边界框的位置)，判定在前述的用于判定进行停止指示(y
t
＝1)的条件有无成立的状态转变函数f0(所述算式5)中是否得到“1”。
[0148]
在该状态转变函数f0中得到“0”的情况下，进行停止指示(y
t
＝1)的条件不成立，就是说，视觉障碍者还未到达人行横道cw的近前而判定为“否(no)”，并返回步骤st1。由于在步骤st2中判定为“否”直至视觉障碍者到达人行横道cw的近前为止，因此反复进行步骤st1、st2的动作。
[0149]
在视觉障碍者到达人行横道cw的近前，并且在状态转变函数f0中得到“1”的情况下，在步骤st2中判定为“是(yes)”，并移至步骤st3。在该步骤st3中，对视觉障碍者进行停止指示(y
t
＝1)。具体而言，视觉障碍者所持有的盲杖1的振动发生器50以表示停止指示(停
止通知)的模式进行振动。由此，把持盲杖1的握持部3的视觉障碍者通过感知振动发生器50的振动的模式识别出进行了停止指示，从而停止步行。
[0150]
在步骤st4中视觉障碍者处于停止状态的状况下，在步骤st5中，判定在前述的用于判定进行步行指示(y
t
＝2)的条件有无成立的状态转变函数f1(所述算式8)中是否得到“1”。在进行通过该状态转变函数f1实现的判定动作时，如前述的图9所示，被虚线包围的区域a被提取并且该区域a被放大处理，由此得到图10所示的图像，由此，能容易地判断信号器tl的状态。该动作相当于图像处理部(提取包含信号器的图像区域，并且进行该提取出的图像区域的放大处理的图像处理部)83和信号器判断部(根据放大处理后的包含信号器的图像区域的信息来判断信号器的状态是停止指示状态和穿越允许状态中的哪一个的信号器判断部)84的动作。
[0151]
在该状态转变函数f1中得到“0”的情况下，进行步行指示(y
t
＝2)的条件不成立，就是说，信号器tl还未切换为绿灯而判定为“否”，并返回步骤st4。由于在步骤st5中判定为“否”直至信号器tl切换为绿灯为止，因此反复进行步骤st4、st5的动作。
[0152]
在信号器tl切换为绿灯，并且在状态转变函数f1中得到“1”的情况下，在步骤st5中判定为“是”，并移至步骤st6。该动作相当于信号器判断部(根据放大处理后的包含信号器的图像区域的信息来判断信号器的状态是停止指示状态和穿越允许状态中的哪一个的信号器判断部)84的动作和切换识别部(对信号器的状态从停止指示状态切换为穿越允许状态进行识别的切换识别部)85的动作。
[0153]
在步骤st6中，对视觉障碍者进行步行指示(y
t
＝2)。具体而言，视觉障碍者所持有的盲杖1的振动发生器50以表示步行指示(穿越开始通知)的模式进行振动。由此，把持盲杖1的握持部3的视觉障碍者识别出进行了步行指示，从而开始人行横道cw的穿越。
[0154]
在步骤st7中视觉障碍者处于人行横道cw的穿越状态的状况下，在步骤st8中，判定在用于判定进行从人行横道cw偏离的警告的条件有无成立的状态转变函数f3(所述算式12)中是否得到“1”。
[0155]
在状态转变函数f3中得到“1”，并且在步骤st8中判定为“是”的情况下，在步骤st9中判定从该人行横道cw偏离的方向是否是右方向(右偏离)。然后，在从人行横道cw偏离的方向是右方向，并在步骤st9中判定为“是”的情况下，移至步骤st10，对视觉障碍者进行右偏离警告(y
t
＝3)。具体而言，视觉障碍者所持有的盲杖1的振动发生器50以表示右偏离警告的模式进行振动。由此，把持盲杖1的握持部3的视觉障碍者识别出进行了右偏离警告，从而将步行方向朝向左方向变更。
[0156]
另一方面，在从人行横道cw偏离的方向是左方向，并且在步骤st9中判定为“否”的情况下，移至步骤st11，并对视觉障碍者进行左偏离警告(y
t
＝4)。具体而言，视觉障碍者所持有的盲杖1的振动发生器50以表示左偏离警告的模式进行振动。由此，把持盲杖1的握持部3的视觉障碍者识别出进行了左偏离警告，从而将步行方向朝向右方向变更。在如此进行了偏离警告后，移至步骤st14。
[0157]
在没有从人行横道cw的偏离，并且在状态转变函数f3中得到“0”的情况下，在步骤st8中判定为“否”，并移至步骤st12。在该步骤st12中判定当前是否正处于步骤st10或步骤st11中的偏离警告的发生中。在未处于偏离警告的发生中，并且在步骤st12中判定为“否”的情况下，移至步骤st14。另一方面，在处于偏离警告的发生中，并且在步骤st12中判定为“是”的情况下，移至步骤st13，解除偏离警告并移至步骤st14。
[0158]
在步骤st14中，判定在用于判定进行穿越完成的通知的条件有无成立的状态转变函数f2(所述算式11)中是否得到“1”。
[0159]
在该状态转变函数f2中得到“0”的情况下，进行穿越完成的通知的条件不成立，就是说，视觉障碍者正穿越人行横道cw而判定为“否”，返回步骤st7。由于在步骤st14中判定为“否”直至人行横道cw的穿越完成为止，因此反复进行步骤st7～st14的动作。
[0160]
就是说，在视觉障碍者的穿越过程中发生从人行横道cw偏离的情况下，进行前述的偏离警告，在该偏离被消除的情况下，进行解除偏离警告这一动作直至人行横道cw的穿越完成为止。
[0161]
在视觉障碍者完成人行横道cw的穿越，并且在状态转变函数f2中得到“1”的情况下，在步骤st14中判定为“是”，并移至步骤st15，对视觉障碍者进行穿越完成的通知。具体而言，视觉障碍者所持有的盲杖1的振动发生器50以表示穿越完成的模式进行振动。由此，把持盲杖1的握持部3的视觉障碍者识别出进行了穿越完成的通知，从而恢复为通常的步行状态。
[0162]
如此，每当视觉障碍者穿越人行横道cw时反复进行前述的动作。
[0163]
－实施方式的效果－
[0164]
如以上说明的那样，在本实施方式中，判别由摄像机20拍摄到的图像中的、包含信号器tl的图像区域，提取该判别出的包含信号器tl的图像区域，并且进行该提取出的图像区域的放大处理，由此判断信号器tl的状态是红灯(停止指示状态)和绿灯(穿越允许状态)中的哪一个，并且以信号器tl的状态从红灯切换为绿灯为条件，向视觉障碍者进行穿越的开始通知。因此，即使是来自一台摄像机20的图像信息，也能充分地提高信号器tl的识别精度。其结果是，能在不导致系统的构成的复杂化、系统的重量增大的情况下对视觉障碍者适当地进行穿越开始通知。
[0165]
此外，在本实施方式中，以信号器tl的状态从红灯切换为绿灯为条件，向视觉障碍者进行穿越的开始通知。因此，在视觉障碍者穿越人行横道cw时，能充分地确保信号器tl的状态成为绿灯的时间。
[0166]
此外，在本实施方式中，通过将步行辅助系统10的构成要素内置于盲杖1来仅由盲杖1实现步行辅助系统10，因此能提供实用性高的步行辅助系统10。
[0167]
－其他实施方式－
[0168]
需要说明的是，本发明不限定于所述实施方式，能进行在权利要求的范围和与该范围同等的范围中包含的所有变形、应用。
[0169]
例如，在所述实施方式中，对将步行辅助系统10内置于视觉障碍者所使用的盲杖1的情况进行了说明。本发明不限于此，也可以将步行辅助系统10内置于行人是老年人的情况下的手杖、手推车等。
[0170]
此外，在所述实施方式中，在盲杖1中具备充电插口70，从家用电源对电池(二次电池)60进行充电。本发明不限于此，也可以在盲杖1的表面贴附光伏板，通过由该光伏板发电而产生的电力来对电池60进行充电。此外，也可以使用一次电池来代替二次电池。此外，也可以在盲杖1内置钟摆式发电机，利用该钟摆式发电机来对电池60进行充电。
[0171]
此外，在所述实施方式中，通过振动发生器50的振动模式来区分通知的种类。本发
明不限于此，也可以通过声音来进行通知。
[0172]
本发明能应用于对步行的视觉障碍者进行人行横道的穿越开始通知的步行辅助系统。