头戴式显示器及其控制方法

头戴式显示器及其控制方法
【专利摘要】本发明提供一种头戴式显示器及其控制方法。头戴式显示器包括图像获取单元、存储单元、投影显示单元以及处理器。图像获取单元用以拍摄使用者观看的所视画面。存储单元用以存储此些所视画面。处理器根据所视画面判断使用者处于车内驾驶环境或停车环境。其中当处理器检测使用者处于车内驾驶环境时，切换头戴式显示器为驾驶模式并判断所视画面中是否存在移动物体。若是，处理器控制投影显示单元投影提醒信号。其中当处理器检测使用者处于停车环境时，切换头戴式显示器为停车模式并控制图像获取单元记录停车信息。
【专利说明】头戴式显示器及其控制方法

【技术领域】
[0001] 本发明是有关于一种头戴式显示器，且特别是有关于一种可应用于行车、停车环 境的头戴式显示器及其控制方法。

【背景技术】
[0002] 随着头戴式显示器（Head-Mounted Display, HMD)的体积越来越轻巧且显示视 角越来越大，头戴式显示器还增加了许多衍生性的应用功能。但现有头戴式显示器的应用 仅提供使用者在静止或行走时使用。举例来说，现有Google公司所提出的头戴式显示器 "Google glasses"将其产品导向预设为智能手机的取代，提供使用者在一般行走时显示电 子邮件、来电信息或时间信息等，但目前尚未有将头戴式显示器应用于行车驾驶环境的应 用。


【发明内容】

[0003] 本发明提供一种头戴式显示器及其控制方法，将头戴式显示器应用于行车驾驶环 境，可作为驾驶辅助装置以及停车协寻工具。
[0004] 本发明的头戴式显示器适于配戴在使用者的头部，其包括图像获取单元、存储单 元、投影显示单元以及处理器。其中，图像获取单元用以拍摄使用者观看的所视画面。存储 单元用以存储所视画面。处理器耦接至图像获取单元、存储单元与投影显示单元。处理器 根据所视画面判断使用者处于车内驾驶环境或停车环境。其中当处理器检测使用者处于车 内驾驶环境时，切换头戴式显示器为驾驶模式。并且，处理器判断所视画面中是否存在移动 物体，若是，处理器控制投影显示单元投影提醒信号。其中当处理器检测使用者处于停车环 境时，切换头戴式显示器为停车模式。并且。处理器控制图像获取单元记录至少一停车信 息。
[0005] 在本发明的一实施例中，上述的处理器对所视画面进行图像辨识处理，以判断所 视画面中是否存在至少一预设物件，当所视画面存在该至少一预设物件时，处理器判定使 用者处于车内驾驶环境。
[0006] 在本发明的一实施例中，上述的头戴式显示器还包括定位单元，其耦接至处理器。 其中当头戴式显示器为驾驶模式时，处理器对所视画面进行图像辨识处理以判断目前路 况，据以自动更新定位单元的一或多个导航参数。
[0007] 在本发明的一实施例中，上述的头戴式显示器还包括触控输入单元，其耦接至处 理器。其中当头戴式显示器为停车模式且触控输入单元接收到使用者的触控信号时，处理 器启动图像获取单元与定位单元来记录使用者的行走路线。
[0008] 在本发明的一实施例中，上述的头戴式显示器还包括通信单元，其耦接至存储单 元与处理器。其中当头戴式显示器为驾驶模式时，通信单元通过有线方式或无线方式连接 至车用定位单元，以接收即时导航信息。并且，处理器控制投影显示单元投影显示此即时导 航信息。
[0009] 在本发明的一实施例中，上述的通信单元通过有线方式或无线方式连接一或多个 车用图像传感器，以接收车用图像传感器所拍摄的画面并存储于存储单元。处理器控制投 影显示单元投影显示车用图像传感器其中之一的画面。
[0010] 在本发明的一实施例中，上述的头戴式显示器还包括耦接至处理器的加速度传感 器。加速度传感器用以检测多个加速度变化量以产生多个加速度变化信号，以使处理器根 据此些加速度变化信号判断使用者是否进行停车动作、刹车动作或转弯动作。
[0011] 在本发明的一实施例中，上述的处理器判断加速度变化信号的至少其中之一大于 速度变化临界值时，处理器控制投影显示单元降低投影提醒信号的频率。
[0012] 在本发明的一实施例中，其中当头戴式显示器为停车模式时，处理器控制图像获 取单元进行水平全景拍摄以产生全景图像，处理器据以判断使用者所处的停车环境为室内 场景或室外场景，并记录停车格编号、相邻车牌信息或标志物至少其中之一。
[0013] 在本发明的一实施例中，上述的头戴式显示器还包括语音录放器，其耦接至处理 器与存储单元，用以记录或播放使用者对于停车信息的语音描述数据。
[0014] 本发明的一种头戴式显示器的控制方法，适用于配戴在使用者头部的头戴式显示 器，包括下列步骤。通过头戴式显示器拍摄使用者观看的至少一所视画面，以判断使用者处 于车内驾驶环境或停车环境。当使用者处于车内驾驶环境时，切换头戴式显示器为驾驶模 式。并且，判断所视画面中是否存在移动物体，若是，则控制头戴式显示器投影提醒信号。当 使用者处于停车环境时，切换头戴式显示器为停车模式。并且，控制头戴式显示器记录至少 一停车信息。
[0015] 基于上述，本发明所提供的头戴式显示器及其控制方法，可作为使用者在行车期 间的驾驶辅助装置，以提高行车安全；并可协助使用者记录各种停车信息，以协助使用者快 速寻找到汽车的停车位置。
[0016] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详 细说明如下。

【专利附图】

【附图说明】
[0017] 图1是依照本发明一实施例所示出的一种头戴式显示器的方块图；
[0018] 图2是依照本发明一实施例所示出的一种头戴式显示器的控制方法流程图；
[0019] 图3是依照本发明一实施例所示出的所视画面的示意图；
[0020] 图4是依照本发明一实施例所示出的一种停车模式的应用情境示意图；
[0021] 图5是依照本发明另一实施例所示出的一种头戴式显示器的方块图；
[0022] 图6是依照本发明另一实施例所示出的另一种停车模式的应用情境示意图。
[0023] 附图标记说明：
[0024] 〇1?14 :停车格编号；
[0025] 100、500 :头戴式显示器；
[0026] 110:图像获取单元；
[0027] 120 :存储单元；
[0028] 130 :投影显示单元；
[0029] 140 :处理器；
[0030] 301:方向盘；
[0031] 302 :仪表板；
[0032] 303 :车前挡风玻璃；
[0033] 304、401 :箭头；
[0034] 55〇 :定位单元；
[0035] 560 :通信单元；
[0036] 570 :加速度传感器；
[0037] 580 :语音录放器；
[0038] 590 :触控输入单元；
[0039] 601 :路线；
[0040] CP :目前停车位置；
[0041] U:使用者；
[0042] S201?S211 :头戴式显示器的控制方法的各步骤。

【具体实施方式】
[0043] 图1是依照本发明一实施例所示出的一种头戴式显示器的方块图。本实施例的头 戴式显示器100适于配戴在使用者的头部，而可让使用者的眼睛接收头戴式显示器100所 提供的图像信息或通过头戴式显示器100将使用者所观看到的图像拍摄记录下来。请参照 图1，头戴式显示器100包括图像获取单元110、存储单元120、投影显示单元130以及处理 器140。其功能分述如下：
[0044] 图像获取单元110包括镜头、电荷f禹合元件（Charge-coupled Device, CO))或互 补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS)感光兀件等，而 可用以拍摄使用者通过头戴式显示器100所观看到的图像景物，以下简称为使用者的"所 视画面"。
[0045] 存储单元120例如是任意形式的固定式或可移动式随机存取存储器（Random Access Memory，RAM)、只读存储器（Read-Only Memory，ROM)、快闪存储器（Flash memory)、 硬盘，或其他类似装置或这些装置的组合，而可用以存储所视画面或其他数据。
[0046] 投影显示单元130可包括透镜、反射元件、折射元件等，而可作为调整焦距之用。 使用者通过配戴头戴式显示器100而可同时地观看周围环境的实境图像以及投影显示单 元110所显示的虚拟图像。
[0047] 处理器140耦接图像获取单元110、存储单元120以及投影显示单元130,其例如 是中央处理单元（Central Processing Unit, CPU),或是其他可编程的一般用途或特殊用 途的微处理器（Microprocessor)、特殊应用集成电路（Application Specific Integrated Circuit, ASIC)等具有运算功能的硬件设备或上述硬件设备的组合。
[0048] 图2是依照本发明一实施例所示出的一种头戴式显示器的控制方法流程图。本实 施例的方法适用于图1的头戴式显示器100,以下即搭配头戴式显示器100中的各构件说明 本实施例方法的详细步骤：
[0049] 首先，在步骤S201，头戴式显示器100的图像获取单元110拍摄使用者观看的一或 多个所视画面，并将所视画面存储在存储单元120中。其中，图像获取单元110可被设定为 连续拍摄，或依据一预设频率固定拍摄使用者的所视画面，在此不做限制。
[0050] 接下来，在步骤S203,处理器140根据上述所视画面来判断使用者处于车内驾驶 环境或停车环境。详细地说，处理器140会先对所视画面进行图像辨识处理，以判断所视画 面中是否存在至少一预设物件。在一实施例中，预设物件例如是方向盘或仪表板等，预设物 件可依据实际应用情况做设定，在此不加以限制。当所视画面存在方向盘或仪表板等预设 物件，处理器140就可判定使用者正处于车内驾驶环境。举例来说，图3是依照本发明一 实施例所示出的所视画面的示意图。请参照图3,所视画面300中包括方向盘301、仪表板 302、车前挡风玻璃303等预设物件，因此可得知使用者正处于车内驾驶环境。
[0051] 当处理器140根据所视画面判定使用者处于车内驾驶环境时，则接续步骤S205， 处理器140切换头戴式显示器100为驾驶模式。在步骤S207,在驾驶模式中，处理器140还 进一步判断所视画面中是否存在移动物体。举例来说，移动物体的行进方向例如是与汽车 行进方向不同的移动物体或是水平移动物体（如图3的箭头304所示）。需说明的是，本 发明并不限定移动物体的行进方向或者来源方向。并且，移动物体例如是车子、人或者其他 物件等，不限于上述。广义地说，凡是可以让所视画面产生变化的物件皆可视为本发明所述 的移动物体。若步骤S207判断为是，则处理器140控制投影显示单元130投影显示提醒信 号。如此一来，头戴式显示器100便可在驾驶模式中协助提醒使用者辨识前方车况或紧急 事件等，而可提升行车安全。
[0052] 回到图2的步骤S203,若处理器140根据所视画面进行图像辨识处理的结果并未 出现预设物件，则可判定使用者处于停车环境。接续步骤S209,处理器140切换头戴式显示 器1〇〇为停车模式。在步骤S211，在停车模式中，处理器140控制图像获取单元110记录 至少一停车信息。详细地说，处理器140控制图像获取单元110进行水平全景拍摄以产生 全景图像，处理器据以判断使用者所处的停车环境为室内场景或室外场景，并记录停车格 编号、相邻车牌信息或标志物等至少其中之一，以作为停车信息。举例来说，图4是依照本 发明一实施例所示出的一种停车模式的应用情境示意图。举例来说，当使用者面对目前停 车位置CP时，处理器140可控制图像获取单元110依据箭头方向401由左至右进行水平全 景拍摄，以产生全景图像。如此一来，处理器140对全景图像进行图像辨识后，便可取得目 前停车位置CP的停车格编号（如图4所示的编号"04"）及其他相邻的停车格编号信息、 相邻车牌信息或标志物等等。标志物例如是停车场的柱子上的分区编号（未示出在图4) 等。如此一来，当使用者再度回到停车场时，头戴式显示器100便可将先前记录的停车信息 利用投影显示单元130以投影显示方式提供给使用者，方便使用者快速寻找到汽车的停车 位置。
[0053] 为了使本发明的内容更为明了，以下另举一实施例作为本发明确实能够据以实施 的范例。图5是依照本发明另一实施例所示出的一种头戴式显示器的方块图。请参照图5， 本实施例的头戴式显示器500除了包括图像获取单元110、存储单元120、投影显示单元130 以及处理器140以外，还可包括耦接至处理器140的定位单元550、通信单元560、加速度传 感器570、语音录放器580以及触控输入单元590。
[0054] 定位单兀550例如是全球定位系统（Global Positioning System, GPS)或辅助全 球定位系统（Assisted Global Positioning System, AGPS)，而得以随时接收卫星定位的 信号以进行定位，再配合地理信息数据库（例如电子地图）或是地理信息系统（Geography Information System, GIS)，则可提供详细的地理信息给配戴头戴式显示器500的使用者。
[0055] 通信单元560可以经由有线方式及/或无线方式连接头戴式显示器500与汽车的 车用定位单元或车用图像传感器，而可以进行双向传输。其中有线方式例如是通用串行总 线（Universal Serial Bus, USB)传输接口等；无线方式例如是无线电保真度（Wireless Fidelity, WiFi)、蓝牙（bluetooth)传输接口等，不限于上述。
[0056] 加速度传感器570例如是重力传感器（G-sensor)或角速度传感器等，而可用以检 测头戴式显示器500的加速度变化量以产生加速度变化信号。语音录放器580可用以记录 使用者对于停车信息的语音描述数据，并可将语音描述数据写入存储单元120或者从存储 单元120读取语音描述数据以进行播放。触控输入单元590接收使用者的触控操作信号， 处理器140可依据触控操作信号来启动或关闭图像获取单元110、定位单元550或语音录放 器580等构件的运作。
[0057] 以下则根据头戴式显示器500各构件列举实施例详细说明头戴式显示器500在驾 驶模式与停车模式的各种应用情形。
[0058] 首先，当头戴式显示器500设定在驾驶模式时，处理器140除了可根据图像获取单 元110拍摄的所视画面来判断所视画面中是否存在移动物体进而提醒使用者注意之外，还 可根据GPS数据变化（由定位单元550计算所得）或加速度数据变化（由加速度传感器 570计算所得）等来产生提醒信号。在另一实施例中，处理器140还可利用行人检测技术判 断行人与使用者（即，驾驶者）的相对距离是否足够、检测标志灯、路牌等；或是通过辨别道 路路线来检测计算是否有偏离车道的情况。处理器140可将上述各种行车安全的判断结果 一一通过投影显示单元130来呈现。但需注意的是，处理器140判断在驾驶者需专心驾驶 期间（例如标志灯为绿灯时）可省略非紧急的信息内容（例如是时间提示信息、邮件信息 等）。
[0059] 在一实施例中，处理器140还可利用定位单元550取得目前行车时速加以计算，以 判断与前车间的安全距离是否足够。处理器140还可辅以所视画面的图像辨识结果来辨识 当前路况，据以自动更新定位单元550的一或多个导航参数。举例来说，图像获取单元110 拍摄的所视画面可用以判断出当前路况是否堵塞、道路是否维修、是否为单行道等条件，而 可让定位单元550更新其导航参数（避开堵塞或维修道路、单行道等设定）以即时规划新 路径，并且通过投影显示单元130做即时导航。
[0060] 在另一实施例中，若头戴式显不器500本身并未内建定位单兀550,则也可通过通 信单元560连接至车用定位单元（例如是车用导航系统），以接收即时导航信息。除此之 夕卜，头戴式显示器500还可利用通信单元560通过有线或无线方式连接至一或多个车用图 像传感器，以接收车用图像传感器所拍摄的画面并存储在存储单元120。处理器140可控制 投影显示单元130投影车用图像传感器其中之一的画面。举例来说，当使用者需要进行倒 车或确认车子后方视觉死角的情况时，处理器140便可直接控制投影显示单元130切换至 车子后方的图像传感器的拍摄画面。如此一来，使用者将不需要再回头用眼睛亲自确认，而 可提高行车安全。
[0061] 另一方面，头戴式显示器500可利用加速度传感器570来检测多个加速度变化量 以产生多个加速度变化信号。处理器140根据这些加速度变化信号而可用来判断使用者 是否进行停车动作、刹车动作或转弯动作等。当处理器140判断加速度变化信号大于速度 变化临界值时，处理器140可控制投影显示单元130降低投影提醒信号的频率，以减少使用 者的驾驶疲劳感。其中，速度变化临界值可由本领域具通常知识者事先做设定，在此不做限 制。
[0062] 换句话说，本实施例的头戴式显示器500可利用加速度传感器570来搜集使用者 的开车驾驶习惯，例如是否常急停刹车、起步不稳或是转弯过快等信息，进而自动产生信息 调整机制（是否显示提醒信号、提醒信号的显示频率等），以吻合个别使用者的开车驾驶习 惯。
[0063] 当头戴式显示器500的处理器140通过图像获取单元110、加速度传感器570而判 定使用者进行停车、下车的动作时，则将头戴式显示器500设定在停车模式。
[0064] 在停车模式时，处理器140控制图像获取单元110进行水平全景拍摄以产生全景 图像。处理器140通过判断全景图像的亮度或色温等，来综合判定目前停车环境为室外场 景或室内场景。举例来说，若全景图像的亮度较暗、色温低，则为室内场景；反之则为室外场 景。若为室外场景，则可利用定位单元550记录经纬度信息，或者利用图像获取单元110拍 摄路牌、路口位置或附近建筑标志物。若为室内场景，则同样可利用图像获取单元110拍摄 停车格编号、相邻车牌信息或标志物等至少其中之一。除此之外，使用者也可通过触控输入 单元590启动图像获取单元110与定位单元550来记录使用者自停车地点行走至停车场出 入口的行走路线。在另一实施例中，使用者还可利用语音录放器580来记录使用者对于停 车信息的语音描述数据。
[0065] 如此一来，当使用者再度回到停车场时，即可通过头戴式显示器500显示先前所 记录的各种停车信息，或通过语音录放器580播放停车信息的语音描述数据，以快速辅助 使用者找到停车位置。图6是依照本发明另一实施例所示出的另一种停车模式的应用情境 示意图。请配合参照图4与图6,由于使用者U在先前停车时，已进行水平全景拍摄，而得到 自己与其他相邻的停车格编号信息、相邻车牌信息等。因此，当使用者U利用头戴式显示器 500辨识出编号"07"时，头戴式显示器500就可产生提示信号以告知使用者其车子是停在 编号"07"的这一排，而非编号"14"的这一排。在另一实施例中，头戴式显不器500还可利 用定位单元550先前所记录的行走路线来投影显示使用者找到停车位置的路线（如图6的 路线601)。最后需说明的是，本发明的实现方式不限于上述说明，可以对于实际的需求而适 当变更上述实施例的内容。
[0066] 综上所述，本发明所提供的头戴式显示器及其控制方法，可通过对所视画面进行 图像辨识，而将头戴式显示器设定在驾驶模式或停车模式。在驾驶模式中，头戴式显示器可 协助使用者辨识前方车况、紧急事件提醒或者进行即时导航等，而可提升行车安全。在停车 模式中，头戴式显示器可利用图像、定位或语音等方式记录各种停车信息，让使用者再度回 到停车场时，可方便且快速寻找到汽车的停车位置。再者，头戴式显示器可自动产生信息调 整机制，以吻合个别使用者的开车驾驶习惯。
[〇〇67] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征 进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技 术方案的范围。
【权利要求】
1. 一种头戴式显示器，适于配戴在一使用者的头部，其特征在于，包括： 一图像获取单元，用以拍摄该使用者观看的至少一所视画面； 一存储单元，存储该些所视画面； 一投影显示单元；以及 一处理器，耦接该图像获取单元、该存储单元与该投影显示单元，根据该些所视画面判 断该使用者处于一车内驾驶环境或一停车环境， 其中当该处理器检测该使用者处于该车内驾驶环境时，切换该头戴式显示器为一驾驶 模式，且该处理器判断该些所视画面中是否存在移动物体，若是，该处理器控制该投影显示 单元投影一提醒信号， 其中当该处理器检测该使用者处于该停车环境时，切换该头戴式显示器为一停车模 式，该处理器控制该图像获取单元记录至少一停车信息。
2. 根据权利要求1所述的头戴式显示器，其特征在于： 该处理器对该些所视画面进行一图像辨识处理，以判断该些所视画面中是否存在至少 一预设物件，当该些所视画面存在该至少一预设物件，该处理器判定该使用者处于该车内 驾驶环境。
3. 根据权利要求1所述的头戴式显示器，其特征在于，该头戴式显示器还包括： 一定位单元，耦接该处理器，当该头戴式显示器为该驾驶模式时，该处理器对该些所 视画面进行一图像辨识处理以判断一目前路况，据以自动更新该定位单元的至少一导航参 数。
4. 根据权利要求3所述的头戴式显示器，其特征在于，该头戴式显示器还包括： 一触控输入单元，耦接该处理器，当该头戴式显示器为该停车模式且该触控输入单元 接收到该使用者的一触控信号时，该处理器启动该图像获取单元与该定位单元，以记录该 使用者的一行走路线。
5. 根据权利要求1所述的头戴式显示器，其特征在于，该头戴式显示器还包括： 一通信单元，耦接于该存储单元与该处理器之间，当该头戴式显示器为该驾驶模式时， 该通信单元通过一有线方式或一无线方式连接至一车用定位单元，以接收一即时导航信 息，且该处理器控制该投影显示单元投影显示该即时导航信息。
6. 根据权利要求5所述的头戴式显示器，其特征在于： 该通信单元通过该有线方式或该无线方式连接至少一车用图像传感器，以接收该些车 用图像传感器所拍摄的画面并存储在该存储单元，该处理器控制该投影显示单元投影显示 该些车用图像传感器其中之一的画面。
7. 根据权利要求1所述的头戴式显示器，其特征在于，该头戴式显示器还包括： 一加速度传感器，耦接该处理器，用以检测多个加速度变化量以产生多个加速度变化 信号，以使该处理器根据该些加速度变化信号判断该使用者是否进行停车动作、刹车动作 或转弯动作。
8. 根据权利要求7所述的头戴式显示器，其特征在于： 该处理器判断该些加速度变化信号的至少其中之一大于一速度变化临界值时，该处理 器控制该投影显示单元降低投影该提醒信号的频率。
9. 根据权利要求1所述的头戴式显示器，其特征在于，当该头戴式显示器为该停车模 式时，该处理器控制该图像获取单元进行水平全景拍摄以产生一全景图像，以判断该使用 者所处的停车环境为一室内场景或一室外场景，并记录停车格编号、相邻车牌信息或标志 物至少其中之一。
10. 根据权利要求1所述的头戴式显示器，其特征在于，该头戴式显示器还包括： 一语音录放器，耦接于该处理器与该存储单元之间，用以记录或播放该使用者对于该 至少一停车信息的语音描述数据。
11. 一种头戴式显示器的控制方法，适用于配戴在一使用者头部的一头戴式显示器，其 特征在于，包括 ： 通过该头戴式显示器拍摄该使用者观看的至少一所视画面，以判断该使用者处于一车 内驾驶环境或一停车环境； 当该使用者处于该车内驾驶环境时，切换该头戴式显示器为一驾驶模式，并判断该些 所视画面中是否存在移动物体，若是，控制该头戴式显示器投影一提醒信号；以及 当该使用者处于该停车环境时，切换该头戴式显示器为一停车模式，并控制该头戴式 显示器记录至少一停车信息。
【文档编号】G02B27/01GK104102007SQ201310126271
【公开日】2014年10月15日 申请日期:2013年4月12日 优先权日:2013年4月12日
【发明者】彭诗渊, 戴呈轩 申请人:聚晶半导体股份有限公司