图像处理方法、装置、服务器及介质与流程

文档序号:30957253发布日期:2022-07-30 10:39阅读:130来源:国知局
图像处理方法、装置、服务器及介质与流程

1.本发明实施例涉及车辆技术领域,更具体地,涉及一种图像处理方法、装置、服务器及介质。


背景技术:

2.车辆骑行是用户常用的一种出行方式。
3.目前,用户在使用车辆时,通常直接使用肉眼来观看所在环境的现实世界影像,使得用户在使用车辆时的视觉体验较为单一、有待提高。


技术实现要素:

4.本发明实施例的一个目的是提供一种图像处理的新的技术方案。
5.根据本公开的第一方面,提供了一种图像处理方法,包括:获取车辆的状态信息;
6.在所述状态信息表示所述车辆处于使用状态的情况下,对于使用所述车辆的用户所佩戴的视觉穿戴设备,获取所述视觉穿戴设备中的相机获取到的、所述相机的图像采集范围内的第一图像;根据设定的处理策略对所述第一图像进行处理,得到第二图像;控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像,以使所述用户观看所述第二图像。
7.可选地,所述方法还包括:根据所述用户指定的骑行起始位置和骑行终止位置,获得道路导航规划路线;获取所述用户的方位数据;
8.所述根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:根据所述方位数据和所述道路导航规划路线,在所述第一图像中的相应道路上设置导航指引标识,得到所述第二图像。
9.可选地,所述方法还包括:获取所述车辆的定位位置;
10.所述根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:确定所述定位位置与所述用户指定的骑行终止位置间的距离是否小于或者等于第一设定阈值;在所述距离小于或者等于所述第一设定阈值的情况下,确定所述第一图像中是否存在任一设定停车围栏的至少一部分;在所述第一图像中存在任一设定停车围栏的至少一部分的情况下,在所述第一图像中的每一设定停车围栏处均设置停车围栏标识,得到所述第二图像。
11.可选地,所述根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:对于设定的每一种道路交通标志,确定所述第一图像中是否包括所述道路交通标志的图像;在所述第一图像中包括所述道路交通标志的图像的情况下,在所述第一图像中的所述道路交通标志处设置对应所述道路交通标志的设定指示信息,得到所述第二图像。
12.可选地,所述方法还包括:获取所述用户发出的用于调整所述相机的工作模式的调整指令;根据所述调整指令,对所述相机的工作模式进行调整。
13.可选地,所述获取所述用户发出的用于调整所述相机的工作模式的调整指令,包括:根据所述第一图像,确定所述用户是否存在设定的图像缩放调整手势;在所述用户存在
所述图像缩放调整手势的情况下,获得对应所述图像缩放调整手势的图像缩放调整指令;
14.所述根据所述调整指令,对所述相机的工作模式进行调整,包括:根据所述图像缩放调整指令,对所述相机的焦距进行调整。
15.可选地,所述方法还包括:确定所述车辆的轮速;响应于所述用户发出的设定请求,获取另一视觉穿戴设备发来的第三图像;在获取到所述第三图像的情况下,确定所述轮速是否小于或者等于第二设定阈值;在所述轮速小于或者等于所述第二设定阈值的情况下,控制所述显示屏显示所述第三图像;在所述轮速大于所述第二设定阈值的情况下,执行所述控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像的步骤。
16.可选地,所述根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:在所述用户的终端设备存在设定信息的情况下,在所述第一图像上设置所述设定信息,得到所述第二图像;
17.所述方法还包括:根据所述第一图像,确定所述用户的手部是否对所述设定信息存在设定动作;在所述用户的手部对所述设定信息存在所述设定动作的情况下,触发所述终端设备执行对应所述设定动作的设定处理。
18.可选地,所述视觉穿戴设备包括两个相机和两个显示屏;其中,每一相机均对应有一个显示屏;其中一个相机及相应的显示屏均位于所述视觉穿戴设备的左眼穿戴区域,另一个相机及相应的显示屏均位于所述视觉穿戴设备的右眼穿戴区域。
19.根据本公开的第二方面,还提供了一种图像处理装置,包括:第一获取模块,用于获取车辆的状态信息;第二获取模块,用于获取车辆的状态信息;在所述状态信息表示所述车辆处于使用状态的情况下,对于使用所述车辆的用户所佩戴的视觉穿戴设备,获取所述视觉穿戴设备中的相机获取到的、所述相机的图像采集范围内的第一图像;处理模块,用于根据设定的处理策略对所述第一图像进行处理,得到第二图像;以及,控制模块,用于控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像,以使所述用户观看所述第二图像。
20.根据本公开的第三方面,还提供了一种服务器,包括存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现根据本公开第一方面所述的方法。
21.根据本公开的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的方法。
22.本发明实施例的一个有益效果在于,获取车辆的状态信息;在状态信息表示车辆处于使用状态的情况下,对于使用车辆的用户所佩戴的视觉穿戴设备,获取视觉穿戴设备中的相机获取到的、相机的图像采集范围内的第一图像;根据设定的处理策略对第一图像进行处理,得到第二图像;控制视觉穿戴设备中的对应相机的显示屏显示第二图像,以使用户观看第二图像。本实施例在用户佩戴视觉穿戴设备并使用车辆的过程中,处理视觉穿戴设备获取的现实世界影像以实现对现实世界的即时重构效果,并将处理后的现实世界影像投射进人眼,这一实现方式不仅可以支持佩戴者在用车过程中对现实世界的观看需求,还可提升佩戴者在用车过程中对现实世界影像的视觉体验。
23.通过以下参照附图对本发明的示例性实施例的详细描述,本发明实施例的其它特
征及其优点将会变得清楚。
附图说明
24.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明实施例的原理。
25.图1是能够应用根据一个实施例的图像处理方法的实施环境、以及能够实施该方法的系统组成结构的示意图;
26.图2是根据一个实施例的图像处理方法的流程示意图;
27.图3是根据一个实施例的图像处理装置的方框原理图;
28.图4是根据一个实施例的服务器的硬件结构示意图。
具体实施方式
29.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
30.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
31.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
32.在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
33.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
34.需要说明的是,本技术中所有获取信号、信息或者数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
35.《实施环境及硬件配置》
36.图1为可用于实现本公开实施例的图像处理系统100的结构示意图。
37.如图1所示,该系统100包括服务器2000、终端设备1000和车辆3000。
38.该服务器2000与终端设备1000,以及服务器2000与车辆3000可以通过网络4000通信连接。车辆3000与服务器2000,以及终端设备1000与服务器2000进行通信所基于的网络4000可以是同一个,也可以是不同的。网络4000可以是无线通信网络也可以是有线通信网络,可以是局域网也可以是广域网。
39.该服务器2000提供处理、数据库、通讯设施的业务点。服务器2000可以是整体式服务器,跨多计算机,计算机数据中心的分散式服务器,云服务器,或者部署在云端的服务器集群等。服务器可以是各种类型的,例如但不限于,网络服务器,新闻服务器,邮件服务器,消息服务器,广告服务器,文件服务器,应用服务器,交互服务器,数据库服务器,或代理服务器。在一些实施例中,每个服务器可以包括硬件,软件,或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。该服务器2000具体配置可以包
括但不限于处理器2100、存储器2200、接口装置2300、通信装置2400。处理器2100用于执行采用比如x86、arm、risc、mips、sse等架构的指令集编写的计算机程序。存储器2200例如是rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如是usb接口、串行接口、并行接口等。通信装置2400例如是能够进行有线通信或无线通信,例如可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。
40.应用于本公开实施例中,服务器2000的存储器2200用于存储计算机程序,该计算机程序用于控制所述处理器2100进行操作以支持根据本公开实施例的方法的实现。技术人员可以根据本公开所公开方案设计该计算机程序。该计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
41.本领域技术人员应当理解,除图1示出的各装置,服务器2000还可以包括其他装置,在此不做限定。
42.本实施例中,终端设备1000例如是手机、便携式电脑、平板电脑、掌上电脑、可穿戴设备等。
43.该终端设备1000安装有用车应用客户端,用户可以通过操作该用车应用客户端,实现使用车辆3000的目的。
44.该终端设备1000可以包括但不限于处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中,处理器1100可以是中央处理器cpu、图形处理器gpu、微处理器mcu等,用于执行计算机程序,该计算机程序可以采用比如x86、arm、risc、mips、sse等架构的指令集编写。存储器1200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括usb接口、串行接口、并行接口等。通信装置1400例如能够利用光纤或电缆进行有线通信,或者进行无线通信,具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。扬声器1170用于输出音频信号。麦克风1180用于拾取音频信号。
45.应用于本公开实施例中,终端设备1000的存储器1200用于存储计算机程序,该计算机程序用于控制处理器1100进行操作以支持根据本公开实施例的方法的实现,该计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。该终端设备1000可以安装有智能操作系统(例如windows、linux、安卓、ios等系统)和应用软件。
46.本领域技术人员应当理解,尽管在图1中示出了终端设备1000的多个装置,但是,本公开实施例的终端设备1000可以仅涉及其中的部分装置,例如,只涉及处理器1100、存储器1200等。
47.车辆3000可以是图1中所示的自行车,也可以是三轮车、电动助力车、摩托车以及四轮乘用车等各种形态,在此不做限定。
48.该车辆3000可以包括但不限于处理器3100、存储器3200、接口装置3300、通信装置3400、显示装置3500、输入装置3600等等。其中,处理器3100可以是微处理器mcu等。存储器3200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置3300例如包括usb接口、串行接口、并行接口等。通信装置3400例如能够利用光纤或电缆进行有线通信,或者进行无线通信,具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。显示装置3500例如可以是液晶显示屏、触摸显示屏等。输入装置3600例如可以包括
触摸屏、键盘等,也可以是麦克风输入语音信息。
49.应用于本公开实施例中,车辆3000的存储器3200用于存储计算机程序,该计算机程序用于控制处理器3100进行操作以支持根据本公开实施例的方法的实现。该计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
50.尽管在图1中示出了车辆3000的多个装置,但是,本发明可以仅涉及其中的部分装置,例如,车辆3000只涉及处理器3100、存储器3200和通信装置3400。
51.应当理解的是,尽管图1仅示出一个服务器2000、终端设备1000、车辆3000,但不意味着限制各自的数量,本系统中可以包含多个服务器2000、多个终端设备1000、多个车辆3000。
52.下面,参照附图描述根据本发明的各个实施例和例子。
53.图2是根据一个实施例的图像处理方法的流程示意图。本实施例的实施主体例如为图1中的服务器2000。
54.如图2所示,本实施例的图像处理方法可以包括如下步骤s210~步骤s240:
55.步骤s210,获取车辆的状态信息。
56.本实施例中的车辆可以为共享自行车,也可以为共享电动自行车。
57.本实施例中,车辆的状态信息可以包括用于表示车辆处于使用状态的信息,或者可以包括用于表示车辆处于非使用状态的信息。
58.其中,车辆处于使用状态,即车辆处于用车状态,当前存在对应该车辆的用车订单。该使用状态可以包括骑行时的状态,以及没有骑行(比如临时停车等)时的状态。
59.步骤s220,在所述状态信息表示所述车辆处于使用状态的情况下,对于使用所述车辆的用户所佩戴的视觉穿戴设备,获取所述视觉穿戴设备中的相机获取到的、所述相机的图像采集范围内的第一图像。
60.本实施例中,在用户用车期间,采集用户所佩戴的视觉穿戴设备的相机图像,以便于后续对采集到的图像进行预设处理,使得用户看到的是处理后的现实世界图像。
61.当前的视觉穿戴设备主要有vr(virtual reality,虚拟现实)设备、ar(augmented reality,增强现实)设备。
62.其中,vr设备设置有遮挡板和显示屏,通过遮挡板避免现实世界的光线投射进人眼,以及通过显示屏输出虚拟影像,以将虚拟世界光线投射进人眼。即用户看到的仅仅是虚拟世界影像,看不到现实世界影像。
63.ar设备是在现实世界的光线投射进人眼的基础之上,还将微型显示屏上的虚拟影像光线通过折射或反射的方式投射进人眼,使得虚拟影像光线与现实世界的光线重叠在一起。即用户看到的是现实世界影像和虚拟影像的重叠影像。
64.可见,用户在佩戴现有视觉穿戴设备时,对现实世界影像的视觉体验不佳。
65.与现有的视觉穿戴设备的结构不同,本实施例中的视觉穿戴设备至少包括相机、处理器和显示屏。基于设备结构的不同,本实施例中视觉穿戴设备所能带来的对现实世界影像的视觉体验与当前视觉穿戴设备所能带来的对现实世界影像的视觉体验相应可以不同。
66.本实施例中,视觉穿戴设备中的处理器可以直接进行图像处理,将处理后的图像输出至显示屏进行显示,也可以与其他外部设备比如服务器等进行通信交互,以结合该外
部设备进行图像处理,比如将服务器发来的处理后的图像输出至显示屏进行显示。
67.本实施例中,所述相机用于实时获取所述相机的图像采集范围内的第一图像。
68.与现有vr设备通过遮挡板以遮蔽现实世界光线,使得用户仅观看到显示屏输出的虚拟世界光线不同,本实施例通过相机来获取现实世界光线,以支持用户佩戴视觉穿戴设备后,仍可观看到现实世界影像,以了解自身所处周边环境的具体内容,从而不影响用户的正常生活。比如,不影响用户在佩戴视觉穿戴设备时正常行走、跑步等。
69.与现有ar设备将虚拟影像和现实世界影像简单叠加后赋能给人眼不同,本实施例中的虚拟现实设备是对现实世界影像进行图像重构处理后赋能给人眼,能够达到更好的图像展示效果,从而使得用户对现实世界影像的视觉体验更好。
70.在此基础之上,由于相机可以具有各种能力,比如望远、显微、夜视、滤镜等,则本实施例支持将相机的各种能力实时沉浸式地赋能给人眼,如此可以缓解现有视觉穿戴设备为人眼赋能的范围较为有限的问题。
71.本实施例中,除了支持用户能够观看到现实世界影像以外,还对相机实时获取到的图像进行设定图像处理操作,可以实现对现实世界影像的即时重构效果,如此用户佩戴视觉穿戴设备时看到的现实世界影像为处理后的现实世界影像,以提升用户对现实世界影像的视觉体验。
72.基于上述内容,本实施例通过将上述视觉穿戴设备应用于车辆骑行场景中时,可为用户提供更智能、体验更好的骑行视觉交互。
73.基于上述内容,步骤s230,根据设定的处理策略对所述第一图像进行处理,得到第二图像。
74.可行地,相机可以实时捕获到现实世界的光线,并将其转化为数字信息,进而将数字信号传递给图像处理装置进行处理。进而,图像处理装置可以对接收到的数字信号进行实时图像处理及重构,之后输出内容到显示屏,以使显示屏显示重构后的影像。对应地,被重构的现实世界影像投射到人眼而被用户观看到。
75.步骤s240,控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像,以使所述用户观看所述第二图像。
76.本实施例中,根据设定的处理策略对相机实时获取到的现实世界的图像进行图像处理,得到处理后的图像即上述第二图像。
77.举例来说,该处理策略可以包括:在第一图像上添加当前时间、对第一图像整体作特定的滤镜处理、对第一图像进行图像识别并根据图像识别结果在第一图像上添加相应预设标识等中的至少一种。以在第一图像上添加当前时间为例,第一图像和当前时间可以分别在不同的图层。
78.如此,处理后的图像不仅维持了用于反映现实世界的原有图像信息,还可提供良好的视觉效果。
79.其中,处理策略可以按需设定,即本实施例支持将计算机视觉能力(如图像处理能力、图像识别能力等)实时沉浸式地赋能给人眼,如此可以缓解现有视觉穿戴设备为人眼赋能的范围较为有限的问题。
80.在对第一图像进行实时处理后,图像处理装置可以将处理后的图像发送给相应显示屏,以使显示屏输出该图像,以使用户看到该图像。
81.可见,视觉穿戴设备具备对现实世界影像的强干预及即时重构能力,具体可以通过实时加工处理即将投射进人眼的现实世界影像,并将重构后的影像实时投射进人眼,使得用户对现实世界影像具有良好的视觉体验。
82.由上可知,本实施例提供了图像处理方法,该方法获取车辆的状态信息;在状态信息表示车辆处于使用状态的情况下,对于使用车辆的用户所佩戴的视觉穿戴设备,获取视觉穿戴设备中的相机获取到的、相机的图像采集范围内的第一图像;根据设定的处理策略对第一图像进行处理,得到第二图像;控制视觉穿戴设备中的对应相机的显示屏显示第二图像,以使用户观看第二图像。本实施例在用户佩戴视觉穿戴设备并使用车辆的过程中,处理视觉穿戴设备获取的现实世界影像以实现对现实世界的即时重构效果,并将处理后的现实世界影像投射进人眼,这一实现方式不仅可以支持佩戴者在用车过程中对现实世界的观看需求,还可提升佩戴者在用车过程中对现实世界影像的视觉体验。
83.为了提供模拟人眼所见的视觉体验,视觉穿戴设备可以包括两个相机和两个显示屏,即包括对应于佩戴者左眼、位于左眼佩戴区域的一个相机和相应的一个显示屏,以及对应于佩戴者右眼、位于右眼佩戴区域的一个相机和相应的一个显示屏。其中,任一相机获取的图像经处理后,可以发送给与该相机相应的显示屏。
84.基于此,在本发明一个实施例中,所述视觉穿戴设备包括两个相机和两个显示屏;其中,每一相机均对应有一个显示屏;其中一个相机及相应的显示屏均位于所述视觉穿戴设备的左眼穿戴区域,另一个相机及相应的显示屏均位于所述视觉穿戴设备的右眼穿戴区域。
85.本实施例通过设置两组相机和显示屏,可以提供模拟人眼所见的视觉体验,用户视觉体验佳。
86.优选地,相机为广角相机,以模拟人眼对现实世界影像的观看效果。
87.可行地,为提升骑行体验,可以在用户骑行过程中,为用户提供导航指引功能。
88.基于此,在本发明一个实施例中,所述方法还可以包括以下步骤a1~步骤a2:
89.步骤a1,根据所述用户指定的骑行起始位置和骑行终止位置,获得道路导航规划路线。
90.本实施例中,用户可以在终端设备(如智能手机)上指定骑行起始位置和骑行终止位置,如此可以得到推荐的道路导航规划路线。
91.步骤a2,获取所述用户的方位数据。
92.其中,用户当前的方位可以由用户所骑行车辆的方位数据表示。在可行的情况下,视觉穿戴设备中也可以设置有用于输出方位数据的传感器,进而也可以以用户所佩戴的视觉穿戴设备的方位数据表示。
93.对应地,所述步骤s230,根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:
94.根据所述方位数据和所述道路导航规划路线,在所述第一图像中的相应道路上设置导航指引标识,得到所述第二图像。
95.本实施例中,基于道路导航规划路线和用户当前的方位,可以获得用户在当前路段的前行方向(比如在当前位置需直行、以及在前方转弯处需拐弯等)。
96.在获得用户在当前路段的前行方向后,由于相机当前获取到的图像中通常会包括
该当前路段,故而可以在图像的当前路段上设置相应的导航指引标识(比如箭头标识)。
97.如此,用户在佩戴视觉穿戴设备的骑行过程中,不仅可以看到当前所在道路,还可以看到对应该道路的导航指引标识,导航指引效果更好。
98.可行地,为提升骑行体验,可以在用户骑行至目的地附近时,为用户提供停车点指示功能,便于用户方便快捷的找到停车点。
99.基于此,在本发明一个实施例中,所述方法还可以包括:获取所述车辆的定位位置。
100.本实施例中,可以实时获取用户所用车辆的定位位置,比如可以通过服务器获得车辆上报来的定位位置,或者以终端设备的定位位置作为车辆的定位位置。
101.对应地,所述步骤s230,根据设定的处理策略对所述第一图像进行处理,得到第二图像,可以包括以下步骤s230a1~步骤s230a3:
102.步骤s230a1,确定所述定位位置与所述用户指定的骑行终止位置间的距离是否小于或者等于第一设定阈值。
103.本实施例中,根据当前位置和目的地位置的距离,可以确定出用户是否已骑行至目的地附近,即确定用户是否存在或即将存在停车需求。
104.步骤s230a2,在所述距离小于或者等于所述第一设定阈值的情况下,确定所述第一图像中是否存在任一设定停车围栏的至少一部分。
105.在用户骑行至目的地附近的情况下,目的地附近通常可以存在一个或者多个停车围栏,如此可以结合用户当前方位和各个预设停车围栏的设定位置,确定相机当前获取到的图像中是否存在任一停车围栏的部分或者全部区域。
106.步骤s230a3,在所述第一图像中存在任一设定停车围栏的至少一部分的情况下,在所述第一图像中的每一设定停车围栏处均设置停车围栏标识,得到所述第二图像。
107.只要存在任一停车围栏的至少部分区域,即可第一图像的该停车围栏处设置停车围栏标识,比如设置字母“p”,以及可以对围栏边界突出显示以作标识之用等。如此,用户在骑行至目的地附近时,可以快速找到停车点,故而还车体验佳。
108.可行地,为提升骑行体验,可以在用户骑行过程中,对骑行中的设定物体进行标识。比如通常可以对道路交通标志进行标识,以便于用户快速准确的了解用户当前所能看到的各个道路交通标志的准确释义、相关信息等。
109.基于此,在本发明一个实施例中,所述步骤s230,根据设定的处理策略对所述第一图像进行处理,得到第二图像,可以包括以下步骤s230b1~步骤s230b2:
110.步骤s230b1,对于设定的每一种道路交通标志,确定所述第一图像中是否包括所述道路交通标志的图像。
111.详细地,设定的道路交通标志可以包括红绿灯、各种路标等。红绿灯的设定指示信息可以有禁行提示、通行提示、等待指示,路标的设定指示信息可以为路标的准确释义。
112.对于相机实时获取到的每一帧图像,可以对该图像进行图像识别,以识别该图像中是否存在道路交通标志。
113.步骤s230b2,在所述第一图像中包括所述道路交通标志的图像的情况下,在所述第一图像中的所述道路交通标志处设置对应所述道路交通标志的设定指示信息,得到所述第二图像。
114.经图像识别,若存在道路交通标志,即可在该图像的该道路交通标志处设置相应的指示信息。
115.如此,用户在骑行过程中,可以直观准确的查看到所能看到的各个路标的准确释义,而无需人为记忆大量路标释义,以及可以直观查看到路口通行建议,有助于对骑行安全性的增强。
116.可行地,为了充分利用相机功能,以支持将相机本身的能力实时的沉浸式的赋能给人眼,则用户可以发出调整指令以请求调整相机的工作模式。
117.基于此,在本发明一个实施例中,所述方法还可以包括以下步骤b1~步骤b2:
118.步骤b1,获取所述用户发出的用于调整所述相机的工作模式的调整指令。
119.可行地,用户可以通过手势或者语音来发出调整指令,以及可以通过终端设备发出调整指令。
120.以通过语音发出调整指令为例,可以在视觉穿戴设备上设置语音获取模块、语音处理模块,来得到相应的调整指令。
121.以通过手势发出调整指令为例,可以对相机拍摄到的图像进行处理,来得到相应的调整指令。
122.步骤b2,根据所述调整指令,对所述相机的工作模式进行调整。
123.在确定出用户发出了相机工作模式调整指令的情况下,即可据此对相机工作模式进行相应调整,比如可以将相机的工作模式调整为远视模式、显微模式、夜视模式、特定渲染模式等。
124.以调整为远视模式为例,用户可以提前清楚的了解到远方的路况等信息。以调整为显微模式为例,用户可以更清楚的了解到周边肉眼不能清楚可见的信息,该信息比如为附近标识牌的具体文字内容等。
125.本实施例通过调整相机工作模式,即可直接实现对现实世界影像的初步重构,支持将相机本身的能力实时的沉浸式的赋能给人眼。
126.基于上述内容,在本发明一个实施例中,所述步骤b1,获取所述用户发出的用于调整所述相机的工作模式的调整指令,可以包括以下步骤b11~步骤b12:
127.步骤b11,根据所述第一图像,确定所述用户是否存在设定的图像缩放调整手势。
128.本实施例中,若用户的手部在相机的图像采集范围内做出特定手势,则相机实时采集到的图像中通常可以包括该特定手势的图像。如此,通过图像识别等技术,可以确定用户是否做出设定的图像缩放调整手势。
129.该图像缩放调整手势可以为用于放大图像的手势,以期获得显微效果,也可以为用于缩小图像的手势,以期获得远视效果。
130.步骤b12,在所述用户存在所述图像缩放调整手势的情况下,获得对应所述图像缩放调整手势的图像缩放调整指令。
131.不同图像缩放调整手势对应的图像缩放调整指令不同,不同指令所能产生的调整效果不同。手势与指令间的映射关系可以按需设定好。
132.基于此,所述步骤b2,根据所述调整指令,对所述相机的工作模式进行调整,包括:根据所述图像缩放调整指令,对所述相机的焦距进行调整。
133.该步骤中,通过执行获得的指令,可以对相机的焦距进行调整,具体可以增大或者
减小相机的焦距。
134.基于本实施例的实现,用户在佩戴视觉穿戴设备的同时,仅需在相机的图像采集范围内做出特定手势,即可实现对相机焦距的自动化调整,从而具有与之匹配的视觉体验。本实施例应用于车辆骑行场景中时,用户可以具有良好的骑行体验。
135.可行地,用户通过视觉穿戴设备还可共享其他视觉穿戴设备的用户的所见所闻。为避免用户共享图像的同时,对用户当前的活动(比如用户正在骑行中)造成影响,则可以限定用户在非骑行状态下才可共享图像。
136.基于此,在本发明一个实施例中,所述方法还可以包括以下步骤c1~步骤c5:
137.步骤c1,确定所述车辆的轮速。
138.详细地,可以通过车辆的轮速传感器采集的信号、以及通过车辆的定位位置变化情况、以及通过用户所用终端设备的定位位置变化情况,来确定用户所用车辆的轮速。
139.步骤c2,响应于所述用户发出的设定请求,获取另一视觉穿戴设备发来的第三图像。
140.其中,用户可以主动请求获取第三图像,也可以同意其他用户对第三图像的图像共享请求。
141.如此,可以实时获得另一视觉穿戴设备发来的第三图像。
142.步骤c3,在获取到所述第三图像的情况下,确定所述轮速是否小于或者等于第二设定阈值。
143.在获取到第三图像的情况下,可以结合轮速,来确定是否需要显示该第三图像。
144.步骤c4,在所述轮速小于或者等于所述第二设定阈值的情况下,控制所述显示屏显示所述第三图像。
145.在轮速较小的情况下,可以认为用户处于非骑行状态,从而可以显示第三图像以实现图像共享效果,且不会对用户安全造成影响。
146.步骤c5,在所述轮速大于所述第二设定阈值的情况下,执行所述控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像的步骤。
147.在轮速较大的情况下,可以认为用户处于骑行状态,为保证用户骑行安全,用户佩戴的视觉穿戴设备不显示其他视觉穿戴设备所显示的图像。
148.可见,本实施例支持将来自其他视觉穿戴设备观测到的影像低延迟地传递给当前视觉穿戴设备的用户,使得用户可以实时沉浸式共享其他个体的视觉内容,从而实现视觉体验的共享效果。
149.可行地,通过共享视觉内容,可便于一个用户为另一用户准确的指引道路、定位建筑物等。
150.对于用户不便于操作终端设备的情况,比如用户在骑行过程中不便于操作智能手机接通电话的情况,为保障用户骑行安全的同时提升用户骑行体验,可以通过视觉穿戴设备显示这类信息(比如来电信息),且通过相机拍摄用户手部的动作,还可执行相应处理(比如接通或者挂断来电),这一过程无需用户操作终端设备。
151.基于此,在本发明一个实施例中,所述步骤s230,根据设定的处理策略对所述第一图像进行处理,得到第二图像,包括:在所述用户的终端设备存在设定信息的情况下,在所述第一图像上设置所述设定信息,得到所述第二图像。
152.可行地,该设定信息可以为来电信息、聊天信息等。当终端设备收到来电信息时,该来电信息可以增加至第一图像上的设定显示区域中,以被用户查看到。
153.对应地,所述方法还可以包括以下步骤d1~步骤d2:
154.步骤d1,根据所述第一图像,确定所述用户的手部是否对所述设定信息存在设定动作。
155.用户在通过视觉穿戴设备查看到设定信息后,可以按需执行相应的手部动作,该手部动作可被相机获取到,即相机获取到的图像可以包括该手部动作的图像。经图像识别处理,可以确定用户是否存在设定动作。
156.比如设定信息为来电信息时,确定是否存在接通动作和挂断动作中的任意一个。
157.步骤d2,在所述用户的手部对所述设定信息存在所述设定动作的情况下,触发所述终端设备执行对应所述设定动作的设定处理。
158.在存在设定动作的情况下,可以执行相应处理。如设定动作为接通动作时,可以触发终端设备接通来电。基于此,用户至少可以通过佩戴的蓝牙耳机完成通话。
159.可见,用户在骑行过程中,不仅可以及时查看到设定信息,且仅需手部做出设定动作,即可达到所需效果,骑行安全性高,骑行体验好。
160.由上可知,本实施例可以适用于共享车辆应用场景中,可以为用户提供更智能、体验更好的骑行视觉交互,如导航、时间、通信、渲染等炫酷视觉体验,以及可在用户骑行的过程中模拟手机的功能,避免用户一只手扶车把,一只手掏手机并查看手机的麻烦。
161.《设备实施例》
162.图3是根据一个实施例的图像处理装置300的原理框图。如图3所示,该图像处理装置300可以包括第一获取模块310、第二获取模块320、处理模块330和控制模块340。该图像处理装置300可以是图1所示的服务器2000。
163.其中,所述第一获取模块310用于获取车辆的状态信息。所述第二获取模块320用于在所述状态信息表示所述车辆处于使用状态的情况下,对于使用所述车辆的用户所佩戴的视觉穿戴设备,获取所述视觉穿戴设备中的相机获取到的、所述相机的图像采集范围内的第一图像。所述处理模块330用于根据设定的处理策略对所述第一图像进行处理,得到第二图像。所述控制模块340用于控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像,以使所述用户观看所述第二图像。
164.本实施例在用户佩戴视觉穿戴设备并使用车辆的过程中,处理视觉穿戴设备获取的现实世界影像以实现对现实世界的即时重构效果,并将处理后的现实世界影像投射进人眼,这一实现方式不仅可以支持佩戴者在用车过程中对现实世界的观看需求,还可提升佩戴者在用车过程中对现实世界影像的视觉体验。
165.在本发明一个实施例中,所述处理模块330用于根据所述用户指定的骑行起始位置和骑行终止位置,获得道路导航规划路线;获取所述用户的方位数据;根据所述方位数据和所述道路导航规划路线,在所述第一图像中的相应道路上设置导航指引标识,得到所述第二图像。
166.在本发明一个实施例中,所述处理模块330用于获取所述车辆的定位位置;确定所述定位位置与所述用户指定的骑行终止位置间的距离是否小于或者等于第一设定阈值;在所述距离小于或者等于所述第一设定阈值的情况下,确定所述第一图像中是否存在任一设
定停车围栏的至少一部分;在所述第一图像中存在任一设定停车围栏的至少一部分的情况下,在所述第一图像中的每一设定停车围栏处均设置停车围栏标识,得到所述第二图像。
167.在本发明一个实施例中,所述处理模块330用于对于设定的每一种道路交通标志,确定所述第一图像中是否包括所述道路交通标志的图像;在所述第一图像中包括所述道路交通标志的图像的情况下,在所述第一图像中的所述道路交通标志处设置对应所述道路交通标志的设定指示信息,得到所述第二图像。
168.在本发明一个实施例中,所述处理模块330用于获取所述用户发出的用于调整所述相机的工作模式的调整指令;根据所述调整指令,对所述相机的工作模式进行调整。
169.在本发明一个实施例中,所述处理模块330用于根据所述第一图像,确定所述用户是否存在设定的图像缩放调整手势;在所述用户存在所述图像缩放调整手势的情况下,获得对应所述图像缩放调整手势的图像缩放调整指令;根据所述图像缩放调整指令,对所述相机的焦距进行调整。
170.在本发明一个实施例中,所述处理模块330用于确定所述车辆的轮速;响应于所述用户发出的设定请求,获取另一视觉穿戴设备发来的第三图像;在获取到所述第三图像的情况下,确定所述轮速是否小于或者等于第二设定阈值;在所述轮速小于或者等于所述第二设定阈值的情况下,控制所述显示屏显示所述第三图像;在所述轮速大于所述第二设定阈值的情况下,执行所述控制所述视觉穿戴设备中的对应所述相机的显示屏显示所述第二图像的步骤。
171.在本发明一个实施例中,所述处理模块330用于在所述用户的终端设备存在设定信息的情况下,在所述第一图像上设置所述设定信息,得到所述第二图像;根据所述第一图像,确定所述用户的手部是否对所述设定信息存在设定动作;在所述用户的手部对所述设定信息存在所述设定动作的情况下,触发所述终端设备执行对应所述设定动作的设定处理。
172.在本发明一个实施例中,所述视觉穿戴设备包括两个相机和两个显示屏;其中,每一相机均对应有一个显示屏;其中一个相机及相应的显示屏均位于所述视觉穿戴设备的左眼穿戴区域,另一个相机及相应的显示屏均位于所述视觉穿戴设备的右眼穿戴区域。
173.图4是根据另一个实施例的服务器400的硬件结构示意图。
174.如图4所示,该服务器400包括处理器410和存储器420,该存储器420用于存储可执行的计算机程序,该处理器410用于根据该计算机程序的控制,执行如以上任意方法实施例的方法。
175.该服务器400可以是如图1所示的服务器2000。
176.以上服务器400的各模块可以由本实施例中的处理器410执行存储器420存储的计算机程序实现,也可以通过其他电路结构实现,在此不做限定。
177.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
178.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器
(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
179.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
180.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
181.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
182.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
183.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
184.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
185.以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1