一种显示方法、装置及系统与流程

1.本技术实施例涉及通信技术领域，尤其涉及一种显示方法、装置及系统。


背景技术：

2.汽车a柱作为汽车挡风玻璃和前车门之间的支撑柱，对保证汽车的安全行驶具有不可替代的作用。但是，汽车a柱强度越高，所占的面积越大，造成汽车行驶过程中的视觉盲区也越大。如何减少a柱盲区带来的影响，是本技术实施例待解决的技术问题。


技术实现要素：

3.本技术实施例提供一种显示方法、装置及系统，以减少a柱盲区带来的影响。
4.第一方面，提供一种显示方法，该方法的执行主体为控制装置，可选的，控制装置可以为域控制器、域控制器内的芯片或集成电路等，该方法包括：控制装置获取来自第一摄像装置的第一信息；控制装置根据第一信息，确定驾驶员信息，所述驾驶员信息包括驾驶员的视角以及驾驶员与a柱的相对位置信息中的至少一个；控制装置获取来自至少一个传感装置的第二信息，第二信息包含外部环境的信息；控制装置根据第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对第二信息处理得到的信息等。可选的，输出第三信息进行显示。
5.通过上述方法，通过传感装置可获取a柱外部环境的信息，并根据驾驶员的视角，与a柱的相对位置等信息，对a柱的外部环境信息进行处理，最终得到被a柱所遮挡的外部环境的信息，从而减少a柱盲区所带来的影响，提高驾驶安全性。
6.在一种可能的设计中，上述根据第二信息，获取第三信息，包括：根据驾驶员信息以及第二信息中障碍区的位置信息，经过裁剪和融合中的到少一个处理以获取第三信息。
7.例如，上述裁剪的过程可包括：根据驾驶员的视角，对第二信息进行裁剪。具体的，根据x方向的裁剪距离dx和y方向的裁剪距离dy，对所述第二信息进行裁剪，所述驾驶员的视角包括x方向映射角和y方向映射角，所述dx是根据所述x方向映射角所确定的，所述dy是根据所述y方向映射角所确定的。
8.由于驾驶员的视角不同，a柱所遮挡的区域也不相同。通过上述，根据驾驶员的视角，对a柱所遮挡的包括外部环境的第二信息进行裁剪，可对a柱遮挡区域的显示更准确。
9.在一种可能的设计中，上述融合的过程可包括：将裁剪后的第二信息，与所述第二信息中障碍区的位置信息进行融合。
10.通过上述，由于如果a柱所遮挡的区域为无障碍物的道路区域，其实由a柱遮挡所带来的危害并不是很大。最担忧的点在于，若a柱遮挡了外部环境中的障碍物，从而导致驾驶员所驾驶的车辆与障碍物发生碰撞，引发交通事故。而在本技术实施例中，为了避免上述裁剪的过程，将外部环境中的障碍物裁剪掉，将裁剪后的信息，与包括障碍物的位置信息再次进行融合，始终保证融合后的信息中包括障碍物的信息，保证行车安全。
11.在一种可能的设计中，当所述驾驶员与a柱的相对位置小于阈值时，所述第三信息
是经过裁剪并放大得到的；或者，当所述驾驶员与a柱的相对位置大于或等于阈值时，所述第三信息是经过添加原信息并缩小得到的。
12.通过上述，当驾驶员眼睛距离a柱靠近时，以上述融合信息为基础，做适当的裁剪并将裁剪区域放大显示。而当驾驶员眼睛距离a柱较远时，在相同视角下，以上述融合信息为基础，再添加原信息部分，并将添加后整体信息做缩小显示，符合人眼视野近大远小的特点。
13.在一种可能的设计中，上述至少一个传感装置包括第二摄像装置以及探测装置中的至少一个，所述获取来自至少一个传感装置的第二信息，包括：获取来自至少一个传感装置的融合信息，所述融合信息中融合了障碍物的速度和/或距离信息。
14.通过上述，通过在融合信息中添加障碍物的速度和/或距离等信息，可提醒驾驶员当前障碍物与驾驶员车辆的相对信息，从而使得驾驶员有更充分的时间，避开障碍物，提高驾驶安全。
15.在一种可能的设计中，还包括：获取来自环境光传感器的外部环境的亮度信息；
16.调整所述第三信息的亮度和/或对比度。
17.通过上述，根据外部环境的亮度信息，调节显示的第三信息的亮度和/或对比度，从而提高驾驶员的视觉感受，且随时根据外部的环境，调节显示的第三信息的亮度和/或对比度，保证驾驶员在何种场景下，均能看清楚由a柱遮挡的外部区域，保证驾驶安全。
18.第二方面，提供一种装置，有益效果可参见第一方面的描述。所述装置具有实现上述第一方面的方法实施例中行为的功能。所述功能可以通过执行相应的硬件或软件实现。所述硬件或软件可包括一个或多个上述功能相对应的单元。在一种可能的设计中，该装置包括：通信单元，用于获取来自第一摄像装置的第一信息；处理单元，用于根据所述第一信息，确定驾驶员信息，所述驾驶员信息包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个；所述通信单元，还用于获取来自至少一个传感装置的第二信息，所述第二信息包含外部环境信息；所述处理单元，还用于根据所述第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对所述第二信息处理得到的信息。这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不作赘述。
19.第三方面，提供一种装置，该装置可以为上述第一方面实施例中的控制装置。该装置包括通信接口以及处理器，可选的，还包括存储器。其中，该存储器用于存储计算机程序或指令，处理器与存储器、通信接口耦合，当处理器执行所述计算机程序或指令时，使装置执行上述第一方面方法实施例中由控制装置所执行的方法。
20.第四方面，提供一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被运行时，使得上述第一方面中由控制装置所执行的方法被执行。
21.第五方面，提供一种芯片系统，该芯片系统包括处理器，用于实现上述第一方面的方法中控制装置的功能。在一种可能的设计中，所述芯片系统还包括存储器，用于保存程序指令和/或数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
22.第六方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现上述第一方面由控制装置执行的。
23.第七方面，提供一种显示系统，包括：第一摄像装置，用于获取驾驶员的第一信息；至少一个传感装置，用于获取第二信息，所述第二信息中包含外部环境的信息；控制装置，用于根据所述第一信息，确定驾驶员信息，所述驾驶员信息包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个，以及根据所述第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对所述第二信息处理得到的信息；显示装置，用于显示所述第三信息。
24.通过上述方法，传感装置可采集外部环境的信息，而第一摄像装置可采集驾驶员的信息，且根据驾驶员的信息，对外部环境的信息进行调度，得到第三信息，所述第三信息可认为是a柱遮挡区域的外部环境的信息。最后，显示装置显示所述第三信息，从而可避免由于a柱遮挡引发交通事故。
25.在一种可能的设计中，所述第一摄像装置为高清摄像头，所述高清摄像头的数量为三个，分别位于驾驶席上方、中控屏上方、左侧车门上方。
26.在一种可能的设计中，所述至少一个传感装置包括第二摄像装置以及探测装置中的至少一个，所述第二摄像装置为红外摄像头，所述红外摄像头的数量为两个，分别位于左侧a柱的正下方，右侧a柱的正下方，所述探测装置为雷达，所述雷达的数量为两个，分别位于车体的左车前灯旁和右车前灯旁。
27.在一种可能的设计中，所述显示装置为柔性显示屏，所述柔性显示屏的数量为两个，分别贴合于左侧a柱上和右侧a柱上。
28.通过上述，柔性显示屏可完美贴合a柱而不影响a柱结构强度，且能显示盲区，保护驾驶员安全且成本低廉。
29.在一种可能的设计中，所述根据所述第二信息，获取第三信息，包括：根据所述驾驶员信息以及所述第二信息中障碍物的位置，经过裁剪和融合中的至少一个处理以获取所述第三信息。
30.在一种可能的设计中，所述裁剪过程，包括：根据所述驾驶员的视角，对所述第二信息进行裁剪。
31.在一种可能的设计中，所述根据所述驾驶员的视角，对所述第二信息进行裁剪，包括：根据x方向的裁剪距离dx和y方向的裁剪距离dy，对所述第二信息进行裁剪，所述驾驶员的视角包括x方向映射角和y方向映射角，所述dx是根据所述x方向映射角所确定的，所述dy是根据所述y方向映射角所确定的。
32.在一种可能的设计中，所述融合的过程，包括：将所述裁剪后的第二信息，与所述第二信息中障碍区的位置信息进行融合。
33.在一种可能的设计中，当所述驾驶员与a柱的相对位置小于阈值时，所述第三信息是经过裁剪并放大得到的；或者，当所述驾驶员与a柱的相对位置大于或等于阈值时，所述第三信息是经过添加原信息并缩小得到的。
34.在一种可能的设计中，所述获取外部环境的第二信息，包括：获取来自所述至少一个传感装置的融合信息，所述融合信息融合所述障碍物的速度和/或距离信息。
35.在一种可能的设计中，还包括：环境光传感器，用于采集外部的环境亮度；所述控制装置，还用于调整所述第三信息的亮度和/或对比度。
36.在一种可能的设计中，所述环境光传感器分别位于左侧a柱的底部和右侧a柱的底
部。
37.在一种可能的设计中，上述显示系统，还可包括声音告警装置，用于向外播放障碍物的信息。
38.通过上述，所播放的障碍物信息可包括，障碍物种类、障碍物与当前车的相对距离或速度等，从而提醒驾驶员当前道路中存在障碍物，保证行车安全。多维提示，声音和视觉的结合，使得提醒更有效。
附图说明
39.图1为本技术实施提供的a柱的一示意图；
40.图2a和图2b为本技术实施例提供的a柱盲区的示意图；
41.图3为本技术实施例提供的应用场景的一示意图；
42.图4为本技术实施例提供的显示方法的一示意图；
43.图5为本技术实施例提供的融合的一示意图；
44.图6为本技术实施例提供的裁剪的一示意图；
45.图7为本技术实施例提供的裁剪过程的一示意图；
46.图8、图9和图10为本技术实施例提供的融合的示意图；
47.图11为本技术实施例提供的裁剪的示意图；
48.图12为本技术实施例提供的最终预裁剪区域的示意图；
49.图13a和图13b为本技术实施例提供的各装置的布局示意图；
50.图14为本技术实施例提供的显示系统的处理过程示意图；
51.图15为本技术实施例提供的驾驶舱主视图、驾驶舱左视图和驾驶舱俯视图的示意图；
52.图16为本技术实施例提供的处理装置的一示意图；
53.图17为本技术实施例提供的处理装置的另一示意图。
具体实施方式
54.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。其中，在本技术的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，a/b可以表示a或b；本技术中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。并且，在本技术的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
55.此外，本技术实施例描述的网络架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术
人员可知，随着网络架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
56.如图1所示，汽车a柱，是左前方和右前方连接车顶和前舱的连接柱，在发动机舱和驾驶舱之间，左右后视镜的上方。对于现代的封闭式汽车而言，a柱是不可缺少的车身结构。由于现代大部分汽车使用承载式车身结构，整个车身兼有车架的作用并且要承担全部载荷，而a柱的存在得以使承载式车身结构具有更高的稳定性和车身刚度，在汽车发生碰撞时保护驾驶舱减少变形，对驾驶员以及乘客的安全起到重要的作用。
57.但汽车a柱的存在会阻挡驾驶员一部分视线，当距离较远时，遮挡区域足够挡住一个成人；尤其左转时，给行车安全带来隐患。如图2a或图2b所示，前挡风玻璃和左车门之间的立柱是左边的a柱。因为距离驾驶员较近，所以盲区视角较大，是6
°
左右。前挡风玻璃与右车门之间的立柱是右边的a柱。因为距离驾驶员较远，所以盲区视角较小，是2
°
左右。如何减少a柱盲区带来的影响，是本技术实施例待解决的技术问题。
58.在一种可能的方案中，借助两个摄像头(一个置于车内，一个置于车外)、显示器及中央处理器，综合显示a柱盲区区域。例如，第一摄像头(车内)识别驾驶员视线角；第二摄像头(车外)由伺服电机带动与视线角平齐；控制显示器显示盲目影像(贴合a柱内表面)。该方案存在以下缺点：单一外部摄像头识别不准确；单一内部摄像头获取视角信息较慢，且误差较大；通过视角控制外部摄像头角度(机械转动)延时明显，性能不足。
59.在另一种可能的方案中，借助摄像头和雷达探测到a柱盲区信息，经过处理后由显示器显示以及语音播报等方式，告知驾驶员，使得驾驶员在驾驶过程中能够实时了解a柱盲区的路状信息。例如，第一显示器设置于左侧a柱，第二显示器设置于右侧a柱。摄像头(车外)探测盲区信息；雷达(车外)探测盲区信息；微处理器处理盲区信息并输出显示，语音警示。该方案存在以下缺点：普通显示器单独安装有二次伤害风险；摄像头和雷达获取信息未针对驾驶员做明确处理，包括融合或裁剪，冗余信息未筛除，影响驾驶。
60.在另一种可能的方案中，借助车内及车外布置的摄像头，利用驾驶员视角来动态显示被a柱遮挡区域。车外摄像头用于采集前方道路的环视信息，车内摄像头获取驾驶员视线信息；根据驾驶员视线信息，从车外摄像头所获取的图像中裁剪出驾驶员所关注图像，在a柱内侧按其弧度贴合柔性显示屏来显示图像；根据车内摄像头所采集到的驾驶员视线角度变化信息实时改变显示在车内柔性显示屏幕上的图像。该方案存在以下缺点：仅根据驾驶员视角进行视频剪裁，未考虑驾驶员与a柱距离(相同视角，凑近看或远离看)不同所造成不同的显示效果；未考虑到根据过大或过小的视线角度进行裁剪的视频无法包络完整障碍物的情况；显示亮度未考虑环境光影响。
61.如图3所示，提供一种可能的应用场景示意图。上述应用场景可以为无人驾驶、自动驾驶、智能驾驶、网联驾驶等场景。本技术实施例中的处理装置或系统，可安装在机动车辆(例如无人车、智能车、电动车、数字汽车等)、无人机、轨道车、自行车或测速装置等等。另外，上述装置除安装处理装置或系统外，还以安装通信装置等，不作限定。另外，上述处理装置、显示系统、或通信装置可以安装在移动设备上，例如，安装在车辆等，也可以安装在固定的设备上，例如安装在路侧单元(road side unit)等设备上等。本技术实施例，对处理装置、显示系统，或通信装置的安装位置和功能不作限定。
62.如图4所示，提供一种显示方法。该方法可以由控制装置执行。控制装置可以为控
制器(例如，域控制器)，或者，控制装置也可以是安装在通信设备中的芯片，通信设备例如为控制器，或者，其它的设备。该方法包括但不限于以下步骤：
63.步骤401，控制装置接收来自第一摄像装置的第一信息。第一摄像装置可用于采集驾驶员的图像或视频信息等，上述第一信息可以是第一摄像装置采集的驾驶员的图像信息，或者视频信息等，不作限定。
64.步骤402，控制装置根据第一信息，确定驾驶员信息，所述驾驶员信息可包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个。
65.步骤403，控制装置获取来自至少一个传感装置的第二信息，所述第二信息包括外部环境信息。
66.可选的，所述至少一个传感装置包括第二摄像装置以及探测装置的至少一个。所述第二摄像装置可用于采用外部环境的图像或视频信息，探测装置可用于探测外部环境中障碍物的速度和/或距离等信息。在一种可能的实现方式中，控制装置可获取来自所述至少一个传感装置的融合信息，所述融合信息融合了所述障碍物的速度和/或距离信息等。如图5所示，外侧的虚线方框为第二摄像装置所采集的外部环境的原始信息，障碍物外侧方框为障碍物标识框，该障碍物标识框上方附有标柱信息。所述标注信息可包括：障碍物种类，障碍物与本车的相对距离和/或相对速度等。相对距离和相对速度可以通过探测装置探测获得，障碍物种类可通过第二摄像装置探测识别获得。
67.步骤404，控制装置根据所述第二信息，获取第三信息，第三信息包括基于所述驾驶员信息，对第二信息处理得到的信息。例如，控制装置可根据驾驶员信息以及第二信息中障碍区的位置信息，经过裁剪与融合中的至少一个处理，以获取第三信息。这里所说的“裁剪”，仅仅用于表明一种对信息的处理，不限定具体的裁剪动作，仅表征从一个较大尺寸的信息获取一个较小尺寸的信息。
68.在一种可能的实现方式中，若所述第二信息中包括驾驶员的视角，则所述控制装置可根据所述驾驶员的视角，对第二信息进行裁剪。如图6所示，可根据x方向的裁剪距离dx和y方向的裁剪距离dy，对所述第二信息进行裁剪，所述dx是根据驾驶员视角中的x方向映射所确定的，所述dy是根据驾驶员视角中的y方向映射角所确定的。
69.如图7所示，由于根据焦距与像距的不同，物体在底片上成像大小并不同，在相同视角θ下，所得视频裁剪部分d并不相同。上述根据x方向映射角，确定x方向的裁剪距离dx的过程，可满足以下条件：
[0070][0071]
其中，dx表示x方向的裁剪距离，v代表像距，f代表焦距，θ2代表x方向映射角，d
x
代表所述第二视频在x方向的宽度。
[0072]
上述根据所述y方向映射角，确定y方向的裁剪距离dy的过程，可满足以下条件：
[0073][0074]
其中，dy表示y方向的裁剪距离，v代表像距，f代表焦距离，θ3代表y方向映射角，dy代表所述第二视频在y方向的宽度。
[0075]
可选的，控制装置可将裁剪后的第二信息，与所述第二信息中障碍区的位置信息进行融合。控制装置可获取第二信息中障碍物的位置坐标，根据障碍物的位置坐标，获取障碍物所处周边最大区域坐标。如图8所示，控制装置可得到障碍物标注框左下角坐标(x1,y1)及其右上角坐标(x2,y2)；障碍物标注框左下角坐标(x1,y1)向左下方延长(45度角)，得到与第二信息区域的交点及其坐标(x0,y0)；障碍物标注框右上角坐标(x2,y2)向右上方延长(45度角)，得到与第二信息区域的交点及其坐标(x,y)；(x0,y0)与(x,y)所组成的矩形区域称为“障碍物所处周边最大区域”。同时，设定上述根据驾驶员的视角，所得到的裁剪区域的左下角坐标为(x0’，y0’)，右上角坐标为(x’，y’)。
[0076]
情况一：如图9所示，当障碍物在裁剪区域内，即：x0’《x0《x1，x2《x《x’，y1》y0’》y0,y》y’》y2，则最终融合区域取裁剪区域和障碍物所处周边最大区域的交集。
[0077]
情况二：如图10所示，当障碍物在裁剪区域外，即x0《x1《x0’，x2《x《x’，y0《y0’》y1,y2》y’》y，则a＝根据视线角度所得预裁区域与障碍物所处最大区域的交集，b＝障碍物标注框区域，c＝au b(a与b的并集)，则最终融合区域d＝c补全为最小矩形。
[0078]
在另一种可能的实现方式中，若所述第二信息中包括驾驶员与a柱的相对位置，则当驾驶员与a柱的相对位置小于(或者，小于或等于)阈值时，所述第三信息是经过裁剪并放大得到的。或者，当所述驾驶员与a柱的相对位置大于或等于(或者，大于)阈值时，所述第三信息是经过添加原信息并缩小得到的。所述原信息可指第二摄像装置所采集的外部环境的原始信息中的全部信息或者部分信息。
[0079]
在上述描述中，当驾驶员眼睛距离a柱靠近时，以上述融合信息为基础，做适当的裁剪并将裁剪区域放大显示。而当驾驶员眼睛距离a柱较远时，在相同视角下，以上述融合信息为基础，再添加原信息部分，并将添加后整体信息做缩小显示，符合人眼视野近大远小的特点。
[0080]
可选的，如图11所示，当驾驶员眼睛距离a柱靠近时，上述以融合信息为基础，做适当裁剪的过程满足下述条件，且最终的裁剪所得区域，可参见图12所示。
[0081][0082][0083]
其中，dx表示x方向裁剪距离，dy表示y方向裁剪距离，d1可通过探测装置测距得到，d3是驾驶员眼睛从b位置移动到a位置的距离，可通过第一摄像装置探测得到，β是驾驶员眼睛处于b点位置时，第一摄像装置观测到的障碍物的摄像装置的视频角度，α是人眼垂直视度，舒适区域约为20。
[0084]
可选的，上述探测装置还可获取来自环境光传感器的外部环境的亮度信息；调整所述第三信息的亮度和/或对比度，且输出调整后的所述第三信息。第三信息可在位于车内的显示装置上进行显示或播放等。根据外部环境亮度，可以随时或者以一定周期或者根据需要调节第三信息的亮度和/或对比度，以使得驾驶员可以看清楚显示装置的显示或播放内容，保证驾驶安全。
[0085]
本技术实施例还提供一种显示系统，该显示系统与上述显示方法的描述可相互参见，包括：
[0086]
第一摄像装置，用于获取第一信息；至少一个传感装置，用于获取第二信息，第二
信息中包含外部环境信息；控制装置，用于根据所述第一信息，确定驾驶员信息，所述驾驶员信息包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个，以及根据所述第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对所述第二信息处理得到的信息；显示装置，用于显示所述第三信息。
[0087]
参见图13a或图13b所示，所述第一摄像装置为高清摄像头，所述高清摄像头的数量可以为一个或者多，例如三个，分别位于驾驶席上方、中控屏上方、左侧车门上方。所述至少一个传感装置包括第二摄像装置以及探测装置中的至少一个，所述第二摄像装置为红外摄像头，所述红外摄像头的数量可以为一个或多个，例如两个，分别位于左侧a柱的正下方，右侧a柱的正下方，所述探测装置为雷达，例如毫米波雷达，雷达的数量为一个或多个，例如两个，分别位于车体的左车前灯旁和右车前灯旁。所述显示装置为柔性显示屏，所述柔性显示屏的数量可以为两个，分别贴合于左侧a柱上和右侧a柱上。柔性显示屏可完美贴合a柱而不影响a柱结构强度，且能显示盲区，保护驾驶员安全且成本低廉。所述控制装置可以车内的域控制器或者域控制器内的芯片或者集成电路等。
[0088]
可选的，上述显示系统还包括：环境光传感器，用于采集外部的环境亮度；所述控制器，还用于调整所述第三信息的亮度和/或对比度。所述环境光传感器分别位于左侧a柱的底部和右侧a柱的底部。
[0089]
如图14所示，在一种可能的实现方式中，当雷达监测到近距离障碍物时，所述近距离障碍物可以为人、动物或其它等，可以100m以太网为媒介向域控制器传递障碍物信息以及其与本车的相对距离、速度等信息。当红外摄像头采集到外部环境的物体时，以1000m以太网为媒介向域控制器传递外部环境的视频信息。域控制器对上述两者的信息进行融合，形成带有标注信息的融合视频。所述标注信息中可标注有障碍物的种类，和/或障碍物与车辆的相对速度、相对距离等信息。具体的融合过程，可参见上述图5的介绍。高清摄像头可采集驾驶员信息，且以1000m以太网为媒介向域控制器传递驾驶员信息。域控制器可根据上述驾驶员信息，识别驾驶员视角及其与a柱的距离。当然，高清摄像头也可根据采集的驾驶员信息，识别出驾驶员视角及其与a柱的距离，将驾驶员视角与其与a柱的距离，直接发送给域控制器，无需域控制器进一步识别。域控制器可根据驾驶员视角及融合视频内标注信息，对融合信息进行裁剪。对上述融合视频进行裁剪的过程，可参见上述图6的记载。进一步，在上述裁剪的过程，为了避免裁掉障碍物区域，保证障碍物始终在a柱显示屏中显示，可将裁剪后的视频，与障碍物所处周边的最大区域再次进行融合，具体过程可参见图8、图9或图10的记载。之后，域控制器可将上述融合后的视频，作增强人物识别，即根据驾驶员与a柱的距离，做放大或缩小显示，以符合人眼视野，近大远小的原则。环境光传感器以通用异步收发器(universal asynchronous teceiver/transmitter，uart)为媒介向域控制器传递外部环境的亮度信息。域控制器调节上述增强处理后的视频的亮度和对比度，且以1000m以太网为媒介传递给a柱柔性显示屏，进行显示。在上述图14的方案中，采用通用通讯架构，融合摄像头及雷达新的通讯链路，通过车载以太网，有效减少线束重量及成本。
[0090]
通过上述可以看出，当雷达探测到障碍物时，域控制器将雷达探测到的障碍物信息与红外摄像头采集到的视频作融合，形成带有标注信息的融合视频。域控制器根据驾驶员视角信息及融合视频内标注信息，对融合信息进行裁剪。结合驾驶员与a柱距离，域控制器以原融合视频为辅在预裁剪所得的感兴趣区域(region of interest，roi)上进一步选
择更感兴趣区域，并进行缩放，且始终保证探测的障碍物的标注框在视频内显示。所述roi是指，在机器视觉或图像处理等领域，在被处理的图像中，以方框、圆、椭圆或者不规则多边形等方式勾勒出需要处理的区域。在本技术实施例中，所述roi可指a柱遮挡的区域。域控制器接收环境光传感器采集到的外部环境信息，调节亮度及对比度，对视频做进一步处理。域控制器将处理过的最终视频输出到a柱柔性显示屏进行显示。
[0091]
可选的，上述显示系统，还可包括声音告警装置，用于向外播放障碍物的信息。例如，障碍物种类、障碍物与当前车的相对距离或速度等，从而提醒驾驶员当前道路中存在障碍物，保证行车安全。多维提示，声音和视觉的结合，使得提醒更有效。
[0092]
在一种可能的实现方式中，根据高清摄像头所采集的驾驶员信息，确定驾驶员的视角与驾驶员与a柱距离的过程如下：
[0093]
如图15所示，利用位于中控屏上方的高清摄像头所采集的图像信息，得到驾驶舱主视图，利用位于左侧车门上方的高清摄像头所采集的图像信息，得到驾驶舱左视图；利用驾驶舱上方的高清摄像头所采集的图像信息，得到驾驶舱俯视图。
[0094]
驾驶员眼睛与a柱的距离(公式1.5)
[0095]
其中，dx3代表驾驶舱主视图中的眼睛与a柱的水平距离，dy3代表驾驶舱俯视图中的眼睛与a柱的垂直距离，dy2代表驾驶舱左视图中的眼睛与a柱的垂直距离。
[0096]
进一步，上述驾驶舱左视图中的人眼视角垂直角度θ2，即为上述公式1.1中的x方向映射角，上述驾驶舱俯视图中的人眼视角水平角度θ3即为上述公式1.1中的y方向映射角。
[0097]
在本技术实施例中，雷达和红外摄像头信息进行融合，对识别障碍物显示标注，提高识别性。结合驾驶员视角及其与a柱距离信息对融合视频进行roi动态选择，提升上人机交互功效，聚焦关键信息，确定障碍物始终在a柱显示屏中显示。
[0098]
以上，结合图1至图15详细说明了本技术实施例提供的方法。以下结合图16和图17详细说明本技术实施例提供的装置。应理解，装置实施例的描述与方法实施例的描述相互对应。因此，未详细描述的内容可以参见上文方法实施例中的描述。
[0099]
图16是本技术实施例提供的装置1600的示意性框图，用于实现上述方法中控制装置的功能。例如，该装置可以为软件模块或芯片系统。所述芯片可以由芯片构成，也可包括芯片和其他分立器件。该装置1600包括通信单元1601和处理单元1602，通信单元1601可以与其它设备进行通信，还可称为通信接口、收发单元或者输入\输出接口等。可选的，装置1600可以是车载终端、或者配置于车载终端的芯片或电路。或者，装置1600可以是车载中央处理器，或者配置于车载中央处理器中的芯片或电路等。或者，装置1600可以是智能座舱域控制器(cockpit domain controller，cdc)，或者，配置于cdc中的芯片或电路等。
[0100]
在一种可能的实现方式中，通信单元1601，用于执行上文方法实施例中控制装置的收发相关操作，处理单元1602，用于执行上文方法实施例中控制装置的处理相关操作。
[0101]
例如，通信单元1601，用于获取来自第一摄像装置的第一信息；处理单元1602，用于根据所述第一信息，确定驾驶员信息，所述驾驶员信息包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个；通信单元1601，还用于获取来自至少一个传感装置的第二信息，所述第二信息包含外部环境信息；处理单元1602，还用于根据所述第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对所述第二信息处理得到的信
息。
[0102]
可选的，所述根据所述第二信息，获取第三信息，包括：根据所述驾驶员信息以及所述第二信息中障碍区的位置信息，经过裁剪和融合中的至少一个处理以获取所述第三信息。
[0103]
可选的，裁剪的过程，包括：根据所述驾驶员的视角，对所述第二信息进行裁剪。
[0104]
可选的，所述根据所述驾驶员的视角，对所述第二信息进行裁剪，包括：根据x方向的裁剪距离dx和y方向的裁剪距离dy，对所述第二信息进行裁剪，所述驾驶员的视角包括x方向映射角和y方向映射角，所述dx是根据所述x方向映射角所确定的，所述dy是根据所述y方向映射角所确定的。
[0105]
可选的，所述融合的过程，包括：将裁剪后的第二信息，与所述第二信息中障碍区的位置信息进行融合。
[0106]
可选的，当所述驾驶员与a柱的相对位置小于阈值时，所述第三信息是经过裁剪并放大得到的；或者，当所述驾驶员与a柱的相对位置大于或等于阈值时，所述第三信息是经过添加原信息并缩小得到的。
[0107]
可选的，所述至少一个传感装置包括第二摄像装置以及探测装置中的至少一个，所述获取来自至少一个传感装置的第二信息，包括：获取来自所述至少一个传感装置的融合信息，所述融合信息融合了所述障碍物的速度和/或距离信息。
[0108]
可选的，通信单元1601，还用于获取来自环境光传感器的外部环境的亮度信息；处理单元1602，还用于调整所述第三信息的亮度和/或对比度。
[0109]
可选的，处理单元1602，还用于输出所述第三信息。
[0110]
本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术实施例中各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0111]
图17是本技术实施例提供的装置1700的示意图框图，图17所示的装置1700可以为图16所示的装置的一种硬件电路的实现方式。该装置可执行上文方法实施例中控制装置的功能。为了便于说明，图17仅示出该装置的主要部件。
[0112]
图17所示的装置1700包括至少一个处理器1701。装置1700还可包括至少一个存储器1702，用于存储程序指令和/或数据。存储器1702和处理器1701耦合。本技术实施例中的耦合是装置、单元或模块之间的信息交互。处理器1701可以和存储器1702协同操作，处理器1701可以执行存储器1702中存储的程序指令，所述至少一个存储器1702中的至少一个可以包括于处理器1701中。
[0113]
装置1700还可以包括通信接口1703，用于通过传输介质和其它设备进行通信，从而用于装置1700可以和其它设备进行通信。本技术实施例中，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。本技术实施例中，通信接口为收发器时，收发器可以包括独立的接收器、独立的发射器；也可以集成收发功能的收发器，或者是接口电路。可选的，所述通信接口可以为天线，所述天线包含至少一个接收天线以及至少一个发射天线。
[0114]
应理解，本技术实施例中不限定上述处理器1701、存储器1702以及通信接口1703之间的连接介质。本技术实施例在图17中以存储器1702、处理器1701以及通信接口1703之
间通过通信总线1704连接，总线在图17中以粗线表示，其它部件之间的连接方式，仅是示意性说明，并不作为限定。所述总线可以包括地址总线、数据总线、控制总线等。为了便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线等。
[0115]
在一种示例中，装置1700用于实现上文方法实施例中控制装置执行的步骤。通信接口1703，用于执行上文方法实施例中控制装置的收发相关操作，处理器1701，用于执行上文方法实施例中控制装置的处理相关操作。
[0116]
例如，通信接口1703，用于获取来自第一摄像装置的第一信息；处理器1701，用于根据所述第一信息，确定驾驶员信息，所述驾驶员信息包括所述驾驶员的视角以及所述驾驶员与a柱的相对位置信息中的至少一个；通信接口1703，还用于获取来自至少一个传感装置的第二信息，所述第二信息包含外部环境信息；处理器1701，还用于根据所述第二信息，获取第三信息，所述第三信息包括基于所述驾驶员信息，对所述第二信息处理得到的信息。
[0117]
可选的，所述根据所述第二信息，获取第三信息，包括：根据所述驾驶员信息以及所述第二信息中障碍区的位置信息，经过裁剪和融合中的至少一个处理以获取所述第三信息。
[0118]
可选的，所述裁剪的过程，包括：根据所述驾驶员的视角，对所述第二信息进行裁剪。
[0119]
可选的，所述根据所述驾驶员的视角，对所述第二信息进行裁剪，包括：根据x方向的裁剪距离dx和y方向的裁剪距离dy，对所述第二信息进行裁剪，所述驾驶员的视角包括x方向映射角和y方向映射角，所述dx是根据所述x方向映射角所确定的，所述dy是根据所述y方向映射角所确定的。
[0120]
可选的，所述融合的过程，包括：将裁剪后的第二信息，与所述第二信息中障碍区的位置信息进行融合。
[0121]
可选的，当所述驾驶员与a柱的相对位置小于阈值时，所述第三信息是经过裁剪并放大得到的；或者，当所述驾驶员与a柱的相对位置大于或等于阈值时，所述第三信息是经过添加原信息并缩小得到的。
[0122]
可选的，所述至少一个传感装置包括第二摄像装置以及探测装置中的至少一个，所述获取来自至少一个传感装置的第二信息，包括：获取来自所述至少一个传感装置的融合信息，所述融合信息融合了所述障碍物的速度和/或距离信息。
[0123]
可选的，通信接口1703，还用于获取来自环境光传感器的外部环境的亮度信息；
[0124]
处理器1701，还用于调整所述第三信息的亮度和/或对比度。
[0125]
可选的，处理器1701，还用于输出所述第三信息。
[0126]
本技术实施例还提供一终端，所述终端为无人机、无人运输车、汽车、车辆或者机器人等。一种设计中，该终端包括至少一个控制器，所述控制器可包括上述图16或图17所述的装置。另一种设计中，该终端包括上述图16或图17所示的装置，所述装置可以是独立设置的，也可以集成在所述终端包括的至少一个控制器中，或者集成在所述终端包括的智能座舱域控制器(cockpit domain controller，cdc)或者车载中央处理器中。
[0127]
进一步的，本技术实施例还提供一种装置，包括用于实现上文方法实施例的单元。或者，包括处理器和接口电路，所述处理器用于通过所述接口电路与其它装置通信，并执行上文方法实施例中的方法。或者，所述装置包括处理器，用于调用存储器中存储的程序，以
执行上文方法实施例中的方法。本技术实施例还提供一种可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上文方法实施例中的方法。本技术实施例还提供一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上文方法实施例中的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。本技术实施例还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行上文方法实施例的方法。
[0128]
在本技术实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0129]
在本技术实施例中，存储器可以是非易失性存储器，比如硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0130]
本技术实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，简称dvd))、或者半导体介质(例如，ssd)等。
[0131]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。