汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法

汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法
【专利摘要】本发明公开了一种汽车或移动设备3D影像采集和裸眼3D平视显示系统及3D影像处理方法，包括一个抬头显示器、一组裸眼3D屏幕、一组仿生3D视点、一个3D智能中心、汽车左侧和右侧仿生3D视点视镜和一个车内裸眼3D后视镜。本发明不仅解决了驾驶人在驾驶汽车或移动设备时无需将自己的双眼视线离开前方道路来获取信息的问题，而且使驾驶人可以根据汽车中一组裸眼3D屏幕中播放的来自一组仿生3D视点并经过仿生3D影像重建技术处理后的3D影像判断出自己驾驶的汽车与邻近车道中和后方车道中出现的其他汽车或行人之间的相对距离，以及为本发明提出的仿生3D导航地图和其他第三方制作的3D导航地图提供了一个汽车裸眼3D播放平台。
【专利说明】
汽车或移动设备3D影像米集和裸眼3D平视显不系统及3D影像处理方法
技术领域
[0001]本发明涉及一种适用于汽车或移动设备的3D影像采集，裸眼3D平视显示系统，仿生3D影像重建技术，仿生3D导航地图制作方法和3D导航模式。
【背景技术】
[0002]汽车抬头显示器(HUD)使人们开始认识到如果能够使驾驶人无需低头或将眼睛视线离开前方道路的情况下就可以获得汽车行驶状态，交通情况，导航地图，通讯和社交信息，将极大地提高驾驶人主动式安全驾驶能力和减少交通事故发生的可能性。但是抬头显示器提供的信息有限，驾驶人还是需要低头从汽车中控台中获得更多的信息和服务。流媒体进入汽车行业已经成为一种趋势，汽车上到处都可以看到安装的数码摄像机，但是驾驶人无法通过传统后视镜和车载摄像机提供的2D影像判断出自己驾驶的汽车与邻近车道中和后方车道中出现的其他汽车或物体或行人之间的相对距离。目前市场中已经出现了专门针对立交桥的手机3D导航服务，但是距离将3D导航应用到整个城市街道和主要交通枢纽还有很大的差距，而且3D导航的实现需要一个真正的汽车3D播放平台。在愈来愈立体化的城市交通网络时代，3D导航是未来汽车导航发展的方向。
[0003]目前市场中大部分后装汽车抬头显示器是由一个处理器和一个透明屏幕组成，固定在汽车仪表盘或中控台上面。汽车原装抬头显示器则是将处理器隐藏在仪表盘后面。处理器中的投影机将导航地图和行驶状态信息投射到透明屏幕或汽车前挡风玻璃上。但是抬头显示器提供的信息有限，驾驶人在驾驶过程中还需要不时地低头察看中控台中的导航地图，搜索音乐频道和调整空调，转头察看汽车左侧和右侧后视镜，抬头查看车内后视镜等。为了解决驾驶人将双眼视线离开前方道路获取信息的问题，本发明提出了一个汽车裸眼3D平视显示系统。
[0004]驾驶人通过自己的双眼可以轻易地判断出自己驾驶的汽车与前方其他汽车或物体或行人之间相对的距离，但是却无法根据汽车传统后视镜和车载摄像机提供的2D影像做出同样的判断。为了使驾驶人能够判断出自己驾驶的汽车与邻近车道和后方车道中出现的其他汽车或物体或行人之间相对距离，本发明提出了汽车仿生3D视点和仿生3D影像重建技术。
[0005]车联网技术将手机的应用，导航，通讯，社交，娱乐和服务信息直接显示在车载屏幕上，并通过手触控屏幕进行控制和管理。但是车载屏幕的硬件参数包括分辨率和反应速度远远达不到智能手机般的流畅和易用，更无法满足对各种3D协议和流媒体信息显示和操作的要求。为了解决汽车多通路3D影像处理，显示，控制和管理的问题，本发明提出了一个汽车3D智能中心。
[0006]汽车3D导航面临的最大挑战不仅仅是3D导航地图数据的采集和获取方式，更低的成本和更少的时间，而且需要解决重现原始场景中各个物体之间的立体深度关系的问题和获得一个汽车裸眼3D播放平台。本发明不仅为驾驶人提供了一个汽车裸眼3D播放平台并且提出了仿生3D导航地图的制作方法和三种不同的3D导航模式。
[0007]驾驶人通过汽车左侧和右侧传统后视镜和车内后视镜观察汽车左侧和右侧临近车道和后方车道中的交通状况。但是传统后视镜都存在着较大的盲区，风阻和噪声系数，驾驶人无法判断出自己驾驶的汽车与邻近车道和后方车道中其他汽车或物体或行人之间的相对距离。为了解决传统后视镜的问题，本发明提出了一种汽车左侧和右侧仿生3D视点视镜和车内裸眼3D后视镜。

【发明内容】

[0008]本发明提出的一种汽车或移动设备3D影像采集和裸眼3D平视显示系统及3D影像处理方法，不仅解决了驾驶人在驾驶汽车或移动设备时无需将自己的双眼视线离开前方道路交通状况来获取汽车行驶状态、交通、导航、通讯和社交、以及邻近车道和后方向交通状态等信息的问题，而且使驾驶人可以根据汽车中一组裸眼3D屏幕中播放的来自汽车仿生3D视点并经过仿生3D影像重建技术处理后的3D影像判断出自己驾驶的汽车与邻近车道和后方车道中出现的其他汽车或物体或行人之间的相对距离，以及为本发明提出的仿生3D导航地图和其他第三方制作的3D导航地图提供了一个汽车裸眼3D播放平台。
[0009]汽车或移动设备3D影像采集和裸眼3D平视显示系统，包括一个抬头显示器、一组裸眼3D屏幕、一组仿生3D视点、一个3D智能中心、汽车左侧和右侧仿生3D视点视镜和一个车内裸眼3D后视镜。
[0010]一个抬头显示器是由一个平面或曲面形状的透明有机玻璃和粘贴在其内表面上的一个平面或曲面形状的柔性或非柔性透明屏幕组成，透明屏幕可以是一个传统的2D屏幕或是一个裸眼3D屏幕。透明有机玻璃材料选择具有透明性能佳，坚固，轻质和耐温度变化的材料。在屏幕和透明有机玻璃之间或透明有机玻璃外表面上可以增加一层偏振光薄膜以减弱太阳光照射的强度和各种反光对屏幕中影像的影响。抬头显示器与一个底座连接在一起，抬头显示器与底座之间的角度是可以调整的。底座被固定在汽车的仪表盘上面或中控台上面。为了将底座设计成为一个简单和不占有过大的空间，可以将屏幕的主板设置在3D智能中心中。当驾驶人对抬头显示器与底座之间的角度进行调整后，因为屏幕相对于驾驶人双眼的倾斜角度发生了变化而导致影像和字体在垂直方向上发生了变形，驾驶人可以通过3D智能中心内置的影像处理软件和手触控屏幕对抬头显示器屏幕上的影像和字体进行修正。修正后的影像，字体和符号将被储存在3D智能中心的内存单元中。抬头显示器显示的内容和画面采用简单，清晰和必需的信息为设计原则，包括但不限于汽车速度，限速，提醒驾驶人安全距离，超速或与其它车辆距离过近警示，即时通讯和社交信息，简版3D导航指引，建议路线等。
[0011]如果抬头显示器采用的是一个裸眼3D屏幕，根据仿生3D影像重建技术中改变景物会聚点的原理，通过3D智能中心内置的影像处理软件和手触控屏幕将抬头显示器中的内容会聚点设置在汽车前挡风玻璃前方的某个位置处，如果需要可以让不同的显示内容出现在距离汽车前挡风玻璃前方不同的位置处。在城市中行驶时，因为汽车之间的距离可能很接近，所以内容会聚点位置的设定原则是不要将内容会聚点进入到前方汽车中。经验表明，将内容会聚点设置在汽车最前端处是一个考虑到各种可能发生的情况下较为合理和能够被大多数驾驶人接受的位置。
[0012]驾驶人通过抬头显示器获得重要和必需的信息，通过一组裸眼3D屏幕获得更多和详细的内容，包括但不限于3D导航和3D导航地图，3D全景影像，3D娱乐，通讯，短信，微信，其它内容和服务。一组裸眼3D屏幕采用下述二种不同的设计模式中的一种。第一种设计模式是裸眼3D工作台模式。裸眼3D工作台是由一个平面或曲面形状的背板或一个被弯折过的平板形状的背板和固定在背板内表面上的一个或多个平面或曲面形状的柔性或非柔性裸眼3D屏幕组成。背板可以直接固定在底座上或通过一个支架连接在底座上，底座被固定在汽车前方中控台上面。驾驶人可以通过支架调整背板和屏幕的上下位置，左右旋转和上下仰角从而获得一个可以更好和方便查看屏幕内容的位置。如果背板是固定在底座上，可以采用透明有机玻璃背板和透明裸眼3D屏幕。当驾驶人不使用屏幕时，前排和后排乘客可以将屏幕移动和旋转到适合他们观看的位置。屏幕支架和底座的设计中有一个极限阻挡机构，确保屏幕移动和旋转到极限位置时不会与汽车前排乘客安全气袋在爆发时发生冲突。为了减小裸眼3D工作台的重量和占用的空间，可以将所有屏幕的主板设置在3D智能中心中。第二种设计模式是裸眼3D控制台模式。这种模式适用于汽车制造厂为汽车设计的一种车载3D显示装置。裸眼3D控制台是由多个平面或曲面形状的柔性或非柔性裸眼3D屏幕组成；多个屏幕可以拼接在一起成为一个连续的屏幕组或根据不同的显示内容或目的被设置于汽车中不同的位置处。每一个屏幕可以播放不同的内容，也可以拼接在一起播放一个超宽画面的影像。每个屏幕的大小和形状都可以不同。裸眼3D控制台模式中使用的屏幕数量，排列，位置和布置方式对于每个不同品牌和型号的汽车或移动设备是不同的。
[0013]研究表明，人的双眼视角范围最高可达到水平视角160度和垂直视角80度。一般人眼的视网膜中心区域大约在15度视角以内时能够清楚地分辨影像。当水平视角在15度到35度之间时，人眼能够看清楚物体的存在和动作，不需要通过转头就能够辨别清楚的程度，但是分辨力已经下降了。当水平视角在35-60度之间时，人的双眼可以分辨颜色，但无法判定物体和运动细节，这时如果需要分辨清楚物体的话，需要将眼球或头转过去让物体或运动细节落入水平视角35度区域内。当水平视角在60-120度之间时，人的双眼只能分辨出颜色和模糊的物体和运动方向，这时必须将头转过去分辨出物体和运动细节。实际上，人的双眼能够清晰地看清物体的区域是在一个水平视角约为35度，垂直视角约为20度的一个椭圆形锥体中。人的双眼在这个椭圆形锥体区域内会有非常好的视觉临场感，不会因为频繁地转动眼球而造成疲劳。驾驶人将双眼目光从前方道路上向下或低头大约5-10度就可以看到抬头显示器中显示的信息，大约20-25度才可以看到汽车仪表盘数据。汽车中控台中设备的位置比汽车仪表盘的位置更低并位于仪表盘的右下方向。驾驶人在中控台中查看车载导航屏幕，搜索音乐频道和调整空调旋钮时需要将双眼和头同时向右偏离20-30度和低头超过了25-45度。这时驾驶人已经将双眼视线完全离开了前方道路。如果这个时候的汽车速度较快时，双眼离开前方道路的数秒钟时间都会造成汽车行驶出数十米至数百米的距离，对驾驶人和汽车中的乘客生命带来了极大的风险。汽车裸眼3D工作台的屏幕被设计成为在水平方向上与汽车仪表盘的高度接近或更高的位置处。当驾驶人正面对汽车的正前方向时，驾驶人双眼中间点处的一条上下垂直直线是两个垂直平面的交线，一个垂直平面上的水平切线朝向汽车正前方向，另一个垂直平面通过上述
[0012]中裸眼3D工作台背板的中心点，两个平面之间的夹角不超过75度。当驾驶人转过头查看裸眼3D工作台屏幕播放的内容时，双眼的部分余光仍然包括了汽车前方道路交通状况，没有完全失去对前方交通状态的观察。
[0014]最经常使用的3D拍摄方法有会聚法和平行法。会聚法是一种模仿人的双眼关注景物方式的3D拍摄方法。使用会聚法拍摄时获得的左右两个具有不同视角的影像会出现一种梯形畸变的现象，而且距离拍摄的关注景物越近畸变越大。梯形畸变造成两个影像的边缘在垂直方向上无法进行完美的3D融合，这是造成观众感看3D影像时产生眼睛疲劳和生理不适的主要原因之一。平行法是一种将两个平行设置的摄像机对着关注景物进行3D拍摄的一种方法。平行法不符合人的双眼关注景物的方式和习惯，在3D播放空间中融合后的3D影像出现在屏幕的前方，也不是一种理想的3D播放效果。但是使用平行法拍摄而获得的两个具有不同视角的影像都没有梯形畸变，而且在拍摄完成后可以通过人工介入的方式对拍摄时设定的参数进行修正，使得重建后的两个具有不同视角的影像在3D播放空间中唯一的一个对应点上实现了会聚。这种方法不仅符合人的双眼观看习惯而且可以将影像畸变降低到最小的程度。经验表明使用平行法拍摄获得的两个具有不同视角的影像经过3D影像重建技术处理后具有一种自然，舒适和健康的3D感觉和效果。
[0015]一个仿生3D视点是一个拥有有一个可以采集3D影像的摄像机或两个摄像机的装置。在一个拥有两个摄像机的仿生3D视点中，两个摄像机的中心线都处在同一个水平面上并且彼此平行，两个中心线之间的平行间距为5-80毫米。两个摄像机的制造商，品牌，型号和参数应该完全相同，保证采集的两个具有不同视角的影像在色彩，白平衡，景深，表现力和质量上接近一致。仿生3D视点中面对着摄像机镜头的盖板是一块内外表面上都镀有透明涂层的透明玻璃，镀有透明涂层的透明玻璃表面具有排斥水、雾气和异物的自清洁功能。人的眼睛是一个光学结构，适用于光学理论。摄像机镜头参数的选择与人眼的光学系统愈接近，拍摄获得的影像在播放时的3D影像效果与双眼在原始场景中看到的关注景物和周边景物之间的立体关系愈接近。研究结果表明人的眼睛焦距大约为16.65毫米，对应视角为120度。广角镜头会使影像产生桶形畸变，两个具有桶形畸变的影像在垂直方向上是无法实现完美的3D影像融合的，所以仿生3D视点中的每一个摄像机镜头视角都小于120度。
[0016]汽车3D影像采集系统通过在汽车的多个不同位置处设置仿生3D视点的方式采集汽车周围和特定方向的3D影像。每一个仿生3D视点根据设置在汽车的不同位置而被标注不同的编号或名称。对于汽车来说，将仿生3D视点I设置在汽车前挡风玻璃内表面中心下方或上方或汽车前面中心或接近中心的位置处，摄像机镜头朝向汽车正前方向。将仿生3D视点2设置在汽车后视窗玻璃内表面中心下方或上方或后背箱盖中心或接近中心的位置处，摄像机镜头朝向汽车正后方向。将仿生3D视点3和4以及仿生3D视点5和6分别设置在汽车左侧和右侧传统反光镜后视镜中或反光镜后视镜外壳下面或左侧和右侧仿生3D视点视镜支架上或汽车左侧和右侧车身上。仿生3D视点3和4中的摄像机镜头分别朝向汽车的左前方向和左后方向。仿生3 D视点5和6中的摄像机镜头分别朝向汽车的右前后方向和右后方向。将仿生3D视点7和8分别设置在汽车左侧和右侧车身上或车顶上，摄像机镜头分别朝向汽车的左边方向或右边方向。
[0017]汽车3D影像采集系统安装的仿生3D视点数量和位置决定了获得的汽车周围影像的视角范围大小和可能存在的盲区。譬如，对于安装有仿生3D视点I，2，3，4，5和6的汽车，汽车的左右两侧存在着两个对称的盲区。汽车左边盲区是汽车左边的仿生3D视点3的视角左边缘和仿生3D视点4的视角右边缘之间的区域。汽车右边盲区是汽车右边的仿生3D视点5的视角右边缘和仿生3D视点6的视角左边缘之间的区域。对于安装有上述全部仿生3D视点的汽车，汽车周围被360度的3D影像包围而没有盲区。
[0018]汽车全景影像是通过3D智能中心内置影像处理软件将来自多个仿生3D视点的影像进行剪辑和拼接后成为一个连续和完整的超宽画面的3D影像。汽车前方全景影像来自仿生3D视点I，3和5。汽车后方全景影像来自仿生3D视点2，4和6。汽车左后方全景影像来自仿生3D视点2，4和7。汽车右后方全景影像来自仿生3D视点2，6和8。在上述的四个不同的全境影像中，每一个全境影像中至少有一个仿生3D视点拍摄的影像中包括一个或部分汽车或移动设备上的部件作为一个参照物，譬如，在前方全景影像中，仿生3D视点I中摄像机获得的影像中包括有汽车车头上的标志或汽车引擎前盖的前边缘部分。驾驶人根据一组裸眼3D屏幕中播放的3D影像中的参照物可以判断出自己驾驶的汽车与邻近车道中或后方车道中出现的其它汽车或物体或行人之间的相对距离。
[0019]安装有仿生3D视点I，2，3，4，5和6的汽车在正常驾驶期间，一组裸眼3D屏幕中播放的是汽车前方全景影像。当驾驶人拨动转弯拨杆或将汽车排档切换到倒车档位准备进行转换车道，转弯，倒车或准备停车时，3D智能中心将一组裸眼3D屏幕播放内容从汽车前方全景影像自动切换到汽车后方全景影像。当驾驶人完成转换车道，转弯，倒车或停车后并且转弯拨杆回弹后或将汽车排档切换到前进档位后，3D智能中心将一组裸眼3D屏幕中播放的内容从汽车后方全景影像自动切换回到到汽车前方全景影像。对于安装有上述全部仿生3D视点的汽车在正常驾驶期间，一组裸眼3D屏幕中播放的是汽车前方全景影像。当驾驶人拨动转弯拨杆或将汽车排档切换到倒车档位准备进行转换车道，转弯，倒车或准备停车时，3D智能中心将一组裸眼3D屏幕中播放的内容从汽车前方全景影像自动切换到汽车左后方或右后方全景影像。当驾驶人完成转换车道，转弯，倒车或停车后并且转弯拨杆回弹后或将汽车排档切换到前进档位后，3D智能中心将一组裸眼3D屏幕中播放的内容从汽车左后方或右后方全景影像自动切换回到汽车前方全景影像。驾驶人在驾驶期间的任何时候都可以通过声控方式切换一组裸眼3D屏幕中播放的内容。
[0020]为了对汽车正前方向，正后方向以及邻近车道中的左前方向，右前方向，左后方向和右后方向行驶中的汽车进行实时测距，在汽车上多处相应的位置处安装测距仪。测距仪可以采用激光，超声波，雷达或微波雷达中任何方式的传感器测距技术和设备。测距仪获得的测距信息将直接进入到3D智能中心，并由3D智能中心对获得的测距数据通过软件进行实时分析，修正和运算后将完成后的数据，预先设计和添加的信息一起叠加在抬头显示器和一组裸眼3D屏幕中的影像上，采用了一种增强现实的显示方法，譬如采用一个箭头指向附近正在进行即时测距的汽车或行人上，连接箭头的信息框中显示出表示距离的数字和简单说明。
[0021]3D智能中心对每一个来自仿生3D视点获得的两个具有不同视角的影像通过仿生3D影像重建技术进行重建，使得重建后的两个影像经过人的大脑融合后的3D影像具有较少畸变，较小色像差，自然的立体深度，健康和舒适感觉。仿生3D影像重建技术主要包括;第一是对原始场景空间中任意一点上采集的两个具有不同视角的影像中的每一个影像沿着水平和彼此相反的方向做一个平移h = T/A的距离，使得平移后的两个影像在3D播放空间中存在着唯一的一个对应点并且在该对应点上两个影像实现了会聚。第二是通过适当地选择h值和调整汽车前方关注景物位置的方式，将关注景物的两个具有不同视角的影像在3D播放空间中的会聚点位置设置在3D播放屏幕上，这时关注景物在3D播放屏幕上的视差为零。这时原始场景空间与3D播放空间之间成为两个相互对应的理想空间。理想成像是原始场景空间中的任意一点，一条直线和一个面在相互对应的理想空间中对应点处重现为具着相似立体深度关系，没有畸变和扭曲的一个点，一条直线和一个面。在原始场景空间中距离摄像机镜头最近的前景物在3D播放空间中的最大出屏量是Zcnear = 2T X Zd X Znear/(t x f x A)。最大出屏量是一个需要加以控制的参数，因为融合后的3D影像位于观众和3D屏幕之间，不是一种3D影像的理想表达方式，较长时间的观看将会引起观众的双眼产生疲劳和生理感觉不适。第三是使用仿生3D影像重建技术的理论最大视角差d(amax) = (t X f X A/Zd)x I/zn■替代传统经验公式，这种方法可以使原始场景中不同物体之间的立体深度关系在3D播放空间中以具有最小改变的相似的立体深度关系的方式被重现。目前的3D播放技术被称为平面3D显示技术，即将两个具有不同视角的影像同时投射到一个平面屏幕上，两个影像在屏幕上的水平距离为视差。通常通过调整两个影像视差的方式来控制融合后的3D影像会聚点的位置。观众的左右眼分别只能看到并聚焦在彼此独立的其中一个影像上，左右眼分别获得的影像经过大脑融合后形成了一个3D影像。但是平面3D显示技术与人观看世界的方式和习惯不同。在正常情况下，人的双眼聚焦在关注物体上而不是分别聚焦在两个彼此分开和各自独立的两个平面影像上。这是一种被称为聚焦-会聚冲突的现象。这种冲突是造成人的双眼在观看3D影像时感觉疲劳和生理不适的最根本和主要原因之一。设定最大视角差的目的就是为了减少这种冲突对人的双眼和生理造成不适的影响。最常使用的办法是使用经验公式或安全系数对3D影像采集和播放时的一些物理参数进行限制。经过多年的实际检验表明经验公式是有效的。但是随着3D影像技术和设备的不断发展，以目前的技术水平，经验和观点来看待这些经验公式就显得保守了，譬如，经验公式中经常使用的最大视角差是
0.02，相当于1.17度或0.07弧度分。仿生3D影像重建技术从理论上得出最大视差角并认为只要观众在观看3D影像时的视角差愈接近仿生3D影像重建技术的理论最大视差角，观众看到的3D影像和效果就愈接近于原始场景空间中的立体深度和感觉。但是增加最大视角差的同时也相应地增加了聚焦-会聚冲突带来的影响。所以如何找到一个最佳的平衡点是关键。对于不同的应用和要求，平衡点的选择方式和重点也不同。第四是在部分仿生3D视点拍摄的影像中包括至少一个或部分汽车或移动设备上的部件作为参照物。驾驶人根据汽车中的一组裸眼3D屏幕中播放的经过仿生3D影像重建后的3D影像中的参照物可以判断出自己驾驶的汽车与邻近车道和后方车道中出现的其他汽车或物体或行人之间的相对距离。
[0022]汽车3D导航地图面对的最大挑战之一是3D地图数据的采集和制作方式。如果采用同样制作2D地图的方法来获得3D导航地图数据，需要投入极高的制作成本和花费更多的时间。3D导航地图和数据可以通过下面的四种具有较高效率，较低成本和需要较少时间的制作方法获得。第一种方法是城市模型法。很多城市都拥有一个按照比例制作的城市模型，模型中拥有详细的城市道路，立体交通枢纽，立交桥，与实体建筑具有同样建筑风格和细节的建筑模型，停车场，道路两边的植树以及更多的细节。模型随着城市的发展和变化而在不断地被更新。制作时将摄像机对着城市模型从多个不同方向和角度进行3D拍摄，使用可以采集3D影像的一个微型摄像机或两个微型摄像机通过模拟真人驾驶的方式沿着城市模型中的每一个街道，道路，广场，路口，停车场，隧道，立交桥和交通枢纽等和按照不同的方向进行3D拍摄。拍摄获得的两个具有不同视角的影像通过仿生3D影像重建技术进行重建和处理。第二种方法是用户分享法。这种方法鼓励每一个拥有本发明专利产品的驾驶人都参与到分享数据计划中，使每个驾驶人成为3D导航地图的绘制者之外，同时也让他们成为3D导航地图的使用者。驾驶人在驾驶汽车时通过仿生3D视点I，3和5将汽车行驶路线中的真实街景拍摄下来并记录在汽车智能3D中心。3D智能中心中如果设置有GPS以及相关的3D导航地图绘制软件的话，每台车都会在行驶时记录下当时的路况，路经，路标，信号灯和交通标志的相关的数据。当驾驶人到达目的地并停车和熄火后，汽车3D智能中心将自动搜寻无线上网热点，并将所有采集到的数据和影像通过软件进行整合和处理后自动地上传到云端。第三种方法是2D转3D方法。当汽车行驶在城市道路，城外公路和高速公路上，公路两边的大楼和街景都不是重要的标示。这时对于驾驶人来讲最重要的是正确的道路和方向，高速公路和交通枢纽的入口和出口，高速公路与最接近的城市相对的位置，距离，进入城市的连接道路和方向等。2D转3D技术是将目前2D导航地图中的部分城市道路，城外公路和高速公路按照不同的道路编号，不同的道路颜色或不同的道路方向采用不同的立体深度进行分层并分隔开，驾驶人通过具有不同立体深度的路线时非常明确地知道自己行驶的道路或车道。对于交通枢纽或立交桥，各个不同方向和彼此交叉的路线被具有不同立体深度的道路或车道按照立交桥面之间真实的比例被分层并分隔开，使得驾驶人较容易地分辨出正确的道路和方向，从而不会走错路和方向。这是一种快速，简单，低成本的理想解决方法。在传统3D行业中，观众对于观看通过2D转3D方法实现的3D内容时最大的抱怨是平板效应。通过这种技术实现的3D影像常常被称为是伪3D，也是2D转3D技术无法普及的主要原因之一。平板效应指的是整个原始场景空间似乎是被人为地分割成为众多个子空间，每一个字空间中的景物和内容都被强行地压缩到一个画板上，每一个画板上的景物都具有相同的立体深度。将众多个画板按照前后一定顺序并沿着纵向距离被摆放起来，看起来非常地不自然和具有明显的深度跳跃现象。对于部分的城市道路，城外公路和高速公路，具有平板效应的3D导航地图不仅可以被接受，而且将成为导航地图立体化最具实用效果的工具之一。当汽车行驶在城市道路，城外公路和高速公路经过最接近的城市边缘时，上述方法制作的城市模型导航地图将出现在一组裸眼3D屏幕中。这时，驾驶人非常明确的知道自己驾驶的汽车距离最近城市的相对位置和方向。第四种方法是制作一个简版3D导航指引。简版3D导航指引表现为一个带有透视和3D视觉效果的全新导航指引。简版3D导航指引带有透视效果的无穷远会聚点低于驾驶人双眼的水平高度。简版3D导航指引中带有箭头的道路指引可以直接沿着道路方向延伸并指向前方。带有箭头的道路指引与道路之间的高度可以调节。驾驶人使用3D智能中心手触控屏幕调整简版3D导航指引的无穷远会聚点的位置和带有箭头的道路指引与真实道路之间的高度。简版3D导航指引的无穷远会聚点成为带有箭头的道路指引伸向无穷远方向的终点处接近或相交。简版3D导航指引以简单，明确和直接了当的表达方式为设计原则以便于驾驶人没有任何的犹豫地快速识别，理解和做出相应的反应。当使用了上述前三种制作方法获得的3D导航地图数据经过影像后期制作，不同方法获得的数据之间进行相互的分享，经过标注和汇总后成为最终的3D导航地图和简版3D导航指引。如果将上述方法获得的最终的3D导航地图在经过仿生3D影像重建技术进行重建后完成的3D导航地图被称为仿生3D导航地图。仿生3D导航地图为相交于3D导航地图是一个将原始场景还原得更加准确，较少变形和表示了更精确的相似立体深度关系的一种3D导航地图。
[0023]3D智能中心为驾驶人提供了三种不同的导航模式;第一种模式是简版3D导航指引模式，这种模式直接使用在抬头显示器中。第二种模式是真实3D街景导航结合简版3D导航指引的增强现实模式。这是在一组裸眼3D屏幕中播放的前方全景影像上叠加简版3D导航指引的一种增强现实表现方法的导航模式。第三种模式是3D导航地图模式。3D导航地图可以来自于上述
[0022]中的前三种制作方法或其他制作方法获得的3D导航地图。除了第一种导航模式在抬头显示器中播放之外，其他两种导航模式都在一组裸眼3D屏幕中播放。驾驶人可以随时通过声控方式在第二种和第三种3D导航模式之间进行切换。上述第二种和第三种导航模式不仅为驾驶人提供了一个更清晰和准确的导航服务，同时也为驾驶人提供了一个清晰和精确的兴趣点(POI)定位增值服务，成为一个全新，有效和具有商业价值的商业服务模式。每一个不同的兴趣点都可以在精确的地点和位置处直接标示在3D导航地图中，无论这个兴趣点是在同一个大楼中，不同的楼层或紧挨着的地面店铺。驾驶人在行驶中会根据真实3D街景导航或3D导航地图中与兴趣点所在的真实目标外形或建筑特点一致的特点很容易地发现兴趣点的位置和方向，不会因为同一个地点同时出现过多的兴趣点扎堆而错过了兴趣点。同时使用一种增强现实的表现方式，将一个箭头直接指向兴趣点，箭头后面连接着包含有简单说明文字和数字的方框。当驾驶人直接说出方框中的数字后，3D智能中心将直接带你进入到该兴趣点中并通过裸眼3D屏幕获得更详细的具有3D影像效果的介绍和说明。
[0024]汽车左侧和右侧传统反光镜后视镜已经在市场中存在了数十年。传统反光镜后视镜技术不仅视角较小，风阻和风噪音系数较大，而且驾驶人无法从后视镜中判断出自己驾驶的汽车与邻近车道中或后方车道中出现的其他汽车或物体或行人之间的相对距离。汽车左侧和右侧仿生3D视点视镜结合测距仪和增强现实的显示技术和方法不仅解决了上述传统反光镜后视镜的所有问题，而且让驾驶人不需要转头和将双眼离开前方道路的情况下就可以判断出是否可以安全转换车道，倒车，停车和获得汽车周围交通状况的信息，成为驾驶人一个主动式安全辅助工具。只要解决了视频传输稳定性的问题，使用数字流媒体取代传统反光镜后视镜不仅是一个时尚和流行，而且是一个趋势和方向。
[0025]汽车左侧和右侧仿生3D视点视镜采用下述四种不同的设计方案中的一种。第一种方案是将仿生3D视点3和4以及仿生3D视点5和6分别设置在汽车左侧和右侧传统反光镜后视镜中。这种设计方案适用于前装或后装汽车左侧和右侧仿生3D视点视镜。这种设计方案不仅同时拥有两种后视技术的相互支持和备份，而且可以较好地保护3D摄像机。仿生3D视点3和5分别固定在汽车左侧和右侧传统反光镜后视镜前壳体的表面和后视镜内部的一个支座上，两个摄像机中心线与摄像机物镜外表面上的交点和物镜的外表面的中点重合并都位于同一个切平面上。仿生3D视点4和6分别固定在汽车左侧和右侧传统反光镜后视镜内部的一个支座上。两个摄像机物镜与后视镜反光镜镜片内表面之间留有一个足够大的空间，当驾驶人调节汽车左侧和右侧传统反光镜后视镜中反光镜镜片的工作角度时，摄像机物镜不会与反光镜镜片内表面有任何的接触。在传统反光镜后视镜反光镜镜片的下方正对着仿生3D视点4和6的摄像机镜头位置处有一个水平方向的长方形状部分是完全透明的，反光镜镜片在这个水平方向的长方形状区域的背面上没有反光镜涂层。但是在这个水平方向的长方形状区域的透明玻璃的内外表面都镀有透明涂层，镀有透明涂层后的玻璃表面具有排斥水，雾气和异物的自清洁功能。仿生3D视点4和6中的摄像机镜头通过这个水平方向的长方形状透明玻璃采集外面的影像。第二种方案是将仿生3D视点3和4以及仿生3D视点5和6分别固定在汽车左侧和右侧传统反光镜后视镜外壳下面。这种设计方案适用于前装或后装汽车仿生3D视点视镜，安装简单和易于维护。仿生3D视点3和4以及仿生3D视点5和6被设计成为具有流线型外形并分别与汽车左侧和右侧传统传统反光镜后视镜融于一体。第三种方案是全新设计一个可收回式的汽车左侧和右侧视镜支架，视镜支架的一端连接在汽车车身上或一个固定在汽车车身上的底座上，另一端悬空。当汽车启动后汽车左侧和右侧视镜支架将自动地移动或转动到正常工作位置，当汽车停车熄火后将自动地收回到汽车车身或视镜支架底座中隐藏起来。仿生3D视点3和4以及仿生3D视点5和6被分别设置在汽车左侧和右侧视镜支架上。对于采用了两个摄像机的仿生3D视点，汽车左侧和右侧两个视镜支架在正常的工作位置时，视镜支架中每个3D视点中的两个摄像机中心线位于同一个水平平面上。视镜支架可以设置在汽车不同的位置处，譬如，传统反光镜后视镜位置处，前车门上或前车门前方的车身上。视镜支架的位置设置和外形设计如何能够与汽车车身的外形美工和设计风格进行完美融合将成为汽车设计师的一个挑战。第四种方案是将3D视点3和4、5、6、7和8分别安装在汽车左侧和右侧车身上或车顶上的不同位置处。在上述四种不同的仿生3D视点视镜设计方案的任何一种方案中，仿生3D视点视镜在工作位置正常工作时，仿生3D视点视镜中的两个摄像机的中心线都位于同一个水平平面上。
[0026]驾驶人通过汽车传统车内反光镜后视镜观察后方道路交通状况。但是传统车内反光镜后视镜的视角受到了汽车后面C柱和D柱的限制以及后排乘客和货物的遮挡。2D摄像机影像提供的后方道路交通状况信息无法使驾驶人判断出自己驾驶的汽车与后面道路中出现的其他汽车或物体或行人之间的相对距离。驾驶人从汽车车内裸眼3D后视镜上看到的是来自仿生3D视点2、4和6的后方全景影像，拥有更大的视角，而且没有干扰和死角。汽车车内裸眼3D后视镜是由一个平面或曲面形状的背板和固定在背板内表面上的一个或多个平面或曲面形状的柔性或非柔性裸眼3D屏幕以及设置在屏幕外面的一个镀有涂层的防眩目玻璃组成。涂层只允许光线由里向外的单方向穿透。为了减小后视镜的重量和占用的空间，可以将车内裸眼3D后视镜的屏幕主板设置在汽车3D智能中心中。车内裸眼3D后视镜上设置有一个开关，当驾驶人关闭开关后，车内裸眼3D后视镜变成了一个传统车内反光镜后视镜。
[0027]3D智能中心是一个电脑，在电脑的主板上连接着抬头显示器，一组裸眼3D屏幕和车内裸眼3D后视镜屏幕的主板，多个ISP影像处理器，中央控制单元，编码和解码器，一个带有通讯芯片Sim卡插槽的无线通讯模块和一个手触控屏幕等。3D智能中心拥有一个独立的操作系统，内置的3D影像重建技术，影像剪辑和拼接，3D格式转换，影像编码和解码，各种信号处理软件包等软件。3D智能中心通过操作系统和内置影像处理软件，通过连接在主板上的数组带有影像处理芯片，屏幕和显示器的主板和中央控制单元，编码和解码器对来自每一个仿生3D视点的两个具有不同视角的影像进行处理，主要包括:仿生3D影像重建，剪辑，拼接，平移，3D格式转换，算法，优化，调色，白平衡，编码，解码，输出和存档;通过带有一个通讯芯片的无线通讯模块中或手机中预装的APP软件对来自手机中的应用，导航地图，电话，微信，短信，语音控制等各种功能和内容进行连接和处理;通过内置信号分析和处理软件对来自汽车OBD和测距仪的信息进行加工和处理;并将处理后的影像和信息通过中央控制单元按照预先设定的程序分别输出到抬头显示器，一组裸眼3D屏幕和车内裸眼3D后视镜中播放。汽车启动后，所有的仿生3D视点中的摄像机自动开启，经过一段时间后，3D智能中心在同一个时间开始同步地接收每一个仿生3D视点采集的两个具有不同视角的影像。两个具有不同视角的影像经过仿生3D影像重建，剪辑，拼接，平移和左右3D播放格式转换后成为一个完整的具有超宽画面的影像。每一个超宽画面的影像经过影像处理器对影像进行处理，主要包括:算法，优化，亮度，色调和白平衡等修正之后直接进入到编码器中进行压缩和编码。对于只采用了仿生3D视点I，2，3，4，5和6的汽车，这样的超宽画面的影像共有二个，它们是前方全境影像和后方全景影像。对于采用了全部8个仿生视点的汽车，这样的超宽画面的影像共有四个，它们是前方全境影像，后方全境影像，左后方全境影像和右后方全境影像。中央控制单元对上述的两个或四个不同的全景影像进行控制和管理，按照程序的设定要求及时和正确地输出到一组裸眼3D屏幕和车内裸眼3D后视镜的屏幕主板中，经过解码器后分别在一组裸眼3D屏幕和车内裸眼3D后视镜中播放。3D智能中心中设置有一个带有Sim卡插槽的无线通讯模块，模块中安装有市场中主要的手机操作系统和需要的APP软件，可以直接下载和接收不同操作系统手机中的3D导航地图，简版3D导航指引，音乐和视频等应用和服务，不仅不会因为在使用过程中由于手机通讯或外界带来的各种干扰而中断服务的可能性，而且节省了手机的流量和费用。如果手机下载或连接的是仿生3D导航地图，3D智能中心将通过中央控制单元直接将仿生3D导航地图输出到一组裸眼3D屏幕和车内裸眼3D后视镜中播放。如果手机下载或连接的3D导航地图来自于第三方的3D导航地图，没有经过仿生3D影像重建技术重建和不满足仿生3D影像重建技术对3D播放格式的要求，驾驶人可以通过手触控屏幕设定是否对这样的3D导航地图进行仿生3D影像重建或直接输出到一组裸眼3D屏幕和车内裸眼3D后视镜中播放。3D智能中心将预先设计和制作的可能或相关的兴趣点说明和简介内容信息叠加在3D导航地图影像上，譬如将一个箭头直接指向兴趣点，箭头后面连接着包含有简单说明文字和数字的方框。当驾驶人直接通过声控方式说出方框中的数字后，3D智能中心将直接带你进入到该兴趣点中并通过一组裸眼3D屏幕获得更详细的具有3D影像效果的说明和介绍。3D智能中心支持声控交互式的控制方式，在背板上预留有多个通用型对外接口并对第三方应用和服务开放。3D智能中心将被设计和制作成为一个坚固的装置，不会在交通事故中被轻易地损坏并保留事故发生时和之前的数据和影像。
[0028]3D智能中心中将对所有来自仿生3D视点的两个具有不同视角的影像进行仿生3D影像重建，影像剪辑和拼接处理，并将处理后的两个影像以左右格式(Side-by-Side)的3D播放格式输出到抬头显示器，一组裸眼3D屏幕和车内裸眼3D后视镜中播放。
[0029]本发明提出的技术和装置具有易于安装、操作简单、成本较低、易于推广和普及的特点。
【附图说明】
:
图1汽车平面形状抬头显示器示意图
图2汽车曲面形状背板和裸眼3D屏幕与固定式底座工作台示意图图3汽车曲面形状背板和裸眼3D屏幕与连接支架式工作台示意图图4汽车被弯折过两次的平板形状的背板和裸眼3D屏幕与连接支架式工作台示意图图5汽车裸眼3D控制台示意图图6汽车仿生3D视点示意图图7汽车仿生3D视点和仿生3D视点视角分布示意图图8仿生3D影像重建技术1-示意图图9仿生3D影像重建技术2-示意图图10汽车左侧和右侧仿生3D视点视镜设计方案I示意图图11汽车左侧和右侧仿生3D视点视镜设计方案2示意图图12汽车左侧和右侧仿生3D视点视镜支架设计方案3示意图图13汽车车内裸眼3D后视镜示意图图14汽车3D智能中心和车联网系统示意图图15汽车3D智能中心示意图
【具体实施方式】
:
本发明的【具体实施方式】表示本发明具体化的一个例子，与权利要求书中的特定事项具有对应关系。本发明不限定实施方式，在不脱离本发明主旨的范围内，能够通过对各种不同的实施方式来实现具体化。所有示意图中的说明案例都是所述的可实施技术方案中的一个例子。
[0030]图1、一个抬头显示器9的底边带有两个圆形连接耳，底座10的后面有一个半圆柱形状的凸起。抬头显示器9的连接耳和底座10的半圆形状凸起通过两个螺栓11被连接起来。通过两个螺栓11调整和固定抬头显示器9与底座10之间的角度。底座10的半圆柱形状凸起的后面有一个专门供抬头显示器9的接线插口 12和一个电源接口 13。在图1所示的设计方案中，底座10通过一个附件15的有机玻璃固定在汽车仪表盘或中控台上面。附件15的上表面为一个平面，底面是一个曲面形状并带有粘胶。附件15通过底面上的粘胶固定在汽车仪表盘或中控台上面，底座10通过一个吸盘14固定在附件15的平面表面上。附件15的底面形状根据不同的汽车品牌和型号的不同而不同。
[0031]图2所示的是一个曲面形状背板和在其内表面上粘贴的一个曲面形状的柔性或非柔性裸眼3D屏幕组成的一个裸眼3D工作台16。裸眼3D工作台16固定在一个底座18上并与底座18—起固定在汽车中控台上面。
[0032]图3所示的是一个曲面形状背板和在其内表面上粘贴的一个曲面形状的柔性或非柔性裸眼3D屏幕组成的一个裸眼3D工作台16。裸眼3D工作台16通过一个支架17连接在一个固定在汽车中控台上面的底座18上。驾驶人可以通过支架17调整裸眼3D工作台16的位置和方向。
[0033]图4、一个被弯折过两次的平板形状的背板19和在其内表面上固定了三个平面形状的裸眼3D拼接屏幕20组成的一个裸眼3D工作台。背板19通过一个支架17连接在一个固定在汽车中控台上面的底座18上。驾驶人可以通过支架17调整背板19和三个拼接屏幕20的位置和方向。
[0034]图5、汽车裸眼3D控制台是由多个平面或曲面形状的柔性或非柔性裸眼3D屏幕21组成;多个屏幕21可以拼接在一起成为一个连续的屏幕组或根据不同的显示内容或目的被设置于不同的位置处。每个不同的位置处使用的裸眼3D屏幕21可以不同，譬如屏幕的形状，大小或是否透明等。不同品牌的汽车控制台使用的屏幕21数量，排列，位置和布置方式不同。
[0035]图6所示的是一个拥有两个平行设置的摄像机22的汽车仿生3D视点。每一个仿生3D视点都是由一个外壳23，两个摄像机22和摄像机正前方向的透明玻璃盖板25组成。根据在汽车上的设置位置不同，仿生3D视点外壳23的形状不同。在正常工作位置时，仿生3D视点中的两个摄像机22中心线位于同一个水平面上并彼此平行，平行间巨为5-80毫米。两个摄像机22的排线24分别穿过仿生3D视点外壳23后连接到汽车3D智能中心34。仿生3D视点外壳23的前面盖板是一块内外表面上都镀有涂层的透明玻璃25，仿生3D视点中的两个摄像机22通过正前方向的透明玻璃25采集外面的影像。
[0036]图7所示的是在一辆汽车上设置的一组仿生3D视点和这些视点的视角分布图。其中汽车左右两边的两个最大阴影面积部分表示这组仿生3D视点的视角仍未覆盖到的区域而成为盲区。汽车四个犄角处的较小面积阴影部分表示这组仿生3D视点的视角仍未覆盖的四个死角的区域。仿生3D视点I设置在汽车前挡风玻璃内表面中心下方的位置处，视点中的两个摄像机22的镜头朝向汽车正前方向。仿生3D视点2设置在汽车后视窗玻璃内表面中心上方的位置处，视点中的两个摄像机22的镜头朝向汽车正后方向。仿生3D视点3和4以及仿生3D视点5和6分别设置在汽车左侧和右侧传统反光镜后视镜中，仿生3D视点3和4中的摄像机22的镜头分别朝向汽车的左前方向和左后方向，仿生3D视点5和6中的摄像机22的镜头分别朝向汽车的右前方向和右后方向。仿生3D视点7和8分别设置在汽车车顶的左侧和右侧边缘上。图7中没有标示出仿生3D视点7和8的视角范围。只要将仿生3D视点7和8中的摄像机22的镜头分别朝向汽车的左前边方向和右前边方向，就可以完全覆盖汽车左右两边的两个阴影部分表不的盲区。
[0037]图8a所示的是一个典型的在原始场景空间中进行3D影像拍摄时的场景设计。两个摄像机26和27彼此相距为t。将两个摄像机26和27同时向内转，直到两个摄像机26和27的中心线会聚到关注景物30上。这是一个典型的采用了会聚方法进行3D拍摄的例子。关注景物30前方的景物称为前景物31，后方的景物称为后景物32。关注景物，前景物和后景物到摄像机26和27的距尚分别是Zconv，Znear和Zfar。
[0038]图Sb、在3D播放空间中，一个宽度为W的平面屏幕33。投射到屏幕33上的左右两个影像之间的水平距离为视差P。当人的左眼和右眼分别只能看到并聚焦到屏幕33上的左影像和右影像时，左右两个影像在大脑中融合后的3D影像出现在屏幕的后面，称为屏幕空间。当人的左眼和右眼分别只能看到并聚焦到屏幕33上的右影像和左影像时，左右两个影像在大脑中融合的3D影像出现在观众和屏幕之间，称为观众空间。根据图Sb所示的几何关系得到下面关系式，
Zc = Zd X T/(T-P) (I)
其中，Z。-观众双眼到屏幕上左右两个影像会聚点的距离 Zd-观众双眼到屏幕的距离 T-观众双眼之间的距离
P-视差，出现在屏幕上的左右两个影像之间的水平距离
d(P) =Pmax-Pmin = T X Ζ?(?/Ζ cnear- l/Zcfar) (2)
其中:pmax-屏幕上左右两个影像出现的最大视差
Pmin-屏幕上左右两个影像出现的最小视差
Zcnear-观众到最小视差会聚点的距离(P〈0负视差，观众空间)
Zcfar-观众到最大视差会聚点的距离(P>0正视差，屏幕空间)
定义，Prei = d(P)/W
其中:Prel_单位屏幕宽度上的最大视差 W-屏幕30的宽度
[0039]图9a所示的是在一个原始场景空间中采集3D影像时，两个摄像机26和27同时向内转，直到两个摄像机26和27的中心线会聚到关注景物30上。两个摄像机26和27的中心线在关注景物30上的会聚点直接在两个摄像机26和27的成像芯片28和29的中心点上成像。图9b所示的是将两个摄像机26和27从图9a所示的会聚方式向外转一直到两个摄像机26和27的中心线彼此平行为止。将3D拍摄方法从会聚法改变成为平行法的一个例子。这时在关注景物30上的会聚点在两个摄像机26和27的成像芯片28和29上的成像位置就不再是中点了，而是离开了成像芯片中点彼此相反的水平方向和水平距离为h的位置上。这时如果将摄像机26和27的成像芯片28和29分别朝着彼此相反和水平方向平移一个距离h，这样一来使用了平行法拍摄的结果与使用了会聚法拍摄的结果完全一样。这种通过平移两个成像芯片28和29而获得与会聚拍摄效果一样的3D影像平行拍摄方法称为平行会聚等效法。根据图9b所示的几何关系我们得到下面关系式，
d = t X f x(l/z conv- l/z) =h~t X f/z (3)
其中，d-原始场景空间中任意一点在两个摄像机成像芯片上的视差
h_两个摄像机成像芯片朝着彼此相反方向的水平偏移量
t_两个平行设置的摄像机中心线之间的距离
f -摄像机镜头的等效焦距
Z-原始场景空间中任意一点到摄像机的距离
Z_v-使用平行法拍摄时关注景物或等效会聚点到摄像机的距离
根据公式(3)推得下式；
d(d)—dmax-dmin — t X f ( l/znear_ l/zfar) (4)
其中:dmax-两个摄像机成像芯片上左右两个影像的最大视差 dmin-两个摄像机成像芯片上左右两个影像的最小视差 Zn.-前景物31到摄像机的距离 Zfar-后景物32到摄像机的距离定义，drel = d(d)/w
其中:drel-单位成像芯片宽度上的最大视差 W-摄像机成像芯片宽度
{吏丫守，drel — Prel
推得:?=[(Ζ?/Α X f)x(l/Zcnear-l/Zcfar)/(l/znear-l/zfar)]x T (5)
其中:A-屏幕放大率W/w
公式(5)表明，3D拍摄时的两个摄像机中心线之间的距离与人眼视间距是不相同的。 同样推得:P=(WzV)x d=A X d并代入到公式(I)中得到下式:
Zc= (Zd X T)/(T-P) = (Zd x T)/(T_A x d)
=(Zd X T)/[A X t X f-(A x h_T)x z]x z (6)
公式(6)表明Z。与z之间不是线性关系。理想成像是原始场景空间中任意一点，一条直线和一个面对应着3D影像重建空间中唯一的一个点，一条直线和一个面。为了使在一个原始场景空间中拍摄获得的两个具有不同视角的影像能够完美地在3D播放空间中理想成像，无扭曲和畸变，唯一的条件是让两个空间中对应点之间的数学关系成为线性关系。在公式(6)中，Z。与z之间的线性关系成立的条件是，
A X h_T = 0或h = T/A
公式(6)简化成为下式，
Zc= (Zd X T)/(A xtx f)x z (7)
公式(7)表明，原始场景空间中任意一点上获得的两个具有不同视角的影像在3D播放空间中具有唯一的一个对应点，在该对应点上两个具有不同视角的影像实现了会聚。
结论:采用平行法拍摄3D影像时，仿生3D影像重建技术要求在拍摄前将摄像机的成像芯片28和29朝着彼此相反方向水平移动h的距离或在完成正常拍摄后，对输出后的影像进行后期制作时将左右两个影像向彼此相反的方向水平平移h的距离。通过上述的方法，拍摄3D影像时使用平行法同样可以获得比会聚法进行3D拍摄更理想的效果，不仅符合人的双眼看景物的方式和习惯，而且没有畸变发生。
根据图9b所示的几何关系和公式(5)得到下列关系式，
Zconv = (t X f )/2h = t X f X A/2T = (Zd/2)x(1/Z cnear- l/Zcfar)/( l/Znear_ l/zfar) ( 8 )
因为zfar?l 所以 1/Zfar〈〈l 将公式(8)简化为下式，
(I/Zcnear~ I/Zcfar ) = t X f X A/(T X Zd X Znear )
根据定义，最大视差角d(a max)为，见图8b d(a max) =a2-ai = tan_1(T/Z cnear )-tan—HlYZcfar)
= T(1/Zcnear-1/Zcfar)
=(t X f X A/Zd)x 1/Znear (9)
结论:公式(9)得出了最大视差角amax的理论极限值。目前广泛使用的经验公式amax为
0.02是一个较为保守的经验安全值。当提高了最大视角差安全值后，人的双眼看到和感觉到的3D效果将会更接近于原始场景中真实的立体深度关系，但同时也相应地增加了人眼的聚焦-会聚冲突的影响。
仿生3D影像重建技术的一个核心思想是将原始场景空间中的立体深度关系能够在3D影像重建中正确地体现出来。公式(7)表明，两个空间之间在数学上存在着线性关系，将每一个原始场景空间中的一个物体的几何形状都能够在3D播放空间中正确地按照某个比例还原并且没有畸变。公式(8)表明，恰当地选择h的数值并将关注景物在3D播放空间的会聚点的位置设定在3D屏幕上，这时，在理想空间中下面的关系式成立，(下面的关系通过公式
(7)同样能够获得证明)
Zconv/Ζ? Znear/Zcnear Zf ar/Zcfar ( 10 )
将公式(8)带入公式(10)中得到了最大出屏量，
Zcnear=ZD X Znear/Zconv
=2T X Zd X Znear/(t X f X A) (11)
公式(11)表明，最大出屏量除了与摄像机参数有关之外，还与原始场景中的近景物的位置有关。实际上，在观众空间中过大的出屏量不仅会让观众感觉不真实，也是造成观众眼睛疲劳和生理不适的原因之一。为了控制最大出屏量的最有效的办法是在播放屏幕一定的情况下控制近景物的位置。
[0040]图10所示的是汽车左侧和右侧仿生3D视点视镜的第一种设计方案。仿生3D视点3和4以及仿生3D视点5和6被分别设置在汽车左侧和右侧传统反光镜后视镜中。图10中只显示了汽车左侧仿生3D视点视镜的结构和实施方法，汽车右侧仿生3D视点视镜是左侧的一个镜像，两者的结构和实施方法完全相同。左侧传统反光镜后视镜外壳34，反光镜镜片35，反光镜转动机构37，仿生3D视点3和4，仿生3D视点支撑结构38。仿生3D视点3固定在后视镜前壳体34的表面和后视镜内部的一个支撑结构38上，其中的两个摄像机22中心线与摄像机22的物镜外表面上的交点和物镜的外表面的中点重合并都位于同一个切平面上。仿生3D视点4安装在后视镜中的支撑结构38上，其中的摄像机22的物镜需要距离反光镜镜片35足够的远，使得仿生3D视点4中的摄像机物镜与反光镜镜片35内表面彼此不会发生任何的接触。当驾驶人调整反光镜镜片35的工作角度和方向时，转动机构37将反光镜镜片35进行上下和左右四个方向的转动。反光镜镜片35的底部有一个水平方向的长方形状透明部分36，这个透明部分36的背面没有反光镜涂层。但是在透明部分36的内外表面都镀有透明涂层，镀有透明涂层的透明玻璃表面具有排斥水，雾气和异物的自清洁功能。仿生3D视点4中的两个摄像机22通过反光镜镜片35底部的透明部分36采集外面的影像。
[0041 ]图11所示的是汽车左侧和右侧仿生3D视点视镜的第二种设计方案。仿生3D视点3和4以及仿生3D视点5和6被分别安装在汽车的左侧和右侧传统反光镜后视镜的外壳34下面。反光镜后视镜的反光镜镜片为35。图11只显示了汽车左侧仿生3D视点视镜的结构和实施方法，汽车右侧仿生3D视点视镜是左侧的一个镜像，两者的结构和实施方法完全相同。
[0042]图12所示的是汽车左侧和右侧仿生3D视点视镜的第三种设计方案。汽车仿生3D视点视镜支架39是一种全新的汽车视镜技术和装置。仿生3D视点3和4以及仿生3D视点5和6被分别安装在汽车左侧和右侧仿生3D视点视镜支架39上。图12只显示了汽车左侧仿生3D视点视镜和视镜支架的结构和实施方法，汽车右侧仿生3D视点视镜支架是左侧的一个镜像，两者的结构和实施方法完全相同。图12a所示当汽车启动前，视镜支架39隐藏在视镜支架底座40中，视镜支架固定在汽车车身41上。图12b所示当汽车启动后，视镜支架39从视镜支架底座40中旋转到工作位置。在工作位置时，安装在视镜支架上的仿生3D视点3和4中的两个摄像机22的中心线都位于同一个水平面上。图12c所示当汽车引擎关闭后，视镜支架39将自动地旋转并回到视镜支架底座40中。这时在视镜支架39上的四个仿生3D视点3，4，5和6以及其中的共八个摄像机22和镜头全部被隐藏在汽车车身或视镜支架底座40中。
[0043]图13所示的是一个汽车车内裸眼3D后视镜。车内裸眼3D后视镜是由一个平面背板42，一个或多个平面裸眼3D屏幕43，一块镀有涂层的防眩目玻璃44组成。车内裸眼3D后视镜的背板42与一个后视镜支架45连接在一起。防眩目玻璃44设置在裸眼3D屏幕43的外面，背面上镀有涂层。涂层只允许光线由里向外的单方向穿透。驾驶人能够透过防眩目玻璃看到裸眼3D屏幕43中播放的内容。后视镜上设置有一个开关46，当驾驶人将开关46关闭后，车内裸眼3D后视镜变成了一个传统的车内反光镜后视镜。
[0044]图14所示的是一个汽车3D智能中心47的设计和工作流程图。3D智能中心47是一个电脑，主要包括:主板48，操作系统49，存储单元50，一个带有Sim卡插槽的无线通讯模块51，中央控制单元52，触摸屏67和所有位于黑色虚线框中的装置。汽车仿生3D视点被分成了三个组，分别是仿生3D视点I，3和5，仿生3D视点2，4和6以及仿生3D视点7和8。三个组中的仿生3D视点分别获得的影像按照各自的分组进入到仿生3D影像重建技术单元53中，通过内置的仿生3D影像重建和处理软件对其中的参数进行调整后，进入到影像剪辑，拼接和3D格式转换单元54。三个组中的影像在54中分别被剪辑，拼接和3D插图的过程，最后成为四个具有超宽画面的单一影像，前方全境影像，后方全境影像，左后方全境影像和右后方全境影像。设置在影像处理主板57上的ISP影像处理芯片55对每一个影像进行处理，主要包括:算法，优化，亮度，色调和白平衡后直接进入到编码器56中进行压缩和编码。中央控制单元52中的逻辑处理器将根据预先设计好的程序将四个影像及时地分别输送到一组裸眼3D屏幕16，20和21以及车内裸眼3D后视镜43的屏幕主板58中，经过解码器60后在一组裸眼3D屏幕16，20和21以及车内裸眼3D后视镜43中播放。抬头显示器的主板59与3D智能中心47的主板连接。来自内置的无线通讯模块51中或驾驶人手机61中的3D导航地图直接进入到仿生3D影像重建技术单元53，驾驶人可以通过内置的无线通讯模块或手机设定是否需要对来自3D导航地图进行修正，如果不需要的话则直接通过单元53进入到一组裸眼3D屏幕16，20和21。来自内置的无线通讯模块51中或手机61中的简版3D导航指引，电话，微信，短信，视频，音乐，娱乐和其他内容则直接进入到3D智能中心主板48后进入到抬头显示器9和一组裸眼3D屏幕16，20或21中播放。来自汽车内立体双声道麦克风62的声音信号经过一个软件包对信号进行转换和处理。来自汽车OBD63插头的信息经过一根专用数据线传送到一个软件包，通过软件将数据读取出来。测距仪64侦测到的数据直接进入到测距仪附带的数据处理器65。所有上述经过处理后的麦克风62的声音信号，OBD63的数据和测距仪64的数据直接进入到3D智能中心主板48后被输送到汽车扬声器，抬头显示器9和一组裸眼3D屏幕16，20和21中播放。3D智能中心电源66负责提供上述所有装置的全部供电。
[0045]图15所示的是一个汽车3D智能中心47的设计和工作流程图。与上述图14相比较，图15中没有车联网部分。
【主权项】
1.汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，包括一个抬头显示器、一组裸眼3D屏幕、一组仿生3D视点、一个3D智能中心、汽车左侧和右侧仿生3D视点视镜和一个车内裸眼3D后视镜； 所述的一个抬头显示器是由一个平面或曲面形状的透明有机玻璃和粘贴在其内表面上的一个平面或曲面形状的柔性或非柔性透明屏幕组成，透明屏幕可以是传统的2D屏幕或裸眼3D屏幕，抬头显示器与一个底座连接在一起，抬头显示器与底座之间的角度是可以调整的； 所述的一组裸眼3D屏幕采用下述二种不同的设计模式中的一种；第一种模式是裸眼3D工作台模式，裸眼3D工作台是由一个平面或曲面形状的背板或一个被弯折过的平板形状的背板和固定在背板内表面上的一个或多个平面或曲面形状的柔性或非柔性裸眼3D屏幕组成，背板可以直接固定在底座上或通过一个支架连接在底座上，底座被固定在汽车前方中控台上面，驾驶人可以通过支架调整背板和屏幕的位置和方向；第二种模式是裸眼3D控制台模式，裸眼3D控制台是由多个平面或曲面形状的柔性或非柔性裸眼3D屏幕组成，多个屏幕可以拼接在一起成为一个连续的屏幕组或根据不同的显示内容或目的被设置在汽车中不同的位置处，裸眼3D控制台模式中使用的屏幕数量、排列、位置和布置方式对于每个不同品牌和型号的汽车或移动设备是不同的； 所述的仿生3D视点是一个拥有一个可以采集3D影像的摄像机或两个摄像机的装置;将一组仿生3D视点设置在汽车或移动设备上多个不同的位置处采集汽车周围和特定方向的3D影像; 所述的3D智能中心是一个拥有一个独立的操作系统，对来自每一个仿生3D视点的影像、汽车OBD和测距仪的信息、手机中的应用和信息进行处理、控制和管理，并将处理后的影像和信息通过中央控制单元按照预先设定的程序分别输出到抬头显示器、一组裸眼3D屏幕和车内裸眼3D后视镜中播放的电脑，主要包括在电脑的主板上连接着的抬头显示器、一组裸眼3D屏幕和车内裸眼3D后视镜屏幕的主板、影像处理器、中央控制单元、编码器和解码器、手触控屏幕和一个带有通讯芯片插槽的无线通讯模块； 所述的汽车左侧和右侧仿生3D视点视镜是将多个仿生3D视点分别设置在汽车左侧和右侧传统反光镜后视镜中或反光镜后视镜外壳下面或仿生3D视点视镜支架上或汽车车身上的一种汽车影像采集装置;仿生3D视点视镜中的仿生3D视点采集的两个具有不同视角的影像，经过仿生3D影像重建技术和其他影像软件处理后，驾驶人通过一组裸眼3D屏幕和车内裸眼3D后视镜中播放的3D影像可以判断出自己驾驶的汽车与邻近车道和后方车道中出现的其他汽车或物体或行人之间的相对距离； 所述的汽车车内裸眼3D后视镜是由一个平面或曲面形状背板和固定在背板内表面上的一个或多个平面或曲面形状的柔性或非柔性裸眼3D屏幕以及屏幕外面的一个背面镀有涂层的防眩目玻璃组成。2.根据权利要求1所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，在抬头显示器的屏幕和透明有机玻璃之间或透明有机玻璃外表面上可以增加一层偏振光薄膜以减弱太阳光照射的强度和各种反光对屏幕上的影像造成的影响。3.根据权利要求1所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，在一个拥有两个摄像机的仿生3D视点中，两个摄像机的中心线都位于同一个水平面上并且彼此平行，两个中心线之间的平行间距为5-80毫米。4.根据权利要求1所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，每一个仿生3D视点根据设置在汽车或移动设备上的不同位置而被标示不同的编号或名称;对于汽车来说，将仿生3D视点I设置在汽车前挡风玻璃内表面上或汽车前面的位置处，摄像机镜头朝向汽车正前方向；将仿生3D视点2设置在汽车后视窗玻璃内表面上或汽车后背箱盖的位置处，摄像机镜头朝向汽车正后方向；将仿生3D视点3和4以及仿生3D视点5和6分别设置在汽车左侧和右侧传统反光镜后视镜中或反光镜后视镜下面或左侧和右侧仿生3D视点视镜支架上或汽车左侧和右侧车身上，仿生3D视点3和4中的摄像机镜头分别朝向汽车的左前方向和左后方向，仿生3D视点5和6中的摄像机镜头分别朝向汽车的右前方向和右后方向；将仿生3D视点7和8分别设置在汽车左侧和右侧车身上或车顶上，摄像机镜头分别朝向汽车的左边方向和右边方向。5.根据权利要求1和4所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，汽车左侧和右侧仿生3D视点视镜采用下述四种不同的设计方案中的一种;第一种方案是将仿生3D视点3和4以及仿生3D视点5和6分别设置在汽车左侧和右侧传统反光镜后视镜中；第二种方案是将仿生3D视点3和4以及仿生3D视点5和6分别固定在汽车左侧和右侧传统反光镜后视镜外壳下面;第三种方案是将仿生3D视点3和4以及仿生3D视点5和6分别设置在一个全新设计的可收回式的汽车左侧和右侧仿生3D视点视镜支架上，视镜支架可以设置在汽车不同的位置处，当汽车启动后汽车左侧和右侧视镜支架将自动地移动或转动到正常工作位置，当汽车停车和熄火后将自动地收回到汽车车身或视镜支架底座中隐藏起来；第四种方案是将3D视点3、4、5和6分别安装在汽车左侧和右侧车身上或车顶上的不同位置处。6.根据权利要求1所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，在汽车车内裸眼3D后视镜上设置一个开关，当开关关闭后，车内裸眼3D后视镜变成一个传统的车内反光镜后视镜。7.根据权利要求1、3、4和5所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统及3D影像处理方法，其特征在于，3D智能中心通过一个独立的操作系统和内置的影像处理软件，通过连接在主板上的多个带有影像处理芯片，屏幕和显示器主板，编码器和解码器，手触控屏幕和中央控制单元对来自每一个仿生3D视点的两个具有不同视角的影像进行处理，主要包括:仿生3D影像重建，平移，剪辑，拼接，3D格式转换，算法，优化，亮度，色调，白平衡，编码，解码，输出和存档;通过一个带有无线通讯芯片的无线通讯模块中或手机中预装的APP软件连接手机中的各种应用，导航地图，电话，微信，短信，语音控制等各种信息和内容并对这些信息和内容进行处理;通过内置信号处理软件对来自汽车OBD和测距仪的信息进行加工和处理。8.如权利要求1、3、4、5和7所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统及3D影像处理方法，其特征在于，3D智能中心对每一个来自仿生3D视点的两个具有不同视角的影像进行仿生3D影像重建；仿生3D影像重建技术主要包括:第一是对原始场景空间中任意一点上采集的两个具有不同视角的影像中的每一个影像沿着水平和彼此相反的方向做一个平移h = T/A的距离，使得平移后的两个影像在3D播放空间中存在着唯一的一个对应点并且在该对应点上两个影像实现了会聚;第二是通过适当地选择h值和调整汽车前方关注景物位置的方式，将关注景物的两个具有不同视角的影像在3D播放空间中对应的会聚点位置设置在3D播放屏幕上，这时原始场景空间中距离摄像机镜头最近的前景物在3D播放空间中的最大出屏量是Zcnear = 2TxZDxznear/(t xfxA);第三是使用仿生3D影像重建技术的理论最大视角差d(amax) = (txfxA/ZD)xl/z_r替代传统经验公式，将原始场景中不同物体之间的立体深度关系在3D播放空间中以相似立体深度关系被重现;第四是在部分仿生3D视点拍摄的影像中包括至少一个或部分汽车或移动设备上的部件作为参照物，驾驶人根据一组裸眼3D屏幕中播放的3D影像中的参照物可以判断出自己驾驶的汽车与邻近车道和后方车道中出现的其他汽车或物体或行人之间的相对距离。9.如权利要求1、4、5、7和8所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统及3D影像处理方法，其特征在于，3D导航地图可以通过下述四种不同的制作方法制作;第一种方法是将摄像机对着一个按照比例建造的城市模型从多个不同方向和角度进行3D拍摄，使用可以采集3D影像的一个微型摄像机或两个微型摄像机模拟真人驾驶的方式沿着城市模型中的每一个街道，大路，广场，路口，停车场，隧道，立交桥和交通枢纽等按照不同的方向进行3D拍摄;第二种方法是鼓励每一个参加分享数据计划的驾驶人在驾驶汽车时通过仿生3D视点I，3和5将汽车行驶路线中的真实街景拍摄下来并将影像保存在3D智能中心，当驾驶人到达目的地停车和熄火后，3D智能中心将自动搜寻无线上网热点，并将所有采集的数据自动地上传到云端;第三种方法是使用2D转3D技术将2D导航地图中的城市道路，城外公路和高速公路按照不同的道路编号，不同的道路颜色和不同的道路方向按照不同的立体深度进行分层并分隔开，对于交通枢纽或立交桥中每个不同方向的道路按照真实比例将不同高度的道路分隔开;第四种方法是制作一个简版3D导航指引，简版3D导航指引是一个带有透视和3D视觉效果的全新导航指引；上述制作方法获得的3D导航地图数据和影像经过仿生3D影像重建技术重建，影像后期制作，共享上述不同制作方法获得的数据，汇总后形成最终的仿生3D导航地图和简版3D导航指引。10.根据权利要求1、7和9所述的汽车或移动设备3D影像采集和裸眼3D平视显示系统，其特征在于，3D智能中心提供了三种不同的导航模式;第一种模式是简版3D导航指引模式，使用在抬头显示器中；第二种模式是真实3D街景导航结合简版3D导航指引的增强现实导航模式;第三种模式是3D导航地图模式，3D导航地图可以是通过上述权利要求9中前三种制作方法获得的仿生3D导航地图或其他制作方法获得的3D导航地图；驾驶人可以随时通过声控方式在第二种和第三种3D导航模式中进行切换。
【文档编号】G02B27/01GK105929539SQ201610333077
【公开日】2016年9月7日
【申请日】2016年5月19日
【发明人】彭波
【申请人】彭波