专利名称：遥控车辆的控制的制作方法
技术领域：
本发明涉及遥控车辆的控制，尤其涉及其连接的传输线路携载用于显示车辆前面的地面及障碍物的图象信息的遥控车辆的控制装置。
有一种遥控车辆是利用电缆将车辆与远处的驾驶员联系起来，这种电缆能携载发给驾驶员的、包括视频信号的较宽的带宽信息，例如由安装在车辆中的电视摄象机发出的视频信号。但是，电缆的有限长度会限制车辆的活动范围，同时也使车辆的灵活性受到限制，而且易损坏车辆或易发生事故。另一种方法是采用高带宽无线电传输线路，但它也使车辆的行驶范围和所通过的地带受到限制。此外，该方法也不适于在有一辆以上遥控车辆共同行驶的地方使用。确实，有一些方法可以对视频数据进行有用的压缩，但是，为了可以传送必要的感应反馈信息，这些方法都不能形成足够的压缩率，以使低带宽的无线电传输线路能够得以采用。
本发明提供了一种车辆遥控的方法，该方法不必采用专用的高带宽无线电传输线路。
按照本发明提供的车辆遥控系统包括一辆装有电视摄象机的遥控车辆，该摄象机和车辆通过一条无线电传输线路与一个分开的、具有无线电接收机的总站相联系。在总站，传输的视频图象被分成一些独立的数据组，其中，一部分数据组显示短时标变化，而另一部分数据组显示长时标变化，这两种数据组以不同的视帧频传输，而且接收机上的装置将两种传输信息组合起来，形成所述接收机的视频显示器上的复合图象。
所述的视帧频可以是30赫兹的次慢频率。最好将用于传输的图象信息进行处理，以选择通常的、用来在视频显示器内产生合成图象的静态特性。经选择后的图象信息可以处理成用于进行所述慢帧频传输的、只有边缘和转角的信息。接收到的慢帧频信息可以转换成投影到视频显示器的象平面内的视帧频。
下面通过举例的方法，参照附图来描述本发明的特定实施例。其中
图1表示带有总站的典型场景中的遥控车辆，总站装有一个车辆驾驶员的控制台;
图2是一个主系统控制器的方框图;
图3表示必须提供给所需图象显示器的不同的数据变换。
正如图1中所描绘的，遥控车辆1沿一条乡村道路行驶，该车辆由总站2中的驾驶员控制，驾驶员位于控制台3附近，并且通过视频显示器显示出车辆前方的景物。安装在车顶上的电视摄像机4将车辆1前方的地面图象传输给控制台3上的接收机。无线电传输线路6有两路，以便使控制台3发出的控制信号能为车辆导向。除图象信息外，车辆1上的传感器发出的信号也能传输给控制台3，以便将制动操作、转向运动等信息提供给视频显示器。
正如已经提到的，传输全视频图象给总站要占据大的视频带宽，在某些应用场合这是允许的，但在需要同时操纵一辆以上车辆的情况下，最好减小带宽。在本发明中，这是靠以不同的数据率传输不同部份的视频信息来实现的。变化较快的基础车辆运动信息以普通视帧频传输。基础三维景物结构变化缓慢，它以慢视帧频传输。这就意味着，对于要传输的最新推断的结构信息，可以采用几幅视帧。
为了推断所观察到的景物的结构信息，将每幅图象都用信息处理段分解成图象标记。这些标记重现了给定的视频显象帧面中的转角和边缘特征的位置，而识别这些特征的有关说明已在题目为“数字数据处理”、申请号为881123的同类待审批专利申请(Copending patent application)中给出。
在R.J.布利塞特(Blissett，R.J.)、D.查利(Charnley，D.)和C.G.哈里(Harris，C.G.)的“从被动式单眼视觉到机器人的灵活性”(Towards robot mobility through passive monocular vision)的论文中讨论了“运动结构”(Structure-from-Motion)算法的适当应用，之后又于1988年7月在远距离操纵与控制的国际专题讨论会(Proceedings International Symposium on Teleoperation and Control的集刊第123页-132页上发表。相应的景物特征的等效三维定位可以根据车辆的通行位置和状态进行估计。接着将观察到的景物分解成三维标记。这种信息再通过低带宽无线电传输线路传输到总站。
在总站，处理电路能够根据接收到的标记数据合成出一个景物信息的轮廓图象。假如合成的景物投影到处于普通视帧频(30赫兹)的象平面上，则所观察到的景物的运动(视频)可以在低频适时修正(例如在2赫兹)的基础上重现。为了实现这个目的，必须将车辆的运动参数以视频方式传回到总站。这种装置确保实时视频显示器在总站能精确地重现由于车辆动力学特性产生的短时标变化，并能低速率地记录地形概貌和电视摄像机视野内的物体变化的情况。
这样，驾驶员可以观察动态变化景物，并提供感觉反馈信息，以使车辆行驶。当需要压缩数据因而导致由电视摄像机记录的实际灰度不再现的信息的部分损失时，三维信息的再现提供了有价值的定量数据，这些数据与车辆前方的地面特征以及出现障碍物的情况有关。这种方法的优点是不必使用不方便的和限制性很大的地面电缆，也不需要专用的高带宽无线电传输线路，因此相应地提高了远距离操纵的车辆的灵活性。
本申请系统的某些优点可以从下面对不同视频传输形式的数据率的需求之间进行的比较中明显看出。
视频形式 数据率(Kbits/s)高分辨率数字显示 60000压缩后(10∶1)的高分辨率显示 6000压缩后(10∶1)的低分辨率显示 1500高分辨率边缘图象 约1500240景物标记的2赫兹适时修正 15，加大约1加上车辆参数的30赫兹适时修正该方法所需的主系统控制装置描绘在图2中。该图表示出电视摄像机4(该摄像机最好采用逐行扫描方式)，通过电缆将模拟视频数据传送到前端视频处理机7。借助于512八位象素，处理机7把拍摄到的每幅帧面数字化为512，该数据被存在帧存储里。前端处理机被设计成把每一数字化帧面分解成一系列图象片断标记和关联符号。这些标记可以以局部转角和/或边缘为基础。处理机7的设计是以VME信息转移通路结构为基础进行的，并且模仿了前面所提到的专利申请中所公开的结构。
从前端处理机7发出的数据，其数据率大大减小〔均为每秒1.8兆比特(1.8Mbits/秒)〕。该数据流被送入三维几何模件8中，该模件可以附带接收装在车辆1内的辅助运动和状态传感器发的数据。三维几何模件8均调一帧帧图象标记，计算或利用车辆运动参数，并通过三角测量估算出相应景物标记的三维位置。由于从连续不断的帧面中接收了更多的数据，所以这种估算越来越准确。模件8的输出值包括准确的运动参数估算值及一系列景物标记的三维位置值，该景物标记通常是电视摄象机4能看得见的。这些输出值通过发射机9和低带宽无线电传输线路6发射到总站2。运动数据是发射的每一幅视频(以30赫兹的帧频发射)，三维数据是以低频发射(例如2赫兹)的。三维几何模件8的处理机使用了平行处理结构。通过线路6传输的数据率大约为每秒16千比特(16Kbits/秒)。
数据一旦被总站2的接收机11接收，就能将三维景物标记合成为一个被观察到的景物的三维表面图象。这一工作由三维表面发生器12来完成。拍摄只有点集的景物标记的方法在上述出版的论文中已描述。首先，将三维标记再反过来投影到利用最新的车辆运动和状态数据的通用象平面上，然后通过投影标记在象平面上进行德洛内三角测量(Delaunay triangulation)。这种三角测量确保再现相应的三维表面，而且在深度上有单一的色调变化。然后，通过轮廓的正交网格可显象出该表面(轮廓的正交网格形成于具有一组等间距的正交垂直平面的交线上)。此外，如果需要的话，对于驾驶中出现的潜在障碍物和不适当区域可以从三维表面和图象中推断出，并以辉壳部分表示出来。
这样，这种信息作为动态显示出现在驾驶员控制台3上，然后，驾驶员能够通过从动控制器和观察显示控制台来驾驶车辆。要求车辆转向和制动指令被传回到车辆1。将三维信息提供给驾驶员能使他对车辆前面的地面特征进行估计，而且可以确定潜在障碍物的位置并避开该障碍物。
图3表示出为了获得需求的图象显示而必需进行不同数据的转换。
来自电视摄像机的信号产生一系列速率为每秒30幅的视帧14。图中所描绘的帧沿时间座标16按顺序地间隔出现。从每一幅隔开的视帧中，前端处理机都动作，以产生一组图象标记17。然后这组图象标记被送入三维几何模件，以便有助于形成三维景物标记18。
车辆1还装有提供如车辆行驶速度和状态的信息的辅助传感器。从这些辅助传感器传来的信息19经处理形成一个车辆运动矢量21，该矢量具有沿时间坐标发生类似变化的特征。通过无线电传输线路6，车辆运动矢量的信息以每秒30帧的速率传输，以便在总站形成被接收的车辆运动矢量22。
来自辅助传感器的信息19也传送到三维几何模件，以形成三维景物标记18。这些标记18以每秒30帧的速度变化，然后将它们以每秒2帧的速率取样，最终数据由无线电传输线路6传输到总站。
总站所接收的信息由以每秒2帧的速率变化的三维景物标记23和以每秒30帧速率接收到的车辆运动矢量22组成，再将该信息组合，以提供一系列投影的图象标记帧24。这一目的是靠将三维标记重新投影到利用最新车辆运动和状态数据的通用象平面上来实现的。德洛内三角测量26是利用投影标记在象平面上进行的。这种三角测量确保了相应的三维表面的重现，其在深度上有单一的色调变化。然后再利用轮廓的正交网格使表面显象，以便以每秒30帧的速率产生三维表面轮廓的可通行区域。这种轮廓信息27能显示在电视屏幕上，以给出稍微简化的地面图象，而驾驶员仍能驾驶车辆。
上面所描述的本发明的实施例仅是具体实例，在不脱离本发明权利要求所限定范围的情况下，可以进行改变，例如，图象帧面数据的变化率可以采用不同于实施例中所描述的变化率，即每秒30帧和2帧的变化率。也可以不采用车辆上的辅助传感器来获得有关车辆位置和状态的数据，而可以采用另外的方法获得这些信息，例如利用已经提到过的运动结构算法。
本发明并不局限于控制道路车辆行驶，它也能用于其它目的，如传输感应的反馈信息，以用来控制一个遥控操作装置或控制无人驾驶飞行器的遥控降落。
权利要求
1.一种遥控车辆的控制系统，包括装有电视摄像机的遥控车辆，摄像机和车辆通过一条无线电传输线路与一个分开的、具有无线电接收机的总站相联系，在总站，传输的视频图象被分成一些独立的数据组，一部分数据组显示短时标变化，而另一部分数据组显示长时标变化，这两部分数据组以不同的视帧频传输，接收机上的装置将两种传输信息组合起来，以便在所述接收机的视频显示器上合成图象。
2.按照权利要求1所述的控制系统，其特征是所述视帧频包括30赫兹的次慢频率。
3.按照权利要求1或2所述的控制系统，其特征是图象部分具有通常的静态特征，以便在视频显示器上形成一个合成图象。
4.按照权利要求3所述的控制系统，其特征是对选择的图象信息进行处理，使之成为用于所述慢帧频传输的边缘和转角信息。
5.按照权利要求1到4中任一项权利要求所述的控制系统，其特征是将接收到的慢帧频信息转换成用于投影到视频显示器象平面内的视帧频。
6.一种遥控车辆的控制系统基本上如上面参照任一幅附图所描述的那样。
全文摘要
本发明公开了一种遥控车辆的控制系统，它包括一个装有电视摄像机4的遥控车辆1，摄像机4和车辆1通过一条无线电传输线路6与一个分开的、具有接收机3的总站2相联系。在总站，传输的视频图象被分成一些独立的数据组，一部分数据组显示短时标变化，另一部分数据组显示长时标变化，将这两部分数据组以不同的视帧频传输，接收机上的装置将两种传输信息组合起来，以便在所述接收机3的视频显示器上合成图象。该系统不需要高带宽无线电传输线路而能很好地控制车辆。
文档编号G08G1/127GK1049925SQ89107769
公开日1991年3月13日 申请日期1989年8月27日 优先权日1989年8月27日
发明者罗德尼·约翰·布利塞特, 克里斯托弗·乔治·哈里斯, 德布拉·查利 申请人:普列斯海外有限公司