应用于增强现实系统的辅助图像处理装置制造方法
【专利摘要】本实用新型涉及一种应用于增强现实系统的辅助图像处理装置，其结构包括视频解码器、现场可编程门阵列、视频编码器和通用串行总线接口；所述视频解码器的输入端用于连接相机并采集原始视频信号，所述视频解码器的输出端连接所述现场可编程门阵列的输入端，所述现场可编程门阵列的一个输出端接所述视频编码器，另一个输出端连接所述通用串行总线接口，所述视频编码器的输出端用于连接计算机的图像采集设备，所述通用串行总线接口用于连接计算机。本实用新型能够使计算机在采集图像时同步获取图像的颜色直方图信息和积分图像信息，加速计算机视频处理的过程，提高视频处理的效率，从而有助于提高增强现实系统的实时性。
【专利说明】应用于增强现实系统的辅助图像处理装置
【技术领域】
[0001]本实用新型涉及一种计算机处理系统，具体地说是一种应用于增强现实系统的辅助图像处理装置。
【背景技术】
[0002]把原本在现实世界的一定时间空间范围内很难体验到的实体信息(如视觉信息、声音、味道、触觉等)通过模拟仿真后，再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做“增强现实技术”，简称AR技术。“增强现实技术”中的“增强”二字，意指借助外界手段，通常是由计算机生成的图形、文本、声音等非真实世界存在的虚拟辅助信息增强现实技术”中的“现实”二字，是指真实世界中实际存在的事物或场景。由此可见，“增强现实技术”是借助综合技术将计算机生成的虚拟物体或其他信息与用户所看到的真实世界相融合的一种技术，而虚拟物体或其他信息的生成内容与显示位置往往伴随着计算机视觉信息的处理。
[0003]实现“增强现实技术”的系统叫做“增强现实系统”。目前，增强现实系统多采用计算机对相机视频进行采集和存储，通过软件算法进行图像内容的识别与目标跟踪，同时完成虚拟对象与真实目标在空间坐标系内的对齐。这种基于软件的图像处理方法，从存储器中读取像素值再进行处理，并将处理结果存入存储器中。由于进行图像处理的每个操作步骤都会执行这一 “读取一存入”的过程，因此，计算机的处理器与存储器间的运行速度将会大大限制软件算法的速度。
实用新型内容
[0004]本实用新型的目的就是提供一种应用于增强现实系统的辅助图像处理装置，以解决现有增强现实系统因计算机运行速度受限所导致的实时性不高的问题。
[0005]本实用新型是这样实现的:一种应用于增强现实系统的辅助图像处理装置，包括视频解码器、现场可编程门阵列、视频编码器和通用串行总线接口 ；所述视频解码器的输入端用于连接相机并采集原始视频信号，所述视频解码器的输出端连接所述现场可编程门阵列的输入端，所述现场可编程门阵列的一个输出端接所述视频编码器，另一个输出端连接所述通用串行总线接口，所述视频编码器的输出端用于连接计算机的图像采集设备并输出原始视频信号，所述通用串行总线接口用于连接计算机，同步输出原始视频信号的全局颜色直方图信息、局部颜色直方图信息和积分图像信息；
[0006]所述现场可编程门阵列内部含有视频解码器控制器、视频行缓冲器、视频编码器控制器、全局颜色直方图统计模块、局部颜色直方图统计模块、积分图像计算模块、通用串行总线控制器和重配置控制器等部分，可分别组成全局直方图统计功能模块、局部直方图统计功能模块和积分图像计算功能模块。
[0007]所述全局直方图统计功能模块是由所述视频解码控制器的输出端接所述视频行缓冲器的输入端，所述视频行缓冲器的输出，一路接所述视频编码控制器的输入端，另一路接所述全局直方图统计模块的输入端；所述视频编码控制器的输出端外接所述视频编码器，所述全局直方图统计模块的输出端经所述通用串行总线控制器外接所述通用串行总线接口，用于输出全局直方图信息。
[0008]所述局部直方图统计功能模块是由所述视频解码控制器的输出端接所述视频行缓冲器的输入端，所述视频行缓冲器的输出，一路接所述视频编码控制器的输入端，另一路接所述局部直方图统计模块的输入端；所述视频编码控制器的输出端外接所述视频编码器，所述局部直方图统计模块的输出端经所述通用串行总线控制器外接所述通用串行总线接口，用于输出局部直方图信息。
[0009]所述积分图像计算功能模块是由所述视频解码控制器的输出，一路接所述视频编码控制器的输入端，另一路接所述积分图像计算模块的输入端；所述积分图像计算模块的输出，一路接所述视频行缓冲器的输入端，另一路经所述通用串行总线控制器外接所述通用串行总线接口，以输出积分图像信息；所述视频行缓冲器的输出端接至所述积分图像计算模块的输出端，所述视频编码控制器的输出端外接所述视频编码器。
[0010]在增强现实系统的图像处理过程中，需要进行颜色直方图和积分直方图等信息的统计和计算，并且在每帧图像采集完成之后，都要由计算机进行颜色直方图和积分直方图的信息处理。颜色直方图信息是图像滤波、识别和跟踪中常用的统计特征信息。颜色直方图包括全局颜色直方图和局部颜色直方图。全局直方图常用来对图像进行分割处理，局部直方图是用以解决在目标形变、旋转和部分遮挡情况下的鲁棒性识别跟踪问题。积分图像通过对像素值的累加来加速视频目标Harr特征和类Harr特征的提取。
[0011]本实用新型是将颜色直方图和积分图像这两类信息的统计、计算，均可在视频像素采集输入至计算机的过程中同步进行，无需等待整幅图像采集完成。由于是在视频采集过程中同步计算并输出这两类信息，并由计算机直接读取，因此就无需通过对存储器中的整幅图像的再次读取来获取相应信息，由此即可降低计算机的运算次数，从而提高增强现实系统的实时性。
[0012]通过本实用新型的设置，使得计算机无需再对采集的图像进行直方图的统计和积分图像的计算，节约下来的时间可更加有效地利用到其他处理过程中。
[0013]本实用新型是在增强现实系统对视频图像进行采集的同时能够统计、计算并输出常用图像信息的一个硬件装置，连接与照相机与采集计算机之间，能够使计算机在采集图像时同步获取图像的颜色直方图信息和积分图像信息，加速计算机视频处理的过程，提高视频处理的效率，从而有助于提高增强现实系统的实时性。
【专利附图】
【附图说明】
[0014]图1是本实用新型构成全局直方图统计功能模块的结构框图。
[0015]图2是本实用新型构成局部直方图统计功能模块的结构框图。
[0016]图3是本实用新型构成积分图像计算功能模块的结构框图。
【具体实施方式】
[0017]如附图所示，本实用新型是由视频解码器1、现场可编程门阵列2、视频编码器3和通用串行总线接口 4共四部分连接组成，其中，通用串行总线接口 4即为USB接口，现场可编程门阵列2即为FPGA芯片。
[0018]视频解码器I的输入端接相机，视频解码器I的输出端接现场可编程门阵列2，现场可编程门阵列2的两路输出分接视频编码器3和通用串行总线接口 4 ;通过视频编码器3连接计算机的图像采集设备，通过通用串行总线接口 4连接计算机。
[0019]现场可编程门阵列2内部含有视频解码器控制器5、视频行缓冲器6、视频编码器控制器7、全局颜色直方图统计模块8、局部颜色直方图统计模块9、积分图像计算模块11、通用串行总线控制器12和重配置控制器10等几个组成部分，可受控分别组成全局直方图统计功能模块、局部直方图统计功能模块和积分图像计算功能模块。
[0020]图1中，现场可编程门阵列2中所组成的全局直方图统计功能模块是由视频解码控制器5的输出端接视频行缓冲器6的输入端，视频行缓冲器6的输出，一路接视频编码控制器7的输入端，另一路接全局直方图统计模块8的输入端。视频编码控制器7的输出端外接视频编码器3，以输出原始视频；全局直方图统计模块8的输出端经通用串行总线控制器12外接通用串行总线接口 4，向计算机输出所统计的全局直方图信息。
[0021]图2中，现场可编程门阵列2中所组成的局部直方图统计功能模块是由视频解码控制器5的输出端接视频行缓冲器6的输入端，视频行缓冲器6的输出，一路接视频编码控制器7的输入端，另一路接局部直方图统计模块9的输入端。视频编码控制器7的输出端外接视频编码器3，以输出原始视频；局部直方图统计模块9的输出端经通用串行总线控制器12外接通用串行总线接口 4，向计算机输出所统计的局部直方图信息。
[0022]图3中，现场可编程门阵列2中所组成的积分图像计算功能模块是由视频解码控制器5的输出一路接视频编码控制器7的输入端，另一路接积分图像计算模块11的输入端；积分图像计算模块11的输出，一路接视频行缓冲器6的输入端，另一路经通用串行总线控制器12外接通用串行总线接口 4，以输出所计算的积分图像信息；视频行缓冲器6的输出端接至积分图像计算模块11的输出端，视频编码控制器7的输出端外接视频编码器3，以输出原始视频。
[0023]当计算机利用图像采集设备对相机的原始视频信号进行采集的同时，可通过通用串行总线接口 4同步获取视频图像的全局颜色直方图信息、局部颜色直方图信息和积分图像息。
[0024]本实用新型的工作过程是:视频编码控制器7读取输入视频的像素，同时利用全局颜色直方图统计模块8对全局直方图信息进行统计，并存储至通用串行总线控制器12的发送缓冲区，计算机在每帧图像采集完成时，利用通用串行总线接口 4读取该信息；若读取时间较长，视频行缓冲器6将对原始视频进行缓冲，保证视频帧与其全局颜色直方图输出的同步性。
[0025]视频编码控制器7在读取视频像素的同时，根据设置的窗口区域，利用局部颜色直方图统计模块9对该区域的局部直方图信息进行统计；同时，视频采集过程中可实时获取任意相同大小区域的局部直方图，可方便地应用于基于统计特征模板匹配的目标识别跟踪过程中。当窗口区域大小设置发生改变时，通过重配置控制器10对现场可编程门阵列2进行重新配置，按照新的窗口区域大小进行颜色直方图统计。这是因为颜色直方图统计需要占用大量的现场可编程门阵列2内部存储器资源，难以满足任意大小区域直方图的统计，采用重配置方式刷新现场可编程门阵列内部的逻辑结构，是一种可行的方式。
[0026]视频编码控制器7在读取视频像素的同时，可实时计算当前视频帧所对应的积分图像，其计算过程是，将位于当前像素位置的左、上和左上方三个像素位置的像素值与当前像素位置的像素值之和作为该像素位置的积分图像像素值，因此，必须缓冲一行计算好的积分图像，以便利用其计算下一行的积分图像。积分图像结果存放至通用串行总线控制器12的发送缓冲区，计算机可在每帧图像采集完成时进行读取。
【权利要求】
1.一种应用于增强现实系统的辅助图像处理装置，其特征是，包括视频解码器、现场可编程门阵列、视频编码器和通用串行总线接口 ；所述视频解码器的输入端用于连接相机并采集原始视频信号，所述视频解码器的输出端连接所述现场可编程门阵列的输入端，所述现场可编程门阵列的一个输出端接所述视频编码器，另一个输出端连接所述通用串行总线接口，所述视频编码器的输出端用于连接计算机的图像采集设备并输出原始视频信号，所述通用串行总线接口用于连接计算机，同步输出原始视频信号的全局颜色直方图信息、局部颜色直方图信息和积分图像信息； 所述现场可编程门阵列内部含有视频解码器控制器、视频行缓冲器、视频编码器控制器、全局颜色直方图统计模块、局部颜色直方图统计模块、积分图像计算模块、通用串行总线控制器和重配置控制器，可分别组成全局直方图统计功能模块、局部直方图统计功能模块和积分图像计算功能模块。
2.根据权利要求1所述的应用于增强现实系统的辅助图像处理装置，其特征是，所述全局直方图统计功能模块是由所述视频解码控制器的输出端接所述视频行缓冲器的输入端，所述视频行缓冲器的输出，一路接所述视频编码控制器的输入端，另一路接所述全局直方图统计模块的输入端；所述视频编码控制器的输出端外接所述视频编码器，所述全局直方图统计模块的输出端经所述通用串行总线控制器外接所述通用串行总线接口，用于输出全局直方图信息。
3.根据权利要求1所述的应用于增强现实系统的辅助图像处理装置，其特征是，所述局部直方图统计功能模块是由所述视频解码控制器的输出端接所述视频行缓冲器的输入端，所述视频行缓冲器的输出，一路接所述视频编码控制器的输入端，另一路接所述局部直方图统计模块的输入端；所述视频编码控制器的输出端外接所述视频编码器，所述局部直方图统计模块的输出端经所述通用串行总线控制器外接所述通用串行总线接口，用于输出局部直方图信息。
4.根据权利要求1所述的应用于增强现实系统的辅助图像处理装置，其特征是，所述积分图像计算功能模块是由所述视频解码控制器的输出，一路接所述视频编码控制器的输入端，另一路接所述积分图像计算模块的输入端；所述积分图像计算模块的输出，一路接所述视频行缓冲器的输入端，另一路经所述通用串行总线控制器外接所述通用串行总线接口，以输出积分图像信息；所述视频行缓冲器的输出端接至所述积分图像计算模块的输出端，所述视频编码控制器的输出端外接所述视频编码器。
【文档编号】H04N19/15GK204131656SQ201420537110
【公开日】2015年1月28日 申请日期:2014年9月18日 优先权日:2014年9月18日
【发明者】赵守伟, 马飒飒, 张勇, 王伟明, 马东玺, 于明, 廖洁, 牛刚, 雷正伟 申请人:中国人民解放军总装备部军械技术研究所