自动侦测图像格式的方法及其相关装置制造方法
【专利摘要】本发明公开了一种侦测图像格式的方法，包括将一单帧图像分为多个巨块；计算该单帧图像中一左半图像与一右半图像间的相关系数，作为一第一全域相似度；计算该单帧图像中一上半图像与一下半图像间的相关系数，作为一第二全域相似度；根据各巨块的图像特征，计算各巨块的局部差异；比较该左半图像与该右半图像的局部差异，以取得一第一区域相似度；比较该上半图像与该下半图像的局部差异，以取得一第二区域相似度；以及根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、一第一阀值以及一第二阀值，侦测该单帧图像的格式。
【专利说明】自动侦测图像格式的方法及其相关装置
【技术领域】
[0001]本发明涉及一种自动侦测图像格式的方法及其相关装置，尤其涉及一种能够根据图像内容自动侦测图像格式的方法及其相关装置。
【背景技术】
[0002]三维(three-dimensional, 3D)立体显示技术提供了较传统二维(two-dimensional, 2D)平面显示技术更为栩栩如生的视觉经验。一般而言，三维图像处理包括至少两个图像系统，其图像或影片可由两个稍有不同的角度与位置所拍摄，或经由某种算法而产生出类似效果，目的是为了模拟人类因双眼间位置和角度的些微差异而感受到的深度。此二种图像或影片被迭加成为一组合的立体图像，再于一电视或电影屏幕上分别呈现给观赏者，使得观赏者左眼只看见其中一种图像，而右眼只看见另一种图像，进而让观赏者感受到类似真实视觉中的深度错觉。
[0003]高清晰度多媒体接口(HighDefinition Multimedia Interface,HDMI)是由日立制作(Hitachi)、松下电器(Panasonic)、飞利浦(Royal Philips)、晶像(Silicon Image)、新力(Sony)、汤姆生(Thomson)、东芝(Toshiba)等七家国际级家电大厂所共同制定的最高阶视讯传输规格。HDMI是一种高频宽的全数字化图像和声音传送接口，可用单一电缆来传送无压缩的音讯信号及视讯信号。针对提升三维立体图像传输效果，HDMI协议标准授权机构HDMILicensing，LLC在2010年3月4日发表的HDMI1.4a规范中定义了数种强制性三维图像格式，例如画面集合(frame packing)、水平并列(side_by-side, SBS)和上下并列(top-and-bottom, TB)等。在现今图像系统中，三维图像格式以水平并列以及上下并列两种格式为主流。
[0004]目前，图像系统不仅可播放三维图像，也可播放传统的二维图像。针对不同类型的图像或不同三维图像格式的三维图像，图像系统需采用不同的方法播放，否则将会造成图像质量的下降。举例来说，若利用播放二维图像的方法播放水平并列式的三维图像，图像系统所播放的图像画面将会被分割为左半边与右半边，造成使用者观赏上的不便。然而，根据各种不同的图像类型与格式，使用者必须手动调整图像系统，以正确地播放图像，因而造成不便利的使用者体验。
【发明内容】
[0005]因此，本发明提供一种能够自动侦测图像格式的方法及其相关装置，以自动判断单帧图像的图像格式，进而提供给使用者更为便利的使用者经验。
[0006]本发明公开一种自动侦测图像格式的方法。该方法包括将一单帧图像分割为多个第一巨块；计算该多个第一巨块中属于该单帧图像的一左半图像的多个第一左巨块的多个图像特征以及该多个第一巨块中属于该单帧图像的一右半图像的多个第一右巨块的多个图像特征之间的相关系数，以取得一第一全域相似度；计算该多个第一巨块中属于该单帧图像的一上半图像的多个第一上巨块的多个图像特征以及该多个巨块中属于该单帧图像的一下半图像的多个第一下巨块的多个图像特征之间的相关系数，以取得一第二全域相似度；根据各第一巨块的图像特征，计算各第一巨块的一局部差异；比较每一第一左巨块的该局部差异与相对应的第一右巨块的局部差异，以取得一第一区域相似度；比较每一第一上巨块的该局部差异与相对应的第一下巨块的局部差异，以取得一第二区域相似度；以及根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、一第一阀值以及一第二阀值，侦测该单帧图像的格式。
[0007]本发明另公开一种图像格式侦测装置。该图像格式侦测装置包括一处理单元；以及一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤:将一单帧图像分割为多个第一巨块；计算该多个第一巨块中属于该单帧图像的一左半图像的多个第一左巨块的多个图像特征以及该多个第一巨块中属于该单帧图像的一右半图像的多个第一右巨块的多个图像特征之间的相关系数，以取得一第一全域相似度；计算该多个第一巨块中属于该单帧图像的一上半图像的多个第一上巨块的多个图像特征以及该多个巨块中属于该单帧图像的一下半图像的多个第一下巨块的多个图像特征之间的相关系数，以取得一第二全域相似度；根据各第一巨块的图像特征，计算各第一巨块的一局部差异；比较每一第一左巨块的该局部差异与相对应的第一右巨块的局部差异，以取得一第一区域相似度；比较每一第一上巨块的该局部差异与相对应的第一下巨块的局部差异，以取得一第二区域相似度；以及根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、一第一阀值以及一第二阀值，侦测该单帧图像的格式。
【专利附图】
【附图说明】
[0008]图1为本发明实施例一图像格式侦测装置的示意图。
[0009]图2A、2B为本发明实施例一侦测方法的流程图。
[0010]图3A为依据第2图所示的侦测方法的一单帧图像的示意图。
[0011]图3B为本发明实施例多个巨块的示意图。
[0012]其中，附图标记说明如下:
[0013]10图像格式侦测装置
[0014]100处理单元
[0015]110储存单元
[0016]114程序代码
[0017]20侦测方法
[0018]200 ~248步骤
[0019]30单帧图像
[0020]C、N1~N8巨块
[0021]GS_SBS1、GS_SBS2、GS_TB1、GS_TB2 全域相似度
[0022]LS_SBS1、LS_TB1、LS_SBS2、LS_TB2 区域相似度
[0023]IL左半图像
[0024]IR右半图像
[0025]IT上半图像
[0026]IB下半图像[0027]ILR左右强化图像
[0028]ITB上下强化图像
[0029]MBl1，广MBla, b第一巨块
[0030]MB21;1 ~MB2e，d第二巨块
[0031]MB31;1 ~MB3e，f第三巨块
[0032]THU TH2阀值
【具体实施方式】
[0033]根据前述三维图像的运作原理，三维图像中一单帧图像会包括两个景深不同的图像。左右并列格式的三维图像是将两个景深不同的图像左右并排，而上下并列格式的三维图像则是将两个景深不同的图像上下并排。换言之，左右并列格式的三维图像中左右两侧的图像具有高相似度。同理，上下并列格式的三维图像中上下两侧的图像也具有高相似度。因此，本发明可根据待测单帧图像中的相似程度，自动判断此单帧图像的图像格式。
[0034]请参考图1，图1为本发明实施例一图像格式侦测装置10的示意图。图像格式侦测装置10可用在一多媒体图像系统，但不限于此。图像格式侦测装置10包括一处理单元100以及一储存单元110。处理单元100可为一微处理器或一专用集成电路(application-specific integrated circuit,ASIC)。储存单兀 110 可为任一可被处理单元100存取的数据储存单元，用以储存一程序代码114，而处理单元100可读取及执行程序代码114。举例来说，储存单元110可为只读存储器(read-only memory,ROM)、闪存(flashmemory)、随机存取存储器(r·andom-access memory, RAM)、只读光盘(CD-ROM / DVD-ROM)、磁带(magnetic tape)、硬盘(hard disk)及光学数据储存单元(optical data storagedevice)等，而不限于此。
[0035]请参考图2A、2B，图2A、2B为本发明实施例一侦测方法20的流程图。侦测方法20用在一多媒体图像系统中一图像格式侦测装置，其可被编译为图1所示的程序代码114，且包括以下步骤:
[0036]步骤200:开始。
[0037]步骤202:将一单帧图像分割为多个第一巨块MBl1，广MBla，b。
[0038]步骤204:计算第一巨块MBlulBlaJ中属于该单帧图像的一左半图像IL的多个第一左巨块的多个图像特征以及第一巨块MBl1，广MBla，b中属于该单帧图像的一右半图像IR的多个第一右巨块的多个图像特征之间的相关系数，以取得一全域相似度GS_SBS1。
[0039]步骤206:计算第一巨块MBllilIBlaib中属于该单帧图像的一上半图像IT的多个第一上巨块的多个图像特征以及第一巨块MBl1，广MBla，b中属于该单帧图像的一下半图像TB的多个第一下巨块的多个图像特征之间的相关系数，以取得一全域相似度GS_TB1。
[0040]步骤208:根据第一巨块MBllilIBlaib的图像特征，计算第一巨块NBllilIBlaib的局部差异。
[0041]步骤210:比较各第一左巨块的该局部差异与相对应的第一右巨块的该局部差异，以取得一区域相似度LS_SBS1。
[0042]步骤212:比较各第一上巨块的该局部差异与相对应的第一下巨块的该局部差异，以取得一区域相似度LS_TB1。[0043]步骤214:判断全域相似度GS_SBS1是否大于一阀值THl ;若全域相似度GS_SBS1大于阀值THl，执行步骤216 ;反之，执行步骤242。
[0044]步骤216:判断全域相似度GS_TB1是否大于阀值THl ;若全域相似度GS_TB1大于阀值THl，执行步骤218 ;反之，执行步骤242。
[0045]步骤218:判断区域相似度LS_SBS1是否大于一阀值TH2 ;若区域相似度LS_SBS1大于阀值TH2，执行步骤220 ;反之，执行步骤242。
[0046]步骤220:判断区域相似度LS_TB1是否大于阀值TH2 ;若区域相似度LS_TB1大于阀值TH2，执行步骤220 ;反之，执行步骤242。
[0047]步骤222:将上半图像IT的图像特征与下半图像IB的图像特征相减，以取得一左右强化图像ILR ;以及将左半图像IL的图像特征与右半边图像IR的图像特征相减，以取得一上下强化图像ITB。
[0048]步骤224:分割左右强化图像ILR以及上下强化图像ITB，以分别取得左右强化图像ILR的多个第二巨块MB2i，广MB2e，d以及上下强化图像ITB的多个第三巨块MBS1，广MB3e，f。
[0049]步骤226:计算第二巨块中位在左右强化图像ILR左半边的多个第二左巨块的多个图像特征以及第二巨块MBZ1，广MB2。』中位在该左右强化图像ILR右半边的多个第二右巨块的多个图像特征 之间的相关系数，以取得一全域相似度GS_SBS2。
[0050]步骤228:计算第三巨块MBS1，广MB3e，f中位在该上下强化图像ITB上半边的多个第三上巨块的多个图像特征以及第三巨块MBSlilIBSeif中位在该上下强化图像ITB下半边的多个第三下巨块的多个图像特征之间的相关系数，以取得一全域相似度GS_TB2。
[0051]步骤230:根据第二巨块以及第三巨块的图像特征，计算每一第二巨块MB2i，广MB2e，d以及第三巨块的局部差异。
[0052]步骤232:比较各第二左巨块的该局部差异与该相对应的该第三右巨块的该局部差异，以取得一区域相似度LS_SBS2。
[0053]步骤234:比较各第三上巨块的该局部差异与相对应的该第三下巨块的该局部差异，以取得一区域相似度LS_TB2。
[0054]步骤236:判断全域相似度GS_SBS2是否大于阀值THl以及区域相似度LS_SBS2是否小于阀值TH2 ;若全域相似度GS_SBS2大于阀值THl以及区域相似度LS_SBS2小于阀值TH2，执行步骤238，反之执行步骤242。
[0055]步骤238:判断全域相似度GS_TB2是否大于阀值THl以及区域相似度LS_TB2是否小于阀值TH2 ;若全域相似度GS_TB2大于阀值THl以及区域相似度LS_TB2小于阀值TH2，执行步骤240，反之执行步骤242。
[0056]步骤240:判断全域相似度GS_SBS1是否大于全域相似度GS_TB1 ;若全域相似度GS_SBS1是否大于全域相似度GS_TB1，执行步骤244 ;反之，执行步骤246。
[0057]步骤242:判断单帧图像为二维图像格式。
[0058]步骤244:判断单帧图像为左右并列格式。
[0059]步骤246:判断单帧图像为上下并列格式。
[0060]步骤248:结束。
[0061]在侦测方法20中，用来当作判断基准的图像特征可为亮度(luminance)、边缘(edge)、对象(blob)、熵值(entropy)等图像特征。依据侦测方法20,图1所示的图像格式侦测装置10可自动侦测一单帧图像是否为一三维图像。更甚者，当单帧图像为三维图像时，进一步判断单帧图像的格式为左右并列格式或是上下并列格式。
[0062]关于侦测方法20详细说明如下。请同时参考图3A，图3A为本发明实施例一单帧图像30的示意图。详细来说，图像格式侦测装置10首先将单帧图像30分割为第一巨块(macro block) MBlljTMBl3jb (步骤202)。其中，单帧图像30中一
左半图像IL包括第一巨块
【权利要求】
1.一种自动侦测图像格式的方法，包括: 将一单帧图像分割为多个第一巨块； 计算该多个第一巨块中属于该单帧图像的一左半图像的多个第一左巨块的多个图像特征以及该多个第一巨块中属于该单帧图像的一右半图像的多个第一右巨块的多个图像特征之间的相关系数，以取得一第一全域相似度； 计算该多个第一巨块中属于该单帧图像的一上半图像的多个第一上巨块的多个图像特征以及该多个巨块中属于该单帧图像的一下半图像的多个第一下巨块的多个图像特征之间的相关系数，以取得一第二全域相似度； 根据各第一巨块的图像特征，计算各第一巨块的一局部差异； 比较每一第一左巨块的该局部差异与相对应的第一右巨块的局部差异， 以取得一第一区域相似度； 比较每一第一上巨块的该局部差异与相对应的第一下巨块的局部差异， 以取得一第二区域相似度；以及 根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、一第一阀值以及一第二阀值，侦测该单帧图像的格式。
2.如权利要求1所述的方法，其特征在于该多个第一左巨块的该多个图像特征、该多个第一右巨块的该多个图 像特征、该多个第一上巨块的该多个图像特征、该多个第一下巨块的该多个图像特征、各第一巨块的该图像特征是画素亮度。
3.如权利要求1所述的方法，其特征在于该多个第一左巨块的该多个图像特征、该多个第一右巨块的该多个图像特征、该多个第一上巨块的该多个图像特征、该多个第一下巨块的该多个图像特征、各第一巨块的该图像特征是边缘特征。
4.如权利要求1所述的方法，其特征在于根据各第一巨块的图像特征，计算各第一巨块的一局部差异的步骤包括: 通过比较各第一巨块与本身周围的第一巨块的图像特征，取得各第一巨块的该局部差巳
5.如权利要求1所述的方法，其特征在于根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式的步骤包括: 当该第一全域相似度小于该第一阀值时，判断该单帧图像格式为一二维图像格式。
6.如权利要求1所述的方法，其特征在于根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式的步骤包括: 当该第二全域相似度小于该第一阀值时，判断该单帧图像格式为一二维图像格式。
7.如权利要求1所述的方法，其特征在于根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式的步骤包括: 当该第一区域相似度大于该第二阀值时，判断该单帧图像格式为一二维图像格式。
8.如权利要求1所述的方法，其特征在于根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式的步骤包括:
当该第二区域相似度大于该第二阀值时，判断该单帧图像格式为一二维图像格式。
9.如权利要求1所述的方法，其另包括: 当该第一全域相似度大于该第一阀值、该第二全域相似度大于该第一阀值、该第一区域相似度小于该第二阀值以及该第二区域相似度小于该第二阀值时，将该上半图像的图像特征与该下半图像的图像特征相减，以取得一左右强化图像；以及将该左半图像的图像特征与该右半边图像的图像特征相减，以取得一上下强化图像； 分割该左右强化图像以及该上下强化图像，以分别取得该左右强化图像的多个第二巨块以及该上下强化图像的多个第三巨块； 计算该多个第二巨块中位于该左右强化图像左半边的多个第二左巨块的多个图像特征以及该多个第二巨块中位于该左右强化图像右半边的多个第二右巨块的多个图像特征之间的相关系数，以取得一第三全域相似度； 计算该多个第三巨块中位于该上下强化图像上半边的多个第三上巨块的多个图像特征以及该多个第三巨块中位于该上下强化图像下半边的多个第三下巨块的多个图像特征之间的相关系数，以取得一第四全域相似度； 计算各第二巨块以及各第三巨块的局部差异； 比较各第二左巨块的该局部差异与该相对应的该第三右巨块的该局部差异，以取得一第三区域相似度； 比较各第三上巨块的该局部差异与相对应的该第三下巨块的该局部差异，以取得一第四区域相似度； 根据该第三全域相似度、该第四全域相似度、该第三区域相似度、该第四区域相似度、该第一阀值以及该第二阀值，判断该单帧图像的格式。
10.如权利要求9所述的方法，其特征在于根据该第三全域相似度、该第四全域相似度、该第三区域相似度、该第四区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式包括: 当该第三全域相似度小于该第一阀值且该第三区域相似度大于该第二阀值时，判断该单帧图像格式为一二维图像格式。
11.如权利要求9所述的方法，其特征在于根据该第三全域相似度、该第四全域相似度、该第三区域相似度、该第四区域相似度、该第一阀值以及该第二阀值，侦测该单帧图像的格式包括: 当该第四全域相似度小于该第一阀值且该第四区域相似度大于该第二阀值时，判断该单帧图像格式为一二维图像格式。
12.如权利要求9所述的方法，其另包括: 当该第三全域相似度大于该第一阀值、该第三区域相似度小于该第二阀值、该第四全域相似度大于该第一阀值且该第四区域相似度小于该第二阀值时，根据该第一全域相似度、该第二全域相似度，判断该单帧图像的格式。
13.如权利要求12所述的方法，其特征在于当该第三全域相似度大于该第一阀值、该第三区域相似度小于该第二阀值、该第四全域相似度大于该第一阀值且该第四区域相似度小于该第二阀值时，根据该第三全域相似度、该第四全域相似度，判断该单帧图像的格式的步骤包括: 当该第一全域相似度大于该第二全域相似度时，判断该单帧图像格式为一左右并列格式。
14.如权利要求12所述的方法，其特征在于当该第三全域相似度大于该第一阀值、该第三区域相似度小于该第二阀值、该第四全域相似度大于该第一阀值且该第四区域相似度小于该第二阀值时，根据该第三全域相似度、该第四全域相似度，判断该单帧图像的格式的步骤包括: 当该第一全域相似度小于该第二全域相似度时，判断该单帧图像格式为一上下并列格式。
15.一种图像格式侦测装置，包括: 一处理单元；以及 一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤: 将一单帧图像分割为多个第一巨块； 计算该多个第一巨块中属于该单帧图像的一左半图像的多个第一左巨块的多个图像特征以及该多个第一巨块中属于该单帧图像的 一右半图像的多个第一右巨块的多个图像特征之间的相关系数，以取得一第一全域相似度；· 计算该多个第一巨块中属于该单帧图像的一上半图像的多个第一上巨块的多个图像特征以及该多个巨块中属于该单帧图像的一下 半图像的多个第一下巨块的多个图像特征之间的相关系数，以取得一第二全域相似度； 根据各第一巨块的图像特征，计算各第一巨块的一局部差异； 比较每一第一左巨块的该局部差异与相对应的第一右巨块的局部差异，以取得一第一区域相似度； 比较每一第一上巨块的该局部差异与相对应的第一下巨块的局部差异，以取得一第二区域相似度；以及 根据该第一全域相似度、该第二全域相似度、该第一区域相似度、该第二区域相似度、一第一阀值以及一第二阀值，侦测该单帧图像的格式。
【文档编号】G06T7/00GK103593837SQ201210290634
【公开日】2014年2月19日 申请日期:2012年8月15日 优先权日:2012年8月15日
【发明者】周磊, 刘广智, 余横, 汪淳 申请人:联咏科技股份有限公司