图像处理装置、方法及其程序的制作方法
【专利摘要】本发明提供一种图像处理装置、方法及其程序。通过本发明能够判定从所拍摄的基准图像得到的特定形状候选是否具有在实际空间上对应的形状。从基准图像，由直线包围的形状作为具有矩形的候选而被检测。生成将表示具有矩形的候选的对象物以与基准图像的视角不同的视角拍摄而得到的对象物图像。从以不同的视角拍摄而得到的参考图像中检测到所生成的对象物图像。若被检测到，则该矩形的候选所表示的对象物确定为矩形。
【专利说明】
图像处理装置、方法及其程序
技术领域
[0001] 本发明涉及一种图像处理装置、方法及其程序。
【背景技术】
[0002] 图像处理技术中提出有多种技术。例如有如下技术。从多个相机的图像中提取对 象，并定义在地表面、三维空间上的尺寸，通过比较对象的高度来判断为相同的技术(专利 文献1)。除了正规化的形状信息以外，将截面积与高度、或截面积与体积、或体积与高度等 物体的尺寸信息中至少两种信息提供给物体识别神经网络，由此识别物体的技术(专利文 献2)。从立体相机图像的对应点中选择4点，求出包含这些点的三维平面信息，由三维信息 求出倾斜角度，并以成为正面的方式进行校正的技术(专利文献3)。
[0003] 以往技术文献 [0004] 专利文献
[0005] 专利文献1:日本特开2000-20728号公报
[0006] 专利文献2:日本特开平7-318331号公报 [0007] 专利文献3:日本特开2010-198554号公报
[0008] 发明的概要
[0009] 发明要解决的技术课题
[0010] 当在图像上有如长方形、平行四边形等以直线包围的形状时，对于计算该形状的 纵横比而言能够相对简单地求出。然而，当通过摄像而得到的图像中包含如长方形、平行四 边形等以直线包围的形状时，只要知道尺寸，就可以知道它们的形状，但根据视角，有时无 法判定该形状所表示的实际空间上的对象物实际上也是长方形或平行四边形等。这种情况 在专利文献1至3中也并未考虑到。
[0011] 本发明的目的在于，即使不知道通过拍摄而得到的图像中所包含的以直线包围的 形状在实际空间上的尺寸，也能够判定实际上是否具有这种形状。
[0012] 用于解决技术课题的手段
[0013] 基于本发明的图像处理装置，其特征在于，具备:基准图像输入机构，输入通过拍 摄而得到的基准图像;参考图像输入机构，输入以与拍摄基准图像的视角不同的视角拍摄 而得到的参考图像;特定形状候选检测机构，从由基准图像输入机构输入的基准图像，将由 直线包围的形状(将三角形、矩形、平行四边形、五角形、其他多角形等由直线包围的形状称 为特定形状。）推定为具有特定的形状(例如矩形)的特定形状候选来进行检测;虚拟对象物 信息生成机构，生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息 是将通过特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图 像的视角不同的视角拍摄时得到的(包括坐标、虚拟对象物本身。）；虚拟对象物图像检测机 构，利用通过虚拟对象物信息生成机构生成的虚拟对象物信息，从由参考图像输入机构输 入的参考图像中，检测虚拟对象物图像;形状判定机构，根据通过虚拟对象物图像检测机构 检测到虚拟对象物图像，将通过特定形状候选检测机构检测到的特定形状候选判定为具有 特定的形状的特定形状;生成控制机构，根据通过虚拟对象物图像检测机构未检测到虚拟 对象物图像，控制虚拟对象物信息生成机构以生成对通过改变虚拟对象物图像的尺寸或位 置的至少一个而得到的虚拟对象物图像进行特定的虚拟对象物信息；以及反复控制机构， 反复进行虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制 机构中的控制处理。
[0014] 本发明还提供一种图像处理方法。即，该方法中，基准图像输入机构输入通过拍摄 而得到的基准图像;参考图像输入机构输入以与拍摄基准图像的视角不同的视角拍摄而得 到的参考图像;特定形状候选检测机构从由基准图像输入机构输入的基准图像，将由直线 包围的形状推定为具有特定的形状的特定形状候选来进行检测;虚拟对象物信息生成机构 生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将通过特定形 状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图像的视角不同的 视角拍摄时得到的;虚拟对象物图像检测机构利用通过虚拟对象物信息生成机构生成的虚 拟对象物信息，从由参考图像输入机构输入的参考图像中，检测虚拟对象物图像;形状判定 机构根据通过虚拟对象物图像检测机构检测到虚拟对象物图像，将通过特定形状候选检测 机构检测到的特定形状候选判定为具有特定的形状的特定形状;生成控制机构根据通过虚 拟对象物图像检测机构未检测到虚拟对象物图像，控制虚拟对象物信息生成机构以生成对 通过改变虚拟对象物图像的尺寸或位置的至少一个而得到的虚拟对象物图像进行特定的 虚拟对象物信息；反复控制机构反复进行虚拟对象物图像检测机构中的检测处理、形状判 定机构中的判定处理及生成控制机构中的控制处理。
[0015] 本发明还提供一种控制图像处理装置的计算机的程序。也可以提供储存这种程序 的记录介质。
[0016] 还可以具备:校正机构，将通过形状判定机构判定为具有特定的形状的特定形状 校正为从正面拍摄对象物时得到的形状。
[0017] 虚拟对象物信息生成机构例如为当已知对象物的尺寸时，根据预先设定的一个或 多个尺寸生成虚拟对象物信息的机构。
[0018] 还可以具备：角度计算机构，计算在实际空间中对象物的轮廓所示出的角度;及特 定形状确定机构，根据通过角度计算机构计算的角度确定通过特定形状候选检测机构检测 到的特定形状候选中作为对象的特定形状候选。此时，虚拟对象物信息生成机构例如为生 成对虚拟对象物图像进行特定的虚拟对象物信息的机构，所述虚拟对象物信息是将通过特 定形状确定机构确定的特定形状所表示的对象物以与拍摄基准图像的视角不同的视角拍 摄时得到的。
[0019] 还可以具备:状态确定机构，在形状判定机构中判定的特定形状为多个时，确定多 个特定形状是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。
[0020] 特定的形状例如为三角形、矩形、梯形或平行四边形。
[0021] 还可以具备拍摄基准图像的第1摄像装置及拍摄参考图像的第2摄像装置。基准图 像输入机构及参考图像输入机构可以是1个摄像装置。此时，输入通过摄像装置的拍摄而得 到的基准图像及参考图像。
[0022]发明效果
[0023]根据本发明，从通过拍摄而得到的基准图像，由直线包围的形状(例如，三角形、矩 形、平行四边形、梯形等)被推定为具有特定的形状的特定形状候选(例如，矩形)而被检测 至Ij。生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将被检测 到的特定形状候选所表示的实际空间上的对象物以与拍摄基准图像的视角不同的视角拍 摄时得到的(可以是坐标、虚拟对象物图像本身）。利用生成的虚拟对象物信息，从以不同的 视角拍摄而得到的参考图像中，若检测到虚拟对象物图像，则被检测到的特定形状候选可 判定为具有特定的形状的特定形状。若特定形状候选为具有特定的形状的特定形状，贝 1J虚 拟对象物图像理应从参考图像被检测出，因此从参考图像检测到虚拟对象物图像时，可将 该特定形状候选判定为具有特定的形状的特定形状，即使在实际空间上，也可判定为具有 这种特定形状。若未检测到虚拟对象物图像，则以改变虚拟对象物图像的尺寸或位置的至 少一个的方式生成对虚拟对象物图像进行特定的虚拟对象物信息。利用生成的虚拟对象物 信息，从参考图像中反复进行虚拟对象物图像的检测及形状判定。即使不知道实际空间上 的尺寸，也能够判定在实际空间上具有特定的形状的特定形状。
【附图说明】
[0024]图1是图像处理装置的电结构的一例。
[0025]图2是实际空间的一例。
[0026]图3是基准图像的一例。
[0027]图4是参考图像的一例。
[0028]图5是表示图像处理装置的处理顺序的流程图。
[0029]图6是表示图像处理装置的处理顺序的流程图。
[0030] 图7示出从基准图像检测以直线包围的形状的情况。
[0031] 图8是虚拟对象物图像的一例。
[0032]图9示出拍摄对象物的情况。
[0033]图10是表示图像处理装置的处理顺序的一部分的流程图。
[0034]图11是表示图像处理装置的处理顺序的流程图。
[0035]图12是表示图像处理装置的处理顺序的流程图。
[0036]图13示出拍摄对象物的情况。
[0037]图14是表示图像处理装置的处理顺序的流程图。
【具体实施方式】
[0038] 图1是表示本发明的实施例的图，且表示图像处理装置的电结构的框图。
[0039] 图像处理装置是如智能手机一样自由携带的装置，但也可以设置在屋外。
[0040] 图像处理装置的整体的动作由CPU9集中控制。
[0041] 图像处理装置包括第1相机(基准图像输入机构）1及第2相机(参考图像输入机构） 2。第1相机1是将通过拍摄而得到的基准图像输入到图像处理装置的相机，第2相机2是将以 与基准图像不同的视角拍摄而得到的参考图像输入到图像处理装置的相机。即便第1相机1 及第2相机2的至少一个没有设置于图像处理装置，只要基准图像及参考图像被输入到图像 处理装置即可。例如，可以利用一台相机以不同的视角拍摄两次，从而得到基准图像与参考 图像。图像处理装置中也可以不设置相机。
[0042]图像处理装置中设置有显示装置3。该显示装置3的显示画面上形成有触摸面板4。 来自触摸面板4的指示被输入到CPU9。并且，图像处理装置中设置有用于存储数据的存储器 5,用于经由互联网等网络而进行连接的通信装置6,及存储卡接口 7。储存有后述的控制处 理的程序的存储卡8经由存储卡接口 7被读取。如此，被读取的程序被安装到图像处理装置。 但是，即使程序没有储存在如存储器卡8那样的便携式记录介质中，也可以将经由网络发送 的程序在通信装置6中进行接收，以使接收的程序被安装到图像处理装置。
[0043]图2是屋外的景色的一例。
[0044] 沿着道路27建造有第1建筑物10及第2建筑物20。实际空间上的第1建筑物10的侧 壁为平行四边形，正面的壁12及屋顶13为矩形，背面的壁14从背面观察为矩形。并且，实际 空间上的第2建筑物20的壁21及24为矩形，但房顶的侧面22为正三角形，房顶的正面23为矩 形。这种景色是利用视角不同的上述第1相机1及第2相机2拍摄而得到的。
[0045] 图3是通过利用第1相机1的拍摄而得到的图像(称为基准图像)的一例。
[0046] 基准图像包含第1建筑物图像10A、第2建筑物图像20A及道路图像27A。第1建筑物 图像10A、第2建筑物图像20A及道路图像27A与图2所示的第1建筑物10、第2建筑物20及道路 27对应。第1建筑物图像IOA的侧面的壁图像11A、正面的壁图像12A及背面的壁图像14A分别 与图2所示的第1建筑物10的侧面的壁11、正面的壁12及背面的壁14对应，第2建筑物图像 20A的侧面的壁图像21A、正面的壁图像24A、房顶的正面图像23A及房顶的侧面图像22A分别 与图2所示的第2建筑物20的侧面的壁21、正面的壁24、房顶的正面23及房顶的侧面22对应。
[0047] 图4是通过利用第2相机2的拍摄而得到的图像(称为参考图像)的一例。
[0048]与基准图像相同，参考图像包含第1建筑物图像10B、第2建筑物图像20B及道路图 像27B。第1建筑物图像10B、第2建筑物图像20B及道路图像27B与图2所示的第1建筑物10、第 2建筑物20及道路27对应。第1建筑物图像IOB的侧面的壁图像11B、正面的壁图像12B及背面 的壁图像14B分别与图2所示的第1建筑物10的侧面的壁11、正面的壁12及背面的壁14对应， 第2建筑物图像20B的侧面的壁图像21B、正面的壁图像24B、房顶的正面图像23B及房顶的侧 面图像22B分别与图2所示的第2建筑物20的侧面的壁21、正面的壁24、房顶的正面23及房顶 的侧面22对应。
[0049] 第1相机1与第2相机2是以视角不同的方式配置于图像处理装置1，因此通过第1相 机1的拍摄而得到的基准图像(参考图3)与通过第2相机2的拍摄而得到的参考图像(参考图 4)的视角有所不同。
[0050] 图5及图6是表示图像处理装置1的处理顺序的流程图。
[0051] 该处理顺序判定表示实际空间上具有矩形(特定的形状）的特定形状（如三角形、 矩形、平行四边形、梯形、正方形、五角形以上的多角形那样将以直线包围的形状称为特定 形状。）的对象物的对象物图像是否包含于基准图像，具体而言，判定表示平行四边形的对 象物的对象物图像是否包含于基准图像。
[0052] 首先，从通过拍摄而得到的基准图像20A通过CPU2检测直线（步骤31)。接着，通过 CPU2检测被检测到的直线的交点（步骤32)。另外，将由直线包围的矩形(特定形状)作为平 行四边形候选(具有特定的形状的特定形状候选)来检测(步骤33)。
[0053] 图7是检测出的平行四边形候选(特定形状候选)的一例。
[0054]从包含于图3的基准图像的第1建筑物图像IOA的侧面的壁11A、正面的壁12A及背 面的壁14A，将平行四边形候选图像11C、12C及14C推定为平行四边形候选来检测。并且，从 包含于图3的基准图像的第2建筑物图像20A的侧面的壁图像21A、正面的壁图像24A及房顶 的正面的图像23A，将平行四边形候选图像24C、21C及23C通过CPU9推定为平行四边形候选 来进行检测(将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测。特 定形状候选检测机构）。
[0055] 若检测到平行四边候选图像11(：、12(：、14(：、21(：、23(：及24(：，则可推定这些平行四边 形候选图像11(：、12(：、14(：、21(：、23(：及24(：在实际空间上所表示的平行四边形的形状和方向 (步骤34)。关于该推定的详细内容将进行后述。
[0056] 接着，假设平行四边形候选图像11(：、12(：、14(：、21(：、23(：及24(：在实际空间上所表示 的对象物的尺寸及至对象物的距离（步骤35)。对象物的尺寸可被认为是成为对象物的物 体，例如按照建筑物、汽车、标志、号牌、书等由一般的尺寸进行假设。关于至对象物的距离 也相同。关于如号牌或书那样预先有尺寸规格的物体，优选由通过设备保持的尺寸规格的 信息进行设定。
[0057]另外，通过CPU9生成虚拟对象物信息（步骤36)(虚拟对象物信息生成机构）。虚拟 对象物信息是对将被检测到的平行四边形候选图像(特定形状候选图像)所表示的对象物 通过第2相机2拍摄时得到的虚拟对象物图像进行特定的信息。虚拟对象物信息可以是虚拟 对象物图像本身，也可以是对虚拟对象物图像的位置、尺寸进行特定的坐标。该实施例中， 作为虚拟对象物信息可利用虚拟对象物图像。
[0058]图8是虚拟对象物图像的一例。
[0059] 虚拟对象物图像110、120、140、210、230及240是将平行四边形候选图像11(：、12(：、 14C、21C、23C及24C假设为拍摄平行四边形的对象物而得到的图像的情况下，从第2相机2的 摄影角度，拍摄这些平行四边形的对象物时得到的图像。
[0060] 如此生成的虚拟对象物图像110、120、140、210、230及240是否包含于图4所示的参 考图像中的检测处理通过CPU9进行(步骤37)(虚拟对象物图像检测机构）。虚拟对象物图像 110、120、140、210、230及240中，若从参考图像中检测到任一虚拟对象物图像（步骤38中 是），与被检测到的虚拟对象物图像对应的平行四边形候选图像所表示的对象物通过CPU9 确定为平行四边形(特定形状）（步骤39)(形状判定机构）。例如，若从图2的参考图像中检测 到虚拟对象物图像IlD(第2建筑物10的侧面的壁11为平行四边形，因此检测到第2建筑物的 图像IOB的侧面的壁图像11B)，与该虚拟对象物图像IlD对应的实际空间上的对应物(第1建 筑物20的侧壁11A)判断为平行四边形。仿射变换确定为平行四边形的平行四边形候选图像 11D，得到从正面拍摄与该平行四边形候选图像对应的对象物时得到的经校正的形状的图 像(步骤40)(校正机构）。例如，通过仿射变换而得到从正面拍摄图2所示的第1建筑物10的 侧壁11时得到的图像。并且，可以将与确定为平行四边形的侧壁11对应的侧壁图像IlA(参 考图3)以认为是平行四边形的方式进行显示（例如，以确定的颜色进行包围），也可以记录 坐标、面积、边长等。
[0061] 从图4所示的参考图像中未检测到虚拟对象物图像时（步骤38中否），通过CPU9改 变对象物的尺寸与至对象物的距离的假设(步骤41)。由此，使得图8所示的虚拟对象物图像 120、140、210、230及240的尺寸、位置改变(生成控制机构）。具有多个对象物，且预先知道这 些的尺寸时，生成与各个对象物的尺寸对应的虚拟对象物图像(信息）。直至超过所设想的 对象物的尺寸及距离(步骤42中否），反复进行从步骤37的处理(虚拟对象物图像检测机构 中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理）（反复控制机 构）。在这些反复过程中，从图4所示的参考图像中检测到与虚拟对象物图像12D、14D、21D、 23D及24D对应的图像部分，与这些虚拟对象物图像120、140、210、230及240对应的实际空间 上的对应物12、14、21、23及24也被判断为平行四边形。
[0062]超过所设想的对象物的尺寸及距离的平行四边形候选确定为不是平行四边形(特 定形状候选）（步骤42中是，步骤43)。
[0063]图9是用于说明推定实际空间上的平行四边形(特定形状)的处理的图。
[0064]例如，若通过内置于第1相机1的图像传感器70拍摄到第1建筑物10的侧壁11，则表 示该壁11的光学图像通过第1相机1的成像透镜71(焦点距离f)成像于图像传感器70的受光 面上。图像传感器70的受光面上形成有侧壁11的图像11E。
[0065]将图像传感器70上所形成的侧壁11的图像IIE的四角的坐标设为a = (UI，V1 )、β = (112，￥2)、丫=(113，￥3)及5 = (114，￥4)。这些四角的坐标€[、0、丫及3与实际空间上的侧壁11的 四角a、b、c及d对应。若将侧壁11的图像11E的中心坐标设为(u0，νΟ)，则实际空间上的四角 a、b、c及d的坐标a=(xl，yl，zl)、b=(x2，y2，z2)、c = (x3，y3，z3)及(1=(叉4,74,24)成为如 下。其中，A、B、C及D为系数(倍率）。
[0066] xl =A(ul-uO) ,yl =A(vl-vO) ,zl = Af
[0067] x2 = B(u2_uO)，y2 = B(v2_vO)，z2 = Bf
[0068] x3 = C(u3_uO)，y3 = C(v3_vO)，z3 = Cf
[0069] x4 = D(u4_uO)，y4 = D(v4_vO)，z4 = Df
[0070] 实际空间上的四角a、b、c及d存在于系数A、B、C及D为某一常数的某处，因此实际空 间上的四角a、b、c及d为平行四边形时，式1成立。
[0071] [数式 1]
[0072]
* * *. * 式1
[0073] 从式1及上述实际空间上的四角a、b、c及d的坐标的关系求出系数的关系B/A、C/A 及D/A。由于系数A并不是唯一的，因此无法确定以四角a、b、c及d规定的侧壁11的尺寸及至 侧壁11的距离，但可确定该侧壁11的方向。
[0074]图10是表示变形例的图，且示出图像处理装置的处理顺序的一部分。
[0075]若推定出实际空间上的平行四边形(特定形状）的形状及方向（图5步骤34)，则可 计算实际空间上的对象物的轮廓所示出的角度(图9步骤61)(角度计算机构）。例如，计算出 第1建筑物21的壁的轮廓所示出的角度。判断计算出的角度是否具有找出的特定形状的角 度(步骤62)。例如，只找出矩形的特定形状时，判断是否具有直角。若不具有这种角度(步骤 62中否），则该平行四边形候选确定为不是矩形（图6步骤43)。若具有这种角度（步骤62中 是），则进行图6步骤35以后的处理，且检测到矩形(特定形状确定机构）。
[0076]特定形状为正三角形时，能够如下求出正三角形的方向。
[0077]图11及图12是表示图像处理装置的另一处理顺序的流程图，与图5及图6所示的处 理顺序对应。图11或图12中，对与图5或图6所示的处理相同的处理标注相同符号并省略说 明。
[0078]图5及图6所示的处理是检测平行四边形的处理，但图11及图12是检测正三角形的 处理。
[0079] 如上述从基准图像(参考图3)进行直线及交点的检测(步骤31、32)，将得到的三角 形推定为正三角形候选来检测(步骤33A)。如后述，推定正三角形的形状与方向（步骤34A)。
[0080] 进行与上述处理同样的处理，关于正三角形与被确定的正三角形候选，通过由检 测到的正三角形候选特定的对象物图像以从正面拍摄的方式进行仿射变换（步骤39A、 40A)。并且，关于其他的正三角形候选确定为不是正三角形(步骤43A)。
[0081] 图13示出拍摄正三角形的房顶的侧面22的情况。
[0082]与上述同样地，若通过内置于第1相机1的图像传感器70进行拍摄，则表示该房顶 的侧面22的光学图像通过第1相机1的成像透镜71成像于图像传感器70的受光面上。图像传 感器70的受光面上形成有房顶的侧面22的图像22E。
[0083]将图像传感器70上所形成的侧壁26的图像26A的3个角的坐标设为α1、β1及γ 1。这 3个角的坐标〇1 = (1111，￥11)、|31 = (1112，￥12)及丫1 = (1113，￥13)与实际空间上的侧壁26的3 个角al、bl及cl对应。将侧壁26的图像26Α的中心坐标设为(ulO，vlO)，则实际空间上的坐标 al = (xll，yll，zll)、bl = (xl2，yl2，zl2)、cl = (xl3，yl3，zl3)成为如下。其中，Al，B1及Cl 为系数(倍率)。
[0084] xll=Al(ull-ulO),yll=Al(vll-vlO),zll=AlXf
[0085] xl2 = Bl(ul2-ulO),yl2 = Bl(vl2-vlO),zl2 = BlXf
[0086] xl3 = Cl(ul3-ulO),yl3 = Cl(vl3-vlO),zl3 = ClXf
[0087] 如上所述，实际空间上的3个角al、bl及cl存在于系数AUBl及Cl为某一常数的某 处，因此实际空间上的3个角al、bl及cl为正三角形时，式2及式3成立。
[0088] 「教忒 21
[0089]
* *.x :式.?
[0090] 「救
[0091]
* " * 式3
[0092] 从式2及式3以及上述实际空间上的3个角al、bl及cl的坐标的关系求出系数的关 系B1/A1及C1/A1。系数Al并不是唯一的，因此无法确定以3个角al、bl及cl规定的侧壁26的 尺寸及至侧壁26的距离，但可确定该侧壁26的方向。无论图像26A是否为正三角形都可以确 定侧壁26方向。
[0093]图14是表示变形例的图，且表示图像处理装置1的处理顺序的流程图。该处理顺序 是在图6等处理结束后进行的，当确定的平行四边形、矩形、正三角形等特定形状存在多个 时，检测多个特定形状呈直角、或平行、或同一平面。
[0094] 多个特定形状中，选择一个特定形状(步骤81)，选择被选择的一个特定形状以外 的另一个特定形状(步骤82)。计算出这两个特定形状所表示的在实际空间中的对象物所成 的角(步骤83)。通过检测实际空间中的对象物的方向可知如上述所成的角。
[0095] 若两个特定形状所表示的实际空间中的对象物所成的角为直角(步骤84中是）（状 态确定机构），将这些两个对象物作为直角的组进行列表化(步骤85)。
[0096] 若两个特定形状所表示的实际空间中的对象物所成的角不是直角(步骤84中否）， 则可确认到是否平行（步骤86)(状态确定机构）。若为平行（步骤86中是），进一步可确认到 是否处于同一平面(步骤87)(状态确定机构）。若为同一平面，则作为该两个特定形状所表 示的实际空间中的对象物处于同一平面，可将这些两个对象物作为同一平面的组进行列表 化(步骤88)。若不是同一平面(步骤87中否），则将这些两个对象部作为平行平面的组进行 列表化(步骤89)。
[0097] 若这样进行列表化，则该列表显示于显示装置3,且记录于存储器5(步骤90)。
[0098] 符号说明
[0099] 1-第1相机(基准图像输入机构），2_第2相机(参考图像输入机构），9_CPU(特定形 状候选检测机构、虚拟对象物信息生成机构、虚拟对象物图像检测机构、形状判定机构、校 正机构、控制机构、角度计算机构、特定形状确定机构、状态确定机构）。
【主权项】
1. 一种图像处理装置，其具备： 基准图像输入机构，输入通过拍摄而得到的基准图像； 参考图像输入机构，输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考 图像； 特定形状候选检测机构，从由上述基准图像输入机构输入的基准图像，将由直线包围 的形状推定为具有特定的形状的特定形状候选来进行检测； 虚拟对象物信息生成机构，生成对虚拟对象物图像进行确定的虚拟对象物信息，所述 虚拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对 象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的； 虚拟对象物图像检测机构，利用通过上述虚拟对象物信息生成机构生成的虚拟对象物 信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像； 形状判定机构，根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这 一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的 形状的特定形状； 生成控制机构，根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像 这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺 寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息；以及 反复控制机构，反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定 机构中的判定处理及上述生成控制机构中的控制处理。2. 根据权利要求1所述的图像处理装置，其还具备： 校正机构，将通过上述形状判定机构判定为具有上述特定的形状的特定形状校正为从 正面拍摄上述对象物时得到的形状。3. 根据权利要求1或2所述的图像处理装置，其中， 当已知上述对象物的尺寸时，上述虚拟对象物信息生成机构根据预先设定的一个或多 个尺寸生成上述虚拟对象物信息。4. 根据权利要求1至3中任一项所述的图像处理装置，其还具备： 角度计算机构，计算在实际空间中上述对象物的轮廓所示出的角度;及 特定形状确定机构，根据通过上述角度计算机构计算的角度确定通过上述特定形状候 选检测机构检测到的特定形状候选中作为对象的特定形状候选， 上述虚拟对象物信息生成机构生成对虚拟对象物图像进行确定的虚拟对象物信息，所 述虚拟对象物图像是将通过上述特定形状确定机构确定的特定形状所表示的对象物以与 拍摄上述基准图像的视角不同的视角拍摄时得到的。5. 根据权利要求1至4中任一项所述的图像处理装置，其具备： 状态确定机构，在上述形状判定机构中判定的特定形状为多个时，确定多个特定形状 是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。6. 根据权利要求1至5中任一项所述的图像处理装置，其中， 上述特定的形状为三角形、矩形、梯形或平行四边形。7. 根据权利要求1至6中任一项所述的图像处理装置，其中， 上述基准图像输入机构为拍摄上述基准图像的第1摄像装置， 上述参考图像输入机构为拍摄上述参考图像的第2摄像装置。8. 根据权利要求1至6中任一项所述的图像处理装置，其中， 上述基准图像输入机构及上述参考图像输入机构为1个摄像装置， 且输入通过上述摄像装置的拍摄而得到的上述基准图像及上述参考图像。9. 一种图像处理方法，其中， 基准图像输入机构输入通过拍摄而得到的基准图像， 参考图像输入机构输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考 图像， 特定形状候选检测机构从由上述基准图像输入机构输入的基准图像，将由直线包围的 形状推定为具有特定的形状的特定形状候选来进行检测， 虚拟对象物信息生成机构生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚 拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对象 物以与拍摄上述基准图像的视角不同的视角拍摄时得到的， 虚拟对象物图像检测机构利用通过上述虚拟对象物信息生成机构生成的虚拟对象物 信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像， 形状判定机构根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这 一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的 形状的特定形状， 生成控制机构根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像 这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺 寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息， 反复控制机构反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定机 构中的判定处理及上述生成控制机构中的控制处理。10. -种控制图像处理装置的计算机的计算机可读取的程序，其以如下方式控制图像 处理装置的计算机： 输入通过拍摄而得到的基准图像， 输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像， 从已输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来 检测， 生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将检测到 的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的， 利用生成的虚拟对象物信息，从已输入的参考图像中，检测上述虚拟对象物图像， 根据检测到上述虚拟对象物图像，将被检测到的特定形状候选判定为具有上述特定的 形状的特定形状， 根据未检测到上述虚拟对象物图像，控制上述虚拟对象物信息生成机构以生成对通过 改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行特 定的虚拟对象物信息， 反复进行检测上述虚拟对象物图像的处理、上述形状判定的处理及上述生成控制的处 理。
【文档编号】G06T7/00GK105917380SQ201580004555
【公开日】2016年8月31日
【申请日】2015年2月9日
【发明人】增田智纪
【申请人】富士胶片株式会社