专利名称：图像处理设备、图像处理方法及程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法及程序，并且更具体地涉及能够通过将 对象图像与模拟图片框或框缘的平面图像进行组合而容易地产生伪三维图像的图像处理 设备、图像处理方法及程序，其中根据输入图像和指定输入图像上的对象区域的二值掩码 图像来获得该对象图像。
背景技术：
在为容易地生成三维图像而提出的方法中，伪图像是通过将深度图像添加到二维 图像，而不是通过提供三维图像而产生的。例如，日本未审查专利申请公开NO. 2008-084338提出了一种通过将类似浮雕的 深度数据添加到划分成对象的纹理数据中来产生伪三维图像的方法。还提出了一种通过将从图像切割的对象与平面对象组合到一起而产生伪三维图 像的技术(访问 http://www. fIickr. com/groups/oob/pool/)。还提出了一种辅助伪三维图像产生的软件算法，根据该软件算法，用户使用鼠标 或另外的指示物使要组合的对象变形或移动，以便编辑照片对象或计算机图形(CG)对象 白勺阴影(参见 3D_aware Image Editing for Out of Bounds Photography,Amit Shesh et al. , Graphics Interface,2009)。
发明内容
然而，在日本未审查专利申请公开NO. 2008-084338中提出的方法中，用户给出各 个分开的对象的中心并且设置深度，从而使得操作复杂。在 http://www. flickr. com/groups/oob/pool/ 中布置的技术中，个人计算机中 的图像处理工具被用于处理图像，因此实际使用图像处理工具的用户不能容易地产生伪三 维图像。当如"3D_awa:re Image Editing for Out of Bounds Photography,AmitShesh et al. ,Graphics Interface, 2009"中所述地产生三维图像时，用户使用鼠标来指定框的位置 和形状；由于此操作是复杂的，所以对于用户来说，具有制造准确图像的技术是重要的。希望通过将对象图像与模拟图片框或框缘的平面图像组合而容易地产生伪三维 图像，其中该对象图像是根据输入图像以及指定输入图像上的对象区域的二值掩码图像获 得的。根据本发明的一个实施例的图像处理设备产生改进图像的深度感的伪三维图像； 该图像处理设备包括输入图像获取装置，用于获取输入图像以及指定输入图像上的对象 区域的二值掩码图像；组合装置，用于提取输入图像的四边形框图片内的区域中的像素以 及输入图像上的由二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片 组合位置确定装置，用于确定在组合图像上放置四边形框图片的位置，使得四边形框图片 的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。四边形框图片可以被形成为使得不包括与对象区域的边界的交点的边缘长于包 括交点的边缘。可以通过围绕预定位置旋转图片来确定四边形框图片的位置。可以通过对预定四边形框图片进行三维仿射变换来形成四边形框图片。组合装置能够通过连续地使四边形框图片的形状变形并提取输入图像的四边形 框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素来 产生组合图像。组合装置能够通过提取四边形框图片内的区域中的像素以及输入图像上的由二 值掩码图像指定的对象区域中的像素来产生多个组合图像，其中四边形框图片具有多种类 型的形状或者被形成在预定位置处。组合装置能够通过以下方式产生组合图像对应于框形状参数来存储均用于产生 组合图像的各输入图像或各二值掩码图像，框形状参数包括四边形框图片的旋转角、三维 仿射变换参数、以及位置；根据对应于所存储的各输入图像和各二值掩码图像中通过比较 发现与输入图像获取装置获得的输入图像或二值掩码图像最相似的所存储的输入图像或 二值掩码图像而存储的框形状参数来形成具有预定四边形形状的框图片；以及提取输入图 像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域 中的像素。根据本发明的一个实施例的图像处理方法是用于在可产生改进图像的深度感的 伪三维图像的图像处理设备中使用的方法，该图像处理方法包括输入图像获取步骤，用于 获取输入图像和指定输入图像上的对象区域的二值掩码图像；组合步骤，用于提取输入图 像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域 中的像素；以及框图片组合位置确定步骤，用于确定在组合图像上放置四边形框图片的位 置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而 该对边缘中的另一个边缘不包括与对象区域的边界的交点。根据本发明的一个实施例的程序是能够由控制可产生改进图像的深度感的伪三 维图像的图像处理设备的计算机执行的，从而执行处理，该处理包括输入图像获取步骤， 用于获取输入图像和指定输入图像上的对象区域的二值掩码图像；组合步骤，用于提取输 入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象 区域中的像素，以产生组合图像；以及框图片组合位置确定步骤，用于确定在组合图像上放 置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区 域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。根据本发明的一个实施例，获取输入图像和指定输入图像上的对象区域的二值掩 码图像，提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图 像指定的对象区域中的像素以产生组合图像，并且确定在组合图像上放置四边形框图片的 位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点， 而该对边缘中的另一个边缘不包括与对象区域的边界的交点。根据本发明的实施例，能够通过将对象图像与模拟图片框或框缘的平面图像组合 而容易地产生伪三维图像，其中对象图像是根据输入图像以及指定输入图像上的对象区域
5的二值掩码图像获得的。
图1是示出本发明的一个实施例中的伪三维图像产生设备的结构示例的框图
图2是示出图1中的框图片组合参数计算器的结构示例的框图3是图解伪三维图像产生处理的流程图4示出了输入图像及其二值掩码图像；
图5图解了框图片纹理图像；
图6图解了三维仿射变换参数；
图7图解了三维仿射变换；
图8是图解框图片组合参数计算处理的流程图9图解了框图片组合参数计算处理；
图10也图解了框图片组合参数计算处理；
图11示出了对象层图像以及框层图像；
图12示出了示例性组合图像；
图13图解了框图片与对象图像之间的关系；
图14示出了另一示例性组合图像；
图15示出了其他示例性组合图像；
图16示出了其他示例性组合图像；以及
图17是示出通用型个人计算机的示例的结构的框图。
具体实施例方式伪三维图像产生设备的结构的示例图1是示出本发明的一个实施例中的伪三维图像产生设备的结构示例的框图。图 1中的伪三维图像产生设备1将输入图像、二值掩码图像(已经从该二值掩码图像中切割出 输入图像上的对象区域)与框图片纹理图像组合以产生虚假地表现为立体三维图像的图像。更具体地，为了虚假地产生伪立体图像，伪三维图像产生设备1将通过根据与输 入图像对应的二值掩码图像从该输入图像中切割的对象区域而获得的图像与通过对框图 片纹理图像进行投影变形而获得的图像进行组合。伪三维图像产生设备1具有输入图像获取单元11、框图片纹理获取单元12、三维 仿射变换参数获取单元13、矩形三维仿射变换器14、框图片组合参数计算器15、框图片组 合单元16、以及输出单元17。输入图像获取单元11获取输入图像以及指定该输入图像上的对象区域的二值掩 码图像，并且将所获取的图像提供给框图片组合参数计算器15。输入图像例如是红、绿、蓝 的RBG彩色图像。二值掩码图像具有与输入图像相同的分辨率并且保持两个值(诸如1和 0)之一以指示例如相关的像素是否包括在该对象区域中。输入图像以及二值掩码图像被用 户任意选择或提供。当然，使得输入图像和二值掩码图像彼此对应。框图片纹理获取单元12获取要附加到(例如正方形形状的)四边形框图片上的纹理图像，并且将该纹理图像提供给框图片组合单元16。纹理图像视觉上表现为平面；其 一个示例是模拟打印照片的白色边框的图像。三维仿射变换参数获取单元13获取对框图片纹理图像执行的三维仿射变换中使 用的三维仿射变换参数，并且将这些参数提供给矩形三维仿射变换器14。三维仿射变换参 数可以直接用数字指定，或者可以根据通过图形用户界面(GUI)的用户输入操作(诸如鼠 标拖动和滚动条)来任意设置。矩形三维仿射变换器14根据从三维仿射变换参数获取单元13获取的三维仿射变 换参数来计算矩形参数，并且将所计算的矩形参数提供给框图片组合参数计算器15。矩形 参数指示三维仿射变换之后的框图片纹理图像的四个顶点的二维坐标以及矩形的中心位 置。可以由用户通过操作操作单元(未示出)而指定用于变换的原始矩形的长宽比。可替 选地，也可以使用通过操作操作单元而输入的框图片纹理图像的长宽比。框图片组合参数计算器15计算所要组合的从输入图像获取单元11提供的输入图 像和二值掩码图像以及框图片的位置和尺寸，并且将框图片参数与输入图像和二值掩码图 像一起提供给框图片组合单元16。提供给框图片组合单元16的框图片参数指示四边形框 图片的四个二维顶点在图像坐标系中的坐标。稍后将参照图2对框图片组合参数计算器15 的结构进行详细说明。框图片组合单元16根据框图片组合参数将输入图像、二值掩码图像、以及框形状 结构图像组合到一起以产生伪三维图像(在该伪三维图像上，其对象在视觉上表现为立体 的)，然后将所产生的图像输出到输出单元17。具体地，框图片组合单元16包括对象层图 像产生单元16a和框层图像产生单元16b。对象层图像产生单元16a根据框图片组合参数 从输入图像、二值掩码图像、以及框形状结构图像产生对象区域中的图像，也就是对象层图 像。框层图像产生单元16b根据框图片组合参数从输入图像、二值掩码图像、以及框形状结 构图像产生框图片纹理区域中的图像，也就是框层图像。框图片组合单元16将因此已产生 的对象层图像与框层图像组合到一起，以产生伪三维的组合图像。输出单元17接收由框图片组合单元16产生的作为伪三维图像的组合图像，并且 输出所接收的图像。框图片组合参数计算器接下来，将参照图2对框图片组合参数计算器15进行详细说明。框图片组合参数计算器15具有掩码重心计算器51、框图片尺寸计算器52、以及框 图片顶点计算器53。框图片组合参数计算器15根据二值掩码图像确定用于获得框图片形 状的约束条件，以便确定框图片的位置和尺寸。为了根据二值图像获得对象形状的重心位置，掩码重心计算器51获得对象区域 中的像素(也就是，二值掩码图像中的所有像素)的位置的平均值作为重心位置。然后，掩 码重心计算器将该平均值发送到框图片尺寸计算器52。框图片尺寸计算器52具有中心位置计算器52a、尺寸计算器52b、以及尺寸决定单 元52c。框图片尺寸计算器52根据重心位置和作为输入参数的框设置角eg计算框图片中 心位置P_FRAME和尺寸S_FRAME，并且将计算出的值发送到框图片顶点计算器53。后面将 详细说明框图片中心位置P_FRAME和尺寸S_FRAME。框图片顶点计算器53接收来自框图片尺寸计算器52的框图片中心位置P_FRAME和尺寸S_FRAME，并且输出作为框图片组合参数的四个顶点。伪三维图像产生处理接下来，将参照图3中的流程图来说明伪三维图像产生处理。在步骤S11，输入图像获取单元11获取输入图像以及对应于该输入图像的二值掩 码图像，然后将它们发送到框图片组合参数计算器15。图4的左侧和右侧分别示出示例性 输入图像及其对应的二值掩码图像。在图4中，输入图像上的蝴蝶是对象图像，因此在二值 掩码图像上，显示蝴蝶的区域中的像素以白色显示，而其余区域中的像素以黑色显示。在步骤S12，框图片纹理获取单元12获取框图片纹理图像(该框图片纹理图像是 在操作包括鼠标和键盘的操作单元(未示出)时选择的)，并且将所获取的图像发送到框图 片组合单元16。图5中示出了一种示例性框图片纹理图像；该图像是由值为α的像素形 成的。形成框的最外边缘被设置成黑色，像素值α为0;邻近该框的内边缘被设置成白色， 像素值α为1 ；中心部分被设置成黑色，像素值α为0。也就是，图5中的框图片纹理图像 由黑色和白色边缘形成。在步骤S13，在操作操作单元(未示出)时，三维仿射变换参数获取单元13获取用 于对框图片纹理图像进行三维仿射变换的三维仿射变换参数，并且将所获取的参数发送到 矩形三维仿射变换器14。三维仿射变换参数被用于对四边形框图片进行仿射变换，使得图片在视觉上看起 来像立体形状。具体地，如图6所示，这些参数是围绕水平方向上的χ轴的旋转ΘΧ、围绕 作为视线的ζ轴的旋转θ ζ、从成像位置P到用作框图片纹理(其为主体)的框的距离f、在 对于图像水平的χ方向上行进的距离tx、以及在对于图像竖直的y方向上行进的距离ty。在步骤S14，矩形三维仿射变换器14接收从三维仿射变换参数获取单元13发送的 三维仿射变换参数、计算矩形参数、并且将所计算的参数发送到框图片组合参数计算器15。具体地，矩形三维仿射变换器14使用坐标系获得变换坐标，在该坐标系中，矩形 框图片的中点被固定到原点(0，0)，该坐标系被标准化成匹配χ或y方向上的宽度中较长的 一个。也就是，当矩形框图片是正方形时，矩形三维仿射变换器14设置在变换之前采用的 矩形中心RC和四个顶点坐标p0 (-1，-1)、pi (1，-1)、p2 (1，1)、p3 (-1，1)。然后，矩形三维 仿射变换器14将顶点坐标p0至p3、矩形中心RC、以及三维仿射变换参数代入等式(1)，以 计算通过三维仿射变换而变换的顶点坐标PO'至p3'以及矩形中心RC'。p' = TfTsR0xR0zP. ·· (1)其中R0z是对应于围绕ζ轴的旋转θ ζ的旋转变换矩阵，用等式⑵表示，而R0x 是对应于围绕χ轴的旋转θ χ的旋转变换矩阵，用等式⑶表示；TS是对应于距离tx和ty 的变换矩阵，用等式(4)表示，而Tf是对应于距离f的变换矩阵，用等式(5)表示。 Rq =
cos Qz-sin0z00sin0zcos Qz0000100001
(2)
8
权利要求
1.一种图像处理设备，其产生改进图像的深度感的伪三维图像，所述设备包括输入图像获取装置，用于获取输入图像以及指定所述输入图像上的对象区域的二值掩 码图像；组合装置，用于提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图 像上的由所述二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定装置，用于确定在所述组合图像上放置所述四边形框图片的位 置，使得所述四边形框图片的一对相对的边缘中的一个边缘包括与所述对象区域的边界的 交点，而该对边缘中的另一个边缘不包括与所述对象区域的边界的交点。
2.根据权利要求1所述的图像处理设备，其中，所述四边形框图片被形成为使得不包 括与所述对象区域的边界的交点的所述边缘长于包括所述交点的所述边缘。
3.根据权利要求1所述的图像处理设备，其中，能够通过绕预定位置旋转所述四边形 框图片来确定所述四边形框图片的位置。
4.根据权利要求1所述的图像处理设备，其中，通过对预定四边形框图片进行三维仿 射变换来形成所述四边形框图片。
5.根据权利要求1所述的图像处理设备，其中，所述组合装置通过连续地使所述四边 形框图片的形状变形并提取所述输入图像的四边形框图片内的区域中的像素以及所述输 入图像的所述二值掩码图像上的对象区域中的像素来产生所述组合图像。
6.根据权利要求1所述的图像处理设备，其中，所述组合装置通过提取所述四边形框 图片内的区域中的像素以及所述输入图像上的由所述二值掩码图像指定的对象区域中的 像素来产生多个组合图像，所述四边形框图片具有多种形状或者被形成在预定位置处。
7.根据权利要求1所述的图像处理设备，其中，所述组合装置通过这样的方式产生所 述组合图像与框形状参数相对应地存储均用于产生所述组合图像的各输入图像或各二值掩码图 像，所述框形状参数包括所述四边形框图片的旋转角、三维仿射变换参数、以及位置；根据与所存储的各输入图像和各二值掩码图像中的所存储的输入图像或二值掩码图 像相对应地存储的所述框形状参数来形成具有预定四边形形状的框图片，其中通过比较发 现所述所存储的输入图像或二值掩码图像与所述输入图像获取装置获得的输入图像或二 值掩码图像最相似；提取所述输入图像的所述四边形框图片内的区域中的像素以及所述输入图像上的由 所述二值掩码图像指定的对象区域中的像素。
8.一种在能够进行操作以产生改进图像的深度感的伪三维图像的图像处理设备中使 用的图像处理方法，所述方法包括步骤获取输入图像以及指定所述输入图像上的对象区域的二值掩码图像；提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像上的由所述 二值掩码图像指定的对象区域中的像素，以产生组合图像；以及确定在所述组合图像上放置所述四边形框图片的位置，使得所述四边形框图片的一对 相对的边缘中的一个边缘包括与所述对象区域的边界的交点，而该对边缘中的另一个边缘 不包括与所述对象区域的边界的交点。
9.一种能够由控制图像处理设备的计算机执行以执行过程的程序，所述图像处理设备能够进行操作以产生改进图像的深度感的伪三维图像，所述过程包括步骤 获取输入图像以及指定所述输入图像上的对象区域的二值掩码图像； 提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像上的由所述 二值掩码图像指定的对象区域中的像素，以产生组合图像；以及确定在所述组合图像上放置所述四边形框图片的位置，使得所述四边形框图片的一对 相对的边缘中的一个边缘包括与所述对象区域的边界的交点，而该对边缘中的另一个边缘 不包括与所述对象区域的边界的交点。
10. 一种产生改进图像的深度感的伪三维图像的图像处理设备，包括 输入图像获取单元，其获取输入图像以及指定所述输入图像上的对象区域的二值掩码 图像；组合单元，其提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像 上的由所述二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定单元，其确定在所述组合图像上放置所述四边形框图片的位置， 使得所述四边形框图片的一对相对的边缘中的一个边缘包括与所述对象区域的边界的交 点，而该对边缘中的另一个边缘不包括与所述对象区域的边界的交点。
全文摘要
一种产生改进图像的深度感的伪三维图像的图像处理设备、图像处理方法、以及程序。该图像处理设备包括输入图像获取单元，其获取输入图像以及指定该输入图像上的对象区域的二值掩码图像；组合单元，其提取该输入图像的四边形框图片内的区域中的像素以及该输入图像上的由该二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定单元，其确定在该组合图像上放置该四边形框图片的位置，使得该四边形框图片的一对相对的边缘中的一个边缘包括与该对象区域的边界的交点，而该对边缘中的另一个边缘不包括与该对象区域的边界的交点。
文档编号G06T17/00GK102005059SQ201010259280
公开日2011年4月6日 申请日期2010年8月19日 优先权日2009年8月26日
发明者山田英史 申请人:索尼公司