图像处理设备和图像处理方法
【专利摘要】信息处理设备和方法提供了用于处理信息的逻辑。在一种实施方式中，计算机实现的方法包括：接收与多个图像相关联的空间位置。该方法基于至少一个空间位置来确定图像在相反的第一和第二水平方向上的位移。该方法然后利用处理器，基于所确定的位移来产生所述图像的第一组成部分和第二组成部分。
【专利说明】图像处理设备和图像处理方法
【技术领域】
[0001]本申请基于并且要求于2011年3月28日提交的日本专利申请JP2011-069311的优先权的权益，其全部内容通过引用结合于此。
[0002]公开的示例性实施例涉及图像处理设备和图像处理方法。更具体地，公开的示例性实施例涉及处理在深度方向上的不同位置处摄取的多个图像以产生用于立体图像的显示的左眼图像和右眼图像的图像处理设备和图像处理方法。
【背景技术】
[0003]例如，PTLl描述了利用双眼视差的立体图像的显示，如图8中所示。图8示出了对象(例如，物体)的左右图像在屏幕上被显示的位置与在利用双眼视差的立体图像的显示中对象的立体图像在屏幕上被再现的位置之间的关系。例如，就对象A而言，其左图像La为了在屏幕上显示被向右移位，而其右图像Ra为了在屏幕上显示被向左移位，如在图中所示，由于相对于屏幕表面在近侧左右视线彼此交叉，所以相对于屏幕表面在近侧的位置处再现了对象的立体图像。参考字母DPa表示对象A的水平视差矢量。
[0004]另外，例如，就对象B而言，其左图像Lb和右图像Rb被显示在屏幕上同一位置处，如图中所示，由于在屏幕表面上左右视线彼此交叉，所以在屏幕表面上的位置处再现了对象的立体图像。此外，例如，就对象C而言，其左图像Lc为了在屏幕上显示被向左移位，而其右图像Re为了在屏幕上显示被向右移位，如图中所示，由于相对于屏幕表面在远侧左右视线彼此交叉，所以相对于屏幕表面在远侧的位置处再现了对象的立体图像。参考字母DPc表对象C的水平视差矢量。
[0005]例如，目前荧光显微镜已被用于摄取活体(诸如，人的细胞)的在深度方向上的不同位置处的图像。荧光显微镜能用于摄取在每个深度方向位置处的图像，却不会被近侧的物体遮挡。
[0006]突光显微镜是这样一种显微镜，其中，突光材料被附着至例如要被观察的细胞，突光材料用激光等来照射以激发该荧光材料，当从激发态回到基态时发出的光被观察到。例如，共聚焦显微镜和双光子激发显微镜作为荧光显微镜是已知的，这里省略它们的详细描述。
[0007]引用列表
[0008]专利文献
[0009]PLTl:日本未审查专利申请公报第2005-6114号
【发明内容】
[0010]技术问题
[0011]如上所述，以上面描述的方式经常对在深度方向上的不同位置处摄取的多个图像应用针对每个像素的相加和平均处理以产生用于评价的一个二维图像。图9示出了对二十个图像应用相加和平均处理以产生一个二维图像的示例性应用。参考号“#1”至“#20”表示摄取的图像，而参考号“#1_#20”表示产生的二维图像。在这种情况中，尽管多个图像在不同深度方向位置被摄取并且具有三维信息，但是多个图像在二维状态中退化并且被评价，三维信息未被有效利用。
[0012]此外，例如，在现有技术中为了达到立体效果，视点变化并移动，或者执行阴影处理(hatching)，以突出层次关系。然而，当视点变化和移动时，需要执行反映用户的视点的操作，因此存在的缺点在于不能关注于评价。另外，用于突出层次关系的阴影处理不足以达到立体效果。
[0013]所公开的示例性实施例可有效地使用与在不同深度方向位置处摄取的多个图像相关联的三维信息以允许显示具有充足立体效果的图像。
[0014]问题的解决方案
[0015]与示例性实施例一致，计算机实现的方法接收与多个图像相关联的数据。该数据指定图像的空间位置。该方法包括至少基于空间位置来确定图像的在第一水平方向和第二水平方向上的位移(displacement)。第一水平方向与第二水平方向相反。该方法包括利用处理器，基于确定的位移产生图像的第一组成(composite)和第二组成部分。
[0016]与另一示例性实施例一致，一种信息处理设备，其包括接收单元，被配置成接收与多个图像相关联的数据。该数据指定图像的空间位置。确定单元被配置成至少基于空间位置来确定图像在第一水平方向和第二水平方向上的位移。第一水平方向与第二水平方向相反。产生单元被配置成基于所确定的位移来产生图像的第一组成部分和第二组成部分。
[0017]与另一示例性实施例一致，一种有形的、非暂时计算机可读介质，存储了指令，当该指令被至少一个处理器执行时，使该处理器执行一种方法，该方法包括:接收与多个图像相关联的数据。该数据指定图像的空间位置。该方法包括至少基于所述空间位置来确定图像在第一水平方向和第二水平方向上的位移。第一水平方向与第二水平方向相反。该方法包括利用处理器基于确定的位移产生图像的第一组成部分和第二组成部分。
[0018]发明的有益效果
[0019]根据所公开的示例性实施例，能够有效地使用关于在不同深度方向位置处摄取的多个图像的三维信息以允许显示具有充足立体感的图像。
【专利附图】
【附图说明】
[0020]图1是示出根据第一示例性实施例的图像处理设备的构造的示例的框图。
[0021]图2是与公开的示例性实施例一致的用于描述在图像产生单元中的图像的移位处理以及相加和平均处理的图。
[0022]图3是与公开的示例性实施例一致的示出在真实空间中摄取的图像中的水平尺寸、垂直尺寸以及深度距离和在3D监控显示器上的水平尺寸、垂直尺寸以及深度的示例的图。
[0023]图4包括与公开的示例性实施例一致的用于描述深度方向位置与图像的移位量之间的(线性的和非线性的)关系的图。
[0024]图5是示出根据第二示例性实施例的图像处理设备的构造的示例的框图。
[0025]图6包括与公开的示例性实施例一致的用于描述图像产生单元中的隐藏面消除的图。[0026]图7是与公开的示例性实施例一致的用于描述当仅最近的图像具有有效区域时的隐藏面消除的图。
[0027]图8是用于描述对象的左右图像在屏幕上被显示的位置与在利用双眼视差的立体图像的显示中对象立体图像在屏幕上被再现的位置之间的关系的图。
[0028]图9是用于描述在现有技术中对在深度方向上的不同位置处摄取的多个图像执行针对每个像素的相加和平均处理以产生一个二维图像的处理的图。
[0029]图10是与公开的示例性实施例一致的示例性计算机系统的图。
【具体实施方式】
[0030]下面，将描述本公开的示例性实施例。这里，将按照下面的顺序来进行描述:
[0031]1.第一实施例；
[0032]2.第二实施例；
[0033]3.变形例；以及
[0034]4.示例性计算机系统
[0035]1.第一实施例
[0036]a.图像处理设备的构造
[0037]图1示出了根据第一示例性实施例的图像处理设备100的构造的示例。该图像处理设备100包括图像产生单元101、移位量确定单元102、以及图像质量调整单元103。该图像处理设备100基于在不同深度方向位置处摄取的并且在对应的接收单元处被接收的多个(例如，N个)图像(例如，荧光显微镜图像)来产生用于立体图像的显示的左眼图像和右眼图像。
[0038]图像产生单元101执行使多个图像(图像数据)基于其深度方向位置相对于参考位置处的图像在相反方向上移位的处理以产生向其提供了视差的一组左眼图像和一组右眼图像。然后，图像产生单元101对各个图像组执行针对每个像素位置的像素的相加和平均处理以产生左眼图像SL和右眼图像SR。
[0039]图2示出了与公开的实施例一致的在图像产生单元101中的处理的示例。在此处理的示例中，在深度方向上以固定的间隔在依次变化的位置处摄取的8个图像#1至#8被处理，并且图像#4用作参考位置处的图像。
[0040]图像产生单元101执行使八个图像基于其在深度方向位置相对于参考位置处的图像(图像#4)水平地移位的处理，以产生组成左眼图像组的多个图像。具体地，图像产生单元101使在近侧的图像(图像#3至#1)基于其深度方向位置相对于参考位置处的图像在一个水平方向上依次移位并且使在远侧的图像(图像#5至#8)基于其在深度方向上的位置相对于参考位置处的图像在另一水平方向上移位。
[0041]在这种情况下，图像产生单元101使近侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“+d’”。这使得最近的图像(图像#1)相对于在参考位置处的图像(图像#4)水平地移位了 “+3d’ ”。另外，在这种情况下，图像产生单元101使远侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“-d’”。这使得最远的图像(图像#8)相对于参考位置处的图像(图像#4)水平地移位了 “-4d’ ”。这里，“d’ ”指示通过移位量确定单元102基于成像条件和显示条件以下面所描述的方式确定的移位量。[0042]然后，图像产生单元101对组成经历了移位处理的左眼图像组的多个图像(图像#1至#8)执行针对每个像素位置的像素(像素数据)的相加和平均处理，以产生左眼图像SL(#1_#8)。在这种情况下，由于执行了移位处理，所以要经历相加和平均处理的像素的数量是I至8中取决于像素位置的任意一个。
[0043]另外，图像产生单元101执行使八个图像基于在深度方向位置相对于参考位置处的图像(图像#4)水平地移位的处理，以产生组成右眼图像组的多个图像。具体地，图像产生单元101使在近侧的图像(图像#3至#1)基于其深度方向位置相对于参考位置处的图像在另一水平方向上依次移位并且使在远侧的图像(图像#5至#8)基于其深度方向位置相对于参考位置处的图像在该一个水平方向上移位。此移位处理是这样的处理，其中在与上面的情况(其中产生了组成左眼图像组的多个图像)中的方向相反的方向上执行对称的移位。
[0044]在这种情况下，图像产生单元101使近侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“-d’”。这使得最近的图像(图像#1)相对于在参考位置处的图像(图像#4)水平地移位了 “-3d’ ”。另外，在这种情况下，图像产生单元101使远侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“+d’”。这使得最远的图像(图像#8)相对于参考位置处的图像(图像#4)水平地移位了 “+4d’ ”。
[0045]然后，图像产生单元101对组成经历了移位处理的右眼图像组的多个图像(图像#1至#8)执行针对每个像素位置的像素(像素数据)的相加和平均处理以产生右眼图像SR(#1_#8)。在这种情况下，由于执行了移位处理，所以要经历相加和平均处理的像素的数量是I至8中取决于像素位置的任意一个。
[0046]再参照图1，移位量确定单元102基于成像条件和显示条件来确定移位量d。现在将详细描述在移位量确定单元102中确定移位量d’的方法。这里，图3示出了在真实空间中摄取的图像中的水平尺寸、垂直尺寸以及深度距离和在3D监控显示器上的水平尺寸、垂直尺寸以及深度的示例。
[0047]假定所摄取的图像的点距表示为dps[m]，则所摄取的图像上的深度距离通过Zs[pixel]=Zs[m]/dps来计算。相反，在立体显示中再现的深度Ld[m]通过Ld=Ls*de/(de+d)来计算。这里，Ls表示视距，de表示左眼与右眼之间的距离，d表示视差(近侧的值被定义为正值)。为了在摄取的图像被显示时根据视角产生立体图像，d被设定成等于Zs的值。
[0048]这里，假定最近的目标图像的视差通过dmax来表示，而最远的目标图像的视差通过dmin来表示,则下面的等式(I)成立:
[0049][数学式I]
【权利要求】
1.一种用于产生图像的计算机实现的方法，包括:接收与多个图像相关联的数据，所述数据指定所述图像的空间位置；至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移，所述第一水平方向与所述第二水平方向相反；以及利用处理器，基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
2.根据权利要求1所述的方法，进一步包括:基于至第一眼的所述第一组成图像和至第二眼的所述第二组成图像的投影来创建用于被用户感知的立体图像。
3.根据权利要求2所述的方法，其中，所述第一眼对应于人的左眼，所述第二眼对应于人的右眼。
4.根据权利要求2所述的方法，其中，所述立体图像是可经由荧光显微镜感知的。
5.根据权利要求1所述的方法，进一步包括:基于所接收的数据将所述图像中的一个标识为参考图像，所述参考图像与对应的参考空间位置相关联。
6.根据权利要求5所述的方法，其中，所述确定进一步包括:确定在垂直方向上分开所述图像中的对应图像与所述参考图像的距离；以及至少基于分开距离的对应值来计算所述图像的所述位移的量值。
7.根据权利要求6所述的方法，其中， 所述确定进一步包括获得成像条件或显示条件中的至少一个；以及所述计算包括基于所获得的信息来计算所述图像的所述位移的所述量值。
8.根据权利要求6所述的方法，其中，所述图像中的至少一个的所述位移的量值与所述分开距离的所述对应值成正比。
9.根据权利要求6所述的方法，其中，所述图像中的至少一个的所述位移的量值按照非线性关系与所述分开距离的所述对应值相关联。
10.根据权利要求6所述的方法，其中，所述确定进一步包括:针对所述图像中的至少一个，确定所计算的位移的量值是否超过阈值；以及当所述位移的量值超过所述阈值时，计算所述位移的修改的量值，所述修改的量值小于所计算的量值。
11.根据权利要求6所述的方法，其中，所述确定进一步包括:确定所述图像的第一组位移和所述图像的第二组位移，所述第一组位移对应于所述第一组成图像，所述第二组位移对应于所述第二组成图像。
12.根据权利要求11所述的方法，所述第一组位移和所述第二组位移与所述位移的对应量值相关联。
13.根据权利要求11所述的方法，其中，确定所述第一组位移包括:确定所述图像中对应的一个在垂直方向上是否被布置在所述参考图像之上；当对应图像在垂直方向上被布置在所述参考图像之上时，将所述对应图像的第一位移与所述第一水平方向相关联；以及当所述对应图像在垂直方向上被布置在所述参考图像之上时，将所述对应图像的第一位移与所述第二水平方向相关联。
14.根据权利要求11所述的方法，其中确定所述第二组位移包括:确定所述图像中对应的一个是否在垂直方向上被布置在所述参考图像之上；当对应图像在垂直方向上被布置在所述参考图像之上时，将所述对应图像的第二位移与所述第一水平方向相关联；以及当所述对应图像在垂直方向上被布置在所述参考图像之上时，将所述对应图像的第二位移与所述第二水平方向相关联。
15.根据权利要求11所述的方法，其中，所述产生进一步包括:基于所述图像的确定的第一位移来产生所述第一组成图像；以及基于所述图像的确定的第一位移来产生所述第二组成图像。
16.根据权利要求1所述的方法，其中，所述产生进一步包括:对被移位的图像中的对应的一个中的像素的值应用相加和平均处理；以及基于经处理的像素值产生所述第一组成图像和所述第二组成图像。
17.根据权利要求16所述的方法，其中，所述产生进一步包括:获得标识在所述图像中的至少一个内的有效区域的信息，所述有效区域指示在所述图像中的所述至少一个内的物体的出现。
18.根据权利要求17所述的方法，其中，所述应用进一步包括:对布置在所述有效区域外的一个或多个像素的值应用所述相加和平均处理；以及在所述第一组成图像和所述第二组成图像内保持在所述有效区域内布置的至少一个像素的值。
19.一种信息处理设备,包括:接收单元，其被配置成接收与多个图像相关联的数据，所述数据指定所述图像的空间位置；确定单元，其被配置成至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移，所述第一水平方向与所述第二水平方向相反；以及产生单元，其被配置成基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
20.一种有形的、非暂时计算机可读介质，其存储了当被至少一个处理器执行时使所述至少一个处理器执行如下方法的指令:接收与多个图像相关联的数据，所述数据指定所述图像的空间位置；至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移，所述第一水平方向与所述第二水平方向相反；以及基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
【文档编号】H04N13/02GK103444193SQ201280014191
【公开日】2013年12月11日 申请日期:2012年3月21日 优先权日:2011年3月28日
【发明者】森藤孝文, 绪形昌美, 冈本美树, 原雅章 申请人:索尼公司