专利名称：图像数据的补偿方法及补偿装置的制作方法
技术领域：
本发明涉及在数字图像数据传送中发生局部丢失的情况下，根据判断来补偿所丢失部分的图像数据的图像数据补偿方法及补偿装置。
图像数据的传送，无论无线或有线均需经各种传送频道进行传送。在图像数据的传送中，由于受传送频道的瞬时断路、噪音、失真等影响，就会使接收到的数据产生误差。与模拟声音数据等不同，在几乎不含冗余度的数字图像数据的传送中，为了保证一定的品质，则有必要经检测来修正如上所述的误差。
关于修正如上所述的误差的方法，以往是把检测出误差的数据废除而作为丢失数据对待，再根据其他的正常数据来进行对所丢失的数据的补偿。
首先，说明图像数据的一般的传送。
在发送端将数字变换后的输入图像数据做信息源编码，将该编码化的数据做误差检测编码(Error Detection Coding)，或做正向误差校正编码(FECForward Error Correction)，再将该数据调制成适合于传送频道的信号，经传送频道发送至接收端。在接收端，把经传送频道接收到的数据解调，取出数字信号，再进行误差检测，就无误差的正常数据进行信息源解码，获得输出用的图像。
因而，根据误差检测编码或正向该差校正编码在接收到的数据中检出误差的情况下，将有该误差的数据废除，视为丢失数据对待，用正常接收到的相邻的数据对所丢失的数据进行补偿，得到接收到的图像中的丢失部分的图像数据。
就如上所述的图像数据补偿而言，在已有技术中，是进行线性补偿或非线性补偿的。
例如，发送有图3所示的像素值分布的图像数据，在接收端，在有丢失图像数据的图4中以A表示的丢失部分时，对所丢失部分的图像数据按如下方式进行线性补偿。即，如图6所示，在判定丢失区间(步骤S11)之后，为了补偿丢失部分的像素值，以像素坐标X或Y为变数算出线性方程式(步骤S12)，用该方程式进行计算，得到丢失部分的像素值(步骤S13)，并补偿丢失部分的图像数据。
使补偿用的线性方程式能算出图7所示的结果。即，使Y＝(恒量)的情况下，算出与正常接收到的数据内的丢失区间(X2～X5)相邻的X＝X1与X＝X6的像素值的连结直线，得到在该直线上的丢失区间内的像素值作为丢失部分的各像素值。
另外，在非线性补偿的情况下，其过程就变成得到由与上述丢失区间(X2～X5)相邻的X＝X1与X＝X6的像素值连结成的预定曲线。
在图8中，表示如上所述使Y＝(恒量)的根据在于在X方向上的线性补偿所得到的接收图像的像素值分布。同图中的A部的各像素值是被补偿的，将此补偿后的像素值与图3所示的原图像的像素值作对比，产生了最大为90、丢失部分A全体平均值为40的误差。
另外，在图9中，表示使X＝(恒量)的根据在于在Y方向上的线性补偿所得到的接收图像的像素值分布。同图中的A部的补偿后的各像素值与图3所示的原图像对比，产生了最大为60，丢失部分A全体平均为30的误差。
在上述以往的图像数据的补偿方法中，经补偿所得的丢失部分的像素与原图像的像素值对比，具有很大的误差，因而存在不能精确再现原图像的问题。
再有，如图8与图9所示，根据在X方向做线性补偿的情况以及在Y方向做线性补偿的情况，因为可得到不同的结果，所以采用不同的补偿方法，会得到不一致的补偿，也有给系统运用上带来障碍的问题。
本发明 于以上已有技术的情况，其目的在于提供一种可以精确再现原图像的图像数据的补偿方法及补偿装置。
本发明的另一目的在于提供一种不因补偿方向而产生不一致的图像数据的补偿方法及补偿装置。
为达到上述目的，本发明提供一种图像数据的补偿方法，即经判断来补偿接收到的数字图像数据中的丢失部分的图像数据的图像数据补偿方法，其特征在于，由图像中的正常接收到的部分像素值，做出与该正常接收到的部分像素和前述的丢失部分的像素的距离及方向相关的附加值，求出加权平均，以此来补偿前述丢失部分的图像数据。
另外，本发明提供一种图像数据的补偿方法，即是在前述的方法中，其特征还在于，丢失部分图像数据的补偿处理是在原始图像的全图像数据接收之后进行的。
另外，本发明提供一种图像数据的补偿方法，即是在前述方法中，其特征还在于，根据含丢失部分的原始图像的全图像素据，再现显示原图像之后，再根据对丢失部分已做补偿处理的图像数据，再重新再现显示原图像。
再有，本发明提供一种图像数据的补偿装置，即对从发送装置端经传送频道所接收到的数字图像数据，在接收端经判断来补偿该图像数据中的丢失部分的图像数据的图像数据补偿装置，其特征在于，在发送装置端包括把已数字变换的输入图像数据进行信息源编码的信息源编码器，将图像数据可检出传送误差地进行编码的编码器以及将该图像数据调制成适合于传送频道的信号的调制器；在接收装置端包括将经传送频道接收到的图像数据进行解调的解调器，对解调后的图像数据进行误差检测的误差检测器，根据由误差检测器的检测处理将无误差的正常图像数据进行信息源解码的信息源解码器；以及对由误差检测器检出的有误差的图像数据算出与正常图像数据的像素和该有误差的图像数据的像素的距离以及方向相关的附加值，求出该附加值的加权平均，以此来补偿该有误差的图像数据的图像补偿器。
在前述的图像数据的补偿方法中，根据与正常接收到的部分像素和前述的丢失部分的像素的距离及方向相关的加权平均，由图像中的正常接收到的部分像素值求出丢失部分的像素值。即变为从在二维范围内多个正常接收部分的像素值，求出丢失部分的各像素值，完成高精度的图像数据补偿。
再有，在前述的图像补偿方法中，还可采取从丢失部分周围尽可能多的正常接收部分的像素值求出丢失部分的各像素值，以完成更高精度的图像数据的补偿的措施。
再有，在前序的图像补偿方法，还可采取向使用者提供迅速再现显示含丢失部分状态的原图像，然后，在丢失部分的补偿结束时间点再重新显示原图像，向使用者提供高精度的图像数据的措施。
另外，采用前述图像数据的补偿装置来实施上述补偿方法，在发送装置端，由信息源编码器将已数字变换的输入图像数据进行信息源编码，由编码器将此图像数据可检出传送误差地进行编码之后，由调制器调制成适合于传送频道的信号，经传送频道发送至接收装置端。在接收装置端，将经传送频道接收到的图像数据由解调器进行解调，对解调后的图像数据由误差检测器进行误差检测。该误差检测处理的结果，对于无误差的正常图像数据由信息源解调器进行信息源解调，另外，对有误差的图像数据由图像补偿器算出与正常图像数据的像素和有误差的图像数据的像素的距离及方向相关的附加值，求出该附加值的加权平均，以此来补偿有误差的图像数据。经此处理之结果，可得到由构成一幅图像的全部图像数据高精度地显示出原图像，根据该图像数据，可忠实地再现原图像。
图1是表示实施图像数据补偿的装置结构框图。
图2是表示本发明一实施例的图像数据补偿处理的程序流程图。
图3是表示原图像的像素值分布的概念图。
图4是表示图像中的丢失部分的概念图。
图5是表示根据本发明的一实施例的方法，补偿的图像的像素值分布的概念图。
图6是表示以往的图像数据补偿处理的程序的流程图。
图7是说明以往的线性补偿方法的概念图。
图8是表示根据以往的方法，对X轴方向进行线性补偿的图像的像素值分布的概念图。
图9是表示根据以往的方法，对Y轴方向进行线性补偿的图像的像素值分布的概念图。
标号说明2误差修正编码器4传送频道6误差检测器8图像补偿器参照
本发明的一实施例。
首先，根据图1来说明实施本实施例的补偿方法的装置。
在本装置中，在发送端，由信息源编码器1将已数字变换的输入图像数据(原图像的图像数据)进行信息源编码，由正向误差校正编码器2将已编码的数据进行检测编码或进行正向误差校正编码，再由调制器3将该数据调制成适合于传送频道的信号，经传送频道4发送至接收端。
另外，在接收端，经传送频道4接收到的数据由解调器解调而取出数字信号，再由误差检测器6根据上述的误差检测编码或经校正编码进行误差检测，对无误差的正常数据由信息源解码器7进行信息源解码而得到输出用的图像数据。另外，将此图像数据输入至显示装置9，在该显示装置9的屏面上再现显示出原图像。
另一方面，在接收到的数据中检出误差的情况下，将该有误差的数据放弃，按丢失数据对待，由图像补偿器8根据正常接收到的数据来补偿丢失数据，得到接收到的图像中的丢失部分的图像数据。
再有，在上述的图像数据的传送中，是把原图像的全图比如分割成8像素X8像素的单元的数据块来进行传送的，由于传送频道4的瞬时间断，接收图像的数据的丢失是以数据块单元发生的。
如上所述的图像数据的补偿，在本实施例中，是根据下述方式加权平均的方法完成的。
即，设接收图像中的各像素的坐标为(x、y)，设丢失部分的像素p的像素值为p(x、y)，正常接收到的部分像素q的像素值为q(x、y)，再设像素p与像素q之间的欧氏距离为r，从像素p至像素q向量与x轴所成的角度为θ，权设为ω(γ，θ)，按下述加权平均方程式判断来补偿丢失部分的各像素值p(x、y)。
另外，根据下式，对全体(x、y)求和
p(x、y)＝∑ω(γ，θ)q(x，y)/∑ω(γ，θ)(1)即，根据正常接收到的部分的像素q与丢失部分的像素p之距离r及方向θ，进行加权，根据求出的加权平均来补偿丢失部分的图像数据。
另外，在本实施例中，上述的丢失部分的补偿处理，是在完全接收到原图像的图像数据之后才进行的，因此，可以尽可能多地使用丢失部分周围的正常接收到的像素的像素值，以便提高补偿的精度。
另外，在本实施例中，在完全接收到上述的原图像的图像数据后，根据该图像数据，在显示装置9再现显示出原图像。在此情况下，在此图像数据中含有丢失部分时，在再现显示的原图像中，图像产生了丢失部分。从而，在本实施例中，在完成上述的补偿处理的时间点，根据完成补偿处理的图像数据，在显示装置9重新进行原图像再现显示，因此，立刻将含有丢失部分显示的原图像修正为正常图像。
例如，发出有图3所示的像素分布的图像数据，在接收端，在完全丢掉了图像数据内图中A所示部分的情况下，在本实施例中，按如下方式对所丢失部分的图像数据进行补偿。即，如图2所示，在判断丢失区域A之后(步骤S1)，根据上述方程式的运算，对丢失区域A内权ω(γ，θ)不为零的区域(像素)进行补偿(步骤S2)，将补偿过的区域(像素)视为正常接收的处理(步骤S4)，在丢失的整个区域A内反复进行补偿处理，直至终结(步骤S3)。
再有，将如此补偿后的丢失部分的图像数据填补到图1所示的输出图像数据中的丢失部分中。
其次，为减少计算量，设权ω(γ，θ)为如下式2～6的单纯形式。
ω(γ，θ)＝0(2)其中γ＞2，θ为全角度ω(γ，θ)＝0(3)其中θ≠N×45°，N＝1、2、3、4、5、6、7；γ为所有距离ω(1，0)＝ω(1，90)＝ω(1，180)＝ω(1，270)＝2(4)ω(2，0)＝ω(2，90)＝ω(2，180)＝ω(2，270)＝1(5)ω(2,45)=ω(2,135)=ω(2,225)=ω(2,315)]]>＝1 (6)在该具体例中，根据上式(2)～(6)的判别，对有要补偿丢失部分的像素，根据包围该像素的周围的8个像素及其更外则的X轴方向及Y轴方向的各2个像素合计12个像素(即，8个方向上的12个正常接收到的像素)的像素值，作为上述的权(γ，θ)，对前述的式(1)对丢失部分的各像素进行以补偿目的运算，由此得到如图5所示的补偿结果。
图5中A部的各像素值是补偿的结果，这些补偿的像素值，相对于图3所示的原图像的像素值，其有最大为57，作为丢失部分A全体平均约有21.2的误差，得到其精度远比前述的以往要高得多的结果。因而，即使在传送原图像的数据中产生丢失的情况下，在接收端也能获得近似原图像的图像。
再有，在上述实施例中，根据正常接收部分的数据，设法对丢失部分进行了补偿，但在本发明中，将经补偿所得到的数据视为正常接收的数据，也可以根据此视为正常的数据对丢失部分进行补偿。
另外，在上述实施例中，对作为目标的像素，由在8个方向所环绕的12个像素进行补偿，但本发明中，并不受此限制，可由任意数的任意方向的任意个数的像素对作为目标像素进行补偿。但是，为了提高精度，最好由从各方向包围的全部像素对作为目标像素进行补偿。
另外，在本发明中，对图像数据进行误差检测编码或正向误差校正编码，完全是为了检测是否产生了数据传送误差，只要是能检出这种误差的编码，采用各种各样的编码均可。
按以上所述，根据本发明的图像数据的补偿方法，就变为根据与正常接收到的部分像素和丢失部分像素的距离及方向相关的加权平均，对丢失部分进行补偿，因而由二维范围内存在的多个正常接收部分的像素值，求出丢失部分各像素值。因此，与以往相比，可以实现对图像数据的高精度的补偿，可以高精度地再现原图像。另外，不存在像以往那样由于补偿方向不同而生产的不一致，可以消除系统运用上的不便。
另外，根据本发明的图像数据补偿方法，除上述效果外，补偿处理是在全部接收到原图像的图像数据之后进行的，因而可以由丢失部分周围尽可能多的正常接收部分的像素值进行补偿，可以实现更高精度的图像数据的补偿。
另外，根据本发明的图像数据的补偿方法，除上述效果外，即使在含丢失部分的状态下，也能向利用者迅速地再现显示出原图像，因此可以实行不迟迟再现显示原图像地传送图像数据的效果。
再有，根据本发明所记载的图像数据的补偿装置，因结构简单而能实施上述补偿方法。
权利要求
1.一种采用判断来补偿接收到的数字图像数据中的丢失部分的图像数据的图像数据补偿方法，其特征在于，由图像中的正常接收到的部分像素值，作出与该正常接收部分像素和前述丢失部分像素的距离及方向相关的附加值，求出加权平均，以此来补偿所述丢失部分的图像数据。
2.权利要求1所记载的图像数据的补偿方法，其特征在于，丢失部分图像数据的补偿处理是在原图像全部图像数据接收之后进行的。
3.权利要求3所记载的图像数据的补偿方法，其特征在于，在根据含丢失部分的原图像全图像数据，再现显示原图像之后，再根据对丢失部分已做补偿处理的图像数据，再重新再现显示原图像。
4.一种对从发送装置端经传送频道所接收到的数字图像数据，在接收端采用判断来补偿该图像数据中的丢失部分的图像数据的图像数据补偿装置，其特征在于，在发送装置端包括把已数字变换的输入图像数据进行信息源编码的信息源编码器；将图像数据可检出传送误差地进行编码的编码器；以及将该图像数据调制成适合于传送频道的信号的调制器；在接收装置端包括将经传送频道接收到的图像数据进行解调的解调器；对解调后的图像数据进行误差检测的误差检测器；根据由误差检测器的检测处理将无误差的正常图像数进行信息源解码的信息源解码器以及对由误差检测器检出的有误差的图像数据算出与正常图像数据的像素和有误差的图像数据的像素的距离及方向相关的附加值，求出该附加值的加权平均，以此来补偿有误差的图像数据的图像补偿器。
全文摘要
本发明目的在于不因补偿方向的不同而产生不一致，从而高精度再现原图像，因而提出一种经判断来补偿接收到的数字图像数据中的丢失部分的图像数据的图像数据的补偿方法，根据图像中的正常接收部分的像素值做出与该正常接收部分的像素和所述丢失部分的像素的距离γ及方向Q相关的附加值ω(γ，θ)，求出加权平均，以此来补偿丢失部分的图像数据。另外，对丢失部分的图像数据的补偿处理是在原图像的全部图像数据接收后进行的。
文档编号H04N7/46GK1155222SQ9610080
公开日1997年7月23日 申请日期1996年1月15日 优先权日1996年1月15日
发明者小山田応一, 荒屋敷明文 申请人:国际电气株式会社