基于物方几何约束的多视匹配算法研究

孟俊俊1,2,张云生2，李杰1

(1.湖北省地质局第一地质大队,湖北大冶 435100；2.中南大学地球科学与信息物理学院，湖南长沙 410083)

摘要：影像匹配是航空影像数据自动空三处理的关键技术之一。为充分利用三线阵影像信息及纹理信息，文中针对ADS40影像采用一种利用像方和物方信息进行约束的多视匹配方法，此算法能同时处理3张及3张以上的影像，大大加快匹配效率，为自动空三提供有效的连接点及为提取DSM提供高精度密集匹配点。

关键词：ADS40；影像匹配；近似核线；物方几何约束

中图分类号：P237

收稿日期：2014-07-28;修回日期：2015-02-26

基金项目：国家863计划资助项目(2012AA120801)

作者简介：孟俊俊(1987-),女,硕士研究生.

Amutli-imagematchmethodbasedonobjectgeometricconstraint

MENGJun-jun1,2ZHANGYun-sheng2,LI Jie1

(1.TheFirstGeologicalBrigradeofHubeiGeologicalBureau,Daye435100,China2.DepartmentofSurveyingEngineering&Geo-Informatics,CentralSouthUniversity,Changsha410083,China)

Abstract：Image matching is one of the key technologies of automatic aerial triangulation in processing aerial image data.To make full use of the image information and texture information of three-line array images,this paper introduces a multi-image method constrained by information of image and object space.Three or more images can be simultaneously by this algorithm which improves the efficiency obviously so that a series of dense high-accurate matching points can be provided for DSM extraction.

Keywords：ADS40；imagematching；geometricconstraintsonobjectspace；epipolarline

1概述

长期以来，影像匹配在摄影测量技术智能化与自动化的过程中扮演重要角色。然而，传统的单立体影像匹配在很大程度上具有不确定性，获取的是“病态解”，极大降低匹配的精度与可靠性。随着以ADS40为代表的三线阵相机的应用，多视匹配技术以其能够减小信息盲区、解决双像匹配不确定问题的优势，成为当前研究与发展的热点。

目前，采用多视匹配策略分3种：

1)利用影像之间的辐射信息关系先采用较为成熟的匹配算法在像方直接匹配，将匹配结果根据影像之间的几何关系融入到物方，获取对应的地面坐标，再通过一种高冗余信息相关的处理流程剔除错误高程值，最终获取较高精度的数字高程模型。这种方法充分考虑到影像的辐射和几何信息，但是却没有综合利用这两种影像冗余信息。

2)先根据基准影像的几何信息获取对应的物方高程值，通过这些高程信息通过几何约束关系获取在所有搜索影像上的对应点，根据影像相似性测度判断同名点。这种方法能同时利用所有影像的辐射和几何信息，获取最佳匹配结果。针对三线阵影像，张力根据这种匹配策略提出多元素多影像匹配模型(MPM)以及后来范大昭、纪松等提出的附加几何约束条件的自适应匹配模型(AMMGC，AdaptiveMulti-ImageMatchingwithGeometricConstrains)、改进的铅垂线法多视匹配模型(MVLL，ModifiedVerticalLineLocus)能够解决在地表断裂、纹理特征相似或者重复区域匹配困难的问题，并能得到可靠性较高的匹配结果，生成的DSM能直接用于人工地物的三维重建。其缺点：若在几何约束条件中使用精度不高的POS数据，则会在物方坐标反投影到像方时产生较大的投影误差，降低匹配结果的精度。

3)首先在像方空间进行匹配，然后在物方空间通过整体优化策略获取匹配结果。针对框幅式航空影像，江万寿提出用松弛法进行多视影像匹配生成DSM的方法，即是在像方用基于物方面元的最小二乘法获取初始匹配结果，然后将匹配结果引入到物方，用松弛法在物方空间确定最终可靠匹配点。这种方法可以有效克服匹配过程中由于影像遮挡等造成的影响，利用冗余辐射几何信息在像方识别出候选同名点，并通过几何信息引入到物方进行整体松弛优化。但是不足之处就是此方法分析过程复杂。

基于以上3种多视匹配策略的优点与存在的不足，本文针对ADS40影像提出一种基于物方几何约束的ADS40多视密集匹配方法。通过综合利用影像的冗余辐射和几何信息，使匹配结果精度更高。

针对上述问题，本文针对ADS40影像采用一种基于物方几何约束的多视匹配算法。首先，在基准影像上建立格网，将格网点通过几何关系转换为一定高程范围的物方点，再将其反投影到搜索影像上，进而得到对应的近似核线。然后，利用相关系数法匹配测度，对基准影像格网点与对应核线上的点逐一匹配。最后，将所有匹配点通过前方交会获取物方点，再将其反投影到基准影像获取投影点，并通过与对应的匹配点进行比较，满足阈值条件的即为最终的匹配点。试验结果表明，与传统的双片影像匹配相比，三视影像匹配能够有效提高匹配可靠性，快速获取大量同名点，能够满足地形重建的需求。

2基于物方几何约束的ADS40影像匹配流程

影像匹配时，通过引入核线几何约束条件，可将搜索匹配同名点的工作从二维降至一维，从而有效降低影像匹配的不确定性，提高影像匹配的精度和可靠性。鉴于此，本文针对ADS40影像，提出基于物方几何约束的多视匹配算法，流程如图1所示。

图1　基于物方几何约束的多视匹配流程图

2.1　参考影像的选择

根据拍摄角度的不同，ADS40影像有前视、正视、后视之分，由于正视影像变形小，近似垂直摄影，因此本文选正视影像为参考影像，并以规则格网划分参考影像，然后进行匹配。

2.2　近似核线约束

根据像点在L1、L0级影像、焦平面坐标和地面坐标之间的相互转换关系，即可生成近似核线。其中，L0影像上各个像点和获取的POS数据具有直接的对应关系，假设某L0影像上像点坐标为(sample,line)，则此点所对应的外方位元素就位于ODF文件POS数据中的第line行。虽然L0影像存在几何形变，但与在L1上生成近似核线相比，减少了坐标转换带来的误差，因此也能较为准确的找出点所对应的核线。在L0影像上寻找同名点所在的近似核线，在没有已知控制点的情况下，需要先通过多像前方交会获得影像所在区域的地面高程范围。表1是通过3影像同时前方交会得出的地面高程范围。

表1　 L0影像上生成近似核线的点的坐标值　 m

设定一个初始高程值和高差范围后就可利用投影几何关系得到基准影像上的点在搜索影像上对应的近似核线。图2显示的是基准影像上的一个点反投影到一张搜索影像上得到的近似核线。通过分析图2，可以看出在靠近正确同名点的近似核线部分近似为直线。当列出了一定高程范围内，反投影到另一张影像上核线上的各点坐标值。由表1

可看出，核曲线上靠近正确同名点的部分近似为直线，X方向误差在1个像素之内。

图2　近似核线的生成

2.3　相关系数匹配测度

相关系数是衡量两个变量之间相关程度的量，大小范围在(-1,1)之间。相关系数匹配算法是利用目标窗口在搜索影像上连续滑动，以相关系数作为评判标准，判断左右两张影像中一定大小的目标窗口与搜索窗口间的相关程度，若相关系数最大且满足判断条件的，则取搜索窗口的中心像素作为同名点。鉴于此，本文采用局部相关系数法进行匹配，提出基于物方几何约束的多视匹配算法。

假设目标窗口中心像素坐标为(i,j)，左影像的灰度函数为g(x,y),右影像灰度函数为g′(x,y)，搜素窗口中心像素为(i+r,j+c)，g(x,y)和g′(x,y)的相关系数定义为

(1)

如果ρ(p0,q0)>ρ(p,q)(p≠p0,q≠q0)，则 p0，q0为搜素影像相对于参考影像目标区的位移参数。对于一维相关应有q≡0 。

考虑到计算相关系数的工作量，计算两窗口间比较实用的相关系数

(2)

相关系数是灰度线性变换的不变量，因此，采用相关系数法可以克服影像线性畸变的影响，较好的评价参考影像与搜索影像之间的相似程度，在数字影像匹配算法中，相关系数测度是一种最常用的匹配方法。

3试验结果分析

为验证本文提出的多视影像匹配方法的效果，从某地区拍摄的一组ADS40影像中选取了一条航带内重叠的两组1 000pixel×1 000pixel影像,如图3所示作为试验数据进行影像匹配试验。该组影像地面采样间隔为0.26m，像元大小为6.5μm，航向重叠率接近100%。通过多像前方交会得出影像覆盖区域的地面高程范围。首先通过前方交会程序得到两组影像中覆盖区域的概略高程范围。第1组高程范围为955.47~1 057.45m，设定初始高程值Z0=980 m,高差范围设定在-30~80 m之间。第2组高程范围为901.62~1 011.65 m，设初始高程值Z0=900 m,高差范围设定在-20~120 m之间。

从图3中可以看出，第1组影像有一部分区域被建筑物覆盖，其他部分纹理特征不明显。第2组影像大部分区域都是山坡，纹理特征有相似或重复现象。根据提出的匹配方法，分别从两组影像数据中提取同名点。

在此试验中将每组数据中的正视影像作为基准影像，其他影像作为搜索影像。首先将基准影像划分为5×5的规则格网，将每个格网点按照生成近似核线的过程在搜索影像上分别画出对应的近似核线。然后沿着近似核线按照一定大小的搜索窗口与基准影像上的格网点所在目标窗口做相关系数匹配。本试验中搜索窗口与目标窗口大小均为11pixel×11pixel的。先从两组数据中测试一个点沿近似核线做相关系数匹配的结果，测试正视影像中像点为：第1组点A(321,356)，高程值为1 026m；第2组点B(94,46)，高程值为1 007m。两个点分别沿对应近似核线得到的相关系数分布。两组影像数据分别作相关系数法匹配得到的相关系数值ρ分布如图4所示。

图4　相关系数分布(F,B,N分别表示前、正、后视影像)

从图4(a)、(b)中可看出大部分匹配点对应相关系数值大于0.7，实验中设定相关系数阈值为0.7，两图中显示的相关系数曲线中极值点较多，说明存在较多的点具有相似灰度。将极大值与次极大值的比值阈值设定为1.2。若极值比大于1.2则保留对应的匹配点为最终匹配点。否则前视影像上近似核线上的像点，利用对应POS数据根据几何关系反投影到后视影像上，再计算相关系数，根据判断条件保留满足条件的匹配点。

试验中采用前视和后视影像分别与正视影像计算得到的相关系数值相加为最大的作为正确匹配点处。图4(b)中相关系数分布具有明显的峰值，且在正确高程值或者小误差范围内，两两影像得到的相关系数值之和最大。

在得到正视影像每个格网点在搜索影像中的匹配点后，将前、正、后视影像的匹配点通过多像前方交会得到地面点坐标，然后将其反投影到正视影像上，与对应的匹配点坐标做差值，小于阈值的保留作为最终正确匹配点，否则剔除。试验中设定坐标差值阈值大小为(3，3)，两组影像数据所有匹配点通过前方交会然后反投影得到的x，y方向的坐标差值分布如图5所示，另外列出了前10个像点投影误差分布如表2所示。

从图5中可知，两组数据中x方向误差均在2个像素以内，第1组数据中的y方向误差在3个像素以内，第2组数据中的y方向误差在2个像素以内。

由于影像存在几何畸变，因此利用相关系数法得出的匹配结果必然会存在错误匹配。为了剔除错误匹配，将每组前、正、后视影像的匹配点通过多像前方交会投影到物方空间，物方坐标再反投影到正视影像上，比较反投影像点坐标与相关系数法得到的匹配点坐标。如果小于设定的阈值即试验阈值大小为(6,6)，则保留匹配点，否则剔除掉。经过此过程最终得到的匹配点为正确匹配点，两组影像的匹配结果如图6、图7所示。

图6　第1组影像匹配结果

图7　第2组影像匹配效果

试验结果分析：

1)从图6和图7可以看出两组影像通过本文提出的方法能得到较多的正确匹配点。本文提出的方法是几何约束下的局部匹配方法，与几何约束下的整体匹配方法相比，匹配点数略显不够稠密。本文方法快速获取足够多的正确匹配点，为后续摄影测量数据处理提供支持；

2)第1组影像数据得到更多的匹配点，一方面第1组数据中纹理特征明显。而第2组数据大部分区域的纹理特征相似或重复以致匹配点减少。另一方面是由于后视影像与正视影像之间的交会角较大，导致两组数据中的后视影像和前两张影像的正确匹配率低；

3)本试验所用方法充分利用影像之间的辐射和几何信息。近似核线约束条件大大减小匹配搜索范围，多张影像同时匹配使匹配点之间具有互检查特性，可以有效剔除错误匹配点，提高匹配准确率。

4总结与展望

相对与传统框幅式影像而言，三线阵影像具有高重叠率、高冗余信息等优点，为影像匹配提供充足的影像信息和纹理信息。

鉴于此，本文利用相关系数比值做为评判条件，筛选得到初匹配结果，然后根据筛选条件将三张影像上的部分匹配点通过多像前方交会算出相应地面点坐标，再将其反投影到正视影像上，与其对应匹配点的像素坐标做差值比较，小于阈值条件的保留作为最终匹配点结果。通过试验表明基于物方几何约束的多视匹配方法能够快速得到较多正确匹配点，提高匹配成功率。

物方点坐标与L0影像之间进行坐标转换所用的最佳扫描行算法存在一定的缺陷，搜索出来的扫描行与正确扫描行存在1~2行的误差，并且试验中所用L0影像存在几何变形，这都有可能导致错误匹配的发生。在后续的研究中将在这方面改进。

参考文献：

[1]GRUENA.Developmentandstatusofimagematchinginphotogrammetry[J].ThePhotogrammetricRecord,2012,27(137)：36-57.

[2]纪松.多视匹配策略与优化方法研究[D].郑州：信息工程大学,2012.

[3]张卡,盛业华,孟微波,等.基于多视影像匹配的三维彩色点云自动生成[J].光学精密工程,2013,21(7)：1840-1849.

[4]石宁，马慧云，张云生，等.基于位置传播的ADS40L0级影像最佳扫描行快速搜索算法[J].测绘工程，2015，24(3)：11-15.

[5]JIS,ZHANGYS,FANDZ,etal.Integrationofmulti-viewmatchingmodelsforlineararraydigitalimagery[C]//AutomaticControlandArtificialIntelligence(ACAI2012),InternationalConferenceon.IET,2012：1244-1247.

[6]GABETL,GIRAUDONG,RENOUARDL.AutomaticGenerationofHighResolutionUrbanZoneDigitalElevationModels[J].ISPRSJournalofPhotogrammetryandRemoteSensing,1997,52(9):33-47.

[7]ZHANGLi.AutomaticDigitalSurfaceModel(DSM)GenerationfromLinearArrayImages[D].ETHZurich,Switzerland,2005.

[8]范大昭.多线阵影像匹配生成的理论与算法[D].郑州：信息工程大学,2007.

[9]江万寿.航空影像多视匹配与规则建筑物自动提取方法研究[D].武汉：武汉大学,2004.

[10]张万强，赵俊三，唐敏.无人机影像构建三维地形研究[J].测绘工程,2014，23(3)：36-41.A.Developmentandstatusofimagematchinginphotogrammetry[J].ThePhotogrammetricRecord,2012,27(137)：36-57.