聚焦成像主要针对SAR而言。经典的SAR成像处理都是基于卫星成像几何物理模型构建严密的系统传递函数，基于此推导兼顾效率和精度的成像算法，如经典的BP算法、RD算法（Bennett等，1979）、CS算法（Papoulis，1968）、Omega-K算法（Bamler，1992）等。随着SAR卫星功能不断拓展，发展出滑动聚束、滑动扫描、方位/距离多波束等新的体制模式，从而针对性的提出了许多改进的成像算法，包括NLCS（Qiu等，2008）、高阶扰动变标（Wei，2001）等，以修正原有算法中近似误差项。随着分辨率的进一步提升和参数空变效应的不断凸显，逐点的BP算法得到了关注，发展出了CMBP等时频混合的快速算法（Meng等，2015，2017）。

上述成像处理算法解决了模型参数已知条件下的精确聚焦问题，然而轨道、系统、大气以及地面目标自身均存在不确定的误差因素，会引起聚焦精度下降。此时，需研究参数估计和自聚焦的方法，这一直是SAR成像处理中的难题。现有的自聚焦方法包括Mapdrift、PGA（Wahl等，1994）、以及基于稀疏的处理方法（Chen等，2017），其中参数化稀疏处理的方法还可获得图像增强的效果。但对于高阶复杂误差则目前仍无法有效聚焦，例如，海面船只具有俯仰、偏航、横滚和起伏等复杂多变的运动，目前的聚焦算法无法实现空间非一致性运动误差的准确估计和补偿，对于这类复杂运动引起的高阶非一致性误差的估计和目标自聚焦，仍是待突破的难题（表1）。

在几何和辐射校正方面，已发展出针对不同类型卫星的经典物理模型。

在几何校正方面，SAR主要基于距离—多普勒模型，光学主要基于有理函数模型RFM（Rational Function Model）进行几何校正。经过几十年的发展，上述模型已相当成熟，随着分辨率和几何精度的提升，近年来的研究重点在于如何更加精确的对各种误差因素进行建模、标定和补偿。在光学方面，Grodecki等（2003）基于IKNOS卫星影像数据开展严密几何模型和有理函数模型的对比，有理函数模型在更为稳定，在定位精度上也达到了严密几何模型相似的效果。Li等（2014）将有理函数模型的像方误差分为随机部分与函数部分，基于最小二乘法迭代求解RFM像方误差修正参数，提升几何定位精度。潘红播（2013）等将资源三号原始的分配CCD投影为虚拟CCD，消除投影误差以及交会误差之后再生成有理参数模型，提高了模型的精度。在SAR方面，最早Lebera等（1973）提出一种零多普勒模型可用于机载SAR几何校正。Wivell等（2002）给出一种基于DEM与RD模型的SAR影像正射校正方法，该方法通过建立卫星的位置与速度随时间的变化运动方程进行求解。国内方面，张永红等（2002）提出引入外部DEM作为辅助数据，在构建在RD模型的基础上，提升SAR影像的几何定位精度提升。丁赤飚等（2017）分析了高分三号SAR影像的几何定位精度，并证明精细处理后精度可接近3 m。上述方式主要还是基于人工外场定标和外部支撑数据实现高精度几何校正。

在辐射校正方面，SAR的辐射校正包括系统增益控制校正、接收链路增益校正、天线方向图校正、处理增益校正、斜距衰减校正等，主要基于经典的雷达方程建立全链路辐射误差校正模型，并在此基础上通过人工定标器测量得到定标常数，用该常数校正后便可从图像的像素值得到地物散射值。光谱辐射校正主要包括传感器灵敏度特性、光照条件差异、大气校正、地形校正等，目前主要基于经典的辐射传输模型基础上基于大气、地形等外源数据进行校正，并通过人工外场定标得到辐射定标常数值。

随着卫星数量和卫星影像资源不断丰富，单星或单载荷的成像处理往往精度有限，利用多星多载荷综合开展成像处理成为重要的研究与发展趋势。

在成像处理方面，为简化系统的设计和维护，德国DLR等提出多模式一体化处理算法框架（Breit等，2004），在统一的成像算法框架下，通过接入不同的功能模块，用同一套软件实现条带、滑动聚束、滑动扫描模式的成像，实现成像算法框架的一体化。多种成像模式虽然在分辨率、测绘带宽等性能上有很大差别，但由于星地基本的几何关系是相同的，对某一目标来说，各模式的多普勒历程并没有本质区别，对多模式信号进行处理的关键在于如何有效地解决信号混叠问题。目前有分子孔径处理方法、时/频域扩展技术方法等（Chen等，2012）可以高效地处理多模式的回波数据。通用的SAR多模式一体化成像处理算法通过消除多模式SAR回波时频历程的差异，简化处理算法设计的复杂性，使多模式成像算法形成系统的统一框架，方便系统设计和维护的同时也可以节约硬件成本提高算法运行效率，是重要的发展方向。

在几何校正方面，随着卫星影像的丰富，在一个地区覆盖有多星、多传感器的影像，利用异源影像交叉定标或联合平差，引起了国内外学者的兴趣。Li等（2007）利用佛罗里达地区的IKONOS和QuickBird立体像对和航空影像，开展基于RFM的区域网平差，发现单张高精度的航空影像即可改善IKONOS和QuickBird立体像对的定位精度。Tang等（2016）引入高精度Pleiades-1卫星影像，并在平差解算时考虑主导定位精度的卫星影像RPC参数和连接点坐标，使资源三号和SPOT-7影像的无控平面定位精度由16 m和6 m提升至5 m和2.5 m。Jeong等（2015）利用韩国大田地区的IKONOS、QuickBird和KOMPSAT-2卫星影像，进行不同影像组合下基于RFM的区域网平差试验。结果表明，基于多个光学卫星影像的联合定位可有效改善平面定位精度，但不一定能提高高程精度，尤其在影像弱交会的情况下，因此需要对影像数据进行筛选。利用多个SAR卫星影像进行联合平差实现几何精度提升的研究也已有不少。Bresnahan等（2016）分别基于Cosmo-Skymed卫星影像中的6景Spotlight和4景StripMap成像模式数据联合几何校正，结果表明定标后的几何定位精度优于4 m。吴颖丹等（2012）利用四川地区的2景ENVISAT ASAR影像和１景Radarsat-1影像，基于不同的控制点布设方案，进行基于严格模型和基于RFM模型的区域网平差，平面和高程精度分别为35 m和25 m左右。吕冠南等（2018）仅用5个控制点完成北京、天津、河北地区的5景GF-3影像、3景TanDEM-X以及3景TerraSAR-X的联合几何定标。Jiao等（2019）提出一种新的斜距修正模型和误差加权策略，基于多景GF-3数据提升联合定位精度。以上多星联合几何校正仅限于同源卫星，由于SAR影像和光学影像具有截然不同的成像几何，其联合定位挑战更大。为此，国内外学者也开展了异源联合几何校正的研究。Zhang等（2011）将RPC模型用到SAR/光学立体像对的定向中，证明在合理布设控制点的条件下，基于RPC模型的SAR-SAR、SAR-SPOT影像对可达到1 m的平面/高程精度。程春泉等（2017）建立像方补偿参数先验精度信息的RFM光学/SAR平差模型，用12景TerraSAR和12景SPOT-5影像进行区域网平差试验，发现少量SAR影像即可将区域网无控制定位精度大幅提升至平面6 m和高程4.2 m。

在辐射校正方面，已有部分多传感交叉辐射定标的研究。Thome等（2013）将EO-1搭载的ALI和Hyperion同ETM+和MODIS进行交叉对比研究，发现ETM+辐射误差小于10%。Helder等（2013）利用MODIS数据和Hyperion数据，构建Libya4的定标场地模型，实现了Landsat卫星的时间序列定标。国内邵琦等（2017）对Landsat 5 TM、Landsat7 ETM+及Landsat 8 OLI交叉定标，得到不同遥感器间的辐射性能差异。杨磊等（2015）对高分一号和Landsat8数据的交叉定标建模，获取有效的定标系数。Zhang等（2018）提出基于ASTER和Landsat ETM+的时间序列定标方法，以内蒙巴丹吉林沙漠作为研究区，实现HJ卫星CCD相机的在轨辐射定标。

综上，目前在多星多载荷成像处理方面，或以一个已定标的卫星影像作为基准来校正另一个影像，或基于多影像各自成像物理模型的联合解算从统计上减小误差。当多星同时存在待标定的参数时，要如何一体化进行误差参数标定和校正，相关研究还较少，尚缺乏一套通用的、可兼容各种卫星各类处理的一体化处理思路和方法。未来多星一体化成像处理是一个值得深入研究的方向。

如上文所述，经典遥感要素信息提取通常针对不同要素或任务设计专用模型或方法，其研究问题可大致归纳为两类，一是遥感数据和要素特性分析，以此为基础构建遥感数据要素特征/特性体系，为后续模型构建提供基础依据；二是遥感专用模型构建，即在通用模型或方法的基础上，构建符合遥感领域知识或数据特性的信息提取模型，提升其在遥感要素信息提取中的应用性能。

由于遥感数据获取和成像方式的特殊性，遥感数据和要素特性分析重点聚焦于成像特性（如电磁波散射机制）、影像表观特性（如光照、纹理等）、要素分布特性等的分析，以此为基础进行数据特性信息提取或数据仿真。Kusk等（2016）和Hansen等（2017）构建了一套针对SAR影像仿真方法，对成像过程中的地形、噪声等进行仿真，并通过3D CAD对不同地物进行建模。Yan等（2019）面向点云数据在三维空间上对舰船目标进行建模，通过投影变换生成仿真舰船数据。Ma等（2018）设计了一种可增强样本真实性的损失函数，可对模型的生成网络和判别网络联合约束。Zhan等（2017）和Zhu等（2017）面向高光谱图像分类，构建了生成对抗分类网络模型。Zhang等（2018）提出了适用于飞机目标识别的条件生成对抗网络模型，实现了飞机目标的高精度仿真。

遥感专用模型构建方面，传统研究主要针对要素多尺度、类间分布规律等特性进行相应模型结构或信息提取流程，增强传统模型或方法面向遥感数据的适用性。Zhou等（2018）构建了面向高光谱影像的深度模型，通过使网络聚焦源域与目标域的共性特征，并辅以先验信息，提升了高光谱影像分割效果。Luo等（2018）提出对类内分布施加最大均值差异约束进行域间特征对齐来用于高光谱分割任务。在基于度量学习的方法方面，Rao等（2019）面向高光谱地物要素分类，构建了一种可自适应选择距离度量方式的分类器，提升了分类精度。Kampffmeyer等（2016）针对土地监测任务中类别存在的要素分布不均衡问题，突出基于区域分组和像素分组策略的方法。Liu等（2017）针对光学遥感图像中目标多尺度特性，采用沙漏型编解码结构提取更丰富的多尺度上下文信息来提升模型分类精度。

现有方法大都基于单一源数据的仿真或特性信息提取，而在多要素信息并行提取中，往往面临同一任务中需要结合不同的特性信息，如在目标检测时同时考虑目标多尺度、多角度、目标类型分布、多时相数据纹理变化等多种特性，目前尚缺乏对各类特性信息的统一分析和提取框架，造成各类特性融合分析存在要素约束尺度不统一、特征共享互补难等问题，制约了一体化要素分析和信息提取的发展，因此亟需研究统一模型框架下的多任务多要素信息并行提取方法。

在多要素信息并行提取方面，近年来的主要研究方向是如何在同一个模型中并行实现目标或要素类型、位置、深度等多类信息的提取，期望通过相关信息间信息共享表示，提升模型的整体泛化性能。针对上述“多入多出”应用场景，现有方法主要聚焦于专用模型近输出端的多要素数据特征共享和和输入端的多模态数据融合两方面问题（表2）。

多要素特征共享方面，根据参数共享方式的不同，主要分为两类方法，一是基于硬参数共享（hard-parameter sharing）的方法，即多类要素提取模型共享同一个主干网络，通过在模型输入、输出端融合多个不同分支模型实现多任务的预测；二是基于软参数共享（soft-parameter sharing）的方法，即面向不同要素提取的多个独立网络通过共享连接的方式进行融合，从而实现多个类信息的并行输出。

基于硬参数共享的方法在主干网络中共享多要素特征，然后使用一组独立的头处理任务。Liebel等（2020）通过将深度估计和建筑物分类两个任务共享编码器，同时各自独享解码器，实现基于遥感图像的城市建设情况评估。Papadomanolaki等（2019）将地物要素分类模型的基础上并行地加入一个解码器分支进行图像重建，其重建结果作为一种正则化约束地物要素分类的结果。Wang等（2020）使用共享编码器和私有解码器的模型结构完成地物要素分类、深度估计和边缘检测3个任务，其中边缘检测作为辅助任务用于在特征空间和输出空间对另外两个主任务进行正则化。Khalel等（2019）提出在共享编码器的基础上实现图像锐化和地物要素分类两个任务。Rosa等（020）提出了一种基于全卷积回归网络的多任务学习方法，用于农作物的种植和监控。

基于软参数共享的方法首先利用多个网络进行初始任务预测，然后利用这些初始预测的特征，以共享连接或递归的方式进一步改善每类要素信息的输出。Volpi等（2018）针对地物要素分类任务，通过输入原始图像和条件随机场建模数据，分别学习类别内部相似度预测和边界值预测两个独立的任务分支，实现利用多任务框架提升地物要素分类精度。Zhang等（2019）针对极化SAR的复数型数据，将幅值和相位提取作为模型的输入，使用中间分类器对各自独立的特征提取过程进行约束，从而提升地物要素分类精度。Shi等（2020）设计了一种用于高光谱图像地物要素分类的多任务集成学习模型，将光谱特征子空间的生成归结为一个多任务优化问题，并行寻找多个分类器的最优特征子空间。Zhang等（2016）针对高光谱图像的目标检测，使用光谱分组策略探索谱间相关性，相邻波段间的光谱相似性作为任务的相关性约束，从而提升目标检测精度。Li等（2015）提出超像素稀疏表示分类方法，通过多任务特征融合，结合不同特征的互补信息，突出空间相似区域内像素的主要模式，增强超像素的识别能力。

此外，不同任务的输入数据往往呈现出多模态的特点，如可见光图像数据含有丰富的纹理信息、高程数据能反映地物目标的三维特性、矢量数据包含了不同地物的拓扑结构特性，通过各类模态数据的有效融合分析，有望提升各类任务模型的泛化性能。Chen等（2019）在单分支卷积网络中完成了多模态特征的多尺度融合，实现了基于多模态数据融合的航空影像地物要素分类。Longbotham等（2012）通过利用多时相和多模态图像检测洪水泛滥地区，获得了较单模态图像更好的效果。Fernandez等（2018）提出了一种新的基于主题的图像融合框架，用于融合合成孔径雷达和多光谱成像数据进行无监督地物要素分类。Benson等（2017）提出了一种森林生物量和平均冠层高度估计方法，该方法仅需少量地面特性辅助数据即可有效提升三维场景的估计精度。

上述方法虽初步实现了在同一框架下多要素信息的并行提取，但本质仍是单一类型输入数据下多个专用模型或网络分支的叠加，而不同类型、不同来源的遥感数据往往存在不同的维度特性，现有方法尚难以在统一框架下实现不同维度多要素输入的融合分析，使其进一步提升性能的空间有限，同时在进行不同成像条件下的数据解译或新任务扩展时，由于特征域分布的差异容易导致模型综合性能大幅下降。此外，现有多模态数据处理方法多针对地物要素分类等单一任务，因此需探究如何实现多模态数据多任务学习，在多任务模型构建过程中充分融合多模态数据的各自优势以进一步提升性能。

针对高分辨率下高维耦合成像参数估计困难的问题，一个可行的思路是创建嵌入生成对抗网络的成像物理模型，以不同成像误差参数和大量存档数据为输入，通过成像物理模型得到大量的半物理仿真数据，建立以成像误差参数为标签的仿真数据集作为训练集。在此基础上构建生成对抗网络，习得仿真结果和高维误差参数之间的回归关系。从而，在应用阶段，对于实测数据，可以通过训练好的网络预测得到实测数据对应的比较准确的误差参数估计值。应用这些成像估计得到的成像参数，就可以在成像物理模型中进行很好地校正，从而可以得到优质的成像结果（图9）。

该方案具有良好的开放性和通用性。以SAR为例，接收到的信号可以概要表示为

式中，S(i,j)为第i个时刻接收到的一帧信号的第j个采样，g(*)为系统传递函数，σ(x,y,z)为目标后向散射系数，(x,y,z)为目标空间位置，t,η为对应于微波传播速度的快时间和对应于卫星飞行速度的慢时间，vv,ss,θp为卫星的位置、速度和姿态参数，A,?分别为SAR系统相关的幅度和相位参数，Pt为发射功率，Ga(θ,φ,θp)为天线增益随角度的变化和受姿态的影响，λ为波长，rgra分别为距离向和方位向分辨率，Da为接收天线面积，R为卫星到目标的距离，LsysLatmo表示系统和大气带来的损耗。

成像的过程，就是由S(i,j)恢复σ(x,y,z)的过程，也即

式中，h为g的逆函数。成像处理的关键在于如何构造该逆函数，以及如何高精度地获取h的各个参数。经过长期发展，对于各类卫星而言，前者已经较好解决，重点需要突破后者。

为验证该思路的可行性，对基于对抗学习的多通道SAR相位误差估计进行初步试验验证。方位多通道SAR成像处理中，通道间的相位误差是影响成像质量的关键因素。卫星姿态、接收通道、天线等多种因素会导致通道间相位误差，该误差会造成图像中存在虚假目标，影响解译应用。随着通道数的增加，待估计量的空间维度升高，相位误差估计难度随之增大。本文采用上述技术思路，通过构建生成对抗网络，实现了误差的估计，并在低信噪比下依然具有较好的估计性能（Cui等，2020）。在网络训练阶段，设置场景和不同通道误差仿真得到不同通道误差下的回波，将其用于训练，使网络学习到回波与通道相位误差之间的对应关系。在应用阶段，将网络应用与实测回波之上，测到该实测回波对应的通道高维相位误差。

图10和表3给出了信噪比10 dB和-5 dB下的通道相位误差估计结果，可见该方法在通道达到8，且信噪比只有-5 dB时仍然具有很好的估计性能，相位估计精度达到1°以内。

针对多模态数据下的多任务信息提取，一个可行思路是创建可持续学习的、记忆保持的多任务特征共享网络模型，并引入小样本增量训练机制，实现多模态数据下多要素的并行提取，解决新任务加入或动态变化，导致原有旧任务学习精度难以保持、需要全样本重新训练的难题，思路如图11所示。

对于多模态输入，本文通过特征共享层学习多模态下目标的共性特征，在模型末端设置面向不同任务的分类器，实现多任务的高精度输出。此外，通过在模型中嵌入记忆保持单元，对网络学到的多任务的特征进行存储，以对抗新任务到来时网络的遗忘问题。设计多模态联合优化凸非负矩阵因子，实现在同一个目标函数中对多模态数据的处理，利用多源数据中目标、场景之间的相似性减少噪声的影响，提升多模态数据关联特性。

具体为：对输入的N个模态，令Xi表示模态i的特征，对模态i构建内部损失函数L(Xi,H)，该损失函数考虑模态i的内部特性关系。构建指示矩阵H连接N个模态，该矩阵融合N个模态目标、场景间的特性关系，指导多模态数据的对齐、信息扩充，构建联合优化模型：

式中，λ表示线性组合系数。定义损失函数L(Xi,H)如式（4）

式中，H为非负矩阵，为便于解释，使Fi=XiWi，则上式变为

式中，Wi和H为非负矩阵，这一约束为凸非负矩阵因子化。F是Xi中每一列的凸组合，反映数据聚类中心点。Wi中每一列的元素值表示每一个数据对于该聚类中心的重要性。H为指示矩阵，表示每个数据属于哪个聚类中心，其每一行中最大元素所在的列表示该数据属于这一聚类中心。当加入新任务时，本文构建如下元学习增量学习机制：

设模型共享参数为φ，现有N个任务对应的分类器参数为θ=θii=1N，其中θi表示第i任务对应的分类器参数，模型T对输入图像X的预测为

对于第N+1个新任务，其对应的分类器参数为θN+1，此时的分类器参数为θ''=θii=1N+1，此时，模型对于输入图像X''的预测为

这里，采用元学习器MP对θN+1进行预测，MP以原有任务的分类器参数θ=θii=1N以及第N+1任务的特征为输入，输出第N+1个任务的分类器参数：

从而得到新的预测模型T''，此时的目标函数如下式，其中Y''为对应的标签：

则，整个模型的联合目标函数为

式中，β控制对新任务的学习。

为验证该思路的可行性，本文利用多模态影像开展多任务信息提取初步试验验证。输入数据选用光学Worldview遥感影像（分辨率0.3 m），与SAR高分三号遥感影像（分辨率1 m），同时进行目标检测与语义分割两项任务。试验结果如图12和表4所示。对比试验结果可得，仅使用单模态数据的提取结果中存在较多缺失信息，通过联合使用多模态数据，可提升模型目标检测与语义分割中的效果。