论文 | 基础模型遇到亚米级影像水土不服，通用视觉大模型继续训效果挺好
原创
空天感知
空天感知
空天感知
2026年11月8日 11:30
美国
去阅读
导读：地理基础模型大多在 10 米分辨率的 Sentinel 影像上预训练，可真实应用常用的却是亚米级影像。一篇新论文构建了基准 VHR-Bench，用 10 个数据集、12 个编码器系统回答「哪种预训练迁移到甚高分辨率最好」：只在 Sentinel 尺度预训练的模型垫底，SkySense 与 DINOv3 互有胜负，而「先通用、再专用」的继续预训练拿下了全场最高分。
近两年，地理基础模型（GeoFM）成了遥感任务的默认起点：拿一个在海量卫星影像上自监督预训练好的骨干网络，冻结或微调后接下游任务。
但一个容易被忽略的事实是，这些模型「看世界」的分辨率大多停留在 10 米——Sentinel-1/2 与 Landsat 是它们的主要食粮。
而建筑提取、道路制图、灾后损毁评估这类最刚需的应用，用的却是 WorldView 级别的亚米级影像，单栋建筑、单条道路都清晰可辨。预训练尺度与应用尺度差了一个数量级，模型的表征还迁移得过去吗？
Sharma 等人 11 月 5 日提交的这篇 《When GeoFMs Meet VHR》（arXiv:2611.08003）正面回答了这个问题。
01 现有困境：10 米预训练，亚米级应用
论文的出发点，是一个长期存在却少有人系统验证的错位：主流 GeoFM 在中分辨率影像上预训练，而 VHR（甚高分辨率）应用的成像条件与之截然不同——在 10 米影像里，一个像元混合了屋顶、道路和植被；在 0.3 米影像里，同一栋建筑有成百上千个像元，纹理、边缘与几何结构完全是另一套「语言」。
已有的评测也帮不上忙：PANGAEA、GEO-Bench-2 这类综合基准横跨多个分辨率区间，落在 VHR 区间的样本很少——GEO-Bench-2 的 19 个数据集中，只有 4 个在 1.5 米或更细。
VHR 上的座次如何，此前一直被平均数掩盖。归结起来，困境有三：
1. 尺度鸿沟：预训练 GSD 约 10 米，应用 GSD 0.1–1.5 米，地物从「混合像元」变成可逐个辨认的单体。
2. 评测空白：没有一个任务均衡、专为 VHR 设计的基准，模型在这一区间的真实水平无从比较。
3. 选型困惑：做 VHR 任务，到底该选遥感专用模型，还是通用视觉大模型？此前没有受控对比给出答案。
02 基准构建：VHR-Bench 如何设计
作者构建的 VHR-Bench 收录 10 个数据集，全部在 1.5 米 GSD 或更细，横跨五类任务（语义分割、变化检测、回归、目标检测、分类）与八个应用领域。
卫星与航空平台兼有：WorldView-3 的 SpaceNet 2/3（0.3 米，建筑与道路分割）、xView2（灾后建筑损毁变化检测）、法国 FLAIR 2（0.2 米航拍土地覆盖）、SPOT 6/7 的 Open-Canopy（1.5 米，树冠高度回归）、0.1 米航拍的鸟类与牛只检测、光伏板分类、树种分类（PureForest），以及覆盖 15 个国家的 HOTOSM 建筑数据集。
💡 评测协议刻意「苛刻」：12 个编码器全部冻结骨干、只训练下游头部，并在 10% 与 100% 两种标签比例下各测一轮。这样测的是预训练表征本身的迁移力，而非谁的微调技巧更好、算力更足；两种标签比例则分别对应「标注稀缺」与「标注充足」两种真实处境。文中还安排了一组同架构对照——同一个 DINOv3，分别用网络图像与卫星图像预训练，把「数据来源」这个变量单独隔离出来。
12 个编码器按预训练来源分为三档：只用 Sentinel 尺度影像的、包含遥感高分辨率影像的（如 SkySense），以及大规模自然（网络）图像的（如 DINOv3）。同场竞技之下，三档的座次出乎不少人意料。
03 实验结果：座次如何排
- 标签稀缺时，遥感专用模型领先
• 仅用 10% 标签时，SkySense 以 65.8 分居首，DINOv3 ViT-L（网络图像预训练）64.0 分，其卫星预训练版本 63.4 分；
• 只在 Sentinel 尺度上预训练的编码器整体垫底——在 RGB 输入下，「遥感出身」并不自动等于适合遥感任务，尺度错位比领域错位更致命。
- 标签充足时，自然图像模型反超
• 标签给满（100%）后，DINOv3 ViT-L 以 69.5 分反超 SkySense 的 69.2 分，两者咬得很紧；
• 这并不奇怪：VHR 影像在纹理、尺度与细节上其实更接近自然图像，通用视觉大模型的表征天然对口。两种预训练的长处是互补的——领域预训练赢在样本效率，通用预训练赢在表征上限。
- 真正的胜负手：先通用，再专用
顺着互补性，作者做了关键一步：把 DINOv3 ViT-L 在 102 万张留出的 VHR 影像切片上继续自监督预训练一程，再按完全相同的协议复测：
• 全标签下拿到 70.0 分，全场最高；低标签下与 SkySense 基本持平（两种比例平均 67.6 对 67.5）；
• 只是换了权重，推理参数与算力零增加；
• 而它的参数量（约 3 亿）只有 SkySense（约 6.6 亿）的一半左右。
💡 小结
作者把这条路线概括为 generalize-then-specialize（先通用、再专用）：强的通用视觉预训练不是 VHR 预训练的替代品，而是它最好的起点。对做亚米级应用的人，这篇的实操含义很直接——选骨干时别迷信「遥感专用」，先拿通用大模型打底、再用自有 VHR 数据做一轮短程继续预训练，可能是当前性价比最高的路线。
论文信息
When GeoFMs Meet VHR: Benchmarking Foundation Models on Very High Resolution Earth Observation Imagery。
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论