目前针对多模态大语言模型(MLLM)的大多数评测仅围绕小型或合成场景提出静态问题,鲜少测试模型能否在遵循显式几何约束的前提下改变空间布局。
GeoSpatialBench 测试了一个层层递进的空间认知体系:从理解空间关系、经过几何推理,最终进阶到受约束的空间编辑。
- 基于真实 OpenStreetMap 数据构建的 8,400 个测试实例
- 涵盖六个具有多样化地理背景的城市:斯德哥尔摩、巴黎、香港、武汉、底特律和内罗毕
- 包含空间数据库和地理信息系统(GIS)中公认的 28 种空间关系
- 将空间问答(QA)与受约束的几何编辑相结合的任务设计
核心发现#
- 接收 GeoJSON 输入的模型在空间推理上的表现普遍优于接收地图图像的模型,这揭示了一个尚未被充分探索的挑战:如何将地图作为视觉媒介进行精确推理。
- 度量推理(Metric reasoning) 依然是最顽固的性能瓶颈。
- 在顺序关系(ordering relations)上,模型的空间编辑表现较问答任务有所下降,且大多数失败的编辑都至少违反了一项指定的空间约束。
论文指出,显式的空间表征(如空间分词,Spatial Tokenization)是弥合空间识别、几何推理与空间干预之间鸿沟的一个潜在方向。
引用#
@misc{ren2026mindspatialgap,
title = {Mind the Spatial Gap: A Benchmark for Geospatial Reasoning and Constrained Spatial Editing},
author = {Ren, Zheng and Wang, Yanning and Huang, Ziheng and Huang, Fei and Wang, Shiqi and Ye, Ziqian and Yue, Yang},
year = {2026},
eprint = {2610.12881},
archivePrefix = {arXiv},
primaryClass = {cs.AI}
}