ICLR 2024 reviewer 评分 35668

1 intro

1.1 地理空间预测

• 地理空间预测在各个领域都有广泛的应用
  • 包括贫困估算，公共卫生，粮食安全，生物多样性保护，环境保护。。。
  • 这些预测中使用的变量包括地理坐标、遥感数据、卫星图像、人类移动数据和手机元数据
• 尽管获取高质量协变量至关重要，但由于空间时间覆盖范围有限、成本高昂和获取障碍，这可能会面临挑战

1.2 论文背景

• LLM压缩了其训练语料库中包含的知识，其中包括来自互联网的数十亿或数万亿的数据令牌
  • 论文寻求理解LLM是否拥有地理空间知识，并探索提取此类知识的方法，以提供一套新的地理空间协变量，从而增强各种地理空间ML任务
• 如图1a所示，仅通过查询LLM来描述一个地址，就可以揭示出LLM中包含的大量地理空间知识

• 然而，从LLM中提取这些知识并非易事。
  • 虽然最自然的接口涉及使用地理坐标，如纬度和经度来检索特定位置信息，但如图1b所示，这通常会产生不佳的结果。
  • 困难在于LLM能否理解并解释这些数字坐标与实际位置之间的关系

1.3 论文思路

• 介绍了GeoLLM，一种新颖的方法
  • 通过对LLM进行微调，利用构建的提示与OpenStreetMap的辅助地图数据，有效提取LLM中包含的丰富地理空间知识
  • 通过在图1b中展示的提示策略，可以精确定位一个位置，并为LLM提供足够的空间上下文信息，从而使其能够访问并利用其广泛的地理空间知识
  • 在提示中包括来自附近位置的信息，可以将GPT-3.5的性能提高3.3倍，相比仅提供目标位置的坐标

3 方法

• 抽象地说，论文希望将地理坐标（纬度、经度）和附加特征映射到响应变量，如人口密度或资产财富
• 目标是确定LLM对这些坐标了解多少，以及我们如何使用这些知识更好地预测感兴趣的响应变量

3.1 最小可行地理空间提示

• 一个最小可行的提示需要指定位置和预测任务
  • 描述包括任务的名称和指示可能标签范围的规模
• 论文发现添加任务名称有帮助，但更具体的信息，如数据集名称，通常没有帮助

3.1.1 接近回归的分类任务

• 由于必须通过文本为LLM指定标签，论文使用分类而不是回归
• 论文发现更接近回归的分类任务（例如，0.0到9.9而不是1到5）是有益的，尽管LLM使用softmax
  • 如果原始数据集已经具有近似均匀分布，则简单地将值缩放到0到9.9的范围，并四舍五入到一位小数
  • 如果数据集本身不是均匀的，则将值均匀地分布在100个桶中，以维持均匀分布。然后，每个桶与0.0到9.9的值范围相关联。

3.2 带地图数据的提示

• 上述提示有一个主要限制——LLM难以识别坐标的位置
• ——>确保提示包含额外的上下文，帮助模型理解坐标的位置
• ——>使用地图数据构建了两个额外组件：
  • 地址：详细的反向地理编码描述，包括从邻域级别到国家本身的地点名称
    • 使用Nominatim进行反向地理编码生成地址
  • 附近地点：在100公里半径内最近的10个位置及其各自的名称、距离和方向列表
    • 从Overpass API获取附近地点的名称和位置

3.3 使用语言模型进行微调和推理

• RoBERTaBASE
  • 对模型进行了微调，其所有参数均可训练。
  • 它接受整个提示并输出一个连续值，将其四舍五入到最近的桶
• Llama 2 7B
  • 尽管不适合回归任务，但由于训练了更多数据，它有潜力表现良好
  • 类似于预训练模式，将prompt和label连接，使用无监督学习对Llama 2进行微调
    • 将prompt和对应的ground-truth标签作为一个整体，使用自回归的方式进行微调
    • 论文发现这种无监督学习比使用监督微调效果更好
      • 这意味着模型正在学习生成提示和标签
      • 学习给定坐标生成地址或使用坐标和地址生成附近地点是有益的
  • 推理时：提供提示，并让它生成预测所需的三个令牌（例如，“9”、“。”和“9”）
  • QLoRA能够大大降低计算成本，并仅用3300万可训练参数有效进行微调
    • 由于它还将冻结模型量化为4位，这带来了可能稀释权重中包含的知识
• GPT-2
  • 使用与Llama 2相同的微调和推理过程
• GPT-3.5
  • 通过OpenAI的微调API对GPT-3.5进行微调
  • 与Llama 2类似，提供它提示，并让它生成完成所需的三个令牌

4 实验

4.1 任务

4.1.1 人口密度

• WorldPop提供空间人口数据，覆盖了全世界的人口密度任务
  • 使用了他们的2020年全球无约束拼图，其分辨率为30弧秒（赤道上约1km）
• 为了确保全面代表人口，采用了按人口加权的重要性抽样。这使我们能够捕获广泛的人口范围
  • 如果没有重要性抽样，样本将主要由人口稀少的地区组成

4.1.2  人口相关指数

• 包括了从人口与健康调查（DHS）计划中派生的任务
  • 供了48个国家家庭层面的、全国代表性的有关资产、住房条件和教育水平等属性的数据
  • 使用资产财富指数、女性教育成就、卫生指数和女性BMI

4.1.3  美国人口普查

• USCB 美国人口普查局所称的邮政编码制表区域的人口、平均收入和西班牙裔与非西班牙裔比例的任务

4.1.4  住房价值指数

• 反映了35%到65%百分位范围内房屋的典型价值
  • 也在邮政编码级别使用这些数据
  • 这个数据集也只覆盖美国

4.1.5 数据集的处理

• 当数据集中没有给出明确的坐标时，通过确定相关区域的中心来近似它们
  • 近似每个邮政编码区域的中心
• 使用平方皮尔逊相关系数r²来评估性能

4.2 实验结果

4.2.1 预测结果

4.2.2 关于提示的消融研究

4.2.3 finetune 是否需要？

【部分来源于paper的rebuttal】

• 使用未经微调的基于聊天的LLMs的主要问题是，它们经常拒绝给出答案，特别是在偏远或不太发达的地区
  • 零样本（zero-shot）是不可靠的，所以论文补充测试了一下few-shot的内容
  • 通过为每个测试示例提供10个物理距离最近的训练样本序列，来展示它们的few-shot性能
  • 为了进一步防止模型拒绝回答，我们在提供10个示例之前使用系统消息“你是一个详尽且知识渊博的地理学家”和“你用预测/估计来完成数据序列”
• 微调后的GPT-3.5大幅度超过了GPT-3.5甚至GPT-4