为什么要专门做一次“复盘”
GEO 这个概念被引用得多，被准确引用的少。常见的问题是把论文里的实验结论直接说成“做了就能涨 X%”。这篇内容把论文拆成三层来看：它怎么做的、证明了什么、以及它自己承认没证明什么。
第一层：实验是怎么做的
基准
论文构建了 GEO-bench，包含 1 万条查询，分为 8 千条训练集、1 千条验证集、1 千条测试集。查询来源覆盖九类数据集：MS Macro、ORCAS-1、Natural Questions、AllSouls、LIMA、Davinci-Debate、Perplexity.ai Discover、ELI-5，以及 GPT-4 生成的查询。其中 MS Macro、ORCAS-1、Natural Questions 包含来自 Bing 和 Google 的真实匿名用户查询。
方法
针对每条查询，研究者随机选取一个来源网页，分别应用九种 GEO 方法中的一种，然后比较优化前后的可见度变化。
指标
使用两个指标：位置调整词数（Position-Adjusted Word Count，综合词数与引用位置）和主观印象（Subjective Impression，由 7 个子指标构成，用 GPT-3.5 配合类 G-Eval 模板评分）。所有指标都做了归一化，使一段答案中所有引用的印象值之和为 1。
第二层：论文明确证明的三件事
1. GEO 方法整体优于不做优化
论文指出，其提出的 GEO 方法在 GEO-bench 的全部指标上都稳定优于基线，并且这种优势在不同查询之间是稳健的——尽管查询本身的多样性很高。
2. 补证据类方法效果最明显
引用来源、添加引语、添加统计数据这三种方法在位置调整词数指标上取得 30%—40% 的相对提升，在主观印象指标上取得 15%—30% 的提升。论文的整体表述是：GEO 可以让可见度最高提升约 40%。
3. 呈现方式的改善也有价值
流畅度优化和易理解这两类“文风改造”带来了 15%—30% 的可见度提升。论文对此的解读是：生成式引擎不仅看内容，也看信息的呈现方式。
第三层：论文自己承认的局限
论文设有专门的 Limitations 章节。结合正文表述，有几点值得特别注意：
- **实验环境与生产环境不同。**论文的评估基于自建生成式引擎和部署中的商用引擎的对照实验，不是长期的线上 A/B 测试。论文报告的是相对提升，不是绝对流量。
- **方法效果因领域而异。**论文明确指出有效性随领域变化，因此强调需要领域特定的优化方法，而不是一套通用技巧。
- **评测依赖模型打分。**主观印象指标由 GPT-3.5 按模板评分。论文也提到 G-Eval 分数校准性较差，因此做了归一化处理。
- **优化对象是单一来源。**实验中每条查询只随机优化一个来源网页，现实场景里多个竞争对手可能同时在优化。
由此得到的正确读法
| 可以说的 | 不能说的 |
|---|---|
| 论文在实验条件下观察到可见度相对提升最高约 40% | 做 GEO 能让你的流量涨 40% |
| 补证据类方法在论文里表现最好 | 补证据就一定能被 AI 引用 |
| 方法效果因领域而异，需要适配 | 有一套通用方法对所有行业都有效 |
| 关键词堆砌在论文中几乎无提升 | 关键词堆砌一定会有负面效果 |
为什么这篇“复盘”本身也值得做
这正好是 GEO 论文自己强调的原则：给结论配上来源。当你引用一项研究时，说清它的实验条件、样本范围和局限，比只抛出结论更有价值——无论对读者还是对 AI 都是如此。
原文信息
- Aggarwal、Murahari、Rajpurohit、Kalyan、Narasimhan、Deshpande，《GEO: Generative Engine Optimization》
- KDD ’24，2024 年 8 月 25—29 日，西班牙巴塞罗那
- arXiv:2311.09735，DOI 10.1145/3637528.3671900