跳到主要内容

什么是 GEO(生成式引擎优化):从 KDD 2024 那篇论文说起

GEO 这个概念有明确的学术出处:普林斯顿大学等团队发表于 KDD 2024 的论文《GEO: Generative Engine Optimization》。本文解释它到底定义了什么、用什么指标衡量。

GEO 不是营销圈自造的词

“生成式引擎优化”(Generative Engine Optimization,GEO)这个概念有明确的学术出处:普林斯顿大学、印度理工学院德里分校、佐治亚理工学院与 Allen Institute for AI 的研究者共同完成的论文《GEO: Generative Engine Optimization》,2024 年 8 月发表于第 30 届 ACM SIGKDD 知识发现与数据挖掘会议(KDD ’24,西班牙巴塞罗那)。论文预印本编号 arXiv:2311.09735,DOI 为 10.1145/3637528.3671900。

论文把 GEO 定义为:帮助内容创作者提升其内容在生成式引擎回答中可见度的方法体系。

先理解“生成式引擎”和搜索引擎的差别

论文用“生成式引擎(Generative Engines,GE)”指代那些用大模型聚合、摘要多来源信息来回答查询的系统。它和传统搜索引擎的关键差异在于:

  • 搜索引擎返回一个按相关性排序的链接列表,内容以原样呈现,用户需要自己点进去看。
  • 生成式引擎返回一段合成后的答案,把多个来源的信息融进同一段文字,并在其中嵌入引用。用户可能看完答案就结束,不再点击。

这个差异带来一个直接后果:在传统搜索里,“排名”是清晰且唯一的;在生成式引擎里,可见度变成了一个多维、模糊的概念。

两个可见度指标

论文提出了两个衡量“被引用得怎么样”的指标:

Position-Adjusted Word Count(位置调整词数)

同时考虑你的内容在答案中被引用的篇幅(词数),以及它出现的位置。位置越靠前、被引用的内容越多,得分越高。

Subjective Impression(主观印象)

由 7 个子指标构成,评估引用的整体质量:引用与问题的相关性、引用的影响力、所提供材料的独特性、主观位置(从用户视角看的显著程度)、主观篇幅、用户点击该引用的可能性、以及材料的多样性。论文使用 GPT-3.5 配合类 G-Eval 的评测模板来打分,并把分数归一化以便与位置调整词数做比较。

GEO-bench:一个 1 万条查询的基准

为了系统评估,论文构建了 GEO-bench,包含 1 万条查询,分为 8 千条训练集、1 千条验证集、1 千条测试集。数据来源覆盖了不同类型的真实与合成查询:

  1. MS Macro
  2. ORCAS-1
  3. Natural Questions
  4. AllSouls(牛津大学万灵学院的论文题)
  5. LIMA
  6. Davinci-Debate
  7. Perplexity.ai Discover
  8. ELI-5
  9. GPT-4 生成的查询

其中前三个数据集包含来自 Bing 和 Google 的真实匿名用户查询;后几个则被用来模拟生成式引擎面对的、更需要综合与推理的复杂提问。

核心实验结论

  • 论文提出的 GEO 方法在 GEO-bench 上整体优于“不做优化”的基线。
  • 表现最好的三种方法——引用来源(Cite Sources)、添加引语(Quotation Addition)、添加统计数据(Statistics Addition)——在位置调整词数指标上取得 30%—40% 的相对提升,在主观印象指标上取得 15%—30% 的提升。
  • 整体而言,论文报告 GEO 可以让可见度最高提升约 40%。
  • 方法的有效性因领域而异,需要做领域适配。

三个容易被忽略的限定条件

  1. **这是实验环境的结论,不是生产环境的承诺。**论文在自建生成式引擎和部署中的商用引擎上做了实验,但这不等于任何网站做完这些动作就能获得同样的百分比提升。
  2. **不同方法需要的投入不同。**引用来源、添加引语、添加统计数据需要引入额外内容;其余方法只是改进既有内容的呈现方式。
  3. **传统 SEO 的某些手段在生成式引擎里失效。**论文实测关键词堆砌几乎带不来提升,这一点后文会单独展开。

原文信息

  • 标题:GEO: Generative Engine Optimization
  • 作者:Pranjal Aggarwal、Vishvak Murahari、Tanmay Rajpurohit、Ashwin Kalyan、Karthik Narasimhan、Ameet Deshpande
  • 发表:KDD ’24(2024 年 8 月 25—29 日,巴塞罗那)
  • 预印本:arXiv:2311.09735
GEO 生成式引擎优化 Generative Engine Optimization KDD 2024 GEO-bench