提示工程

Prompt engineering, also known as in-context prompting, refers to methods for how to communicate with LLM to steer its behavior for desired outcomes without updating the model weights. It is an empirical science and the effect of prompt engineering methods can vary a lot among models, thus requiring heavy experimentation and heuristics.

提示工程（Prompt Engineering），又称上下文提示（In-Context Prompting），指的是如何与 LLM 沟通以引导其行为产生期望结果，而不更新模型权重的方法。它是一门经验科学，提示工程方法的效果在不同模型间差异很大，因此需要大量实验和启发式经验。本文仅聚焦自回归语言模型的提示工程。其核心目标是对齐（alignment）与模型可控性（steerability）。

基础提示

零样本（Zero-Shot）

Zero-shot learning is to simply feed the task text to the model and ask for results.

零样本学习就是直接把任务文本喂给模型并要求给出结果。例如情感分析直接给一句评论，让模型输出"正面/负面"。

少样本（Few-Shot）

Few-shot learning presents a set of high-quality demonstrations, each consisting of both input and desired output, on the target task. As the model first sees good examples, it can better understand human intention and criteria for what kinds of answers are wanted.

少样本学习向模型展示一组高质量示例，每个示例都包含输入和期望输出。由于模型先看到好的例子，它能更好地理解人类意图和"想要什么样的答案"。因此 few-shot 通常优于 zero-shot，但代价是消耗更多 token，长文本时可能触及上下文长度上限。

Many studies observed that choice of prompt format, training examples, and the order of the examples can lead to dramatically different performance, from near random guess to near SoTA. Zhao et al. (2021) proposed that several biases contribute to such high variance:

多项研究发现，提示格式、训练示例的选择、示例的顺序会导致性能剧烈波动——从接近随机猜测到接近当前最优（SoTA）。Zhao 等（2021）指出 LLM 存在几种偏差：

• 多数标签偏差（Majority label bias）：示例中标签分布不均衡时，模型偏向出现频率高的标签。
• 近因偏差（Recency bias）：模型倾向于重复示例末尾出现的标签。
• 常见 token 偏差（Common token bias）：LLM 更倾向产生常见而非稀有的 token。

示例选择技巧

• 语义相似（k-NN）：用嵌入空间中的 k-NN 聚类，选择与测试样本语义相似的示例（Liu 等 2021）。
• 图方法保证多样性：Su 等（2022）基于嵌入余弦相似度构建有向图，鼓励挑选多样且有代表性的样本。
• 对比学习训练检索器：Rubin 等（2022）针对每个训练对，用 LM 条件概率打分，取 top-k/bottom-k 作为正负样本做对比学习，训练专门的示例检索嵌入。
• 不确定性主动学习：Diao 等（2023）挑出多次采样中分歧大/熵高的示例再做标注，用于 few-shot 提示。

示例排序技巧

通用建议：保持示例多样、与测试样本相关、并随机打乱顺序，以避免多数标签偏差和近因偏差。增大模型或增加示例数并不能降低不同排列带来的方差。验证集有限时，应选择使模型预测不极端失衡、也不过度自信的顺序（Lu 等 2022）。

指令提示（Instruction Prompting）

The purpose of presenting few-shot examples is to explain our intent to the model. However, few-shot can be expensive in terms of token usage. So, why not just give the instruction directly? Instructed LM finetunes a pretrained model with high-quality tuples of (task instruction, input, ground truth output) to make LM better understand user intention and follow instruction.

在提示中放 few-shot 示例的本意是"用示范来表达意图"。既然如此，为什么不直接给指令？指令模型（如 InstructGPT）用大量高质量 (任务指令, 输入, 正确输出) 三元组微调预训练模型，让模型更好理解用户意图并遵循指令，常用方法是 RLHF。与指令模型交互时，应详细、具体、精确地描述任务要求，说要做什么而不是不要做什么。

指令还可以通过指定目标受众来引导：给 6 岁孩子解释量子物理；或指定安全要求：用工作场合安全的语言。上下文指令学习（Ye 等 2023）把 few-shot 与指令提示结合，在提示中放入跨任务的多个示范，每个示范含指令、输入、输出。

自洽性采样（Self-Consistency）

Self-consistency sampling is to sample multiple outputs with temperature > 0 and then selecting the best one out of these candidates. A general solution is to pick majority vote.

自洽性采样（Wang 等 2022）以温度 > 0 采样多次得到多个输出，再从中选最佳。通用做法是多数投票（majority vote）；对于编程这类易于验证的任务，可直接跑解释器用单元测试验证正确性。

思维链（Chain-of-Thought, CoT）

Chain-of-thought prompting generates a sequence of short sentences to describe reasoning logics step by step, known as reasoning chains or rationales, to eventually lead to the final answer. The benefit of CoT is more pronounced for complicated reasoning tasks, while using large models (e.g. with more than 50B parameters).

思维链（CoT）提示（Wei 等 2022）生成一系列短句，逐步描述推理逻辑（称为推理链/rationales），最终导出答案。CoT 的收益在复杂推理任务 + 大模型（如 50B+ 参数）时最为明显；简单任务收益甚微。

CoT 的两种主要类型

• Few-shot CoT：给模型几个示范，每个含人工（或模型生成）的高质量推理链。
• Zero-shot CoT：用一句自然语言（如 Let's think step by step）显式鼓励模型先生成推理链，再用 Therefore, the answer is 引出答案（Kojima 等 2022）。

技巧与扩展

• 自洽性：采样多个不同答案后多数投票，提升推理准确率（Wang 等 2022a）。
• STaR（自教推理器）：只保留导出正确答案的推理链，用它们微调模型并迭代至收敛（Zelikman 等 2022）。
• 复杂度一致性：优先在更复杂的推理链中投票（Fu 等 2023）；用换行 \n 分隔推理步骤优于"step i"、句号或分号。
• Self-Ask：反复提示模型追问后续问题，逐步构建思维过程，后续问题可由搜索引擎回答（Press 等 2022）。
• ReAct / IRCoT：把迭代 CoT 与查询 Wikipedia API 检索结合，将检索到的实体和内容加回上下文（Yao 等 2023；Trivedi 等 2022）。
• 思维树（Tree of Thoughts）：CoT 的扩展，每步探索多种推理可能，形成树结构，用 BFS/DFS 搜索，状态由分类器或多数投票评估（Yao 等 2023）。

自动提示设计

Prompt is a sequence of prefix tokens that increase the probability of getting desired output given input. Therefore we can treat them as trainable parameters and optimize them directly on the embedding space via gradient descent.

提示本质是"一串前缀 token，用来提升给定输入下得到期望输出的概率"。因此可以把它当作可训练参数，直接在嵌入空间用梯度下降优化——例如 AutoPrompt、Prefix-Tuning、P-tuning、Prompt-Tuning。趋势是从 AutoPrompt 到 Prompt-Tuning，设定越来越简化。

APE (Automatic Prompt Engineer) is a method to search over a pool of model-generated instruction candidates and then filters the candidate set according to a chosen score function to ultimately choose the best candidate with highest score.

APE（自动提示工程师）（Zhou 等 2022）在一池模型生成的指令候选中搜索，按打分函数过滤，最终选出得分最高的指令。它先用少量输入-输出对让 LLM 生成指令候选，再用蒙特卡洛搜索生成语义相近的变体来改进最佳候选。

增强型语言模型（Augmented Language Models）

检索（Retrieval）

Often we need to complete tasks that require latest knowledge after the model pretraining time cutoff or internal/private knowledge base. Many methods for Open Domain QA depend on first doing retrieval over a knowledge base and then incorporating the retrieved content as part of the prompt.

很多任务需要模型预训练截止时间之后的最新知识，或内部/私有知识库。这类开放域问答的标准做法是：先在知识库上做检索，再把检索到的内容作为提示的一部分。整个过程准确率取决于检索质量与生成质量两者。

Lazaridou 等（2022）用 Google Search 检索：取 20 个 URL 抽取纯文本，按 6 句一段切分，用 TF-IDF 余弦相似度排序段落，只把最相关段落放进提示。答案重排有三种打分：RAG 式、噪声通道（Noisy channel）、专家乘积（PoE），实验中 PoE > Noisy channel > RAG。一个有趣发现：仅靠内部检索（先让模型生成关于某主题的知识再作答）也有收益（Liu 等 2022）。

编程语言（Programming Language）

Both PAL and PoT ask LLM to generate programming language statements to resolve natural language reasoning problems, hence offloading the solution step to a runtime such as a Python interpreter. Such setup decouples complex computation and reasoning.

PAL（Gao 等 2022）和 PoT（Chen 等 2022）都让 LLM 生成编程语言语句来解决自然语言推理问题，把求解步骤交给 Python 解释器等运行时。这种设定把复杂计算与推理解耦，依赖模型有足够好的编程能力——也算今天"代码执行工具"的雏形。

外部 API（External APIs）

TALM（Parisi 等 2022）是带文本到文本 API 调用的语言模型，采用自举（self-play）方式迭代扩展工具使用数据集并微调，本质上模仿了 RL 过程。Toolformer（Schick 等 2023）让 LM 通过简单 API 使用外部工具，自监督构建、每种 API 只需少量示范。其工具箱包括：计算器（补足精确数学）、问答系统（缓解幻觉）、搜索引擎（提供最新信息）、翻译系统、日历。

Toolformer 的训练流程：① 用 few-shot 让预训练模型给数据集标注潜在 API 调用；② 基于概率筛选 top-k 调用位置；③ 用自监督损失判断 API 调用是否真的帮模型预测后续 token（对比有/无 API 结果的损失差）；④ 仅保留有帮助的调用，在增强数据集上微调。当前 Toolformer 不支持链式工具调用（一个工具的输出作为另一个的输入）和交互式使用。