系统提示词学习：安德烈·卡帕西对人工智能训练下一范式的展望
人工智能发展领域的领军人物、前特斯拉人工智能总监安德烈·卡帕西（Andrej Karpathy）最近提出了一个看似简单的想法，引发了讨论：大型语言模型（LLM）的学习方式，也许我们一直忽略了一个完整的范式。他提出的“系统提示词学习”不依赖于更多数据或更深的网络，而是采用一种更聪明的方式，通过类似人类记忆和推理的可编辑指令来引导模型。
在人工智能投资依赖于突破性进展、超越暴力式预训练和昂贵的微调的当下，这个源自 Claude 近 17000 字系统提示词背后机制的想法，引发了关于如何更高效、更负责任地扩展人工智能的关键问题。
预训练、微调……然后呢？
当前的人工智能训练主要依靠两种重量级策略：
- 预训练：LLM 吸收大量文本，以建立对语言和世界的通用理解。
- 微调：通过有监督的示例或强化学习来增强特定行为，通常与人类反馈对齐（RLHF）。
基于人类反馈的强化学习（RLHF）是一个用于训练 AI 模型的、特别是大型语言模型使其更好地符合人类偏好的多阶段过程。它通过使用人类反馈（通常是对不同模型输出进行排序）来创建一个奖励模型，然后该模型指导 AI 通过强化学习进行后续学习。
这两种方法都会改变模型的内部参数。但卡帕西指出了一个这些方法忽视的人类学习特质：我们学习时通常不会“重新连接”我们的大脑。我们会记笔记。我们会给自己留下明确的提醒。我们通过改变内部指令而不是核心“线路”来适应。
系统提示词学习借鉴了这一原则。它建议编辑模型的系统提示词——一组持久的指令，塑造模型跨任务的行为——而不是用梯度编辑权重。在这个框架下，LLM 理论上可以书写、改进和更新自己的问题解决策略——就像记个人笔记本一样。
Claude 近 17000 字的“说明书”：转变背后的火花
卡帕西的提议并非纯理论。它源于一个真实世界的例子：Anthropic 的 Claude 模型，其系统提示词长达近 17000 字。这个超级提示词编码了从道德界限（例如，避免受版权保护的歌曲歌词）到回答问题的详细策略（例如，如何计算单词 strawberry 中的字母数）的一切信息。你可以在这里查看完整的 Claude 系统提示词。
表 1：Claude 系统提示词的特点和组成部分
| 特点 | 详情 |
|---|---|
| 大小 | 约 16,739 字 (110kb) |
| Token 长度 | 据报道约 24,000 token |
| 对比 | 远大于 OpenAI 的 o4-mini (2,218 字, 15.1kb) |
| 关键组成部分 | |
| 当前信息 | 会话开始时提供日期和上下文信息 |
| 行为准则 | 指导回应格式和交互风格的指令 |
| 角色定义 | 确立 Claude 的身份和操作参数 |
| 工具定义 | 最大组成部分；使用 MCP 服务器工具的指令 |
| 安全参数 | 处理潜在有害请求的指导 |
| 技术指令 | 计算字数/字符数和格式化的指南 |
| 目的 | 作为 LLM 与用户交互的“设置” |
| 开发 | 根据用户反馈和设计改进定期更新 |
Anthropic 似乎没有将知识硬编码到权重中（这可能效率低下、不灵活且成本高昂），而是将系统提示词用作一套动态指令。根据卡帕西的说法，这类似于人类的调整方式：通过明确说明“当 X 发生时，尝试 Y 方法”。
这种转变将系统提示词从静态的行为指南重塑为活文档——一个 LLM 可以存储通用策略并随着时间推移对其进行修订的地方。实际上，这是使 AI 不仅更智能，而且更具可教性的提议。
这对投资者和开发者为何重要
系统提示词学习的吸引力不仅仅在于学术层面。它直接触及当前 AI 部署中的关键痛点：
1. 降低运营成本
对模型进行微调——特别是使用 RLHF——既昂贵又缓慢。然而，更新系统提示词几乎是免费且即时的。如果核心行为可以通过更新指令而不是重新训练权重来改变，部署将变得更快、更便宜。
AI 模型更新方法：微调/RLHF 对比 系统提示词编辑
| 方法 | 成本与工作量 | 实施时间 | 主要特点 |
|---|---|---|---|
| 微调 / RLHF | 高：需要算力、数据和机器学习专业知识 | 长（数天–数周） | 更新模型权重以提高任务/领域准确性；训练后灵活性较低 |
| 提示词编辑 | 低：主要是提示词设计/测试 | 短（数小时–数天） | 通过指令调整行为；快速、灵活，无需重新训练 |
| 一般注意事项 | 成本取决于模型大小、token 和基础设施 | 持续维护 | 选择取决于目标、资源和所需的性能；可以结合使用 |
2. 更敏捷的 AI 产品
构建特定领域智能体（法律机器人、医疗助手、客服工具）的初创公司需要快速迭代。系统提示词允许在不重新训练模型的情况下进行快速更改，提高了生产环境中的适应性。
3. 数据效率和反馈循环
传统的微调需要大量数据集。系统提示词学习提供了一个更高维度的反馈通道。它不是针对一个标量奖励进行优化，而是接受更丰富、文本形式的反馈——这更接近于人类提供指令的方式。
专家们的看法
这个想法在人工智能圈子里引发了不同的反应：
- 支持者将系统提示词比作书面的《妥拉》（Written Torah）——定义基本指令——而新案例则通过互动学习进行调整和扩展，类似于口头《妥拉》（Oral Torah）。
- 批评者担心扩展性和复杂性。随着提示词的增长，它们有变得脆弱、不一致或相互矛盾的风险。这可能会损害在高要求应用中的可靠性。
- 一些人倡导混合方法：将系统提示词中的知识定期“蒸馏”到权重中，使 AI 像人类一样，随着时间从显性知识转向习惯性知识。
- 另一些人则尝试记忆层级结构，模型对问题解决示例进行索引，只在需要时将其拉入提示词上下文——这与检索增强生成（RAG）和规划工具结合使用。
检索增强生成（RAG）是一种旨在改进大型语言模型（LLM）生成答案的 AI 架构。它的工作原理是：首先从外部知识源检索相关信息，然后将这些上下文提供给 LLM，以生成更准确、相关且最新的回应。
尽管系统提示词学习前景光明，但有些人认为它不是范式转变，而是一个增量演进。尽管如此，当像 Anthropic、OpenAI 和 Google 这样的公司在系统提示词大小上存在巨大差异时（Claude 16739 字，而 OpenAI 约 2218 字），很明显，提示词正成为一个新的前沿领域。
未来走向
如果 LLM 能够自主书写和更新自己的系统提示词——记录学到的经验、测试的策略和完善的任务——我们可能会见证一种新的人工智能训练架构的诞生：
- 通过修改自己的“说明书”在生产环境中自我改进的智能体
- 任务专用模型，无需为新领域进行大量重新训练
- 半自动化蒸馏，将基于提示词的知识有选择地转移到长期权重中，在不丧失灵活性的情况下提高性能
这可能与企业需求很好地契合：需要可解释、可追溯且可增量训练的模型——同时最大限度地减少停机时间。
机器的笔记本
卡帕西的想法可能听起来很抽象，但它触及了一个深刻的直觉：智能不仅仅在于我们知道什么，还在于我们如何构建这些知识以供使用。系统提示词学习表明，LLM 不仅需要更大的“大脑”，它们还需要更好的“笔记本”。
随着越来越多的 AI 公司探索预训练和微调之间的这个中间地带，预计提示工程将演变为提示架构——一个独立的学科。这是否会成为下一个范式，还是一个强大的辅助手段，仍有待观察。
但有一点很明确：在构建更智能、更便宜、更易控 AI 的竞争中，教导模型如何学习可能很快会比它们知道什么更重要。