来自Andrej Karpathy的最新洞察，以及一份意外曝光的Claude系统提示词引发的思考
Andrej Karpathy提出一个观点：我们当前的LLM学习范式中，至少缺失了一个重要环节。他将其暂称为“系统提示词学习”（System Prompt Learning）
他认为：
预训练（Pretraining） 是为了让LLM掌握海量知识
微调（SL/RL） 则是为了塑造其习惯性行为
这两者都涉及模型参数的改变。但Karpathy指出，很多人类学习更像是“系统提示词”的调整：遇到问题、想出办法，然后用明确的语言“记住”下次如何应对。比如，“当遇到这类问题时，我应该尝试那种方法。” 这更像给自己写备忘录，是全局性的问题解决策略，而非针对特定用户的零散记忆。Karpathy打了个比方：LLM目前就像《记忆碎片》里的主角，我们还没给它配备“便签本”或“草稿纸”
这种新范式如果能实现，将非常强大且数据高效。因为一个由知识引导的“复盘”阶段，其反馈维度远高于简单的奖励标量
Claude的“天书”级系统提示词
Karpathy的这番思考，部分源于对Claude系统提示词的观察。最近，Claude的系统提示词被一位用户“套”了出来，内容之详尽令人咋舌：
长度惊人：约17000词，110kb大小。相比之下，OpenAI o4-mini的系统提示词仅约2200词（15.1kb），只有Claude的13%左右
Claude的系统提示词地址：
https://github.com/asgeirtj/system_prompts_leaks/blob/main/claude.txt
这份庞大的提示词里都有些什么呢？
1.工具定义 (Tool Definitions)：这是最大头，信息主要来自MCP服务器。MCP服务器不仅提供API，还详细说明了LLM何时及如何使用这些工具。提示词中列出了14种不同工具。例如，一个简单的网页搜索工具定义可能只有几行，但像Google Drive搜索工具的描述就超过1700词
2.工具使用指南：除了MCP提供的工具定义，还有大量关于如何及何时使用这些工具的指令，散布在“引用说明”、“工件说明”、“搜索说明”和“Google集成注意事项”等部分。比如，反复提醒Claude不要对其已知信息使用搜索工具（可见这是个顽固问题）
值得注意的是，Karpathy认为这种内外分离是合理的“关注点分离”：MCP包含通用工具信息，适用于任何程序；而非MCP部分则针对聊天机器人应用的特定需求。这是标准程序设计思路在提示词工程上的应用
总计，近80%的提示词内容都与工具的使用和定义相关
3.“热修复”与行为规范 (Claude Behavior & Hotfixes)：这部分更像是我们传统理解中的系统提示，规定了Claude的行为方式、回应风格和禁忌。其中不乏针对LLM常见“陷阱”的“补丁”：
-
• 计数问题：“如果Claude被要求计算单词、字母和字符数，它会先分步思考，明确地给每个计数对象编号，完成计数后再回答。”——这显然是为了解决类似“strawberry里有几个r”这类LLM常见难题 -
• 经典谜题：“如果Claude遇到经典谜题，它会先逐字引用所有约束条件，确认不是变体。”——防止LLM被稍作修改的经典逻辑题绕进去 -
• 知识更新：“特朗普是现任美国总统，于2025年1月20日就职。”——鉴于Claude知识截止日期是2024年10月，这条信息显然是硬编码的 -
• 诗歌创作：Karpathy最喜欢的一条：“如果被要求写诗，Claude会避免使用陈词滥调的意象、隐喻或可预测的押韵。”
从人工“补丁”到系统自主学习
Claude这份巨细的系统提示词，恰恰印证了Karpathy的观点：目前大量的问题解决策略，是工程师们手动写入系统提示的。 而Karpathy认为，这些本不应完全依赖人工，也不应立即或完全通过强化学习（RL）融入模型权重
理想情况下，这些策略应通过“系统提示词学习”产生。这种学习过程类似于RL的设置，但学习算法不同（编辑提示词 vs. 梯度下降）。LLM的系统提示词中，有相当一部分可以通过这种方式“自我撰写”，就像LLM为自己写一本解决问题的指南。
当然，这其中还有很多细节待明确：编辑如何工作？编辑系统本身能否学习？如何像人类一样，将显性文本知识逐渐内化为习惯性权重？
写在最后
Claude的系统提示词，无疑是提示工程复杂性的一个缩影。Anthropic通过大量使用XML风格标签来增强可读性（这对人还是LLM更友好值得商榷），以及其MCP服务器的发明和采用，都是其管理这种复杂性的努力。但这也引出新问题：如何进行版本控制？这些“热修复”是逐个添加还是批量评估后上线？什么时候才需要“推倒重来”？
这份提示词也再次提醒我们：聊天机器人远不止模型本身，其背后是不断积累、迭代优化的指令、工具集和精心设计
参考：
https://x.com/karpathy/status/1921368644069765486
⭐
（文：AI寒武纪）