Andrej Karpathy：神奇大模型不存在的，只是对人类标注的拙劣模仿
知名AI学者Andrej Karpathy认为，大型语言模型的对话回答主要是模仿人工标注数据的结果，并非真正的人工智能。他批评了RLHF（奖励学习强化学习）的方法。
Andrej Karpathy
深度 ｜2024 总结：AI Agent 元年，LLM 操作系统前夜
2024年，AI Agent成为热点。OpenAI、Anthropic等公司纷纷推出Agent产品，打破大模型局限。国内大模型公司如智谱发布AutoGLM和GLM-PC，实现多样化操作任务的自主执行。未来，LLM操作系统将推动AI应用落地，智能设备互联互通将成为可能。
Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习
Andrej Karpathy 回忆自己曾看好 RNN 和强化学习，但最终未能把握住大模型时代的到来。他指出，2015年已经认识到自回归语言模型的强大潜力，却错过了发展大规模预训练模型的机会。