《大模型白盒子构建指南》毕业,仅需2G显存,手搓关于LLM的一切!

《大模型白盒子构建指南》旨在帮助读者从基础原理出发,独立复现一个清晰、可用的大模型系统。项目涵盖大模型架构、预训练、RAG框架、Agent系统及评估体系等内容,适合有一定深度学习和NLP经验的学习者。

RL「误人」?LeCun 在技术路线上又有何战略摇摆?

Karpathy 认为强化学习早期决策是一个错误,并认为 LeCun 对强化学习的态度一直正确。LeCun 历年推崇的关键技术有无监督学习、自监督学习、Energy-Based SSL 和 Objective-Driven AI,他认为强化学习存在局限性,不适合作为实现人类水平智能的主要方法。

智能体零样本解决未见过人类设计环境!全靠这个开放式物理RL环境空间

牛津大学提出Kinetix框架,训练通用RL智能体在2D物理环境中执行多样化任务,涵盖机器人任务、经典RL环境等。通过Jax2D硬件加速引擎模拟数十亿次交互生成多样任务。研究发现微调使通用智能体能显著减少特定任务学习所需样本数,并带来新能力。