《大模型白盒子构建指南》毕业,仅需2G显存,手搓关于LLM的一切!
《大模型白盒子构建指南》旨在帮助读者从基础原理出发,独立复现一个清晰、可用的大模型系统。项目涵盖大模型架构、预训练、RAG框架、Agent系统及评估体系等内容,适合有一定深度学习和NLP经验的学习者。
《大模型白盒子构建指南》旨在帮助读者从基础原理出发,独立复现一个清晰、可用的大模型系统。项目涵盖大模型架构、预训练、RAG框架、Agent系统及评估体系等内容,适合有一定深度学习和NLP经验的学习者。
使用国产大模型豆包进行图像编辑时意外发现新功能——通过语音指令实现‘用嘴改图’,无需涂抹区域。该功能可直接上传图片并根据提示快速生成修改后的版本。
Karpathy 认为强化学习早期决策是一个错误,并认为 LeCun 对强化学习的态度一直正确。LeCun 历年推崇的关键技术有无监督学习、自监督学习、Energy-Based SSL 和 Objective-Driven AI,他认为强化学习存在局限性,不适合作为实现人类水平智能的主要方法。
牛津大学提出Kinetix框架,训练通用RL智能体在2D物理环境中执行多样化任务,涵盖机器人任务、经典RL环境等。通过Jax2D硬件加速引擎模拟数十亿次交互生成多样任务。研究发现微调使通用智能体能显著减少特定任务学习所需样本数,并带来新能力。