预训练模型
张小珺+广密大模型季报的20条总结:「智能才是主线」
张小珺和广密分享了20个AGI核心观点,包括pre-training是决定模型上限的关键,Coding被视作实现AGI的最佳环境,以及Agent落地需要的三大能力。他们预测未来AI竞争将如攀珠峰,价值会从硬件分配向模型和应用利润转移。
字节 DAPO 技术报告有感!大模型 RL 细节为王
近期,清华发表的DAPO将32b-base做到了AIME 50分的效果。报告中提到动态采样、sft和rl策略对比等方法,并强调了良好流程的重要性。