深入剖析！如何区分有价值和无价值的数据？
MLNLP社区分享了关于RHO-1论文的解读，该论文提出了选择性语言建模(SLM)，通过分析文本中的不同token对模型学习的影响，提出只对有价值的token进行训练的方法。此方法能够显著提升效率并提高性能。
选择性语言建模
NeurIPS 2024最佳论文揭晓！北大字节VAR获最佳论文，清华厦大研究获提名
NeurIPS 2024最佳论文出炉，3篇华人一作。其中，《Visual Autoregressive Modeling》提出了一种新的图像生成框架，能显著超越现有的自回归模型和扩散模型；《Stochastic Taylor Derivative Estimator》展示了高效算法优化神经网络损失函数，并提供了内存减少和速度提升；《Not All Tokens Are What You Need for Pretraining》引入了选择性语言建模方法提升了预训练性能；《Guiding a Diffusion Model with a Bad Version of Itself》提出自引导方法提高图像生成质量。