量子位

Scaling Law不总是适用！尤其在文本分类任务中，vivo AI Lab提出数据质量提升解决方法

作者

vivo AI Lab提出数据质量提升(DQE)方法，通过更少的数据获得更高的文本分类任务准确率。实验表明，在多个数据集中DQE选择的数据比全量数据表现出显著的性能提升，并有效提升了大语言模型指令跟随能力。

Ilya宣判：预训练即将终结！NeurIPS现场沸腾

作者

Ilya Sutskever在NeurIPS 2024中指出预训练时代即将终结，并预测未来将是超级智能的时代，强调Agent系统和合成数据将成为突破瓶颈的关键。他认为未来的AI将发展成能够自主推理和决策的’Agent’，甚至可能具备自我意识。

专治大模型“套壳”！上海AI实验室等给LLM做“指纹识别”，剪枝合并也无所遁形

作者

上海AI Lab邵婧团队提出REEF方法，基于模型表征的指纹识别技术可精准检测大模型‘套壳’行为。该方法不改变模型性能，在多种操作后仍能有效识别衍生模型和无关模型。