OpenAI附议Ilya预训练终结!“但Scaling Law还没死”
OpenAI成员Noam Brown讨论AI推理成本,提出Scaling Law新维度。他认为推理时间比数据规模更能提升AI性能,反驳预训练终结论,呼吁更多人关注推理计算能力。
OpenAI成员Noam Brown讨论AI推理成本,提出Scaling Law新维度。他认为推理时间比数据规模更能提升AI性能,反驳预训练终结论,呼吁更多人关注推理计算能力。
海淀区依托丰富的高校资源和顶尖人才,成功吸引了众多人工智能企业和独角兽企业。2024年中国人工智能大会在此召开,发布了多项白皮书和典型案例。大会旨在推动北京构建全球人工智能创新策源地和产业高地。
vivo AI Lab提出数据质量提升(DQE)方法,通过更少的数据获得更高的文本分类任务准确率。实验表明,在多个数据集中DQE选择的数据比全量数据表现出显著的性能提升,并有效提升了大语言模型指令跟随能力。
Ilya Sutskever在NeurIPS 2024中指出预训练时代即将终结,并预测未来将是超级智能的时代,强调Agent系统和合成数据将成为突破瓶颈的关键。他认为未来的AI将发展成能够自主推理和决策的’Agent’,甚至可能具备自我意识。
上海AI Lab邵婧团队提出REEF方法,基于模型表征的指纹识别技术可精准检测大模型‘套壳’行为。该方法不改变模型性能,在多种操作后仍能有效识别衍生模型和无关模型。
微软推出小模型Phi-4,参数量仅14B,在数学和编程能力上超过了大模型。其数学成绩超过GPT-4o等,还能处理长达16K的长文本,被称作midtraining训练范式的新成果。