罕见合著!谷歌、Meta、英伟达团队联手发文,揭秘语言模型 “记忆” 能力

一篇新论文揭示了语言模型的记忆能力,并提出了新的量化指标用于衡量这种能力。研究表明,Transformer模型每个参数大约可存储3.5到4比特信息,模型的“记忆”与其泛化能力有关,理解这一点有助于开发更安全、可靠的大规模AI系统。

57.6万代码撕碎AI编程神话,20%「幽灵包」暗藏漏洞!苹果、微软已中招

最新研究发现,超过20%的AI生成代码依赖不存在的软件包。扎克伯格和微软首席技术官都预估未来大部分AI代码将由智能体生成,但实际使用中可能引发安全问题,如供应链攻击。研究人员利用16种主流大型语言模型生成57.6万个样本发现有44万个依赖项是幻觉产物,对软件供应链构成威胁。