大模型的摩尔定律来了!清华研究:模型密度每3个月翻一倍
清华大学和ModelBest Inc最新研究发现大模型「密度」每3个月就翻一倍,提出容量密度衡量新标准。未来AI发展的关键不再是比拼模型大小,而是看其效率。ChatGPT发布加速了这一趋势。高密度模型能降低计算成本、适配普通设备并节约能源。研究强调应关注现有大模型的优化而非一味追求更大模型。
清华大学和ModelBest Inc最新研究发现大模型「密度」每3个月就翻一倍,提出容量密度衡量新标准。未来AI发展的关键不再是比拼模型大小,而是看其效率。ChatGPT发布加速了这一趋势。高密度模型能降低计算成本、适配普通设备并节约能源。研究强调应关注现有大模型的优化而非一味追求更大模型。
比特币面临量子计算威胁。Google发布的Willow芯片展示了量子计算的巨大潜力。要破解比特币加密需要约1300万量子比特的计算机,而当前技术尚无法实现。虽然距离目标还有很长的距离,但量子计算的发展速度令人担忧。
ARC-AGI基准测试的创始人François Chollet宣布将升级ARC-AGI基准测试,在2025年初发布ARC-AGI-2。因为当前版本的一半测试数据已经失去了评估AGI的意义,新版本将扩大评估数据集规模、采用独立的评估流程及任务难度均衡,以提供更可靠的评估标准。
美国联邦政府运行着10个关键遗留系统,其中最老的已有51年历史。这些系统的维护费用每年高达3.37亿美元,使用过时技术且存在严重安全隐患。GAO报告显示,美国政府在IT预算中的80%被用于维持这些系统的运行。
通过双模型编程工作流,利用o1 Pro和Claude 3.5 Sonnet处理代码小修小补及新功能开发。Sonnet犯难时由o1 Pro解决,创新功能需反复讨论生成伪代码再转为实际代码。
在生成式AI领域创业面临快速变化的技术环境。Chris Pedregal提出四大原则:别解决未来很快消失的问题、高昂的边际成本蕴藏机会、上下文为王以及聚焦垂直领域做到极致。这四条原则适用于应用层AI创业者,以适应技术进步带来的挑战。
OpenAI宣布将在Pro订阅计划中推出带视觉能力的高级语音模式,让用户能够与ChatGPT进行面对面的聊天。尽管功能强大且有趣,但高昂的价格(200美元/月)让许多用户感到不满,并引发了关于是否值得购买的讨论。
Andrej Karpathy 读完200本书后道出超级人工智能的恐怖真相,书中关于超级智能、信息技术演变和未来战争的预测引发深思。