TGI v3 横空出世:性能碾压vLLM 13倍!

HuggingFace发布文本生成推理引擎TGI v3版本,性能大幅提升:在单个L4显卡上处理30k token lama 3.1-8B模型输入成为可能。与vLLM相比,在超长文本处理方面快了13倍。通过优化内存管理、改进前缀缓存结构和开发新的推理内核,TGI v3实现了零配置的极致性能。

大模型的摩尔定律来了!清华研究:模型密度每3个月翻一倍

清华大学和ModelBest Inc最新研究发现大模型「密度」每3个月就翻一倍,提出容量密度衡量新标准。未来AI发展的关键不再是比拼模型大小,而是看其效率。ChatGPT发布加速了这一趋势。高密度模型能降低计算成本、适配普通设备并节约能源。研究强调应关注现有大模型的优化而非一味追求更大模型。

ARC-AGI-2要来了!当前一半数据已无效

ARC-AGI基准测试的创始人François Chollet宣布将升级ARC-AGI基准测试,在2025年初发布ARC-AGI-2。因为当前版本的一半测试数据已经失去了评估AGI的意义,新版本将扩大评估数据集规模、采用独立的评估流程及任务难度均衡,以提供更可靠的评估标准。

美国花337亿美元,只为养这个51岁的老家伙!马斯克:令人震惊!

美国联邦政府运行着10个关键遗留系统,其中最老的已有51年历史。这些系统的维护费用每年高达3.37亿美元,使用过时技术且存在严重安全隐患。GAO报告显示,美国政府在IT预算中的80%被用于维持这些系统的运行。