大模型的摩尔定律来了!清华研究:模型密度每3个月翻一倍

清华大学和ModelBest Inc最新研究发现大模型「密度」每3个月就翻一倍,提出容量密度衡量新标准。未来AI发展的关键不再是比拼模型大小,而是看其效率。ChatGPT发布加速了这一趋势。高密度模型能降低计算成本、适配普通设备并节约能源。研究强调应关注现有大模型的优化而非一味追求更大模型。

Scaling Law不是唯一视角!清华刘知远团队提出大模型“密度定律”:模型能力密度100天翻番

清华NLP实验室提出大模型的密度定律,表示模型能力随时间呈指数级增长。研究发现大模型的有效参数量与实际参数量之比(能力密度)持续增加,并且AI的电力、算力和智力也遵循类似的快速增长趋势。

LLM最大能力密度100天翻一倍!清华刘知远团队提出Densing Law

清华大学刘知远教授团队提出大模型密度定律,指出模型能力随时间呈指数级增长,每3.3个月翻一倍。该定律揭示了AI时代电力、算力与智力都在快速增长的趋势,并可能推动端侧智能的发展。

清华&面壁开源高效压缩技术:一块 80 G A100 轻松加载 50 个 7B 模型

清华大学与面壁智能团队提出Delta Compression技术,通过存储主干模型与任务专用模型之间的参数差值显著降低模型对显卡的存储需求。混合精度压缩方法Delta-CoMe进一步提升了模型推理效率和灵活性,支持多达50个7B模型加载在一块80G A100 GPU上,几乎不损失任务性能。

具身智能要从娃娃抓起,清华AIR联手地瓜机器人建立科教平台,从K12到大学科研都覆盖

清华大学智能产业研究院(AIR)与地瓜机器人联合发布RDK UniBots具身智能科教平台,支持从幼儿园到大学的教育需求。该平台以统一技术架构为基础,涵盖硬件和软件解决方案,并采用分层技术架构打通开发链路。

清华UCSD提出全新微调方法,8B小模型媲美GPT-4o!科学问题正确率提高28%

UCSD和清华的研究团队提出了一种方法,通过外部科学工具提高AI在解决复杂问题时的决策准确率。该研究展示了训练模型在自定义数据集上显著优于基准模型,并且在不同难度问题上的工具使用表现最佳。

清华、面壁提出创新AI Agent交互:能主动思考、预测需求

近期清华大学提出的新一代主动 Agent(ProActive Agent)交互范式,让AI从被动执行指令变为具备主动观察和判断环境、预见用户需求的能力。该技术已在行程安排、文件管理等领域实现应用,并通过数据集验证了其有效性。