大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当
首个FP4精度的大模型训练框架发布，可使所需存储和计算资源更少。与BF16相当的训练效果下，最高可达130亿参数规模的模型。研究团队采用定制化的FP4矩阵乘法、不同粒度量化策略以及新的梯度估计方法。
微软研究院
微软研究院开源AIOpsLab：一个AI驱动的云运维框架
微软研究院发布AIOpsLab开源框架，旨在解决云运维中的复杂故障诊断和事件缓解问题。该工具提供了一个标准化且可扩展的平台来评估和增强不同云环境中的AI智能体，支持包括事件检测、根本原因分析和缓解在内的一系列运维任务。
《自然》重磅：微软推出MatterGen ，AI 颠覆材料设计
微软研究院的MatterGen模型能够生成多种无机材料并精确控制其性质。该模型采用定制化扩散过程、等变性评分网络以及自适应模块，通过大规模数据集训练实现高效泛化。研究证明其在稳定性、多样性及物理性质引导方面优于现有方法。
AGENT AI：多模态交互系统的全面框架
论文探讨了Agent AI的全面框架，定义其为能够感知视觉和语言输入并产生具身行为的交互式系统。该框架强调跨现实性、多模态方式以及认知能力，未来可应用于虚拟现实和各类软件产品中。
Agents Are Not Enough? !
本周解读了AI Agent在2024年的发展情况及面临的技术障碍，以及如何结合机器学习与符号人工智能帮助Agent解决落地问题，文中还提到了人形机器人和AI科学家的相关信息。
OpenAI科学家：现有模型+后训练足以产生黎曼猜想的新证明
OpenAI科学家塞巴斯蒂安·布贝克提出AGI时间衡量模型能力，GPT-4可完成人类任务，o1可完成需数小时任务；汤姆·麦考伊质疑LLM解决复杂数学问题的能力受限。双方辩论围绕当前LLM局限性展开讨论，强调数据瓶颈、幻觉问题和缩放方法缺陷。
PromptWizard：微软推出自家APE框架，主打“任务感知”，性能不错成本还低
微软研究院推出PromptWizard，通过反馈驱动机制实现自动优化Prompt，在极少量训练数据下取得出色性能，并且大幅减少模型调用次数和token数量。
微软：两个AI相互纠错，数学再涨5分
加州大学和微软研究院提出的新方法Flow-DPO利用两个大模型合作学习，解决数学问题时避免错误，提高推理质量和可读性。研究表明，这种方法显著提升了LLM的数学推理能力。