智东西5月15日报道,昨日深夜,谷歌DeepMind公布了编程AI Agent(智能体)AlphaEvolve,可以用于通用算法发现和优化,然后直接将其投入到公司业务中。
AlphaEvolve同时部署Gemini Flash(提升速度)和Gemini Pro(提升深度),以对现有代码提出修改建议,进而打造出可以超越单个函数发现,进化整个代码库并开发更复杂算法的Agent。新型AI Agent通过结合大语言模型的创造力与自动化评估器,优化算法在数学和计算中的实际应用。
谷歌DeepMind的博客提到,过去一年,他们已经将AlphaEvolve发现的算法部署到谷歌的计算生态系统中,包括数据中心、硬件和软件。
AlphaEvolve提高了谷歌数据中心的效率,其算法应用于谷歌大规模集群管理系统Borg可持续恢复谷歌全球计算资源的0.7%;同时使得Gemini运算速度提升了23%,整体训练时间缩短了1%;还为困扰数学家们超过300年的接吻数问题提出解法。
谷歌DeepMind研究员Matej Balog在接受外媒VentureBeat采访时提到:“AlphaEvolve可以发现极其复杂的算法——跨越数百行代码,拥有远远超出简单函数的复杂逻辑结构。”
2023年,谷歌DeepMind首次展示了大语言模型生成计算机代码的能力,帮助发现新的、可证明的科学问题知识。其最新发布的AlphaEvolve是一个可以超越单个函数发现,进化整个代码库并开发更复杂算法的Agent。
AlphaEvolve基于自动化评估指标来验证、运行和评分所提出的程序。这些指标可以为每个解决方案的准确性和质量提供客观、可量化的评估,这使得AlphaEvolve在数学和计算机科学有进展潜力。
其首先提示采样器为大语言模型组装提示,然后模型生成新程序。这些程序由评估器评估并存储在程序数据库中。下图中的数据库实现了一种进化算法,该算法确定哪些程序将用于未来的提示。

谷歌DeepMind的博客中提到,过去一年,他们已经将AlphaEvolve发现的算法部署到谷歌的计算生态系统中,包括数据中心、硬件和软件。

其中之一是简单但效果显著启发式算法,已应用于谷歌大规模集群管理系统Borg,可以帮助高效管理谷歌数据中心。这项解决方案已投入生产一年多,这种启发式调度算法平均可持续恢复谷歌全球计算资源的0.7%。并且其提供的代码还具备可解释性、可调试性、可预测性和易于部署。
此外,AlphaEvolve还提出了一种Verilog重写方法,该方法移除了矩阵乘法中一个关键高度优化算术电路中不必要的位。关键在于,该提案必须通过稳健的验证方法来确认修改后的电路保持功能正确性。该方案已集成到谷歌即将推出的张量处理单元(TPU)中。
在训练和推理方面,AlphaEvolve正在加速AI性能以及研究速度的提升。
AlphaEvolve通过找到将大型矩阵乘法操作分解为更易于管理的子问题,使得其在Gemini架构中的关键内核上运算速度提升23%,将Gemini训练时间缩短1%。同时还显著减少了内核优化的工程时间,从专家数周的精力投入缩短到自动化实验的数天。
AlphaEvolve也可以优化底层GPU指令。一般情况下,这个领域已经被编译器高度优化,因此人类工程师不会直接修改它。AlphaEvolve在Transformer-based AI模型的FlashAttention内核实现中实现了32.5%的加速。
这可以帮助开发者快速定位性能瓶颈,然后将其融入代码库。
在数学和算法方面,AlphaEvolve还可以针对复杂的数学问题提出新的方法。
在获得一个计算机程序的极小代码框架后,AlphaEvolve设计了一种新的基于梯度的优化过程,该过程发现了计算机科学中的基本问题矩阵乘法的多种新算法。
AlphaEvolve提出了一组用于发现更快矩阵乘法算法的变更。在下图中可以看到,AlphaEvolve在多个组件中提出了广泛的变更包括优化器和权重初始化、损失函数和超参数扫描。这些变更在进化过程中需要15次变形。

AlphaEvolve提出的一组用于发现更快矩阵乘法算法的变更,其找到了一种使用48次标量乘法来乘以4×4复值矩阵的算法,改进了之前被认为是该场景下最好的于1969年发布的Strassen算法。这一发现比谷歌DeepMind之前专注于矩阵乘法算法的AlphaTensor有了显著进步,对于4×4矩阵,AlphaTensor此前仅发现了二进制算术的改进。
此外,为了研究AlphaEvolve的广度,研究人员还将该系统应用于数学分析、几何、组合学和数论中超过50个公开问题。
在约75%的情况下,AlphaEvolve重新发现了最先进的解决方案;在20%的情况下,AlphaEvolve改进了之前已知的最佳解决方案,在相应的开放问题上取得了进展。
例如,它推进了接吻数问题(Kissing Number Problem),这涉及到与一个公共单位球接触的最大非重叠球的数量,这个几何挑战已经困扰了数学家们超过300年。AlphaEvolve发现了一个由593个外球组成的配置,并在11维中建立了新的下限。
大语言模型可以总结文档、生成代码甚至头脑风暴新想法,AlphaEvolve扩展了这些能力,以解决数学和现代计算中的基本和高复杂度问题,其展示了从发现特定领域的算法到为广泛现实挑战开发更复杂算法的进展。
谷歌DeepMind的博客提到,虽然AlphaEvolve目前仅可以应用于数学和计算领域,但其具备的通用性潜力意味着可以应用于任何可以用算法描述并自动验证的解决方案的问题,未来,AlphaEvolve或许可以在材料科学、药物发现、可持续性以及更广泛的技术和商业应用领域有所应用。

(文:智东西)