白交 发自 凹非寺
量子位 | 公众号 QbitAI
Nature：「令人惊叹」的通用科学人工智能来了！
谷歌DeepMind再次甩出一颗重磅炸弹：与陶哲轩等一众顶尖科学家一起共同打造AlphaEvolve。
它可以设计出更快的矩阵乘法算法，可以改进芯片设计、提高数据中心、AI训练的效率，已经在谷歌内部用上了。
它将Gemini架构中大型矩阵乘法运算加速了23%，从而将Gemini的训练时间缩短了1%，谷歌程序员狂喜（bushi）。此外还将FlashAttention提速了32.5%。
几百年前未曾解决过的数学问题，也都能因为它前进一大步。
比如一个经典的300年前的几何挑战接吻数（Kissing Number）问题。它关注的是，给定空间内球面相切的不重叠球体的最大数量。
一维空间和二维空间是这样的。
AlphaEvolve发现了一个由593个外球体组成的结构，直接刷新了11维空间中的下限。
wiki百科上已经更新了记录。
而它的潜力还在释放当中，陶哲轩表示这个工作还在进行，接下来希望会汇报更多进展。搓搓手期待了~
目前它推出了早期邀测试用，在官网填写表格，就有机会使用哦~不仅限学术圈的朋友。
AlphaEvolve：谷歌数据中心/芯片设计已经用上
AlphaEvolve是啥？按照官方介绍，这是个LLM驱动的进化编码Agent，用于通用算法的发现与优化。
它包括三个部分：
-
大模型：综合有关问题的信息以及以前解决问题的尝试，并提出新版本的算法； -
自动评估器：验证、运行和评分所提出的算法。 -
进化框架：迭代改进所发现的最佳算法，并重新组合不同解决方案的想法，以找到更好的算法。
值得一提的是，这里的大模型是一系列大模型。
比如主打速度和效率Gemini Flash能够最大限度地拓展探索的思路广度；而性能更强的Gemini Pro则能够提供深刻的深度和富有洞察力的建议。这些模型共同构建了以代码形式实现算法解决方案的算法。
过去一段时间，AlphaEvolve提升了谷歌数据中心、芯片设计和AI训练流程的效率，包括训练AlphaEvolve本身所依赖的大模型本身。它还帮助设计了更快的矩阵乘法算法，并找到了解决开放性数学问题的新方法，展现出在众多领域应用的巨大潜力。
具体来看。
优化计算生态系统。
过去一年，他们将AlphaEvolve发现的算法部署到了谷歌整个计算生态系统中，包括数据中心、硬件和软件。
改善数据中心调度。
AlphaEvolve发现了一种简单且有效方法，可以帮助Borg更高效地协调谷歌庞大的数据中心。
（Borg是一种集群管理器，它运行着来自数千个不同应用程序的数十万个作业，这些作业分布在多个集群中，每个集群最多包含数万台机器。）
该解决方案已投入生产超过一年，平均持续恢复谷歌全球0.7%的计算资源。这种持续的效率提升意味着，在任何特定时刻，相同的计算资源占用空间可以完成更多任务。
除此之外，它还带来了一些操作上面的优化：可解释性、可调试性、可预测性和易于部署性。
协调硬件设计。
AlphaEvolve提出了一个Verilog重写方案，删除了矩阵乘法关键算术电路中高度优化的、不必要的位。
至关重要的是，该方案必须通过稳健的验证方法，以确认修改后的电路保持功能正确性。该方案已被集成到即将推出的TPU中。
增强AI训练和推理。
除此之外，AlphaEvolve还加速了Gemini的性能和速度。
通过找到将大型矩阵乘法运算划分为更易于管理的子问题的更智能方法，AlphaEvolve将Gemini架构中的这一重要内核加速了23%，从而将Gemini的训练时间缩短了1%。
除了性能提升，AlphaEvolve还大大减少了内核优化所需的工程时间，从专家数周的努力缩短到自动实验的数天，使研究人员能够更快地进行创新。
AlphaEvolve还能优化低级GPU指令。AlphaEvolve对基于Transformer的FlashAttention内核实现了高达32.5%的提速。这种优化可以帮助专家找出性能瓶颈，并轻松地将改进措施纳入代码库，从而提高他们的工作效率，并在未来节省计算和能源。
推进数学和算法发现的前沿。
基于计算机程序的极简代码框架，它设计了一种基于梯度的新型优化程序的诸多组件，发现了矩阵乘法的多种新算法。
比如，它发现了一种使用48次标量乘法来对4×4复值矩阵进行乘法运算的算法，改进了Strassen于1969年提出的算法，该算法此前被认为是此类算法中的最佳算法。
与之前的AlphaTensor相比，后者专注于矩阵乘法算法，对于4×4矩阵，仅发现了二进制运算的改进。
他们还将该系统应用于数学分析、几何学、组合学和数论领域的50多个未解决的问题。
在大约75%的案例中，它能够重新发现最先进的解决方案。在20%的案例中，它改进了之前已知的最佳解决方案。
陶哲轩与DeepMind合作
2023年，他们的FunSearch首次证明大型语言模型可以生成用计算机代码编写的函数，如今在这基础之上，已经展现出解决通用算法/数学问题的潜力。
从团队上看也新增了不少合作者，谷歌之前的顶尖科学家，比如就有陶哲轩。
他们还与People+AI团队一起建立了个用户友好的交互界面。
虽然AlphaEvolve目前正被应用于数学和计算机领域，但其通用性意味着它可以应用于任何问题，其解决方案可以被描述为算法并自动验证。
但他们相信，AlphaEvolve可以在材料科学、药物发现、可持续发展以及更广泛的技术和商业应用等更多领域带来变革。
白皮书：
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
（文：量子位）