Ilya正使用谷歌TPU进行SSI的AI研究!

OpenAI元老、前首席科学家Ilya Sutskever

联手谷歌云,为他的AI初创企业

Safe Superintelligence(安全超级智能)

上了一整套TPU芯片助力研发

谷歌云方面表示,SSI将使用他们的TPU芯片“加速其构建安全超级智能AI的研发工作”。

这事儿乍一看挺寻常,不就换个供应商吗?

可要知道,这背后或许正暗藏着

一场超级AI研发路线的秘密反叛啊!

SSI 公司使命

Ilya押宝压有多大——300亿!

Ilya这一手操作可不简单!

来先捋捋他这公司有多厉害吧

SSI去年9月才从Andreessen Horowitz、Sequoia Capital等投资方那里筹集了10亿美元资金。

要知道,这家公司连个像样的产品都没有

就靠着Ilya这块金字招牌

Sutskever曾与Alex Krizhevsky和Geoffrey Hinton共同发明了AlexNet卷积神经网络,是AI界的重量级人物。

Ilya Sutskever与SSI联合创始人Daniel Gross和Daniel Levy

估值直接蹭蹭往上窜,现在已经…

今年二月份,SSI已经筹集了新一轮10亿美元资金,估值达到了惊人的300亿美元!

等等,300亿美元是啥概念?

比华纳兄弟、诺基亚或陶氏化学还值钱!

而且别忘了,这家公司成立才不到一年

更离谱的是,Ilya自己也说过:

这家公司的第一个产品就是安全的超级智能,在那之前不会做任何其他事情。

这不就是告诉投资人:

我要烧钱,很多很多的钱

但你们看不到任何中间产品

除非哪天我直接造出超级AI了?

不得不说,实在是牛!

TPU vs 英伟达,一场隐形世纪大战

说回这次和谷歌云的合作

为啥Ilya不选英伟达的GPU,偏要TPU?

我仔细研究了下这两种芯片的区别

谷歌的TPU v5p在训练大型语言模型方面比前代TPU v4快2.8倍,并且超越了英伟达广受欢迎的H100 GPU。

而且

TPU v5p甚至在某些方面

具有比H100更多的高带宽内存(HBM)— 95GB对比32GB,单个TPU pod可提供4,800Gbps的吞吐量。

不过,去年11月在MLPerf v4.1基准测试中,由11,616个英伟达H100组成的系统在训练GPT-3任务上只用了3.44分钟,而由6,144个TPU v5p组成的系统则需要11.77分钟。

换句话说,谷歌的TPU与H100相比

总体性能还是有差距的

那Ilya为啥还要选TPU呢?

可能有这么几个原因:

1️⃣ 用TPU的Ilya,走了条不同的路

你想,Ilya在OpenAI时期

那可是Scaling Law 的早期倡导者,认为AI 模型的性能会随着大量计算能力的投入而提升。

现在开独立公司了,却说要走不同的路:

每个人都只说Scaling Law。大家都忽略了要问,我们到底在Scaling 什么?”

这么看来,Ilya可能在TPU上找到了

一条与OpenAI不同的技术路线!

实际上,Ilya早就解释过他对大型神经网络潜力的长期信念,认为如果我们接受人工神经元与生物神经元在信息处理方面足够相似,那么人脑就是大型神经网络可以实现非凡成就的存在证明。

这和OpenAI靠无限堆“算力”解锁“智能”

看起来是不一样的思路啊!

2️⃣ TPU适合研究新架构,更易修改

我又研究了下TPU的特性

它是谷歌专为AI优化设计的芯片

与图形处理单元(GPU)相比,TPU设计用于高体量的低精度计算(例如,低至8位精度),每焦耳有更多的输入/输出操作,且没有光栅化/纹理映射的硬件。

这意味着

TPU对AI专项优化更强!

尤其是在构建新型神经网络架构时

灵活性可能比用通用GPU更高

3️⃣ 回老东家了?Google才是Ilya的根

还有一种可能

别忘了,Ilya最初可是在谷歌长大的

在共同创立OpenAI之前,Sutskever在谷歌大脑度过了数年时间研究神经网络。

现在,谷歌云已经与其前AI研究人员达成多项计算合作,这些人现在多在运营着价值数十亿美元的AI创业公司。

去年10月,谷歌云宣布将成为World Labs的主要计算提供商,该公司由前谷歌云AI首席科学家李飞飞创立。

听起来像不像是谷歌在集结旧部

准备大干一场?

这会是真的吗?

听听就好……

4️⃣ Ilya到底想造什么?

这一切背后,可能更深层的问题是:

Ilya的超级AI安全哲学是什么?

他曾经说,自己的研究特别强调实证验证、可扩展性和伦理。虽然大多数研究人员只关注理论进步,但Ilya特别强调AI技术发展的实际影响和责任。

而且,咱可别忘了,2022年

Ilya还曾惊人表示:

今天的大型神经网络可能已经略微具有意识。

这句话当时就引发了关于AI意识的激烈辩论

难道说,Ilya选择TPU的背后

是一种更深层次的AI哲学?

是要造一种更像“大脑”的AI?

谷歌躺赢

从谷歌的角度来看,这简直是绝佳的宣传

前OpenAI元老放弃英伟达

选择我谷歌的TPU打造超级AI

这牌面不得了啊!

这也意味着SSI将在谷歌云上花费大量的计算预算!

一位知情人士告诉TechCrunch,谷歌云是SSI的主要计算提供商。

更重要的是,这似乎在暗示:

谷歌TPU在AI大模型研发上

也许有英伟达GPU所不具备的优势!

超级AI路线之战

Ilya的这一手操作

不只是简单的供应商选择

他一直认为超级智能可能带来前所未有的生活质量改善,包括物质丰富、健康和长寿。

尽管存在重大风险,但成功应对这些挑战的回报可能会带来一个目前超出我们最狂野想象的未来。

可能是在宣告:

我走的路,和OpenAI不一样

谷歌的TPU,或许更适合构建

真正安全的超级AI

这不仅是芯片之争

更是通往超级AI的路线之争!

至于Ilya能不能造出超级AI

还是会像OpenAI一样,烧完了钱

突然发现得先搞点中间产品挣钱…

拭目以待吧!

(文:AGI Hunt)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往