谷歌自称其AI超级计算机比英伟达A100更快、更节能

2023-04-05 11:52:02 来源：同花顺7x24快讯

　　据科创板日报，当地时间4月4日，谷歌披露其训练人工智能模型使用的超级计算机的最新细节。该公司表示，这些系统的速度和能耗效率均高于英伟达基于A100芯片的同类系统。谷歌拥有自主定制的TPU芯片，其90%以上的人工智能训练任务都通过这些芯片完成。其AI训练的过程是：通过给模型输入数据，使其能够用类似人类的文本回应、并具备生成图像等功能。

　　更多阅读

　　4000多个芯片串联而成，谷歌称其超级计算机比英伟达的更快、更节能

　　4月5日消息，Alphabet Inc.旗下谷歌公司周二公布了其用于训练人工智能模型的超级计算机的新细节，称这些系统比英伟达的同类系统更快更省电。

　　谷歌自主设计了一种名为张量处理单元(Tensor Processing Unit，简称TPU)的芯片，用于训练人工智能模型，该公司90%以上的人工智能训练工作都使用这些芯片，这些模型可以用于诸如用人类语言回答问题或生成图像等任务。

　　据了解，谷歌的TPU现在已经是第四代了。谷歌周二发表了一篇科学论文，详细介绍了他们如何使用自己定制开发的光学开关将4000多个芯片串联成一台超级计算机。

　　改善这些连接已经成为建造人工智能超级计算机的公司之间竞争的关键点，因为为谷歌的Bard或OpenAI的ChatGPT等技术提供动力的所谓大型语言模型的规模已经爆炸性增长，这意味着它们太大，无法存储在单个芯片上。

　　这些模型必须被分割到数以千计的芯片中，然后这些芯片必须协同工作数周或更长时间来训练模型。谷歌的PaLM模型――迄今为止其公开披露的最大的语言模型――是通过将其分散到4,000个芯片的两台超级计算机上，历时50天进行训练的。

　　谷歌表示，其超级计算机可以轻松地实时重新配置芯片之间的连接，有助于避免问题并提高性能。

　　谷歌研究员Norm Jouppi和谷歌杰出工程师David Patterson在一篇关于该系统的博文中写道：“电路切换使我们很容易绕过故障部件。这种灵活性甚至允许我们改变超级计算机互连的拓扑结构，以加速ML(机器学习)模型的性能。”

　　虽然谷歌现在才公布其超级计算机的细节，但它已经于2020年在内部上线，在美国俄克拉荷马州梅斯县(Mayes County)的一个数据中心运行。谷歌表示，初创公司Midjourney使用了该系统来训练其模型，该模型可以在输入文字后生成图像。

　　谷歌在论文中说，对于同等规模的系统，其超级计算机比基于Nvidia A100芯片的系统快1.7倍，节能1.9倍。谷歌表示，之所以没有将其第四代产品与Nvidia目前的旗舰产品H100芯片进行比较，因为H100是在谷歌的芯片之后上市的，而且是用更新的技术制造的。谷歌暗示他们可能正在开发一种新的TPU，与Nvidia H100竞争。

关注同花顺财经（ths518），获取更多机会

0人