深度强化学习应用

2020年，谷歌发布了预印本论文《Chip Placement with Deep Reinforcement Learning》，介绍了他们利用深度强化学习设计芯片布局的新方法。2021年，谷歌在《自然》杂志上进一步详细阐述了这一技术，并将其开源。近日，谷歌公布了这篇论文的附录，提供了更多关于该方法及其对芯片设计行业影响的信息。此外，谷歌还开放了一个在20个TPU模块上预训练的检查点，命名为“AlphaChip”，并分享了模型权重。

谷歌首席科学家Jeff Dean表示，通过开放预训练的AlphaChip模型检查点，外部用户可以更轻松地使用AlphaChip进行芯片设计。计算机芯片是推动AI发展的关键因素之一，而AlphaChip则利用AI技术加速和优化芯片设计。这一方法已被用于设计谷歌最近三代的自定义AI加速器（TPU）。

AlphaChip能够在数小时内完成媲美甚至超越人类水平的芯片布局，大大缩短了原本需要数周或数月的人工工作时间。这种方法设计的布局已广泛应用于各种场景，从数据中心到手机。谷歌DeepMind表示，AlphaChip彻底改变了芯片设计方式，不仅帮助设计用于构建AI模型的顶级TPU，还在数据中心CPU设计中发挥了重要作用。

谷歌DeepMind联合创始人兼CEO Demis Hassabis认为，AlphaChip形成了一种反馈循环：训练顶级芯片设计模型（AlphaChip）→ 使用AlphaChip设计更好的AI芯片 → 使用这些AI芯片训练更好的模型 → 再设计更好的芯片。这一循环正是谷歌TPU堆栈表现优异的原因之一。

AlphaChip的工作原理与AlphaGo和AlphaZero类似，它将芯片布局规划视为一种博弈。AlphaChip从空白网格开始，逐步放置电路元件，直到完成所有元件的放置。这一过程中，谷歌提出了一种新颖的“基于边”的图神经网络，使AlphaChip能够学习互连芯片元件之间的关系，并在整个芯片中进行推广，从而不断提升其设计能力。

自2020年以来，谷歌一直使用AlphaChip为每一代TPU生成超级芯片布局。这些芯片使得大规模扩展基于Google Transformer架构的AI模型成为可能。TPU作为谷歌强大的生成式AI系统的核心，被广泛应用于大语言模型（如Gemini）以及图像和视频生成器（Imagen和Veo）等领域。这些TPU也是Google AI服务的核心，可通过Google Cloud供外部用户使用。

为了设计TPU布局，AlphaChip首先在前几代的各种芯片块上进行预训练，然后在当前的TPU块上运行以生成高质量的布局。这一过程使得AlphaChip能够更好地解决更多芯片布局任务实例，从而提高设计效率和质量。随着每一代新TPU的推出，AlphaChip设计出更好的芯片布局，加快了设计周期并提升了芯片性能。

AlphaChip的应用不仅限于TPU等专用AI加速器，还扩展到了Alphabet的其他芯片设计布局，如Google Axion处理器。外部组织也在积极采用和扩展AlphaChip，例如联发科将其用于加速其最先进芯片（如三星手机使用的Dimensity Flagship 5G）的开发。AlphaChip引发了芯片设计领域的革命，推动了逻辑综合和宏选择等关键阶段的技术发展。

谷歌坚信AlphaChip有潜力优化从计算架构到制造的整个芯片设计周期，并改变智能手机、医疗设备、农业传感器等日常设备中的定制硬件设计。未来，谷歌将继续与社区合作，推动自动芯片设计领域的变革，迎接速度更快、价格更低、能效更高的芯片时代。

本文来源：