在近期举行的措置器和系统工程师年度嘉会 Hot Chips 上，NVIDIA 首席科学家 Bill Dally 发表了主题演讲。在演讲中，其刻画了后摩尔定律期间商量机性能正在发生结构性的变化。

他默示，每一款新措置器齐具备始创性，需要历程不懈的勉力，发明并考证新的电子元件。这与上一代居品的建筑截然违反，那时的工程师主要依赖于芯片更小、更快的物理特质。

Dally 在 NVIDIA Research 指引着一支 300 多东谈主的团队，畴昔十年间他们将单个 GPU 的 AI 推感性能提高了 1000 倍（详见下图）。

IEEE Spectrum 首先以 NVIDIA 首创东谈主兼首席推论官黄仁勋的名字将这一惊东谈主的性能种植定名为 \"黄氏定律（Huang’s Law） \"，自后《华尔街日报》的一篇专栏著作又让该定律广为流传。

这么的飙升速率是对以相似惊东谈主的速率崛起的妄言语模子的回答，该模子用于生成式 AI，况且每年齐以数目级的速率增长。

Dally 说：\"这为硬件行业的发展设定了法子，因为咱们必须欣慰这种需求。”

皇冠体育

在演讲中，Dally 详备先容了推动性能种植 1000 倍的要素。

其中，种植幅度最大的一次达到了 16 倍，这源于东谈主们找到了更纯粹的法子来默示商量机运算使用的数字。

新的运算法子

最新的 NVIDIA Hopper 架构过甚 Transformer 引擎秉承 8 位和 16 位浮点与整数运算的动态组合。这种运算法子专为欣慰现时生成式 AI 模子的需求而量身定制。Dally 详备先容了该运算法子带来的性能种植和节能遵循。

Dally 指引的团队通过编写高等指示，教导 GPU 组织责任，竣事了 12.5 倍的性能种植。这些复杂的指示有助于以更低的能耗作念更多的责任。

因此，商量机就不错像“专用加快器一样高效，同期保留 GPU 的所有这个词可编程性”，Dally 先容谈。

此外，NVIDIA Ampere 架构还增多了结构化稀薄功能，这种翻新法子不错在不影响模子精度的前提下简化了 AI 模子的权重。Dally 默示，这项时刻将性能提高了两倍，况且翌日有望竣事更大的性能种植。

Dally 还先容了可竣事 GPU 之间高速互联的 NVLink 以及用于系统间的 NVIDIA 集聚如何使单个 GPU 的性能提高 1000 倍。

起初之路不啻步

Dally 指出，尽管 NVIDIA 在畴昔十年里将 GPU 的半导体节点从 28 纳米鼓舞到 5 纳米，但这种时刻只是孝敬了性能种植总量的 2.5 倍。

与摩尔定律下的前一代商量机野心比拟，这是浩瀚的转化。摩尔定律合计，跟着芯片变得越来越小、越来越快，措置器的性能每隔两年翻一倍。

登纳德缩放比例定律（Dennard scaling）在某种进程上对此进行了刻画。该定律由 IBM 科学家 Robert Denard 在 1974 年与东谈主合著的一篇论文中提倡。但缺憾的是，物理微缩碰到了当然限度，举例更小、更快的器件所能承受的热量。

出路乐不雅

Dally 默示，尽管摩尔定律提倡的性能种植在放缓，但黄氏定律仍将不息存在，他对此充满信心。

举例，他轮廓先容了翌日的几个契机，包括进一步简化数字默示面目、在 AI 模子中创建更多稀薄性以及野心更优的内存和通讯电路。

第一位：出号范围在01-24区段，在近年同期奖号中奇数走势较冷，目前连续遗漏4年，今年同期适当关注奇数回补，关注号码07。

因为每一代新的芯片和系统齐需要新的翻新，是以这是属于商量机工程师的好意思好期间，Dally 补充说。

Dally 服气，商量机野心范畴的新动态为 NVIDIA 工程师们提供了他们最渴慕的三个契机：成为致胜团队的一员、与灵敏东谈主同事以及从事有影响力的野心。

点击下方微信贯穿不雅看 Bill Dally 在 Hot Chips 主题演讲竣工视频：

聚焦黄氏定律：NVIDIA 首席科学家 Bill Dally 先容推动 GPU 性能种植的要津成分