NVLink と NVSwitch

高速なマルチ GPU コミュニケーションの構成要素であり、大規模なデータセットを短時間でモデルに送り、GPU 間でデータを高速に交換します。

より高速でスケールアップな相互接続に対するニーズ

エクサスケール コンピューティングや兆単位パラメーターの AI モデルの可能性を最大限に引き出せるかどうかは、サーバー クラスター内での GPU 間のシームレスな高速通信にかかっています。第 5 世代の NVIDIA® NVLink® は、1 兆から数兆単位のパラメーターの AI モデルを処理する高速パフォーマンスを可能にするスケールアップな相互接続です。

NVLink パフォーマンス

NVIDIA H100 の NVLink は、前世代と比較して GPU 間通信の帯域幅が 1.5 倍になっており、研究者はより大規模で高度なアプリケーションを使用し、さらに複雑な問題を解くことができます。

NVLink 通信で GPU スループットを上げる

NVIDIA NVLink と NVIDIA NVSwitch で GPU を完全接続

NVLink は GPU 間で 1.8TB/秒 の直接相互接続であり、サーバー内でマルチ GPU の入出力 (IO) を拡張します。NVIDIA NVLink Switch は複数の NVLink を接続し、単一ラック内やラック間で、あらゆる GPU 通信を NVLink フルスピードで提供します。

高速な集合演算を可能にするために、各 NVLink Switch には NVIDIA SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) 用のエンジンがあり、ネットワーク内のデータ送信量を減らし、マルチキャストで高速化します。

NVLink Switch System で数兆単位のパラメーター モデルを学習する

NVLink Switch を使用すると、NVLink 接続をノード間で拡張し、シームレスで高帯域幅なマルチノード GPU クラスターを構築できます。データ センターサイズの GPU が効果的に形成されます。NVIDIA NVLink Switch は、1 つの NVL72 で 130TB/秒の GPU 帯域幅を可能にし、大規模なモデルを並列処理します。NVLink を使用するマルチサーバー クラスターは、コンピューティングの増加とバランスをとりながら GPU 通信を拡張します。その結果、NVL72 は、単一の 8 GPU システムに比べて 9 倍の GPU カウントをサポートできます。

NVIDIA NVLink Switch

NVIDIA NVLink Switch は 144 個の NVLink ポートを備え、そのノンブロッキング スイッチング容量は 14.4TB/秒です。このラック スイッチは NVIDIA GB200 NVL72 システム中に、高帯域で低遅延に設計されており、外部の第 5 世代 NVLink 接続をサポートします。


エンタープライズからエクサスケールにスケーリング

完全接続で比類のないパフォーマンス

NVLink Switch は、ノン ブロッキングのコンピューティング ファブリックで最大 576 基の接続された GPU をフル サポートできる、初のラックレベル スイッチ チップです。NVLink Switch はあらゆる GPU ペアを驚異的な 1,800 GB/秒で相互接続します。完全な All-to-All 通信をサポートします。GB200 NVL72 の 72 基の GPU は、最大 1.4 petaFLOPS の AI 演算能力を備えた 1 台の高性能アクセラレータとして利用できます。

非常にパワフルな AI/HPC プラットフォーム

ハードウェア、ネットワーク、ソフトウェア、ライブラリ、最適化された AI モデル、NVIDIA AI Enterprise ソフトウェア スイートならびに NVIDIA NGC™ カタログからのアプリケーションが組み込まれた完全な NVIDIA データ センター ソリューションにおいて、極めて重要な構成要素が NVLink と NVLink Switch です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを本番環境に展開でき、かつてない高速化があらゆる規模で可能となります。

NVIDIA Blackwell アーキテクチャの詳細をご覧ください。