NVLink と NVSwitch

高速なマルチ GPU コミュニケーションの構成要素であり、大規模なデータセットを短時間でモデルに送り、GPU 間でデータを高速に交換します。

より高速でスケールアップな相互接続に対するニーズ

エクサスケール コンピューティングや兆単位パラメーターの AI モデルの可能性を最大限に引き出せるかどうかは、サーバー クラスター内での GPU 間のシームレスな高速通信にかかっています。第 5 世代の NVIDIA® NVLink® は、1 兆から数兆単位のパラメーターの AI モデルを処理する高速パフォーマンスを可能にするスケールアップな相互接続です。

NVLink パフォーマンス

NVIDIA H100 の NVLink は、前世代と比較して GPU 間通信帯域幅を 1.5 倍増加させるため、研究者はより大規模で洗練されたアプリケーションを使用して、より複雑な問題を解決できます。

NVLink 通信で GPU スループットを上げる

NVIDIA NVLink と NVLink Switch で GPU を完全接続

NVLink は、1.8 TB/秒の双方向、GPU 間の直接相互接続であり、サーバー内でマルチ GPU 入出力 (IO) を拡張します。 NVIDIA NVLink Switch チップは、複数の NVLink を接続し、単一ラック内やラック間で、あらゆる GPU 通信を NVLink フルスピードで提供します。

高速な集合演算を可能にするために、各 NVLink Switch には NVIDIA SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) 用のエンジンがあり、ネットワーク内のデータ送信量を減らし、マルチキャストで高速化します。

NVLink Switch System で数兆単位のパラメーター モデルを学習する

NVLink Switch を使用すると、NVLink 接続をノード間で拡張し、シームレスで高帯域幅なマルチノード GPU クラスターを構築できます。データ センターサイズの GPU が効果的に形成されます。NVIDIA NVLink スイッチは、1 つの NVL72 で 130TB/秒の GPU 帯域幅を可能にし、大規模なモデルを並列処理します。NVLink を使用するマルチサーバー クラスターは、コンピューティングの増加とバランスをとりながら GPU 通信を拡張します。その結果、NVL72 は、単一の 8 GPU システムに比べて 9 倍の GPU スループットをサポートできます。

NVIDIA NVLink Switch

第 4 世代 NVSwitch は、ノン ブロッキングのコンピューティング ファブリックで最大 2,592 基の接続された GPU をフル サポートできる、初のラックレベル スイッチ アーキテクチャです。第 4 世代 NVSwitch はあらゆる GPU ペアを驚異的な毎秒 1,800 ギガバイトで相互接続します。完全な All-to-All 通信をサポートします。GB200 NVL72 の 72 基の GPU は、最大 1.4 petaFLOPS の AI 演算能力を備えた 1 台の高性能アクセラレータとして利用できます。


エンタープライズからエクサスケールにスケーリング

完全接続で比類のないパフォーマンス

NVLink Switch は、ノン ブロッキングのコンピューティング ファブリックで最大 576 基の接続された GPU をフル サポートできる、初のラックレベル スイッチ チップです。NVLink Switch はあらゆる GPU ペアを驚異的な毎秒 1,800 ギガバイトで相互接続します。完全な All-to-All 通信をサポートします。GB200 NVL72 の 72 基の GPU は、最大 1.4 exaFLOPS の AI 演算能力を備えた 1 台の高性能アクセラレータとして利用できます。

非常にパワフルな AI/HPC プラットフォーム

ハードウェア、ネットワーク、ソフトウェア、ライブラリ、最適化された AI モデル、NVIDIA AI Enterprise ソフトウェア スイートならびに NVIDIA NGC™ カタログからのアプリケーションが組み込まれた完全な NVIDIA データ センター ソリューションにおいて、極めて重要な構成要素が NVLink と NVLink Switch です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを本番環境に展開でき、かつてない高速化があらゆる規模で可能となります。

NVIDIA Blackwell アーキテクチャを詳しく見てみましょう