GPUアーキテクチャの最先端！NVIDIA Hopper アーキテクチャを解説【トゥモロー・ネット テックブログ】

生成AIをはじめとしたAI技術を実装する上で必要不可欠なのがGPUです。近年では、高い性能を誇るNVIDIA社のGPU製品に注目が集まっていますが、その性能の根幹となっているのが最先端のアーキテクチャである「NVIDIA Hopper」です。

NVIDIA Hopperアーキテクチャとはどのような技術であり、どのようなメリットがあるのでしょうか。この記事では、NVIDIA Hopperアーキテクチャの概要や主な特徴、またNVIDIA Hopperアーキテクチャを採用したGPU製品である「NVIDIA H100 Tensor コア GPU」についてご紹介します。

NVIDIA Hopper アーキテクチャとは

NVIDIA Hopperは2022年にNVIDIA社のイベント「GTC2022 Spring」で発表された次世代型のデータセンター向けGPUアーキテクチャです。アーキテクチャを日本語に翻訳すると「設計」という意味となりますが、GPUのアーキテクチャとは「GPUがどの様に入力を受け付け、どのように処理を行い、どのように結果を出力するのか」といった一連の処理方法を定めたものを指します。

NVIDIA Hopperアーキテクチャは生成AI、大規模言語モデル(LLM)をはじめとしたAI技術に最適化されています。NVIDIA Hopperアーキテクチャを採用した最新のデータセンター向けGPU製品「NVIDIA H100 Tensor コア GPU」は、前世代のアーキテクチャが利用されているA100と比較してLLM用途で9倍の学習速度と30倍の推論速度を実現するなど、高い性能を示しています。

NVIDIA Hopperアーキテクチャの主な特徴は以下のとおりです。

新たなTransformer Engine

Transformer Engineは、行列積和演算を高速に実行するTensorコアの性能を最大限に発揮するためのソフトウェアです。NVIDIA Hopperアーキテクチャで採用されている新たなTransformer Engineでは、8ビット浮動小数点と16ビット浮動小数点の精度を混在させて演算することができるなど改善が進んでおり、浮動小数点の演算速度（FLOPS）を前世代のアーキテクチャの3倍に向上させています。

NVLinkとNVSwitchによる高速通信

兆単位のパラメーターを持つAIモデルを高速に動作させるためには、サーバークラスター内のGPU間での高速かつシームレスな通信が必要です。NVIDIA Hopper アーキテクチャでは、この高速通信を「NVLink」と「NVSwitch」の各技術で実現しています。各技術の概要は以下のとおりです。

NVLink

NVLinkは、サーバー内に存在するGPU間での通信を実現するための仕組みです。通信におけるオーバーヘッドを最小限に抑え、効率的な通信を実現します。

第4世代のNVLinkでは、GPUあたり双方向で毎秒900ギガバイトの通信を実現し、帯域幅はPCIe Gen5の7倍以上です。

NVSwitch

NVSwitchはサーバー間にまたがって通信を実現する仕組みであり、NVLink同士を接続することができます。第3世代のNVSwitchでは、最大256基のGPUを接続したクラスターをサポートし、毎秒57.6 テラバイトの帯域幅を提供します。

NVIDIAコンフィデンシャルコンピューティング

NVIDIAコンフィデンシャルコンピューティングは、ハードウェアベースでデータを保護するための仕組みです。通常、データはストレージ上に保管されているとき、もしくはネットワーク間で転送するときには暗号化されますが、データの処理中では暗号化は解除されます。ここで、NVIDIAコンフィデンシャルコンピューティングにより、暗号化が解除されるデータの処理中においても、データを保護することができます。

この仕組みは世界初のものであり、オンプレミス・クラウド・エッジなどいかなる環境においてもデータの機密性と完全性を担保することができる技術です。

第2世代のセキュアなマルチインスタンスGPU

マルチインスタンスGPU(MIG)機能とは、GPUを複数の小さなインスタンスに分割し、それぞれにメモリ、キャッシュ、コアを割り当てるものです。MIGにより、仮想的なマルチテナント・マルチユーザー構成を実現することができます。

NVIDIA Hopperアーキテクチャには第2世代のMIGが搭載されており、最大7個のGPUインスタンスを構築することができます。さらに、前述したコンフィデンシャルコンピューティングの仕組みにより、ハードウェアおよびハイパーバイザーのレベルで各インスタンスは分離されますので、機密性・完全性の担保も可能です。

管理面においても、同時実行MIGプロファイリングを利用することで、管理者はメモリ、キャッシュ、コアなどのリソース割り当てを最適化できます。

DPX命令

DPX命令とはNVIDIA Hopperアーキテクチャで導入された新しい命令セットであり、複雑な再帰的問題を単純な小問題に分割して解決する「動的プログラミング」と呼ばれる手法に活用できるものです。NVIDIA HopperアーキテクチャのDPX命令は、従来のサーバーと比較して40倍、前世代であるAmpere アーキテクチャのGPUと比較して7倍の速さで、動的プログラミングにおける処理を実現します。

NVIDIA H100 Tensor コア GPUとは

NVIDIA H100 Tensor コア GPU（以下、H100）はNVIDIA Hopperアーキテクチャを採用したデータセンター向けGPU製品です。H100は、台湾の半導体メーカーであるTSMC社の「4Nプロセス」の採用により800億ものトランジスタを集積しており、前世代のA100と比較して約6倍という圧倒的な性能を誇ります。特に近年ニーズが高まるLLMの高速化においては、前述のとおりH100ではA100と比較して最大30倍の推論速度を誇ります。

さらに、NVLinkおよびNVSwitchの仕組みにより、最大256個のH100を接続し、1秒間に100京回の演算という、いわゆるエクサスケールコンピューティングを実現することもできます。また、Transformer Engineにより兆単位のパラメーターを持った言語モデルの実装も可能です。

なお、H100にはNVIDIA AI Enterpriseのサブスクリプション5年分が付属しています。NVIDIA AI Enterpriseは生成AIの開発とデプロイを効率化するためのソフトウェアプラットフォームであり、生成AIの導入に役立ちます。

H100について、詳しくは以下の記事でも解説しております。併せてご覧ください。

参考記事：NVIDIA H100とは？その性能やおすすめの利用シーンを解説

まとめ

この記事では、NVIDIA HopperアーキテクチャおよびHopperアーキテクチャを採用したNVIDIA H100 Tensor コア GPUについてご紹介しました。事業においてAIを活用するためには、GPUの確保が必須です。高い性能を誇るGPUの利用により、提供するAIの性能差別化、引いては事業の差別化につながりますので、GPU製品への理解を深めることは重要といえるでしょう。

トゥモロー・ネットでご支援できること

トゥモロー・ネットでは、NVIDIAのパートナーとしてH100をはじめとするGPU製品の販売や導入サポートを実施しています。きめ細やかな提案、構築、導入を提供いたしますので、GPUをお探しの方はぜひお問合せください。

NVIDIA GPUサーバー専門サイトはこちら

お問い合わせはこちら

お問い合わせはこちら

関連ページ

GPUスケーリングとは？AIの生産性向上に役立つNVIDIA MIGとの関係

NVIDIA GPUはなぜAIに最適なのか？選定するポイントも紹介

この記事の筆者