NVIDIA H100

データ分析は、AIアプリケーションの開発において多くの時間を占める重要なプロセスです。
大規模なデータセットが複数のサーバーに分散されることが多いため、CPUのみの一般的なサーバーによるスケールアウトソリューションでは、スケーラブルなコンピューティングパフォーマンスが不足し、処理が滞ることがあります。
H100を搭載したサーバーは、GPUごとに毎秒3テラバイトのメモリ帯域幅を提供し、NVLinkとNVSwitchを使用することで高いスケーラビリティを実現します。これにより、膨大なデータセットに対する高性能なデータ分析が可能になります。NVIDIA Quantum-2 Infiniband、Magnum IOソフトウェア、GPU加速のSpark 3.0、そしてNVIDIA RAPIDS™と組み合わせることで、NVIDIAデータセンタープラットフォームは、他に類を見ない方法で膨大なワークロードを高速化し、卓越したパフォーマンスと効率性を提供します。

ITマネージャーは、データセンターでのコンピューティングリソースの利用率（ピーク時と平均時の両方）を最大化することを目指します。多くの場合、コンピューティングを動的に再構成し、使用中のワークロードに応じてリソースのサイズを調整します。
H100の第2世代マルチインスタンスGPU（MIG）は、1つのGPUを7つのインスタンスに分割でき、各GPUの利用率を最大化します。コンフィデンシャルコンピューティング対応のH100は、エンドツーエンドの安全なマルチテナント利用を可能にし、クラウドサービスプロバイダー（CSP）環境に最適です。
H100とMIGを活用することで、インフラストラクチャ管理者はGPUアクセラレーテッドインフラストラクチャを標準化しつつ、GPUリソースを非常に細かくプロビジョニングできます。適切な量のアクセラレーテッドコンピューティングを安全に開発者に提供し、GPUリソースの利用を最適化します。

現在のコンフィデンシャルコンピューティングソリューションはCPUベースが主流ですが、AIやHPCなどの大量の計算処理が必要なワークロードには不十分です。NVIDIAコンフィデンシャルコンピューティングは、NVIDIA Hopper™アーキテクチャに組み込まれたセキュリティ機能です。これにより、H100はコンフィデンシャルコンピューティング機能を持つ世界初のアクセラレータとなりました。ユーザーは、データとアプリケーションの機密性と完全性を保護しながら、H100 GPUの卓越した高速化を利用できます。
H100は、ハードウェアベースのTEE（Trusted Execution Environment/信頼できる実行環境）を提供し、単一のH100 GPU、複数のH100 GPUが配置されたノード、または個々のMIGインスタンス内で実行されるワークロード全体をセキュアに保護し、隔離します。GPUで高速化されるアプリケーションは、変更なしでTEE内で実行でき、分割する必要もありません。ユーザーは、AIおよびHPCのためのNVIDIAソフトウェアのパワーと、NVIDIAコンフィデンシャルコンピューティングによるハードウェアRoT（Root of Trust/信頼の起点）のセキュリティを組み合わせることができます。

Hopper TensorコアGPUは、NVIDIA Grace Hopper CPU+GPUアーキテクチャの力を活かし、テラバイト規模のアクセラレーテッドコンピューティングを実現します。これにより、大規模モデルのAIとHPCで10倍のパフォーマンス向上が達成されます。NVIDIA Grace CPUはArm®アーキテクチャの柔軟性を活用し、アクセラレーテッドコンピューティングのためにCPUとサーバーのアーキテクチャをゼロから設計することが可能です。Hopper GPUは、NVIDIAの超高速チップ間相互接続を通じてGrace CPUとペアリングされ、毎秒900GBの帯域幅を提供し、PCIe Gen5と比較して7倍の速さを実現します。
この革新的な設計により、現行で最速のサーバーと比べて、GPUへの合計システムメモリ帯域幅が最大30倍に増加します。結果として、パフォーマンスが最大10倍向上し、テラバイト単位のデータをアプリケーションで効率的に処理できます。