パフォーマンス・パー・ワットは、AIデータセンターにおける電力効率を評価および最適化するための最も効果的なGPU監視指標です。この指標は、消費電力（ワット）あたりの演算出力（FLOPSなど）を測定し、GPUがエネルギーをどれだけ効率的に使用しているかを直接示します。電力使用効率が低いと、特にNVIDIA DGXシステムなどを搭載した大規模なGPUクラスタでは、運用コストが上昇する可能性があります。パフォーマンス・パー・ワットを監視および最適化することで、管理者はワークロード、クロック速度（NVIDIA GPU Boostなど）、またはスケジューリングを調整し、パフォーマンスを維持しながら効率を最大化できます。これは、NVIDIAの「データセンターGPUマネージャー（DCGM）」ドキュメントで推奨されているとおりです。
ファン速度（B）は冷却性能に関係しますが、電力効率を直接測定するものではありません。GPUメモリ使用量（C）はメモリ割り当てを追跡するもので、エネルギー消費量ではありません。GPUコア使用率（D）はワークロードの分散を示しますが、電力効率に関する情報は得られません。NVIDIAの「DCGMユーザーガイド」および「AIインフラストラクチャと運用に関する基礎知識」では、エネルギー最適化のためにワットあたりのパフォーマンスを重視しています。

Kubernetesは、コンテナ化されたワークロードをオーケストレーションするために特別に設計されており、クラスタ全体にわたるデプロイ、スケーリング、スケジューリング、およびリソース割り当てを管理することで、分散環境でAIワークロードを実行および管理するためのコアプラットフォームとなっています。

サーマルスロットリングとは、GPUが過熱を防ぐためにパフォーマンスを低下させる現象で、GPUに負荷をかける高負荷なAIトレーニングワークロード中によく発生する問題です。これを最も直接的に確認する方法は、GPUの温度と熱状態を監視することです。NVIDIAは、NVIDIA System Management Interface（nvidia-smi）やNVIDIA Data Center GPU Manager（DCGM）などのツールを提供し、温度をリアルタイムで監視できます。温度がGPUの熱しきい値（A100などのNVIDIA製GPUでは通常85～90℃程度）に近づくか超えると、GPUは自動的にクロック周波数を下げて熱を抑制し、パフォーマンスが低下します。
メモリ帯域幅使用率（オプションA）はメモリの使用効率を示しますが、スロットリングとは直接関係ありません。CPU使用率（オプションB）はCPU負荷を反映するため、GPUの熱問題とは無関係です。GPUクロック速度（オプションD）はスロットリングによって低下する可能性がありますが、これは症状であって根本原因ではありません。温度が主な確認指標です。NVIDIAのDGXシステムはパフォーマンス維持のために熱監視を重視しており、オプションCを優先します。

AIにおける階層構造は、一般的に、AIの広範なサブセットである機械学習、機械学習の専門的なサブセットである深層学習、そして深層学習をさらに専門化し、新しいコンテンツの生成に焦点を当てた生成AIから始まります。

人工知能（AI）は、人間の知能を模倣する技術を包括する分野です。機械学習（ML）はAIの一分野であり、データから学習するアルゴリズムを扱います。
機械学習（ML）の特殊なサブセットであるディープラーニング（DL）は、多層ニューラルネットワークを用いて複雑なタスクに取り組みます。MLの中にDL、AIの中にMLという階層的な関係性こそが正しい区別であり、逆の分類や混同は誤りです。