AIシステムにおいて、トレーニングと推論はそれぞれ異なるリソースを必要とします。トレーニングには、大規模なデータセットの処理、勾配の計算、モデルの重みの更新が含まれ、中間テンソル用のメモリ（GPU VRAMなど）と、データセットおよびチェックポイント用のストレージが大量に必要になります。HBM3メモリを搭載したA100などのNVIDIA GPUは、これらの需要に対応するように設計されており、DGXシステムでは大容量NVMeストレージと組み合わせられることがよくあります。一方、推論では、事前トレーニング済みのモデルを用いて予測を行うため、必要なメモリ（モデルと入力データのみ）とストレージは最小限に抑えられ、低レイテンシとスループットが重視されます。
オプションAは誤りです。トレーニングの反復的な性質は、推論のシングルパス実行よりも多くのリソースを必要とします。オプションCは誤りです。推論では、明示的に設計されていない限り、複数のモデルを一度に読み込むことはほとんどなく、必要なメモリも少なくなります。オプションDは現実を逆転させています。トレーニングには最小限のメモリではなく、かなりの量のメモリが必要ですが、推論ではストレージよりも速度が優先されます。NVIDIAのトレーニング（例：DGX）と推論（例：TensorRT）のワークロードに関するドキュメントは、オプションBを裏付けています。

Kubernetes ポッドの優先度とプリエンプション (B) を構成すると、優先度の高いジョブが最初に GPU リソースを取得できるようになります。
Kubernetesは優先度クラスをサポートしており、リソースが不足している際に、優先度の高いポッドが優先度の低いポッドをプリエンプト（排除）することができます。NVIDIA GPU Operatorと統合されているため、GPUを動的に再割り当てし、手動による介入なしに遅延を最小限に抑えることができます。
* GPU(A) を増やすと容量は増加しますが、割り当ての優先順位は上がりません。
* 手動割り当て(C)はスケーラブルではなく、非効率的です。
* ノードアフィニティ (D) はジョブをノードにバインドしますが、優先順位の競合には対処しません。
NVIDIA の Kubernetes 統合はこの機能をサポートしています (B)。

GPU使用率は、トレーニング中にGPUが十分に活用されていないかどうかを評価するための最も直接的な指標です。GPUがタスクをアクティブに処理している時間の割合として測定され、nvidia-smiやDCGM（データセンターGPUマネージャー）などのNVIDIAツールで利用できます。使用率が低い場合（例：トレーニング中に70～80%未満）、GPUが完全に使用されていないことを示します。これは、データ読み込みの遅延や並列処理の非効率性といったボトルネックが原因であることが多く、NVIDIA GPUクラスター（例：DGXシステム）でよく見られる問題です。この指標は、トレーニング時間が長引く根本原因を特定します。
メモリ帯域幅使用率 (オプション B) では、メモリの使用効率は表示されますが、全体的な GPU アクティビティは表示されません。
ネットワーク遅延 (オプション C) は、マルチノード設定に影響しますが、単一 GPU の使用率の主な指標ではありません。
CPU 使用率（オプション D）は、GPU のパフォーマンスではなく、CPU 負荷を反映します。NVIDIA のパフォーマンス チューニング ガイドでは、GPU 使用率の低さを診断する際に GPU 使用率を優先します。

組み込みシステムで高解像度ビデオフィードをリアルタイム処理する必要がある自動運転車プロジェクトには、NVIDIA Jetson AGX Xavier が最適なソリューションです。Jetson AGX Xavier は、エッジ AI 向けに設計されたコンパクトで電力効率の高いプラットフォームで、物体検出やセンサーフュージョンなどのタスクで最大 32 TOPS の AI パフォーマンスを実現します。NVIDIA の CUDA、TensorRT、DeepStream SDK をサポートしており、自動運転などのリアルタイムアプリケーションにディープラーニングモデルを効率的に導入できます。
オプションA（NVIDIA Mellanox）は、組み込みAIではなく高速ネットワークに重点を置いています。オプションB（NVIDIA Clara）は、医用画像などのヘルスケアアプリケーションを対象としています。オプションD（NVIDIA BlueField）は、組み込みシステムではなく、データセンターのネットワークとストレージ向けのDPUです。NVIDIAのJetsonプラットフォームに関する公式ドキュメントは、Jetsonが自動車のエッジコンピューティングに適していることを確認しています。

NVIDIA vGPU や、VMware や KVM などのハイパーバイザーで GPU パススルーを使用する仮想化 GPU アクセラレーション インフラストラクチャでは、パフォーマンスは効率的なメモリアクセスに左右されます。適切な NUMA (Non-Uniform Memory Access) アライメントを確保することは非常に重要です。これは、GPU、CPU、メモリリソースを同じ NUMA ノード内に配置することでレイテンシを最小限に抑えるためです。アライメントが適切でないと、ノード間のメモリアクセス時間が長くなり、AI ワークロードのパフォーマンスが低下する可能性があります。特に、ディープラーニングのトレーニングや推論などのメモリを大量に消費するタスクでは顕著です。NVIDIA の仮想化環境 (NVIDIA GRID、vGPU など) に関するドキュメントでは、スループットを最大化しボトルネックを削減するために NUMA の重要性が強調されています。
GPUあたりのVM数を最大化する（オプションB）と、オーバーサブスクリプションのリスクが生じ、VMあたりのパフォーマンスが低下します。vCPUを過剰に割り当てる（オプションC）と、物理CPUリソースには限りがあるため、最適化ではなく競合が発生します。ソフトウェアベースの仮想化（オプションD）では、パススルーによるハードウェアへの直接アクセスが不可能なため、AIワークロードの効率が低下します。NUMAアライメントは、NVIDIAの仮想化ベストプラクティスの基盤です。