A.  複数の微調整されたモデルの展開を可能にします。

B.  同じ GPU クラスターにデプロイ可能な微調整されたモデルの数を制限します。

C.  モデルの展開に必要な G PU メモリが増加します。

D.  モデル推論のレイテンシが高くなります。

A.  Top K は上位トークンの確率の合計を考慮しますが、Top" は確率でソートされた Top k" トークンから選択します。

B.  Top k と「Top p」はトークン選択のアプローチは同じですが、トークンへのペナルティの適用方法が異なります。

C.  Top k と Top p はどちらも同じトークン セットから選択しますが、頻度に基づいて優先順位を付ける方法は異なります。

D.  Top k は、可能性のあるトークンのリスト内の位置に基づいて次のトークンを選択しますが、"Top p" は、トップ トークンの累積確率に基づいて選択します。