大規模言語モデル（LLM）とベクターデータベースを組み合わせることで、特にリアルタイムで更新される知識ベースを提供することで、コスト面でのメリットが得られます。ベクターデータベースは動的な情報取得を可能にするため、継続的な再学習を必要とせず、LLMを頻繁に微調整するよりも費用対効果が高い場合があります。これにより、最新のデータへのアクセスを維持しながら運用コストを削減できます。
参照
ベクターデータベースのコスト効率に関する記事
リアルタイム更新のための LLM とベクトルデータベースの統合に関する研究

OCI Generative AIサービスのVanilla fine-tuning手法で小規模なデータセットを使用すると、アンダーフィッティングが発生する可能性があります。アンダーフィッティングは、モデルが単純すぎてデータの根本的なパターンを捉えきれない場合に発生し、トレーニングデータと検証データの両方でパフォーマンスが低下します。これは特に小規模なデータセットで問題となり、モデルが必要なパターンや関係性を学習するのに十分な情報がない可能性があります。
参照
小規模データセットでの機械学習の課題に関する記事
OCI でのモデルの微調整に関する技術ドキュメント

貪欲デコーディングは、モデルが各ステップで常に最も高い確率の単語を選択する、シンプルで高速なテキスト生成戦略です。
貪欲デコードの仕組み:
テキスト生成の各ステップで、モデルは最も可能性の高い次の単語を選択します。
長期的な一貫性や流暢さについては考慮されません。
この方法では、探索が不足しているため、反復的で最適ではない出力が発生する可能性があります。
貪欲復号法の制限:
完全なシーケンスではなく次の単語のみを考慮するため、最適な文構造を見逃す可能性があります。
最も確率の高いパスに厳密に従うため、生成されるテキストの多様性は低くなります。
より優れた代替手段が存在します。ビームサーチ、Top-k サンプリング、温度スケーリングにより、より洗練された結果が得られます。
他のオプションが間違っている理由:
(A) は不正解です。貪欲なデコードではランダムな単語が選択されないからです。
(C) は、単語の選択が文の構造ではなく確率に基づいているため、誤りです。
(D) は不正解です。重み付けランダム選択は Top-k や Top-p (核サンプリング) などのサンプリング方法で使用されるためです。
🔹 Oracle Generative AI リファレンス:
Oracle AI は、テキスト生成モデルに貪欲デコード、ビーム検索、確率的サンプリングを組み込んで、精度と多様性を最適化します。