* 問題の背景：エンジニアは、テキストと画像の両方が含まれる可能性のあるPDF文書からテキストを抽出する必要があります。目標は、最小限のコード量でこのタスクを簡素化するPythonパッケージを見つけることです。
* オプションの説明:
* オプション A: flask: Flask は Python 用の Web フレームワークであり、PDF からのコンテンツの処理や抽出には適していません。
* オプション B: beautifulsoup: Beautiful Soup は、PDF ではなく、HTML および XML ドキュメントを解析するために設計されています。
* オプションC：非構造化データ：このPythonパッケージは、PDFからのテキスト抽出を含む、非構造化データの処理に特化して設計されています。最小限のコーディングでドキュメント内の様々な種類のコンテンツを処理する機能を備えているため、このタスクに最適です。
* オプション D: numpy: Numpy は Python での数値計算用の強力なライブラリですが、PDF からテキストを抽出するためのツールは提供していません。
要件を考慮すると、最小限のコードで PDF ドキュメントからテキストを効率的に抽出するというニーズに直接対応するオプション C (非構造化) が最も適切です。

タスクは、最小限の労力と高いパフォーマンスで、ユーザーの位置と継続的に更新される Delta テーブルを活用し、RAG アプリケーションを使用して映画の上映時間情報を提供する映画チャットボットを拡張することです。
オプションを評価してみましょう。
* オプションA: Deltaテーブルから同期されたオンラインストアを参照するFeatureSpecから、Feature Serving Endpointを作成します。エージェントロジック/ツール実装の一部として、Feature Serving Endpointにクエリを実行します。
* Databricks Feature Servingは、オンラインストア経由でDeltaテーブルからリアルタイムデータへの低レイテンシアクセスを提供します。DeltaテーブルをFeature Servingエンドポイントに同期することで、チャットボットはRAGエージェントのツールロジックにシームレスに統合され、効率的にショータイムを照会できるようになります。これにより、Databricksのネイティブインフラストラクチャが活用され、作業負荷を最小限に抑え、パフォーマンスを確保できます。
* Databricks リファレンス:「機能サービング エンドポイントは、低待機時間で Delta テーブル データへのリアルタイム アクセスを提供するため、運用システムに最適です」(「Databricks 機能エンジニアリング ガイド」、2023)。
* オプション B: エージェント ロジック/ツール内のテキストから SQL への LLM を使用して、ユーザーの入力から構築された SQL クエリを介して Delta テーブルを直接クエリします。
* テキストからSQLへのLLMを使用してクエリを生成すると、複雑さ（例：正確なSQL生成の確保）とレイテンシ（LLM推論 + SQL実行）が増加します。実現可能ではありますが、事前に構築されたサービスソリューションよりもパフォーマンスが低く、より多くの労力を必要とします。
* Databricks リファレンス:「直接 SQL クエリは柔軟ですが、リアルタイム アプリケーションでオーバーヘッドが発生する可能性があります」(「Databricks を使用した LLM アプリケーションの構築」)。
* オプションC：Deltaテーブルの内容をテキスト列に書き込み、埋め込みモデルを用いてそれらのテキストを埋め込み、ベクターインデックスに格納する。エージェントロジック／ツール実装の一部として、埋め込みに基づいて情報を検索する。
* 構造化されたDeltaテーブルデータ（例：上映時間）をテキストに変換し、埋め込み、ベクター検索を行う方法は、構造化検索には非効率的です。前処理や埋め込みといった手間がかかり、直接クエリよりも精度が低いため、パフォーマンスが低下します。
* Databricks リファレンス:「ベクター検索は、構造化された表形式の検索ではなく、非構造化データに優れています」(「Databricks ベクター検索ドキュメント」)。
* オプション D: Databricks ワークフローでタスクを設定し、Delta テーブルの情報を MySQL などの外部データベースに定期的に書き込み、エージェント ロジック/ツール実装の一部としてそこから情報を照会します。
* 外部データベース（例：MySQL）へのエクスポートには、セットアップの手間（ワークフロー、外部DB管理）とレイテンシ（定期的な更新とリアルタイム更新の違い）が加わります。Databricksのネイティブツールを使用する場合と比べて、パフォーマンスが低下し、複雑になります。
* Databricks リファレンス:「Delta テーブルがネイティブにリアルタイム データを提供する場合は外部システムを使用しない」(「Databricks ワークフロー ガイド」)。
結論: オプション A では、Databricks Feature Serving を使用して Delta テーブルへのリアルタイムかつ低レイテンシのアクセスを実現することで労力を最小限に抑え、実稼働対応の RAG チャットボットで高いパフォーマンスを確保します。

* 問題のコンテキスト: エンジニアは、アプリケーションを開発するために、大きなコンテキスト ウィンドウを備えたオープン ソース LLM を必要とします。
* オプションの説明:
* オプション A: DistilBERT: BERT の効率的で小型のバージョンですが、DistilBERT は特に大きなコンテキスト ウィンドウを提供しません。
* オプション B: MPT-30B: このモデルは大きいですが、コンテキスト ウィンドウの機能が特に優れているわけではありません。
* オプションC：Llama2-70B：大規模なモデルサイズと、大きなコンテキストウィンドウを含む豊富な機能で知られています。オープンソースモデルとしても利用可能で、広範なコンテキスト理解を必要とするアプリケーションに最適です。
* オプション D: DBRX: これは、広範なコンテキスト ウィンドウを持つ大規模な言語モデルのコンテキストでは認識される標準モデルではありません。
したがって、オプション C (Llama2-70B) は、コンテキスト ウィンドウが大きく、オープン ソースで使用できるという基準を満たしており、堅牢な言語理解アプリケーションの開発に適しているため、最適です。

目標は、Unity CatalogとMLflowを活用し、費用対効果とセキュリティを確保しながら、本番環境（prod）のDatabricksワークスペースから微調整されたLLMを開発環境（dev）でテストできるようにすることです。では、選択肢を分析してみましょう。
* オプションA: すべてのワークスペースからアクセスできる外部モデルレジストリを使用する
* 外部レジストリは、Databricks のネイティブエコシステムの外部にコスト (ホスティング料金など) と複雑さ (統合、セキュリティ構成など) を追加し、Unity Catalog のガバナンスに比べてセキュリティを低下させます。
* Databricks リファレンス:「Unity Catalog は、Databricks 内に集中管理された安全なモデル レジストリを提供します」(「Unity Catalog ドキュメント」、2023)。
* オプションB: モデルをprodからエクスポートしてdevにインポートするスクリプトを設定する
* エクスポート/インポートスクリプトは、手作業、モデル成果物の保存、そして繰り返し実行を必要とするため、運用コストとリスク（バージョンの不一致、セキュリティ保護されていない転送など）が増加します。ネイティブソリューションに比べて効率性が低くなります。
* Databricks リファレンス: Unity Catalog が組み込みの共有を提供している場合、手動プロセスは推奨されません。「Unity Catalog のクロスワークスペース アクセスによる冗長なワークフローを回避する」(「Unity Catalog を使用した MLflow」)。
* オプション C: 開発環境で重複したトレーニング パイプラインを設定し、開発環境で同一のモデルを使用できるようにする
* トレーニングパイプラインを複製すると、モデルを最初から再トレーニングするため、コンピューティングコストとストレージコストが倍増します。製品版モデルを安全に再利用できる場合、コスト効率も高くなく、また不要です。
* Databricks リファレンス:「トレーニングの再実行には多くのリソースが必要です。可能な場合は既存のモデルを活用してください」(『Generative AI エンジニア ガイド』)。
* オプションD: MLflowを使用してモデルをUnityカタログに直接ログインし、開発ワークスペースでモデルへの読み取りアクセスを有効にします。
* MLflow と統合された Unity Catalog により、本番環境にログインしたモデルを一元管理し、きめ細かな権限（例：開発環境向けの読み取り権限）で複数のワークスペースからアクセスできるようになります。これはコスト効率に優れ（追加のインフラストラクチャや再トレーニングは不要）、安全です（Databricks のアクセス制御によって制御されます）。
* Databricks リファレンス:「MLflow 経由でモデルを Unity Catalog に記録し、他のワークスペースへのアクセスを安全に許可する」(「MLflow モデルレジストリと Unity Catalog」、2023)。
結論: オプション D は、Databricks のネイティブ ツール (MLflow および Unity Catalog) を活用して、外部システム、手動スクリプト、冗長なトレーニングを回避し、シームレスでコスト効率が高く、安全なソリューションを実現します。