カスタム Python コードを Kubeflow Pipelines SDK に統合する最も簡単な方法は、Python 関数をパイプライン コンポーネントに変換する func_to_container_op 関数を使用することです。この関数は、Python 関数を実行する Docker イメージを自動的に構築し、パイプラインの kfp.dsl.ContainerOp インスタンスを作成するために使用できるファクトリ関数を返します。このオプションには、次の利点があります。
* データ サイエンス チームは、既存の Python コードを手動で書き直したりコンテナーにパッケージ化したりすることなく、再利用できます。
* 関数シグネチャがコンポーネント インターフェイスを定義し、関数本体がコンポーネント ロジックを定義するため、コンポーネントの仕様と実装が簡素化されます。
* プリミティブ型、ファイル、ディレクトリ、辞書など、さまざまなタイプの入力と出力をサポートします。
その他のオプションは、次の理由により最適ではありません。
* オプション B: Kubeflow Pipelines SDK で利用可能な定義済みコンポーネントを使用して Dataproc にアクセスし、そこでカスタム コードを実行すると、複雑さとコストが増大します。このオプションでは、Apache Spark と Apache Hadoop を実行する Compute Engine インスタンスの一時的かつスケーラブルなクラスタである Dataproc クラスタを作成して管理する必要があります。さらに、このオプションでは、既存の Python コードと互換性がない可能性のある PySpark または Hadoop MapReduce でカスタム コードを記述する必要があります。
* オプション C: カスタム Python コードを Docker コンテナにパッケージ化し、load_component_from_file 関数を使用してコンテナをパイプラインにインポートすると、追加の手順とオーバーヘッドが発生します。このオプションでは、Dockerfile の作成と管理、Docker イメージの構築とプッシュ、YAML ファイルでのコンポーネント仕様の記述が必要です。さらに、このオプションでは、Python コードと Docker イメージの依存関係とバージョンの管理も必要です。
* オプション D: カスタム Python コードを Cloud Functions にデプロイし、Kubeflow Pipelines を使用して Cloud Functions をトリガーすると、追加のレイテンシと制限が発生します。このオプションでは、イベントに応じて実行されるサーバーレス関数である Cloud Functions を作成してデプロイする必要があります。
さらに、このオプションでは、HTTP リクエストを使用して Kubeflow Pipelines から Cloud Functions を呼び出す必要があるため、ネットワーク オーバーヘッドとレイテンシが発生する可能性があります。また、このオプションは、最大実行時間やメモリ使用量など、Cloud Functions の割り当てと制限の影響を受けます。
参考文献:
* Python 関数ベースのコンポーネントの構築 | Kubeflow
* Python 関数ベースのコンポーネントの構築 | Kubeflow

オプション A は不正解です。強化学習は、組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに適したアプローチではありません。強化学習は、ラベル付けされたデータや明示的なフィードバックではなく、独自のアクションと報酬から学習するタイプの機械学習です1。強化学習は、ゲーム、ロボット工学、制御システムなど、順次意思決定を伴う問題に適しています1。ただし、欠陥検出は画像の分類またはセグメンテーションを伴う問題であり、強化学習ではなく教師あり学習が必要です。
オプション B は不正解です。推奨システムは、組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに適したアプローチではありません。推奨システムとは、ユーザーの好み、行動、またはコンテキスト2に基づいてアイテムやアクションをユーザーに提案するシステムです。推奨システムは、eコマース、エンターテイメント、ソーシャルメディア2などのパーソナライゼーションを伴う問題に適しています。ただし、欠陥検出は画像の分類またはセグメンテーションを伴う問題であり、推奨システムではなく教師あり学習が必要です。
オプション C は不正解です。なぜなら、リカレント ニューラル ネットワーク (RNN) は、組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築する最も効率的なアプローチではないからです。RNN は、時間的依存性を捉える隠れ状態を維持することで、テキスト、音声、ビデオなどのシーケンシャル データを処理できるニューラル ネットワークの一種です3。RNN は、自然言語処理、音声認識、ビデオ分析などの問題に適しています3。ただし、欠陥検出は、時間的依存性ではなく空間的依存性を必要とする画像分類またはセグメンテーションを含む問題です。さらに、RNN は計算コストが高く、勾配が消失または爆発する傾向があります4。
オプション D は正解です。畳み込みニューラル ネットワーク (CNN) は、組み立てラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに最適なアプローチです。CNN は、局所的な特徴を抽出してデータの次元を削減する畳み込みフィルターを適用することで、画像データを処理できるニューラル ネットワークの一種です5。CNN は、画像分類、オブジェクト検出、またはセグメンテーションを含む問題に適しています5。CNN は、プーリング、ドロップアウト、バッチ正規化などの手法を使用して、より少ない計算で画像を前処理し、製品の欠陥の特徴をすばやく抽出できます6。
参照：
強化学習
レコメンデーションシステム
リカレントニューラルネットワーク
消失と爆発のグラデーション
畳み込みニューラルネットワーク
CNNテクニック
[欠陥検出]
【画像分類】
[画像分割]

TensorFlow Data Validation (TFDV) は、機械学習のデータを理解、検証、監視するのに役立つライブラリです。データ内の欠落した機能、新しい機能、異なるデータ型などのスキーマ異常を自動的に検出して報告できます。また、データの調査とデバッグに役立つ記述統計とデータ視覚化を生成することもできます。TFDV をモデル トレーニング パイプラインに統合して、機械学習ライフサイクル全体にわたってデータの品質と一貫性を確保できます。参照:
TensorFlow データ検証
データ検証 | TensorFlow
データ検証 | 機械学習クラッシュコース | Google Developers

The F1 score is a metric that combines both precision and recall, and is suitable for evaluating imbalanced classification problems. Precision measures the fraction of true positives among the predicted positives, and recall measures the fraction of true positives among the actual positives. The F1 score is the harmonic mean of precision and recall, and it ranges from 0 to 1, with higher values indicating better performance. The F1 score is a good metric for imbalanced data because it balances both the false positives and the false negatives, and does not favor the majority class over the minority class.
他のオプションは、不均衡なデータには適したメトリクスではありません。RMSE (二乗平均平方根誤差) は、回帰問題用のメトリクスであり、分類問題用ではありません。予測値と実際の値の平均二乗差を測定するもので、バイナリ結果には適していません。再現率よりも精度の重み付けが高い F スコア、つまり F0.5 スコアは、再現率よりも精度を重視するメトリクスです。つまり、偽陽性よりも偽陰性にペナルティが課せられるため、少数派クラスが重要な不均衡なデータには適していません。再現率よりも精度の重み付けが高い F スコア、つまり F2 スコアは、再現率よりも精度を重視するメトリクスです。つまり、偽陽性よりも偽陰性にペナルティが課せられるため、一部の不均衡なデータの問題には適しているかもしれませんが、ロゴ検出の問題には適していません。この問題では、画像内のロゴの有無を正確に識別する必要があるため、偽陽性と偽陰性の両方が同様に重要です。したがって、F1 スコアは F2 スコアよりも優れたメトリクスです。参考:
不均衡分類の評価指標のツアー
不均衡なデータの指標（簡単に説明）