Kubeflow は、Kubernetes 上でスケーラブルでポータブルな機械学習ワークフローを開発、オーケストレーション、デプロイ、実行するためのオープンソース プラットフォームです。Kubeflow Pipelines は、グラフィカル ユーザー インターフェイスまたは Python ベースのドメイン固有言語 (DSL) を使用してエンドツーエンドの機械学習パイプラインを構築および管理できる Kubeflow のコンポーネントです。Kubeflow Pipelines は、機械学習ワークフローの自動化とオーケストレーションを支援し、さまざまな Google Cloud サービスやツールと統合できます1。Kubeflow Pipelines で使用できる Google Cloud サービスの 1 つは、サーバーレスでスケーラブルでコスト効率の高いデータである BigQuery です。大規模なデータに対して高速かつ複雑なクエリを実行できるウェアハウス。BigQuery は、機械学習用のデータの分析と準備、機械学習モデルの保存と管理に役立ちます2。Kubeflow パイプラインの最初のステップとして BigQuery に対してクエリを実行し、そのクエリの結果を次のステップへの入力として使用します。パイプラインでこれを行う最も簡単な方法は、BigQuery クエリ コンポーネントを使用することです。これは、GitHub の Kubeflow Pipelines リポジトリにある事前に構築されたコンポーネントです。
The BigQuery Query Component allows you to run a SQL query on BigQuery, and output the results as a table or a file. You can use the component's URL to load the component into your pipeline, and specify the query and the output parameters. You can then use the output of the component as the input to the next step in your pipeline, such as a data processing or a model training step3 The other options are not as easy or feasible. Using the BigQuery console to execute your query and then save the query results into a new BigQuery table is not a good idea, as it does not integrate with your Kubeflow pipeline, and requires manual intervention and duplication of data. Writing a Python script that uses the BigQuery API to execute queries against BigQuery is not ideal, as it requires writing custom code and handling authentication and error handling. Using the Kubeflow Pipelines DSL to create a custom component that uses the Python BigQuery client library to execute queries is not optimal, as it requires creating and packaging a Docker container image for the component, and testing and debugging the component.
References: 1: Kubeflow Pipelines overview 2: BigQuery overview 3: BigQuery Query Component

オーバーサンプリングは、多数派のクラスが少数派のクラスを支配する不均衡なデータセットを処理するための手法です。少数派クラスのサンプル数を増やすことで、クラスの分布のバランスをとります。
オーバーサンプリングにより、多数派のクラスに対するバイアスが軽減され、少数派のクラスに対する感度が高まるため、分類器のパフォーマンスを向上させることができます。
この場合、データセットにはトランザクションが含まれており、そのうち 1% が不正であると特定されています。これは、不正取引が少数派であり、非不正取引が多数派であることを意味します。このデータセットでトレーニングされたランダム フォレスト モデルは、不正なトランザクションの再現率が低い可能性があります。つまり、トランザクションの多くを見逃して、不正を検出できない可能性があります。これは銀行とその顧客にとって高額なコストとなる可能性があります。
この問題を克服する 1 つの方法は、不正なトランザクションを 10 回オーバーサンプリングすることです。これは、各不正なトランザクションがトレーニング データセット内で 10 回複製されることを意味します。これにより、不正取引の割合が 1% から約 10% に増加し、データセットのバランスがより整います。これにより、ランダム フォレスト モデルは、不正なトランザクションと不正でないトランザクションを区別するパターンと特徴をより認識できるようになり、少数派のクラスの精度と再現率が向上します。
オーバーサンプリングや不均衡なデータに対するその他の手法の詳細については、次の参考資料を参照してください。
* 不均衡な分類のためのランダムなオーバーサンプリングとアンダーサンプリング
* 不均衡なデータセットに対するオーバーサンプリング手法の探求

モデル内で不公平なバイアスが生じたり強化されたりすることを回避するには、運用トラフィックの代表的なサンプルを収集してトレーニング データセットを構築し、トレーニングされたモデルで機密性の高いカテゴリと人口統計全体にわたる公平性テストを実施する必要があります。代表的なサンプルとは、母集団の真の分布を反映するサンプルであり、どのグループも過大または過小代表するものではありません。ランダム サンプルは、すべてのデータ ポイントが等しい確率で選択されるようにするため、代表的なサンプルを取得する簡単な方法です。層別サンプルは、すべてのサブグループがサンプル内で比例代表を持つことを保証するため、代表的なサンプルを取得するもう 1 つの方法です。ただし、層別サンプルにはサブグループとそのサイズに関する事前の知識が必要ですが、それが利用できないか、簡単に入手できない場合があります。したがって、この場合はランダムサンプルの方がより現実的な選択肢となります。公平性テストは、年齢、性別、人種などのさまざまなカテゴリや人口統計に基づいて、モデルの潜在的な偏見と差別を測定および評価する方法です。公平性テストは、不公平な結果や影響を特定し、軽減するのに役立ちます。モデルがすべてのグループを公正かつ公平に扱うことを保証します。公平性テストは、混同行列、ROC 曲線、公平性指標などのさまざまな方法やツールを使用して実行できます。 参考: 答えは、Google Cloud の公式ドキュメントと、データ サンプリングと公平性テストに関連するリソースから確認できます。
* サンプリングデータ | BigQuery
* 公平性指標 | TensorFlow
* What-if ツール | TensorFlow

https://cloud.google.com/architecture/architecture-of-a-serverless-ml-model#architecture アーキテクチャには次のようなフローがあります。
ユーザーが Firebase にチケットを書き込むと、Cloud Function がトリガーされます。
- Cloud Function は、チケットを強化するために 3 つの異なるエンドポイントを呼び出します。
-AI Platform エンドポイント。関数は優先度を予測できます。
-AI Platform エンドポイント。この関数は解決時間を予測できます。
- 感情分析と単語の顕著性を行うための Natural Language API。
-For each reply, the Cloud Function updates the Firebase real-time database.
-The Cloud Function then creates a ticket into the helpdesk platform using the RESTful API.

ユーザー アクティビティ データを確実にリアルタイムで BigQuery に取り込むための最良のオプションは、Dataflow ストリーミング ジョブを実行してデータを BigQuery に取り込むことです。Dataflow は、データのバッチ処理とストリーム処理の両方を処理できるフルマネージド サービスで、BigQuery や他の Google Cloud サービスとシームレスに統合できます。
Dataflow では、Apache Beam をプログラミング モデルとして使用することもできます。これにより、データ パイプラインを開発するための統合された移植可能な API が提供されます。Dataflow を使用すると、独自のインフラストラクチャ管理の複雑さとオーバーヘッドを回避し、データのロジックと変換に集中できます。データフローは、構造化データ、非構造化データ、バイナリ データなどのさまざまな種類のデータを処理することもでき、データ ストリームに対してウィンドウ処理、集計、その他の操作を適用することもできます。
他のオプションは、次の理由により最適ではありません。
* A. BigQuery にデータをストリーミングするように Pub/Sub を構成することは、良い選択肢ではありません。Pub/Sub は、データ ストリームのパブリッシュとサブスクライブができるメッセージング サービスですが、データの変換や処理を実行できないからです。Pub/Sub は Dataflow のソースまたはシンクとして使用できますが、BigQuery にデータを取り込むためのスタンドアロン ソリューションとしては使用できません。
* B. Dataproc で Apache Spark ストリーミング ジョブを実行して BigQuery にデータを取り込むことは、適切なオプションではありません。これには、仮想マシンの独自のクラスタを設定して管理する必要があり、ソリューションのコストと複雑さが増大する可能性があります。さらに、Apache Spark は BigQuery とネイティブに統合されていないため、BigQuery にデータを書き込むためにコネクタまたは中間ストレージを使用する必要があるため、レイテンシや非効率が発生する可能性があります。
* D. データを BigQuery に取り込むように Pub/Sub と Dataflow ストリーミング ジョブを構成することは悪い選択肢ではありませんが、Dataflow は Pub/Sub を仲介者として使用せずにモバイル アプリケーションから直接データを読み取ることができるため、必須ではありません。Pub/Sub を使用すると、抽象化と信頼性の追加レイヤーを追加できますが、ソリューションのコストと複雑さが増加し、データの取り込みに多少の遅延が生じる可能性もあります。
参考文献:
* Professional ML Engineer 試験ガイド
* Google Cloud 認定資格の準備: 機械学習エンジニア プロフェッショナル認定資格
* Google Cloud が機械学習エンジニア認定資格を開始
* データフローのドキュメント
* BigQuery ドキュメント