機械学習モデルの学習時間は、モデルの複雑さ、データ量、ハードウェアリソース、ハイパーパラメータなど、いくつかの要因に依存します。モデルの精度を大きく損なうことなく学習時間を最小限に抑えるには、これらの要因を可能な限り最適化する必要があります。
トレーニング時間に大きな影響を与える要因の 1 つは、AI Platform 上でトレーニング ジョブに使用するマシンの種類と数を指定する scale-tier パラメータです。scale-tier パラメータは、BASIC、STANDARD_1、PREMIUM_1、BASIC_GPU などの定義済み値のいずれか、またはマシンの種類、ワーカーの数、パラメータ サーバーの数を構成できるカスタム値のいずれかになります。1 AI Platform 上で LSTM ベースのモデルのトレーニングを高速化するには、scale-tier パラメータを変更して、より高いティアまたはより多くの CPU、GPU、TPU などの計算リソースを提供するカスタム構成を使用する必要があります。これにより、モデル トレーニングの並列性とスループットが向上し、トレーニング時間を短縮できます。ただし、より高いティアまたはカスタム構成では料金が高くなる可能性があるため、トレーニング時間とコストのトレードオフも考慮する必要があります。2 他のオプションはそれほど効果的ではなく、モデルの精度に悪影響を与える可能性があります。モデルがデータセット全体を見る回数を指定するエポックパラメータを変更すると、トレーニング時間を短縮できる可能性がありますが、モデルの収束とパフォーマンスにも影響します。バッチサイズパラメータ（バッチあたりのサンプル数を指定）を変更すると、モデルの安定性と汎化能力、メモリ使用量、勾配更新頻度に影響する可能性があります。勾配降下最適化のステップサイズを指定する学習率パラメータを変更すると、モデルの収束とパフォーマンス、オーバーシュートや局所最適解に陥るリスクに影響する可能性があります。3 参考文献: 1 : 事前定義されたマシンタイプの使用 2 : 分散トレーニング 3 : ハイパーパラメータチューニングの概要

クラス不均衡問題は、機械学習、特に分類タスクにおいてよく見られる課題です。これは、対象クラスの分布が極端に偏っている場合に発生します。つまり、一方のクラス（多数派クラス）のサンプル数が、もう一方のクラス（少数派クラス）のサンプル数よりもはるかに多い場合です。少数派クラスは、故障事例、詐欺事件、希少疾患など、より興味深い、あるいは重要なクラスであることが多いです。しかし、ほとんどの機械学習アルゴリズムは、全体的な精度を最適化するように設計されているため、多数派クラスに偏り、少数派クラスを無視してしまう可能性があります。その結果、特に少数派クラスにおいて、予測性能が低下する可能性があります。
クラス不均衡問題に対処するための手法には、データレベルの手法、アルゴリズムレベルの手法、評価レベルの手法など、さまざまなものがあります1。データレベルの手法では、元のデータセットを再サンプリングして、よりバランスの取れたクラス分布を作成します。データレベルの手法には、主に2つの種類があります。
オーバーサンプリングとアンダーサンプリング。オーバーサンプリング手法は、既存のサンプルを複製するか、合成サンプルを生成することによって、少数派クラスのサンプル数を増やします。アンダーサンプリング手法は、サンプルをランダムに削除するか、クラスタリングなどの基準を使用して代表的なサンプルを選択することによって、多数派クラスのサンプル数を減らします。オーバーサンプリングとアンダーサンプリングの両手法は、データセットのバランスをさらに調整するために、クラス頻度に応じてサンプルに異なる重みを割り当てるアップウェイトまたはダウンウェイトと組み合わせることができます。
センサーの読み取り値に基づいて生産ライン部品の故障を調査するユースケースでは、データをダウンサンプリングして重み付けを行い、正例が10%のサンプルを作成するのが最善の選択肢です。この方法では、負例（多数派クラス）の一部をランダムに削除して正例と負例の比率を1:9にし、正例の出現頻度が低い分、正例に高い重みを割り当てます。この方法により、元のデータの多様性と代表性を維持しながら、分類モデルのパフォーマンスを向上させる、よりバランスの取れたデータセットを作成できます。また、データセットのサイズが小さくなるため、計算時間とメモリ使用量を削減できます。したがって、このユースケースでは、データをダウンサンプリングして重み付けを行い、正例が10%のサンプルを作成するのが最善の選択肢です。
参考文献：
* 畳み込みニューラルネットワークにおけるクラス不均衡問題の体系的研究

レコメンデーションシステムとは、ユーザーの好みや行動に基づいて関連性の高いアイテムを提案する機械学習システムの一種です。レコメンデーションシステムは、ユーザーエクスペリエンスの向上と収益の増加を目的として、eコマース、メディア、エンターテイメント業界で広く利用されています。1 レコメンデーションシステムには、さまざまなフィルタリング方法を用いてレコメンデーションを生成する、いくつかの種類があります。最も一般的な種類は以下のとおりです。
コンテンツベースフィルタリング: この方法は、アイテムとユーザーの特徴を使用して、それらの間の類似性を見つけます。たとえば、映画のコンテンツベース推薦システムは、映画のジャンル、監督、キャスト、評価、およびユーザーの好み、人口統計、履歴を使用して、ユーザーが以前に気に入った映画に似た映画を推薦することができます。2 協調フィルタリング: この方法は、ユーザーのフィードバックと評価を使用して、ユーザーとアイテム間の類似性を見つけます。たとえば、書籍の協調フィルタリング推薦システムは、さまざまな書籍に対するユーザーの評価を使用して、対象ユーザーと似た評価を持つ他のユーザーが気に入っている書籍を推薦することができます。3 ハイブリッド方法: この方法は、コンテンツベースと協調フィルタリングの方法を組み合わせて、それぞれの方法の制限を克服し、推薦の精度と多様性を向上させます。例えば、音楽向けのハイブリッド推薦システムは、曲とアーティストの特徴、ユーザーの評価とリスニング習慣の両方を使用して、ユーザーの好みや嗜好に合った曲を推薦することができます。4 ディープラーニングベース: この方法は、ディープニューラルネットワークを使用して、データから複雑で非線形なパターンを学習し、推薦を生成します。ディープラーニングベースの推薦システムは、大規模で高次元のデータを処理し、テキスト、画像、音声、ビデオなどのさまざまなタイプの情報を組み込むことができます。たとえば、ファッション向けのディープラーニングベースの推薦システムは、製品の画像と説明、ユーザーのプロファイルとフィードバックを使用して、ユーザーのスタイルと嗜好に合った製品を推薦することができます。
ユーザーの購入行動と他のユーザーとの類似性に基づいてユーザーに新製品を推奨するモデルを構築するユースケースでは、協調フィルタリングモデルを構築するのが最善の選択肢です。これは、協調フィルタリングがユーザーの暗黙のフィードバックと評価を活用して、ユーザーが最も興味を持つ可能性が高いアイテムを見つけることができるためです。協調フィルタリングは、ユーザーが知らない可能性のある新製品を発見し、推奨の多様性と偶然性を高めるのにも役立ちます。3 他のオプションは、このユースケースにはあまり適していません。特徴を予測子として使用する分類モデルまたは回帰モデルを構築するのは良いアイデアではありません。これらのモデルは推奨タスク用に設計されておらず、ユーザーの好みや行動を捉えられない可能性があるためです。知識ベースのフィルタリングモデルを構築することは適切ではありません。この方法は、ユーザーの明示的な知識と要件を使用して基準を満たすアイテムを見つけ、購入行動や他のユーザーとの類似性に依存しないためです。

AI Platform supports hyperparameter tuning for PyTorch models using custom containers. This allows you to use any Python dependencies and libraries that are not included in the pre-built AI Platform Training runtime versions. You can also use a pre-trained model such as ResNet as a base for your custom model. To run a hyperparameter tuning job on AI Platform using custom containers, you need to do the following steps:
* Create a Dockerfile that defines the container image for your training application. The Dockerfile should install PyTorch and any other dependencies, copy your training code and configuration files, and set the entrypoint for the container.
* Build the container image and push it to Container Registry or another accessible registry.
* Create a YAML file that defines the configuration for your hyperparameter tuning job. The YAML file should specify the container image URI, the training input and output paths, the hyperparameters to tune, the metric to optimize, and the tuning algorithm and budget.
* Submit the hyperparameter tuning job to AI Platform using the gcloud command-line tool or the AI Platform Training API.
References:
* Hyperparameter tuning overview
* Using custom containers
* PyTorch on AI Platform Training

リアルタイム異常検知のためのデータフローパイプラインを作成する最良の方法は、モデルを依存関係としてデータフロージョブに直接ロードし、予測に使用することです。この方法には、次のような利点があります。
* モデルの予測ロジックは、データの取り込みと処理を行うのと同じデータフローパイプライン内で実行されるため、サービス提供の遅延を最小限に抑えます。ネットワークオーバーヘッドや遅延の原因となる外部サービスやコンテナを呼び出す必要はありません。
* モデルはデータフロージョブに同梱されているため、別途サービスやコンテナを用意する必要がなく、モデルのデプロイと管理が簡素化されます。モデルは、新しいモデルバージョンを使用してデータフロージョブを再デプロイすることで更新できます。
* これはDataflowのスケーラビリティと信頼性を活用しており、モデル予測ロジックはデータ量に応じてスケールアップまたはスケールダウンでき、障害や再試行を自動的に処理します。
他の選択肢は、以下の理由から最適とは言えません。
* オプション A: Dataflow によって呼び出される Cloud Run でモデル予測ロジックをコンテナ化すると、レイテンシと複雑さが増します。Cloud Run はステートレス コンテナを実行するサーバーレス プラットフォームであるため、リクエストが行われるたびにモデル予測ロジックを初期化してロードする必要があります。これにより、コールド スタートのレイテンシが増加し、スループットが低下する可能性があります。さらに、Cloud Run はコンテナあたりの同時リクエスト数に制限があるため、スケーラビリティに影響する可能性があります。
* モデル予測ロジック。さらに、このオプションでは、DataflowパイプラインとCloud Runコンテナという2つの別々のサービスを管理する必要があります。
* オプション C: モデルを Vertex AI エンドポイントにデプロイし、データフロー ジョブでこのエンドポイントを呼び出す方法も、レイテンシと複雑さが増すという問題があります。Vertex AI は、機械学習のトレーニング、チューニング、サービング、モニタリングなど、さまざまなツールと機能を提供するマネージド サービスです。しかし、データフロー ジョブから Vertex AI エンドポイントを呼び出すには HTTP リクエストが必要となり、ネットワーク オーバーヘッドとレイテンシが発生する可能性があります。さらに、このオプションでは、データフロー パイプラインと Vertex AI エンドポイントという 2 つのサービスを別々に管理する必要があります。
* オプション D: Google Kubernetes Engine 上の TFServing コンテナにモデルをデプロイし、Dataflow ジョブでそれを呼び出す方法も、レイテンシと複雑さが増すという問題があります。TFServing は、TensorFlow モデル用の高性能なサービス システムであり、モデルの複数のバージョンやバリアントを処理できます。
しかし、DataflowジョブからTFServingコンテナを呼び出すには、gRPCまたはRESTリクエストを行う必要があり、ネットワークオーバーヘッドとレイテンシが発生する可能性があります。さらに、このオプションでは、DataflowパイプラインとGoogle Kubernetes Engineクラスタという2つの別々のサービスを管理する必要があります。
参考文献：
* [データフローに関するドキュメント]
* [TensorFlowドキュメント]
* [Cloud Run のドキュメント]
* [Vertex AI のドキュメント]
* [TFServingのドキュメント]