tf.data データセットは、機械学習用のデータ パイプラインを作成および操作する方法を提供する TensorFlow API です。tf.data データセットを使用すると、読み取り、シャッフル、バッチ処理、プリフェッチ、インターリーブなど、データにさまざまな変換を適用できます。これらの変換は、モデル トレーニング プロセスのパフォーマンスと効率に影響を与える可能性があります1 モデル トレーニングでよくあるパフォーマンスの問題の 1 つは入力バウンドです。これは、モデルが入力データの準備ができるまで待機しており、計算リソースを十分に活用していないことを意味します。入力バウンドは、データの読み込みが遅い、並列処理が不十分、またはデータ サイズが大きいことが原因で発生することがあります。入力バウンドは、Cloud TPU プロファイラ プラグインを使用して検出できます。このプラグインは、Cloud TPU でのモデルのパフォーマンスを分析するのに役立つツールです。Cloud TPU プロファイラ プラグインでは、TPU コアがアイドル状態になっている時間の割合を表示できます。これは、入力バウンドを示しています2 入力バウンドのボトルネックを減らし、モデル トレーニング プロセスを高速化するには、tf.data データセットにいくつかの変更を加えます。役立つ可能性のある変更点は次の 2 つです。
* データの読み取りにはインターリーブ オプションを使用します。インターリーブ オプションを使用すると、複数のファイルからデータを並列に読み取り、レコードをインターリーブできます。これにより、データの読み込み速度が向上し、TPU コアのアイドル時間が短縮されます。インターリーブ オプションは、tf.data.Dataset.interleave メソッドを使用して適用できます。このメソッドは、入力要素ごとにデータセットを返す関数と、並列呼び出しの数を受け取ります3
* プリフェッチオプションをトレーニングバッチサイズと同じに設定します。プリフェッチオプションを使用すると、現在のバッチがモデルによって処理されている間に、次のバッチのデータをプリフェッチできます。これにより、レイテンシを短縮できます。
* between batches and improve the throughput of the model training. The prefetch option can be applied by using the tf.data.Dataset.prefetch method, which takes a buffer size argument. The buffer size should be equal to the training batch size, which is the number of examples per batch4 The other options are not effective or counterproductive. Reducing the value of the repeat parameter will reduce the number of epochs, which is the number of times the model sees the entire dataset. This can affect the model's accuracy and convergence. Increasing the buffer size for the shuffle option will increase the randomness of the data, but also increase the memory usage and the data loading time. Decreasing the batch size argument in your transformation will reduce the number of examples per batch, which can affect the model's stability and performance.
References: 1: tf.data: Build TensorFlow input pipelines 2: Cloud TPU Tools in TensorBoard 3: tf.data.Dataset.interleave 4: tf.data.Dataset.prefetch : [Better performance with the tf.data API]

TFRecord は、データをバイナリ文字列のシーケンスとして保存するバイナリ ファイル形式です1。TFRecord ファイルは効率的で、スケーラブルで、処理が簡単です1。シャーディングは、大きなファイルを小さなファイルに分割する手法で、並列処理とパフォーマンスを向上させることができます2。Dataflow は、Google Cloud でデータ処理パイプラインを作成して実行できるサービスです3。Dataflow は、Cloud Storage ディレクトリ内の画像からシャードされた TFRecord ファイルを作成できます4。
tf.data.TFRecordDataset は、TensorFlow で TFRecord ファイルを読み取って解析できるクラスです。このクラスを使用して、トレーニング用の入力データを表す tf.data.Dataset オブジェクトを作成できます。tf.data.Dataset は、データを変換、バッチ処理、シャッフル、プリフェッチするためのさまざまな方法を提供する高レベル API です。
Vertex AI Training は、GPU などのさまざまなハードウェア アクセラレータを使用して Google Cloud でカスタムモデルをトレーニングできるサービスです。Vertex AI Training は TensorFlow モデルをサポートしており、Cloud Storage からデータを読み取ることができます。Vertex AI Training を使用すると、ディープラーニング用の強力で高速な GPU である V100 GPU を使用して画像分類モデルをトレーニングできます。
参考文献:
* TFRecord と tf.Example | TensorFlow Core
* シャーディング | TensorFlow コア
* データフロー | Google Cloud
* シャード化された TFRecord ファイルの作成 | Google Cloud
* [tf.data.TFRecordDataset | TensorFlow Core v2.6.0]
* [tf.data: TensorFlow 入力パイプラインの構築 | TensorFlow Core]
* [Vertex AI トレーニング | Google Cloud]
* [NVIDIA Tesla V100 GPU | NVIDIA]

トラフィックを処理し、すべてのユーザー トラフィックを新しいモデルに誘導し、アプリケーションの中断を最小限に抑えてモデルをデプロイしている本番環境の Vertex AI エンドポイントに新しいバージョンのモデルをデプロイするための最適なオプションは、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、モデルを Vertex AI Model Registry にアップロードし、新しいモデルを既存のエンドポイントにデプロイして、新しいモデルをトラフィックの 100% に設定することです。このオプションを使用すると、Vertex AI のパワーとシンプルさを活用してモデル バージョンを更新し、低レイテンシでオンライン予測を提供できます。Vertex AI は、Google Cloud で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みのモデルをオンライン予測エンドポイントにデプロイして、個々のインスタンスに対して低レイテンシの予測を提供できます。モデルとは、予測に使用できる機械学習モデルを表すリソースです。モデルには 1 つ以上のバージョンがあり、これらは同じモデルの異なる実装です。モデル バージョンには、同じモデルの別のバージョンとは異なるパラメータ、コード、データを含めることができます。モデル バージョンは、モデルの実験と反復処理に役立ち、モデルのパフォーマンスと精度を向上させることができます。parentModel パラメータは、新しいモデル バージョンのベースとなるモデルのモデル ID を指定するパラメータです。parentModel パラメータを使用すると、既存のモデルの設定とメタデータを継承し、モデル構成の重複を回避できます。Vertex AI Model Registry は、Google Cloud で機械学習モデルを保存および管理できるサービスです。Vertex AI Model Registry を使用すると、モデルをアップロードして整理したり、モデル バージョンとメタデータを追跡したりできます。エンドポイントは、予測をリクエストするために使用するサービス エンドポイント (URL) を提供するリソースです。エンドポイントには、物理​​リソースに関連付けられたモデル バージョンのインスタンスである、デプロイされたモデルを 1 つ以上含めることができます。デプロイされたモデルを使用すると、低レイテンシでオンライン予測を提供したり、トラフィックに基づいてスケールアップまたはスケールダウンしたりできます。新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、モデルを Vertex AI モデル レジストリにアップロードし、新しいモデルを既存のエンドポイントにデプロイし、新しいモデルをトラフィックの 100% に設定することで、トラフィックを処理している本番環境の Vertex AI エンドポイントに新しいバージョンのモデルをデプロイし、すべてのユーザー トラフィックを新しいモデルに誘導し、アプリケーションへの影響を最小限に抑えてモデルをデプロイできます1。
他のオプションは、次の理由によりオプション C ほど優れていません。
* オプション A: 新しいエンドポイントを作成し、新しいモデルを作成してそれをデフォルト バージョンとして設定し、モデルを Vertex AI Model Registry にアップロードし、新しいモデルを新しいエンドポイントにデプロイし、Cloud DNS を更新して新しいエンドポイントを指すようにするには、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、モデルを Vertex AI Model Registry にアップロードし、新しいモデルを既存のエンドポイントにデプロイし、新しいモデルをトラフィックの 100% に設定するよりも多くのスキルと手順が必要です。Cloud DNS は、Google Cloud 上で信頼性が高くスケーラブルなドメイン ネーム システム（DNS）サービスを提供できるサービスです。Cloud DNS を使用すると、DNS レコードを管理し、ドメイン名を IP アドレスに解決できます。Cloud DNS を更新して新しいエンドポイントを指すようにすることで、ユーザー トラフィックを新しいエンドポイントにリダイレクトし、既存のアプリケーションの破損を回避できます。ただし、新しいエンドポイントを作成し、新しいモデルを作成してそれをデフォルトバージョンとして設定し、モデルをVertex AIモデルレジストリにアップロードし、新しいモデルを新しいエンドポイントにデプロイし、新しいエンドポイントを指すようにCloud DNSを更新するには、新しいモデルを作成し、parentModelパラメータを現在デプロイされているモデルのモデルIDに設定し、モデルをVertex AIモデルレジストリにアップロードし、新しいモデルを既存のエンドポイントにデプロイし、新しいモデルを
トラフィックの 100% を削減できます。コードの記述、新しいエンドポイントの作成と構成、新しいモデルの作成と構成、Vertex AI Model Registry へのモデルのアップロード、新しいエンドポイントへのモデルのデプロイ、新しいエンドポイントを指すように Cloud DNS の更新を行う必要があります。さらに、このオプションを選択すると新しいエンドポイントが作成され、保守と管理のコストが増加する可能性があります2。
* オプション B: 新しいエンドポイントを作成し、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定してデフォルト バージョンとして設定し、モデルを Vertex AI モデル レジストリにアップロードし、新しいモデルを新しいエンドポイントにデプロイして新しいモデルを設定します。
* トラフィックの 100% にするには、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、モデルを Vertex AI モデル レジストリにアップロードし、新しいモデルを既存のエンドポイントにデプロイし、新しいモデルを
トラフィックの 100% です。parentModel パラメータは、新しいモデル バージョンのベースとなるモデルのモデル ID を指定するパラメータです。parentModel パラメータを使用すると、既存のモデルの設定とメタデータを継承し、モデル構成の重複を回避できます。デフォルト バージョンは、他のバージョンが指定されていない場合に予測に使用されるモデル バージョンです。デフォルト バージョンを使用すると、予測リクエストを簡素化し、毎回モデル バージョンを指定する必要がなくなります。parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、それをデフォルト バージョンとして設定すると、既存のモデルに基づく新しいモデルを作成し、モデル バージョンを指定せずに予測に使用できます。ただし、新しいエンドポイントを作成し、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定してそれをデフォルト バージョンとして設定し、モデルを Vertex AI Model Registry にアップロードし、新しいモデルを新しいエンドポイントにデプロイして新しいモデルをトラフィックの 100% に設定するには、新しいモデルを作成し、parentModel パラメータを現在デプロイされているモデルのモデル ID に設定し、モデルを Vertex AI Model Registry にアップロードし、新しいモデルを既存のエンドポイントにデプロイして新しいモデルをトラフィックの 100% に設定するよりも多くのスキルと手順が必要になります。コードを記述し、新しいエンドポイントを作成して構成し、新しいモデルを作成して構成し、モデルを Vertex AI Model Registry にアップロードし、モデルを新しいエンドポイントにデプロイする必要があります。さらに、このオプションでは新しいエンドポイントが作成されるため、保守および管理コストが増加する可能性があります2。
* オプション D: 新しいモデルを作成し、それをデフォルト バージョンとして設定し、そのモデルを Vertex AI Model Registry にアップロードして、新しいモデルを既存のエンドポイントにデプロイすると、既存のモデルの設定とメタデータを継承できず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。デフォルト バージョンとは、他のバージョンが指定されていない場合に予測に使用されるモデル バージョンです。デフォルト バージョンを使用すると、予測リクエストが簡素化され、毎回モデル バージョンを指定する必要がなくなります。
新しいモデルをデフォルト バージョンとして設定すると、モデル バージョンを指定せずに新しいモデルを予測に使用できます。ただし、新しいモデルを作成し、それをデフォルト バージョンとして設定し、そのモデルを Vertex AI Model Registry にアップロードして、新しいモデルを既存のエンドポイントにデプロイすると、既存のモデルの設定とメタデータを継承できず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。コードを記述し、新しいモデルを作成して構成し、そのモデルを Vertex AI Model Registry にアップロードして、そのモデルを既存のエンドポイントにデプロイする必要があります。さらに、このオプションでは、parentModel パラメータが現在デプロイされているモデルのモデル ID に設定されないため、既存のモデルの設定とメタデータを継承できず、モデル バージョン間で不整合や競合が発生する可能性があります2。
参考文献:
* Google Cloud 認定資格の準備: 機械学習エンジニア、コース 3: 本番環境 ML システム、第 2 週: ML 予測の提供
* Google Cloud Professional Machine Learning Engineer 試験ガイド、セクション 3: 本番環境での ML モデルのスケーリング、3.1 本番環境への ML モデルのデプロイ
* 公式 Google Cloud Certified Professional Machine Learning Engineer 学習ガイド、第 6 章:
プロダクション ML システム、セクション 6.2: ML 予測の提供
* 頂点AI
* クラウドDNS

Convolutional Neural Networks (CNNs) are well-suited to image classification tasks such as identifying defects in products based on images. CNNs use convolutional layers that effectively extract features from images and can be trained to identify patterns in the images. The architecture of CNNs is optimized for image processing tasks and can be more efficient for extracting features from images than other types of neural networks.
Reinforcement learning is a type of machine learning that is used for problems with a delayed reward, such as game playing or robotics. Recommender system is used for recommending products or content to users based on their preferences. Recurrent Neural Networks (RNNs) are used for sequential data such as time series or natural language processing.