画像分類モデルのパフォーマンスは、精度、適合率、再現率、F1 スコア、平均適合率 (mAP) など、さまざまな指標で測定できます。これらの指標は、画像の予測ラベルと真のラベルを比較する混同行列に基づいて計算できます。1 AI Platform で画像分類モデルの複数のバージョンのパフォーマンスを監視する最良の方法の 1 つは、継続的評価機能を使用してモデル間の平均適合率を比較することです。平均適合率は、さまざまな信頼度閾値とクラスにわたるモデルの適合率と再現率を要約する指標です。平均適合率は、モデルが可能なラベルのセットから各画像に 1 つ以上のラベルを割り当てる必要があるマルチクラスおよびマルチラベルの画像分類問題に特に役立ちます。平均適合率は 0 から 1 の範囲で、値が高いほどパフォーマンスが優れていることを示します。2 継続的評価は、オンライン予測要求と応答を使用してデプロイされたモデルのパフォーマンスを自動的に評価できる AI Platform の機能です。継続的評価を使用すると、時間の経過とともにモデルの品質と一貫性を監視し、モデルのパフォーマンスに影響を与える可能性のある問題や異常を検出できます。継続的評価では、分類、回帰、物体検出などのさまざまな種類のモデルに対して、精度、適合率、再現率、F1 スコア、ROC 曲線、混同行列などのさまざまな評価指標と視覚化も提供できます。3 継続的評価機能を使用してモデル全体の平均適合率を比較するには、次の手順を実行する必要があります。
* 評価する各モデルバージョンごとにオンライン予測ログを有効にします。これにより、AI Platform はモデルからの予測リクエストとレスポンスを収集し、BigQuery 4 に保存します。
評価するモデルバージョンごとに評価ジョブを作成します。これにより、AI Platform は画像の予測ラベルと真のラベルを比較し、平均精度などの評価指標を計算できます。予測ログを含む BigQuery テーブル、データスキーマ、ラベル列、および評価間隔を指定する必要があります。
* Google Cloud コンソールの AI Platform Models ページで、各モデルバージョンの評価結果を確認できます。各モデルバージョンの平均精度やその他の指標を時系列で確認し、グラフや表を使って比較できます。また、異なるクラスや信頼度しきい値で結果をフィルタリングすることも可能です。
他の選択肢は、それほど効果的でも現実的でもありません。ホールドアウトデータセットまたは検証データで各モデルの損失パフォーマンスを比較することは、損失関数がオンライン予測データにおけるモデルの実際のパフォーマンスを反映していない可能性があり、損失関数と最適化アルゴリズムの選択によって変動する可能性があるため、良い方法ではありません。What-Ifツールは画像データや多クラス分類問題をサポートしていないため、What-Ifツールを使用して各モデルの受信者操作特性（ROC）曲線を比較することはできません。
参考文献：1：混同行列 2：平均精度 3：連続評価の概要 4
: オンライン予測ログの設定 : [評価ジョブの作成] : [評価結果の表示] : [What-Ifツールの概要]

The best option for optimizing the data processing pipeline for run time and compute resources utilization is to embed the augmentation functions dynamically in the tf.Data pipeline. This option has the following advantages:
* これにより、データの追加コピーを作成または保存することなく、オンザフライでデータ拡張を実行できます。これにより、ストレージ容量を節約し、データ転送時間を短縮できます。
* tf.Data APIの並列処理とパフォーマンスを活用し、複数のCPUコアまたはGPUを使用して、複数のデータバッチに拡張関数を効率的に並列適用できます。
* デバイス。tf.Data API は、データ処理速度を向上させ、レイテンシを削減するために、キャッシング、プリフェッチ、オートチューニングなどのさまざまな最適化技術もサポートしています。
* TensorFlowおよびKerasモデルとシームレスに統合されており、これらのモデルはtf.Dataデータセットをトレーニングおよび評価の入力として利用できます。tf.Data APIは、画像、テキスト、音声、動画などのさまざまなデータ形式、およびファイル、データベース、Webサービスなどのさまざまなデータソースをサポートしています。
他の選択肢は、以下の理由から最適とは言えません。
* オプション B: 拡張関数を Keras ジェネレータの一部として動的に組み込むと、いくつかの制限とオーバーヘッドが発生します。Keras ジェネレータは、トレーニングまたは評価用のデータバッチを生成する Python ジェネレータです。ただし、Keras ジェネレータは、トレーニングを複数のデバイスまたはマシンに分散するために使用される tf.distribute API と互換性がありません。さらに、Keras ジェネレータは単一の Python スレッドで実行され、並列処理や最適化手法をサポートしていないため、tf.Data API ほど効率的またはスケーラブルではありません。
* オプション C: Dataflow を使用して可能なすべての拡張を作成し、TFRecords として保存する方法は、複雑さとコストが増大します。Dataflow は、データ処理と変換のために Apache Beam パイプラインを実行するフルマネージド サービスです。しかし、Dataflow を使用して可能なすべての拡張を作成するには、多数の拡張イメージを生成して保存する必要があり、多くのストレージ スペースを消費し、ストレージとネットワークのコストが発生する可能性があります。さらに、Dataflow を使用して拡張を作成するには、個別の Dataflow パイプラインを作成してデプロイする必要があり、これは面倒で時間がかかる場合があります。
* オプション D: Dataflow を使用してトレーニング実行ごとに動的にデータ拡張を作成し、TFRecords としてステージングする方法は、複雑さと遅延が増します。Dataflow は、データ処理と変換のために Apache Beam パイプラインを実行するフルマネージド サービスです。ただし、Dataflow を使用してトレーニング実行ごとに動的にデータ拡張を作成するには、モデルをトレーニングするたびに Dataflow パイプラインを実行する必要があり、遅延が発生してトレーニング プロセスが遅れる可能性があります。さらに、Dataflow を使用してデータ拡張を作成するには、別の Dataflow パイプラインを作成してデプロイする必要があり、面倒で時間がかかる場合があります。
参考文献：
* [tf.data: TensorFlow入力パイプラインの構築]
* [画像拡張 | TensorFlow Core]
* [データフローに関するドキュメント]

予測リクエストとは、学習済みモデルにデータを送信し、予測結果を受け取る方法です。予測リクエストは、モデルのホストおよび提供に使用されるサービスとプラットフォームに応じて、JSON、protobuf、gRPCなど、さまざまな形式で記述できます。予測リクエストには通常、次の情報が含まれます。
* 署名名: これは、モデルの入力と出力を定義する署名の名前です。
シグネチャとは、モデルが受け入れ、生成できるデータの形式、型、形状を指定する方法です。シグネチャは、モデルのエクスポート時や保存時に指定することも、サービスやプラットフォームによって自動的に推論することもできます。1つのモデルに複数のシグネチャを設定できますが、予測リクエストごとに使用できるのは1つだけです。
* インスタンス：これは、予測のためにモデルに送信されるデータです。インスタンスは、データのサイズと形状に応じて、単一のインスタンスまたはインスタンスのバッチになります。インスタンスは、入力テンソルの数、名前、型など、シグネチャの入力仕様に一致する必要があります。
テキスト分類モデルをトレーニングするユースケースでは、予測リクエストを正しく記述する方法は D です。 data = json.dumps({"signature_name": "serving_default", "instances": [['a', 'b'], ['c', 'd'], ['e', 'f']]}) このオプションでは、予測リクエストを JSON 形式で記述します。これは、Web 上でデータを送受信するための一般的で便利な形式です。 JSON は JavaScript Object Notation の略で、名前と値のペアのコレクションまたは値の順序付きリストとしてデータを表現する方法です。 JSON は、json モジュールを使用して Python オブジェクトと簡単に変換できます。
このオプションでは、カスタム署名名を指定せずにモデルを保存またはエクスポートする際にモデルに割り当てられるデフォルトの署名名である「serving_default」という署名名も使用します。serving_default署名は、画像に示されているSignatureDefに基づいて、モデルの入力テンソルと出力テンソルを定義します。SignatureDefによると、モデルは形状が(-1, 2)で型がDT_STRINGである「text」という入力テンソルを想定し、形状が(-1, 2)で型がDT_FLOATである「softmax」という出力テンソルを生成します。形状の-1は、次元がインスタンスの数に応じて変化する可能性があることを示し、2は次元が2に固定されていることを示します。DT_STRINGとDT_FLOATは、それぞれデータ型が文字列と浮動小数点数であることを示します。
このオプションでは、予測のために3つのインスタンスをバッチとしてモデルに送信します。各インスタンスは、['a', 'b']、['c', 'd']、['e', 'f']などの2つの文字列のリストです。これらのインスタンスは、形状が(3, 2)で型が文字列であるため、署名の入力仕様に一致します。モデルはこれらのインスタンスを処理し、形状が(1, 2)で型が浮動小数点数であるソフトマックス出力を持つ3つの予測のバッチを生成します。
ソフトマックスの出力は、モデルが予測できる2つの可能なクラス（例えば、肯定的または否定的な感情）に対する確率分布です。
したがって、予測リクエストをデータ = json.dumps({"signature_name": "serving_default",
"instances": [['a', 'b'], ['c', 'd'], ['e', 'f']]}) は、テキスト分類モデルにデータを送信し、予測結果を受け取るための正しい有効な方法です。
参考文献：
* [json - JSONエンコーダーおよびデコーダー]

TensorFlowモデルの入出力実行パフォーマンスは、モデルがデータソースからデータをどれだけ効率的に読み込んで処理できるかに依存します。CSVファイルからのデータの読み込みと処理は、特にデータ量が多く分散している場合は、遅く非効率的になる可能性があります。したがって、入出力実行パフォーマンスを向上させるには、より適切なデータ形式とストレージシステムを使用する必要があります。
入出力実行パフォーマンスを向上させるための最良の方法の1つは、CSVファイルをTFRecordのシャードに変換し、データをクラウドストレージに保存することです。TFRecordは、シリアル化されたTensorFlowの例のシーケンスを保存できるバイナリデータ形式です。TFRecordには、CSVに比べて次のような利点があります。
* 高速なデータ読み込み：TFRecordはテキストデータの解析とデコードのオーバーヘッドを回避するため、CSVよりも高速に読み込み、処理できます。TFRecordは圧縮とチェックサムもサポートしており、データサイズを削減し、データの整合性を確保できます。
* パフォーマンスの向上：TFRecordは、モデルがデータをシーケンシャルかつストリーミング方式でアクセスできるようにし、tf.data APIを活用して効率的なデータパイプラインを構築できるため、モデルのパフォーマンスを向上させることができます。TFRecordはシャーディングとインターリーブもサポートしており、データ処理の並列性とスループットを向上させることができます。
* 統合が容易: TFRecord は TensorFlow のネイティブデータ形式であるため、TensorFlow とシームレスに統合できます。TFRecord は画像、テキスト、音声、動画など、さまざまな種類のデータもサポートしており、データとともにデータスキーマとメタデータを保存できます。3 クラウドストレージは、あらゆる量のデータを保存できるスケーラブルで信頼性の高いオブジェクトストレージサービスです。クラウドストレージには、他のストレージシステムに比べて次のような利点があります。
* 高可用性：クラウドストレージは、複数のリージョンとゾーンにデータを複製し、バージョン管理とライフサイクル管理をサポートすることで、データの高可用性と耐久性を提供します。また、クラウドストレージは、さまざまなパフォーマンスとコスト要件に対応するため、スタンダード、ニアライン、コールドライン、アーカイブなどのさまざまなストレージクラスを提供しています。4
* 低遅延：Cloud StorageはHTTPおよびHTTPSプロトコルをサポートし、AI Platform、Dataflow、BigQueryなどの他のGoogle Cloudサービスと統合することで、データに対して低遅延かつ高帯域幅を提供できます。Cloud Storageは、再開可能なアップロードとダウンロード、および並列複合アップロードもサポートしており、データ転送速度と信頼性を向上させることができます。5
* 簡単なアクセス：クラウドストレージは、gsutil、クラウドコンソール、クラウドストレージクライアントライブラリなど、さまざまなツールやライブラリをサポートしているため、データへのアクセスと管理が容易です。また、クラウドストレージはきめ細かなアクセス制御と暗号化をサポートしており、データのセキュリティとプライバシーを確​​保できます。
他のオプションは、それほど効果的でも実現可能でもありません。BigQuery にデータをロードして BigQuery からデータを読み取る方法は、BigQuery が主に大規模データに対する分析クエリ用に設計されており、ストリーミングやリアルタイムのデータ処理をサポートしていないため、推奨されません。Cloud Bigtable にデータをロードして Bigtable からデータを読み取る方法も、Cloud Bigtable が主に疎でワイドなテーブルに対する低遅延かつ高スループットのキーバリュー操作用に設計されており、複雑なデータ型やスキーマをサポートしていないため、理想的ではありません。CSV ファイルを TFRecords のシャードに変換して Hadoop 分散ファイルシステム (HDFS) にデータを保存する方法も、TensorFlow が HDFS をネイティブにサポートしておらず、Hadoop、Spark、Beam などの追加の構成と依存関係が必要なため、最適ではありません。
参考資料: 1: TFRecord と tf.Example 2: tf.data API を使用したパフォーマンスの向上 3: TensorFlow データ検証 4: クラウドストレージの概要 5: パフォーマンス: [ハウツーガイド]

ワークフローを構成するための最良のオプションは、変換を TensorFlow モデルの前処理レイヤーとして追加することです。このオプションを使用すると、TensorFlow のパワーとシンプルさを活用して、シンプルな Python コードでデータを前処理および変換できます。TensorFlow は、機械学習モデルを構築およびトレーニングするためのフレームワークです。TensorFlow は、データ分析と機械学習のためのさまざまなツールとライブラリを提供します。前処理レイヤーは、入力データに対してデータの前処理と特徴エンジニアリング操作を実行できる TensorFlow のレイヤーの一種です。前処理レイヤーを使用すると、データの変換と前処理ロジックをカスタマイズしたり、複雑なデータ形式や標準以外のデータ形式を処理したりできます。また、前処理レイヤーを実装するために数行のコードを記述するだけで済み、中間データソースやパイプラインを作成する必要がないため、前処理の時間、コスト、開発作業を最小限に抑えることができます。TensorFlow モデルの前処理レイヤーとして変換を追加することで、Vertex AI のカスタムトレーニング サービスを使用して、BigQuery からデータを読み取り、将来の売上を予測する複数の TensorFlow モデルをトレーニングできます。
他の選択肢は、以下の理由から選択肢Cほど優れていません。
* オプション A: spark-bigquery-connector を使用する Spark に変換を記述し、Dataproc を使用してデータを前処理するには、TensorFlow で前処理レイヤーを使用するよりも多くのスキルと手順が必要になります。 Spark は、分散データ処理と機械学習のためのフレームワークです。 Spark は、Spark が BigQuery と通信できるようにするライブラリである spark-bigquery-connector を使用して、BigQuery からデータを読み書きできます。 Dataproc は、Google Cloud 上で Spark クラスターを作成および管理できるサービスです。 Dataproc を使用すると、Google Cloud 上で Spark ジョブを実行し、ワークロードに応じてクラスターをスケーリングできます。ただし、spark-bigquery-connector を使用する Spark に変換を記述し、Dataproc を使用してデータを前処理するには、TensorFlow で前処理レイヤーを使用するよりも多くのスキルと手順が必要になります。コードを記述し、Spark クラスターを作成して構成し、spark-bigquery-connector をインストールしてインポートし、データをロードして前処理し、データを BigQuery に書き戻す必要があります。さらに、このオプションではBigQuery内に中間データソースが作成されるため、ストレージと計算コストが増加する可能性があります2。
* Option B: Writing SQL queries to transform the data in-place in BigQuery would not allow you to use Vertex AI's custom training service to train multiple TensorFlow models that read the data from BigQuery and predict future sales. BigQuery is a service that can perform data analysis and machine learning by using SQL queries. BigQuery can perform data transformation and preprocessing by using SQL functions and clauses, such as MIN, MAX, CASE, and TRANSFORM. BigQuery can also perform machine learning by using BigQuery ML, which is a feature that can create and train machine learning models by using SQL queries. However, writing SQL queries to transform the data in-place in BigQuery would not allow you to use Vertex AI's custom training service to train multiple TensorFlow models that read the data from BigQuery and predict future sales. Vertex AI's custom training service is a service that can run your custom machine learning code on Vertex AI. Vertex AI's custom training service can support various machine learning frameworks, such as TensorFlow, PyTorch, and scikit- learn. Vertex AI's custom training service cannot support SQL queries, as SQL is not a machine learning framework. Therefore, if you want to use Vertex AI's custom training service, you cannot use SQL queries to transform the data in-place in BigQuery3.
* Option D: Creating a Dataflow pipeline that uses the BigQueryIO connector to ingest the data, process it, and write it back to BigQuery would require more skills and steps than using a preprocessing layer in TensorFlow. Dataflow is a service that can create and run data processing and machine learning pipelines on Google Cloud. Dataflow can read and write data from BigQuery by using the BigQueryIO connector, which is a library that allows Dataflow to communicate with BigQuery. Dataflow can perform data transformation and preprocessing by using Apache Beam, which is a framework for distributed data processing and machine learning. However, creating a Dataflow pipeline that uses the BigQueryIO connector to ingest the data, process it, and write it back to BigQuery would require more skills and steps than using a preprocessing layer in TensorFlow. You would need to write code, create and configure the Dataflow pipeline, install and import the BigQueryIO connector, load and preprocess the data, and write the data back to BigQuery. Moreover, this option would create an intermediate data source in BigQuery, which can increase the storage and computation costs4.
References:
* Preparing for Google Cloud Certification: Machine Learning Engineer, Course 3: Production ML Systems, Week 2: Serving ML Predictions
* Google Cloud Professional Machine Learning Engineer Exam Guide, Section 2: Developing ML models, 2.1 Developing ML models by using TensorFlow
* Official Google Cloud Certified Professional Machine Learning Engineer Study Guide, Chapter 4:
機械学習モデルの開発、第4.1節：TensorFlowを使用した機械学習モデルの開発
* TensorFlowの前処理レイヤー
* SparkとBigQuery
* データ処理
* BigQuery ML
* DataflowとBigQuery
* アパッチビーム