on_failure_callback パラメータに通知ロジックを含む関数を割り当てることで、DAG でタスクが失敗したときに実行されるアクションをカスタマイズできます1。たとえば、メール、Slack メッセージ、または PagerDuty アラートを送信して、タスクの失敗について自分またはチームに通知できます2。このオプションは、タスクがスケジュールされた期限を過ぎた場合にのみトリガーされる sla_missed 指標で Cloud Monitoring アラートを構成するよりも柔軟で信頼性があります3。sla_miss_callback パラメータも sla_missed 指標に関連しており、タスク インスタンスが成功せず、タスクのスケジュールされた実行日と SLA を過ぎたときに実行されます4。on_retry_callback パラメータは、タスクが再試行される前に実行されます4。これらのオプションは、タスクのスケジュールと再試行設定に依存し、実際のタスク完了ステータスを反映しない可能性があるため、タスクが成功しなかったときの通知には適していません。参考資料:
* 1: コールバック | Cloud Composer | Google Cloud
* 2: Airflow でタスクが失敗したときにメールを送信する方法 - Astronomer
* 3: SLA の不履行の監視 | Cloud Composer | Google Cloud
* 4: BaseOperator | Apache Airflow ドキュメント

このオプションでは、アーカイブ ストレージ クラスは Cloud Storage クラスの中で GB あたりの料金が最も安いため、低コストのストレージ オプションにデータを保存できます。また、ロックされた保持ポリシーにより、保持期間が終了するまでデータの削除や上書きが禁止されるため、データは 3 年間変更不可になります。Cloud Storage バケット内のエクスポートされたファイルを参照する BigQuery 外部テーブルを作成することで、SQL を使用してデータをクエリすることもできます。オプション A は正しくありません。BigQuery テーブルのクローンを作成しても、クローンのサイズとストレージ クラスは元のテーブルと同じになるため、ストレージ コストは削減されません。オプション B は正しくありません。BigQuery テーブルのスナップショットを作成しても、スナップショットのサイズとストレージ クラスは元のテーブルと同じになるため、ストレージ コストは削減されません。オプション C は正しくありません。バケットでバージョン管理を有効にしても、適切な権限を持つユーザーによってバージョンが削除または上書きされる可能性があるため、データは変更不可になりません。また、ファイルの各バージョンが個別に課金されるため、ストレージ コストも増加します。参考資料:
* テーブルデータのエクスポート | BigQuery | Google Cloud
* ストレージ クラス | Cloud Storage | Google Cloud
* 保持ポリシーと保持期間 | Cloud Storage | Google Cloud
* フェデレーションクエリ | BigQuery | Google Cloud

BigQuery で CMEK を使用するには、Cloud KMS でキーリングとキーを作成し、BigQuery テーブルの作成または更新時にキーリソース名を指定する必要があります。既存のテーブルの暗号化タイプを変更することはできないため、CMEK を使用して新しいテーブルを作成し、Google が管理する暗号化キーを使用して古いテーブルからデータをコピーする必要があります。
参照：
顧客管理の Cloud KMS キー | BigQuery | Google Cloud
暗号化キーの作成と管理 | Cloud KMS ドキュメント | Google Cloud

説明
ニューラル ネットワークは、基本的な数学で実装されるシンプルなメカニズムです。従来のプログラミング モデルとニューラル ネットワークの唯一の違いは、トレーニング データセットから学習してコンピューターにパラメーター (重みとバイアス) を決定させることです。
参照：
https://cloud.google.com/blog/big-data/2016/07/ Understanding-neural-networks-with-tensorflow-playground

Cloud Composer 2 環境でのメモリ使用量の増加とワーカーポッドの削除に関連する問題を解決するには、次の手順を実行することをお勧めします。
Airflow ワーカーが利用できるメモリを増やす:
Airflow ワーカーに割り当てられるメモリを増やすことで、より多くのメモリを消費するタスクを処理できるようになり、メモリ制限によるポッドの排除の可能性が減ります。
ワーカーの最大数を増やし、ワーカーの同時実行を減らす:
ワーカーの数を増やすと、ワークロードをより多くのポッドに分散できるようになり、単一のポッドが過負荷になることを防ぐことができます。
ワーカーの同時実行性を減らすと、各ワーカーが同時に処理できるタスクの数が制限され、ワー​​カーあたりのメモリ消費量が削減されます。
実装手順:
ワーカーメモリを増やす:
Cloud Composer の構成設定を変更して、Airflow ワーカーにさらに多くのメモリを割り当てます。これは、環境構成設定を通じて実行できます。
ワーカーと同時実行の設定を調整します。
Cloud Composer 環境設定でワーカーの最大数を増やします。
Airflow ワーカーの同時実行設定を減らして、各ワーカーが一度に処理するタスクの数を減らし、ワーカーあたりのメモリ消費量を減らします。
参照：
Cloud Composer ワーカー構成
Airflowワーカーのスケーリング