https://cloud.google.com/blog/products/data-analytics/manage-bigquery-costs-with-custom-quotas をご覧ください。
プロジェクト用に BigQuery 予約を作成することが最適なソリューションである理由は次のとおりです。
* プロジェクトレベルの予約：BigQuery の予約はプロジェクトレベルで適用されます。つまり、予約されたスロット（処理能力）は、そのプロジェクト内で実行されるすべてのジョブとクエリ間で共有されます。
CDC プロセスは BigQuery の使用に大きく貢献するため、プロジェクト全体のスロットを予約すると、プロジェクト内の他のアクティビティに関係なく、CDC プロセスが常に必要なリソースにアクセスできるようになります。
* 予測可能なコストモデル：予約機能は、固定された予測可能なコストモデルを提供します。クエリごとにオンデマンド料金を支払うのではなく、予約したスロットに対して固定の月額料金をお支払いいただきます。これにより、オンデマンド課金に伴うコストの変動がなくなり、BigQueryの費用の予算策定と予測が容易になります。
* BigQuery モニタリング：BigQuery モニタリングを使用すると、プロジェクト内の CDC プロセスやその他のクエリの過去の使用パターンを分析できます。この情報は、適切なスロット数を決定する際に役立ち、コストを最適化しながらワークロードを処理するのに十分な容量を確保できます。
他のオプションが適さない理由:
* A. ジョブのBigQuery予約を作成します。BigQueryは個々のジョブレベルでの予約をサポートしていません。予約はプロジェクトレベルまたは割り当てレベルで適用されます。
* B. ジョブを実行しているサービスアカウントに対してBigQuery予約を作成する：割り当て（ユーザーグループまたはサービスアカウント）に対して予約を作成することもできますが、このシナリオではプロジェクトレベルの予約よりも効率性が低くなります。プロジェクトレベルの予約は、使用するサービスアカウントに関係なく、プロジェクト内のすべてのジョブを対象とします。
* C. データセットの BigQuery 予約を作成します。BigQuery はデータセット レベルでの予約をサポートしていません。
使用率分析に基づいてプロジェクトの BigQuery 予約を作成することで、CDC プロセスやその他のクエリがスムーズに実行するために必要なリソースを確保しながら、予測可能なコストモデルを実現できます。

影響力の大きい特徴量に高い重要度を割り当てる必要がある場合は、L1正則化を使用します。これにより、重要度の低い特徴量は0に縮小されます。
L2 正規化は、すべての入力機能が出力に影響し、重みがすべて同じサイズである場合に、より適切に機能します。

データセットごとにクエリ言語を設定する必要はありません。クエリを実行するたびに設定され、デフォルトのクエリ言語はレガシーSQLです。
BigQuery 2.0 のリリース以降、標準 SQL は推奨されるクエリ言語となっています。従来の SQL では、プロジェクト修飾名を持つテーブルをクエリするには、コロン（:）を区切り文字として使用していました。標準 SQL では、代わりにピリオド（.）を使用します。
2 つのクエリ言語間の構文の違い (プロジェクト修飾テーブル名など) により、レガシー SQL でクエリを記述した場合、標準 SQL で実行しようとするとエラーが発生する可能性があります。
参照：
https://cloud.google.com/bigquery/docs/reference/standard-sql/レガシーSQLからの移行

DirectPipelineRunner を使用して Dataflow ソースから読み取ったり、Dataflow シンクに書き込んだりする場合、gcloud 実行可能ファイルで設定した Cloud Platform アカウントは、対応するソース/シンク リファレンスにアクセスできる必要があります。
https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/runners/DirectPipelineRun

Dataflow のデフォルトのウィンドウ動作は、無制限の PCollection であっても、PCollection のすべての要素を単一のグローバル ウィンドウに割り当てることです。