BigQuery で数百もの時間的制約のない SQL パイプラインの導入によって発生する同時実行の問題を解決するには、緊急性とリソース要件に基づいてクエリの種類を区別することが最善のアプローチです。オプション C が最適な選択肢である理由は次のとおりです。
バッチクエリとしての SQL パイプライン:
BigQuery のバッチクエリは、時間的制約のない操作向けに設計されています。優先度の低いキューで実行され、スロットをすぐに消費しないため、ピーク時の全体的なスロット消費量を削減できます。
時間的制約のない SQL パイプラインをバッチ クエリに変換することで、スロット予約の負担を大幅に軽減できます。
インタラクティブクエリとしてのアドホッククエリ:
インタラクティブ クエリは即時実行が優先され、ユーザーが迅速な結果を期待するアドホック分析に適しています。
アドホック クエリをインタラクティブ ジョブとして実行すると、アナリストは遅延なく結果を取得できるため、生産性とユーザー満足度が向上します。
同時実行管理:
このアプローチは、BigQuery のさまざまな種類のクエリを効率的に処理する機能を活用してワークロードのバランスをとるのに役立ち、スロットの枯渇による割り当てエラーが発生する可能性を減らします。
実装手順:
時間的制約のないパイプラインを識別する:
時間的に重要ではなく、バッチ ジョブとして実行できる SQL パイプラインを確認して識別します。
パイプラインをバッチクエリに更新します。
これらのパイプラインをバッチクエリとして実行するように変更します。これは、クエリジョブの優先度をBATCHに設定することで実行できます。
アドホッククエリがインタラクティブであることを確認する:
すべてのアドホック クエリが対話型ジョブとして送信され、高い優先度で実行され、スロットが即時に割り当てられるようにします。
参照：
BigQuery バッチクエリ
BigQuery スロットの割り当てと管理

SELECT を使用すると、テーブル全体ではなく特定の列をクエリできます。
LIMIT、BETWEEN、WHERE 句では、BigQuery によって処理される列の数は減りません。
参照：
https://cloud.google.com/bigquery/launch-checklist#アーキテクチャ設計と開発チェックリスト

Dataproc と Apache Spark の互換性：Dataproc は、Google Cloud 上で Hadoop および Spark クラスタを実行するためのマネージド サービスです。つまり、最小限のコード変更で Apache Spark ジョブをシームレスに実行できるように設計されています。既存の Spark ジョブは、ほとんど、あるいは全く変更を加えることなく Dataproc 上で実行できます。
スケーラブルなデータレイクとしてのクラウドストレージ：クラウドストレージは、データのための高度にスケーラブルで耐久性の高いストレージソリューションを提供します。Sparkジョブが通常処理する大量のデータを処理できるように設計されています。
運用オーバーヘッドの最小化：Dataproc を使用すると、Hadoop クラスタを自社で管理・保守する必要がなくなります。インフラストラクチャは Google Cloud が管理するため、お客様はデータ処理タスクに集中できます。
タイトなスケジュールと最小限のコード変更：このオプションは、質問の要件に直接対応しています。既存のコードベースへの影響を最小限に抑えながら、SparkジョブをGoogle Cloudに迅速かつ簡単に移行できます。
他のオプションが適さない理由:
A. データをCompute Engineディスクにコピーします。これらのインスタンス上でジョブを直接管理・実行します。このオプションでは、基盤となるインフラストラクチャを自分で管理する必要があり、マネージドサービスを使用するという要件に反します。
C . データをBigQueryに移行します。SparkスクリプトをSQLベースの処理アプローチに変換します。BigQueryは強力なデータウェアハウスですが、SparkスクリプトをSQLに変換するには大幅なコード変更が必要となり、厳しいスケジュールでは実現できない可能性があります。
D . Apache Beam でジョブを書き換えます。Dataflow でジョブを実行します。Apache Beam でジョブを書き換えるのは大変な作業であり、最小限のコード変更で迅速に移行するには適していません。

トリガーは、特定のキーとウィンドウの要素がいつ出力されるかを制御します。要素が到着すると、Windowトランスフォームとそれに関連付けられたWindowFnによって1つまたは複数のウィンドウに配置され、関連付けられたトリガーに渡されて、Windowsの内容を出力するかどうかが判断されます。
参照：
https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/transforms/windowing/Trig