createOrReplaceTempView のような一時ビューはセッション スコープです。
Spark セッションが終了すると消えます。
セッション間でデータを保持するには、データを永続化する必要があります。
df.write.saveAsTable("users_vw")
したがって、セッション終了後もビューを保持するには、ビューをテーブルとして保存する必要があります。

spark.executor.cores は、エグゼキュータが実行できる同時タスクの数を決定します。
たとえば、4 に設定すると、各エグゼキュータは最大 4 つのタスクを並行して実行できます。
その他の設定:
spark.task.maxFailures はタスクの再試行ロジックを制御します。
spark.driver.cores は、executor 用ではなく、ドライバー用です。
spark.executor.memory はタスクの同時実行性ではなく、メモリの制限を設定します。
参考:Apache Spark の構成

正確な抜粋からの包括的かつ詳細な説明：
シャッフルは、groupBy、reduceByKey、joinなどの操作で発生し、これらの操作ではデータがパーティション間で移動されます。partition()操作でもシャッフルが発生する可能性がありますが、このコンテキストでは集計の後に発生します。
オプション D では、groupBy の後に aggres を実行すると、ノード間のグループ化によりシャッフルが発生します。
パーティション(10)はパーティショニング変換ですが、データがすでにグループ化されているため、新たなシャッフルは行われません。
このシーケンス (シャッフル (groupBy)、その後に非シャッフル (repartition)) は正しいです。
オプション A はその逆を行います。フィルターはシャッフルを引き起こしませんが、groupBy はシャッフルを引き起こします。これにより順序が間違ってしまいます。

Sparkjob はアクション (カウント、表示など) によってトリガーされます。
ジョブはステージに分割され、通常はシャッフル境界ごとに 1 つになります。
各ステージは複数のタスクに分割され、ワー​​カー ノード間に分散されます。
参考:Spark実行モデル

タイムアウト警告を伴う使用率の低さは、多くの場合、並列処理が不十分であることを示します。つまり、すべてのタスクを同時に処理するのに十分なエグゼキューターがないことを意味します。
解決：
実行プログラムの数を増やすと、より多くのタスクを並列実行でき、リソースの使用率が向上します。
構成例:
--conf spark.executor.instances=8
これにより、ワークロードがクラスター ノード間でより効率的に分散され、保留中のタスクのアイドル時間が短縮されます。
他のオプションが間違っている理由:
A: タイムアウトを延長すると、根本的な原因 (実行者の不足) ではなく症状が隠れてしまいます。
B: 実行者あたりのメモリを増やしても、スケジュールのボトルネックは解消されません。
C: パーティション サイズを縮小するとオーバーヘッドが増加する可能性があり、リソースの不均衡は修正されません。
参照：
Databricks 試験ガイド (2025 年 6 月) : セクション「Apache Spark DataFrame API アプリケーションのトラブルシューティングとチューニング」 - エグゼキューターとクラスターの使用率のチューニング。
Spark 構成 - 実行インスタンスとリソースのスケーリング。